CN114998824A - 一种车辆装卸任务监控方法、装置及*** - Google Patents
一种车辆装卸任务监控方法、装置及*** Download PDFInfo
- Publication number
- CN114998824A CN114998824A CN202210489689.3A CN202210489689A CN114998824A CN 114998824 A CN114998824 A CN 114998824A CN 202210489689 A CN202210489689 A CN 202210489689A CN 114998824 A CN114998824 A CN 114998824A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- detected
- loading
- point cloud
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种车辆装卸任务监控方法、装置及***,涉及激光探测技术领域,该方法包括:获取车辆装卸区域的点云数据,基于点云数据判断待检测车辆是否到达装卸位置;当待检测车辆到达装卸位置时,获取待检测车辆的点云数据;从待检测车辆的点云数据中提取车厢区域的点云数据,基于车厢区域的点云数据的坐标计算待检测车辆的车厢装载的货物深度;基于待检测车辆的车厢长度、货物深度及待检测车辆的空载装卸率计算待检测车辆的车厢装卸率。本发明能够实现对待检测车辆的车厢装卸率的监控,减小了装卸率检测结果误差,提升了车辆装卸率检测的准确性。
Description
技术领域
本发明涉及激光探测技术领域,尤其是涉及一种车辆装卸任务监控方法、装置及***。
背景技术
目前,运输车辆(运输厢式货车)在执行装卸任务时,通常将车辆尾部靠近装卸台以方便货物装卸,为了提升车辆装卸效率,避免物流园内出现车辆拥堵,在运输车辆执行装卸任务时,对车辆进行装卸任务监控对于装卸位置分配部署具有重要意义。现有的车辆装卸任务监控技术,主要基于摄像头采集的图像及深度学习算法进行车辆装卸率识别,容易受到光照等环境因素的影响,导致装卸率检测结果误差较大,降低了车辆装卸率检测的准确性。
发明内容
有鉴于此,本发明的目的在于提供一种车辆装卸任务监控方法、装置及***,能够实现对待检测车辆的车厢装卸率的监控,减小了装卸率检测结果误差,提升了车辆装卸率检测的准确性。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种车辆装卸任务监控方法,包括:获取车辆装卸区域的点云数据,基于所述点云数据判断待检测车辆是否到达装卸位置;当所述待检测车辆到达所述装卸位置时,获取所述待检测车辆的点云数据;从所述待检测车辆的点云数据中提取车厢区域的点云数据,基于所述车厢区域的点云数据的坐标计算所述待检测车辆的车厢装载的货物深度;基于所述待检测车辆的车厢长度、所述货物深度及所述待检测车辆的空载装卸率计算所述待检测车辆的车厢装卸率。
进一步,本发明实施例提供了第一方面的第一种可能的实施方式,其中,所述基于所述待检测车辆的车厢长度、所述货物深度及所述待检测车辆的空载装卸率计算所述待检测车辆的车厢装卸率的步骤,包括:计算所述货物深度与所述车厢长度的比值,计算所述比值与所述空载装卸率的差值得到所述待检测车辆的车厢装卸率。
进一步,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述待检测车辆的车厢边框设置有标识带,所述标识带的回波强度与车厢的回波强度不同,所述从所述待检测车辆的点云数据提取车厢区域的步骤,包括:获取所述待检测车辆的各点云数据的回波强度;基于所述待检测车辆的各点云数据的回波强度筛选出车厢边框的点云数据;基于所述车厢边框的点云数据所围成的区域确定所述待检测车辆的车厢区域。
进一步,本发明实施例提供了第一方面的第三种可能的实施方式,其中,所述待检测车辆的点云数据基于激光雷达采集得到,所述基于所述车厢区域的点云数据的坐标计算所述待检测车辆的车厢装载的货物深度的步骤,包括:获取所述车厢区域的边框顶点对应的点云数据的点云坐标,基于所述车厢区域的边框顶点的点云坐标确定所述待检测车辆的车厢尾部与所述激光雷达的径向距离;计算所述车厢区域内各点云数据与所述激光雷达的平均距离;计算所述平均距离与所述径向距离的差值,得到所述待检测车辆的车厢空余长度;获取所述待检测车辆的车厢长度,计算所述车厢长度与所述车厢空余长度的差值,得到所述待检测车辆的车厢装载的货物深度。
进一步,本发明实施例提供了第一方面的第四种可能的实施方式,其中,所述车辆装卸任务监控方法还包括:基于所述车辆装卸区域的点云数据或所述车辆装卸区域的目标图像,判断所述车辆装卸区域内是否存在待检测车辆;当所述车辆装卸区域内存在待检测车辆时,获取所述待检测车辆的车牌号码,基于所述车牌号码确定所述待检测车辆的车辆型号及车厢尺寸;其中,所述车厢尺寸包括车厢长度。
进一步,本发明实施例提供了第一方面的第五种可能的实施方式,其中,所述基于所述点云数据判断待检测车辆是否到达装卸位置的步骤,包括:获取所述待检测车辆构成的目标最小包围盒,基于所述目标最小包围盒的点云坐标确定所述待检测车辆的偏航角及所述待检测车辆的车厢尾部与装卸台之间的目标距离;当所述偏航角处于预设偏航范围内,且所述目标距离处于预设距离范围内时,确定所述待检测车辆到达所述装卸位置。
进一步,本发明实施例提供了第一方面的第六种可能的实施方式,其中,所述车辆装卸区域内设置有至少两条相互平行的参考线,所述方法还包括:基于所述目标最小包围盒与各所述参考线的相交顺序确定所述待检测车辆的工作状态;其中,所述工作状态包括进站状态、装/卸货状态和出站状态;基于所述进站状态和所述出站状态的对应时间确定所述待检测车辆的装卸货物时间。
进一步,本发明实施例提供了第一方面的第七种可能的实施方式,其中,所述激光雷达设置于升降杆上,所述方法还包括:当确定所述待检测车辆到达所述装卸位置时,控制所述激光雷达下降预设高度,以使所述激光雷达采集到车门区域的全部画面;当计算得到所述待检测车辆的车厢装卸率,且检测到所述车门区域的车门关闭时,控制所述激光雷达上升所述预设高度以采集到所述车辆装卸区域的点云数据。
第二方面,本发明实施例还提供了一种车辆装卸任务监控装置,包括:判断模块,用于获取车辆装卸区域的点云数据,基于所述点云数据判断待检测车辆是否到达装卸位置;获取模块,用于当所述待检测车辆到达所述装卸位置时,获取所述待检测车辆的点云数据;第一计算模块,用于从所述待检测车辆的点云数据中提取车厢区域的点云数据,基于所述车厢区域的点云数据的坐标计算所述待检测车辆的车厢装载的货物深度;第二计算模块,用于基于所述待检测车辆的车厢长度、所述货物深度及所述待检测车辆的空载装卸率计算所述待检测车辆的车厢装卸率。
第三方面,本发明实施例提供了一种车辆装卸任务监控***,包括:激光雷达、图像采集装置及控制器,所述控制器包括处理器和存储装置;所述存储装置上存储有计算机程序,所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。
本发明实施例提供了一种车辆装卸任务监控方法、装置及***,该方法包括:获取车辆装卸区域的点云数据,基于点云数据判断待检测车辆是否到达装卸位置;当待检测车辆到达装卸位置时,获取待检测车辆的点云数据;从待检测车辆的点云数据中提取车厢区域的点云数据,基于车厢区域的点云数据的坐标计算待检测车辆的车厢装载的货物深度;基于待检测车辆的车厢长度、货物深度及待检测车辆的空载装卸率计算待检测车辆的车厢装卸率。本发明通过在待检测车辆到达装卸位置时,根据待检测车辆的车厢区域的点云数据计算车厢装载的货物深度,实现了对车厢装载的货物深度的监测,通过基于车厢长度、货物深度及待检测车辆的空载装卸率计算车厢装卸率,实现了对待检测车辆的车厢装卸率的监控,且不会受到光照等环境因素的影响,减小了装卸率检测结果误差,提升了车辆装卸率检测的准确性。
本发明实施例的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本发明实施例的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种车辆装卸任务监控方法流程图;
图2示出了本发明实施例所提供的一种车辆装卸区域示意图;
图3示出了本发明实施例所提供的一种车厢尾部示意图;
图4示出了本发明实施例所提供的一种X-Y平面上待检测车辆最小包围盒示意图;
图5示出了本发明实施例所提供的一种车辆装卸任务监控装置结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。
目前,现有的装卸率检测技术包括手持传感器检测车厢装卸率以及基于安装于车厢内部的传感器检测车厢装卸率,但是,手持传感器检测车厢装卸率容易受到人工干扰,在工作人员操作不当时装卸率估算困难,而基于车厢内部的传感器检测车厢装卸率容易因车厢内部光线较差而影响检测结果,导致装卸率检测误差较大,并且,手持传感器检测车厢装卸率以及基于安装于车厢内部的传感器检测车厢装卸率,均需要一对一进行车辆装卸率检测,耗费人力物力,检测成本较高。
为改善上述问题,本发明实施例提供的一种车辆装卸任务监控方法、装置及***,该技术可应用于降低检测成本,提升车辆装卸率检测的准确性。以下对本发明实施例进行详细介绍。
本实施例提供了一种车辆装卸任务监控方法,该方法可以应用于计算机等电子设备,该电子设备与点云数据采集装置通信连接,参见图1所示的车辆装卸任务监控方法流程图,该方法主要包括以下步骤:
步骤S102,获取车辆装卸区域的点云数据,基于点云数据判断待检测车辆是否到达装卸位置。
上述待检测车辆可以是厢式货车,上述车辆装卸区域包括装卸台(也可以称为月台)及车辆停放区域,车辆停放区域与装卸台邻接。上述点云数据采集装置可以是激光雷达,基于激光雷达采集车辆装卸区域的点云数据,建立点云坐标系,基于车辆装卸区域的点云数据识别待检测车辆的所在位置,根据待检测车辆所在位置与装卸台的位置关系,判断待检测车辆是否到达装卸位置。
由于地面点云数据与车辆的点云数据的高度(Z轴坐标)值不同,根据点云数据的Z轴坐标可以过滤掉地面点云数据,将地面以上的点云数据划分为多个连通区域,基于各个连通区域的几何特征筛选出车辆构成的连通区域,进而根据车辆构成的连通区域边缘的点云坐标确定车辆的所在位置。
在一种具体的实施方式中,参见如图2所示的车辆装卸区域示意图,激光雷达20的设置位置可以入图2所示,将激光雷达20设置于装卸台21的上方,以便可以完整采集到车辆装卸区域的点云数据。根据激光雷达的安装角度或者基于棋盘格标定法,对车辆装卸区域的点云数据进行姿态校正,计算地面法向量到(0,0,1)的罗德里格斯旋转矩阵,将点云数据由激光雷达的坐标系转换至地面的点云坐标系XYZO中。激光雷达视场角内采集的场景存在无用区域,因此,激光雷达设备安装完成后,可以人为选定检测范围,根据点云坐标进行直通滤波提取出车辆装卸区域的点云图像。
步骤S104,当待检测车辆到达装卸位置时,获取待检测车辆的点云数据。
当待检测车辆的车辆尾部对准装卸台,且车辆尾部距离装卸台的距离小于预设装卸距离时,确定待检测车辆到达装卸位置,从上述车辆装卸区域的点云数据中获取待检测车辆的点云数据。
在一种实施方式中,可以对车辆装卸区域的点云数据进行障碍物分割,确定待检测车辆的最小包围盒的位置,将待检测车辆的最小包围盒内的点云数据确定为待检测车辆的点云数据。
步骤S106,从待检测车辆的点云数据中提取车厢区域的点云数据,基于车厢区域的点云数据的坐标计算待检测车辆的车厢装载的货物深度。
上述待检测车辆的车厢为规则的长方体,基于待检测车辆的点云坐标构建点云图像,即根据激光雷达发射线的俯仰角和方位角将待检测车辆的点云坐标转换至球面坐标系中,再将球面坐标系进一步转换至图像坐标系中,对点云图像中的车辆图像进行图像分割,分割得到车头区域和车厢区域,根据车厢区域的几何特征从点云图像中提取出车厢区域,由于车辆到达装卸区域准备装卸货物时激光雷达位于车辆尾部方向,因此上述提取出的车厢区域即为带有车厢车门的车厢尾部区域,将车厢区域的像素点由图像坐标系转换至点云坐标系下,进而可以得到车厢区域对应的点云数据的点云坐标。
在一种实施方式中,参见图如3所示的车厢尾部示意图,上述待检测车辆的车厢尾部的车门四周边缘设置有标识带31,标识带31的回波强度与未设置标示带的区域的回波强度不同,根据待检测车辆的各点云数据的回波强度可以确定车厢尾部的四个角点的点云数据,将四个角点所围成的其区域作为车厢区域。
当用户可以进行货物装卸后,随着车厢中货物量的变化,采集到的车厢区域内的点云数据的坐标会产生变化,根据车厢区域内的点云数据的坐标以及四个角点的点云数据的坐标可以确定车厢所装载的货物体积长度,记为货物深度,计算车厢长度与货物深度的差值,可以得到车厢剩余的可装载货物长度。
步骤S108,基于待检测车辆的车厢长度、货物深度及待检测车辆的空载装卸率计算待检测车辆的车厢装卸率。
基于图像传感器采集待检测车辆的图像,基于字符识别算法识别出待检测车辆的车牌号,根据数据库中记载的车牌号与车辆信息对应关系表,确定待检测车辆的车辆型号、空载装卸率及车厢尺寸,从而可以得到待检测车辆的车厢长度及空载装卸率。
计算货物深度与车厢长度的比值,计算比值与空载装卸率的差值得到待检测车辆的车厢装卸率,即车厢装卸率=(货物深度/车厢长度)-空载装卸率。该空载装卸率为待检测车辆的去皮操作偏移量,上述车厢装卸率为车厢当前已装载货物所占的百分比。
本实施例提供的上述车辆装卸任务监控方法,通过在待检测车辆到达装卸位置时,根据待检测车辆的车厢区域的点云数据计算车厢装载的货物深度,实现了对车厢装载的货物深度的监测,通过基于车厢长度、货物深度及待检测车辆的空载装卸率计算车厢装卸率,实现了对待检测车辆的车厢装卸率的监控,且不会受到光照等环境因素的影响,减小了装卸率检测结果误差,提升了车辆装卸率检测的准确性。
在一个实施例中,为了便于从待检测车辆的点云数据中提取车厢区域的点云数据,上述激光雷达可以设置于升降杆上,本实施例提供的车辆装卸任务监控方法还包括:当确定待检测车辆到达装卸位置时,控制激光雷达下降预设高度,以使激光雷达采集到车门区域的全部画面;当计算得到待检测车辆的车厢装卸率,且检测到车门区域的车门关闭时,控制激光雷达上升预设高度以采集到车辆装卸区域的点云数据。
通过将激光雷达设置于升降杆上,以便在待检测车辆到达装卸位置后,激光雷达能够下降至正对准车厢区域中的车门区域的位置,使采集到的待检测车辆的点云数据中仅包括车厢区域的点云数据而不包括车头区域的点云数据,无需对车头区域和车厢区域进行分割,即可得到车厢区域的点云数据,提升了获取车厢区域的点云数据的便捷性。
当待检测车辆完成货物装/卸,计算完成待检测车辆的车厢装卸率后,如果检测到车门区域中的车门关闭时,确定待检测车辆的装/卸货状态结束,待检测车辆即将进入出站状态,控制激光雷达上升预设高度以恢复原高度,从而可以完全采集到车辆装卸区域的点云数据。在一种具体的实施方式中,可以基于车门区域的点云数据的坐标判断车门是否关闭,由于车门未关闭时车门区域内的点云数据为货物的点云数据,车门关闭后车门区域内的点云数据为车门点云数据,货物的点云数据与车门点云数据与激光雷达的距离不同(即X轴坐标值不同),且车门区域表面较为光滑(点云数据的X轴坐标值均相同)且带有开门把手,因此,根据车门区域中点云数据的坐标可以判断得到车门是否关闭。
在一种实施方式中,上述激光雷达下降的预设高度可以根据待检测车辆的高度及升降杆的安装高度确定,以使激光雷达在下降后能够完全采集到如图3所示的车厢的车门区域的点云数据,并且激光雷达在上升预设高度恢复至原高度后能够完全采集到车辆装卸区域的点云数据。
在一个实施例中,上述待检测车辆的车厢边框设置有标识带,标识带的回波强度与车厢的回波强度不同,本实施例提供了从待检测车辆的点云数据提取车厢区域的具体实施方式:获取待检测车辆的各点云数据的回波强度;基于待检测车辆的各点云数据的回波强度筛选出车厢边框的点云数据;基于车厢边框的点云数据所围成的区域确定待检测车辆的车厢区域。
考虑到激光雷达的回波强度类似于图像的灰度值,且标识带的回波强度明显不同于其他区域的回波强度,根据车厢区域的点云数据的回波强度进行二值化处理,筛选出标示带的点云数据,该标识带的点云数据即为车厢边框的点云数据,对车厢边框的点云数据进行凸包轮廓检测或最小包围盒拟合,从而得到车厢尾部的四个角点所围成的车厢区域,该车厢区域为带有车门的车厢尾部区域,以便在用户装卸货物时,通过监测车厢区域内的点云数据的坐标以监测车厢装卸率。
在一个实施例中,上述待检测车辆的点云数据基于激光雷达采集得到,本实施例提供了基于车厢区域的点云数据的坐标计算待检测车辆的车厢装载的货物深度的实施方式,具体可参照如下步骤(1)~步骤(4)执行:
步骤(1):获取车厢区域的边框顶点对应的点云数据的点云坐标,基于车厢区域的边框顶点的点云坐标确定待检测车辆的车厢尾部与激光雷达的径向距离。
获取车厢区域的4个边框顶点上的点云数据的点云坐标,由于点云数据所在的点云坐标系如图2所示,点云数据的X轴坐标值即为点云与激光雷达之间的距离,计算4个边框顶点上的点云数据的X轴坐标值的平均值,作为车厢尾部到激光雷达的径向距离x1。
步骤(2):计算车厢区域内各点云数据与激光雷达的平均距离。
获取车厢区域内各点云数据的坐标,计算车厢区域内各点云数据的X轴坐标值的平均值,记为平均距离,将车厢区域内各点云数据的X轴坐标值的平均值作为车厢内所装载的货物的尾部与激光雷达之间的间隔距离。
步骤(3):计算平均距离与径向距离的差值,得到待检测车辆的车厢空余长度。
将上述平均距离减去车厢尾部与激光雷达的径向距离x1,得到车厢中的货物尾部与车厢尾部的距离,如图2所示,即车厢中还未装载货物的长度,记为车厢空余长度x2。
步骤(4):获取待检测车辆的车厢长度,计算车厢长度与车厢空余长度的差值,得到待检测车辆的车厢装载的货物深度。
获取待检测车辆的车厢长度w,计算车厢长度w-车厢空余长度x2,得到待检测车辆的车厢装载的货物深度。
在一个实施例中,在上述步骤(4)或上述步骤S108之前,本实施例提供的方法还包括获取待检测车辆的车厢长度的实施方式,具体可参照如下步骤1)~步骤2)执行:
步骤1):基于车辆装卸区域的点云数据或车辆装卸区域的目标图像,判断车辆装卸区域内是否存在待检测车辆。
在一种实施方式中,基于车辆装卸区域的点云数据判断是否存在待检测车辆:根据地面检测算法及车辆装卸区域的点云数据的Z轴坐标进行地面检测,滤除地面点云数据,利用聚类算法对滤除地面点云后的车辆装卸区域的点云数据进行障碍物分割,并基于凸包轮廓检测算法拟合障碍物的三维最小包围盒,统计各障碍物的最小包围盒的几何特征,诸如长宽高等几何尺寸,根据各障碍物的最小包围盒及货车车辆的尺寸,判断车辆装卸区域是否存在待检测车辆,当存在与货车车辆的尺寸相匹配的最小包围盒时,确定车辆装卸区域存在待检测车辆。上述聚类算法包括但不限于:欧式聚类法、K-mean聚类或DBSCAN聚类法等聚类算法。
在另一种实施方式中,基于上述激光雷达的位置还可以设置有摄像头,基于摄像头同步采集车辆装卸区域的图像,记为目标图像,基于目标图像判断车辆装卸区域是否存在待检测车辆:基于预先训练得到的机器学习模型或深度学习模型对目标图像进行障碍物目标检测,识别出目标图像中的各障碍物类别及各障碍物的最小外接包围盒,从而根据检测出的障碍物类别判断车辆装卸区域是否存在待检测车辆,当检测出的障碍物类别包括货车车辆时,确定车辆装卸区域存在待检测车辆。上述深度学习模型可以是:脉冲神经网络、卷积神经网络或全连接神经网络等模型。上述目标检测算法包括但不限于YOLO算法、ssd算法(Single Shot MutiBox Detectior)、rcnn算法(Region-CNN)、MobileNet算法、Squeez-Net算法(Squeeze-and-ExcitationNetworks)及各种变种算法。
步骤2):当车辆装卸区域内存在待检测车辆时,获取待检测车辆的车牌号码,基于车牌号码确定待检测车辆的车辆型号及车厢尺寸。
当确定车辆装卸区域内存在待检测车辆时,自动触发摄像头对待检测车辆进行拍照,基于采集的待检测车辆的图像识别待检测车辆的车牌号码,诸如可以采用字符识别算法或者预先训练得到的车牌识别神经网络模型识别出待检测车辆的车牌号码,还可以为货车车辆配置射频识别以识别待检测车辆的车牌号码。也可以接收用户手动输入的待检测车辆的车牌号码。
将待检测车辆的车牌号码在数据库中进行信息匹配,得到待检测车辆的车牌号码对应的车辆型号及车厢尺寸,该车厢尺寸包括装载货物的车厢的长度、宽度和高度等信息。
在一个实施例中,本实施例提供了基于车辆装卸区域的点云数据判断待检测车辆是否到达装卸位置的具体实施方式:获取待检测车辆构成的目标最小包围盒,基于目标最小包围盒的点云坐标确定待检测车辆的偏航角及待检测车辆的车厢尾部与装卸台之间的目标距离;当偏航角处于预设偏航范围内,且目标距离处于预设距离范围内时,确定待检测车辆到达装卸位置。
根据检测出的待检测车辆构建最小包围盒模型,记为目标最小包围盒,将待检测车辆的目标最小包围盒X-Y平面上进行投影,参见如图4所示的X-Y平面上待检测车辆最小包围盒示意图,基于该目标最小包围盒40的顶点坐标计算目标最小包围盒41与X轴的夹角,记为偏航角θ。基于该目标最小包围盒40的顶点坐标及装卸台的宽度计算待检测车辆的车厢尾部与装卸台之间的距离,记为目标距离,将车厢尾部与激光雷达的距离减去装卸台宽度可以得到该目标距离,该目标距离可以是待检测车辆的车厢尾部的中点与装卸台边缘的垂直距离,也可以是目标最小包围盒的各顶点与装卸台边缘的垂直距离的最小值。
当待检测车辆的位置同时满足偏航角处于预设偏航范围内,且目标距离处于预设距离范围内时,确定待检测车辆准确到达装卸位置。当偏航角未处于预设偏航范围内,或者当目标距离未处于预设距离范围内时,通过蜂鸣器报警,并根据偏航角和目标距离指导司机校正方向。上述预设偏航范围及预设距离范围可以根据车辆装卸货物时的位置及角度要求设置,以便使车辆以标准姿态停放装卸获取,既能方便货物装卸,提升货物装卸效率,又能避免因停放姿态不标准影响车厢装卸率检测结果。
在另一种实施方式中,还可以在地面绘制的停车车位线,通过检测待检测车辆与停车车位线的夹角判断待检测车辆是否到达装卸位置。
在一种实施方式中,上述车辆装卸区域内设置有至少两条相互平行的参考线,如图4所示,上述车辆装卸区域内设置有两条相互平行的第一参考线41和第二参考线42,本实施例还提供了确定待检测车辆的工作状态的具体实施方式:基于目标最小包围盒与各参考线的相交顺序确定待检测车辆的工作状态;其中,工作状态包括进站状态、装/卸货状态和出站状态;基于进站状态和出站状态的对应时间,或者基于待检测车辆到达装卸位置及装/卸完成关闭车门的时间可以确定待检测车辆处于装/卸货状态的时间。
获取用户输入的参考线的坐标,连续获取待检测车辆的目标最小包围盒的位置,得到待检测车辆的目标最小包围盒的运行轨迹,当待检测车辆的目标最小包围盒先与第一参考线41相交,再与第二参考线42相交时,确定待检测车辆的工作状态为进站状态,在确定待检测车辆的工作状态为进站状态后实时检测待检测车辆是否准确到达装卸位置。当待检测车辆的目标最小包围盒先离开相交的第二参考线42,再离开相交的第一参考线41时,确定待检测车辆的工作状态为出站状态,根据进站状态的开始时间与出站状态的结束时间的时间间隔,确定待检测车辆完成货物装卸所需的时间,记为装卸货物时间,以便根据该装卸货物时间对物流园区内的车辆进行货物装卸位置调度。
本实施例提供的上述车辆装卸任务监控方法,通过在装卸台上方设置激光雷达,能够实现对装卸区域内所有车辆进出站状态的自动检测以及车厢装卸率的自动检测,实现了一对多的服务优化,且无需人为检测,成本较低,也不容易受到环境因素的影响,提升了车辆装卸任务监控的准确性。
对应于上述实施例所提供的车辆装卸任务监控方法,本发明实施例提供了一种车辆装卸任务监控装置,参见图5所示的一种车辆装卸任务监控装置结构示意图,该装置包括以下模块:
判断模块51,用于获取车辆装卸区域的点云数据,基于点云数据判断待检测车辆是否到达装卸位置。
获取模块52,用于当待检测车辆到达装卸位置时,获取待检测车辆的点云数据。
第一计算模块53,用于从待检测车辆的点云数据中提取车厢区域的点云数据,基于车厢区域的点云数据的坐标计算待检测车辆的车厢装载的货物深度。
第二计算模块54,用于基于待检测车辆的车厢长度、货物深度及待检测车辆的空载装卸率计算待检测车辆的车厢装卸率。
本实施例提供的上述车辆装卸任务监控装置,通过在待检测车辆到达装卸位置时,根据待检测车辆的车厢区域的点云数据计算车厢装载的货物深度,实现了对车厢装载的货物深度的监测,通过基于车厢长度、货物深度及待检测车辆的空载装卸率计算车厢装卸率,实现了对待检测车辆的车厢装卸率的监控,且不会受到光照等环境因素的影响,减小了装卸率检测结果误差,提升了车辆装卸率检测的准确性。
在一种实施方式中,上述第二计算模块54,用于计算货物深度与车厢长度的比值,计算比值与空载装卸率的差值得到待检测车辆的车厢装卸率。
在一种实施方式中,上述待检测车辆的车厢边框设置有标识带,标识带的回波强度与车厢的回波强度不同,上述第一计算模块53,用于获取待检测车辆的各点云数据的回波强度;基于待检测车辆的各点云数据的回波强度筛选出车厢边框的点云数据;基于车厢边框的点云数据所围成的区域确定待检测车辆的车厢区域。
在一种实施方式中,上述待检测车辆的点云数据基于激光雷达采集得到,上述第一计算模块53,用于获取车厢区域的边框顶点对应的点云数据的点云坐标,基于车厢区域的边框顶点的点云坐标确定待检测车辆的车厢尾部与激光雷达的径向距离;计算车厢区域内各点云数据与激光雷达的平均距离;计算平均距离与径向距离的差值,得到待检测车辆的车厢空余长度;获取待检测车辆的车厢长度,计算车厢长度与车厢空余长度的差值,得到待检测车辆的车厢装载的货物深度。
在一种实施方式中,上述装置还包括:
第一检测模块,用于基于车辆装卸区域的点云数据或车辆装卸区域的目标图像,判断车辆装卸区域内是否存在待检测车辆;当车辆装卸区域内存在待检测车辆时,获取待检测车辆的车牌号码,基于车牌号码确定待检测车辆的车辆型号及车厢尺寸;其中,车厢尺寸包括车厢长度。
在一种实施方式中,上述判断模块51,用于获取待检测车辆构成的目标最小包围盒,基于目标最小包围盒的点云坐标确定待检测车辆的偏航角及待检测车辆的车厢尾部与装卸台之间的目标距离;当偏航角处于预设偏航范围内,且目标距离处于预设距离范围内时,确定待检测车辆到达装卸位置。
在一种实施方式中,上述车辆装卸区域内设置有至少两条相互平行的参考线,上述激光雷达设置于升降杆上,上述装置还包括:
第二检测模块,用于基于目标最小包围盒与各参考线的相交顺序确定待检测车辆的工作状态;其中,工作状态包括进站状态、装/卸货状态和出站状态;基于进站状态和出站状态的对应时间确定待检测车辆的装卸货物时间。
高度控制模块,用于当确定待检测车辆到达装卸位置时,控制激光雷达下降预设高度,以使激光雷达采集到车门区域的全部画面;当计算得到待检测车辆的车厢装卸率,且检测到车门区域的车门关闭时,控制激光雷达上升预设高度以采集到车辆装卸区域的点云数据。
本实施例提供的上述车辆装卸任务监控装置,通过在装卸台上方设置激光雷达,能够实现对装卸区域内所有车辆进出站状态的自动检测以及车厢装卸率的自动检测,实现了一对多的服务优化,且无需人为检测,成本较低,也不容易受到环境因素的影响,提升了车辆装卸任务监控的准确性。
本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
对应于前述实施例所提供的方法和装置,本发明实施例还提供了一种车辆装卸任务监控***,该***包括:激光雷达、图像采集装置及控制器,控制器包括处理器和存储装置;存储装置上存储有计算机程序,计算机程序在被处理器运行时执行上述实施例提供的车辆装卸任务监控方法。
上述激光雷达和图像采集装置(摄像头)设置于装卸台的上方,以便采集车辆装卸区域的点云数据及车辆装卸区域的图像。
本发明实施例提供了一种计算机可读介质,其中,所述计算机可读介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,所述计算机可执行指令促使所述处理器实现上述实施例所述的方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***具体工作过程,可以参考前述实施例中的对应过程,在此不再赘述。
本发明实施例所提供的车辆装卸任务监控方法、装置及***的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种车辆装卸任务监控方法,其特征在于,包括:
获取车辆装卸区域的点云数据,基于所述点云数据判断待检测车辆是否到达装卸位置;
当所述待检测车辆到达所述装卸位置时,获取所述待检测车辆的点云数据;
从所述待检测车辆的点云数据中提取车厢区域的点云数据,基于所述车厢区域的点云数据的坐标计算所述待检测车辆的车厢装载的货物深度;
基于所述待检测车辆的车厢长度、所述货物深度及所述待检测车辆的空载装卸率计算所述待检测车辆的车厢装卸率。
2.根据权利要求1所述的方法,其特征在于,所述基于所述待检测车辆的车厢长度、所述货物深度及所述待检测车辆的空载装卸率计算所述待检测车辆的车厢装卸率的步骤,包括:
计算所述货物深度与所述车厢长度的比值,计算所述比值与所述空载装卸率的差值得到所述待检测车辆的车厢装卸率。
3.根据权利要求1所述的方法,其特征在于,所述待检测车辆的车厢边框设置有标识带,所述标识带的回波强度与车厢的回波强度不同,所述从所述待检测车辆的点云数据提取车厢区域的步骤,包括:
获取所述待检测车辆的各点云数据的回波强度;
基于所述待检测车辆的各点云数据的回波强度筛选出车厢边框的点云数据;
基于所述车厢边框的点云数据所围成的区域确定所述待检测车辆的车厢区域。
4.根据权利要求1所述的方法,其特征在于,所述待检测车辆的点云数据基于激光雷达采集得到,所述基于所述车厢区域的点云数据的坐标计算所述待检测车辆的车厢装载的货物深度的步骤,包括:
获取所述车厢区域的边框顶点对应的点云数据的点云坐标,基于所述车厢区域的边框顶点的点云坐标确定所述待检测车辆的车厢尾部与所述激光雷达的径向距离;
计算所述车厢区域内各点云数据与所述激光雷达的平均距离;
计算所述平均距离与所述径向距离的差值,得到所述待检测车辆的车厢空余长度;
获取所述待检测车辆的车厢长度,计算所述车厢长度与所述车厢空余长度的差值,得到所述待检测车辆的车厢装载的货物深度。
5.根据权利要求4所述的方法,其特征在于,还包括:
基于所述车辆装卸区域的点云数据或所述车辆装卸区域的目标图像,判断所述车辆装卸区域内是否存在待检测车辆;
当所述车辆装卸区域内存在待检测车辆时,获取所述待检测车辆的车牌号码,基于所述车牌号码确定所述待检测车辆的车辆型号及车厢尺寸;其中,所述车厢尺寸包括车厢长度。
6.根据权利要求5所述的方法,其特征在于,所述基于所述点云数据判断待检测车辆是否到达装卸位置的步骤,包括:
获取所述待检测车辆构成的目标最小包围盒,基于所述目标最小包围盒的点云坐标确定所述待检测车辆的偏航角及所述待检测车辆的车厢尾部与装卸台之间的目标距离;
当所述偏航角处于预设偏航范围内,且所述目标距离处于预设距离范围内时,确定所述待检测车辆到达所述装卸位置。
7.根据权利要求6所述的方法,其特征在于,所述车辆装卸区域内设置有至少两条相互平行的参考线,所述方法还包括:
基于所述目标最小包围盒与各所述参考线的相交顺序确定所述待检测车辆的工作状态;其中,所述工作状态包括进站状态、装/卸货状态和出站状态;
基于所述进站状态和所述出站状态的对应时间确定所述待检测车辆的装卸货物时间。
8.根据权利要求4-7任一项所述的方法,其特征在于,所述激光雷达设置于升降杆上,所述方法还包括:
当确定所述待检测车辆到达所述装卸位置时,控制所述激光雷达下降预设高度,以使所述激光雷达采集到车门区域的全部画面;
当计算得到所述待检测车辆的车厢装卸率,且检测到所述车门区域的车门关闭时,控制所述激光雷达上升所述预设高度以采集到所述车辆装卸区域的点云数据。
9.一种车辆装卸任务监控装置,其特征在于,包括:
判断模块,用于获取车辆装卸区域的点云数据,基于所述点云数据判断待检测车辆是否到达装卸位置;
获取模块,用于当所述待检测车辆到达所述装卸位置时,获取所述待检测车辆的点云数据;
第一计算模块,用于从所述待检测车辆的点云数据中提取车厢区域的点云数据,基于所述车厢区域的点云数据的坐标计算所述待检测车辆的车厢装载的货物深度;
第二计算模块,用于基于所述待检测车辆的车厢长度、所述货物深度及所述待检测车辆的空载装卸率计算所述待检测车辆的车厢装卸率。
10.一种车辆装卸任务监控***,其特征在于,包括:激光雷达、图像采集装置及控制器,所述激光雷达设置于升降杆上,,所述控制器包括处理器和存储装置;
所述存储装置上存储有计算机程序,所述计算机程序在被所述处理器运行时执行如权利要求1至8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210489689.3A CN114998824A (zh) | 2022-05-07 | 2022-05-07 | 一种车辆装卸任务监控方法、装置及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210489689.3A CN114998824A (zh) | 2022-05-07 | 2022-05-07 | 一种车辆装卸任务监控方法、装置及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114998824A true CN114998824A (zh) | 2022-09-02 |
Family
ID=83024396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210489689.3A Pending CN114998824A (zh) | 2022-05-07 | 2022-05-07 | 一种车辆装卸任务监控方法、装置及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114998824A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115856923A (zh) * | 2023-02-27 | 2023-03-28 | 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) | 矿卡卸料用时的测量方法、装置、设备及存储介质 |
CN115862001A (zh) * | 2023-03-02 | 2023-03-28 | 青岛慧拓智能机器有限公司 | 一种基于体积计量的露天矿山车厢残留物检测方法及*** |
CN115984195A (zh) * | 2022-12-16 | 2023-04-18 | 秦皇岛燕大滨沅科技发展有限公司 | 一种基于三维点云的车厢轮廓检测方法及*** |
CN116300585A (zh) * | 2023-02-09 | 2023-06-23 | 安徽海博智能科技有限责任公司 | 一种基于矿区无人驾驶自动卸料状况的检测控制方法 |
CN117387539A (zh) * | 2023-12-11 | 2024-01-12 | 苏州朗信智能科技有限公司 | 货运车辆的车厢动态检测方法、检测装置及存储介质 |
-
2022
- 2022-05-07 CN CN202210489689.3A patent/CN114998824A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115984195A (zh) * | 2022-12-16 | 2023-04-18 | 秦皇岛燕大滨沅科技发展有限公司 | 一种基于三维点云的车厢轮廓检测方法及*** |
CN115984195B (zh) * | 2022-12-16 | 2023-09-29 | 秦皇岛燕大滨沅科技发展有限公司 | 一种基于三维点云的车厢轮廓检测方法及*** |
CN116300585A (zh) * | 2023-02-09 | 2023-06-23 | 安徽海博智能科技有限责任公司 | 一种基于矿区无人驾驶自动卸料状况的检测控制方法 |
CN115856923A (zh) * | 2023-02-27 | 2023-03-28 | 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) | 矿卡卸料用时的测量方法、装置、设备及存储介质 |
CN115862001A (zh) * | 2023-03-02 | 2023-03-28 | 青岛慧拓智能机器有限公司 | 一种基于体积计量的露天矿山车厢残留物检测方法及*** |
CN117387539A (zh) * | 2023-12-11 | 2024-01-12 | 苏州朗信智能科技有限公司 | 货运车辆的车厢动态检测方法、检测装置及存储介质 |
CN117387539B (zh) * | 2023-12-11 | 2024-03-26 | 苏州朗信智能科技有限公司 | 货运车辆的车厢动态检测方法、检测装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114998824A (zh) | 一种车辆装卸任务监控方法、装置及*** | |
CN111461107A (zh) | 用于识别感兴趣区的材料搬运方法、装置和*** | |
CN110054121B (zh) | 一种智能叉车以及容器位姿偏移检测方法 | |
EP3033293B1 (en) | Method and system for automatically landing containers on a landing target using a container crane | |
CN112528721B (zh) | 一种桥吊集卡安全定位方法和*** | |
CN109641729B (zh) | 锁定设备的探测 | |
CN114022537B (zh) | 一种用于动态称重区域车辆装载率和偏载率分析方法 | |
US11873195B2 (en) | Methods and systems for generating landing solutions for containers on landing surfaces | |
US10697757B2 (en) | Container auto-dimensioning | |
CN112027918A (zh) | 一种基于机器视觉的集卡防吊起检测方法 | |
CN114648233A (zh) | 一种动态工位货物搬运方法和*** | |
CN115205458A (zh) | 一种基于激光雷达扫描建模测量的智能装车*** | |
CN112581519B (zh) | 一种放射性废物包识别定位方法与装置 | |
CN111582778B (zh) | 操作场地货物堆积度量方法、装置、设备及存储介质 | |
WO2024049571A1 (en) | System and method for load bay state detection | |
CN117115249A (zh) | 一种集装箱锁孔自动识别定位***及方法 | |
CN114742503B (zh) | 一种基于深度学习的智慧物流拼车方法和装置 | |
CN117006953A (zh) | 一种车辆超载检测预警方法及*** | |
CN115631329A (zh) | 一种用于开放式车厢的装载控制方法、***和存储介质 | |
CN115752231A (zh) | 一种智能落箱检测方法及装置 | |
CN114332824B (zh) | 一种物流车辆的故障警示自动收放装置 | |
CN115856923B (zh) | 矿卡卸料用时的测量方法、装置、设备及存储介质 | |
CN117745804A (zh) | 位置关系确定方法、装置、电子设备、***及存储介质 | |
CN116152243B (zh) | 基于图像分析的集装箱装卸作业状态的检测方法 | |
WO2023151603A1 (zh) | 货箱存放方法和机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |