CN115909204A - 一种基于集装箱吊具检测的车辆运动策略确定方法及装置 - Google Patents
一种基于集装箱吊具检测的车辆运动策略确定方法及装置 Download PDFInfo
- Publication number
- CN115909204A CN115909204A CN202211429762.4A CN202211429762A CN115909204A CN 115909204 A CN115909204 A CN 115909204A CN 202211429762 A CN202211429762 A CN 202211429762A CN 115909204 A CN115909204 A CN 115909204A
- Authority
- CN
- China
- Prior art keywords
- container spreader
- image
- vehicle
- container
- spreader
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Control And Safety Of Cranes (AREA)
Abstract
本申请提供一种基于集装箱吊具检测的车辆运动策略确定方法、装置、电子设备及计算机可读存储介质,所述方法包括:获取车辆挂板上方针对集装箱吊具的图像,基于所述图像识别所述集装箱吊具的类型;获取车辆挂板上方针对所述集装箱吊具的点云数据,基于所述点云数据计算所述集装箱吊具的高度信息;通过所述点云数据校正车辆挂板的载物状态;基于所述集装箱吊具的类型,所述集装箱吊具的高度信息,以及所述载物状态,确定车辆的运动策略。
Description
技术领域
本申请涉及集装箱吊具检测技术领域,特别是涉及一种基于集装箱吊具检测的车辆运动策略确定方法、装置、电子设备及计算机可读存储介质。
背景技术
港口集装箱作业,主要涉及各类集装箱吊具与集装箱卡车之间的装卸箱操作。此类操作中,主要的安全隐患在于集装箱卡车是否能够正确识别集装箱吊具的动作、状态。在传统港口环境中,安全判断通常是由集装箱卡车驾驶员做出的,当安全员出现疲劳、操作不当等行为时,会出现拖拽集装箱吊具、集装箱放置不当等安全事故。
在装卸集装箱完成后,需要等空集装箱吊具或带箱集装箱吊具离开自车大于一定高度,才能启动自车前进。以保证车在前行初期,和集装箱吊具没有干涉拖拽的危险。但是,为了确保安全,而盲目延长等待启动时间,会降低运行效率;因此,在具备工作条件的情况下,应及时启动集装箱吊具,以提高运行效率。
因此,如何对集装箱吊具进行检测是本领域亟需解决的技术问题。
发明内容
本申请提供一种基于集装箱吊具检测的车辆运动策略确定方法,其特征在于,所述方法包括:
获取车辆挂板上方针对集装箱吊具的图像,基于所述图像识别所述集装箱吊具的类型;
获取车辆挂板上方针对所述集装箱吊具的点云数据,基于所述点云数据计算所述集装箱吊具的高度信息;
通过所述点云数据校正车辆挂板的载物状态;
基于所述集装箱吊具的类型,所述集装箱吊具的高度信息,以及所述载物状态,确定车辆的运动策略。
可选的,所述获取车辆挂板上方针对所述集装箱吊具的图像,基于所述图像识别所述集装箱吊具的类型,包括:
获取车辆挂板上方针对集装箱吊具的图像,对所述集装箱吊具的类型进行标注;
通过标注类型的图像训练集装箱吊具识别模型;
基于所述集装箱吊具识别模型识别所述集装箱吊具的类型。
可选的,所述获取车辆挂板上方针对集装箱吊具的图像,基于所述图像识别所述集装箱吊具的类型,还包括:
基于所述图像确定车辆挂板的载物状态。
可选的,所述方法还包括:
以相同的频率获取车辆挂板上方针对所述集装箱吊具的图像,以及针对所述集装箱吊具的点云数据,以保证二者实时对应。
本申请提供一种基于集装箱吊具检测的车辆运动策略确定装置,其特征在于,所述装置包括:
图像获取模块,用于获取车辆挂板上方针对集装箱吊具的图像,基于所述图像识别所述集装箱吊具的类型;
点云获取模块,用于获取车辆挂板上方针对所述集装箱吊具的点云数据,基于所述点云数据计算所述集装箱吊具的高度信息;
校正模块,用于通过所述点云数据校正车辆挂板的载物状态;
运动控制模块,用于基于所述集装箱吊具的类型,所述集装箱吊具的高度信息,以及所述载物状态,确定车辆的运动策略。
可选的,所述获取车辆挂板上方针对所述集装箱吊具的图像,基于所述图像识别所述集装箱吊具的类型,包括:
获取车辆挂板上方针对集装箱吊具的图像,对所述集装箱吊具的类型进行标注;
通过标注类型的图像训练集装箱吊具识别模型;
基于所述集装箱吊具识别模型识别所述集装箱吊具的类型。
可选的,所述获取车辆挂板上方针对集装箱吊具的图像,基于所述图像识别所述集装箱吊具的类型,还包括:
基于所述图像确定车辆挂板的载物状态。
可选的,所述装置还包括:
以相同的频率获取车辆挂板上方针对所述集装箱吊具的图像,以及针对所述集装箱吊具的点云数据,以保证二者实时对应。
本申请还提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器通过运行所述可执行指令以实现上述方法的步骤。
本申请还提供一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现上述方法的步骤。
通过以上实施例,可以通过针对所述集装箱吊具的图像和点云数据,确定集装箱吊具的类型和高度信息,以及识别车辆自身的载物状态,从而提高装卸集装箱的效率。
附图说明
图1是一示例性的实施例示出的一种基于集装箱吊具检测的车辆运动策略确定方法的流程图;
图2是一示例性的实施例示出的车辆坐标系下的点云数据图;
图3是一示例性的实施例示出的一种基于集装箱吊具检测的车辆运动策略确定装置的框图;
图4是一示例性的实施例示出的一种基于集装箱吊具检测的车辆运动策略确定装置所在电子设备的硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是:在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其他实施例中可能被分解为多个步骤进行描述;而本说明书中所描述的多个步骤,在其他实施例中也可能被合并为单个步骤进行描述。
为了使本技术领域的人员更好地理解本说明书实施例中的技术方案,下面先对本说明书实施例涉及的车辆传感器自动标定的相关技术,进行简要说明。
集装箱吊具:集装箱吊具是指一种装卸集装箱的专用集装箱吊具,它通过其端部横梁四角的旋锁与集装箱的顶角配件连接,由司机操作控制旋锁的开闭,进行集装箱装卸作业。
转矩:机械元件在转矩作用下都会产生一定程度的扭转变形,故转矩有时又称为扭矩(Torsional moment)。转矩是各种工作机械传动轴的基本载荷形式,与动力机械的工作能力、能源消耗、效率、运转寿命及安全性能等因素紧密联系,转矩的测量对传动轴载荷的确定与控制、传动***工作零件的强度设计以及原动机容量的选择等都具有重要的意义。
点云数据:由激光雷达向外发射激光脉冲,从地面或物体表面反射,形成多个回波,返回到激光雷达传感器,经处理后的反射数据称为点云数据。
视场角:视场角在光学工程中又称视场,视场角的大小决定了光学仪器的视野范围。视场角又可用FOV表示,其与焦距的关系如下:像高=EFL*tan(半FOV);EFL为焦距;FOV为视场角。
应用场景概述
港口集装箱作业,主要涉及各类集装箱吊具与集装箱卡车之间的装卸箱操作。对于自动驾驶的无人集装箱运输车辆而言,在无驾驶员的情况下,要保证装卸作业的安全、高效,需要检测集装箱吊具的状态,并把检测结果传输给车辆的运动控制***。无人集装箱运输车辆包含无人集卡、智能移动运输平板车等。
在无人集装箱运输车辆运载过程中,车辆的挂板的载物状态,会影响到运动控制***输出的控制物理量的大小。例如,车辆装载了较重的集装箱时,需要输出更大的转矩。
因此,在港口环境下检测是否存在集装箱吊具,以及识别集装箱吊具的类型,获取吊具的高度信息,并通过吊具类型推断出装卸箱的尺寸、以及载物状态,对于港口环境下自动驾驶无人集装箱运输车辆非常必要。
目前,港口环境下无人集装箱运输车辆的无人化运行尚不成熟,对于集装箱吊具的检测方案也非常少。现有技术中,仅使用单相机获取集装箱吊具图像,来检测集装箱吊具,通过图像的中集装箱吊具的大小与集装箱的真实大小进行映射,从而获得集装箱吊具的高度。该方案在集装箱吊具具有多个尺寸的情况下,会导致高度检测不准确,从而影响无人集装箱运输车辆对集装箱吊具的检测准确度。
发明构思
有鉴于此,本说明书旨在提出一种综合二维图像和三维点云数据,确定集装箱吊具类型和高度信息,并确定车辆载物状态的技术方案。
本说明书的核心构思在于:
由于点云数据相较于二维图像,具有无畸变的优点,因此可以通过针对集装箱吊具的点云数据获取准确的集装箱吊具的高度信息;结合集装箱吊具的二维图像,和预先建立的用于识别集装箱吊具类型的集装箱吊具识别模型,识别出集装箱吊具的类别,并可以通过二维图像和点云数据中车辆挂板的信息确定车辆挂板的载物状态。
下面通过具体实施例,并结合具体的应用场景对本申请进行描述。
请参见图1,图1是一示例性的实施例示出的一种基于集装箱吊具检测的车辆运动策略确定方法的流程图,上述方法执行以下步骤:
步骤102:获取车辆挂板上方针对集装箱吊具的图像,基于所述图像识别所述集装箱吊具的类型。
步骤104:获取车辆挂板上方针对所述集装箱吊具的点云数据,基于所述点云数据计算所述集装箱吊具的高度信息。
步骤106:通过所述点云数据校正车辆挂板的载物状态;
步骤108:基于所述集装箱吊具的类型,所述集装箱吊具的高度信息,以及所述载物状态,确定车辆的运动策略。
在本说明书提出的方案中,可以获取车辆挂板上方针对集装箱吊具的图像,基于所述图像识别所述集装箱吊具的类型;可以获取车辆挂板上方针对所述集装箱吊具的点云数据,基于所述点云数据计算所述集装箱吊具的高度信息;并可以通过所述点云数据校正车辆挂板的载物状态;基于所述集装箱吊具的类型,所述集装箱吊具的高度信息,以及所述载物状态,确定车辆的运动策略。
在示出的一种实施方式中,针对集装箱吊具的图像可以包通过相机获取;针对集装箱吊具的点云数据可以通过激光雷达获取。其中,可以根据集装箱吊具的边界位置和相机的安装位置,确定相机的型号和安装角度,从而确保在集装箱装卸过程中,相机可以拍摄到集装箱吊具从顶端下降至接触车辆挂板的完整过程。激光雷达安装于车顶位置,用于获取吊具高度信息,激光雷达应保证能扫描到8米以上的吊具,同时在车辆装载集装箱后,能够扫描得到集装箱箱体最前面的板面。
例如,可以使用FOV垂直120度,横向60度的相机,图像宽高1080*1920pixel;可以使用32线或40线激光雷达。
在示出的一种实施方式中,可以以相同的频率获取车辆挂板上方针对所述集装箱吊具的图像,以及针对所述集装箱吊具的点云数据,以保证二者实时对应。
例如,激光雷达的主流频率可以是10hz,所以可以将相机也设定输出10hz频率的图像。此时相机与激光雷达二者可以同时触发,从而保证图像和点云数据的实时对应、同时出图。
在示出的一种实施方式中,可以获取车辆挂板上方针对集装箱吊具的图像,对所述集装箱吊具的类型进行标注;可以通过标注类型的图像训练集装箱吊具识别模型;基于所述集装箱吊具识别模型识别所述集装箱吊具的类型。
可以获取集装箱吊具的图像,并进行大量标注,并通过深度学习模型训练,最终输出检测目标。检测目标可以是用于确定集装箱吊具的矩形框,置信度,以及集装箱吊具的类型。
由于主流港口的集装箱长度,有40尺、45尺、20尺三种型号,相应的集装箱吊具也可以分为三种,在根据集装箱吊具是否携带集装箱,可以将集装箱吊具标注为多个类型。但是因为40尺与45尺在图像表现上差异很小,因此可以将集装箱吊具的类型标注为40尺空吊具、40尺带箱吊具、20尺空吊具、20尺带箱吊具四类。为保证在各种环境、地点下模型都能有优秀的检出效果,需要采集完备的数据集。
例如,由于港口环境下无人集装箱运输车辆可以24小时作业,因此需要采集夜景下的图像;车辆在码头面、堆场都会有装卸箱作业,需要采集不同地点的图像;在逆光、阴雨等天气下需要采集图像;空吊具、带箱吊具,数据集要覆盖全面以及均衡;20尺吊具、40尺吊具在装卸作业时,箱体放在车辆挂板的前侧以及后侧,需要采集对应的图像。
在示出的一种实施方式中,可以对深度学习的数据结果进行过滤,删除不符合条件的集装箱吊具的矩形框。根据后续运动控制模块的需求,只保留本车道的集装箱吊具的矩形框,并且选取其中置信度最高的集装箱吊具的矩形框。
在示出的一种实施方式中,可以将低处的20尺吊具标注为前20尺吊具,将处于高处的20尺吊具标注为后20尺吊具。为之后更细致的判断载物状态准备。由于前/后20尺吊具在形态上差异很小,在深度学习模型中未做细分。在后处理中,主要根据集装箱高度低于一定阈值时的宽度值,宽度值差异明显,前20尺吊具宽度值远大于后20尺吊具。最终得到本帧图像的图像检测结果:集装箱吊具是否存在,以及集装箱吊具的类型。
在示出的一种实施方式中,可以通过相机拍摄的图像确定车辆挂板的载物状态。
例如,可以设定长度为10的队列变量pre_type_list,每帧检测后,都将当前帧的图像检测结果,添加到队列。最终形成按时间先后顺序排列的集装箱吊具类别队列,元素在队列中的位置id从0~9。遍历队列,统计clamp_40、clamp_40_box、clamp_20_front、clamp_20_box_front、clamp_20_back、clamp_20_box_back这六种类型的数量。当某类型的数量大于等于3时,计算其在队列中位置的均值id_ave。以一个具体的例子说明:如果num(clamp_40)>=3并且num(clamp_40_box)>=3,同时id_ave(clamp_40)<3.5并且id_ave(clamp_40_box)>6。表明先稳定检出了40尺带箱吊具,之后是40尺空吊具,可以断定当前的动作是“卸载40尺箱”,表示为“-40”。根据队列元素的不同,可以判断“+40”、“-40”、“+前20”、“-前20”、“+后20”、“-后20”六种“动作”。使用长度为10的队列,对错检、漏检有一定的容错性,并且保证了“动作”的获取比较及时。
可以将载物状态分为四种类型:空载、满载、前载、后载。获取了当前“动作”,再根据之前的载物状态,推断出车辆挂板最新的载物状态。
例如,若之前载物状态为“空载”,且检测到当前集装箱吊具的类型为40尺带箱吊具,即动作为“+40”,则可以确定最新的载物状态为“满载”。以此类推,其余情况如下表所示。
通过图像确立了集装箱吊具的类型,以及车辆挂板的载物状态之后,可以通过激光雷达获取的点云数据确定集装箱吊具的高度。
例如,如图2所示,可以先进行坐标系转化,首先定义车体坐标系vehicle_os:以车头的两个后轮轴中心为xoy平面的原点,车头正前方为x正向,车头正左是y轴正向。按右手螺旋准则,z轴正向垂直向上。规定z轴0点位于地面。原始点云数据是在雷达坐标系下lidar_os。首先对激光雷达进行内外参标定,获取从激光雷达系到车体系的外参矩阵M。根据外参矩阵M,可以将原始点云数据转化到车体坐标系下。可以将集装箱吊具对应的点云数据中z坐标中的最小值,确定为集装箱吊具距离地面的高度height,例如图2中的A点为集装箱吊具对应的点云数据中z坐标中的最小值,所以可以将A点对应的z坐标确定为该装箱吊具距离地面的高度height。集装箱吊具位于车辆挂板的正上方。装卸集装箱的时候,车辆挂板与车头保持平直,所以车辆挂板在车体坐标系下的位置基本是稳定的,用conner_v[x_min、x_max、y_min、y_max]表示。点云数据转到车体系下后,在xy向截取conner_v范围内的点,获得车辆挂板对应的感兴趣区域,
然后对该感兴趣区域内的点云数据进行统计滤波,去除离群噪点,其中噪点主要是飞虫、水滴等。避免在求取集装箱吊具高度时,选择了噪点,从而影响结果的准确性。之后根据集装箱吊具的不同类型,再从该感兴趣区域中选取对应小区域。小区域里点的最小z值,即为吊具所求高度。
根据图像可以获得车辆挂板的载物状态,还可以利用点云数据对部分载物状态做二次核查校正。校正原则:当从点云中看到后置20尺箱的前面板时,将载物状态置为“后载”。当从点云中看到完整的空挂板时,将载物状态置为“空载”。“前载”和“满载”两种状态,点云形态无差异,本说明书不做识别校正。
从点云数据中,虽然不能判定所有四种状态,但可以保证能识别出的两种状态的准确性。一旦有集装箱吊具之外的其他设备对车辆进行装卸箱时,可以通过点云数据对载物状态的校正,在“空载”和“后载”时,能够识别出状态,可以达到对累计错误进行归零的效果。同时,可以为前述“从图像中获得载物状态”提供初始状态值。
获取到集装箱吊具的类型,高度信息,以及车辆挂板的载物状态后,可以基于所述集装箱吊具的类型,所述集装箱吊具的高度信息,以及所述载物状态,确定车辆的运动策略。
例如,在确定当前集装箱吊具的类型为“+40”,车辆的载物状态为“空载”时,可以确定当前集装箱吊具正在将集装箱装运至车辆挂板上,在装卸集装箱完成后,可以将车辆挂板的载物状态更新为“满载”,基于集装箱吊具的类型,集装箱吊具的高度信息,以及载物状态,确定车辆的运动策略,例如,在装卸完成后,当空吊具距离车辆挂板的距离大于一定高度,控制启动车辆前进,以保证车辆在行驶期间,和集装箱吊具没有干涉拖拽的危险。
请参见图3,图3是一示例性的实施例示出的一种基于集装箱吊具检测的车辆运动策略确定装置,其特征在于,所述装置包括:
图像获取模块310,用于获取车辆挂板上方针对集装箱吊具的图像,基于所述图像识别所述集装箱吊具的类型;
点云获取模块320,用于获取车辆挂板上方针对所述集装箱吊具的点云数据,基于所述点云数据计算所述集装箱吊具的高度信息;
校正模块330,用于通过所述点云数据校正车辆挂板的载物状态;
运动控制模块340,用于基于所述集装箱吊具的类型,所述集装箱吊具的高度信息,以及所述载物状态,确定车辆的运动策略。
可选的,所述获取车辆挂板上方针对所述集装箱吊具的图像,基于所述图像识别所述集装箱吊具的类型,包括:
获取车辆挂板上方针对集装箱吊具的图像,对所述集装箱吊具的类型进行标注;
通过标注类型的图像训练集装箱吊具识别模型;
基于所述集装箱吊具识别模型识别所述集装箱吊具的类型。
可选的,所述获取车辆挂板上方针对集装箱吊具的图像,基于所述图像识别所述集装箱吊具的类型,还包括:
基于所述图像确定车辆挂板的载物状态。
可选的,所述装置还包括:
以相同的频率获取车辆挂板上方针对所述集装箱吊具的图像,以及针对所述集装箱吊具的点云数据,以保证二者实时对应。
本说明书可以检测集装箱吊具的有无、类型、高度等信息,并识别或推断出车辆挂板的载物状态。为港口无人驾驶环境下安全、高效率的装卸集装箱,提供了必要的技术保障。
请参见图4,图4是一示例性的实施例示出的一种基于集装箱吊具检测的车辆运动策略确定装置所在电子设备的硬件结构图。在硬件层面,该设备包括处理器402、内部总线404、网络接口406、内存408以及非易失性存储器410,当然还可能包括其他业务所需要的硬件。本说明书一个或多个实施例可以基于软件方式来实现,比如由处理器402从非易失性存储器410中读取对应的计算机程序到内存408中然后运行。当然,除了软件实现方式之外,本说明书一个或多个实施例并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例只是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
在一个典型的配置中,计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已,并不用以限制本说明书一个或多个实施例,凡在本说明书一个或多个实施例的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书一个或多个实施例保护的范围之内。
Claims (10)
1.一种基于集装箱吊具检测的车辆运动策略确定方法,其特征在于,所述方法包括:
获取车辆挂板上方针对集装箱吊具的图像,基于所述图像识别所述集装箱吊具的类型;
获取车辆挂板上方针对所述集装箱吊具的点云数据,基于所述点云数据计算所述集装箱吊具的高度信息;
通过所述点云数据校正车辆挂板的载物状态;
基于所述集装箱吊具的类型,所述集装箱吊具的高度信息,以及所述载物状态,确定车辆的运动策略。
2.根据权利要求1所述的方法,其特征在于,所述获取车辆挂板上方针对所述集装箱吊具的图像,基于所述图像识别所述集装箱吊具的类型,包括:
获取车辆挂板上方针对集装箱吊具的图像,对所述集装箱吊具的类型进行标注;
通过标注类型的图像训练集装箱吊具识别模型;
基于所述集装箱吊具识别模型识别所述集装箱吊具的类型。
3.根据权利要求1所述的方法,其特征在于,所述获取车辆挂板上方针对集装箱吊具的图像,基于所述图像识别所述集装箱吊具的类型,还包括:
基于所述图像确定车辆挂板的载物状态。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
以相同的频率获取车辆挂板上方针对所述集装箱吊具的图像,以及针对所述集装箱吊具的点云数据,以保证二者实时对应。
5.一种基于集装箱吊具检测的车辆运动策略确定装置,其特征在于,所述装置包括:
图像获取模块,用于获取车辆挂板上方针对集装箱吊具的图像,基于所述图像识别所述集装箱吊具的类型;
点云获取模块,用于获取车辆挂板上方针对所述集装箱吊具的点云数据,基于所述点云数据计算所述集装箱吊具的高度信息;
校正模块,用于通过所述点云数据校正车辆挂板的载物状态;
运动控制模块,用于基于所述集装箱吊具的类型,所述集装箱吊具的高度信息,以及所述载物状态,确定车辆的运动策略。
6.根据权利要求5所述的装置,其特征在于,所述获取车辆挂板上方针对所述集装箱吊具的图像,基于所述图像识别所述集装箱吊具的类型,包括:
获取车辆挂板上方针对集装箱吊具的图像,对所述集装箱吊具的类型进行标注;
通过标注类型的图像训练集装箱吊具识别模型;
基于所述集装箱吊具识别模型识别所述集装箱吊具的类型。
7.根据权利要求5所述的装置,其特征在于,所述获取车辆挂板上方针对集装箱吊具的图像,基于所述图像识别所述集装箱吊具的类型,还包括:
基于所述图像确定车辆挂板的载物状态。
8.根据权利要求5所述的装置,其特征在于,所述装置还包括:
以相同的频率获取车辆挂板上方针对所述集装箱吊具的图像,以及针对所述集装箱吊具的点云数据,以保证二者实时对应。
9.一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如权利要求1-4中任一项所述方法的步骤。
10.一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器通过运行所述可执行指令以实现如权利要求1-4中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211429762.4A CN115909204A (zh) | 2022-11-15 | 2022-11-15 | 一种基于集装箱吊具检测的车辆运动策略确定方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211429762.4A CN115909204A (zh) | 2022-11-15 | 2022-11-15 | 一种基于集装箱吊具检测的车辆运动策略确定方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115909204A true CN115909204A (zh) | 2023-04-04 |
Family
ID=86496675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211429762.4A Pending CN115909204A (zh) | 2022-11-15 | 2022-11-15 | 一种基于集装箱吊具检测的车辆运动策略确定方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115909204A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116428996A (zh) * | 2023-06-06 | 2023-07-14 | 北京斯年智驾科技有限公司 | 一种吊具高度的检测方法和检测装置 |
-
2022
- 2022-11-15 CN CN202211429762.4A patent/CN115909204A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116428996A (zh) * | 2023-06-06 | 2023-07-14 | 北京斯年智驾科技有限公司 | 一种吊具高度的检测方法和检测装置 |
CN116428996B (zh) * | 2023-06-06 | 2023-09-01 | 北京斯年智驾科技有限公司 | 一种吊具高度的检测方法和检测装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10776651B2 (en) | Material handling method, apparatus, and system for identification of a region-of-interest | |
CN105431370A (zh) | 用于使用集装箱起重机将集装箱自动地卸货在卸货目标上的方法和*** | |
CN112767540A (zh) | 一种agv自动装车方法 | |
CN110815202B (zh) | 障碍物检测方法及装置 | |
CN113759906B (zh) | 一种车辆对位方法、装置、计算机设备和存储介质 | |
CN115909204A (zh) | 一种基于集装箱吊具检测的车辆运动策略确定方法及装置 | |
CN113165853A (zh) | 将集装箱装载在着落目标上的***和方法 | |
US11873195B2 (en) | Methods and systems for generating landing solutions for containers on landing surfaces | |
CN115880252B (zh) | 一种集装箱吊具检测方法、装置、计算机设备及存储介质 | |
CN112099025A (zh) | 桥吊下的车辆定位方法、装置、设备及存储介质 | |
WO2023273871A1 (zh) | 港口信息的处理方法、装置及相关设备 | |
CN114998824A (zh) | 一种车辆装卸任务监控方法、装置及*** | |
US11977392B2 (en) | Identifying elements in an environment | |
CN110816522B (zh) | 车辆姿态的控制方法、设备及计算机可读存储介质 | |
EP3418244B1 (en) | Loading a container on a landing target | |
CN116266363A (zh) | 物品体积计算方法、装置、电子设备及可读存储介质 | |
CN112102396B (zh) | 桥吊下的车辆定位方法、装置、设备及存储介质 | |
CN113841101A (zh) | 为了在移动式机器人的自主导航情况下使用而创建环境地图的方法 | |
CN117011362A (zh) | 货物体积的计算方法、容积率的动态计算方法 | |
JP2023178749A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
CN115697645A (zh) | 用于执行机器人运动规划和储存库检测的方法和计算*** | |
CN110857859B (zh) | 障碍物检测方法及装置 | |
CN115159402B (zh) | 货物放取方法、装置、电子设备及机器可读存储介质 | |
CN115817538A (zh) | 无人集卡的控制方法、装置、设备及介质 | |
CN116038715B (zh) | 取箱方法、装置、机器人和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |