CN113280855B

CN113280855B - 一种多源传感货叉智能感知***及方法

Info

Publication number: CN113280855B
Application number: CN202110494095.7A
Authority: CN
Inventors: 吴佩璋; 刘家胜; 郭建坡; 孙立宁; 董为
Original assignee: Harbin Institute of Technology; 713th Research Institute of CSIC
Current assignee: Harbin Institute of Technology; 713th Research Institute of CSIC
Priority date: 2021-04-30
Filing date: 2021-04-30
Publication date: 2022-07-26
Anticipated expiration: 2041-04-30
Also published as: CN113280855A

Abstract

一种多源传感货叉智能感知***，包括感知货叉和显示处理设备；所述感知货叉用于承载被叉取的目标物，所述感知货叉上安装有视觉传感器、接近觉传感器、压力传感器、触觉传感皮肤和信息采集板。本发明货叉感知***通过在货叉本体上融合力觉传感器、接近觉传感器、合作标志或明显纹理特征外形，并将视觉、力觉、接近觉的传感信息传输至显示设备或计算机，从而叉车、搬运机器人的操作员或计算机能够有效地获取接触力、接近状态或货叉外形特征等信息，进而能够辅助操作员或计算机进行作业，有效地增强了货叉对作业环境的感知能力和识别的鲁棒性，极大地提高了叉车、搬运机器人等搬运设备作业的安全性和自动化水平。

Description

一种多源传感货叉智能感知***及方法

技术领域

本发明涉及一种智能货叉感知***，具体涉及一种多源传感货叉智能感知***及方法。

背景技术

现有的人工叉车、自动叉车和搬运机器人等搬运设备一般仅配备普通的钢制货叉，不具备对作业目标物的位姿、触碰、重量等信息的感知能力，一般由人工操作设备完成搬运作业。考虑到机器人、叉车作业的高效、安全，特别是对于人在回路、搬运贵重负载和危险负载等作业需求下的叉车或搬运机器人，其运动需要充分考虑作业的安全性，因此需要发明一种能够使得货叉感知作业目标物和作业环境的技术，从而为搬运设备的上层计算机控制***或操控者提供更加丰富的信息，以提高作业效率并保障作业安全。

发明内容

为解决上述问题，提供一种多源传感货叉智能感知***及方法。

本发明的目的是以下述方式实现的：

一种多源传感货叉智能感知***，包括感知货叉和显示处理设备；所述感知货叉用于承载被叉取的目标物，所述感知货叉上安装有视觉传感器、接近觉传感器、压力传感器、触觉传感皮肤和信息采集板；其中视觉传感器内嵌于货叉端部前表面，用于对货叉端部视场内的环境进行成像；接近觉传感器内嵌于货叉端部四周，用于检测货叉端部周围环境是否存在物体；触觉传感皮肤覆盖在货叉端部表面；压力传感器内嵌于货叉中部机构本体的上表面，用于检测被叉取的目标物重量；信息采集板内置于货叉尾部内部，主要用于实时采集视觉传感器、接近觉传感器、触觉传感皮肤、压力传感器的信息，信息采集板将传感信息整理后经高速无线或有线通信方式传输至显示处理设备。

所述感知货叉上还安装有合作标志，所述合作标志为其他视觉设备提供所需的视觉处理信息；所述合作标志分别设于货叉端部上表面、货叉中部的左右侧面和货叉尾部的上表面。

所述合作标志的特征信息含有已知排列的标识点或标识线。

所述的合作标志图案类型包括二维码、九宫格和圆形。

所述接近觉传感器分别布设于货叉端部前表面至少一个、上表面至少一个、下表面至少一个、左侧面至少一个和右侧面至少一个。

一种多源传感货叉智能感知***的感知方法，包括：S1:实时更新货叉端部视觉传感器、接近觉传感器以及触觉触感皮肤信息；

S2:根据货叉端部视觉传感器进行货叉端部与待叉取的货叉孔的相对六维位姿解算，根据六维位姿信息提供的三维位置信息计算货叉端部与货叉孔的空间直线距离，经滤波处理，识别空间直线距离变化趋势；

S3:显示处理设备依据信息采集板采集的货叉端部接近觉传感器和触觉传感皮肤的传感信息、货叉中部压力传感器的传感信息以及目标物的六维位姿实时解算的六维位姿数据，经判定处理后，进一步识别出货叉叉取作业状态；

S4:更新叉取作业状态。

所述步骤S3具体包括：若触觉传感皮肤检测到接触信号，则判定当前叉取作业状态为货叉碰撞状态；

若触觉传感皮肤未检测到接触信号，且压力传感器检测到压力信号，则判定当前叉取作业状态为货叉承载状态；

若触觉传感皮肤未检测到接触信号、压力传感器未检测到压力信号、存在至少2个接近觉传感器被触发、且货叉端部前侧3个接近觉传感器均未被触发、上次叉取作业状态为货叉接近货叉孔状态，则判定当前叉取作业状态为货叉进入货叉孔状态；

若触觉传感皮肤未检测到接触信号、压力传感器未检测到压力信号、接近觉传感器均未被触发、位姿解算状态异常、上次叉取作业状态为货叉进入货叉孔状态，则判定当前叉取作业状态为货叉承载预备状态；

若触觉传感皮肤未检测到接触信号、压力传感器未检测到压力信号、接近觉传感器均未被触发、位姿解算状态正常、货叉端部与货叉孔空间直线距离逐渐缩小，则判定当前叉取作业状态为货叉接近货叉孔状态；

若触觉传感皮肤未检测到接触信号、压力传感器未检测到压力信号、接近觉传感器均未被触发、位姿解算状态异常、上次叉取作业状态不为货叉进入货叉孔状态，则判定当前叉取作业状态为货叉接近货叉孔状态。

本发明的有益效果：相对于现有技术，本发明货叉感知***通过在货叉本体上融合力觉传感器、接近觉传感器、合作标志或明显纹理特征外形，并将视觉、力觉、接近觉的传感信息传输至显示设备或计算机，从而叉车、搬运机器人的操作员或计算机能够有效地获取接触力、接近状态或货叉外形特征等信息，进而能够辅助操作员或计算机进行作业，有效地增强了货叉对作业环境的感知能力和识别的鲁棒性，极大地提高了叉车、搬运机器人等搬运设备作业的安全性和自动化水平。

附图说明

图1是本发明的货叉智能感知***示意图。

图2是本发明感知货叉的机构示意图。

图3是本发明实施例中待叉取的运输托盘货叉孔局部坐标系正视图。

图4是本发明实施例中待叉取的运输托盘货叉孔局部坐标系俯视图。

图5是本发明货叉叉取作业状态识别流程图。

其中，1-感知货叉，2-显示处理设备，3-货叉端部，4-货叉中部，5-货叉尾部，6-合作标志，7-压力传感器，8-视觉传感器，9-触觉传感皮肤，10-接近觉传感器，11-运输托盘，12-左侧货叉孔，13-右侧货叉孔。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

应该指出，以下详细说明都是例式性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的技术含义相同。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，一种多源传感货叉智能感知***，包括感知货叉1和显示处理设备2；所述感知货叉用于承载被叉取的目标物，所述感知货叉上安装有视觉传感器8、接近觉传感器10、压力传感器7、触觉传感皮肤9和信息采集板；其中视觉传感器内嵌于货叉端部3前表面，用于对货叉端部视场内的环境进行成像；接近觉传感器10内嵌于货叉端部3四周，用于检测货叉端部周围环境是否存在物体；触觉传感皮肤覆盖在货叉端部表面；压力传感器7内嵌于货叉中部4机构本体的上表面，用于检测被叉取的目标物重量；信息采集板内置于货叉尾部内部，主要用于实时采集视觉传感器、接近觉传感器、触觉传感皮肤、压力传感器的信息，信息采集板将传感信息整理后经高速无线或有线通信方式传输至显示处理设备。

如图2所示，感知货叉主要由货叉端部3、货叉中部4以及货叉尾部5组成，货叉端部主要由货叉端部机构本体、视觉传感器、接近觉传感器、触觉传感皮肤以及合作标志等组成，货叉端部布设的传感器用于实时感知货叉前方目标物和环境的图像、货叉端部周围物体的接近状态、货叉端部与周围物体的接触力以及提供其他视觉设备处理所需的合作标志和几何特征信息。

视觉传感器内嵌于货叉端部前表面，主要用于对货叉端部视场内的环境进行成像，以便进行叉取引导的视觉感知解算处理。依据实际作业环境要求，选用智能相机、工业相机、结构光相机或其他成像设备对视场内的环境进行成像，相机所输出的图像、点云等数据经通信线缆传输至位于货叉尾部的信息采集板，再由信息采集板经高速通信总线传输至上层处理设备。

接近觉传感器内嵌于货叉端部四周，共需7个，分别布设于货叉端部前表面2个(一左一右)、上表面2个(一前一后)、下表面1个、左侧面1个以及右侧面1个，但不局限于此数量和此布局方式。接近觉传感器主要用于弥补视觉传感器的“盲区”，在视觉传感器无法观测或提供可靠数据的情况下，仍能够检测货叉端部周围环境是否存在物体，以避免发生碰撞。接近觉传感器有很多不同的类型，如磁感应式、霍尔效应式、光电式、电感式、电容式和超声波式等。

触觉传感皮肤覆盖在货叉端部表面，但不遮挡视觉传感器和接近觉传感器的探测区域。触觉传感皮肤主要用于叉车、机器人等搬运设备对货叉端部作业环境的碰撞检测，上层计算机控制***能够依据其反馈的碰撞信号采取立即停机或其他措施，有利于保证作业过程的安全。触觉传感皮肤具有柔性微型传感器阵列，较为常用的类型有压阻式、电容式、压电式等。

b)货叉中部

货叉中部主要由货叉中部机构本体、压力传感器以及合作标志等组成，货叉中部承载被叉取的目标物，同时能够实时估计负载重量以及提供其他视觉设备处理所需的合作标志和几何特征信息。

压力传感器内嵌于货叉中部机构本体的上表面，其数量和布局方式可根据实际需求进行设计调整。压力传感器主要用于检测被叉取的目标物重量，其输出信号由信息采集卡进行采集，并将负载重量信息传输至上层的显示处理设备进行超载判别，同时用户可获知负载重量，以进一步保证作业安全。根据力转换机理的不同，称重传感器分为压电式、压磁式以及电阻应变式等。

合作标志布6设于货叉中部机构的左右侧面，主要用于为其他视觉处理设备提供可靠的视觉特征信息，以便实现对货叉的位姿测量。其他视觉处理设备可通过识别合作标志解算出相机与合作标志的位姿关系，由于合作标志与货叉固连，进而能够定位货叉。合作标志的特征信息含有已知排列的标识点、标识线等几何纹理，常见的合作标志图案类型有二维码、九宫格、圆形等。

c)货叉尾部

货叉尾部主要由货叉尾部机构本体、信息采集板以及合作标志等组成，能够采集货叉所有传感器的信息以及提供其他视觉设备处理所需的合作标志和几何特征信息。

信息采集板内置于货叉尾部内部，主要用于实时采集视觉传感器、接近觉传感器、触觉传感皮肤、压力传感器的信息，信息采集板将传感信息整理后经高速无线或有线通信方式传输至显示处理设备或其他上级设备。

合作标志6布设于货叉尾部机构的上表面，主要用于为其他视觉处理设备提供可靠的视觉特征信息，以便实现对货叉的位姿测量。其他视觉处理设备可通过识别合作标志解算出相机与合作标志的位姿关系，由于合作标志与货叉固连，进而能够定位货叉。合作标志的特征信息含有已知排列的标识点、标识线等几何纹理，常见的合作标志图案类型有二维码、九宫格、圆形等。

显示处理设备可通过有线或无线通信的方式实时获取感知货叉的信息数据，通过对传感数据分析而进行位姿解算、感知状态检测、作业状态识别以及负载估计，并将位姿信息、感知状态信息、作业状态以及负载信息显示在屏幕上。

显示处理设备能够实时显示以下信息内容：

a)实时显示货叉前端相机视场内的货叉孔或其他被测目标物的动态选框；

b)实时显示货叉前端相机视场内的货叉孔或其他被测目标物位姿信息；

c)实时显示当前叉取作业状态信息，包括叉取碰撞、叉取接近、叉取预备和叉取负载的状态信息；

d)实时显示货叉端部与周围环境的接近状态感知信息；

e)实时显示货叉端部与周围环境的接触状态感知信息；

f)实时显示当前货叉负载的重量感知信息。

显示处理设备具有以下运算处理功能：

a)被测目标物的六维位姿实时解算功能

显示处理设备依据信息采集板采集的货叉端部视觉传感器输出的图像、点云等信息，经图像预处理、特征提取与匹配、三维重建、位姿解算和位姿输出等功能模块实时处理后，最终输出被测目标物局部坐标系(货叉孔或其他定义的被测目标物)与货叉端部局部坐标系之间相对的三维位置和三维姿态数据，以提供上层控制***进行运算处理，同时显示六维相对位姿数据和目标物动态跟踪选框。按照右手定则，以运输托盘11左侧货叉孔12的局部坐标系X₁O₁Y₁(Z₁)和左侧货叉局部坐标系X₂O₂Y₂(Z₂)定义如3～图4所示，运输托盘右侧货叉孔13和右侧货叉局部坐标系定义同理。

b)货叉端部与周围环境接近状态感知功能

显示处理设备中依据信息采集板采集的货叉端部接近觉传感器数据，经滤波处理后，进一步识别出货叉端部与周围环境的接近状态。最终将货叉端部与周围环境接近状态信息提供上层控制***进行运算处理并进行显示。所识别的货叉端部与周围环境接近状态定义见表1。

表1货叉端部与周围环境接近状态定义表

c)货叉端部触碰状态检测功能

显示处理设备中依据信息采集板采集的货叉端部触觉传感皮肤数据，经滤波处理后，进一步判别出货叉端部与周围环境的触碰状态。最终将识别的货叉端部与周围环境触碰状态信息提供上层控制***进行运算处理并进行显示。所识别的货叉端部触碰状态定义见表2。

表2货叉端部与周围环境触碰状态定义表

d)货叉叉取作业状态识别功能

显示处理设备依据信息采集板采集的货叉端部接近觉传感器和触觉传感皮肤的传感信息以及目标物的六维位姿实时解算的六维位姿数据，经判定处理后，进一步识别出货叉叉取作业状态。最终将叉取作业状态信息提供上层控制***进行运算处理并进行显示。所识别的货叉叉取作业状态定义见表3，作业状态识别的功能处理流程见5。

表3货叉叉取作业状态定义表

c)货叉负载重量估计功能

显示处理设备依据信息采集板采集的货叉中部3个压力传感器数据，将滤波、补偿算法处理后的3个压力传感器数据进行求和，另一侧货叉同理。进一步由两侧货叉各自估计的结果相加而估计出整个负载重量，最终将估计的负载重量信息提供上层控制***进行运算处理并进行显示。

通过在货叉本体上融合力觉传感器、接近觉传感器、合作标志或明显纹理特征外形，并将视觉、力觉、接近觉的传感信息传输至显示设备或计算机，从而叉车、搬运机器人的操作员或计算机能够有效地获取接触力、接近状态或货叉外形特征等信息，进而能够辅助操作员或计算机进行作业。

本发明所涉及的智能货叉感知***主要用于搬运作业。在进行叉取作业过程中，位于货叉端部的视觉传感器能够实时获取目标物和环境的图像，位于货叉端部的接近觉传感器能够实时感知货叉端部周围物体的接近状态，位于货叉端部的力传感器能够实时感知货叉端部与周围物体的接触力，位于货叉中部上表面的压力传感器能够实时感知负载的重力，上述力和接触感知信息可实时传输至显示设备进行作业状态显示，同时还可传输至叉车或搬运机器人的计算机进行自动控制、作业监控或其他处理等；特别地，位于货叉表面的合作标志和几何特征信息能够供其他视觉设备获取所需的视觉处理信息。

智能货叉感知***利用视觉、力觉、接近觉等感知手段，同时货叉表面配有合作标志和几何特征信息，有效地增强了货叉对作业环境的感知能力和识别的鲁棒性，极大地提高了叉车、搬运机器人等搬运设备作业的安全性和自动化水平。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种多源传感货叉智能感知***，其特征在于：包括感知货叉和显示处理设备；所述感知货叉用于承载被叉取的目标物，所述感知货叉上安装有视觉传感器、接近觉传感器、压力传感器、触觉传感皮肤和信息采集板；其中视觉传感器内嵌于货叉端部前表面，用于对货叉端部视场内的环境进行成像；接近觉传感器内嵌于货叉端部四周，用于检测货叉端部周围环境是否存在物体；触觉传感皮肤覆盖在货叉端部表面；压力传感器内嵌于货叉中部机构本体的上表面，用于检测被叉取的目标物重量；信息采集板内置于货叉尾部内部，主要用于实时采集视觉传感器、接近觉传感器、触觉传感皮肤、压力传感器的信息，信息采集板将传感信息整理后经高速无线或有线通信方式传输至显示处理设备；其具体的感知方法为：

S1:实时更新货叉端部视觉传感器、接近觉传感器以及触觉触感皮肤信息；

S4:更新叉取作业状态；

若触觉传感皮肤未检测到接触信号、压力传感器未检测到压力信号、接近觉传感器均未被触发、位姿解算状态异常、上次叉取作业状态不为货叉进入货叉孔状态，则判定当前叉取作业状态为货叉孔未识别状态。

2.如权利要求1所述的多源传感货叉智能感知***，其特征在于：所述感知货叉上还安装有合作标志，所述合作标志为其他视觉设备提供所需的视觉处理信息；所述合作标志分别设于货叉端部上表面、货叉中部的左右侧面和货叉尾部的上表面。

3.如权利要求2所述的多源传感货叉智能感知***，其特征在于：所述合作标志的特征信息含有已知排列的标识点或标识线。

4.如权利要求3所述的多源传感货叉智能感知***，其特征在于：所述的合作标志图案类型包括二维码、九宫格和圆形。

5.如权利要求1所述的多源传感货叉智能感知***，其特征在于：所述接近觉传感器分别布设于货叉端部前表面至少一个、上表面至少一个、下表面至少一个、左侧面至少一个和右侧面至少一个。