CN105806563A - 石材矿山叉装车智能辅助作业装置及方法 - Google Patents

Abstract

本发明提供了一种石材矿山叉装车智能辅助作业装置，所述装置设置于叉装车上，所述装置包括一个ARM主控制器、一个摄像头、至少两个雷达、一个显示屏以及一个红色激光发射装置；所述摄像头、两个雷达、显示屏、红色激光发射装置均与所述ARM主控制器连接，所述摄像头安装在叉装车货叉中间位置；两个雷达对称地安装在摄像头的两侧，同时保证两个雷达和摄像头处在同一个高度以及两个雷达和摄像头的中轴线平行；红色激光发射装置安装在摄像头的正下方，红色激光发射装置发射出的激光平行于水平面，所述摄像头、两个雷达、红色激光发射装置均能随叉装车的货叉上下垂直移动。本发明避免由于操作员估计不准而发生石材荒料重心偏移的现象发生。

Description

石材矿山叉装车智能辅助作业装置及方法

技术领域

本发明属于石材机械领域，具体是涉及石材矿山叉装车的石材荒料智能辅助作业装置及方法。

背景技术

叉装车是装载机细分市场的工程机械产品，叉装车集机、电、仪、液及数字信息为一体、具有高效、节能，智能、越野性好，使用灵活、安全可靠，性价比高等优点。荒料的铲运设备，换上铲斗可为石材矿区开山修路，铲运矿山面层土方，实现其“一机两用”功能。也用于发生自然灾害地区或战争时期清除道路路障和短途铲运物资等重要用途。

叉装车是利用装载机底盘基础研发的石材装运机械，兼具装载机和越野叉车的使用性能，可取代叉车、汽车吊、挖掘机用于石材矿山荒料场装卸荒料。叉装车装卸石材矿山荒料作业时，由于石材荒料的体积、重量都很大，操作人员都是通过观察石材荒料的形状再结合自身经验粗略判断出石材荒料的大致重心位置，然后进行装卸操作。然而，经验再丰富的操作员也会出现判断失误的时候，特别是对于经验不足的新手。当石材荒料的重心位置偏离叉装车的中间位置时，便会导致整个车身左右重量不均。这将会给工作人员增加操作难度；在长期受力不均的情况下，叉装车的工作装置和液压***容易发生故障，导致使用寿命缩短，降低产品的可靠性，大大增加事故发生率；并且当石材荒料重心位置偏移较大时，会很容易发生石材掉落甚至翻车等危险。

因此，现有的石材矿山叉装车智能化程度还不高，无法自动识别出待装卸石材荒料的形状及其重心位置，一般只能凭借工作人员的经验进行判断，这经常会使石材荒料的重心位置偏移叉装车的中心位置，导致整个车身左右重量不同，这将会给工作人员增加操作难度。

发明内容

本发明要解决的技术问题之一，在于提供一种石材矿山叉装车智能辅助作业装置，利用摄像头和雷达作为信息获取手段，红色激光发射装置作为瞄准器件，工作人员只需按照规定操作叉装车，便可以较为准确地找到待装卸石材荒料的重心位置，避免由于操作员估计不准而发生石材荒料重心偏移的现象发生。

本发明的问题之一是这样实现的：一种石材矿山叉装车智能辅助作业装置，所述装置设置于叉装车上，所述装置包括一个ARM主控制器、一个摄像头、至少两个雷达、一个显示屏以及一个红色激光发射装置；所述摄像头、两个雷达、显示屏、红色激光发射装置均与所述ARM主控制器连接，所述摄像头安装在叉装车的货叉中间位置；两个雷达对称地安装在摄像头的两侧，同时保证两个雷达和摄像头处在同一个高度以及两个雷达和摄像头的中轴线平行；红色激光发射装置安装在摄像头的正下方，处于叉装车的中心位置上，红色激光发射装置发射出的激光平行于水平面，所述摄像头、两个雷达、红色激光发射装置均能随叉装车的货叉上下垂直移动；通过摄像头和雷达获取待装卸石材荒料的形状数据，由ARM主控制器处理获得石材荒料的外形轮廓图像，以及石材荒料的重心位置，然后将石材荒料的轮廓图像显示于车载显示屏中，并在轮廓图像上标注重心，同时标注经过重心的垂直线；通过ARM主控制器和红色激光发射装置标记出叉装车的中心位置，操作人员只需要调整车身使叉装车的中心位置落在待装卸石材荒料的重心位置落上，或者使叉装车的中心位置落在重心垂直线上，这样即可确保货叉举升石材荒料时保持重心平稳。

进一步的，所述装置还包括一输入设备，所述输入设备与所述ARM主控制器连接；所述输入设备包括：启动键和停止键。

进一步的，所述ARM主控制器的作用为接收雷达和摄像头采集到的信息，并对信息进行处理，得出石材荒料的轮廓形状，判断出其重心位置并将其标记在轮廓图像上显示出来；

摄像头的作用是拍摄石材荒料的正面图，通过ARM主控制器对图片的处理获得出来，以此确定石材荒料的正面形状；

雷达的作用是测试出摄像头成像平面到石材正面的距离，当左右雷达测量距离误差值满足设定范围要求时，即表明摄像头垂直于石材表面，此时摄像头拍摄得到的石材荒料的图片将不会有失真；

红色激光发射装置的作用是标记出叉装车中心正对的位置，当ARM主控制器成功判断出待装卸石材荒料的重心位置后，将会开启红色激光发射装置发射激光，同时会启动摄像头；当激光照射到石材荒料上的同时摄像头将会拍摄下石材荒料的图片，ARM主控制器通过处理得出激光点相对于石材荒料的位置数据，并在显示屏的石材荒料轮廓图像上标记出激光点位置，此时工作人员便能通过车载显示屏观察激光点位置和石材荒料重心位置的偏移情况，然后调整叉装车左右位置使叉装车中心落在石材荒料重心垂直线上；

显示屏：操作人员通过车载显示屏观察待装卸石材荒料轮廓图像、石材荒料的重心位置以及视频捕捉到的激光点位置。

进一步的，所述装置进一步为：ARM主控制器接通电源之后，开始程序的初始化，初始化内容包括：检测雷达、摄像头、启动键、停止键、红色激光发射装置以及存储器是否正常工作，之后加载摄像头的内部参数，包括焦距值和单个像素值；初始化完成之后，程序进入等待阶段，当操作员将叉装车调整到正对待装卸石材荒料的正面时，按下启动键，此时表明第一次数据采集准备就绪，程序开始调用摄像头和雷达采集数据，ARM主控制器接收到采集的数据后，会对此次采集到的数据是否有效做一个判断，当收集到的第一次数据有效时，ARM主控制器会将第一次数据存储到内部存储器中，等待第二次数据采集；第二次数据采集的过程同第一次数据采集一样；当采集到两次有效数据后，ARM主控制器将联合两次采集到的数据，进行处理得出待装卸石材荒料的轮廓形状图像，以及其重心位置并在车载显示屏中显示出来；之后将启动雷达和摄像头，标记处叉装车的中心基准点位置，当激光照射到石材荒料上的同时摄像头将会拍摄下石材荒料的图片，ARM主控制器通过处理得出激光点相对于石材荒料的位置数据，并在显示屏的石材荒料轮廓图像上标记出激光点位置，此时工作人员便能通过车载显示屏观察激光点位置和石材荒料重心位置的偏移情况。

本发明要解决的技术问题之二，在于提供一种石材矿山叉装车智能辅助作业方法，利用摄像头和雷达作为信息获取手段，红色激光发射装置作为瞄准器件，工作人员只需按照规定操作叉装车，便可以较为准确地找到待装卸石材荒料的重心位置，避免由于操作员估计不准而发生石材荒料重心偏移的现象发生。

本发明的问题之二是这样实现的：一种石材矿山叉装车智能辅助作业方法，所述方法需提供一个ARM主控制器、一个摄像头、至少两个雷达、一个显示屏以及一个红色激光发射装置；通过摄像头和雷达采集待作业对象石材荒料的几何外形数据，重新绘制出石材荒料的几何轮廓图像，并在车载显示屏中予以显示；然后对采集的数据进行处理，得到作业对象石材荒料的重心位置及经过该点的垂直线，将重心位置及其垂直线在显示屏上的石材荒料轮廓图像中予以标记显示；最后，采用红色激光发射装置标记叉装车的中心点，摄像头捕捉红色激光发射装置发射到石材荒料上的的红色激光束，并通过ARM主控制器的处理，将中心点在显示屏上的石材荒料轮廓图像中予以标记；操作人员能通过车载显示屏观察到石材荒料轮廓图像，石材荒料重心位置及其垂直线，以及中心点，操作人员通过手动操作叉装车调整其左右位置，使叉装车中心落在石材荒料重心垂直线上。

进一步的，所述方法进一步包括：ARM主控制器接通电源之后，开始程序的初始化，初始化内容包括：检测雷达、摄像头、启动键、停止键、红色激光发射装置以及存储器是否正常工作，之后加载摄像头的内部参数，包括焦距值和单个像素值；初始化完成之后，程序进入等待阶段，当操作员将叉装车调整到正对待装卸石材荒料的正面时，按下启动键，此时表明第一次数据采集准备就绪，程序开始调用摄像头和雷达采集数据，ARM主控制器接收到采集的数据后，会对此次采集到的数据是否有效做一个判断，当收集到的第一次数据有效时，ARM主控制器会将第一次数据存储到内部存储器中，等待第二次数据采集；第二次数据采集的过程同第一次数据采集一样；当采集到两次有效数据后，ARM主控制器将联合两次采集到的数据，进行处理得出待装卸石材荒料的形状，获取其重心位置并显示出来；之后将启动雷达和摄像头，标记处叉装车的中心基准点位置，当激光照射到石材荒料上的同时摄像头将会拍摄下石材荒料的图片，ARM主控制器通过处理得出激光点相对于石材荒料的位置数据，并在显示屏的石材荒料轮廓图像上标记出激光点位置，此时工作人员便能通过车载显示屏观察激光点位置和石材荒料重心位置的偏移情况。

进一步的，所述会对此次采集到的数据是否有效做一个判断，具体方法是判断两个雷达测量得到距离数据是否一致，当两个雷达测量值相差超过5cm时，表明此时的叉装车没有正对放置，摄像头拍摄得到图片将会出现变形，不利于处理，此时程序会提醒操作员此次数据无效，需重新调整叉装车的位置再次拍摄。

进一步的，所述方法进一步为：当ARM主控制器标记石材荒料重心位置后，便会立即打开红色激光发射装置，发射红色激光，以便实时显示叉装车中心对准的位置，并再次开启摄像头；此时操作员便能调整叉装车位置，准备装卸石材荒料；在叉装车移动过程中，摄像头每隔一定时间会拍摄图片回传给ARM主控制器，此时拍摄到的石材荒料的图像会包含一个红色激光点，该红色激光点所在的位置即叉装车中心所对准的位置，ARM主控制器会再次处理提取出红色激光点，并得出该红色激光点和石材荒料边界的相对位置，然后利用该相对位置信息，在标记有重心位置的石材荒料轮廓图像中标记出红色激光点的位置，至此，叉装车的中心位置和石材荒料的重心位置将显示在同一张图片中，操作员只需调整叉装车位置，使中心点落在石材荒料重心垂直线上。

进一步的，所述通过摄像头和雷达采集待装卸石材荒料的几何外形数据，重新绘制出石材荒料的几何轮廓图像，具体为：利用左右两个雷达测量出的摄像头成像平面距离石材荒料表面的距离；然后通过用“像素个数”乘以“每个像素的宽度”算出石材荒料边长在摄像头成像平面上的长度，其中“像素个数”由ARM主控制器处理拍摄得到的几何轮廓外形图后获得，“每个像素的宽度”由摄像机自身参数决定，为一个常量；最后相似三角形原理，得到石材荒料实际边长Z的计算公式为：Z＝[(d1+d2)/2+f]*L/f，其中d1、d2为左右两个雷达测得的摄像头成像面到石材荒料面的距离，f为摄像头的焦距，L为石材荒料边长在摄像头拍摄得到的几何轮廓外形图上的长度；按照此方式能依次计算出石材荒料的长宽，进而判断出该石材荒料正面的形状。

本发明的优点在于：本发明通过摄像头和雷达配合使用，准确绘制出待装卸荒料的形状；然后通过对石材荒料形状的处理，找出其重心位置将其标记在图片中并显示出来；最后，通过红色激光发射装置，标记处叉装车的中心所对准位置，并通过处理将叉装车中心对准位置和石材荒料重心所在位置显示在同一张图片中，这样操作员便可以很直观地看到“重心”和“中心”的偏移程度，然后调整叉装车位置，使“重心”和“中心”尽可能处在同一竖直线上，如此，石材荒料的重心将落在叉装车的中心位置，解决了重心偏移所带来的问题。本发明提出一种寻找石材荒料重心的方式，解决之前无法准确寻找石材荒料重心的问题；本发明可以准确的实现叉装车中心位置与待装卸石材重心位置重合，避免叉装车受力不均而引起故障、危险等问题；本发明提出一种利用摄像头和雷达绘制规则物体形状的方式，无需人工测量，方便、安全、可靠。

附图说明

图1为本发明的结构示意图。

图2为本发明石材矿山叉装车智能辅助作业方法的软件流程图。

图3a是利用摄像头及雷达测量石材荒料形状原理图。

图3b是石材荒料重心在几何外轮廓外形图上的位置。

图4是叉装车中心对准石材荒料重心原理图。

具体实施方式

请参阅图1和图2所示，本发明的一种石材矿山叉装车智能辅助作业装置，所述装置设置于叉装车上，所述装置包括一个ARM主控制器1、一个摄像头2、至少两个雷达3、一个显示屏4以及一个红色激光发射装置5；所述摄像头2、两个雷达3、显示屏4、红色激光发射装置5均与所述ARM主控制器1连接，所述摄像头2安装在叉装车的两个货叉(未图示)中间位置；两个雷达3对称地安装在摄像头2的两侧，同时保证两个雷达3和摄像头2处在同一个高度以及两个雷达3和摄像头2的中轴线平行；红色激光发射装置5安装在摄像头2的正下方，处于叉装车的中心位置上，红色激光发射装置5发射出的激光平行于水平面，所述摄像头2、两个雷达3、红色激光发射装置5均能随叉装车的货叉上下垂直移动。通过摄像头和雷达获取待装卸石材荒料的形状数据，由ARM主控制器处理获得石材荒料的外形轮廓图像，以及石材荒料的重心位置，然后将石材荒料的轮廓图像显示于车载显示屏中，并在轮廓图像上标注重心，同时标注经过重心位置的垂直线；通过ARM主控制器和红色激光发射装置标记出叉装车的中心位置，操作人员只需要调整车身使叉装车的中心位置落在待装卸石材荒料的重心位置落上，或者使叉装车的中心位置落在重心垂直线上，这样即可准确地将石材荒料的重心位置安放在叉装车的中心位置。

ARM主控制器1的作用为接收雷达3和摄像头2采集到的信息，并对信息进行处理，得出石材荒料的轮廓形状，判断出其重心位置并将其标记在轮廓图像上显示出来。

摄像头2的作用是拍摄石材荒料的正面图，由于石材荒料一般都是比较规则的立方体，故其正视图一般为长方形，之后记录其长、宽，此时的长宽为缩小了一定倍数的值，其值可以通过ARM主控制器1通过对图片的处理计算出来，以此确定石材荒料的正面形状。

雷达3的作用是测试出摄像头2成像平面到石材正面的距离，当左右雷达3测量距离值相同时即表明摄像头垂直于石材表面，此时摄像头2拍摄得到的石材荒料的图片将不会有失真。

显示屏4：操作人员通过车载显示屏观察待装卸石材荒料轮廓图像、石材荒料的重心位置以及视频捕捉到的激光点位置。

红色激光发射装置5的作用是标记出叉装车中心正对的位置，当ARM主控制器制成功判断出待装卸石材荒料的重心位置后，将会开启红色激光发射装置发射激光，同时会启动摄像头；当激光照射到石材荒料上的同时摄像头将会拍摄下石材荒料的图片，ARM主控制器通过图像处理得出激光点相对于石材荒料的位置数据，并在显示屏的石材荒料轮廓图像上标记出激光点位置，此时工作人员便能通过车载显示屏观察激光点位置(即叉装车中心对准位置)和石材荒料重心位置的偏移情况，然后调整叉装车左右位置使叉装车中心落在石材荒料重心垂直线上。

在本发明中，所述装置还包括一输入设备6，所述输入设备6与所述ARM主控制器1连接。在本发明中所述输入设备包括：启动键和停止键。实际应用中输入设备根据实际需要还能包括其他的按键。

所述装置进一步为：ARM主控制器接通电源之后，开始程序的初始化，初始化内容包括：检测雷达、摄像头、启动键、停止键、红色激光发射装置以及存储器是否正常工作，之后加载摄像头的内部参数，包括焦距值和单个像素值；初始化完成之后，程序进入等待阶段，当操作员将叉装车调整到正对待装卸石材荒料的正面时，按下启动键，此时表明第一次数据采集准备就绪，程序开始调用摄像头和雷达采集数据，ARM主控制器1接收到采集的数据后，会对此次采集到的数据是否有效做一个判断，当收集到的第一次数据有效时，ARM主控制器1会将第一次数据存储到内部存储器中，等待第二次数据采集；第二次数据采集的过程同第一次数据采集一样；当采集到两次有效数据后，ARM主控制器将联合两次采集到的数据，进行处理得出待装卸石材荒料的轮廓形状图像，以及其重心位置并在车载显示屏中显示出来；之后将启动雷达和摄像头，标记处叉装车的中心基准点位置，当激光照射到石材荒料上的同时摄像头将会拍摄下石材荒料的图片，ARM主控制器通过图像处理得出激光点相对于石材荒料的位置数据，并在显示屏的石材荒料轮廓图像上标记出激光点位置，此时工作人员便能通过车载显示屏观察激光点位置和石材荒料重心位置的偏移情况。

请参阅图1至图4所示，本发明的一种石材矿山叉装车智能辅助作业方法，所述方法需提供一个ARM主控制器1、一个摄像头2、至少两个雷达3、一个显示屏4以及一个红色激光发射装置5；通过摄像头2和雷达3采集待作业对象石材荒料的几何外形数据，重新绘制出石材荒料7的几何轮廓图像，并在车载显示屏4中予以显示；然后对采集的数据进行处理，得到作业对象石材荒料的重心位置及经过该点的垂直线，将重心位置及其垂直线在显示屏上的石材荒料7轮廓图像中予以标记显示；最后，采用红色激光发射装置标记叉装车的中心点，摄像头捕捉红色激光发射装置发射到石材荒料上的的红色激光束，并通过ARM主控制器1的处理，将中心点在显示屏4上的石材荒料轮廓图像中予以标记；操作人员能通过车载显示屏4观察到石材荒料轮廓图像，石材荒料重心位置及其垂直线，以及中心点，操作人员通过手动操作叉装车调整期左右位置，使叉装车中心落在石材荒料重心垂直线上。

所述方法进一步包括：ARM主控制器1接通电源之后，开始程序的初始化，初始化内容包括：检测雷达3、摄像头2、启动键、停止键、红色激光发射装置5以及存储器是否正常工作，之后加载摄像头2的内部参数，包括焦距值和单个像素值；初始化完成之后，程序进入等待阶段，当操作员将叉装车调整到正对待装卸石材荒料的正面时，按下启动键，此时表明第一次数据采集准备就绪，程序开始调用摄像头和雷达采集数据，ARM主控制器1接收到采集的数据后，会对此次采集到的数据是否有效做一个判断，当收集到的第一次数据有效时，ARM主控制器1会将第一次数据存储到内部存储器中，等待第二次数据采集；第二次数据采集的过程同第一次数据采集一样；当采集到两次有效数据后，ARM主控制器1将联合两次采集到的数据，进行处理得出待装卸石材荒料的形状，获取其重心位置并显示出来；之后将启动雷达3和摄像头2，标记处叉装车的中心基准点位置，当激光照射到石材荒料上的同时摄像头将会拍摄下石材荒料的图片，ARM主控制器1通过图像处理得出激光点相对于石材荒料的位置数据，并在显示屏的石材荒料轮廓图像上标记出激光点位置，此时工作人员便能通过车载显示屏观察激光点位置和石材荒料重心位置的偏移情况。

所述会对此次采集到的数据是否有效做一个判断，具体方法是判断两个雷达3测量得到距离数据是否一致，当两个雷达3测量值相差超过5cm时，表明此时的叉装车没有正对放置，摄像头2拍摄得到图片将会出现变形，不利于处理，此时程序会提醒操作员此次数据无效，需重新调整叉装车的位置再次拍摄。

所述方法进一步为：当ARM主控制器1标记石材荒料重心位置后，便会立即打开红色激光发射装置，发射红色激光，以便实时显示叉装车中心对准的位置，并再次开启摄像头2；此时操作员便能调整叉装车位置，准备装卸石材荒料；在叉装车移动过程中，摄像头每隔一定时间会拍摄图片回传给ARM主控制器1，此时拍摄到的石材荒料的几何外轮廓外形图会包含一个红色激光点，该红色激光点所在的位置即叉装车中心所对准的位置，ARM主控制器1会再次对几何外轮廓外形图进行处理，提取出红色激光点，并得出该红色激光点和石材荒料边界的相对位置，然后利用该相对位置信息，在标记有石材荒料重心位置的几何外轮廓外形图中再次标记出红色激光点的位置，至此，叉装车的中心位置和石材荒料的重心位置将显示在同一张图片中，操作员只需调整叉装车位置，使中心点落在石材荒料重心垂直线上。

所述通过摄像头2和雷达3采集待作业对象石材荒料的几何外形数据，重新绘制出石材荒料的几何轮廓外图像，具体为：利用左右两个雷达测量出的摄像头成像平面距离石材荒料表面的距离；然后通过用“像素个数”乘以“每个像素的宽度”算出石材荒料边长在摄像头成像平面上的长度，其中“像素个数”由ARM主控制器1处理拍摄得到的几何轮廓外形图后获得，“每个像素的宽度”由摄像机自身参数决定，为一个常量；最后相似三角形原理，得到石材荒料7实际边长Z的计算公式为：Z＝[(d1+d2)/2+f]*L/f，其中d1、d2为左右两个雷达测得的摄像头2成像面到石材荒料面的距离，f为摄像头的焦距，L为石材荒料边长在摄像头拍摄得到的几何轮廓外形图上的长度；按照此方式能依次计算出石材荒料7的长宽，进而判断出该石材荒料正面的形状。

其中，如图3(a)所示是利用摄像头2及雷达3测量石材荒料形状原理图，d1、d2为左右两个雷达3测量出的摄像头2成像平面距离石材表面的距离；f为摄像头2的焦距；L为石材边长在摄像头2拍摄得到的图片上的长度，计算公式为：

L＝像素个数*每个像素的宽度

ARM主控制器1对摄像头采集到的石材荒料图片进行角点检测处理，寻找到图片中石材荒料7的的四个角点(有效的石材荒料的正视图、左视图为矩形)，然后记录下四个角点在图片中的坐标，两个横坐标相同纵坐标不同点之间的像素个数即为石材荒料在图片中的一条边长的“像素个数”；两个纵坐标相同横坐标不同的两个点之间的像素个数即为石材荒料在图片中另一边长所占的“像素个数”。“每个像素的宽度”由摄像机自身参数决定，为一个常量；Z为石材实际边长，即为所求的量。由相似三角形原理便可以得到Z的计算公式为：

Z＝(d1+f)*L/f

由于操作员操作问题，往往叉装车不能严格正对着石材面，此时将会导致d1的值会与d2的值有微小的差异，为减小误差，可将d1、d2的平均值作为摄像头成像面到石材面的距离，于是上式该为：

Z＝[(d1+d2)/2+f]*L/f

按照此方法可以依次计算出石材荒料的实际长宽高。进而获知石材荒料的正面形状。

接下来ARM主控制器将会寻找图片中石材荒料正面图每条边的中心位置，并记录下其坐标，然后用两条直线连接两组对边的中心，两条线的交点即为该面的重心位置。之后将重心位置用黑色标记，同时将上下两条边中点连线进行标记，如图3(b)所示；

完成标记工作后，ARM主控制器将会将标记后的图片显示在显示屏上，以供操作人员查看。至此，石材荒料重心寻找工作结束，ARM主控制器将提供正面图的重心标记图片，接下来操作人员便可以调整车身位置。

如图4所示是叉装车中心对准石材荒料重心原理图。当ARM主控制器完成标记工作后，便会立即打开红色激光发射装置，发射红色激光，以便实时显示叉装车中心对准的位置，并再次开启摄像头。此时操作员便可以调整叉装车位置，准备装卸石材荒料。在叉装车移动过程中，摄像头每隔一定时间会拍摄图片回传给ARM主控制器，此时拍摄到的石材荒料的图片相比与图3b所示图片会多出一个红色激光点，而该激光点所在的位置及叉装车中心所对准的位置(拍摄到的图片同样会检测有效性，检测方法为图2所提出方法)。当拍摄到有效图片时，ARM主控制器会再次对图片进行处理，提取出红色激光点，并计算出该红色点和石材荒料边界的相对位置，然后利用该相对位置信息，在图片3b中标记出红色激光点的位置，至此，叉装车的中心位置和石材荒料7的重心位置将显示在同一张图片中，重心和中心的位置关系将一目了然，操作员需要做的工作就是调整叉装车位置，使重心和中心尽可能的处在同一竖直线上。

总之，本发明通过摄像头和雷达配合使用，准确绘制出待装卸荒料的形状；然后通过对石材荒料形状的处理，找出其重心位置将其标记在图片中并显示出来；最后，通过红色激光发射装置，标记处叉装车的中心所对准位置，并通过处理将叉装车中心对准位置和石材荒料重心所在位置显示在同一张图片中，这样操作员便可以很直观地看到“重心”和“中心”的偏移程度，然后调整叉装车位置，使“重心”和“中心”尽可能处在同一竖直线上，如此，石材荒料的重心将落在叉装车的中心位置，解决了重心偏移所带来的问题。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应该涵盖在本发明的权利要求所保护的范围内。

Claims (9)

1.一种石材矿山叉装车智能辅助作业装置，其特征在于：所述装置设置于叉装车上，所述装置包括一个ARM主控制器、一个摄像头、至少两个雷达、一个显示屏以及一个红色激光发射装置；所述摄像头、两个雷达、显示屏、红色激光发射装置均与所述ARM主控制器连接，所述摄像头安装在叉装车的货叉中间位置；两个雷达对称地安装在摄像头的两侧，同时保证两个雷达和摄像头处在同一个高度以及两个雷达和摄像头的中轴线平行；红色激光发射装置安装在摄像头的正下方，处于叉装车的中心位置上，红色激光发射装置发射出的激光平行于水平面，所述摄像头、两个雷达、红色激光发射装置均能随叉装车的货叉上下垂直移动；通过摄像头和雷达获取待装卸石材荒料的形状数据，由ARM主控制器处理获得石材荒料的外形轮廓图像，以及石材荒料的重心位置，然后将石材荒料的轮廓图像显示于车载显示屏中，并在轮廓图像上标注重心，同时标注经过重心位置的垂直线；通过ARM主控制器和红色激光发射装置标记出叉装车的中心位置，操作人员只需要调整车身使叉装车的中心位置落在待装卸石材荒料的重心位置上，或者使叉装车的中心位置落在重心垂直线上，这样即可确保货叉举升石材荒料时重心平稳。

2.根据权利要求1所述的石材矿山叉装车智能辅助作业装置，其特征在于：所述装置还包括一输入设备，所述输入设备与所述ARM主控制器连接；所述输入设备包括：启动键和停止键。

3.根据权利要求1所述的石材矿山叉装车智能辅助作业装置，其特征在于：所述ARM主控制器的作用为接收雷达和摄像头采集到的信息，并对信息进行处理，得出石材荒料的轮廓形状，判断出其重心位置并将其标记在轮廓图像上显示出来；

摄像头的作用是拍摄石材荒料的正面图，通过ARM主控制器对图片的处理获得出来，以此确定石材荒料的正面形状；

雷达的作用是测试出摄像头成像平面到石材正面的距离，当左右雷达测量距离值误差满足设定值范围要求时，即表明摄像头垂直于石材表面，此时摄像头拍摄得到的石材荒料的图片将不会有失真；

红色激光发射装置的作用是标记出叉装车中心正对的位置，当ARM主控制器制成功判断出待装卸石材荒料的重心位置后，将会开启红色激光发射装置发射激光，同时会启动摄像头；当激光照射到石材荒料上的同时摄像头将会拍摄下石材荒料的图片，ARM主控制器通过图像处理得出激光点相对于石材荒料的位置数据，并在显示屏的石材荒料轮廓图像上标记出激光点位置，此时工作人员便能通过车载显示屏观察激光点位置和石材荒料重心位置的偏移情况，然后调整叉装车左右位置使叉装车中心落在石材荒料重心垂直线上；

显示屏：操作人员通过车载显示屏观察待装卸石材荒料轮廓图像、石材荒料的重心位置以及视频捕捉到的激光点位置。

4.根据权利要求1所述的石材矿山叉装车智能辅助作业装置，其特征在于：所述装置进一步为：ARM主控制器接通电源之后，开始程序的初始化，初始化内容包括：检测雷达、摄像头、启动键、停止键、红色激光发射装置以及存储器是否正常工作，之后加载摄像头的内部参数，包括焦距值和单个像素值；初始化完成之后，程序进入等待阶段，当操作员将叉装车调整到正对待装卸石材荒料的正面时，按下启动键，此时表明第一次数据采集准备就绪，程序开始调用摄像头和雷达采集数据，ARM主控制器接收到采集的数据后，会对此次采集到的数据是否有效做一个判断，当收集到的第一次数据有效时，ARM主控制器会将第一次数据存储到内部存储器中，等待第二次数据采集；第二次数据采集的过程同第一次数据采集一样；当采集到两次有效数据后，ARM主控制器将联合两次采集到的数据，进行处理得出待装卸石材荒料的轮廓形状图像，以及其重心位置和经过重心的垂直线并在车载显示屏中显示出来；之后将启动雷达和摄像头，标记叉装车的中心位置，当激光照射到石材荒料上的同时摄像头将会拍摄下石材荒料的图片，ARM主控制器通过处理得出激光点相对于石材荒料的位置数据，并在显示屏的石材荒料轮廓图像上标记出激光点位置，此时工作人员便能通过车载显示屏观察激光点位置和石材荒料重心垂直线的偏移情况；叉装车作业结束时，用户按停止键，关闭智能辅助作业装置。

5.一种石材矿山叉装车智能辅助作业方法，其特征在于：所述方法需提供一个ARM主控制器、一个摄像头、至少两个雷达、一个显示屏以及一个红色激光发射装置；通过摄像头和雷达采集待作业对象石材荒料的几何外形数据，重新绘制出石材荒料的几何轮廓图像，并在车载显示屏中予以显示；然后对采集的数据进行处理，得到作业对象石材荒料的重心位置及经过该点的垂直线，将重心位置及其垂直线在显示屏上的石材荒料轮廓图像中予以标记显示；最后，摄像头捕捉红色激光发射装置发射到石材荒料上的的红色激光束，并通过ARM主控制器的处理获得叉装车的中心点，将中心点在显示屏上的石材荒料轮廓图像中予以标记；操作人员能通过车载显示屏观察到石材荒料轮廓图像，石材荒料重心位置及其垂直线，以及中心点，操作人员通过手动操作叉装车调整其左右位置，使叉装车中心落在石材荒料重心垂直线上。

6.根据权利要求5所述的石材矿山叉装车智能辅助作业方法，其特征在于：所述方法进一步包括：ARM主控制器接通电源之后，开始程序的初始化，初始化内容包括：检测雷达、摄像头、启动键、停止键、红色激光发射装置以及存储器是否正常工作，之后加载摄像头的内部参数，包括焦距值和单个像素值；初始化完成之后，程序进入等待阶段，当操作员将叉装车调整到正对待装卸石材荒料的正面时，按下启动键，此时表明第一次数据采集准备就绪，程序开始调用摄像头和雷达采集数据，ARM主控制器接收到采集的数据后，会对此次采集到的数据是否有效做一个判断，当收集到的第一次数据有效时，ARM主控制器会将第一次数据存储到内部存储器中，等待第二次数据采集；第二次数据采集的过程同第一次数据采集一样；当采集到两次有效数据后，ARM主控制器将联合两次采集到的数据，进行处理得出待装卸石材荒料的形状，获取其重心位置并显示出来；之后将启动雷达和摄像头，标记处叉装车的中心基准点位置，当激光照射到石材荒料上的同时摄像头将会拍摄下石材荒料的图片，ARM主控制器通过图像处理得出激光点相对于石材荒料的位置数据，并在显示屏的石材荒料轮廓图像上标记出激光点位置，此时工作人员便能通过车载显示屏观察激光点位置和石材荒料重心垂直线的偏移情况；叉装车作业结束时，用户按停止键，关闭智能辅助作业装置。

7.根据权利要求6所述的石材矿山叉装车智能辅助作业方法，其特征在于：所述会对此次采集到的数据是否有效做一个判断，具体方法是判断两个雷达测量得到距离数据是否一致，当两个雷达测量值相差超过5cm时，表明此时的叉装车没有正对放置，摄像头拍摄得到图片将会出现变形，不利于处理，此时程序会提醒操作员此次数据无效，需重新调整叉装车的位置再次拍摄。

8.根据权利要求5所述的石材矿山叉装车智能辅助作业方法，其特征在于：所述方法进一步为：当ARM主控制器标记石材荒料重心位置后，便会立即打开红色激光发射装置，发射红色激光，以便实时显示叉装车中心对准的位置，并再次开启摄像头；此时操作员便能调整叉装车位置，准备装卸石材荒料；在叉装车移动过程中，摄像头每隔一定时间会拍摄图片回传给ARM主控制器，此时拍摄到的石材荒料的几何外轮廓外形图会包含一个红色激光点，该红色激光点所在的位置即叉装车中心所对准的位置，ARM主控制器会再次对几何外轮廓外形图进行处理，提取出红色激光点，并得出该红色激光点和石材荒料边界的相对位置，然后利用该相对位置信息，在标记有石材荒料重心位置的几何外轮廓外形图中再次标记出红色激光点的位置，至此，叉装车的中心位置和石材荒料的重心位置将显示在同一张图片中，操作员只需调整叉装车位置，使中心点落在石材荒料重心垂直线上。

9.根据权利要求5所述的石材矿山叉装车智能辅助作业方法，其特征在于：所述通过摄像头和雷达采集待作业对象石材荒料的几何外形数据，重新绘制出石材荒料的几何轮廓图像，具体为：利用左右两个雷达测量出的摄像头成像平面距离石材荒料表面的距离；然后通过用“像素个数”乘以“每个像素的宽度”算出石材荒料边长在摄像头成像平面上的长度，其中“像素个数”由ARM主控制器处理拍摄得到的几何轮廓外形图后获得，“每个像素的宽度”由摄像机自身参数决定，为一个常量；最后相似三角形原理，得到石材荒料实际边长Z的计算公式为：Z＝[(d1+d2)/2+f]*L/f，其中d1、d2为左右两个雷达测得的摄像头成像面到石材荒料面的距离，f为摄像头的焦距，L为石材荒料边长在摄像头拍摄得到的几何轮廓外形图上的长度；按照此方式能依次计算出石材荒料的长宽，进而判断出该石材荒料正面的形状。