CN108607819A - 物料分拣***及方法 - Google Patents
物料分拣***及方法 Download PDFInfo
- Publication number
- CN108607819A CN108607819A CN201810380261.9A CN201810380261A CN108607819A CN 108607819 A CN108607819 A CN 108607819A CN 201810380261 A CN201810380261 A CN 201810380261A CN 108607819 A CN108607819 A CN 108607819A
- Authority
- CN
- China
- Prior art keywords
- robot
- processing equipment
- image
- image data
- material sorting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
- B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
- B07C5/362—Separating or distributor mechanisms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
- B07C2501/0063—Using robots
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
本发明实施例提供一种物料分拣***及方法。所述物料分拣***包括:第一图像传感器和第二图像传感器,用于获取所述目标物的图像数据;与所述第一图像传感器和所述第二图像传感器连接的图像采集器,用于采集所述图像数据;与所述图像采集器连接的处理设备,所述处理设备用于根据所述图像数据计算得到所述目标物的三维信息及该目标物的体积;所述处理设备还用于根据所述三维信息及体积生成控制机器人的运动指令;与所述处理设备连接的机器人,所述机器人用于接收所述处理设备的运动指令,以根据所述运动指令调整末端以抓取所述目标物。
Description
技术领域
本发明涉及控制技术领域,具体而言,涉及一种物料分拣***及方法。
背景技术
目前采用的分拣技术,其一系列运动是采用示教或者离线编程的方法,所有的动作和摆放的位置都要预先进行严格的设定,一旦工作环境条件变化,就会出现分拣错误,智能化水平低。因此,需要一种能够更准确地定位物料的物料分拣方式。
发明内容
有鉴于此,本发明实施例的目的在于提供一种物料分拣***及方法。
本发明实施例提供的一种物料分拣***,所述物料分拣***包括:
第一图像传感器,用于获取目标物的第一图像数据;
第二图像传感器,用于获取所述目标物的第二图像数据;
与所述第一图像传感器和所述第二图像传感器连接的图像采集器,用于采集所述第一图像传感器获取的第一图像数据及第二图像传感器获取的第二图像数据;
与所述图像采集器连接的处理设备,所述处理设备用于从所述图像采集器获取所述第一图像数据及第二图像数据,并根据所述第一图像数据及第二图像数据计算得到所述目标物的三维信息及该目标物的体积;
所述处理设备还用于根据所述三维信息及体积生成控制机器人的运动指令;
与所述处理设备连接的机器人,所述机器人用于接收所述处理设备的运动指令,以根据所述运动指令调整末端以抓取所述目标物。
本发明实施例还提供一种物料分拣方法,包括:
获取第一采集设备采集的目标物的第一图像数据及第二采集设备采集的目标物的第二图像数据;
使用所述第一图像数据及第二图像数据定位所述目标物的三维信息及体积;
根据所述三维信息及体积生成控制机器人的运动指令;
将所述运动指令发送给机器人,以使所述机器人根据所述运动指令调整末端以抓取所述目标物。
与现有技术相比,本发明实施例的物料分拣***及方法,通过获取目标物的两个图像数据,使用两个图像数据计算得到目标物的三维信息和体积,可以使生成的运动指令能够更好地使机器人定位到所述目标物的位置,从而降低机器人抓取目标物的误差。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的物料分拣***的运行环境示意图。
图2为本发明实施例提供的物料分拣方法的流程图。
图3为本发明实施例提供的物料分拣方法的部分流程图。
图4为本发明实施例提供的物料分拣方法的部分流程图。
图标:10-物料分拣***;110-第一图像传感器;120-第二图像传感器;200-图像采集器;300-处理设备;400-机器人;500-机器人控制器;600-支架;610-横臂;620-支撑臂;700-传送带;800-触发控制装置。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
对于工作在结构化或非结构化环境中的机器人来说,视觉***是非常重要的,将视觉和机器人控制结合起来的机器人视觉伺服是当前的一个重要研究方向和提高机器人智能化水平的研究热点之一。以往的分拣不搭配视觉***,在分拣时需要对物料进行机械定位,效率低下,过程漫长,速度慢。因此,双目立体视觉与工业机器人的视觉伺服控制技术相结合对于提高分拣实时引导具有重要作用。目前,在物流行业、码垛及流水线作业等行业中分拣技术呈现智能化、高效率的发展趋势。工业机器人和双目立体视觉所组成的混合物料的分拣动态引导方法一方面具有效率高、环境适应能力强,能够实时得到物料的三维信息,另一方面采用双目立体视觉进行定位具有效率高、精度合适、非常适合于实时作业的控制,对于运动物体定位中,图像的获取瞬间完成,***能对物料进行无接触的方式识别,应用前景广阔。但是,目前采用的分拣技术,其一系列运动是采用示教或者离线编程的方法,所有的动作和摆放的位置都要预先进行严格的设定,一旦工作环境条件变化,就会出现分拣错误,智能化水平低。其具体可能会存在问题如下:1)通常情况下传送带上的物料是通过人工或者辅助机器人协助放料,因此,就会造成工件在定位时出现三维空间上的误差;包括平移误差和旋转误差。所以机器人在进行实时分拣引导时,要进行末端执行器的姿态修正,以适应分拣的作业,当物料的尺寸不一致时,若不进行机器人末端姿态调整,势必会降低分拣质量。
实践表明,传送带上随机摆放的物料误差是客观不可避免,相对于传统人工示教分拣而言,如何提高分拣***的智能化水平和分拣效率,是解决问题的关键。针对上述问题,采用基于位置型的视觉伺服控制,其特点表现为机器人末端位姿与期望位姿进行比较,计算出机器人的末端位姿偏差,其误差定义在伺服***的工作空间内。因此,其优点在于使用空间位姿信息描述机器人任务,控制法则设计容易且鲁棒性好。
因此,开发出一套成本低廉、结构简便、分拣效率高,满足基于位置视觉伺服控制的混合物料三维信息提取的控制和处理***,对视觉分拣实时引导提供技术支持,市场潜力巨大。针对上述技术研究,本申请通过以下几个实施例进行详细描述。
本发明实施例提供一种物料分拣***10,如图1所示,本实施例中的物料分拣***10包括:第一图像传感器110、第二图像传感器120、图像采集器200、处理设备300及机器人400。
所述第一图像传感器110用于获取目标物的第一图像数据。所述第二图像传感器120,用于获取所述目标物的第二图像数据。在一种实施方式中,所述第一图像传感器110与所述第二图像传感器120与图1所示的传送带620的距离相同,相对于所述第一图像传感器110和所述第二图像传感器120的载体的转动角度相同或相近。例如,所述第一图像传感器110和所述第二图像传感器120均安装在一与所述传送带620平行的横杆上,所述第一图像传感器110和所述第二图像传感器120相对于所述横杆角度相同或相近,所述第一图像传感器110和所述第二图像传感器120相对于所述传送带620的角度相同或相近。
所述图像采集器200与所述第一图像传感器110和所述第二图像传感器120连接。所述图像采集器200用于采集所述第一图像传感器110获取的第一图像数据及第二图像传感器120获取的第二图像数据。
所述处理设备300与所述图像采集器200连接,所述处理设备300用于从所述图像采集器200获取所述第一图像数据及第二图像数据,并根据所述第一图像数据及第二图像数据计算得到所述目标物的三维信息及该目标物的体积。
所述处理设备300还用于根据所述三维信息及体积生成控制所述机器人400的运动指令。
所述机器人400与所述处理设备300连接,所述机器人400用于接收所述处理设备300的运动指令,以根据所述运动指令调整末端以抓取所述目标物。
本实施例中,通过获取所述目标物的体积,可以在生成所述运动指令时,可以使所述机器人末端在所述体积大小范围内沿着所述目标物所在平面张开或闭合,以使所述机器人末端能够更好地抓取所述目标物。进一步地,所述处理设备还可以计算出所述目标物上表面的长度和宽度。
例如,所述目标物的上表面的宽度是20cm,长度是50cm,所述机器人末端的张合度可根据所述目标物的宽度和长度,在17-60cm范围内张开,以使所述机器人能够成功抓取所述目标物。
本实施例中,通过计算第一图像数据与第二图像数据对应点间的位置偏差,来获取所述目标物三维信息。
本实施例中可通过手眼***将目标物的三维信息从摄像机坐标系转换到机器人末端坐标系。
本实施例中,所述第一图像传感器110可以是CMOS图像传感器(CMOS ImageSensor,简称CIS)。所述CMOS图像传感器是接触式感光器件。所述CMOS图像传感器使用的材料可以是用来制造光敏电阻的硫化镉。所述第一图像传感器110也可以是CCD(chargecoupled device)扫描仪。所述CCD扫描仪是利用微电子技术制成的一种半导体芯片,CCD扫描仪的芯片上有许多光敏单元,通过由一系列透镜、反射镜等组成的光学***将图象传送到CCD芯片上,实现光电转换功能。本实施例中,所述第二图像传感器120也可以是CMOS图像传感器或CCD扫描仪。
本实施例中,所述处理设备300可以是网络服务器、数据库服务器等、也可以是个人电脑(personal computer,PC)、平板电脑、智能手机、个人数字助理(personal digitalassistant,PDA)等。
本实施例中所述图像采集器200可以是多路图像采集卡,所述多路图像采集卡实时将图像信号采集到所述处理设备300中。
在一种实施方式中,采用多路图像采集卡将图像信号采集到处理设备300中,以数据文件的形式保存在硬盘。所述多路图像采集卡可以将所述第一图像传感器110和所述第二图像传感器120所拍摄的视频信号从所述第一图像传感器110和所述第二图像传感器120上转存到所述处理设备300中,并运用所述处理设备300中的图像处理算法完成对目标物的定位识别后转化为机器人400运动指令以控制机器人400的末端执行器到达所述目标物的实际位置。
本实施例中采用双目立体视觉技术实现计算目标物在三维笛卡尔空间位置的精确检测,通过高精度的图像传感器获得高质量的图像,通过所述处理设备300进行图像处理可输出用于机器人末端位姿平移调整的平面坐标,同时可进行旋转坐标计算并将结果传递给机器人控制器500修正末端旋转姿态。该部分内容通过双目立体视觉***与视觉伺服融合处理方式,实现机器人400对目标物的分拣动态引导。
本发申请实施例采用双目立体视觉技术,是建立在成像点的视差基础上的,对双目第一图像传感器110和第二图像传感器120到的三维空间中目标物的特征在两个成像平面进行立体匹配,也就是在不同的两个成像平面上找到同一个特征点的成像坐标,一旦有了正确的立体匹配关系,就可以得到相应匹配区域的视差图像,由此获得三维空间中目标物的三维信息,要使机器人400的末端执行器运动到所设定的期望位置(所述目标物的位置),实现末端姿态的在线调整,需要计算出机器人400的末端执行器的当前位姿与期望位置的相对位置或与机器人400基坐标之间的相对位置,机器人400在以这些相对位置量根据逆运动学关系求解出各个关节的控制量,进而实现机器人400的末端姿态在线调整,实现对混合物料的实时定位分拣。
所述第一图像传感器110与所述第二传感器在目标物上方通过两个视点观察同一目标物的两幅图像,根据三角测量原理计算不同图像对应像素间的视差,获取深度信息,从而实现三维重构,获得所述目标物的三维信息。在此基础上,需要进行双目立体视觉标定,目的是计算在所述第一图像传感器110与所述第二传感器形成的双目***中所述第一图像传感器110与所述第二传感器之间的相对位置关系,即求取所述第一图像传感器110与所述第二传感器之间的旋转矩阵R和平移矩阵T。所述三角测量在三角学与几何学上是一借由测量目标点与固定基准线的已知端点的角度,测量目标距离的方法。
本实施例中,如图1所示,所述物料分拣***10还包括机器人控制器500,所述机器人控制器500用于接收所述处理设备300生产的运动指令,以控制所述机器人400运动。
本实施例中,所述机器人400还用于将所述目标物抓取放置在设定区域。所述处理设备300还用于每放置一次计算所述设定区域的剩余空间。所述处理设备300还用于根据所述目标物的体积及所述剩余空间计算所述设定区域是否能够容纳所述目标物,当不能容纳所述目标物时,将生成提示消息。
本实施例中,所述提示消失可以是显示在所述处理设备300上的文字消息,也可以是由所述处理设备300的音频设备播放的语音消息,还可以是发送给指定电子终端的信息消息。
在一种实施方式中,通过第一图像数据及第二图像数据计算得到所述目标物的边缘三维坐标,根据多个边缘三维坐标计算得到所述目标物的体积。
本实施例中,所述物料分拣***10还包括:设置在指定位置的触发控制装置800,该触发控制装置800,用于当检测到所述目标物时,向所述处理设备300发送检测信号。
所述处理设备300在接收到所述检测信号后,用于向所述第一图像传感器110及第二图像发送触发指令,触发所述第一图像传感器110及第二图像传感器120工作。
所述处理设备300还用于向与所述处理设备300连接的其它设备发送启动指令,以使所述其它设备开启。
在一种实施方式中,所述触发控制装置800安装在传送带620的一端。例如,安装在传送带620接收目标物的一端。图中仅示出了所述触发控制装置800,可以理解的是,所述触发控制装置800可以安装在一个安装架上。
当所述触发控制装置800扫描到有物料时,将检测信号传递给所述处理设备300,所述处理设备300发出控制指令,触发所述第一图像传感器110和第二图像传感器120进行图像采集并使其他设备同时打开,从而保证***的扫描速度,提高工作效率。所述其它设备可以包括图像采集器200、机器人400、机器人控制器500等。
本实施例中,所述物料分拣***10还包括:支架600,所述支架600包括横臂610和支撑臂620。
所述第一图像传感器110和所述第二图像传感器120安装在所述支架600的横臂610上。
本实施例中,所述支撑臂620上设置多个第一安装位,所述横臂610安装在所述多个第一安装位中的任一安装位处。
所述第一安装位置可以是设置在所述支撑臂620上的安装洞,所述横臂610通过固定件安装在所述安装洞处。
所述横臂610上设置至少三个第二安装位,所述第一图像传感器110及所述第二图像传感器120安装在所述至少三个第二安装位的两个第二安装位上。
本实施例中,所述第二安装位可以是设置在所述横臂610上的凹槽,所述凹槽上设置有安装孔,所述第一图像传感器110和所述第二图像传感器120上连接有安装片,所述安装片上有与所述安装孔对应的通孔。需要安装所述第一图像传感器110或第二图像传感器120时,可以将所述通孔与所述安装孔对应放置,再通过固定件固定。
本实施例中,如图1所示,所述横臂610可以设置在传送带620的正上方。所述第一图像传感器110和所述第二传感器可以相对所述横臂610旋转。
所述横臂610与所述传送带620的距离可以通过调整所述横臂610安装在不同的第一安装位处以实现调整。
通过上述设置在允许的成像范围内,将所述第一图像传感器110和所述第二图像传感器120在高度和横向方向的调节,以适应不同环境下的安装,同时
双目立体视觉***通过采集传送带620上物料的三维深度图像,进而通过处理***将获得的图像中计算出混合物料的方向、坐标以及抓取点。考虑到物料的尺寸信息,在允许的测量精度范围内,设计高度可调的支架600和双目角度和横向方向可调的结构。采用悬臂式的支架600可以避开机器人400的工作空间,提高机器人400工作的安全性。
本实施例中,所述第一图像传感器110的镜头处安装有第一滤波片;所述第二图像传感器120的镜头处安装有第二滤波片。
本实施例中,所述第一图像传感器110与所述第二图像传感器120垂直角度或以呈一定夹角直射传送带620上的物料。
在所述第一图像传感器110和所述第二图像传感器120的镜头前安装特定波长的滤波片,其作用是保证图像采集的高质量和防止外界强光的干扰。
进一步地,本实施例中的物料分拣***10主要包括由两部分,其一是包括双目立体视觉成像***,主要可包括平行安装的所述第一图像传感器110和所述第二图像传感器120、支架600构成。主要定位完成传送带620上混合物料的坐标、方向及抓取点的提取。其二是处理设备300、图像采集器200、融合位置视觉伺服控制的机器人末端姿态修正方法,主要是将双目立体视觉所获得的物料的三维信息结合位置视觉伺服控制,实现对混合物料的实时分拣。
本发明实施例采用双目立体视觉技术与视觉伺服控制技术相结合的控制方式,定位准确,而且精确度高,易于控制实现。通过单个的视觉***,可以提取任意物料的三维轮廓,并且可以得到轮廓上任意点的三维信息。同时实现了基于处理设备的控制方式,在优势互补的基础上融合双目立体视觉***提出了一种新的视觉伺服控制方法。采用相互平行安装的第一图像传感器和第二图像传感器作为图像采集设备,不受工业现场环境干扰和温度影响,能够为机器人的实时分拣提供可靠的信号输入,有利于提高机器人分拣的智能化水平。具体体现在以下几点:
①在成像单元上采用双目立体视觉,具有效率高、精度合适、***结构简单、成本低等优点,非常适合于制造现场,采用触发控制装置,当检测到传送带上的物料时,将信号传递给处理设备,计算机通过发送指令,使其它***同时打开,提高工作效率,采用高性能的处理设备,高效的进行图像处理和信息处理。
②采用双目立体视觉技术与基于位置的视觉伺服控制方式实现混合物料的实时分拣,一方面通过双目立体视觉技术,重建物料三维信息,包括混合物料的方向、坐标以及抓取点,再通过基于位置的视觉伺服控制方法,实时调整机器人的末端姿态和相关参数,进行精确的分拣作业任务。本发明实施例提出的方法具有更高的准确性和实时性。
③本发明实施例提供的物料分拣***,可对混合物料进行三维形貌可视化重建,除了用于物料定位抓取外,还可以用于对目标物的体积测量,准确进行数据分析降低爆仓现象。
④本发明实施例除了用于生产线上混合物料的分拣引导外,还可以用于激光切割路径引导、焊接、码垛、搬运等作业,以及其它基于机器人技术与视觉伺服控制领域的实时生产加工。
本发明实施例的物料分拣***,通过获取目标物的两个图像数据,使用两个图像数据计算得到目标物的三维信息和体积,可以使生成的运动指令能够更好地使机器人定位到所述目标物的位置,从而降低机器人抓取目标物的误差。
请参阅图2,是本发明实施例提供的应用于图1所示的处理设备的物料分拣方法的流程图。下面将对图2所示的具体流程进行详细阐述。
步骤S101,获取第一采集设备采集的目标物的第一图像数据及第二采集设备采集的目标物的第二图像数据。
步骤S102,使用所述第一图像数据及第二图像数据定位所述目标物的三维信息及体积。
步骤S103,根据所述三维信息及体积生成控制机器人的运动指令。
本实施例中,所述步骤S103包括:计算所述三维信息及所述机器人的末端当前姿态的相对位置,以所述相对位置作为运动轨迹生成所述运动指令。
本实施例中,可以使用手眼标定方式计算得到所述机器人的末端需要运动的位置。
步骤S104,将所述运动指令发送给机器人,以使所述机器人根据所述运动指令调整末端以抓取所述目标物。
本实施例中,所述机器人将所述目标物抓取放置在设定区域,如图3所示,所述方法还包括:步骤S105至步骤S107。
步骤S105,每放置一次计算所述设定区域的剩余空间。
步骤S106,根据所述目标物的体积及所述剩余空间计算所述设定区域是否能够容纳所述目标物。
步骤S107,当不能容纳所述目标物时,将生成提示消息。
本实施例中,如图4所示,所述方法还包括:步骤S108至步骤S109。
步骤S108,接收到触发控制装置发送的检测信号后,向所述第一图像传感器及第二图像发送触发指令,触发所述第一图像传感器及第二图像传感器工作。
步骤S109,向与所述处理设备连接的其它设备发送启动指令,以使所述其它设备开启。
进一步地,所述方法还包括对所述机器人进行手眼标定。本实施例中,所述物料分拣***还包括设置在所述机器人末端的末端执行器光学靶标和安装在其它位置的目标运动体光学靶标(图1中未示出)。例如,所述目标运动体光学靶标可以安装在图1所示的传送带的边缘。在一种实施方式中,可以通过以下步骤对所述机器人进行手眼标定:
步骤1:获取所述第一图像传感器和所述第二图像传感器采集的初始化状态下末端执行器光学靶标和目标运动体光学靶标的位置信息图像,根据摄像机模型计算出机器人的末端执行器光学靶标在摄像机坐标系下的位姿齐次矩阵表达式M2V和目标运动体光学靶标在摄像机坐标系下的位姿齐次矩阵表达式M1V,之后进入步骤2;
步骤2:通过测量工具测出末端执行器光学靶标在机器人末端执行器坐标系下的位姿齐次矩阵表达式M2T;通过关节角度传感器获取机器人的六个关节角确定机器人末端执行器在初始位置上的位姿齐次矩阵,再经机器人运动学正解得到MTB;根据坐标变换关系,计算出末端执行器光学靶标在机器人基座标系B下的齐次矩阵为M2B=MTB·M2T,之后进入步骤3;
步骤3:确定机器人基座标系的转换矩阵,根据机器人末端执行器光学靶标在摄像机坐标系下和机器人基座标系下的齐次矩阵计算出从摄像机坐标系变换到机器人基座标系的转换矩阵Mmap=M2B·M2V -1,之后进入步骤4;
步骤4:计算目标运动体和机器人末端执行器的位置关系Mbind,机器人在进行目标跟踪的过程中机器人末端执行器与目标运动体之间始终保持一个固定的偏置关系,根据步骤1中所述第一图像传感器和所述第二图像传感器获取到末端执行器光学靶标齐次矩阵M2V和目标运动体光学靶标齐次矩阵M1V后计算出偏置关系:Mbind=M2V -1·M1V,之后进入步骤5;
步骤5:计算末端执行器光学靶标和目标运动体光学靶标在摄像机坐标系V下的位置误差,所述第一图像传感器和所述第二图像传感器以一定的频率不断地计算出新的M1V和M2V,通过MerrV=M1V-M2V·Mbind计算得到在摄像机视觉坐标系V下的位置误差MerrV;再通过公式MerrB=Mmap·MerrV计算出在机器人基坐标B下的位置误差MerrB,之后进入步骤6;
步骤6:判定误差值,齐次矩阵MerrB中包含了三维空间中机器人末端执行器和目标运动体在X、Y、Z方向上的位置误差ΔX、ΔY、ΔZ,如果误差值在容许的范围ε内,则进入步骤1,否则进入步骤7;
步骤7:根据PID算法利用误差值计算出在机器人末端执行器坐标系T下的速度控制量VX、VY、VZ,并发送给机器人控制器让机器人末端执行器按照给定速度运动,之后进入步骤1,实现在一定的空间范围内机器人快速而准确的跟踪运动的目标。
关于本实施例的其它细节还可以进一步地参考上述***实施例中的描述,在此不再赘述。
本发明实施例的物料分拣方法,通过获取目标物的两个图像数据,使用两个图像数据计算得到目标物的三维信息和体积,可以使生成的运动指令能够更好地使机器人定位到所述目标物的位置,从而降低机器人抓取目标物的误差。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种物料分拣***,其特征在于,所述物料分拣***包括:
第一图像传感器,用于获取目标物的第一图像数据;
第二图像传感器,用于获取所述目标物的第二图像数据;
与所述第一图像传感器和所述第二图像传感器连接的图像采集器,用于采集所述第一图像传感器获取的第一图像数据及第二图像传感器获取的第二图像数据;
与所述图像采集器连接的处理设备,所述处理设备用于从所述图像采集器获取所述第一图像数据及第二图像数据,并根据所述第一图像数据及第二图像数据计算得到所述目标物的三维信息及该目标物的体积;
所述处理设备还用于根据所述三维信息及体积生成控制机器人的运动指令;
与所述处理设备连接的机器人,所述机器人用于接收所述处理设备的运动指令,以根据所述运动指令调整末端以抓取所述目标物。
2.如权利要求1所述的物料分拣***,其特征在于,所述机器人还用于将所述目标物抓取放置在设定区域;
所述处理设备还用于每放置一次计算所述设定区域的剩余空间;
所述处理设备还用于根据所述目标物的体积及所述剩余空间计算所述设定区域是否能够容纳所述目标物,当不能容纳所述目标物时,将生成提示消息。
3.如权利要求1所述的物料分拣***,其特征在于,所述物料分拣***还包括:
设置在指定位置的触发控制装置,该触发控制装置,用于当检测到所述目标物时,向所述处理设备发送检测信号;
所述处理设备在接收到所述检测信号后,向所述第一图像传感器及第二图像发送触发指令,触发所述第一图像传感器及第二图像传感器工作;
所述处理设备还用于向与所述处理设备连接的其它设备发送启动指令,以使所述其它设备开启。
4.如权利要求3所述的物料分拣***,其特征在于,所述物料分拣***还包括:
支架,所述支架包括横臂和支撑臂;
所述第一图像传感器和第二图像传感器安装在所述支架的横臂上。
5.如权利要求4所述的物料分拣***,其特征在于,所述支撑臂上设置多个第一安装位,所述横臂安装在所述多个第一安装位中的任一安装位处;
所述横臂上设置至少三个第二安装位,所述第一图像传感器及所述第二图像传感器安装在所述至少三个第二安装位的两个第二安装位上。
6.如权利要求1所述的物料分拣***,其特征在于,所述第一图像传感器的镜头处安装有第一滤波片;所述第二图像传感器的镜头处安装有第二滤波片。
7.一种物料分拣方法,其特征在于,包括:
获取第一采集设备采集的目标物的第一图像数据及第二采集设备采集的目标物的第二图像数据;
使用所述第一图像数据及第二图像数据定位所述目标物的三维信息及体积;
根据所述三维信息及体积生成控制机器人的运动指令;
将所述运动指令发送给机器人,以使所述机器人根据所述运动指令调整末端以抓取所述目标物。
8.如权利要求7所述的物料分拣方法,其特征在于,所述机器人将所述目标物抓取放置在设定区域,所述方法还包括:
每放置一次计算所述设定区域的剩余空间;
根据所述目标物的体积及所述剩余空间计算所述设定区域是否能够容纳所述目标物;
当不能容纳所述目标物时,将生成提示消息。
9.如权利要求7所述的物料分拣方法,其特征在于,应用于处理设备,所述处理设备与触发控制装置连接,所述方法还包括:
接收到所述触发控制装置发送的检测信号后,向所述第一图像传感器及第二图像发送触发指令,触发所述第一图像传感器及第二图像传感器工作;
向与所述处理设备连接的其它设备发送启动指令,以使所述其它设备开启。
10.如权利要求7所述的物料分拣方法,其特征在于,所述根据所述三维信息及体积生成控制机器人的运动指令的步骤包括:
计算所述三维信息及所述机器人的末端当前姿态的相对位置;
以所述相对位置作为运动轨迹生成所述运动指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810380261.9A CN108607819A (zh) | 2018-04-25 | 2018-04-25 | 物料分拣***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810380261.9A CN108607819A (zh) | 2018-04-25 | 2018-04-25 | 物料分拣***及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108607819A true CN108607819A (zh) | 2018-10-02 |
Family
ID=63660838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810380261.9A Pending CN108607819A (zh) | 2018-04-25 | 2018-04-25 | 物料分拣***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108607819A (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109465809A (zh) * | 2018-12-17 | 2019-03-15 | 中北大学 | 一种基于双目立体视觉定位识别的智能垃圾分类机器人 |
CN109465205A (zh) * | 2018-11-20 | 2019-03-15 | 上海发那科机器人有限公司 | 一种基于视觉识别技术的动态分拣***和分拣方法 |
CN110561437A (zh) * | 2019-09-19 | 2019-12-13 | 工业云制造(四川)创新中心有限公司 | 一种毛坯件自动化加工取料方法、存储介质及终端 |
CN111105181A (zh) * | 2018-10-25 | 2020-05-05 | 格雷奥朗佩特有限公司 | 用于订单履行的识别和计划***及方法 |
CN111805532A (zh) * | 2020-03-27 | 2020-10-23 | 高雪亚 | 云端计算型机器人驱动控制*** |
CN111860358A (zh) * | 2020-07-23 | 2020-10-30 | 广元量知汇科技有限公司 | 基于工业互联网的物料验收方法 |
CN111993418A (zh) * | 2020-08-06 | 2020-11-27 | 西安科技大学 | 煤矸分拣机器人多目标多机械臂协同分拣***及分拣策略 |
CN112150439A (zh) * | 2020-09-23 | 2020-12-29 | 创新奇智(青岛)科技有限公司 | 注塑件的自动分拣设备及分拣方法 |
CN112889009A (zh) * | 2018-10-19 | 2021-06-01 | 通快机床两合公司 | 用于辅助分拣过程地显示工件图示的方法 |
CN113316504A (zh) * | 2019-01-25 | 2021-08-27 | 索尼互动娱乐股份有限公司 | 机器人控制*** |
CN113379905A (zh) * | 2021-07-16 | 2021-09-10 | 秦皇岛信能能源设备有限公司 | 一种轮毂产线用3d视觉智能识别及控制*** |
CN113909132A (zh) * | 2021-10-27 | 2022-01-11 | 山东东辰瑞森新材料科技有限公司 | 检料台 |
CN115701818A (zh) * | 2023-01-04 | 2023-02-14 | 江苏汉邦智能***集成有限公司 | 基于人工智能的智能垃圾分类控制*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006086366A2 (en) * | 2005-02-10 | 2006-08-17 | Siemens Corporate Research, Inc. | Sortation platforms with in-bulk identification and continuous tracking of items |
CN101128268A (zh) * | 2003-06-12 | 2008-02-20 | 美国邮政服务公司 | 邮件分拣中对储存箱的动态调整 |
CN104400783A (zh) * | 2014-09-24 | 2015-03-11 | 哈尔滨工业大学 | 具有张力和关节位置反馈的机器人关节用挠性驱动单元控制方法 |
CN105562361A (zh) * | 2015-12-23 | 2016-05-11 | 西安工程大学 | 一种织物分拣机器人自主分拣方法 |
CN107413674A (zh) * | 2017-06-08 | 2017-12-01 | 北京农业信息技术研究中心 | 一种作物种籽在线分拣方法及*** |
-
2018
- 2018-04-25 CN CN201810380261.9A patent/CN108607819A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101128268A (zh) * | 2003-06-12 | 2008-02-20 | 美国邮政服务公司 | 邮件分拣中对储存箱的动态调整 |
WO2006086366A2 (en) * | 2005-02-10 | 2006-08-17 | Siemens Corporate Research, Inc. | Sortation platforms with in-bulk identification and continuous tracking of items |
CN104400783A (zh) * | 2014-09-24 | 2015-03-11 | 哈尔滨工业大学 | 具有张力和关节位置反馈的机器人关节用挠性驱动单元控制方法 |
CN105562361A (zh) * | 2015-12-23 | 2016-05-11 | 西安工程大学 | 一种织物分拣机器人自主分拣方法 |
CN107413674A (zh) * | 2017-06-08 | 2017-12-01 | 北京农业信息技术研究中心 | 一种作物种籽在线分拣方法及*** |
Non-Patent Citations (3)
Title |
---|
任秉银等: "正交双目视觉长轴类零件装配端位姿检测方法", 《哈尔滨工业大学学报》 * |
侯宏录等: "硅棒特征点三维坐标视觉检测技术研究", 《光学仪器》 * |
李伟等: "基于正交双目视觉的药液杂质粒径标定", 《光学精密工程》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112889009A (zh) * | 2018-10-19 | 2021-06-01 | 通快机床两合公司 | 用于辅助分拣过程地显示工件图示的方法 |
CN111105181A (zh) * | 2018-10-25 | 2020-05-05 | 格雷奥朗佩特有限公司 | 用于订单履行的识别和计划***及方法 |
CN109465205A (zh) * | 2018-11-20 | 2019-03-15 | 上海发那科机器人有限公司 | 一种基于视觉识别技术的动态分拣***和分拣方法 |
CN109465809B (zh) * | 2018-12-17 | 2024-07-19 | 中北大学 | 一种基于双目立体视觉定位识别的智能垃圾分类机器人 |
CN109465809A (zh) * | 2018-12-17 | 2019-03-15 | 中北大学 | 一种基于双目立体视觉定位识别的智能垃圾分类机器人 |
CN113316504A (zh) * | 2019-01-25 | 2021-08-27 | 索尼互动娱乐股份有限公司 | 机器人控制*** |
CN110561437A (zh) * | 2019-09-19 | 2019-12-13 | 工业云制造(四川)创新中心有限公司 | 一种毛坯件自动化加工取料方法、存储介质及终端 |
CN111805532A (zh) * | 2020-03-27 | 2020-10-23 | 高雪亚 | 云端计算型机器人驱动控制*** |
CN111805532B (zh) * | 2020-03-27 | 2021-11-26 | 成芳 | 云端计算型机器人驱动控制*** |
CN111860358B (zh) * | 2020-07-23 | 2021-05-14 | 浙江赛慕威供应链管理有限公司 | 基于工业互联网的物料验收方法 |
CN111860358A (zh) * | 2020-07-23 | 2020-10-30 | 广元量知汇科技有限公司 | 基于工业互联网的物料验收方法 |
CN111993418B (zh) * | 2020-08-06 | 2021-09-14 | 西安科技大学 | 煤矸分拣机器人多目标多机械臂协同分拣***及分拣策略 |
CN111993418A (zh) * | 2020-08-06 | 2020-11-27 | 西安科技大学 | 煤矸分拣机器人多目标多机械臂协同分拣***及分拣策略 |
CN112150439A (zh) * | 2020-09-23 | 2020-12-29 | 创新奇智(青岛)科技有限公司 | 注塑件的自动分拣设备及分拣方法 |
CN112150439B (zh) * | 2020-09-23 | 2023-10-20 | 创新奇智(青岛)科技有限公司 | 注塑件的自动分拣设备及分拣方法 |
CN113379905A (zh) * | 2021-07-16 | 2021-09-10 | 秦皇岛信能能源设备有限公司 | 一种轮毂产线用3d视觉智能识别及控制*** |
CN113909132A (zh) * | 2021-10-27 | 2022-01-11 | 山东东辰瑞森新材料科技有限公司 | 检料台 |
CN115701818A (zh) * | 2023-01-04 | 2023-02-14 | 江苏汉邦智能***集成有限公司 | 基于人工智能的智能垃圾分类控制*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108607819A (zh) | 物料分拣***及方法 | |
CN112476434B (zh) | 一种基于协作机器人的视觉3d取放方法及*** | |
CN108555908B (zh) | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 | |
CN110948492B (zh) | 一种基于深度学***台和抓取方法 | |
Krotkov | Active computer vision by cooperative focus and stereo | |
CN104786226A (zh) | 抓取在线工件的机器人位姿及运动轨迹定位***与方法 | |
CN111028340B (zh) | 精密装配中的三维重构方法、装置、设备及*** | |
JP2014511772A (ja) | ロボットシステムにおいてピッキング動作後にセンサ測定値を無効にする方法 | |
CN108971704B (zh) | 基于视觉及旋转电弧复合传感的三维焊缝跟踪方法及*** | |
CN107150032A (zh) | 一种基于多图像获取设备的工件识别与分拣装置和方法 | |
CN101574586B (zh) | 毽球机器人及控制方法 | |
CN105014678A (zh) | 基于激光测距的机器人手眼标定方法 | |
CN204585232U (zh) | 抓取在线工件的机器人位姿及运动轨迹定位*** | |
JP2012101320A (ja) | 画像生成装置、画像生成方法、およびプログラム | |
Fanello et al. | 3D stereo estimation and fully automated learning of eye-hand coordination in humanoid robots | |
Mi et al. | A vision-based displacement measurement system for foundation pit | |
Taryudi et al. | Eye to hand calibration using ANFIS for stereo vision-based object manipulation system | |
CN107932502A (zh) | 一种基于双目立体视觉的scara机器人轨迹规划方法 | |
CN110992416A (zh) | 基于双目视觉与cad模型的高反光面金属零件位姿测量方法 | |
CN106556343A (zh) | 一种风力发电装备轮毂特征参数快速测量***及方法 | |
Luo et al. | Robotic conveyor tracking with dynamic object fetching for industrial automation | |
Li et al. | Workpiece intelligent identification and positioning system based on binocular machine vision | |
CN115194774A (zh) | 一种基于多目视觉的双机械臂抓握***控制方法 | |
Pajor et al. | Stereovision system for motion tracking and position error compensation of loading crane | |
Ramachandram et al. | Neural network-based robot visual positioning for intelligent assembly |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181002 |