CN114751206A - 一种全角度的识别*** - Google Patents

一种全角度的识别*** Download PDF

Info

Publication number
CN114751206A
CN114751206A CN202210434443.6A CN202210434443A CN114751206A CN 114751206 A CN114751206 A CN 114751206A CN 202210434443 A CN202210434443 A CN 202210434443A CN 114751206 A CN114751206 A CN 114751206A
Authority
CN
China
Prior art keywords
module
image
speed
information
conveyor belt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210434443.6A
Other languages
English (en)
Inventor
吴凌云
何志雄
陈统书
温伟健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Tiantai Robot Co Ltd
Original Assignee
Guangdong Tiantai Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Tiantai Robot Co Ltd filed Critical Guangdong Tiantai Robot Co Ltd
Priority to CN202210434443.6A priority Critical patent/CN114751206A/zh
Publication of CN114751206A publication Critical patent/CN114751206A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G61/00Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08Control devices operated by article or material being fed, conveyed or discharged
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种全角度的识别***,包括机械臂、传送带和识别装置;识别装置用于获取传送带上的物体的图像信息,根据物体的图像信息识别物体的特征信息,判断物体是否为目标对象,跟踪并采集目标对象的图像信息,并将识别的特征信息发送至机械臂;机械臂用于接收识别装置发送的物体特征信息并根据物体的特征信息生成控制指令,并进行移动和抓取工作;传送带包括速度调节单元,速度调节单元用于调节传送带的输送速度;本申请旨在提供一种全角度的识别***,通过识别装置判断物体是否为目标对象并将物体图像信息发送至中控单元,并生成调节机械臂的控制指令驱动机械臂;同时,通过速度调节单元调节传送带的速度,方便适应不同重量的物体。

Description

一种全角度的识别***
技术领域
本发明涉及码垛技术领域,尤其涉及一种全角度的识别***。
背景技术
随着科技的发展,人们的生活节奏也逐渐加快,许多企业都开始使用高效率的机器进行工作,将机械臂投入到生产线中,对输送的物体进行抓取码垛后整理装车,已成为常用的工业运输技术手段。
在自动码垛***中,通常是将机械臂与具有识别逻辑功能的摄像设备进行连接,当摄像设备识别出物体后,将物体的位置发送至机械臂控制端,机械臂控制端驱动机械臂移动抓取物体。
而机械臂在工作时,一般是通过预先烧录的程序对机械臂进行控制,当机械臂接收到抓取指令时,通过程序设置的参数移动至预设位置后抓取物体。现有的码垛作业中,为了方便数据的采集,经常将具有图像采集功能的识别装置设置在机械臂上,但是,机械臂电机的运作会使机械臂在移动产生不可避免的振动,会造成采集图像模糊或对位不准确等问题,无法实现图像的准确采集,影响图像的采集效率。同时,现有的机械臂在输送线出现速度波动时,机械臂仍然按照预设的参数进行运作,无法准确地抓取物品或出现漏抓的情况,影响了生产效率。
发明内容
本发明的目的在于提出一种全角度的识别***,通过图像获取单元和图像处理单元判断物体是否为目标对象并将物体图像信息发送至中控单元,中控单元接收物体图像信息并生成调节机械臂的控制指令;同时,通过速度调节单元调节传送带的速度,方便适应不同重量的物体。
为达此目的,本发明采用以下技术方案:一种全角度的识别***,包括机械臂、传送带和识别装置,所述传送带和所述识别装置均与所述机械臂通讯连接;
所述识别装置包括机架、图像获取单元和图像处理单元,所述图像获取单元和所述图像处理单元均设置在所述机架,所述图像获取单元与所述传送带的输送表面相对,所述图像获取单元用于获取所述传送带上的物体的图像信息,并将物体的图像信息发送至所述图像处理单元;
所述图像处理单元用于接收物体图像信息,并根据物体图像信息识别物体的特征信息,将识别的物体的特征信息与存储的多个角度的模板图进行比对,判断物体是否为目标对象,若是,则所述图像获取单元跟踪并采集目标对象的图像信息,并将跟踪采集的图像信息发送至所述图像处理单元,同时,所述图像处理单元将识别的特征信息发送至所述机械臂;
所述机械臂包括中控单元,所述中控单元用于接收所述图像处理单元发送的物体的特征信息并根据物体的特征信息生成控制指令,所述中控单元根据控制指令驱动所述机械臂进行移动和抓取工作;
所述传送带包括速度调节单元,所述速度调节单元设置在所述传送带且与所述传送带电连接,所述图像获取单元与所述速度调节单元通讯连接,所述速度调节单元用于在物体重量发生变化时或图像获取单元的采集速度发生变化时,调节所述传送带的输送速度。
优选的,所述图像获取单元包括摄像头模块,所述摄像头模块以固定周期的对所述传送带的图像进行采集;
当物体进入所述摄像头模块的采集范围内,所述摄像头模块采集存在物体的图像信息,并将存在物体的图像信息发送至所述图像处理单元,所述图像处理单元识别图像信息中的物体为目标对象时,所述图像处理单元发送信号给所述摄像头模块,所述摄像头模块以周期t的频率对所述传送带上的物体的图像信息进行跟踪采集,并将存在物体的图像信息发送至所述图像处理单元;
当所述摄像头模块的采集范围内没有物体时,所述摄像头模块以周期T的频率对所述传送带的图像进行采集,周期t的长度小于周期T的长度。
优选的,所述图像处理单元包括模板库模块、识别处理模块和存储模块;
所述模板库模块用于存储模板信息,所述模板信息包括多个角度的模板图;所述识别处理模块用于提取图像信息中物体的特征信息,并与模板库模块进行匹配,根据匹配结果识别图像信息是否为目标对象;所述存储模块用于存储图像信息中物体的特征信息。
优选的,所述模板信息包括360/n个模板图,n=1,2,3,…,n,n小于10,n为正整数;所述模板图对应各个模板中物体的不同摆放角度。
优选的,所述识别处理模块包括追踪子模块和匹配子模块;所述追踪子模块使用One-Stage算法对图像信息进行识别框体提取,将所述传送带上的物体以框体的方式展现;
所述匹配子模块用于对框体内的物体进行匹配识别,判断当前的图像信息中是否存在有目标零件,若存在有目标零件,则将目标零件所在的框体与模板库模块中的模板图进行匹配,若匹配结果相符,则将当前的框体内的物体的特征信息存储至所述存储模块。
优选的,所述速度调节单元包括增速调节模块和减速调节模块,所述增速调节模块设置在所述传送带,所述增速调节模块与所述传送带的驱动端电连接;所述增速调节模块用于在输送物体重量增大时,增加所述传送带的驱动端的功率,提高所述传送带的输送速度;
所述减速调节模块设置在所述传送带,所述减速调节模块与所述传送带的驱动端电连接,所述减速调节模块用于在输送物体重量减小时,对所述传送带的驱动端进行制动减速,从而降低输送速度。
优选的,所述速度调节单元还包括称重模块,所述称重模块与所述增速调节模块和减速调节模块电连接,所述称重模块用于感应物体的重量。
优选的,所述图像获取单元与所述速度调节单元通讯连接,所述图像获取单元将图像的采集频率发送至所述速度调节单元,所述速度调节单元根据图像的采集频率调节所述传送带的输送速度;所述图像获取单元的图像的采集频率与所述传送带的输送速度成正比关系。
优选的,所述中控单元包括信息接收模块和指令发送模块,所述信息接收模块用于接收所述图像处理单元识别的物体的特征信息,根据识别的物体的特征信息生成路径移动或抓取释放的控制指令,并通过所述指令发送模块发送控制指令给所述机械臂,所述机械臂接收到控制指令后进行对应的移动或抓取工作。
本发明的一个技术方案的有益效果:本申请通过将识别装置固定设置在传送带的侧边,对传送带上的物体进行精确采集,避免采集图像模糊,提高采集效率。
同时,传送带在运输物体时,机械臂通过识别装置跟踪采集物体图像信息,通过图像处理单元对物体图像信息进行处理获得物体的特征信息,将获得物体的特征信息与图像处理单元中存储的多个角度的模板图进行比对,如果获得物体的特征信息与多个角度的模板图的其中一个相匹配,则物体为目标对象,否则,物体为非目标对象。识别物体为目标对象后,图像处理单元将识别的物体的特征信息发送至中控单元,中控单元根据物体的特征信息判断传送带上物体的实际位置,并生成驱动机械臂移动和抓取的控制指令。在机械臂移动时,识别装置跟踪物体的位置,当物***置产生变化时,物***置变化情况会通过图像获取单元跟踪采集的一系列图像发送至图像处理单元,图像处理单元将代表物***置变化的特征信息发送至机械臂,机械臂会随之调整移动路径,避免物体移动后,机械臂无法准确抓取的情况发生,通过跟踪物体移动的方式,无需停止传送带。
本申请通过速度调节单元对传送带的输送速度进行调整,工作量少,调节方便,降低***处理工作的复杂性,能够避免传送带输送速度不均匀带来的影响,避免机械臂产生漏抓的情况,提高机械臂的抓取工作效率。
附图说明
图1是本发明一个实施例的结构示意图;
图2是本发明一个实施例***的连接示意图;
图3是本发明一个实施例***中控单元的连接示意图;
图4是本发明一个实施例***采集模块的连接示意图;
图5是本发明一个实施例***第一识别模块的连接示意图;
图6是本发明一个实施例***第二识别模块的连接示意图。
其中:机械臂1、中控单元11、信息接收模块111、指令发送模块112;
传送带2、速度调节单元21、增速调节模块211、减速调节模块212、称重模块213;
识别装置3、机架31、图像获取单元32、摄像头模块321、图像处理单元33、模板库模块331、识别处理模块332、追踪子模块3321、匹配子模块3322、存储模块333。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
参阅图1至图6所示,一种全角度的识别***,包括机械臂1、传送带2和识别装置3,所述传送带2和所述识别装置3均与所述机械臂1通讯连接;
所述识别装置3包括机架31、图像获取单元32和图像处理单元33,所述图像获取单元32和所述图像处理单元33均设置在所述机架31,所述图像获取单元32与所述传送带2的输送表面相对,所述图像获取单元32用于获取所述传送带2上的物体的图像信息,并将物体的图像信息发送至所述图像处理单元33;
所述图像处理单元33用于接收物体图像信息,并根据物体图像信息识别物体的特征信息,将识别的物体的特征信息与存储的多个角度的模板图进行比对,判断物体是否为目标对象,若是,则所述图像获取单元32跟踪并采集目标对象的图像信息,并将跟踪采集的图像信息发送至所述图像处理单元33,同时,所述图像处理单元33将识别的特征信息发送至所述机械臂1;
所述机械臂1包括中控单元11,所述中控单元11用于接收所述图像处理单元33发送的物体的特征信息并根据物体的特征信息生成控制指令,所述中控单元11根据控制指令驱动所述机械臂1进行移动和抓取工作;
所述传送带2包括速度调节单元21,所述速度调节单元21设置在所述传送带2且与所述传送带2电连接,所述图像获取单元32与所述速度调节单元21通讯连接,所述速度调节单元21用于在物体重量发生变化时或图像获取单元32的采集速度发生变化时,调节所述传送带2的输送速度。
码垛作业中,如果将具有图像采集功能的识别装置3设置在机械臂1上,机械臂1在移动过程中,可能会造成采集图像模糊或对位不准确等问题,无法实现图像的准确采集,影响图像的采集效率,本申请通过将识别装置3固定设置在传送带2的侧边,对传送带2上的物体进行精确采集,避免采集图像模糊,提高采集效率。
机械臂1在工作时,一般是通过预先烧录的程序对机械臂1进行控制,当机械臂1接收到抓取指令时,通过程序设置的参数移动至预设位置后,进行物体的抓取,这个控制过程不灵活,因为传送带2在输送时,因电压或电机运行或输送物体的重量不同等因素,会造成输送速度的波动,当传送带2出现速度波动时,机械臂1仍然以预设的参数进行运作,这样势必会造成抓取结果错误或出现漏抓等情况,影响了生产效率。
而现有技术一般是在机械臂1移动之前,停止传送带2的工作,使物体静止,方便机械臂1的抓取,但是,这种方式需要频繁的开启和关闭传送带2,不利于节省能耗,同时,还降低了机械臂1的抓取效率。
为解决上述问题,在本实施例中,传送带2在运输物体时,机械臂1通过识别装置3跟踪采集物体图像信息,通过图像处理单元33对物体图像信息进行处理获得物体的特征信息,将获得物体的特征信息与图像处理单元33中存储的多个角度的模板图进行比对,如果获得物体的特征信息与多个角度的模板图的其中一个相匹配,则物体为目标对象,否则,物体为非目标对象。识别物体为目标对象后,图像处理单元33将识别的物体的特征信息发送至中控单元11,中控单元11根据物体的特征信息判断传送带2上物体的实际位置,并生成驱动机械臂1移动和抓取的控制指令。在机械臂1移动时,识别装置3跟踪物体的位置,当物***置产生变化时,物***置变化情况会通过图像获取单元32跟踪采集的一系列图像发送至图像处理单元33,图像处理单元33将代表物***置变化的特征信息发送至机械臂1,机械臂1会随之调整移动路径,避免物体移动后,机械臂1无法准确抓取的情况发生,通过跟踪物体移动的方式,无需停止传送带2。
当输送不同的物体时,物体的重量产生变化,传送带2产生输送速度产生变化,识别装置3的图像采集效果会受到一定程度的影响,若是采用对识别装置3的图像采集速度进行调整的方式,则会存在工作量大,***的运算量大幅度增加等后续问题,不利于***的优化设计。因此,相对于图像采集速度的适应性调整,本申请通过对传送带2的输送速度进行调整,工作量少,调节方便,降低***处理工作的复杂性,通过速度调节单元21对传送带2的速度进行调整,能够避免传送带2输送速度不均匀带来的影响,避免机械臂1产生漏抓的情况,提高机械臂1的抓取工作效率。
具体地,所述图像获取单元32包括摄像头模块321,所述摄像头模块321以固定周期的对所述传送带2的图像进行采集;
当物体进入所述摄像头模块321的采集范围内,所述摄像头模块321采集存在物体的图像信息,并将存在物体的图像信息发送至所述图像处理单元33,所述图像处理单元33识别图像信息中的物体为目标对象时,所述图像处理单元33发送信号给所述摄像头模块321,所述摄像头模块321以周期t的频率对所述传送带2上的物体的图像信息进行跟踪采集,并将存在物体的图像信息发送至所述图像处理单元33;
当所述摄像头模块321的采集范围内没有物体时,所述摄像头模块321以周期T的频率对所述传送带2的图像进行采集,周期t的长度小于周期T的长度。
摄像头模块321采集信息时,如果使用连续不间断的采集图像模式,采集的数据内容较多,***需要对大量数据进行运算处理,会一直占用***内存,可能存在运行内存过载的情况,影响了***运算处理时间。
在本申请中,机架31设置在传送带2的侧边,摄像头模块321固定在机架31上,通过摄像头模块321以固定的周期T的频率对传送带2上的物体图像信息进行采集。周期T的设置间隔与传送带2的输送速度成反比,传送带2的输送速度越快时,周期T的间隔越短。周期T的间隔小于一个物体通过摄像头模块321的采集范围的时间,即保证在一个采集周期T内,只要有物体经过摄像头模块321的采集范围,摄像头模块321就能采集到存在物体的图像信息。实际工作时,为了防止采集的空窗期内,物体已经被输送到摄像头模块321的采集范围的末端,将周期T的间隔设置的较小,大约为一个物体通过摄像头模块321的采集范围的时间的1/3至1/2,保证了采集效率,避免漏采集的情况发生。
当摄像头模块321采集存在物体的图像信息被图像处理单元33确认为目标对象时,摄像头模块321以缩小的周期t对传送带2上的物体图像信息进行采集,周期t大约为物体的长度除以传送带2的输送速度的1/4至1/3之间,以缩短周期,提高采集频率的方式对物体的图像信息进行采集,达到跟踪物体的目的。本申请采用周期T进行初步的采集工作,在识别出目标对象后,采用周期t进行跟踪采集工作,均是通过固定的周期进行采集,降低了采集的数据复杂程度,保证了图像采集效果,还降低了***的处理运算负担。
优选的,所述图像处理单元33包括模板库模块331、识别处理模块332和存储模块333;
所述模板库模块331用于存储模板信息,所述模板信息包括多个角度的模板图;所述识别处理模块332用于提取图像信息中物体的特征信息,并与模板库模块331进行匹配,根据匹配结果识别图像信息是否为目标对象;所述存储模块333用于存储图像信息中物体的特征信息。
同时,所述模板信息包括360/n个模板图,n=1,2,3,…,n,n小于10,n为正整数;所述模板图对应各个模板中物体的不同摆放角度。
传送带2上的物体摆放时,可能存在一定的旋转角度,因此,在识别时,鉴于物体存在各种旋转角度的可能,因此,建立360/n个模板图作为模板库,n取值为大于0的正整数,根据实际输送物体的尺寸可适当调节n的取值。在本实施例中,对于一般物体,为了使模板图的数据库足够大,将n取值为1,因此对应物体存有360个模板图作为比较对象。对于模板图的制作,因后续匹配算法的需要,对每个模板图实际上进行了一次降采样,即就是第一次特征提取是原模板图像进行特征提取;第二次特征提取是针对的模板降采样的图像,即就是将模板图像在每个维度都缩小2倍。首先,获取一张目标训练图像,即模板;然后编程实现旋转单位为1度,即可得到360连续角度的模板,若旋转单位为2度,就是180个模板。不管是第一次还是第二次模板特征提取,都是编程算法实现的。提取360个模板特征,上位机运行时间大概需要2-3s。模板特征提取要设置阈值参数,用在模板图像量化算法和模板特征提取算法中。在程序设计上基本采用了opencv开源接口,不需要复杂的计算。
具体地,所述识别处理模块332包括追踪子模块3321和匹配子模块3322;所述追踪子模块3321使用One-Stage算法对图像信息进行识别框体提取,将所述传送带2上的物体以框体的方式展现;
所述匹配子模块3322用于对框体内的物体进行匹配识别,判断当前的图像信息中是否存在有目标零件,若存在有目标零件,则将目标零件所在的框体与模板库模块331中的模板图进行匹配,若匹配结果相符,则将当前的框体内的物体的特征信息存储至所述存储模块333。
所述匹配子模块3322包括梯度量化次级模块和提取次级模块;
所述梯度量化次级模块用于对采集的物体的图像信息进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化,获得图像信息对应的识别特征;
所述提取次级模块用于以当前角度为表列获取识别特征,并保存至所述存储模块333。
梯度量化次级模块的实现梯度量化的过程为四步骤:
1、首先做内核大小为7高斯模糊;
2、通过sobel计算梯度,对于三通道图像,由X和Y方向的梯度求平方和的非最大抑制算法提取出单通道梯度幅值最大值图像矩阵;
3、由X和Y方向的梯度图像矩阵得到角度图像矩阵;
4、角度图像矩阵范围0-360度量化成0-15的整数,再继续对7取余数进行8个方向量化,取幅度图像矩阵中大于阈值的像素,然后取该像素领域3*3对应的量化图像矩阵,构成直方图,取领域多于5个相同方向,并赋值给对应方向,最后对索引进行00000001~10000000的移位编码。
其中所述梯度幅值最大值图像矩阵计算公式如下:
Figure BDA0003612424940000121
Figure BDA0003612424940000122
其中x代表位置,
Figure BDA0003612424940000123
为x位置梯度值,{R,G,B}为三色通道,R通道、G通道、B通道,ori()为梯度方向。
在进行完梯度量化后,模板图中的识别特征在像素点数值上与其他像素点有明显的区别,为此,本申请中对于识别特征的过程如下:梯度幅值最大值图像矩阵进行遍历,找出在梯度幅值最大值图像矩阵中各个领域存在最大梯度幅值的像素点,若在领域中找出最大梯度幅值的像素点,则将领域中除去最大梯度幅值的像素点以外像素值点的梯度幅值设置为零;
判断所有领域中最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值,若是,则将该像素点标记为识别特征;
获取所有识别特征的数量,判断所有识别特征的数量是否大于数量阈值,若是,则将所有识别特征加入到特征合集中并保存至所述配置文件;若否,则判断识别特征在距离阈值的范围内是否存在至少另一识别特征,若存在,则对该识别特征以及距离阈值内的识别特征进行剔除,若不存在,则将该识别特征保存至所述存储模块。
在存储模块内的识别特征会以角度作为每一组存储识别特征的分组。在匹配模块识别的过程中,会调用所述存储模块内的识别特征,以每一组的识别特征与所述第一图片上的框体进行识别匹配。在本申请中会通过相似度的计算方式来计算第一图片中是否存在有的运输零件,
其中在本申请的相似度计算公式如下:
Figure BDA0003612424940000131
其中,L为第一图像中的框体,T表示模板图,c是模板图在输入的识别特征的位置,P代表的是以c为中心的领域,r为偏移位置,Sori()表示梯度幅值;
分别对360个模板图中的识别特征进行相似度计算后,得到360个相似度得分,找出360个相似度得分最大的数值,并判断该数值是否大于阈值,若大于阈值,则说明该输入框体中的内容为运输零件,反之则说明,所述框体内的内容为目标零件。
优选的,所述速度调节单元21包括增速调节模块211和减速调节模块212,所述增速调节模块211设置在所述传送带2,所述增速调节模块211与所述传送带2的驱动端电连接;所述增速调节模块211用于在输送物体重量增大时,增加所述传送带2的驱动端的功率,提高所述传送带2的输送速度;
所述减速调节模块212设置在所述传送带2,所述减速调节模块212与所述传送带2的驱动端电连接,所述减速调节模块212用于在输送物体重量减小时,对所述传送带2的驱动端进行制动减速,从而降低输送速度。
由于传送带2的输送功率是固定的,当输送物体重量增大时,传送带2的输送速度会降低,此时,识别装置3或机械臂1均以程序预设的参数信息进行工作,识别装置3以固定的周期进行采集图像信息,机械臂1以固定的移动速度移动至传送带2预定位置,会造成识别装置3识别的图像信息位置发生错位,缺少调整的情况下,图像信息中可能只采集了部分物体,而机械臂1移动到位时,物体由于速度降低还没有到达预定位置,则会造成机械臂1无法抓取物体的情况。
当输送物体重量增大时,为了保持传送带2的输送速度恒定,由P=F*V,其中P为传送带2的额定功率,F为物体与传送带2之间的摩擦力,V为传送带2的输送速度,而物体与传送带2之间的摩擦力受物体本身重量影响,物体本身重量越大,物体与传送带2之间的摩擦力F越大,因此,物体的重量与传送带2的功率为正比的关系。为了保持传送带2的输送速度不变,当物体的重量增大时,需要相应地提高传送带2的功率,通过增速调节模块211提高传送带2的驱动端的功率,从而提高传送带2的输送速度,避免物体质量增大而降低传送带2的输送速度,从而避免机械臂1移动到位后无法及时抓取到物体的情况发生。
当输送物体重量减小时,传送带2的输送速度会增加,在缺少调整的情况下,同样会存在识别装置3无法采集到完整的图像信息,机械臂1无法及时到达预定位置,造成无法抓取的情况。当输送物体重量减小时,由P=F*V,其中P为传送带2的额定功率,F为物体与传送带2之间的摩擦力,V为传送带2的输送速度,得知,物体的重量与传送带2的功率为正比的关系。为了保持传送带2的输送速度不变,当物体的重量减小时,需要相应地减小传送带2的功率,通过减速调节模块212对传送带2的驱动端进行制动,从而降低传送带2的输出功率,避免物体质量减小而提高传送带2的输送速度,从而避免机械臂1移动到位后无法及时抓取到物体的情况发生。
本申请中,所述速度调节单元21还包括称重模块213,所述称重模块213与所述增速调节模块211和减速调节模块212电连接,所述称重模块213用于感应物体的重量。
为了较为准确地判断物体重量的变化,在传送带2设置了称重模块213,通过称重模块213感应物体的重量,当物体的重量发生变化时,称重模块213发出对应的信号至增速调节模块211或减速调节模块212,增速调节模块211和减速调节模块212对应调节传送带2的输出功率。为了简化设计,本申请中,将称重模块213设置在所述传送带2的输送前端的一侧,输送的物体经过称重模块213进行测量后进入传送带2进行输送。
具体地,所述图像获取单元32与所述速度调节单元21通讯连接,所述图像获取单元32将图像的采集频率发送至所述速度调节单元21,所述速度调节单元21根据图像的采集频率调节所述传送带2的输送速度;所述图像获取单元32的图像的采集频率与所述传送带2的输送速度成正比关系。
本申请通过图像获取单元32的图像采集频率为:f=1/图像获取单元32的采集周期,图像获取单元32的采集周期由图像获取单元32决定,在本实施例中,物体进入图像获取单元32的采集范围和物体不在采集范围内,图像获取单元32的采集周期不同,在采集周期tt<T内,速度调节单元21调节传送带2的输送速度较快,在采集周期TT>t内,速度调节单元21调节传送带2的输送速度较慢。
优选的,所述中控单元11包括信息接收模块111和指令发送模块112,所述信息接收模块111用于接收所述图像处理单元33识别的物体的特征信息,根据识别的物体的特征信息生成路径移动或抓取释放的控制指令,并通过所述指令发送模块112发送控制指令给所述机械臂1,所述机械臂1接收到控制指令后进行对应的移动或抓取工作。
当接收物体的特征信息中,能够识别出物体的框体时,中控单元11根据识别的框体相对于采集的图像中的位置,转化成对应的物体坐标系,以图片的左下角为原点作为例子,以图像的宽度方向为x轴,图像的高度方向为y轴,图像中物体的框体会沿x轴和y轴方向占据一定的面积,以该面积的最大宽度和最大高度作为物体的轮廓进行转换,将轮廓所在的坐标集合转化为机械臂1的移动和抓取目标并生成驱动机械臂1移动和抓取的指令,机械臂1根据移动和抓取的指令进行工作。
当接收垛堆信息中,识别出垛堆的框体时,中控单元11根据识别的框体相对于采集的图像中的位置,转化成对应的垛堆坐标系,以图片的左下角为原点作为例子,以图像的宽度方向为x轴,图像的高度方向为y轴,图像中垛堆的框体会沿x轴和y轴方向占据一定的面积,当垛堆的框体的x轴方向的两个坐标值的最大差值超出预设数值时,中控单元11判断此时该层数的垛堆存在较大的位置偏差,停止机械臂1的码垛工作,并发出警报通知工作人员。
机械臂1的移动轨迹指的是机械臂1在移动过程中,机械手臂主体结构的移动轨迹,具体包括机械手臂的上下左右前后移动;抓取动作指的是机械臂1的末端在夹取物品时的动作,具体包括机械臂1末端的收合和打开动作,分别实现抓取物品和释放物品。
在本说明书的描述中,参考术语“实施例”、“示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理,而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释,本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式,这些方式都将落入本发明的保护范围之内。

Claims (9)

1.一种全角度的识别***,其特征在于,包括机械臂、传送带和识别装置,所述传送带和所述识别装置均与所述机械臂通讯连接;
所述识别装置包括机架、图像获取单元和图像处理单元,所述图像获取单元和所述图像处理单元均设置在所述机架,所述图像获取单元与所述传送带的输送表面相对,所述图像获取单元用于获取所述传送带上的物体的图像信息,并将物体的图像信息发送至所述图像处理单元;
所述图像处理单元用于接收物体图像信息,并根据物体图像信息识别物体的特征信息,将识别的物体的特征信息与存储的多个角度的模板图进行比对,判断物体是否为目标对象,若是,则所述图像获取单元跟踪并采集目标对象的图像信息,并将跟踪采集的图像信息发送至所述图像处理单元,同时,所述图像处理单元将识别的特征信息发送至所述机械臂;
所述机械臂包括中控单元,所述中控单元用于接收所述图像处理单元发送的物体的特征信息并根据物体的特征信息生成控制指令,所述中控单元根据控制指令驱动所述机械臂进行移动和抓取工作;
所述传送带包括速度调节单元,所述速度调节单元设置在所述传送带且与所述传送带电连接,所述图像获取单元与所述速度调节单元通讯连接,所述速度调节单元用于在物体重量发生变化时或图像获取单元的采集速度发生变化时,调节所述传送带的输送速度。
2.根据权利要求1所述的一种全角度的识别***,其特征在于,所述图像获取单元包括摄像头模块,所述摄像头模块以固定周期的对所述传送带的图像进行采集;
当物体进入所述摄像头模块的采集范围内,所述摄像头模块采集存在物体的图像信息,并将存在物体的图像信息发送至所述图像处理单元,所述图像处理单元识别图像信息中的物体为目标对象时,所述图像处理单元发送信号给所述摄像头模块,所述摄像头模块以周期t的频率对所述传送带上的物体的图像信息进行跟踪采集,并将存在物体的图像信息发送至所述图像处理单元;
当所述摄像头模块的采集范围内没有物体时,所述摄像头模块以周期T的频率对所述传送带的图像进行采集,周期t的长度小于周期T的长度。
3.根据权利要求2所述的一种全角度的识别***,其特征在于,所述图像处理单元包括模板库模块、识别处理模块和存储模块;
所述模板库模块用于存储模板信息,所述模板信息包括多个角度的模板图;所述识别处理模块用于提取图像信息中物体的特征信息,并与模板库模块进行匹配,根据匹配结果识别图像信息是否为目标对象;所述存储模块用于存储图像信息中物体的特征信息。
4.根据权利要求3所述的一种全角度的识别***,其特征在于,所述模板信息包括360/n个模板图,n=1,2,3,…,n,n小于10,n为正整数;所述模板图对应各个模板中物体的不同摆放角度。
5.根据权利要求3所述的一种全角度的识别***,其特征在于,所述识别处理模块包括追踪子模块和匹配子模块;所述追踪子模块使用One-Stage算法对图像信息进行识别框体提取,将所述传送带上的物体以框体的方式展现;
所述匹配子模块用于对框体内的物体进行匹配识别,判断当前的图像信息中是否存在有目标零件,若存在有目标零件,则将目标零件所在的框体与模板库模块中的模板图进行匹配,若匹配结果相符,则将当前的框体内的物体的特征信息存储至所述存储模块。
6.根据权利要求1所述的一种全角度的识别***,其特征在于,所述速度调节单元包括增速调节模块和减速调节模块,所述增速调节模块设置在所述传送带,所述增速调节模块与所述传送带的驱动端电连接;所述增速调节模块用于在输送物体重量增大时,增加所述传送带的驱动端的功率,提高所述传送带的输送速度;
所述减速调节模块设置在所述传送带,所述减速调节模块与所述传送带的驱动端电连接,所述减速调节模块用于在输送物体重量减小时,对所述传送带的驱动端进行制动减速,从而降低输送速度。
7.根据权利要求6所述的一种全角度的识别***,其特征在于,所述速度调节单元还包括称重模块,所述称重模块与所述增速调节模块和减速调节模块电连接,所述称重模块用于感应物体的重量。
8.根据权利要求2或6所述的一种全角度的识别***,其特征在于,所述图像获取单元将图像的采集频率发送至所述速度调节单元,所述速度调节单元根据图像的采集频率调节所述传送带的输送速度;所述图像获取单元的图像的采集频率与所述传送带的输送速度成正比关系。
9.根据权利要求1所述的一种全角度的识别***,其特征在于,所述中控单元包括信息接收模块和指令发送模块,所述信息接收模块用于接收所述图像处理单元识别的物体的特征信息,根据识别的物体的特征信息生成路径移动或抓取释放的控制指令,并通过所述指令发送模块发送控制指令给所述机械臂,所述机械臂接收到控制指令后进行对应的移动或抓取工作。
CN202210434443.6A 2022-04-24 2022-04-24 一种全角度的识别*** Pending CN114751206A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210434443.6A CN114751206A (zh) 2022-04-24 2022-04-24 一种全角度的识别***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210434443.6A CN114751206A (zh) 2022-04-24 2022-04-24 一种全角度的识别***

Publications (1)

Publication Number Publication Date
CN114751206A true CN114751206A (zh) 2022-07-15

Family

ID=82332426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210434443.6A Pending CN114751206A (zh) 2022-04-24 2022-04-24 一种全角度的识别***

Country Status (1)

Country Link
CN (1) CN114751206A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114792307A (zh) * 2022-04-24 2022-07-26 广东天太机器人有限公司 一种包含工业机器人的生产***及方法
CN116216237A (zh) * 2023-03-31 2023-06-06 江苏阿代尔新材料科技有限公司 一种用于生产再生纤维的聚酯切片输送***

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09315559A (ja) * 1996-05-30 1997-12-09 Murata Mach Ltd コンベアシステムにおける物品合流装置
CN103502121A (zh) * 2011-02-15 2014-01-08 得利捷Ip科技有限公司 一种用于图像采集的方法
CN104568087A (zh) * 2015-01-06 2015-04-29 莱芜钢铁集团电子有限公司 一种物料控制***
DE102013020135A1 (de) * 2013-12-06 2015-06-11 Daimler Ag Verfahren zurn Betreiben einer Produktionsanlage
CN205485656U (zh) * 2016-04-01 2016-08-17 常州机电职业技术学院 一种闭环自动调速控制***
CN106671083A (zh) * 2016-12-03 2017-05-17 安徽松科智能装备有限公司 一种基于机器视觉检测的装配机器人***
CN107499863A (zh) * 2017-09-14 2017-12-22 陆秀尧 自适应动态平衡输送机
CN108355979A (zh) * 2018-01-31 2018-08-03 塞伯睿机器人技术(长沙)有限公司 传送带上目标追踪分拣***
CN110480630A (zh) * 2019-07-16 2019-11-22 绍兴文理学院 一种工业机器人的自适应目标定位***及方法
KR102218894B1 (ko) * 2019-08-21 2021-02-23 한국생산기술연구원 중복인식 물체를 처리하는 컨베이어 벨트 영상 처리장치 및 방법
CN112919050A (zh) * 2021-02-04 2021-06-08 华润电力技术研究院有限公司 输送皮带监控方法、装置、设备及计算机可读存储介质
CN114101095A (zh) * 2020-08-27 2022-03-01 合肥美亚光电技术股份有限公司 分选设备的控制方法及分选设备
CN114226257A (zh) * 2021-12-14 2022-03-25 创新奇智(上海)科技有限公司 一种包裹分离方法、装置、电子设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09315559A (ja) * 1996-05-30 1997-12-09 Murata Mach Ltd コンベアシステムにおける物品合流装置
CN103502121A (zh) * 2011-02-15 2014-01-08 得利捷Ip科技有限公司 一种用于图像采集的方法
DE102013020135A1 (de) * 2013-12-06 2015-06-11 Daimler Ag Verfahren zurn Betreiben einer Produktionsanlage
CN104568087A (zh) * 2015-01-06 2015-04-29 莱芜钢铁集团电子有限公司 一种物料控制***
CN205485656U (zh) * 2016-04-01 2016-08-17 常州机电职业技术学院 一种闭环自动调速控制***
CN106671083A (zh) * 2016-12-03 2017-05-17 安徽松科智能装备有限公司 一种基于机器视觉检测的装配机器人***
CN107499863A (zh) * 2017-09-14 2017-12-22 陆秀尧 自适应动态平衡输送机
CN108355979A (zh) * 2018-01-31 2018-08-03 塞伯睿机器人技术(长沙)有限公司 传送带上目标追踪分拣***
CN110480630A (zh) * 2019-07-16 2019-11-22 绍兴文理学院 一种工业机器人的自适应目标定位***及方法
KR102218894B1 (ko) * 2019-08-21 2021-02-23 한국생산기술연구원 중복인식 물체를 처리하는 컨베이어 벨트 영상 처리장치 및 방법
CN114101095A (zh) * 2020-08-27 2022-03-01 合肥美亚光电技术股份有限公司 分选设备的控制方法及分选设备
CN112919050A (zh) * 2021-02-04 2021-06-08 华润电力技术研究院有限公司 输送皮带监控方法、装置、设备及计算机可读存储介质
CN114226257A (zh) * 2021-12-14 2022-03-25 创新奇智(上海)科技有限公司 一种包裹分离方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114792307A (zh) * 2022-04-24 2022-07-26 广东天太机器人有限公司 一种包含工业机器人的生产***及方法
CN114792307B (zh) * 2022-04-24 2022-11-18 广东天太机器人有限公司 一种包含工业机器人的生产***及方法
CN116216237A (zh) * 2023-03-31 2023-06-06 江苏阿代尔新材料科技有限公司 一种用于生产再生纤维的聚酯切片输送***
CN116216237B (zh) * 2023-03-31 2024-04-19 江苏阿代尔新材料科技有限公司 一种用于生产再生纤维的聚酯切片输送***

Similar Documents

Publication Publication Date Title
CN114751206A (zh) 一种全角度的识别***
Mi et al. A fast automated vision system for container corner casting recognition
CN112047113B (zh) 一种基于人工智能技术的3d视觉码垛***及方法
US9707682B1 (en) Methods and systems for recognizing machine-readable information on three-dimensional objects
CN114751153B (zh) 一种全角度的多模板码垛***
CN106000904A (zh) 一种生活垃圾自动分拣***
EP3960692A1 (en) Intelligent forklift and container position and posture deviation detection method
WO2021017233A1 (zh) 一种使用平面检测的自动分拣的方法
CN109513629B (zh) 包裹分拣方法、装置和计算机可读存储介质
US10807808B1 (en) Systems and methods for automated item separation and presentation
CN113103215B (zh) 一种机器人视觉飞拍的运动控制方法
CN112079078B (zh) 一种基于双目视觉的机器人全自动无序上料***
CN111483803B (zh) 控制方法、抓取***和存储介质
CN116494227A (zh) 一种多形态机器人的控制***
CN114453258A (zh) 包裹分拣***、包裹分拣方法、工控设备及存储介质
CN110143447A (zh) 锌锭垛自动下线转运加固方法
CN110919648A (zh) 一种基于树莓派的自动拾料堆叠装置及拾料堆叠方法
CN207877123U (zh) 一种用于集装箱叠放对齐微小偏差调整的***
CN112591373B (zh) 带有具有不同辊横截面轮廓的辊的分离传送机***
CN110143417A (zh) 锌锭垛自动下线装车控制***
CN115049860B (zh) 一种基于特征点识别的***及抓取方法
CN114750155B (zh) 一种基于工业机器人的物件分类控制***及方法
Faibish et al. An eye-hand system for automated paper recycling
CN115346174A (zh) 一种基于人工智能的无人小车目标跟踪方法
KR20220072926A (ko) 소포구분기 인입 제어 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220715