CN106624709A - 基于双目视觉的装配***及装配方法 - Google Patents

基于双目视觉的装配***及装配方法 Download PDF

Info

Publication number
CN106624709A
CN106624709A CN201611241409.8A CN201611241409A CN106624709A CN 106624709 A CN106624709 A CN 106624709A CN 201611241409 A CN201611241409 A CN 201611241409A CN 106624709 A CN106624709 A CN 106624709A
Authority
CN
China
Prior art keywords
posture information
assembly
accessory
interfacing part
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611241409.8A
Other languages
English (en)
Other versions
CN106624709B (zh
Inventor
腾承武
王健
吴天文
刘漫贤
丁丁
沈康
薛大钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu So Fine Communication Co ltd
Original Assignee
Nanjing Tianxiang Intelligent Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tianxiang Intelligent Equipment Co Ltd filed Critical Nanjing Tianxiang Intelligent Equipment Co Ltd
Priority to CN201611241409.8A priority Critical patent/CN106624709B/zh
Publication of CN106624709A publication Critical patent/CN106624709A/zh
Application granted granted Critical
Publication of CN106624709B publication Critical patent/CN106624709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23PMETAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及测量装置技术领域,具体涉及一种基于双目视觉的装配***及装配方法。本发明旨在解决狭小空间无法利用视觉三维测量技术进行测量的问题以及在需要测量多个位姿的情况下测量步骤繁琐的问题。该装配***包括采集部,其用于同步采集待装配件的第一位姿信息以及对接件的第二位姿信息;数据处理单元,其用于基于第一位姿信息和第二位姿信息,计算出待装配件与对接件之间的结果位姿信息;执行机构,其用于基于结果位姿信息,将待装配件安装至对接件。数据处理单元通过基于采集部同步采集第一位姿信息和第二位姿信息计算结果信息,执行机构可以基于结果信息高效的完成待装配件与对接件的高精度装配。

Description

基于双目视觉的装配***及装配方法
技术领域
本发明涉及测量装置技术领域,具体涉及一种基于双目视觉的装配***及装配方法。
背景技术
工业生产中,机器视觉的应用是实现精准定位、检测的有效途径。其中,视觉三维测量技术替代人工视觉检测可以很大程度提高装配效率和装配精度、减少因为人工误差造成的重复工作。具体来说,视觉三维测量技术利用测量装置对待装配件或对接件的位姿进行测量,根据测量结果计算出装配执行机构(如机械臂)的运动轨迹并将计算结果输出给装配执行机构,装配执行机构按照计算出来的运动轨迹完成待装配件与对接件的精密装配。
然而,视觉三维测量技术的应用仍然受到如下几方面的制约。一方面,视觉三维测量技术无法应用于装配空间狭小、测量困难的场合,这种场合仍依靠人工目测的方式进行装配,不仅耗时长、操作困难,而且效率低下。另一方面,在待装配件与对接件的位姿都需要测量的场合,测量装置由于需要采集的位姿信息过多而进行多次移动或翻转,使得测量步骤和计算步骤变得复杂,无法简单快捷的直接测量出最终结果。
相应地,本领域需要一种新的可以同步测量位姿信息的装配***以及装配方法来解决上述问题。
发明内容
为了解决现有技术中的上述问题,即为了解决狭小空间无法利用视觉三维测量技术进行测量以及在需要采集多个位姿信息的情况下测量步骤繁琐的问题,本发明提供了一种基于双目视觉的装配***,用于将待装配件匹配安装至对接件,该装配***包括:采集部,其用于同步采集所述待装配件的第一位姿信息以及所述对接件的第二位姿信息;数据处理单元,其用于基于所述第一位姿信息和所述第二位姿信息,计算出所述待装配件与所述对接件之间的结果位姿信息;执行机构,其用于基于所述结果位姿信息,将所述待装配件安装至所述对接件。
在上述装配***的优选技术方案中,所述采集部包括壳体以及设置于该壳体内部的第一采集单元和第二采集单元,其中,所述第一采集单元能够采集所述待装配件的第一位姿信息或所述对接件的第二位姿信息;相应地,所述第二采集单元能够采集所述待装配件的第二位姿信息或所述对接件的第一位姿信息。
在上述装配***的优选技术方案中,所述壳体包括第一壳体和第二壳体,所述第一壳体上设置有所述第一采集单元,所述第二壳体上设置有第二采集单元,并且在安装好的状态下,所述第一采集单元与所述第二采集单元与所述壳体之间无相对运动。
在上述装配***的优选技术方案中,所述第一采集单元为沿第一方向设置的第一双目相机,所述第二采集单元为沿第二方向设置的第二双目相机,并且所述第一方向与所述第二方向之间具有夹角。
在上述装配***的优选技术方案中,所述第一壳体上开设有与所述第二双目相机的镜头对应的第二镜头孔,所述第二壳体上开设有与所述第一双目相机的镜头对应的第一镜头孔,并且在安装好的状态下,所述第一双目相机的镜头与所述第二双目相机的镜头能够分别容纳于所述第一镜头孔与所述第二镜头孔,该容纳能够允许所述采集部获得所述第一位姿信息和所述第二位姿信息。
在上述装配***的优选技术方案中,所述待装配件上设置有若干个第一装配特征,所述对接件上设置有与所述若干个第一装配特征对应的若干个第二装配特征,并且所述第一双目相机能够采集所述若干个第一装配特征中的至少一个第一装配特征的第一位姿信息,或者所述若干个第二装配特征中的至少一个第二装配特征的第二位姿信息;对应地,所述第二双目相机能够采集所述若干个第二装配特征中的至少一个第二装配特征的第二位姿信息,或者所述若干个第一装配特征中的至少一个第一装配特征的第一位姿信息。
在上述装配***的优选技术方案中,所述采集部还包括辅助定位装置,其用于确定所述采集部相对于所述待装配件和所述对接件的方位。
本发明还提供了一种基于双目视觉的装配方法,用于将待装配件匹配安装至对接件,该装配方法包括:
同步采集所述待装配件的第一位姿信息以及所述对接件的第二位姿信息;
基于所述第一位姿信息和所述第二位姿信息,计算出所述待装配件与所述对接件之间的结果位姿信息;
基于所述结果位姿信息,将所述待装配件安装至所述对接件。
在上述基于双目视觉的装配方法的优选技术方案中,所述的“同步采集所述待装配件的第一位姿信息以及所述对接件的第二位姿信息”进一步包括:
在所述第一采集单元采集所述第一位姿信息或者所述第二位姿信息的情形下,对应地,所述第二采集单元采集所述第二位姿信息或者所述第一位姿信息。
在上述基于双目视觉的装配方法的优选技术方案中,所述的“同步采集所述待装配件的第一位姿信息以及所述对接件的第二位姿信息”进一步包括:
在所述采集部处于至少一个方位的情形下,采集所述第一位姿信息和所述第二位姿信息;
在所述采集部处于每个方位的情形下,采集若干组第一位姿信息和所述第二位姿信息。
本领域技术人员能够理解的是,在本发明的优选技术方案中,基于双目视觉的装配***包括采集部、数据处理单元以及执行机构。采集部包括壳体以及设置于该壳体内部的第一采集单元和第二采集单元,第一采集单元和第二采集单元能够同步采集待装配件的第一位姿信息和对接件的第二位姿信息。此外,本发明还提供了一种基于双目视觉的装配方法,该方法通过采集待装配件的第一位姿信息和连接件的第二位姿信息,并基于第一位姿信息和第二位姿信息计算出结果位姿信息的方式,可以辅助执行机构快速准确的将待装配件匹配安装至对接件。通过基于双目视觉的装配***及装配方法,不仅可以同时测量待装配件和对接件的位姿信息,尤其提高狭窄空间的装配效率和装配精度,而且采集部的结构小巧,使用简单,稳定性高。
附图说明
图1是本发明的基于双目视觉的装配***的同步测量过程示意图;
图2是本发明的基于双目视觉的装配***的采集部的结构示意图;
图3是本发明的一种可能的实施方式中,基于双目视觉的装配***的同步装配方法的流程图;
图4是本发明的基于双目视觉的装配***的采集部的标定示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。例如,虽然附图中的第一双目相机和第二双目相机是相同型号的相机,但是第一双目相机和第二双目相机的型号非一成不变,本领域技术人员可以根据需要对其作出调整,以便适应具体的应用场合。
需要说明的是,在本发明的描述中,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
此外,还需要说明的是,在本发明的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可根据具体情况理解上述术语在本发明中的具体含义。
本发明的目的在于,解决狭小空间无法利用视觉三维测量技术进行测量的问题,以及在需要采集多个位姿信息的情况下采集步骤繁琐的问题。
如图1和图2所示,为实现上述目的,本发明提供了一种基于双目视觉的装配***,该装配***主要包括采集部1、数据处理单元以及执行机构2,主要用于将待装配件3匹配安装至对接件4。其中,采集部1主要用于同步采集待装配件3的第一位姿信息以及对接件4的第二位姿信息;数据处理单元主要用于基于第一位姿信息和第二位姿信息,计算出待装配件3与对接件4之间的结果位姿信息;执行机构2主要用于基于结果位姿信息,将待装配件3安装至对接件4。
如图2所示,采集部1主要包括壳体以及设置于壳体内部的第一采集单元和第二采集单元。其中,壳体又包括第一壳体11与第二壳体12。优选地,第一采集单元设置于第一壳体11上,第二采集单元设置于第二壳体12上,第一采集单元可以采集待装配件3的第一位姿信息或对接件4的第二位姿信息。相应地,第二采集单元可以与第一采集单元同步采集对接件4的第二位姿信息或待装配件3的第一位姿信息。并且在安装好的状态下,第一采集单元与第二采集单元分别相对于第一壳体11与第二壳体12无相对运动。优选地,第一采集单元可以采集待装配件3的第一位姿信息,第二采集单元可以采集对接件4的第二位姿信息。当然,本领域技术人员可以想到的是,这种对应关系并非一成不变,可以根据具体使用环境和使用条件进行调整,如使用第一采集单元采集对接件4的第二位姿信息,而使用第二采集单元采集待装配件3的第一位姿信息。
继续参照图2,第一采集单元可以是沿第一方向设置于第一壳体11内部的第一双目相机13,第二采集单元可以是沿第二方向设置于第二壳体12内部的第二双目相机14,并且第一方向与第二方向之间具有夹角。需要说明的是,第一方向可以是竖直方向,第二方向可以是水平方向,他们之间的夹角可以是90°。按照图2所示方位,即沿竖直方向设置的第一双目相机13与沿水平方向设置的第二双目相机14呈垂直交叉的方式设置在壳体内部。
进一步参照图2,第一壳体11设置有与第二双目相机14对应的第二镜头孔111,第二壳体12设置有与第一双目相机13对应的第一镜头孔121,第一双目相机13的镜头可以容纳于对应的第一镜头孔121中,第二双目相机14的镜头则可以容纳于对应的第二镜头孔111中,并且该容纳可以使采集部1获得第一位姿信息和第二位姿信息。优选地,第一双目相机13和第二双目相机14可以选用同样型号的双目相机,并且第一双目相机13和第二双目相机14可以采用背对背的设置形式,即第一双目相机13与第二双目相机14的安装方向恰好相反。这样的设置方式优势在于,采集部1可以同步测量两个方向上的位姿信息,并且最大限度的压缩第一双目相机13与第二双目相机14的安装空间,使采集部1的结构小巧紧凑,以便适用于狭窄空间的测量与装配。当然,本领域技术人员可以想到的是,第一双目相机13与第二双目相机14也可以根据装配件的不同而选择不同型号的相机或镜头,如根据距离的不同,在距离过近时选择含有短焦、低畸变的镜头等。
需要说明的是,在本优选的实施方式中,第一位姿信息可以是第一双目相机3所拍摄的图像,第二位姿信息可以是第二双目相机14所拍摄的图像。结果位姿信息可以是基于对上述第一位姿信息和第二位姿信息进行分析处理后得到的相对位姿关系,如齐次变换矩阵等。
进一步参照图1,待装配件3上还设置有若干个第一装配特征31(如两个轮廓大致为矩形的凸起),对接件4上设置有可以与若干个第一装配特征31对应的若干个第二装配特征41(如与前述凸起对应的凹槽),通过第一装配特征31与第二装配特征41配合连接(如凸起与凹槽的插合连接),可以完成待装配件3与对接件4的装配。按照图1所示方位,第一双目相机13可以用于采集至少一个第一装配特征31的第一位姿信息,第二双目相机14可以用于采集至少一个第二装配特征41的第二位姿信息。此时,第一位姿信息可以是第一双目相机13获取的含有第一装配特征31的特征点的图像,第二位姿信息可以是第二双目相机14获取的含有第二装配特征41的特征点的图像。需要说明的是,特征点是双目相机从获取的图像中提取出来的若干个特殊点,如特征点可以是装配特征的外缘交点,举例而言,特征点可以是第一装配特征31的矩形凸起的各边所形成的交点,也可以是第二装配特征41的矩形凹槽的槽底各边所形成的交点等。优选地,在本实施方式中,特征点的个数为四个,即矩形凹槽的槽底各边所形成的四个交点。当然,特征点的个数可以随装配特征的形状的改变而变化,如当第一装配特征31为截面为三角形的凸起时,特征点的个数可以为三个。
如图2所示,本发明的采集部1还可以包括辅助定位装置15,该装置可以用于确定采集部1相对于待装配件3和对接件4的方位。进一步地,辅助定位装置15包括陀螺仪和加速度计。其中,陀螺仪用于校正双目相机在获取图像时因为方位不同而造成的装配特征在图像中的坐标轴变化,如通过对陀螺仪采集的角速度进行积分得出的角度变化量,定义图像中装配特征的坐标系,计算采集部1的旋转角度并判断采集部1是否翻转,并且在翻转或旋转的情况下保证定义的坐标系不变。加速度计用于在待装配件3上含有若干个时第一装配特征31以及对接件4上含有若干个第二装配特征41时,判断双目相机获取的图像中的装配特征与若干装配特征的对应关系,如通过对加速度计采集的数据进行二次积分计算出采集部1位移变化,判断图像中的装配特征所在位置,从而调用不同的坐标转换程序计算当前装配特征的位姿关系。优选地,辅助定位装置15可以设置在第二壳体12上,当然,本领域技术人员可以想到的是,辅助定位装置15的设置位置并非固定不变,也可以设置在第一壳体11上。
如前所述,基于双目视觉的装配***主要包括第一壳体11和第二壳体12,第一壳体11上设置有第一双目相机13,第二壳体12上设置有第二双目相机14,并且第一双目相机13与第二双目相机14采用背对背的方式垂直交叉设置,该设置方式可以使得采集部1同步采集位于采集部1两侧的第一装配特征31的第一位姿信息和第二装配特征41的第二位姿信息。采集部1上还设置有可以辅助采集部1进行定位的陀螺仪和加速度计。并且,由于第一双目相机13与第二双目相机14采用背对背的、十字交叉的方式设置,这样的设置方式能够最大限度的压缩双目相机的安装空间,使得装置小巧紧凑,更适用于狭窄空间的位姿信息测量。
如图3所示,本发明的还提供了一种基于双目视觉的装配***的装配方法,该装配方法主要包括如下步骤:
S100、将采集部1置于初始位置,并对采集部1进行初始化。如初始位置可以是执行机构2的零点位置,初始化可以是在执行机构2的零点位置对第一双目相机13和第二双目相机14进行数据的清零等操作。
S200、移动采集部1至待装配件3与对接件4之间,同步采集待装配件3的第一位姿信息以及对接件4的第二位姿信息。如人工移动采集部1至待装配件3与对接件4之间,第一双目相机13采集待装配件3的第一位姿信息,同时第二双目相机14采集对接件4的第二位姿信息。
S300、数据运算单元基于第一位姿信息和第二位姿信息,计算出待装配件3与对接件4之间的结果位姿信息。如在同一基准的基础上,计算出待装配件3与对接件4之间的位姿关系。
S400、基于该结果位姿信息,执行机构2将待装配件3安装至对接件4。也就是说,在待装配件3与对接件4之间的位置关系可以确定的情形下,数据处理单元通过向执行机构2发送相应的指令,进而使待装配件3的第一装配特征31可靠地匹配至对接件4的第二装配特征41。
需要说明的是,在本优选的实施方式中,为方便说明,可以定义如下坐标系:基于陀螺仪的坐标系为惯性坐标系。基于双目相机的坐标系为相机坐标系,以及基于执行机构2零点的坐标系为世界坐标系。
为了获得准确的测量数据,在步骤S100之前,需要对第一双目相机13和第二双目相机14进行标定,获取第一双目相机13和第二双目相机14之间的相对位姿关系。获得相对位姿关系可以采用如下方法:
如图4所示,选用两块相同的标定板5并以水平对称的方式排布,并且垂直于两块标定板5的中心点的轴线共线,采集部1放置于两标定板5之间的轴线的中点处进行标定。双目相机通过多次转换姿态拍摄标定板5,以便得到精确的内、外参数。以图4中左边的标定板为基准建立坐标系(O,X,Y,Z),坐标系原点O与左标定板的中心点重合,则两块标定板5之间的相对坐标关系为:[0,0,TZ,180,0,0],其中前三个参数值0,0,TZ分别为X轴、Y轴、Z轴的位移量,TZ为两块标定板中心的距离,后三个参数值180,0,0为X轴、Y轴、Z轴的旋转角度。引入齐次坐标后表示为:
通过标定可分别得出第一双目相机13和第二双目相机14的内、外参数。如内参数可以获取相机的焦距f、尺度因子SX,SY,图像中心坐标(u,v),以及畸变参数K。通过同时拍摄的标定板图像可以分别计算出左标定板相对于对应的第一双目相机13的齐次变换矩阵Ccaltab1-cams1、右标定板相对于对应的第二双目相机14的齐次变换矩阵Ccaltab2-cams2,最终求出第一双目相机13与第二双目相机14的相机坐标系之间的相对位姿关系(齐次变换矩阵),即公式(1)
公式(1)中,R、T分别为第一双目相机13相对于第二双目相机14的旋转矩阵和平移矩阵。可以看出,其中R为3×3的旋转矩阵,T为3×1的平移矩阵。
如图1和图3所示,在获取相对位姿关系后,步骤S100中,将采集部1放置于初始位置,并进行初始化操作。初始位置可以是执行机构2的零点位置。参照图1,可以将采集部1放置于执行机构2的零点上,初始化第一双目相机13、第二双目相机14、陀螺仪以及加速度计,并将执行机构2的零点设置为陀螺仪和加速度计的零点。初始化结束后,陀螺仪、加速度计开始实时传输数据。
在初始化结束后,步骤S200中,将采集部1移动到采集位置,即待装配件3与对接件4之间的位置,并将第一双目相机13和第二双目相机14的镜头分别对准第一装配特征31和与该第一装配特征31对应的第二装配特征41进行位姿信息和参数的采集。其中,移动方式可以是人工移动,当然也可以是其他可以将采集部1移动到待装配件3与对接件4之间的任何方式。
进一步参照图1,以第一装配特征31(截面大致为矩形的凸起)和对应的第二装配特征41(截面大致为矩形的凹槽)各有两个为例,步骤S200的采集过程可以是:测试人员手动将采集部1从初始位置快速拿起并移动至待装配件3和对接件4之间,将第一双目相机13和第二双目相机14的镜头分别对准一个第一装配特征31和对应的第二装配特征41并发送同步数据采集信号,如发送同步数据采集信号可以是从初始位置拿起采集部1三秒后进行同步采集,或者在壳体上设置有启动按钮,按下启动按钮后开始同步采集等。第一双目相机13和第二双目相机14分别对第一装配特征31和第二装配特征41进行同步图像采集,同时陀螺仪和加速度计进行参数的采集,也就是说采集部1采集的每组图像(至少包括第一双目相机13采集的图像和第二双目相机14采集的图像)均对应着一组陀螺仪和加速度计的数据:
采集完一组图像和数据之后,测试人员可以不断变换采集部1的方位(如旋转一定角度),每变换一种方位采集部1采集该方位下的一组或多组的图像和数据。直至数据处理单元对采集的数据处理结束后发出测量成功的信号,停止采集。
在采集的过程中,测试人员可以从任意角度拍摄,设置于采集部1内部的辅助定位装15置可以辅助采确定采集部1相对于待装配件3和对接件4的方位。辅助定位装置包括陀螺仪加速度计,通过对陀螺仪采集的角速度进行积分得出的角度变化量,定义图像中装配特征的坐标系,计算采集部1的旋转角度并判断采集部1是否翻转,并且保证在翻转或旋转的情况下定义的坐标系与未翻转或旋转的情况下定义的坐标系相对应。通过对加速度计采集的数据进行二次积分计算出惯性坐标系相对于世界坐标系的位移变化,判断图像中的装配特征所在位置,从而调用不同的坐标转换程序计算当前装配特征的位姿关系。需要说明的是,通过陀螺仪为图像中的装配特征定义坐标系后,在有若干个装配特征的情况下,不同的装配特征相对于世界坐标系的位移量是不同的,坐标转换程序也是不同的,需要根据加速度计判断出的装配特征来选择不同的坐标转换程序。如具体变换方法可以如下:
a)采集部1左右翻转时(大致为调转,即两组双目相机的拍摄方向对调),根据陀螺仪数据计算其累积姿态,当计算结果检测出惯性坐标系z轴方向翻转时,自动调换两组双目相机检测程序。
b)采集部1旋转(大致为自转,即两组双目相机采集的装配特征保持不变,双目相机所处的角度有所改变)时,装配特征在图像中坐标系方向无法确定,这时通过比较陀螺仪当前姿态和期望姿态,如果陀螺仪x轴、y轴绕z轴旋转了一定的角度,则装配特征在图像中的定义坐标系的方向需要跟随着改变。
c)采集部1拍摄的第一装配特征31和第二装配特征41不对应时(大致为平移,即在既不自转也不调转的情形下,在平行于待装配件3和对接件之间的平面上移动),因为两个不对应的装配特征均是关于表面中心点(如待装配件3的两个第一装配特征31连线的中点)的平移,通过加速度计相对于初始位置的位移变化判断拍摄的位置,将第一装配特征31与第二装配特征41对应起来。
在步骤S300中,采集部1输出采集到的一组图像和参数至数据处理单元,数据处理单元实时处理接收到的图像和参数,并计算出结果位姿信息。在本发明的可能实施方式中,结果位姿信息可以是第一装配特征31的中心点与第二装配特征41的中心点的位姿转换矩阵。
例如,按照图1所示方位,第一装配特征31的中心点可以是第一装配特征31(轮廓大致为矩形的凸起)的右侧面的特征点的对角线交点,第二装配特征41的中心点可以是第二装配特征41(轮廓大致为矩形的凹槽)与矩形凸起的右侧面的安装对应面的对角线交点。
对任一组接收到的图像和参数,数据处理单元的实时处理过程可以为:
数据处理单元首先对两幅图像进行预处理,然后采用NCC模板匹配确定相机拍摄的装配特征在图像中的大致位置,划定感兴趣区域;检测特征点,进行特征点匹配。通过四个特征点确定一个平面,综合双目相机的内、外参数求算出第一装配特征31的中心点相对于对应的第一双目相机13的齐次变换矩阵Cobj-cams1,即:
同理,可以计算出第二装配特征41的中心点相对于对应的第二双目相机14齐次变换矩阵Cdst-cams2,即:
最后,综合第一双目相机13与第二双目相机14的齐次变换矩阵,按照公式(2)计算出第一装配特征31的中心点到第二装配特征41的中心点的齐次变换矩阵,也就是待装配件3和对接件4的结果位姿信息,即
在计算出待装配件3与对接件4的相对位姿关系之后,在步骤S400中,进一步地,为了获得更精准的结果位姿信息,还可以重复采集若干次位姿信息,并对每次采集的位姿信息进行结果位姿信息的计算,并选取计算出的所有结果位姿信息中的最优值输出给执行机构2。优选地,可以重复采集五次位姿信息,并计算最优值。当然,采集位姿信息的次数并非一成不变,本领域技术人员可以根据实际情况进行调整。
以采集五次位姿信息为例,将最终的齐次变换矩阵Cobj-dst转化为3个位移参数[x,y,z]和3个角度参数[α,β,γ]。计算6个参数各自的平均值μ,根据平均值μ计算标准差σ,并按照公式(3)求取五次综合的标准差集σm,即:
公式(3)中,m=1,2...5,N=xm,ym,zmmmm
选取最小标准差σm所对应的结果位姿信息作为最终输出的结果,发送至执行机构2,执行机构2(如执行机构2的控制单元)基于结果位姿信息计算出执行机构2的安装运动轨迹,并最终将待装配件3安装至对接件4。
上述优选的实施方式,基于双目视觉的装配***主要包括采集部1、数据处理单元以及执行机构2。采集部1主要包括壳体以及设置于壳体内的第一双目相机13和第二双目相机14,第一双目相机13与第二双目相机14采用背对背的方式设置,该设置方式可以使得采集部1同时测量第一装配特征31与第二装配特征41的位姿信息。本发明还提供了一种利用此采集部1的装配方法,通过采集第一装配特征31的中心点与第二装配特征41的中心点的位姿信息,可以计算出第一装配特征31的中心点与对应的第一双目相机13的相对位姿关系,同理,还可计算出第二装配特征41的中心点与对应的第二双目相机14的相对位姿关系,进一步综合第一双目相机13与第二双目相机14的相对位姿关系,最终可计算出第一装配特征31与第二装配特征41的相对位姿关系,即待装配件3与对接件4的结果位姿信息,基于结果位姿信息,执行机构2可以将待装配件3安装至对接件4。由于第一双目相机13与第二双目相机14采用背对背的、十字交叉的方式设置,这样的设置方式能够最大限度的压缩双目相机的安装空间,使得装置结构紧凑,使用方便,适用于狭窄空间的位姿信息的测量,尤其适用于多个不同方向位姿的同时测量。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于双目视觉的装配***,用于将待装配件匹配安装至对接件,其特征在于,所述装配***包括:
采集部,其用于同步采集所述待装配件的第一位姿信息以及所述对接件的第二位姿信息;
数据处理单元,其用于基于所述第一位姿信息和所述第二位姿信息,计算出所述待装配件与所述对接件之间的结果位姿信息;
执行机构,其用于基于所述结果位姿信息,将所述待装配件安装至所述对接件。
2.根据权利要求1所述的装配***,其特征在于,所述采集部包括壳体以及设置于该壳体内部的第一采集单元和第二采集单元,
其中,所述第一采集单元能够采集所述待装配件的第一位姿信息或所述对接件的第二位姿信息;
相应地,所述第二采集单元能够采集所述待装配件的第二位姿信息或所述对接件的第一位姿信息。
3.根据权利要求2所述的装配***,其特征在于,所述壳体包括第一壳体和第二壳体,所述第一壳体上设置有所述第一采集单元,所述第二壳体上设置有第二采集单元,并且
在安装好的状态下,所述第一采集单元与所述第二采集单元与所述壳体之间无相对运动。
4.根据权利要求3所述的装配***,其特征在于,所述第一采集单元为沿第一方向设置的第一双目相机,所述第二采集单元为沿第二方向设置的第二双目相机,并且
所述第一方向与所述第二方向之间具有夹角。
5.根据权利要求4所述的装配***,其特征在于,所述第一壳体上开设有与所述第二双目相机的镜头对应的第二镜头孔,所述第二壳体上开设有与所述第一双目相机的镜头对应的第一镜头孔,并且
在安装好的状态下,所述第一双目相机的镜头与所述第二双目相机的镜头能够分别容纳于所述第一镜头孔与所述第二镜头孔,该容纳能够允许所述采集部获得所述第一位姿信息和所述第二位姿信息。
6.根据权利要求5所述的装配***,其特征在于,所述待装配件上设置有若干个第一装配特征,所述对接件上设置有与所述若干个第一装配特征对应的若干个第二装配特征,并且
所述第一双目相机能够采集所述若干个第一装配特征中的至少一个第一装配特征的第一位姿信息,或者
所述若干个第二装配特征中的至少一个第二装配特征的第二位姿信息;
对应地,所述第二双目相机能够采集所述若干个第二装配特征中的至少一个第二装配特征的第二位姿信息,或者
所述若干个第一装配特征中的至少一个第一装配特征的第一位姿信息。
7.根据权利要求3至6中任一项所述的装配***,其特征在于,所述采集部还包括辅助定位装置,其用于确定所述采集部相对于所述待装配件和所述对接件的方位。
8.一种权利要求1至7中任一项所述的基于双目视觉的装配***的装配方法,用于将待装配件匹配安装至对接件,其特征在于,该装配方法包括:
同步采集所述待装配件的第一位姿信息以及所述对接件的第二位姿信息;
基于所述第一位姿信息和所述第二位姿信息,计算出所述待装配件与所述对接件之间的结果位姿信息;
基于所述结果位姿信息,将所述待装配件安装至所述对接件。
9.根据权利要求8所述的装配方法,其特征在于,所述的“同步采集所述待装配件的第一位姿信息以及所述对接件的第二位姿信息”进一步包括:
在所述第一采集单元采集所述第一位姿信息或者所述第二位姿信息的情形下,对应地,所述第二采集单元采集所述第二位姿信息或者所述第一位姿信息。
10.根据权利要求8所述的装配方法,其特征在于,所述的“同步采集所述待装配件的第一位姿信息以及所述对接件的第二位姿信息”进一步包括:
在所述采集部处于至少一个方位的情形下,采集所述第一位姿信息和所述第二位姿信息;
在所述采集部处于每个方位的情形下,采集若干组第一位姿信息和所述第二位姿信息。
CN201611241409.8A 2016-12-29 2016-12-29 基于双目视觉的装配***及装配方法 Active CN106624709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611241409.8A CN106624709B (zh) 2016-12-29 2016-12-29 基于双目视觉的装配***及装配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611241409.8A CN106624709B (zh) 2016-12-29 2016-12-29 基于双目视觉的装配***及装配方法

Publications (2)

Publication Number Publication Date
CN106624709A true CN106624709A (zh) 2017-05-10
CN106624709B CN106624709B (zh) 2019-01-11

Family

ID=58835412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611241409.8A Active CN106624709B (zh) 2016-12-29 2016-12-29 基于双目视觉的装配***及装配方法

Country Status (1)

Country Link
CN (1) CN106624709B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108408080A (zh) * 2018-03-29 2018-08-17 南昌航空大学 一种飞机翼身对接装配装置、方法及***
CN108858191A (zh) * 2018-06-29 2018-11-23 易思维(杭州)科技有限公司 适用于汽车顶盖自动装载过程的视觉引导方法
CN109374638A (zh) * 2018-12-18 2019-02-22 王章飞 一种基于机器视觉的木地板表面检测装置及其检测方法
CN110238849A (zh) * 2019-06-13 2019-09-17 深圳市汇川技术股份有限公司 机器人手眼标定方法及装置
CN110488751A (zh) * 2018-08-29 2019-11-22 中山大学 一种自动化工艺线的石墨料盘视觉定位***
CN110480292A (zh) * 2018-08-29 2019-11-22 中山大学 一种自动化工艺线的金属料盘视觉定位***
CN110674817A (zh) * 2019-11-21 2020-01-10 深圳市芊熠智能硬件有限公司 一种基于双目摄像头的车牌防伪的方法及装置
WO2020052624A1 (zh) * 2018-09-13 2020-03-19 宝山钢铁股份有限公司 基于视觉测量的冶金技术探针接插标定方法及其接插***
CN112548654A (zh) * 2021-02-26 2021-03-26 杭州蓝芯科技有限公司 一种基于3d相机的圆柱体物料对接方法及装置
CN112991461A (zh) * 2021-03-11 2021-06-18 珠海格力智能装备有限公司 物料装配方法及装配装置、计算机可读存储介质、处理器
CN113103238A (zh) * 2021-04-26 2021-07-13 福建(泉州)哈工大工程技术研究院 一种基于数据优化的手眼标定方法
CN113751981A (zh) * 2021-08-19 2021-12-07 哈尔滨工业大学(深圳) 基于双目视觉伺服的空间高精度装配方法和***
WO2022036479A1 (zh) * 2020-08-17 2022-02-24 江苏瑞科科技有限公司 一种ar辅助装配中的基体及零件位姿估计方法
CN115055964A (zh) * 2022-08-18 2022-09-16 山东鑫亚工业股份有限公司 一种基于喷油泵的智能装配方法及***
CN115570562A (zh) * 2022-09-05 2023-01-06 梅卡曼德(北京)机器人科技有限公司 机器人装配位姿确定方法、装置、机器人及存储介质
CN116993140A (zh) * 2023-07-28 2023-11-03 安徽鸿凌智能仪表科技有限公司 一种智能仪表装配流程工位管理方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05318361A (ja) * 1992-05-20 1993-12-03 Nec Corp 物体操作方式
US5608847A (en) * 1981-05-11 1997-03-04 Sensor Adaptive Machines, Inc. Vision target based assembly
CN102589526A (zh) * 2011-12-23 2012-07-18 北京控制工程研究所 一种单基线非合作目标双目测量***
CN102613041A (zh) * 2012-04-13 2012-08-01 浙江工业大学 基于机器视觉的葡萄套袋机器人***
US20140067317A1 (en) * 2012-09-03 2014-03-06 Canon Kabushiki Kaisha Information processing system, method, and program
CN205325111U (zh) * 2016-01-12 2016-06-22 中国科学院自动化研究所 基于工业机器人的汽车发动机活塞、缸体装配***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5608847A (en) * 1981-05-11 1997-03-04 Sensor Adaptive Machines, Inc. Vision target based assembly
JPH05318361A (ja) * 1992-05-20 1993-12-03 Nec Corp 物体操作方式
CN102589526A (zh) * 2011-12-23 2012-07-18 北京控制工程研究所 一种单基线非合作目标双目测量***
CN102613041A (zh) * 2012-04-13 2012-08-01 浙江工业大学 基于机器视觉的葡萄套袋机器人***
US20140067317A1 (en) * 2012-09-03 2014-03-06 Canon Kabushiki Kaisha Information processing system, method, and program
CN205325111U (zh) * 2016-01-12 2016-06-22 中国科学院自动化研究所 基于工业机器人的汽车发动机活塞、缸体装配***

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108408080A (zh) * 2018-03-29 2018-08-17 南昌航空大学 一种飞机翼身对接装配装置、方法及***
CN108408080B (zh) * 2018-03-29 2019-11-12 南昌航空大学 一种飞机翼身对接装配装置、方法及***
CN108858191A (zh) * 2018-06-29 2018-11-23 易思维(杭州)科技有限公司 适用于汽车顶盖自动装载过程的视觉引导方法
CN110488751A (zh) * 2018-08-29 2019-11-22 中山大学 一种自动化工艺线的石墨料盘视觉定位***
CN110480292A (zh) * 2018-08-29 2019-11-22 中山大学 一种自动化工艺线的金属料盘视觉定位***
US20210323104A1 (en) * 2018-09-13 2021-10-21 Baoshan Iron & Steel Co., Ltd. Metallurgical technology probe insertion calibration method employing visual measuremetn and insertion system thereof
US11813707B2 (en) * 2018-09-13 2023-11-14 Baoshan Iron & Steel Co., Ltd. Metallurgical technology probe insertion calibration method employing visual measurement and insertion system thereof
WO2020052624A1 (zh) * 2018-09-13 2020-03-19 宝山钢铁股份有限公司 基于视觉测量的冶金技术探针接插标定方法及其接插***
CN109374638A (zh) * 2018-12-18 2019-02-22 王章飞 一种基于机器视觉的木地板表面检测装置及其检测方法
CN109374638B (zh) * 2018-12-18 2022-01-18 深圳市鼎源检测技术有限公司 一种基于机器视觉的木地板表面检测装置及其检测方法
CN110238849B (zh) * 2019-06-13 2021-11-12 深圳市汇川技术股份有限公司 机器人手眼标定方法及装置
CN110238849A (zh) * 2019-06-13 2019-09-17 深圳市汇川技术股份有限公司 机器人手眼标定方法及装置
CN110674817A (zh) * 2019-11-21 2020-01-10 深圳市芊熠智能硬件有限公司 一种基于双目摄像头的车牌防伪的方法及装置
WO2022036479A1 (zh) * 2020-08-17 2022-02-24 江苏瑞科科技有限公司 一种ar辅助装配中的基体及零件位姿估计方法
CN112548654A (zh) * 2021-02-26 2021-03-26 杭州蓝芯科技有限公司 一种基于3d相机的圆柱体物料对接方法及装置
CN112991461A (zh) * 2021-03-11 2021-06-18 珠海格力智能装备有限公司 物料装配方法及装配装置、计算机可读存储介质、处理器
CN113103238A (zh) * 2021-04-26 2021-07-13 福建(泉州)哈工大工程技术研究院 一种基于数据优化的手眼标定方法
CN113751981A (zh) * 2021-08-19 2021-12-07 哈尔滨工业大学(深圳) 基于双目视觉伺服的空间高精度装配方法和***
CN113751981B (zh) * 2021-08-19 2022-08-19 哈尔滨工业大学(深圳) 基于双目视觉伺服的空间高精度装配方法和***
CN115055964A (zh) * 2022-08-18 2022-09-16 山东鑫亚工业股份有限公司 一种基于喷油泵的智能装配方法及***
CN115055964B (zh) * 2022-08-18 2022-11-08 山东鑫亚工业股份有限公司 一种基于喷油泵的智能装配方法及***
CN115570562A (zh) * 2022-09-05 2023-01-06 梅卡曼德(北京)机器人科技有限公司 机器人装配位姿确定方法、装置、机器人及存储介质
CN116993140A (zh) * 2023-07-28 2023-11-03 安徽鸿凌智能仪表科技有限公司 一种智能仪表装配流程工位管理方法及***
CN116993140B (zh) * 2023-07-28 2024-06-07 安徽鸿凌智能仪表科技有限公司 一种智能仪表装配流程工位管理方法及***

Also Published As

Publication number Publication date
CN106624709B (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN106624709A (zh) 基于双目视觉的装配***及装配方法
CN106625673A (zh) 狭小空间装配***及装配方法
RU2743112C2 (ru) Устройство и способ для анализа вибраций с использованием высокоскоростных видеоданных и применение такого устройства для бесконтактного анализа вибраций
CN104006825B (zh) 沿至少三个不连续平面对机器视觉摄像机进行校准的***和方法
CN110230983B (zh) 抗振式光学三维定位方法及装置
CN106153077B (zh) 一种用于m-imu人体运动捕获***的初始化校准方法
CN106949936B (zh) 利用双目视觉位移监测***分析输电塔结构模态的方法
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
CN106643699A (zh) 一种虚拟现实***中的空间定位装置和定位方法
EP2615580A1 (en) Automatic scene calibration
CN112629431B (zh) 土木结构变形监测方法及相关设备
CN107003744B (zh) 视点确定方法、装置和电子设备
CN108830906A (zh) 一种基于虚拟双目视觉原理的摄像机参数自动标定方法
CN109269525B (zh) 一种空间探测器起飞或着陆过程光学测量***及方法
WO2022111105A1 (zh) 一种自由姿态的智能视觉3d信息采集设备
CN111307046B (zh) 基于半球图像的树高测量方法
CN107270811A (zh) 定位测试方法及定位测试装置
CN104913775B (zh) 无人机对地高度的测量方法、无人机定位方法及装置
CN106125908A (zh) 一种动作捕捉校准***
CN102074019B (zh) 一种人体跟踪方法及***
CN111811462A (zh) 极端环境下大构件便携式视觉测距***及方法
CN112229323A (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
JP2004271292A (ja) 校正器及びステレオカメラ位置姿勢校正装置
KR101525411B1 (ko) 사용자의 골프 스윙 분석을 위한 영상 생성 방법, 이를 이용한 사용자의 골프 스윙에 대한 분석 방법 및 골프 스윙 분석 장치
CN113052974B (zh) 物体三维表面的重建方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Teng Chengwu

Inventor after: Wang Jian

Inventor after: Wu Tianwen

Inventor after: Liu Manxian

Inventor after: Ding Ding

Inventor after: Shen Kang

Inventor after: Xue Dazhao

Inventor before: Tengchengwu

Inventor before: Wang Jian

Inventor before: Wu Tianwen

Inventor before: Liu Manxian

Inventor before: Ding Ding

Inventor before: Shen Kang

Inventor before: Xue Dazhao

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210218

Address after: No. 1 Huayangang, Gulou District, Nanjing City, Jiangsu Province, 210000

Patentee after: JIANGSU SO-FINE COMMUNICATION Co.,Ltd.

Address before: No.5, Yonghe Road, Yangjiang Town, Gaochun District, Nanjing City, Jiangsu Province

Patentee before: NANJING TIANXIANG INTELLIGENT EQUIPMENT TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240313

Address after: Room 501, Building 68, Pudong Lingxiu City, No. 399 Changjiang Road, Chengzhong Street, Rudong County, Nantong City, Jiangsu Province, 226499

Patentee after: Jiangsu Xiangruosheng Information Technology Co.,Ltd.

Country or region after: China

Address before: No. 1 Huayangang, Gulou District, Nanjing City, Jiangsu Province, 210000

Patentee before: JIANGSU SO-FINE COMMUNICATION CO.,LTD.

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240418

Address after: Floor 12, No. 180 Hanzhong Road, Gulou District, Nanjing City, Jiangsu Province, 210000

Patentee after: JIANGSU SO-FINE COMMUNICATION CO.,LTD.

Country or region after: China

Address before: Room 501, Building 68, Pudong Lingxiu City, No. 399 Changjiang Road, Chengzhong Street, Rudong County, Nantong City, Jiangsu Province, 226499

Patentee before: Jiangsu Xiangruosheng Information Technology Co.,Ltd.

Country or region before: China