CN113393534A - 产品贴合方法、装置、设备及*** - Google Patents
产品贴合方法、装置、设备及*** Download PDFInfo
- Publication number
- CN113393534A CN113393534A CN202110697548.6A CN202110697548A CN113393534A CN 113393534 A CN113393534 A CN 113393534A CN 202110697548 A CN202110697548 A CN 202110697548A CN 113393534 A CN113393534 A CN 113393534A
- Authority
- CN
- China
- Prior art keywords
- workpiece
- current position
- manipulator
- camera
- deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000010030 laminating Methods 0.000 title claims abstract description 13
- 238000012937 correction Methods 0.000 claims description 49
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003475 lamination Methods 0.000 claims description 13
- 238000003754 machining Methods 0.000 abstract description 2
- 238000013507 mapping Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 102220007331 rs111033633 Human genes 0.000 description 1
- 102220042509 rs112033303 Human genes 0.000 description 1
- 102220017114 rs150867836 Human genes 0.000 description 1
- 102220098950 rs150951102 Human genes 0.000 description 1
- 102220133958 rs1878583 Human genes 0.000 description 1
- 102220272493 rs782575179 Human genes 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1682—Dual arm manipulator; Coordination of several manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
Abstract
本申请涉及设备零件加工领域,具体而言,涉及一种产品贴合方法、装置、设备及***。本申请实施例提供的产品贴合方法包括:根据第一工件图像,获取第一工件的第一当前位置,第一工件图像通过第一相机对第一工件进行拍照获取;根据第二工件图像,获取第二工件的第二当前位置,第二工件图像通过第二相机对第二工件进行拍照获取;根据第一当前位置和第二当前位置,控制第一机械手对第一工件进行纠偏,和/或控制第二机械手对第二工件进行纠偏,实现第一工件和第二工件的对位贴合。本申请实施例提供的产品贴合方法、装置、设备及***能够提高第一工件和第二工件的对位贴合效率。
Description
技术领域
本申请涉及设备零件加工领域,具体而言,涉及一种产品贴合方法、装置、设备及***。
背景技术
设备零件加工领域中,通常需要对工件进行贴合,例如,将第一工件贴合于第二工件上,而在此过程中,往往通过某个相机同时对第一工件和第二工件进行拍照,以获取第一工件和第二工件的当前位置,再根据第一工件的当前位置控制第一机械手对第一工件进行纠偏,同时,根据第二工件的当前位置对第二工件进行纠偏,以实现第一工件和第二工件的对位贴合。由于单个相机需要同时对第一工件和第二工件进行拍照,因此,其视野范围较大,在大视野范围下,会导致第一工件和第二工件的定位精度低下,最终,降低第一工件和第二工件的对位贴合精度。目前,为解决前述问题,通常是通过双相机分别对第一工件和第二工件进行拍照,以获取第一工件和第二工件的当前位置,再根据第一工件的当前位置控制第一机械手对第一工件进行纠偏,同时,根据第二工件的当前位置对第二工件进行纠偏,以实现第一工件和第二工件的对位贴合。但是,双相机相关数据获取过程中,控制逻辑及算法复杂度高,导致调试工作量过大、调试时间过长,从而影响对位贴合效率。
发明内容
本申请实施例的目的在于,提供一种产品贴合方法、装置、设备及***,以提高产品贴合的精准度。
第一方面,本申请实施例提供的产品贴合方法包括:
从第一工件图像中确定出与第一工件对应的第一工件区域,并根据第一工件区域在第一工件图像中的位置信息,获取第一工件在第一相机坐标系中的坐标位置,第一工件图像通过第一相机对第一工件进行拍照获取;
根据第一工件在第一相机坐标系中的坐标位置,获取第一工件在第一机械手坐标系中的第一当前位置;
从第二工件图像中确定出与第二工件对应的第二工件区域,并根据第二工件区域在第二工件图像中的位置信息,获取第二工件在第二相机坐标系中的坐标位置,第二工件图像通过第二相机对第二工件进行拍照获取;
根据第二工件在第二相机坐标系中的坐标位置,获取第二工件在第二机械手坐标系中的第一目标位置,并根据第一目标位置,获取第二工件在第一机械手坐标系中的第二目标位置,第二目标位置为第二工件的第二当前位置,或根据第二工件在第二相机坐标系中的坐标位置,获取第二工件在第二机械手坐标系中的第一目标位置,第一目标位置为第二当前位置;
若第二目标位置为第二当前位置,则根据第一当前位置和第二当前位置,控制第一机械手对第一工件进行纠偏,以实现第一工件和第二工件的对位贴合,若第一目标位置为第二当前位置,则根据第一当前位置,控制第一机械手对第一工件进行纠偏,且根据第二当前位置,控制第二机械手对第二工件进行纠偏,以实现第一工件和第二工件的对位贴合。
结合第一方面,本申请实施例还提供了第一方面的第一种可选的实施方式,根据第一当前位置和第二当前位置,控制第一机械手对第一工件进行纠偏,以实现第一工件和第二工件的对位贴合,包括:
根据第一当前位置和第二当前位置,计算出针对第一工件的第一纠偏量;
将第一纠偏量发送给第一机械手,以供第一机械手根据第一纠偏量对第一工件进行纠偏,实现第一工件和第二工件的对位贴合。
结合第一方面的第一种可选的实施方式,本申请实施例还提供了第一方面的第二种可选的实施方式,根据第一当前位置和第二当前位置,计算出针对第一工件的第一纠偏量,包括:
根据第一当前位置、第一机械手旋转中心位置,以及第一机械手模板与第二机械手模板之间的第一角度偏差,获取将第一机械手模板角度纠偏至与第二机械手模板角度一致时,第一工件的第三当前位置;
根据第三当前位置、第一机械手旋转中心位置和第二机械手旋转中心位置,获取将第一机械手旋转中心平移至与第二机械手旋转中心重合时,第一工件在第一机械手坐标轴中的第四当前位置;
根据第四当前位置、第二相机模板,以及第一相机模板与第一当前位置之间第二角度偏差,获取将第一工件由第四当前位置纠偏至与第二相机模板角度一致时,第一工件在第一机械手坐标系中的第五当前位置;
根据第五当前位置、第二机械手旋转中心位置,以及第二当前位置与第二相机模板之间的第三角度偏差,获取将第二相机模板纠偏至与第二当前位置角度一致时,第一工件在第一机械手坐标系中的第六当前位置;
根据第二当前位置、第六当前位置、第二角度偏差和第三角度偏差,计算出针对第一工件的第一纠偏量。
结合第一方面,本申请实施例还提供了第一方面的第三种可选的实施方式,根据第一当前位置,控制第一机械手对第一工件进行纠偏,且根据第二当前位置,控制第二机械手对第二工件进行纠偏,以实现第一工件和第二工件的对位贴合,包括:
根据第一当前位置,计算出针对第一工件的第二纠偏量;
根据第二当前位置,计算出针对第二工件的第三偏移量;
将第二纠偏量发送给第一机械手,以及将第三纠偏量发送给第二机械手,以供第一机械手根据第二纠偏量对第一工件进行纠偏,第二机械手根据第三纠偏量对第二工件进行纠偏,实现第一工件和第二工件的对位贴合。
结合第一方面的第三种可选的实施方式,本申请实施例还提供了第一方面的第四种可选的实施方式,根据第一当前位置,计算出针对第一工件的第二纠偏量,包括:
根据第一当前位置、第一机械手旋转中心位置和第一机械手模板与第二机械手模板之间的第四角度偏差,获取将第一机械手模板角度纠偏至与第二机械手模板角度一致时,第一工件的第七当前位置;
根据第七当前位置、第一机械手旋转中心位置和第一相机模板与第一当前位置之间第五角度偏差,获取将第一工件由第七当前位置纠偏至与第一相机模板角度一致时,第一工件的第八当前位置;
根据第一相机模板、第一机械手旋转中心位置和第四角度偏差,获取将第一相机模板角度纠偏至与第二相机模板角度一致时,第一工件在第一机械手坐标系中的第九当前位置;
根据第九当前位置和第五角度偏差,计算出针对第一工件的第二纠偏量。
结合第一方面的第三种可选的实施方式,本申请实施例还提供了第一方面的第五种可选的实施方式,根据第二当前位置,计算出针对第二工件的第三偏移量,包括:
根据第二当前位置、第二机械手旋转中心位置、第二相机模板与第二当前位置之间第六角度偏差,获取将第一工件由第二当前位置纠偏至与第二相机模板角度一致时,第二工件的第十当前位置;
根据第二相机模板、第十当前位置和第六角度偏差,计算出针对第二工件的第三偏移量。
第二个方面,本申请实施例提供的产品贴合装置包括:
第一位置获取模块,用于从第一工件图像中确定出与第一工件对应的第一工件区域,并根据第一工件区域在第一工件图像中的位置信息,获取第一工件在第一相机坐标系中的坐标位置,第一工件图像通过第一相机对第一工件进行拍照获取;
第二位置获取模块,用于根据第一工件在第一相机坐标系中的坐标位置,获取第一工件在第一机械手坐标系中的第一当前位置;
第三位置获取模块,用于从第二工件图像中确定出与第二工件对应的第二工件区域,并根据第二工件区域在第二工件图像中的位置信息,获取第二工件在第二相机坐标系中的坐标位置,第二工件图像通过第二相机对第二工件进行拍照获取;
第四位置获取模块,用于根据第二工件在第二相机坐标系中的坐标位置,获取第二工件在第二机械手坐标系中的第一目标位置,并根据第一目标位置,获取第二工件在第一机械手坐标系中的第二目标位置,第二目标位置为第二工件的第二当前位置,或根据第二工件在第二相机坐标系中的坐标位置,获取第二工件在第二机械手坐标系中的第一目标位置,第一目标位置为第二当前位置;
纠偏计算模块,用于在第二目标位置为第二当前位置时,根据第一当前位置和第二当前位置,控制第一机械手对第一工件进行纠偏,以实现第一工件和第二工件的对位贴合,在第一目标位置为第二当前位置时,根据第一当前位置,控制第一机械手对第一工件进行纠偏,且根据第二当前位置,控制第二机械手对第二工件进行纠偏,以实现第一工件和第二工件的对位贴合。
第三方面,本申请实施例提供的产品贴合设备包括处理器和存储器,存储器上存储有计算机程序,处理器用于执行计算机程序,以实现第一方面,或第一方面的任意一种可选的实施方式所提供的产品贴合方法。
第四方面,本申请实施例提供的产品贴合***包括第一相机、第二相机、第一机械手、第二机械手,以及第三方面所提供的产品贴合设备,第一相机、第二相机、第一机械手和第二机械手分别与产品贴合设备连接;
产品贴合设备用于:
从第一工件图像中确定出与第一工件对应的第一工件区域,并根据第一工件区域在第一工件图像中的位置信息,获取第一工件在第一相机坐标系中的坐标位置,第一工件图像通过第一相机对第一工件进行拍照获取;
根据第一工件在第一相机坐标系中的坐标位置,获取第一工件在第一机械手坐标系中的第一当前位置;
从第二工件图像中确定出与第二工件对应的第二工件区域,并根据第二工件区域在第二工件图像中的位置信息,获取第二工件在第二相机坐标系中的坐标位置,第二工件图像通过第二相机对第二工件进行拍照获取;
根据第二工件在第二相机坐标系中的坐标位置,获取第二工件在第二机械手坐标系中的第一目标位置,并根据第一目标位置,获取第二工件在第一机械手坐标系中的第二目标位置,第二目标位置为第二工件的第二当前位置,或根据第二工件在第二相机坐标系中的坐标位置,获取第二工件在第二机械手坐标系中的第一目标位置,第一目标位置为第二当前位置;
若第二目标位置为第二当前位置,则根据第一当前位置和第二当前位置,控制第一机械手对第一工件进行纠偏,以实现第一工件和第二工件的对位贴合,若第一目标位置为第二当前位置,则根据第一当前位置,控制第一机械手对第一工件进行纠偏,且根据第二当前位置,控制第二机械手对第二工件进行纠偏,以实现第一工件和第二工件的对位贴合。
第五方面,本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被执行时,可实现第一方面,或第一方面的任意一种可选的实施方式所提供的产品贴合方法。
一方面,本申请实施例提供的产品贴合方法的实施过程中,由于第一工件图像通过第一相机对第一工件单独进行拍照获取,第二工件图像通过第二相机对第二工件单独进行拍照获取,因此,在小视野范围下即可完成拍照动作,相对于通过单个相机同时对第一工件和第二工件进行拍照的方案而言,能够提高第一工件和第二工件的定位精度,最终,提高第一工件和第二工件的对位贴合精度,另一方面,若第二目标位置为第二当前位置,则根据第一当前位置和第二当前位置,控制第一机械手对第一工件进行纠偏,以实现第一工件和第二工件的对位贴合,若第一目标位置为第二当前位置,则根据第一当前位置,控制第一机械手对第一工件进行纠偏,且根据第二当前位置,控制第二机械手对第二工件进行纠偏,以实现第一工件和第二工件的对位贴合,因此,相对于现有技术而言,调试工作量较小、调试时间较短,因此,能够提高对位贴合效率。
进一步地,根据第一当前位置和第二当前位置,计算出针对第一工件的第一纠偏量时,所采用的具体纠偏策略简易化,同样,根据第一当前位置,计算出针对第一工件的第二纠偏量,以及根据第二当前位置,计算出针对第二工件的第三偏移量时,所采用的具体纠偏策略简易化,因此,能够进一步减少调试时间,从而提高第一工件和第二工件的对位贴合效率。
本申请实施例提供的产品贴合装置、设备、***及计算机可读存储介质具有与上述产品贴合方法相同的有益效果,此处不作赘述。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种产品贴合设备的示意性结构框图。
图2为本申请实施例提供的一种产品贴合方法的步骤流程图。
图3为本申请实施例提供的一种坐标映射关系获取方式辅助性说明图。
图4为本申请实施例提供的另一种坐标映射关系获取方式辅助性说明图。
图5为本申请实施例提供的另一种坐标映射关系获取方式辅助性说明图。
图6为本申请实施例提供的一种纠偏量计算过程辅助性说明图。
图7为本申请实施例提供的另一种纠偏量计算过程辅助性说明图。
图8为本申请实施例提供的另一种纠偏量计算过程辅助性说明图。
图9为本申请实施例提供的一种产品贴合装置的示意性结构框图。
图10为本申请实施例提供的一种产品贴合***的组成结构示意图。
附图标记:100-产品贴合设备;110-处理器;120-存储器;200-产品贴合装置;210-第一位置获取模块;220-第二位置获取模块;230-第三位置获取模块;240-第四位置获取模块;250-纠偏计算模块;300-产品贴合***;310-第一相机;320-第二相机;330-第一机械手;340-第二机械手。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
请参阅图1,本申请实施例提供了一种产品贴合设备100,用于控制第一机械手对第一工件进行纠偏,和/或控制第二机械手对第二工件进行纠偏,实现第一工件和第二工件的对位贴合,其中,第一机械手和第二机械手为能够按照实时接收程序抓取、移动工件,或操作工具的自动操作装置,而第一工件和第二工件可以是,但不限于半导体贴片、电阻贴片、光学显示构件,此外,在结构上,第一工件和第二工件可以呈矩形(正方形或长方形)片状结构、梯形片状结构、圆形片状结构等形状,本申请实施例对此不作具体限制。
在结构上,产品贴合设备100可以包括处理器110和存储器120。
处理器110分别存储器120直接或间接地电性连接,以实现数据的传输或交互,例如,可以通过一条或多条通讯总线或信号线实现电性连接。产品贴合方法的部分执行逻辑可以以至少一个软件模块、一段计算机程序或一个固件(Firmware)的形式存储在存储器120中,或固化在产品贴合设备100的操作***(Operating System,OS)中。处理器110用于执行存储器120中存储的软件功能模块或计算机程序等,以实现基于产品贴合方法。处理器110可以在接收到执行指令后,执行计算机程序。
其中,处理器110可以是一种集成电路芯片,具有信号处理能力。处理器110也可以是通用处理器,例如,可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、分立门或晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。此外,通用处理器可以是微处理器或者任何常规处理器等。
存储器120可以是,但不限于,随机存取存储器(Random Access Memory,RAM)、只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-OnlyMemory,PROM)、可擦可编程序只读存储器(Erasable Programmable Read-Only Memory,EPROM),以及电可擦编程只读存储器(Electric Erasable Programmable Read-OnlyMemory,EEPROM)。存储器120用于存储程序,处理器110在接收到执行指令后,执行该程序。
应当理解,图1所示的结构仅为示意,本申请实施例提供的产品贴合设备100还可以具有比图1更少或更多的组件,或是具有与图1所示不同的配置,例如,产品贴合设备100还可以包括通信组件,用于与第一相机、第二相机、第一机械手或第二机械手通信。
请参阅图2,为本申请实施例提供的一种产品贴合方法的步骤流程图,包括步骤S100、步骤S200和步骤S300,产品贴合方法应用于图1所示的产品贴合设备100,所应说明的是,本申请实施例提供的产品贴合方法不以图2及以下所示的顺序为限制,以下结合图2对本申请实施例提供的产品贴合方法的步骤流程进行描述。
步骤S100,从第一工件图像中确定出与第一工件对应的第一工件区域,并根据第一工件区域在第一工件图像中的位置信息,获取第一工件在第一相机坐标系中的坐标位置,第一工件图像通过第一相机对第一工件进行拍照获取。
本申请实施例中,第一机械手在盲抓第一工件,并移动至第一相机视野范围之后,可以生成拍照请求指令,并将拍照请求指令直接发送给第一相机,或通过产品贴合设备转发给第一相机,第一相机在接到拍照请求指令之后,启动运行,对第一工件进行拍照,获取第一工件图像,并将第一工件图像发送给产品贴合设备,通过产品贴合设备执行步骤S100。
本申请实施例中,可以通过Robert、Sobel、Laplace等边缘检测算法,从第一工件图像中确定出与第一工件对应的第一工件区域。此后,根据第一工件区域在第一工件图像中的位置信息,获取第一工件在第一相机坐标系中的坐标位置。
步骤S200,根据第一工件在第一相机坐标系中的坐标位置,获取第一工件在第一机械手坐标系中的第一当前位置。
本申请实施例中,可以结合第一相机坐标系与第一机械手坐标系之间的第一坐标映射关系,根据第一工件在第一相机坐标系中的坐标位置,获取第一工件在第一机械手坐标系中的第一当前位置。
请结合图3,对于第一坐标映射关系,本申请实施例中,作为第一种可选的实施方式,可以通过以下步骤获取。
(1)控制第一机械手的执行端抓取设置有Mark点的标定工件,并放置到第一相机的视野范围中心(例如,图3中的点位1),通过第一相机拍照标定工件,以获取当前时刻第一机械手执行端的位置信息;
(2)第一机械手的执行端按照预设轨迹分别走完N个点位(例如,图3中的点位2~点位9),每走完一个点位,则通过第一相机拍照标定工件,以获取当前时刻第一机械手执行端的位置信息;
(3)根据获取到的N+1个位置信息,获取第一坐标映射关系。
需要说明的是,以上实施方式中,N个点位的具体设置位置,以及N的具体取值可以根据项目需求设定,本申请实施例对此不作具体限制。
请结合图4,对于第一坐标映射关系,本申请实施例中,作为第二种可选的实施方式,可以通过以下步骤获取。
(1)控制第一机械手抓取设置有Mark点的标定工件之后,按照预设运动轨迹进行走点,第一相机依次拍照标定工件,以检测Mark点在第一相机视野范围内的位置信息;
(2)以Mark点在第一相机视野范围内呈现的运动轨迹如图4左所示为例,发现第一相机视野范围内,Mark点的运动轨迹(如图4左所示)与第一机械手执行端实际的运动轨迹(如图4右所示)是以点位1为中心对称点的中心对称关系,也即,第一相机固定不动的情况下,点位N在第一机械手坐标系中的坐标为第一机械手执行端给出的坐标中以点1为中心的对称点;
(3)根据步骤以上关系,计算出第一坐标映射关系。
请结合图5,对于第一坐标映射关系,本申请实施例中,作为第三种可选的实施方式,可以通过以下步骤获取。
(1)控制第一机械手的执行端抓取设置有Mark点的标定工件,并放置到第一相机的视野范围内的一侧(例如,图5中的点位1),通过第一相机拍照标定工件,以获取当前时刻第一机械手执行端的位置信息;
(2)第一机械手的执行端按照预设轨迹分别走完M个点位(例如,图5中的点位2~点位4),每走完一个点位,则通过第一相机拍照标定工件,以获取当前时刻第一机械手执行端的位置信息;
(3)根据获取到的M+1个位置信息,获取第一坐标映射关系。
需要说明的是,实际实施时,第一坐标映射关系的获取方法不限于以上三种,但是,可以优选以上第二种可选的实施方式,也即,图4所示的实施方式。
步骤S300,从第二工件图像中确定出与第二工件对应的第二工件区域,并根据所述第二工件区域在所述第二工件图像中的位置信息,获取所述第二工件在第二相机坐标系中的坐标位置,所述二工件图像通过第二相机对所述第二工件进行拍照获取。
本申请实施例中,第二机械手在盲抓第二工件,并移动至第二相机视野范围之后,可以生成拍照请求指令,并将拍照请求指令直接发送给第二相机,或通过产品贴合设备转发给第二相机,第二相机在接到拍照请求指令之后,启动运行,对第二工件进行拍照,获取第二工件图像,并将第二工件图像发送给产品贴合设备,以通过产品贴合设备执行步骤S300。
本申请实施例中,同样可以通过Robert、Sobel、Laplace等边缘检测算法,从第二工件图像中确定出与第二工件对应的第二工件区域。此后,根据第二工件区域在第二工件图像中的位置信息,获取第二工件在第二相机坐标系中的坐标位置。
步骤S400,根据第二工件在第二相机坐标系中的坐标位置,获取第二工件在第二机械手坐标系中的第一目标位置,并根据第一目标位置,获取第二工件在第一机械手坐标系中的第二目标位置,第二目标位置为第二工件的第二当前位置,或根据第二工件在第二相机坐标系中的坐标位置,获取第二工件在第二机械手坐标系中的第一目标位置,第一目标位置为第二当前位置。
本申请实施例中,可以结合第二相机坐标系与第二机械手坐标系之间的第二坐标映射关系,根据第二工件在第二相机坐标系中的坐标位置,获取第二工件在第二机械手坐标系中的第二当前位置,在此情况下,第一目标位置为第二当前位置。
对于第二坐标映射关系的获取方式,可以参照上述关于获取第一坐标映射关系的相关描述,此处不作赘述。
当然,在根据第二工件在第二相机坐标系中的坐标位置,获取第二工件在第二机械手坐标系中的第一目标位置之后,若存在相关需求,也可以结合第一机械手坐标系与第二机械手坐标系之间的第三坐标映射关系,根据第一目标位置,获取第二工件在第一机械手坐标系中的第二目标位置,在此情况下,第二目标位置为第二当前位置。
步骤S500,若第二目标位置为第二当前位置,则根据第一当前位置和第二当前位置,控制第一机械手对第一工件进行纠偏,以实现第一工件和第二工件的对位贴合,若第一目标位置为第二当前位置,则根据第一当前位置,控制第一机械手对第一工件进行纠偏,且根据第二当前位置,控制第二机械手对第二工件进行纠偏,以实现第一工件和第二工件的对位贴合。
需要说明的是,本申请实施例中,在执行步骤S500之前,还需要获取第一机械手旋转中心位置、第二机械手旋转中心位置、第一机械手模板、第二机械手模板、第一相机模板和第二相机模板,也即,表1所示信息。
表1
需要说明的是,本申请实施例中,第一机械手旋转中心位置、第二机械手旋转中心位置、第一机械手模板、第二机械手模板、第一相机模板和第二相机模板均可在***调试阶段,通过现有视觉技术获取,本申请实施例对此不作具体限制。
进一步地,本申请实施例中,在第二目标位置为第二当前位置,也即,第二当前位置为第二工件转换至第一机械手坐标系中的位置信息时,步骤S500中“根据第一当前位置和第二当前位置,控制第一机械手对第一工件进行纠偏,以实现第一工件和第二工件的对位贴合”可以包括步骤S510和步骤S520。
步骤S510,根据第一当前位置和第二当前位置,计算出针对第一工件的第一纠偏量。
步骤S520,将第一纠偏量发送给第一机械手,以供第一机械手根据第一纠偏量对第一工件进行纠偏,实现第一工件和第二工件的对位贴合。
请结合图6,对于步骤S510,本申请实施例中,作为一种可选的实施方式,可以通过以下步骤计算出针对第一工件的第一纠偏量,且步骤S510执行过程基于第一机械手坐标系。
(1)根据第一当前位置、第一机械手旋转中心位置,以及第一机械手模板与第二机械手模板之间的第一角度偏差,获取将第一机械手模板角度纠偏至与第二机械手模板角度一致时,第一工件的第三当前位置。
如图6所示,第一当前位置表征为(P.X,P.Y)。
第一机械手模板与第二机械手模板之间的第一角度偏差:
△R1=Pr2.R-Pr.R
其中,△R1为第一角度偏差,Pr2.R为第一机械手模板在第一机械手坐标系中的偏移角,Pr.R为第二机械手模板在第一机械坐标系中的偏移角。
此后,通过以下逻辑计算公式,获取将第一机械手模板角度纠偏至与第二机械手模板角度一致时,第一工件的第三当前位置:
P11.X=(P.X-Pc.X)*cos(△R1)-(P.Y-Pc.Y)*sin(△R1)+Pc.X
P11.Y=(P.X-Pc.X)*sin(△R1)+(P.Y-Pc.Y)*cos(△R1)+Pc.Y
其中,(P11.X,P11.Y)为第三当前位置,(P.X,P.Y)为第一当前位置,(Pc.X,Pc.Y)为第一机械手旋转中心位置,△R1为第一角度偏差。
(2)根据第三当前位置、第一机械手旋转中心位置和第二机械手旋转中心位置,获取将第一机械手旋转中心平移至与第二机械手旋转中心重合时,第一工件在第一机械手坐标轴中的第四当前位置。
第四当前位置通过以下逻辑计算公式获取:
P22.X=P11.X+Pc2.X-Pc.X
P22.Y=P11.Y+Pc2.Y-Pc.Y
其中,(P22.X,P22.Y)为第四当前位置,(P11.X,P11.Y)为第三当前位置,(Pc.X,Pc.Y)为第一机械手旋转中心位置,(Pc2.X,Pc2.Y)为第二机械手旋转中心位置。
(3)根据第四当前位置、第二相机模板,以及第一相机模板与第一当前位置之间第二角度偏差,获取将第一工件由第四当前位置纠偏至与第二相机模板角度一致时,第一工件在第一机械手坐标系中的第五当前位置。
如图6所示,第一相机模板与第一当前位置之间的第二角度偏差:
△R2=Pm.R-P.R
其中,△R2为第二角度偏差,Pm.R为第一相机模板在第一机械手坐标系中的偏移角,P.R为第一当前位置在第一机械坐标系中的偏移角。
此后,通过以下逻辑计算公式,获取将第一工件由第四当前位置纠偏至与第二相机模板角度一致时,第一工件在第一机械手坐标系中的第五当前位置:
P33.X=(P22.X–Pc2.X)*cos(△R2)-(P22.Y–Pc2.Y)*sin(△R2)+Pc2.X
P33.Y=(P22.X–Pc2.X)*sin(△R2)+(P22.Y–Pc2.Y)*cos(△R2)+Pc2.Y
其中,(P33.X,P33.Y)为第五当前位置,(P22.X,P22.Y)为第四当前位置,(Pc2.X,Pc2.Y)为第二机械手旋转中心位置,△R2为第二角度偏差。
(4)根据第五当前位置、第二机械手旋转中心位置,以及第二当前位置与第二相机模板之间的第三角度偏差,获取将第二相机模板纠偏至与第二当前位置角度一致时,第一工件在第一机械手坐标系中的第六当前位置。
如图6所示,第二当前位置与第二相机模板之间的第三角度偏差:
△R3=P2.R-Pm2.R
其中,△R3为第三角度偏差,P2.R为第二当前位置在第一机械手坐标系中的偏移角,Pm2.R为第二相机模板在第一机械坐标系中的偏移角。
此后,通过以下逻辑计算公式,获取将第二相机模板纠偏至与第二当前位置角度一致时,第一工件在第一机械手坐标系中的第六当前位置:
P44.X=(P33.X–Pc2.X)*cos(△R3)-(P33.Y–Pc2.Y)*sin(△R3)+Pc2.X
P44.Y=(P33.X–Pc2.X)*sin(△R3)+(P33.Y–Pc2.Y)*cos(△R3)+Pc2.Y
其中,(P44.X,P44.Y)为第六当前位置,(P33.X,P33.Y)为第五当前位置,(Pc2.X,Pc2.Y)为第二机械手旋转中心位置,△R3为第三角度偏差。
(5)根据第二当前位置、第六当前位置、第二角度偏差和第三角度偏差,计算出针对第一工件的第一纠偏量。
△X11=P2.X–P44.X
△Y11=P2.Y–P44.Y
△R11=△R2+△R3
其中,△X11、△Y11、△R11为第一纠偏量,(P2.X,P2.Y)为第二当前位置,P44.X,P44.Y)为第六当前位置,△R2为第二角度偏差,△R3为第三角度偏差。
在获得第一纠偏量之后,由第一机械手根据第一纠偏量对第一工件进行纠偏,实现第一工件和第二工件的对位贴合,也即,第二当前位置为第二工件转换至第一机械手坐标系中的位置信息的情况下,纠偏动作由第一机械手执行。
当然,纠偏动作也可以由第一机械手和第二机械手配合执行,此时,第一目标位置为第二当前位置,也即,第二当前位置为第二机械手坐标系中的位置信息时,那么,步骤S500中“根据第一当前位置,控制第一机械手对第一工件进行纠偏,且根据第二当前位置,控制第二机械手对第二工件进行纠偏,以实现第一工件和第二工件的对位贴合”可以包括步骤S530、步骤S540和步骤S550。
步骤S530,根据第一当前位置,计算出针对第一工件的第二纠偏量。
步骤S540,根据第二当前位置,计算出针对第二工件的第三偏移量。
步骤S550,将第二纠偏量发送给第一机械手,以及将第三纠偏量发送给第二机械手,以供第一机械手根据第二纠偏量对第一工件进行纠偏,第二机械手根据第三纠偏量对第二工件进行纠偏,实现第一工件和第二工件的对位贴合。
请结合图7,对于步骤S530,本申请实施例中,作为一种可选的实施方式,可以通过以下步骤计算出针对第一工件的第二纠偏量,且步骤S530执行过程基于第一机械手坐标系。
(1)根据第一当前位置、第一机械手旋转中心位置和第一机械手模板与第二机械手模板之间的第四角度偏差,获取将第一机械手模板角度纠偏至与第二机械手模板角度一致时,第一工件的第七当前位置。
如图7所示,第一当前位置表征为(P.X,P.Y)。
第一机械手模板与第二机械手模板之间的第四角度偏差:
△R4=Pr2.R-Pr.R
其中,△R4为第四角度偏差,Pr2.R为第一机械手模板在第一机械手坐标系中的偏移角,Pr.R为第二机械手模板在第一机械坐标系中的偏移角。
此后,通过以下逻辑计算公式,获取将第一机械手模板角度纠偏至与第二机械手模板角度一致时,第一工件的第七当前位置:
P55.X=(P.X-Pc.X)*cos(△R4)-(P.Y-Pc.Y)*sin(△R4)+Pc.X
P55.Y=(P.X-Pc.X)*sin(△R4)+(P.Y-Pc.Y)*cos(△R4)+Pc.Y
其中,(P55.X,P55.Y)为第七当前位置,(P.X,P.Y)为第一当前位置,(Pc.X,Pc.Y)为第一机械手旋转中心位置,△R4为第四角度偏差。
(2)根据第七当前位置、第一机械手旋转中心位置和第一相机模板与第一当前位置之间第五角度偏差,获取将第一工件由第七当前位置纠偏至与第一相机模板角度一致时,第一工件的第八当前位置。
如图7所示,第一相机模板与第一当前位置之间第五角度偏差:
△R5=Pm.R-P.R
其中,△R5为第五角度偏差,Pm.R为第一相机模板在第一机械手坐标系中的偏移角,P.R为第一当前位置在第一机械坐标系中的偏移角。此后,通过以下逻辑计算公式,获取将第一工件由第七当前位置纠偏至与第一相机模板角度一致时,第一工件的第八当前位置:
P66.X=(P55.X-Pc.X)*cos(△R5)-(P55.Y-Pc.Y)*sin(△R5)+Pc.X
P66.Y=(P55.X-Pc.X)*sin(△R5)+(P55.Y-Pc.Y)*cos(△R5)+Pc.Y
其中,(P66.X,P66.Y)为第八当前位置,(P55.X,P55.Y)为第七当前位置,(Pc.X,Pc.Y)为第一机械手旋转中心位置,△R5为第五角度偏差。
(3)根据第一相机模板、第一机械手旋转中心位置和第四角度偏差,获取将第一相机模板角度纠偏至与第二相机模板角度一致时,第一工件在第一机械手坐标系中的第九当前位置。
第九当前位置通过以下逻辑计算公式获取:
P77.X=(Pm.X-Pc.X)*cos(△R4)-(Pm.Y-Pc.Y)*sin(△R4)+Pc.X
P77.Y=(Pm.X-Pc.X)*sin(△R4)+(Pm.Y-Pc.Y)*cos(△R4)+Pc.Y
其中,(P77.X,P77.Y)为第九当前位置,(Pm.X,Pm.Y)第一相机模板模板,(Pc.X,Pc.Y)为第一机械手旋转中心位置,△R4为第四角度偏差。
(4)根据第九当前位置和第五角度偏差,计算出针对第一工件的第二纠偏量。
△X22=P77.X–P66.X
△Y22=P77.Y–P66.Y
△R22=△R5
其中,△X22、△Y22、△R22为第二纠偏量,(P77.X,P77.Y)为第九当前位置,(P66.X,P66.Y)为第八当前位置,△R5为第五角度偏差。
请结合图8,对于步骤S540,本申请实施例中,作为一种可选的实施方式,可以通过以下步骤计算出针对第二工件的第三偏移量,且步骤S540执行过程基于第二机械手坐标系。
(1)根据第二当前位置、第二机械手旋转中心位置、第二相机模板与第二当前位置之间第六角度偏差,获取将第一工件由第二当前位置纠偏至与第二相机模板角度一致时,第二工件的第十当前位置。
如图8所示,第二当前位置表征为(P2.X,P2.Y)。
第二相机模板与第二当前位置之间第六角度偏差:
△R6=Pm2.R-P2.R
其中,△R6为第六角度偏差,Pm2.R第二相机模板在第二机械手坐标系中的偏移角,P2.R为第二当前位置在第二机械坐标系中的偏移角。
此后,通过以下逻辑计算公式,获取将第一工件由第二当前位置纠偏至与第二相机模板角度一致时,第二工件的第十当前位置:
P88.X=(P2.X–Pc2.X)*cos(△R6)-(P2.Y-Pc2.Y)*sin(△R6)+Pc2.X
P88.Y=(P2.X-Pc2.X)*sin(△R6)+(P2.Y–Pc2.Y)*cos(△R6)+Pc2.Y
其中,(P88.X,P88.Y)为第十当前位置,(P2.X,P2.Y)为第二当前位置,(Pc2.X,Pc2.Y)为第二机械手旋转中心位置,△R6为第六角度偏差。
(2)根据第二相机模板、第十当前位置和第六角度偏差,计算出针对第二工件的第三偏移量。
△X33=Pm2.X–P88.X
△Y33=Pm2.Y–P88.Y
△R33=△R6
其中,△X33、△Y33、△R33为第三纠偏量,(Pm2.X,Pm2.Y)第二相机模板,(P88.X,P88.Y)为第十当前位置,△R6为第六角度偏差。
在获得第二纠偏量和第三纠偏量之后,由第一机械手根据第二纠偏量对第一工件进行纠偏,同时,由第二机械手根据第三纠偏量对第二工件进行纠偏,实现第一工件和第二工件的对位贴合,也即,第二当前位置为第二机械手坐标系中的位置信息的情况下,纠偏动作由第一机械手和第二机械手配合执行。
基于与上述产品贴合方法同样的发明构思,本申请实施例还提供了一种产品贴合装置200。请参阅图9,本申请实施例提供的产品贴合装置200包括第一位置获取模块210、第二位置获取模块220、第三位置获取模块230、第四位置获取模块240和纠偏计算模块250。
第一位置获取模块210,用于从第一工件图像中确定出与第一工件对应的第一工件区域,并根据第一工件区域在第一工件图像中的位置信息,获取第一工件在第一相机坐标系中的坐标位置,第一工件图像通过第一相机对第一工件进行拍照获取。
第二位置获取模块220,用于根据第一工件在第一相机坐标系中的坐标位置,获取第一工件在第一机械手坐标系中的第一当前位置。
第三位置获取模块230,用于从第二工件图像中确定出与第二工件对应的第二工件区域,并根据第二工件区域在第二工件图像中的位置信息,获取第二工件在第二相机坐标系中的坐标位置,第二工件图像通过第二相机对第二工件进行拍照获取。
第四位置获取模块240,用于根据第二工件在第二相机坐标系中的坐标位置,获取第二工件在第二机械手坐标系中的第一目标位置,并根据第一目标位置,获取第二工件在第一机械手坐标系中的第二目标位置,第二目标位置为第二工件的第二当前位置,或根据第二工件在第二相机坐标系中的坐标位置,获取第二工件在第二机械手坐标系中的第一目标位置,第一目标位置为第二当前位置。
纠偏计算模块250,用于在第二目标位置为第二当前位置时,根据第一当前位置和第二当前位置,控制第一机械手对第一工件进行纠偏,以实现第一工件和第二工件的对位贴合,在第一目标位置为第二当前位置时,根据第一当前位置,控制第一机械手对第一工件进行纠偏,且根据第二当前位置,控制第二机械手对第二工件进行纠偏,以实现第一工件和第二工件的对位贴合。
本申请实施例中,纠偏计算模块250可以包括第一纠偏量计算单元和第一纠偏控制单元。
第一纠偏量计算单元,用于根据第一当前位置和第二当前位置,计算出针对第一工件的第一纠偏量。
第一纠偏控制单元,用于将第一纠偏量发送给第一机械手,以供第一机械手根据第一纠偏量对第一工件进行纠偏,实现第一工件和第二工件的对位贴合。
本申请实施例中,第一纠偏计算单元可以包括第一位置计算单元、第二位置计算单元、第三位置计算单元、第四位置计算单元和第一纠偏量计算子单元。
第一位置计算单元,用于根据第一当前位置、第一机械手旋转中心位置,以及第一机械手模板与第二机械手模板之间的第一角度偏差,获取将第一机械手模板角度纠偏至与第二机械手模板角度一致时,第一工件的第三当前位置。
第二位置计算单元,用于根据第三当前位置、第一机械手旋转中心位置和第二机械手旋转中心位置,获取将第一机械手旋转中心平移至与第二机械手旋转中心重合时,第一工件在第一机械手坐标轴中的第四当前位置。
第三位置计算单元,用于根据第四当前位置、第二相机模板,以及第一相机模板与第一当前位置之间第二角度偏差,获取将第一工件由第四当前位置纠偏至与第二相机模板角度一致时,第一工件在第一机械手坐标系中的第五当前位置。
第四位置计算单元,用于根据第五当前位置、第二机械手旋转中心位置,以及第二当前位置与第二相机模板之间的第三角度偏差,获取将第二相机模板纠偏至与第二当前位置角度一致时,第一工件在第一机械手坐标系中的第六当前位置。
第一纠偏量计算子单元,用于根据第二当前位置、第六当前位置、第二角度偏差和第三角度偏差,计算出针对第一工件的第一纠偏量。
本申请实施例中,纠偏计算模块250可以包括第二纠偏量计算单元、第三纠偏量计算单元和第二纠偏控制单元。
第二纠偏量计算单元,用于根据第一当前位置,计算出针对第一工件的第二纠偏量。
第三纠偏量计算单元,用于根据第二当前位置,计算出针对第二工件的第三偏移量。
第二纠偏控制单元,用于将第二纠偏量发送给第一机械手,以及将第三纠偏量发送给第二机械手,以供第一机械手根据第二纠偏量对第一工件进行纠偏,第二机械手根据第三纠偏量对第二工件进行纠偏,实现第一工件和第二工件的对位贴合。
本申请实施例中,第二纠偏量计算单元可以包括第五位置计算单元、第六位置计算单元、第七位置计算单元和第二纠偏计算子单元。
第五位置计算单元,用于根据第一当前位置、第一机械手旋转中心位置和第一机械手模板与第二机械手模板之间的第四角度偏差,获取将第一机械手模板角度纠偏至与第二机械手模板角度一致时,第一工件的第七当前位置。
第六位置计算单元,用于根据第七当前位置、第一机械手旋转中心位置和第一相机模板与第一当前位置之间第五角度偏差,获取将第一工件由第七当前位置纠偏至与第一相机模板角度一致时,第一工件的第八当前位置。
第七位置计算单元,用于根据第一相机模板、第一机械手旋转中心位置和第四角度偏差,获取将第一相机模板角度纠偏至与第二相机模板角度一致时,第一工件在第一机械手坐标系中的第九当前位置。
第二纠偏计算子单元,用于根据第九当前位置和第五角度偏差,计算出针对第一工件的第二纠偏量。
本申请实施例中,第三纠偏量计算单元可以包括第八位置计算单元和第三纠偏计算子单元。
第八位置计算单元,用于根据第二当前位置、第二机械手旋转中心位置、第二相机模板与第二当前位置之间第六角度偏差,获取将第一工件由第二当前位置纠偏至与第二相机模板角度一致时,第二工件的第十当前位置。
第三纠偏计算子单元,用于根据第二相机模板、第十当前位置和第六角度偏差,计算出针对第二工件的第三偏移量。
由于本申请实施例提供的产品贴合装置200是基于与上述产品贴合方法同样的发明构思实现的,因此,产品贴合装置200中,每个软件模块的具体描述,均可参见上述产品贴合方法实施例中对应步骤的相关描述,此处不作赘述。
请参阅图10,本申请实施例提供的产品贴合***300包括第一相机310、第二相机320、第一机械手330、第二机械手340,以及第三方面所提供的产品贴合设备,第一相机310、第二相机320、第一机械手330和第二机械手340分别与产品贴合设备连接。
产品贴合设备用于:
从第一工件图像中确定出与第一工件对应的第一工件区域,并根据第一工件区域在第一工件图像中的位置信息,获取第一工件在第一相机坐标系中的坐标位置,第一工件图像通过第一相机310对第一工件进行拍照获取。
根据第一工件在第一相机坐标系中的坐标位置,获取第一工件在第一机械手坐标系中的第一当前位置。
从第二工件图像中确定出与第二工件对应的第二工件区域,并根据第二工件区域在第二工件图像中的位置信息,获取第二工件在第二相机坐标系中的坐标位置,第二工件图像通过第二相机320对第二工件进行拍照获取。
根据第二工件在第二相机坐标系中的坐标位置,获取第二工件在第二机械手坐标系中的第一目标位置,并根据第一目标位置,获取第二工件在第一机械手坐标系中的第二目标位置,第二目标位置为第二工件的第二当前位置,或根据第二工件在第二相机坐标系中的坐标位置,获取第二工件在第二机械手坐标系中的第一目标位置,第一目标位置为第二当前位置。
若第二目标位置为第二当前位置,则根据第一当前位置和第二当前位置,控制第一机械手330对第一工件进行纠偏,以实现第一工件和第二工件的对位贴合,若第一目标位置为第二当前位置,则根据第一当前位置,控制第一机械手330对第一工件进行纠偏,且根据第二当前位置,控制第二机械手340对第二工件进行纠偏,以实现第一工件和第二工件的对位贴合。
由于本申请实施例提供的产品贴合***300是基于与上述产品贴合方法同样的发明构思实现的,因此,产品贴合***300中,每个组成部分的具体描述,均可参见上述产品贴合方法实施例中对应步骤的相关描述,此处不作赘述。
此外,本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被执行时,实现上述方法实施例所提供的产品贴合方法,具体可参见上述方法实施例,本申请实施例中对此不作赘述。
综上所述,一方面,本申请实施例提供的产品贴合方法的实施过程中,由于第一工件图像通过第一相机对第一工件单独进行拍照获取,第二工件图像通过第二相机对第二工件单独进行拍照获取,因此,在小视野范围下即可完成拍照动作,相对于通过单个相机同时对第一工件和第二工件进行拍照的方案而言,能够提高第一工件和第二工件的定位精度,最终,提高第一工件和第二工件的对位贴合精度,另一方面,若第二目标位置为第二当前位置,则根据第一当前位置和第二当前位置,控制第一机械手对第一工件进行纠偏,以实现第一工件和第二工件的对位贴合,若第一目标位置为第二当前位置,则根据第一当前位置,控制第一机械手对第一工件进行纠偏,且根据第二当前位置,控制第二机械手对第二工件进行纠偏,以实现第一工件和第二工件的对位贴合,因此,相对于现有技术而言,调试工作量较小、调试时间较短,因此,能够提高对位贴合效率。
进一步地,本申请实施例提供的产品贴合方法的实施过程中,根据第一当前位置和第二当前位置,计算出针对第一工件的第一纠偏量时,所采用的具体纠偏策略简易化,同样,根据第一当前位置,计算出针对第一工件的第二纠偏量,以及根据第二当前位置,计算出针对第二工件的第三偏移量时,所采用的具体纠偏策略简易化,因此,能够进一步减少调试时间,从而提高第一工件和第二工件的对位贴合效率。
本申请实施例提供的产品贴合装置、设备、***及计算机可读存储介质具有与上述产品贴合方法相同的有益效果,此处不作赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的设备来实现,或者可以用专用硬件与计算机指令的组合来实现。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请每个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、随机存取存储器RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
此外,需要说明的是,本申请实施例中,诸如“第一”、“第二”和“第三”等关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
Claims (10)
1.一种产品贴合方法,其特征在于,包括:
从第一工件图像中确定出与第一工件对应的第一工件区域,并根据所述第一工件区域在所述第一工件图像中的位置信息,获取所述第一工件在第一相机坐标系中的坐标位置,所述第一工件图像通过第一相机对所述第一工件进行拍照获取;
根据所述第一工件在所述第一相机坐标系中的坐标位置,获取所述第一工件在第一机械手坐标系中的第一当前位置;
从第二工件图像中确定出与第二工件对应的第二工件区域,并根据所述第二工件区域在所述第二工件图像中的位置信息,获取所述第二工件在第二相机坐标系中的坐标位置,所述第二工件图像通过第二相机对所述第二工件进行拍照获取;
根据所述第二工件在所述第二相机坐标系中的坐标位置,获取所述第二工件在第二机械手坐标系中的第一目标位置,并根据所述第一目标位置,获取所述第二工件在第一机械手坐标系中的第二目标位置,所述第二目标位置为所述第二工件的第二当前位置,或根据所述第二工件在所述第二相机坐标系中的坐标位置,获取所述第二工件在第二机械手坐标系中的第一目标位置,所述第一目标位置为所述第二当前位置;
若所述第二目标位置为所述第二当前位置,则根据所述第一当前位置和所述第二当前位置,控制第一机械手对所述第一工件进行纠偏,以实现所述第一工件和所述第二工件的对位贴合,若所述第一目标位置为所述第二当前位置,则根据所述第一当前位置,控制第一机械手对所述第一工件进行纠偏,且根据所述第二当前位置,控制第二机械手对所述第二工件进行纠偏,以实现所述第一工件和所述第二工件的对位贴合。
2.根据权利要求1所述的产品贴合方法,其特征在于,所述根据所述第一当前位置和所述第二当前位置,控制第一机械手对所述第一工件进行纠偏,以实现所述第一工件和所述第二工件的对位贴合,包括:
根据所述第一当前位置和所述第二当前位置,计算出针对所述第一工件的第一纠偏量;
将所述第一纠偏量发送给第一机械手,以供所述第一机械手根据所述第一纠偏量对所述第一工件进行纠偏,实现所述第一工件和所述第二工件的对位贴合。
3.根据权利要求2所述的产品贴合方法,其特征在于,所述根据所述第一当前位置和所述第二当前位置,计算出针对所述第一工件的第一纠偏量,包括:
根据所述第一当前位置、第一机械手旋转中心位置,以及第一机械手模板与第二机械手模板之间的第一角度偏差,获取将所述第一机械手模板角度纠偏至与所述第二机械手模板角度一致时,所述第一工件的第三当前位置;
根据所述第三当前位置、所述第一机械手旋转中心位置和第二机械手旋转中心位置,获取将所述第一机械手旋转中心平移至与所述第二机械手旋转中心重合时,所述第一工件在所述第一机械手坐标轴中的第四当前位置;
根据所述第四当前位置、所述第二相机模板,以及所述第一相机模板与所述第一当前位置之间第二角度偏差,获取将所述第一工件由所述第四当前位置纠偏至与所述第二相机模板角度一致时,所述第一工件在所述第一机械手坐标系中的第五当前位置;
根据所述第五当前位置、所述第二机械手旋转中心位置,以及所述第二当前位置与所述第二相机模板之间的第三角度偏差,获取将所述第二相机模板纠偏至与所述第二当前位置角度一致时,所述第一工件在所述第一机械手坐标系中的第六当前位置;
根据所述第二当前位置、所述第六当前位置、所述第二角度偏差和所述第三角度偏差,计算出针对所述第一工件的第一纠偏量。
4.根据权利要求1所述的产品贴合方法,其特征在于,所述根据所述第一当前位置,控制第一机械手对所述第一工件进行纠偏,且根据所述第二当前位置,控制第二机械手对所述第二工件进行纠偏,以实现所述第一工件和所述第二工件的对位贴合,包括:
根据所述第一当前位置,计算出针对所述第一工件的第二纠偏量;
根据所述第二当前位置,计算出针对所述第二工件的第三偏移量;
将所述第二纠偏量发送给所述第一机械手,以及将所述第三纠偏量发送给所述第二机械手,以供所述第一机械手根据所述第二纠偏量对所述第一工件进行纠偏,所述第二机械手根据所述第三纠偏量对所述第二工件进行纠偏,实现所述第一工件和所述第二工件的对位贴合。
5.根据权利要求4所述的产品贴合方法,其特征在于,所述根据所述第一当前位置,计算出针对所述第一工件的第二纠偏量,包括:
根据所述第一当前位置、第一机械手旋转中心位置和第一机械手模板与第二机械手模板之间的第四角度偏差,获取将所述第一机械手模板角度纠偏至与所述第二机械手模板角度一致时,所述第一工件的第七当前位置;
根据所述第七当前位置、所述第一机械手旋转中心位置和所述第一相机模板与所述第一当前位置之间第五角度偏差,获取将所述第一工件由所述第七当前位置纠偏至与所述第一相机模板角度一致时,所述第一工件的第八当前位置;
根据所述第一相机模板、所述第一机械手旋转中心位置和所述第四角度偏差,获取将所述第一相机模板角度纠偏至与所述第二相机模板角度一致时,所述第一工件在所述第一机械手坐标系中的第九当前位置;
根据所述第九当前位置和所述第五角度偏差,计算出针对所述第一工件的第二纠偏量。
6.根据权利要求4所述的产品贴合方法,其特征在于,所述根据所述第二当前位置,计算出针对所述第二工件的第三偏移量,包括:
根据所述第二当前位置、第二机械手旋转中心位置、第二相机模板与所述第二当前位置之间第六角度偏差,获取将所述第一工件由所述第二当前位置纠偏至与所述第二相机模板角度一致时,所述第二工件的第十当前位置;
根据所述第二相机模板、所述第十当前位置和所述第六角度偏差,计算出针对所述第二工件的第三偏移量。
7.一种产品贴合装置,其特征在于,包括:
第一位置获取模块,用于从第一工件图像中确定出与第一工件对应的第一工件区域,并根据所述第一工件区域在所述第一工件图像中的位置信息,获取所述第一工件在第一相机坐标系中的坐标位置,所述第一工件图像通过第一相机对所述第一工件进行拍照获取;
第二位置获取模块,用于根据所述第一工件在所述第一相机坐标系中的坐标位置,获取所述第一工件在第一机械手坐标系中的第一当前位置;
第三位置获取模块,用于从第二工件图像中确定出与第二工件对应的第二工件区域,并根据所述第二工件区域在所述第二工件图像中的位置信息,获取所述第二工件在第二相机坐标系中的坐标位置,所述第二工件图像通过第二相机对所述第二工件进行拍照获取;
第四位置获取模块,用于根据所述第二工件在所述第二相机坐标系中的坐标位置,获取所述第二工件在第二机械手坐标系中的第一目标位置,并根据所述第一目标位置,获取所述第二工件在第一机械手坐标系中的第二目标位置,所述第二目标位置为所述第二工件的第二当前位置,或根据所述第二工件在所述第二相机坐标系中的坐标位置,获取所述第二工件在第二机械手坐标系中的第一目标位置,所述第一目标位置为所述第二当前位置;
纠偏计算模块,用于在所述第二目标位置为所述第二当前位置时,根据所述第一当前位置和所述第二当前位置,控制第一机械手对所述第一工件进行纠偏,以实现所述第一工件和所述第二工件的对位贴合,在所述第一目标位置为所述第二当前位置时,根据所述第一当前位置,控制第一机械手对所述第一工件进行纠偏,且根据所述第二当前位置,控制第二机械手对所述第二工件进行纠偏,以实现所述第一工件和所述第二工件的对位贴合。
8.一种产品贴合设备,其特征在于,包括处理器和存储器,所述存储器上存储有计算机程序,所述处理器用于执行所述计算机程序,以实现权利要求1~6中任意一项所述的产品贴合方法。
9.一种产品贴合***,其特征在于,包括第一相机、第二相机、第一机械手、第二机械手,以及权利要求8所述的产品贴合设备,所述第一相机、所述第二相机、所述第一机械手和所述第二机械手分别与所述产品贴合设备连接;
所述产品贴合设备用于:
从第一工件图像中确定出与第一工件对应的第一工件区域,并根据所述第一工件区域在所述第一工件图像中的位置信息,获取所述第一工件在第一相机坐标系中的坐标位置,所述第一工件图像通过第一相机对所述第一工件进行拍照获取;
根据所述第一工件在所述第一相机坐标系中的坐标位置,获取所述第一工件在第一机械手坐标系中的第一当前位置;
从第二工件图像中确定出与第二工件对应的第二工件区域,并根据所述第二工件区域在所述第二工件图像中的位置信息,获取所述第二工件在第二相机坐标系中的坐标位置,所述第二工件图像通过第二相机对所述第二工件进行拍照获取;
根据所述第二工件在所述第二相机坐标系中的坐标位置,获取所述第二工件在第二机械手坐标系中的第一目标位置,并根据所述第一目标位置,获取所述第二工件在第一机械手坐标系中的第二目标位置,所述第二目标位置为所述第二工件的第二当前位置,或根据所述第二工件在所述第二相机坐标系中的坐标位置,获取所述第二工件在第二机械手坐标系中的第一目标位置,所述第一目标位置为所述第二当前位置;
若所述第二目标位置为所述第二当前位置,则根据所述第一当前位置和所述第二当前位置,控制第一机械手对所述第一工件进行纠偏,以实现所述第一工件和所述第二工件的对位贴合,若所述第一目标位置为所述第二当前位置,则根据所述第一当前位置,控制第一机械手对所述第一工件进行纠偏,且根据所述第二当前位置,控制第二机械手对所述第二工件进行纠偏,以实现所述第一工件和所述第二工件的对位贴合。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被执行时,可实现权利要求1~6中任意一项所述的产品贴合方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110697548.6A CN113393534B (zh) | 2021-06-23 | 2021-06-23 | 产品贴合方法、装置、设备及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110697548.6A CN113393534B (zh) | 2021-06-23 | 2021-06-23 | 产品贴合方法、装置、设备及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113393534A true CN113393534A (zh) | 2021-09-14 |
CN113393534B CN113393534B (zh) | 2022-06-17 |
Family
ID=77623508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110697548.6A Active CN113393534B (zh) | 2021-06-23 | 2021-06-23 | 产品贴合方法、装置、设备及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113393534B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114723752A (zh) * | 2022-06-07 | 2022-07-08 | 成都新西旺自动化科技有限公司 | 一种融合目标检测和模板匹配的高精度对位方法及*** |
CN115008477A (zh) * | 2022-08-09 | 2022-09-06 | 苏州华兴源创科技股份有限公司 | 机械手移动补偿方法、装置、计算机可读存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110295408A1 (en) * | 2010-05-27 | 2011-12-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Process for positioning a workpiece |
CN108364311A (zh) * | 2018-01-29 | 2018-08-03 | 深圳市亿图视觉自动化技术有限公司 | 一种金属部件自动定位方法及终端设备 |
CN110539306A (zh) * | 2019-09-06 | 2019-12-06 | 广东利元亨智能装备股份有限公司 | 工件贴合方法及设备 |
CN110561435A (zh) * | 2019-09-17 | 2019-12-13 | 北京康视杰视觉技术有限公司 | 一种引导机械手的方法、装置、***及上位机 |
CN110587992A (zh) * | 2019-09-05 | 2019-12-20 | 深圳市巨力方视觉技术有限公司 | 物品的贴合方法、装置和计算机可读存储介质 |
CN110928235A (zh) * | 2019-11-18 | 2020-03-27 | 广东利元亨智能装备股份有限公司 | 工件贴合方法、装置、电子设备及工件贴合*** |
CN111445521A (zh) * | 2020-02-24 | 2020-07-24 | 季华实验室 | 目标工件位置确定方法、装置、终端及可读存储介质 |
CN111604621A (zh) * | 2020-05-15 | 2020-09-01 | 珠海瑞凌焊接自动化有限公司 | 定位方法、装置、终端及存储介质 |
-
2021
- 2021-06-23 CN CN202110697548.6A patent/CN113393534B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110295408A1 (en) * | 2010-05-27 | 2011-12-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Process for positioning a workpiece |
CN108364311A (zh) * | 2018-01-29 | 2018-08-03 | 深圳市亿图视觉自动化技术有限公司 | 一种金属部件自动定位方法及终端设备 |
CN110587992A (zh) * | 2019-09-05 | 2019-12-20 | 深圳市巨力方视觉技术有限公司 | 物品的贴合方法、装置和计算机可读存储介质 |
CN110539306A (zh) * | 2019-09-06 | 2019-12-06 | 广东利元亨智能装备股份有限公司 | 工件贴合方法及设备 |
CN110561435A (zh) * | 2019-09-17 | 2019-12-13 | 北京康视杰视觉技术有限公司 | 一种引导机械手的方法、装置、***及上位机 |
CN110928235A (zh) * | 2019-11-18 | 2020-03-27 | 广东利元亨智能装备股份有限公司 | 工件贴合方法、装置、电子设备及工件贴合*** |
CN111445521A (zh) * | 2020-02-24 | 2020-07-24 | 季华实验室 | 目标工件位置确定方法、装置、终端及可读存储介质 |
CN111604621A (zh) * | 2020-05-15 | 2020-09-01 | 珠海瑞凌焊接自动化有限公司 | 定位方法、装置、终端及存储介质 |
Non-Patent Citations (2)
Title |
---|
郭晓磊 等: "板式部件边部UV垂直辊涂机的设计", 《技术开发》 * |
郭晓磊 等: "板式部件边部UV垂直辊涂机的设计", 《技术开发》, 29 March 2014 (2014-03-29), pages 112 - 114 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114723752A (zh) * | 2022-06-07 | 2022-07-08 | 成都新西旺自动化科技有限公司 | 一种融合目标检测和模板匹配的高精度对位方法及*** |
CN115008477A (zh) * | 2022-08-09 | 2022-09-06 | 苏州华兴源创科技股份有限公司 | 机械手移动补偿方法、装置、计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113393534B (zh) | 2022-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113393534B (zh) | 产品贴合方法、装置、设备及*** | |
CN110125926B (zh) | 自动化的工件取放方法及*** | |
CN111612794B (zh) | 基于多2d视觉的零部件高精度三维位姿估计方法及*** | |
CN107984201A (zh) | 一种基于视觉伺服的螺孔定位及锁卸螺丝方法 | |
JP2002027507A (ja) | カメラ・キャリブレーション装置及び方法、並びに、記憶媒体 | |
WO2018209592A1 (zh) | 一种机器人的运动控制方法、机器人及控制器 | |
JP4794011B2 (ja) | 画像処理装置、およびロボット制御システム | |
JP2020047049A (ja) | 画像処理装置及び画像処理方法 | |
WO2020063058A1 (zh) | 一种多自由度可动视觉***的标定方法 | |
CN112792814A (zh) | 基于视觉标志的机械臂零点标定方法 | |
JP2003311670A (ja) | ロボットアームの位置制御方法およびロボット装置 | |
JP7427370B2 (ja) | 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体 | |
JP2018173882A (ja) | 情報処理装置、方法、及びプログラム | |
CN117260712A (zh) | 机器人末端组件自动校准坐标的方法、***、装置及介质 | |
JP5418490B2 (ja) | 位置決め制御装置およびこれを備えた位置決め装置 | |
CN111699445B (zh) | 机器人运动学模型优化方法、***和存储装置 | |
JPH0511822A (ja) | ロボツトの協調作業方式 | |
CN115488888A (zh) | 物体定位方法、机器人***的控制方法、装置和电子设备 | |
JP2021024053A (ja) | 視覚誘導ロボットアームの補正方法 | |
US20230033339A1 (en) | Image processing system | |
CN113255662A (zh) | 一种基于视觉成像的定位矫正方法、***、设备及存储介质 | |
CN115674184A (zh) | 基于机器人视觉的目标定位方法及装置 | |
CN105282442B (zh) | 对焦方法及装置 | |
CN117102661B (zh) | 视觉定位方法及激光加工设备 | |
KR100784734B1 (ko) | 산업용 로봇 시스템의 타원 보간방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |