CN117680977B - 机器人上料拼接对位方法、装置、设备及介质 - Google Patents

机器人上料拼接对位方法、装置、设备及介质 Download PDF

Info

Publication number
CN117680977B
CN117680977B CN202410157432.7A CN202410157432A CN117680977B CN 117680977 B CN117680977 B CN 117680977B CN 202410157432 A CN202410157432 A CN 202410157432A CN 117680977 B CN117680977 B CN 117680977B
Authority
CN
China
Prior art keywords
panel
spliced
coordinates
determining
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410157432.7A
Other languages
English (en)
Other versions
CN117680977A (zh
Inventor
范朝龙
廖茂竹
吴宇君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ji Hua Laboratory
Original Assignee
Ji Hua Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ji Hua Laboratory filed Critical Ji Hua Laboratory
Priority to CN202410157432.7A priority Critical patent/CN117680977B/zh
Publication of CN117680977A publication Critical patent/CN117680977A/zh
Application granted granted Critical
Publication of CN117680977B publication Critical patent/CN117680977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请涉及一种机器人上料拼接对位方法、装置、设备及介质,所述方法包括:基于预设的角点检测算法对各个已拼接面板中上一个已拼接面板相对应的分割图进行角点检测,确定上一个已拼接面板的各个角的角点坐标,基于各个角的角点坐标计算确定上一个已拼接面板的姿态旋转角度;确定待拼接面板与上一个已拼接面板之间的预设间隙距离,根据各个角的角点坐标以及预设间隙距离确定待拼接面板的面板中心点在拼接对位后所对应的坐标值;上料机器人根据姿态旋转角度以及待拼接面板的面板中心点在拼接对位后所对应的坐标值将待拼接面板进行对位摆放。本申请能够大大提高太阳能面板生产拼接对位的准确率,显著提高了太阳能板的产品合格率。

Description

机器人上料拼接对位方法、装置、设备及介质
技术领域
本申请涉及图像处理领域,尤其涉及一种机器人上料拼接对位方法、相应的装置、电子设备及计算机可读存储介质。
背景技术
在很多工业生产上,需要进行工件对位与拼接工艺,需要对一些面板进行拼接,例如太阳能板的生产,其中最重要的一环就是面板之间的对位拼接摆放,如果对位不够准确或者误差较大,将造成产品的残次品增多,原材料浪费,目前很多产线要人工进行对位摆放,这种人工对位摆放虽然成品率高,但是效率不高。
目前,机器人采用的是传统的接触式对位摆放方式,这种传统的对位方法主要会造成摆放不够准确,因为接触式对位摆放方式是对位拼接无法知道对位误差多少,一旦出现对位误差较大,拼接的误差就大,容易超出产品的要求,造成残次品的产生。
综上,适应现有技术中产品上料对位造成产品的残次品增多、原材料浪费、效率不高,以及机器人的接触式对位摆放方式是对位拼接无法知道对位误差多少,容易超出产品的要求,造成残次品的产生等问题,本申请人出于解决该问题的考虑做出相应的探索。
发明内容
本申请的目的在于解决上述问题而提供一种机器人上料拼接对位方法、相应的装置、电子设备及计算机可读存储介质。
为满足本申请的各个目的,本申请采用如下技术方案:
适应本申请的目的之一而提出的一种机器人上料拼接对位方法,包括:
获取已拼接面板图像,基于预训练的图像分割模型对所述已拼接面板图像进行多个尺度的编解码,确定捕捉到其中各个已拼接面板轮廓特征的多个图像特征信息,根据所述多个图像特征信息从所述已拼接面板图像中提取各个已拼接面板相对应的分割图;
基于预设的角点检测算法对所述各个已拼接面板中上一个已拼接面板相对应的分割图进行角点检测,确定所述上一个已拼接面板的各个角的角点坐标,基于所述各个角的角点坐标计算确定所述上一个已拼接面板的姿态旋转角度;
确定待拼接面板与所述上一个已拼接面板之间的预设间隙距离,根据所述各个角的角点坐标以及所述预设间隙距离确定所述待拼接面板的面板中心点在拼接对位后所对应的坐标值;
上料机器人根据所述姿态旋转角度以及所述待拼接面板的面板中心点在拼接对位后所对应的坐标值将所述待拼接面板进行对位摆放,以完成机器人对所述待拼接面板的水平拼接对位。
可选的,基于预训练的图像分割模型对所述已拼接面板图像进行多个尺度的编解码,确定捕捉到其中各个已拼接面板轮廓特征的多个图像特征信息,根据所述多个图像特征信息从所述已拼接面板图像中提取各个已拼接面板相对应的分割图的步骤,包括:
调用预训练的图像分割模型,基于图像分割模型中的全连接层将所有图像特征信息进行全连接,以融合生成掩码图像数据,所述掩码图像数据继承图像特征信息中的各个已拼接面板的轮廓特征;
基于所述掩码图像数据对所述已拼接面板图像的规格原图进行图像提取,获得与所述各个已拼接面板的轮廓特征相对应的轮廓内的图像构成所述各个已拼接面板相对应的分割图。
可选的,基于预设的角点检测算法对所述各个已拼接面板中上一个已拼接面板相对应的分割图进行角点检测,确定所述上一个已拼接面板的各个角的角点坐标,基于所述各个角的角点坐标计算确定所述上一个已拼接面板的姿态旋转角度的步骤,包括:
确定上一个已拼接面板的各个角的角点坐标中的右上角角点坐标以及右下角角点坐标,根据所述右上角角点坐标以及右下角角点坐标计算确定右上角角点与右下角角点两点之间的斜率;
采用反正切函数根据所述右上角角点与右下角角点两点之间的斜率,计算确定所述上一个已拼接面板的姿态旋转角度。
可选的,确定待拼接面板与所述上一个已拼接面板之间的预设间隙距离,根据所述各个角的角点坐标以及所述预设间隙距离确定所述待拼接面板的面板中心点在拼接对位后所对应的坐标值的步骤,包括:
确定上一个已拼接面板的各个角的角点坐标中的右上角角点坐标以及右下角角点坐标,根据所述右上角角点坐标以及右下角角点坐标计算确定右上角角点与右下角角点两点之间的直线的中点坐标;
确定待拼接面板的面板宽度,根据所述待拼接面板的面板宽度、所述右上角角点与右下角角点两点之间的直线的中点坐标以及所述待拼接面板与所述上一个已拼接面板之间的预设间隙距离,计算确定所述待拼接面板的面板中心点在拼接对位后所对应的坐标值。
可选的,上料机器人根据所述姿态旋转角度以及所述待拼接面板的面板中心点在拼接对位后所对应的坐标值将所述待拼接面板进行对位摆放的步骤,包括:
获取上一个已拼接面板的各个角的角点坐标中的左上角角点坐标以及右上角角点坐标,根据所述左上角角点坐标以及右上角角点坐标,计算确定左上角角点以及右上角角点两点之间的斜率;
基于所述左上角角点以及右上角角点两点之间的斜率、所述上一个已拼接面板的姿态旋转角度以及所述待拼接面板的面板中心点在拼接对位后所对应的坐标值,确定所述待拼接面板的摆放姿态;
上料机器人根据所述待拼接面板的摆放姿态进行对位摆放,以完成机器人对所述待拼接面板的水平拼接对位。
可选的,所述图像分割模型的基础网络架构为U2net模型。
可选的,所述面板包括太阳能面板或新能源汽车电池面板的一项或任意多项。
适应本申请的另一目的而提供的一种机器人上料拼接对位装置,包括:
图像分割模块,设置为获取已拼接面板图像,基于预训练的图像分割模型对所述已拼接面板图像进行多个尺度的编解码,确定捕捉到其中各个已拼接面板轮廓特征的多个图像特征信息,根据所述多个图像特征信息从所述已拼接面板图像中提取各个已拼接面板相对应的分割图;
姿态角度确定模块,设置为基于预设的角点检测算法对所述各个已拼接面板中上一个已拼接面板相对应的分割图进行角点检测,确定所述上一个已拼接面板的各个角的角点坐标,基于所述各个角的角点坐标计算确定所述上一个已拼接面板的姿态旋转角度;
面板位置确定模块,设置为确定待拼接面板与所述上一个已拼接面板之间的预设间隙距离,根据所述各个角的角点坐标以及所述预设间隙距离确定所述待拼接面板的面板中心点在拼接对位后所对应的坐标值;
面板拼接对位模块,设置为上料机器人根据所述姿态旋转角度以及所述待拼接面板的面板中心点在拼接对位后所对应的坐标值将所述待拼接面板进行对位摆放,以完成机器人对所述待拼接面板的水平拼接对位。
适应本申请的另一目的而提供的一种电子设备,包括中央处理器和存储器,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述机器人上料拼接对位方法的步骤。
适应本申请的另一目的而提供的一种计算机可读存储介质,其以计算机可读指令的形式存储有依据所述机器人上料拼接对位方法所实现的计算机程序,该计算机程序被计算机调用运行时,执行相应的方法所包括的步骤。
相对于现有技术,本申请针对现有技术中产品上料对位造成产品的残次品增多、原材料浪费、效率不高,以及机器人的接触式对位摆放方式是对位拼接无法知道对位误差多少,容易超出产品的要求,造成残次品的产生等问题,本申请包括但不限于如下有益效果:
其一,本申请的机器人上料拼接对位方法,能够显著提高工业生产线上面板的拼接对位的准确率,大大节省人力物力,避免工业生产线上面板之间的对位摆放不够准确或者误差较大,而造成产品的残次品增多,原材料浪费等问题;
其二,本申请基于图像分割模型对工业生产线上面板进行拼接对位,无需人工进行对位摆放,上料机器人能够进行自动无接触式摆放,大大提高面板生产的生产效率,避免面板的生产超过产品的要求,造成残次品的产生,以及降低用户体验等问题;
进一步的,本申请的机器人上料拼接对位方法,能够大大提高太阳能面板生产拼接对位的准确率,显著提高了太阳能板的产品合格率,在提高企业效益的同时,显著提高了用户体验。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请机器人上料拼接对位方法的流程示意图;
图2为本申请实施例中根据多个图像特征信息从已拼接面板图像中提取各个已拼接面板相对应的分割图的流程示意图;
图3为本申请实施例中U2net图像分割模型的结构原理框图;
图4为本申请实施例中确定上一个已拼接面板的姿态旋转角度的流程示意图;
图5为本申请实施例中确定待拼接面板的面板中心点在拼接对位后所对应的坐标值的流程示意图;
图6为本申请实施例中将待拼接面板进行对位摆放的流程示意图;
图7为本申请实施例中机器人上料拼接对位装置的原理框图;
图8为本申请实施例中的计算机设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,进行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他诸如个人计算机、平板电脑之类的通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(PersonalCommunications Service,个人通信***),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global PositioningSystem,全球定位***)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件,本质上是具备个人计算机等效能力的电子设备,为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置,计算机程序存储于其存储器中,中央处理器将存储在外存中的程序调入内存中运行,执行程序中的指令,与输入输出设备交互,借此完成特定的功能。
需要指出的是,本申请所称的“服务器”这一概念,同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理,所述各服务器应是逻辑上的划分,在物理空间上,这些服务器既可以是互相独立但可通过接口调用的,也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通,而不应以此约束本申请的网络部署方式的实施方式。
本申请的一个或数个技术特征,除非明文指定,既可部署于服务器实施而由客户端远程调用获取服务器提供的在线服务接口来实施访问,也可直接部署并运行于客户端来实施访问。
本申请中所引用或可能引用到的神经网络模型,除非明文指定,既可部署于远程服务器且在客户端实施远程调用,也可部署于设备能力胜任的客户端直接调用,某些实施例中,当其运行于客户端时,其相应的智能可通过迁移学习来获得,以便降低对客户端硬件运行资源的要求,避免过度占用客户端硬件运行资源。
本申请所涉及的各种数据,除非明文指定,既可远程存储于服务器,也可存储于本地终端设备,只要其适于被本申请的技术方案所调用即可。
本领域技术人员对此应当知晓:本申请的各种方法,虽然基于相同的概念而进行描述而使其彼此间呈现共通性,但是,除非特别说明,否则这些方法都是可以独立执行的。同理,对于本申请所揭示的各个实施例而言,均基于同一发明构思而提出,因此,对于相同表述的概念,以及尽管概念表述不同但仅是为了方便而适当变换的概念,应被等同理解。
本申请即将揭示的各个实施例,除非明文指出彼此之间的相互排斥关系,否则,各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例,只要这种结合不背离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通,本领域技术人员应当知晓。
在很多工业生产上,需要进行工件对位与拼接工艺,需要对一些面板进行拼接,例如太阳能板的生产,其中最重要的一环就是面板之间的对位拼接摆放,如果对位不够准确或者误差较大,将造成产品的残次品增多,原材料浪费,目前很多产线要人工进行对位摆放,这种人工对位摆放虽然成品率高,但是效率不高。目前,机器人采用的是传统的接触式对位摆放方式,这种传统的对位方法主要会造成摆放不够准确,因为接触式对位摆放方式是对位拼接无法知道对位误差多少,一旦出现对位误差较大,拼接的误差就大,容易超出产品的要求,造成残次品的产生。
在参考以上示例性场景的基础上,请参阅图1,本申请的机器人上料拼接对位方法在其一个实施例中,包括:
步骤S10、获取已拼接面板图像,基于预训练的图像分割模型对所述已拼接面板图像进行多个尺度的编解码,确定捕捉到其中各个已拼接面板轮廓特征的多个图像特征信息,根据所述多个图像特征信息从所述已拼接面板图像中提取各个已拼接面板相对应的分割图;
所述面板包括太阳能面板或新能源汽车电池面板的一项或任意多项,上料机器人中的工业相机或其他摄像设备可以获取已拼接面板图像,将该已拼接面板图像传输至对应的终端设备进行图像分割处理,所述已拼接面板表征已摆放好或已拼接好的面板,基于预训练的图像分割模型对所述已拼接面板图像进行多个尺度的编解码,确定捕捉到其中各个已拼接面板轮廓特征的多个图像特征信息,根据所述多个图像特征信息从所述已拼接面板图像中提取各个已拼接面板相对应的分割图。
在一些实施例中,本申请采用基于U2net基础网络架构的图像分割模型为例,将其训练至收敛后,用于本申请中从所述已拼接面板图像中提取各个已拼接面板相对应的分割图。
进一步的,请参阅图2,基于预训练的图像分割模型对所述已拼接面板图像进行多个尺度的编解码,确定捕捉到其中各个已拼接面板轮廓特征的多个图像特征信息,根据所述多个图像特征信息从所述已拼接面板图像中提取各个已拼接面板相对应的分割图的步骤,包括:
步骤S101、调用预训练的图像分割模型,基于图像分割模型中的全连接层将所有图像特征信息进行全连接,以融合生成掩码图像数据,所述掩码图像数据继承图像特征信息中的各个已拼接面板的轮廓特征;
步骤S103、基于所述掩码图像数据对所述已拼接面板图像的规格原图进行图像提取,获得与所述各个已拼接面板的轮廓特征相对应的轮廓内的图像构成所述各个已拼接面板相对应的分割图。
具体而言,U2net图像分割模型,基于残差卷积原理,构造有一条编码路径和解码路径,编码路径和解码路径分别设置数量相同的多级解码器,至于编码器和解码器的级数,可由本领域技术人员可以按照实际情况灵活确定。
例如图3的示例中给出六个级别的编码器和解码器,图中最底层的编码器与解码器被以单个框图给出,主要在于其直接将前一级编码所得的中间特征信息经1*1卷积核变换后即形成图像特征信息,因此一般以单个框图示意。
所述的编码路径,图3中在侧分支路径的六个编码器(En_1至En_5与 En_De)将所述已拼接面板图像相对应的规格原图,也即适应U2net的对输入图像的规格的需要而将已拼接面板图像裁剪为指定规格的已拼接面板图像,而将这一规格原图逐级进行编码。顶层的第一级编码器从所述规格原图中提取出与第一尺度相对应的中间特征信息,然后将其传递给下一级的编码器进行第二尺度相对应的中间特征信息的提取,以此类推,逐级缩小规格原图的尺度而提取出其相对应的中间特征信息,由此可知,经编码器对所述规格原图进行逐级编码之后,便可获得所述规格原图相对应的六个中间特征信息。
可以理解,所述的各个尺度的中间特征信息,是对相应尺度下的规格图像的深层语义理解后的获得的表示,是对所述已拼接面板图像中的各个已拼接面板的轮廓特征所提取的信息。U2net图像分割模型的这种能力是本领域技术人员所知晓的,只要采用足量的训练样本对其实施训练至收敛,即可使其编码路径具备从该已拼接面板图像中捕捉其中的各个已拼接面板的轮廓特征的深层语义理解能力。
所述解码路径,图3中右侧分支路径的六个解码器(De_1至De_5与 En_De)中,自底层起,第一个解码器En_De是将编码器En_5输出的中间特征信息进行1*1卷积变换实现解码而获得其相对应尺度的图像特征信息,除此之外,其他每一个更高层级的解码器,均是以下其次一级所产出的图像特征信息为基础,引用与其同一级的编码器产出的图像特征信息,还原出其所在级相对应尺度的图像特征信息,以此类推,至最顶层的最后一个解码器,可获得与所述规格原图同尺度的图像特征信息。
同样可以理解,所述的各个尺度的中间特征信息,以其同级的中间特征信息提供上下文信息,对其低一级尺度的图像特征信息进行填充,获得更大尺度的图像特征信息产出(Mask1至Mask6),这些图像特征信息也包含了从所述已拼接面板图像中捕捉到的所述已拼接面板图像内的各个已拼接面板的轮廓特征的表示。与中间特征信息不同的是,这些图像特征信息经解码还原,被处理成了以掩码形式表示所述的轮廓特征,本质上是掩码图像数据。可以理解,经解码路径逐级解码之后,将可获得与级数相应的六个不同尺度的掩码图像数据。
至此,根据此处关于图像分割模型的结构及原理的揭示可以理解,本申请的已拼接面板图像,经图像分割模型进行逐级编码、逐级解码之后,获得了多个图像特征信息,根据U2net图像分割模型原理,这些图像特征信息可以被进一步综合而获得掩码图像数据(Mask7)。
在U2net图像分割模型中,采用全连接层对其解码路径获得的多个图像特征信息进行全连接,将其处理为单一的掩码图像数据(Mask7),这一掩码图像数据本质上是一张二值化的灰度图,形象的说法中,当所述已拼接面板图像不存在任何已拼接面板时,该灰度图是一张纯白的图像;当所述已拼接面板图像存在某一已拼接面板时,该灰度图是一张前景为该各个已拼接面板的轮廓所限定的黑色区域而背景则纯白的图像。不难理解,经全连接后,获得一张俗称“抠图”所需的掩膜图像,可以用于实施图像分割。
据此,U2net图像分割模型利用所述的掩码图像数据(Mask7),根据该掩码图像数据所表示的轮廓信息,从所述规格原图中分割出相应的轮廓所限定的图像,构成各个已拼接面板相对应的分割图。该各个已拼接面板相对应的分割图相对原始的已拼接面板图像而言,删除了背景图像信息,而剩下各个已拼接面板图像信息,起到了俗称“抠图”的作用。
步骤S20、基于预设的角点检测算法对所述各个已拼接面板中上一个已拼接面板相对应的分割图进行角点检测,确定所述上一个已拼接面板的各个角的角点坐标,基于所述各个角的角点坐标计算确定所述上一个已拼接面板的姿态旋转角度;
根据所述多个图像特征信息从所述已拼接面板图像中提取各个已拼接面板相对应的分割图之后,不难理解,上料机器人上一次摆放或拼接的面板的分割图也随之确定,也即上一个已拼接面板相对应的分割图随之确定,基于预设的角点检测算法对所述上一个已拼接面板相对应的分割图进行角点检测,确定已拼接面板中上一个已拼接面板的各个角的角点坐标,基于所述各个角的角点坐标计算确定所述上一个已拼接面板的姿态旋转角度;
所述角点检测算法为Harris角点检测算法,基于Harris角点检测算法对所述上一个已拼接面板相对应的分割图进行角点检测,确定已拼接面板中上一个已拼接面板的各个角的角点坐标,所述各个角的角点坐标为四个角的交点坐标,通过比较上一个已拼接面板中四个角点坐标值的大小来确定四个坐标分别对应哪个角点,具体包括如下步骤:
1)、首先比较四个角点坐标中的X值大小, X值大的两个坐标,可以确认这两个坐标要么是右上角点,要么是右下角点坐标,X值小的两个坐标,可以确定要么是左上角坐标,要么是左下角坐标;
2)、在步骤1)筛选比较的基础上,对X值大的两个坐标进行Y值的大小比较,Y值大的坐标可以确认是右下角角点坐标,Y值小的是右上角角点坐标;然后再在步骤1)筛选比较的基础上,对X值小的两个坐标进行Y值比较,Y值小可以确认是左上角角点坐标,Y值大的可以确认是左下角角点的坐标,以此确定已拼接面板中上一个已拼接面板的各个角的角点坐标。
请参阅图4,基于预设的角点检测算法对所述各个已拼接面板中上一个已拼接面板相对应的分割图进行角点检测,确定所述上一个已拼接面板的各个角的角点坐标,基于所述各个角的角点坐标计算确定所述上一个已拼接面板的姿态旋转角度的步骤,包括:
步骤S201、确定上一个已拼接面板的各个角的角点坐标中的右上角角点坐标以及右下角角点坐标,根据所述右上角角点坐标以及右下角角点坐标计算确定右上角角点与右下角角点两点之间的斜率;
步骤S203、采用反正切函数根据所述右上角角点与右下角角点两点之间的斜率,计算确定所述上一个已拼接面板的姿态旋转角度。
具体而言,所述上一个已拼接面板的右上角角点坐标为(X1,Y1)、右下角角点坐标为(X2,Y2),根据所述右上角角点坐标(X1,Y1)以及右下角角点坐标(X2,Y2)计算确定右上角角点与右下角角点两点之间的斜率,采用反正切函数根据所述右上角角点与右下角角点两点之间的斜率,计算确定所述上一个已拼接面板的姿态旋转角度a,其计算的公式表示如下:
步骤S30、确定待拼接面板与所述上一个已拼接面板之间的预设间隙距离,根据所述各个角的角点坐标以及所述预设间隙距离确定所述待拼接面板的面板中心点在拼接对位后所对应的坐标值;
基于所述各个角的角点坐标计算确定所述上一个已拼接面板的当前姿态旋转角度之后,确定待拼接面板与所述上一个已拼接面板之间的预设间隙距离D,所述预设间隙距离D可以为5cm、10cm等等,所述预设间隙距离可以根据面板的产品特性、产品结构等参数进行确定,本领域技术人员可以根据实际情况按需确定所述预设间隙距离,在此不做限定,根据所述各个角的角点坐标以及所述预设间隙距离确定所述待拼接面板的面板中心点在拼接对位后所对应的坐标值;
进一步的,请参阅图5,确定待拼接面板与所述上一个已拼接面板之间的预设间隙距离,根据所述各个角的角点坐标以及所述预设间隙距离确定所述待拼接面板的面板中心点在拼接对位后所对应的坐标值的步骤,包括:
步骤S301、确定上一个已拼接面板的各个角的角点坐标中的右上角角点坐标以及右下角角点坐标,根据所述右上角角点坐标以及右下角角点坐标计算确定右上角角点与右下角角点两点之间的直线的中点坐标;
步骤S303、确定待拼接面板的面板宽度,根据所述待拼接面板的面板宽度、所述右上角角点与右下角角点两点之间的直线的中点坐标以及所述待拼接面板与所述上一个已拼接面板之间的预设间隙距离,计算确定所述待拼接面板的面板中心点在拼接对位后所对应的坐标值。
具体而言,所述上一个已拼接面板右上角角点坐标为(X1,Y1)、右下角角点坐标为(X2,Y2),根据所述右上角角点坐标(X1,Y1)以及右下角角点坐标(X2,Y2)计算确定所述上一个已拼接面板的右上角角点与右下角角点两点之间的直线的中点坐标q(X5,Y5),其计算公式表示如下:
(2),
(3),
由上述计算公式(2)以及(3)可计算确定所述上一个已拼接面板的右上角角点与右下角角点两点之间的直线的中点坐标q(X5,Y5);
确定上一个已拼接面板中的右上角角点与右下角角点两点之间的直线的中点坐标q(X5,Y5)之后,通过确定上一个已拼接面板的面板宽度L,根据所述面板宽度L、上一个已拼接面板中的右上角角点与右下角角点两点之间的直线的中点坐标q(X5,Y5)以及所述预设间隙距离D,计算确定所述待拼接面板的面板中心点在拼接对位后所对应的坐标值O(x,y),其计算公式为:
(4),
(5),
由上述计算公式(4)以及(5)即可确定所述待拼接面板的面板中心点在拼接对位后所对应的坐标值O(x,y)。
步骤S40、上料机器人根据所述姿态旋转角度以及所述待拼接面板的面板中心点在拼接对位后所对应的坐标值将所述待拼接面板进行对位摆放,以完成机器人对所述待拼接面板的水平拼接对位。
确定上一个已拼接面板的姿态旋转角度a以及所述待拼接面板的面板中心点在拼接对位后所对应的坐标值O(x,y)之后,将上述上一个已拼接面板的姿态旋转角度a以及所述待拼接面板的面板中心点在拼接对位后所对应的坐标值O(x,y)等数据传输至给上料机器人中的机械臂,该上料机器人中的机械臂根据该上一个已拼接面板的姿态旋转角度a以及所述待拼接面板的面板中心点在拼接对位后所对应的坐标值O(x,y)等数据来进行待拼接面板拼接调整与对位摆放,以完成机器人的上料对位拼接。
请参阅图6,上料机器人根据所述姿态旋转角度以及所述待拼接面板的面板中心点在拼接对位后所对应的坐标值将所述待拼接面板进行对位摆放的步骤,包括:
步骤S401、获取上一个已拼接面板的各个角的角点坐标中的左上角角点坐标以及右上角角点坐标,根据所述左上角角点坐标以及右上角角点坐标,计算确定左上角角点以及右上角角点两点之间的斜率;
步骤S403、基于所述左上角角点以及右上角角点两点之间的斜率、所述上一个已拼接面板的姿态旋转角度以及所述待拼接面板的面板中心点在拼接对位后所对应的坐标值,确定所述待拼接面板的摆放姿态;
步骤S405、上料机器人根据所述待拼接面板的摆放姿态进行对位摆放,以完成机器人对所述待拼接面板的水平拼接对位。
具体而言,所述上一个已拼接面板的左上角角点坐标为(X4,Y4),以及右上角角点坐标为(X1,Y1),根据所述左上角角点坐标(X4,Y4)以及右上角角点坐标(X1,Y1),计算确定所述上一个已拼接面板的左上角角点以及右上角角点两点之间的斜率,计算公式表示如下:
(6),
计算确定所述上一个已拼接面板的左上角角点以及右上角角点两点之间的斜率之后,基于所述上一个已拼接面板的左上角角点以及右上角角点两点之间的斜率、上一个已拼接面板的姿态旋转角度a以及所述待拼接面板的面板中心点在拼接对位后所对应的坐标值O(x,y),确定待拼接面板的摆放姿态,上料机器人根据所述待拼接面板的摆放姿态进行对位摆放,以完成机器人的上料对位拼接。
相对于现有技术,本申请针对现有技术中产品上料对位造成产品的残次品增多、原材料浪费、效率不高,以及机器人的接触式对位摆放方式是对位拼接无法知道对位误差多少,容易超出产品的要求,造成残次品的产生等问题,本申请包括但不限于如下有益效果:
其一,本申请的机器人上料拼接对位方法,能够显著提高工业生产线上面板的拼接对位的准确率,大大节省人力物力,避免工业生产线上面板之间的对位摆放不够准确或者误差较大,而造成产品的残次品增多,原材料浪费等问题;
其二,本申请基于图像分割模型对工业生产线上面板进行拼接对位,无需人工进行对位摆放,上料机器人能够进行自动无接触式摆放,大大提高面板生产的生产效率,避免面板的生产超过产品的要求,造成残次品的产生,以及降低用户体验等问题;
进一步的,本申请的机器人上料拼接对位方法,能够大大提高太阳能面板生产拼接对位的准确率,显著提高了太阳能板的产品合格率,在提高企业效益的同时,显著提高了用户体验。
请参阅图7,适应本申请的目的之一而提供的一种机器人上料拼接对位装置,包括图像分割模块1100、姿态角度确定模块1200、面板位置确定模块1300以及面板拼接对位模块1400。其中,图像分割模块1100,设置为获取已拼接面板图像,基于预训练的图像分割模型对所述已拼接面板图像进行多个尺度的编解码,确定捕捉到其中各个已拼接面板轮廓特征的多个图像特征信息,根据所述多个图像特征信息从所述已拼接面板图像中提取各个已拼接面板相对应的分割图;姿态角度确定模块1200,设置为基于预设的角点检测算法对所述各个已拼接面板中上一个已拼接面板相对应的分割图进行角点检测,确定所述上一个已拼接面板的各个角的角点坐标,基于所述各个角的角点坐标计算确定所述上一个已拼接面板的姿态旋转角度;面板位置确定模块1300,设置为确定待拼接面板与所述上一个已拼接面板之间的预设间隙距离,根据所述各个角的角点坐标以及所述预设间隙距离确定所述待拼接面板的面板中心点在拼接对位后所对应的坐标值;面板拼接对位模块1400,设置为上料机器人根据所述姿态旋转角度以及所述待拼接面板的面板中心点在拼接对位后所对应的坐标值将所述待拼接面板进行对位摆放,以完成机器人对所述待拼接面板的水平拼接对位。
在本申请任意实施例的基础上,请参阅图8,本申请的另一实施例还提供一种电子设备,所述电子设备可由计算机设备实现,如图8所示,计算机设备的内部结构示意图。该计算机设备包括通过***总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中,该计算机设备的计算机可读存储介质存储有操作***、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器执行时,可使得处理器实现一种机器人上料拼接对位方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行本申请的机器人上料拼接对位方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本实施方式中处理器用于执行图7中的各个模块及其子模块的具体功能,存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有本申请的机器人上料拼接对位装置中执行所有模块/子模块所需的程序代码及数据,服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
本申请还提供一种存储有计算机可读指令的存储介质,计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行本申请任一实施例所述机器人上料拼接对位方法的步骤。
本申请还提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被一个或多个处理器执行时实现本申请任一实施例所述机器人上料拼接对位方法的步骤。
本领域普通技术人员可以理解实现本申请上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等计算机可读存储介质,或随机存储记忆体(RandomAccess Memory,RAM)等。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
综上所述,本申请的机器人上料拼接对位方法,能够大大提高太阳能面板生产拼接对位的准确率,显著提高了太阳能板的产品合格率,在提高企业效益的同时,显著提高了用户体验。

Claims (9)

1.一种机器人上料拼接对位方法,其特征在于,包括:
获取已拼接面板图像,基于预训练的图像分割模型对所述已拼接面板图像进行多个尺度的编解码,确定捕捉到其中各个已拼接面板轮廓特征的多个图像特征信息,根据所述多个图像特征信息从所述已拼接面板图像中提取各个已拼接面板相对应的分割图;
基于预设的角点检测算法对所述各个已拼接面板中上一个已拼接面板相对应的分割图进行角点检测,确定所述上一个已拼接面板的各个角的角点坐标,基于所述各个角的角点坐标计算确定所述上一个已拼接面板的姿态旋转角度;
确定待拼接面板与所述上一个已拼接面板之间的预设间隙距离,根据所述各个角的角点坐标以及所述预设间隙距离确定所述待拼接面板的面板中心点在拼接对位后所对应的坐标值,其包括:
确定上一个已拼接面板的各个角的角点坐标中的右上角角点坐标以及右下角角点坐标,根据所述右上角角点坐标以及右下角角点坐标计算确定右上角角点与右下角角点两点之间的直线的中点坐标;
确定待拼接面板的面板宽度,根据所述待拼接面板的面板宽度、所述右上角角点与右下角角点两点之间的直线的中点坐标以及所述待拼接面板与所述上一个已拼接面板之间的预设间隙距离,计算确定所述待拼接面板的面板中心点在拼接对位后所对应的坐标值;
上料机器人根据所述姿态旋转角度以及所述待拼接面板的面板中心点在拼接对位后所对应的坐标值将所述待拼接面板进行对位摆放,以完成机器人对所述待拼接面板的水平拼接对位。
2.根据权利要求1所述的机器人上料拼接对位方法,其特征在于,基于预训练的图像分割模型对所述已拼接面板图像进行多个尺度的编解码,确定捕捉到其中各个已拼接面板轮廓特征的多个图像特征信息,根据所述多个图像特征信息从所述已拼接面板图像中提取各个已拼接面板相对应的分割图的步骤,包括:
调用预训练的图像分割模型,基于图像分割模型中的全连接层将所有图像特征信息进行全连接,以融合生成掩码图像数据,所述掩码图像数据继承图像特征信息中的各个已拼接面板的轮廓特征;
基于所述掩码图像数据对所述已拼接面板图像的规格原图进行图像提取,获得与所述各个已拼接面板的轮廓特征相对应的轮廓内的图像构成所述各个已拼接面板相对应的分割图。
3.根据权利要求1所述的机器人上料拼接对位方法,其特征在于,基于预设的角点检测算法对所述各个已拼接面板中上一个已拼接面板相对应的分割图进行角点检测,确定所述上一个已拼接面板的各个角的角点坐标,基于所述各个角的角点坐标计算确定所述上一个已拼接面板的姿态旋转角度的步骤,包括:
确定上一个已拼接面板的各个角的角点坐标中的右上角角点坐标以及右下角角点坐标,根据所述右上角角点坐标以及右下角角点坐标计算确定右上角角点与右下角角点两点之间的斜率;
采用反正切函数根据所述右上角角点与右下角角点两点之间的斜率,计算确定所述上一个已拼接面板的姿态旋转角度。
4.根据权利要求1所述的机器人上料拼接对位方法,其特征在于,上料机器人根据所述姿态旋转角度以及所述待拼接面板的面板中心点在拼接对位后所对应的坐标值将所述待拼接面板进行对位摆放的步骤,包括:
获取上一个已拼接面板的各个角的角点坐标中的左上角角点坐标以及右上角角点坐标,根据所述左上角角点坐标以及右上角角点坐标,计算确定左上角角点以及右上角角点两点之间的斜率;
基于所述左上角角点以及右上角角点两点之间的斜率、所述上一个已拼接面板的姿态旋转角度以及所述待拼接面板的面板中心点在拼接对位后所对应的坐标值,确定所述待拼接面板的摆放姿态;
上料机器人根据所述待拼接面板的摆放姿态进行对位摆放,以完成机器人对所述待拼接面板的水平拼接对位。
5.根据权利要求1所述的机器人上料拼接对位方法,其特征在于,所述图像分割模型的基础网络架构为U2net模型。
6.根据权利要求1至5任意一项所述的机器人上料拼接对位方法,其特征在于,所述面板包括太阳能面板或新能源汽车电池面板的一项或任意多项。
7.一种机器人上料拼接对位装置,其特征在于,包括:
图像分割模块,设置为获取已拼接面板图像,基于预训练的图像分割模型对所述已拼接面板图像进行多个尺度的编解码,确定捕捉到其中各个已拼接面板轮廓特征的多个图像特征信息,根据所述多个图像特征信息从所述已拼接面板图像中提取各个已拼接面板相对应的分割图;
姿态角度确定模块,设置为基于预设的角点检测算法对所述各个已拼接面板中上一个已拼接面板相对应的分割图进行角点检测,确定所述上一个已拼接面板的各个角的角点坐标,基于所述各个角的角点坐标计算确定所述上一个已拼接面板的姿态旋转角度;
面板位置确定模块,设置为确定待拼接面板与所述上一个已拼接面板之间的预设间隙距离,根据所述各个角的角点坐标以及所述预设间隙距离确定所述待拼接面板的面板中心点在拼接对位后所对应的坐标值,其包括:
确定上一个已拼接面板的各个角的角点坐标中的右上角角点坐标以及右下角角点坐标,根据所述右上角角点坐标以及右下角角点坐标计算确定右上角角点与右下角角点两点之间的直线的中点坐标;
确定待拼接面板的面板宽度,根据所述待拼接面板的面板宽度、所述右上角角点与右下角角点两点之间的直线的中点坐标以及所述待拼接面板与所述上一个已拼接面板之间的预设间隙距离,计算确定所述待拼接面板的面板中心点在拼接对位后所对应的坐标值;
面板拼接对位模块,设置为上料机器人根据所述姿态旋转角度以及所述待拼接面板的面板中心点在拼接对位后所对应的坐标值将所述待拼接面板进行对位摆放,以完成机器人对所述待拼接面板的水平拼接对位。
8.一种电子设备,包括中央处理器和存储器,其特征在于,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至6中任意一项所述的方法的步骤。
9.一种计算机可读存储介质,其特征在于,其以计算机可读指令的形式存储有依据权利要求1至6中任意一项所述的方法所实现的计算机程序,该计算机程序被计算机调用运行时,执行相应的方法所包括的步骤。
CN202410157432.7A 2024-02-04 2024-02-04 机器人上料拼接对位方法、装置、设备及介质 Active CN117680977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410157432.7A CN117680977B (zh) 2024-02-04 2024-02-04 机器人上料拼接对位方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410157432.7A CN117680977B (zh) 2024-02-04 2024-02-04 机器人上料拼接对位方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN117680977A CN117680977A (zh) 2024-03-12
CN117680977B true CN117680977B (zh) 2024-04-16

Family

ID=90130573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410157432.7A Active CN117680977B (zh) 2024-02-04 2024-02-04 机器人上料拼接对位方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117680977B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4788440A (en) * 1981-05-11 1988-11-29 Diffracto Ltd. Electro-optical systems for control of robots, manipulator arms and coordinate measuring machines
JP2007185723A (ja) * 2006-01-11 2007-07-26 Fujifilm Corp 自動調芯装置及び方法
CN112053401A (zh) * 2020-09-11 2020-12-08 北京半导体专用设备研究所(中国电子科技集团公司第四十五研究所) 一种芯片拼接方法、装置、设备及存储介质
CN112045397A (zh) * 2020-09-07 2020-12-08 中铁工程装备集团有限公司 钢拱架拼接装置及其工作方法
CN113459109A (zh) * 2021-09-03 2021-10-01 季华实验室 机械臂路径规划方法、装置、电子设备及存储介质
WO2023024697A1 (zh) * 2021-08-26 2023-03-02 北京旷视科技有限公司 图像拼接方法和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4788440A (en) * 1981-05-11 1988-11-29 Diffracto Ltd. Electro-optical systems for control of robots, manipulator arms and coordinate measuring machines
JP2007185723A (ja) * 2006-01-11 2007-07-26 Fujifilm Corp 自動調芯装置及び方法
CN112045397A (zh) * 2020-09-07 2020-12-08 中铁工程装备集团有限公司 钢拱架拼接装置及其工作方法
CN112053401A (zh) * 2020-09-11 2020-12-08 北京半导体专用设备研究所(中国电子科技集团公司第四十五研究所) 一种芯片拼接方法、装置、设备及存储介质
WO2023024697A1 (zh) * 2021-08-26 2023-03-02 北京旷视科技有限公司 图像拼接方法和电子设备
CN113459109A (zh) * 2021-09-03 2021-10-01 季华实验室 机械臂路径规划方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN117680977A (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN110413812B (zh) 神经网络模型的训练方法、装置、电子设备及存储介质
CN109684267B (zh) Slam运算装置和方法
CN110910422A (zh) 目标跟踪方法、装置、电子设备和可读存储介质
CN112991180B (zh) 图像拼接方法、装置、设备以及存储介质
CN112668588B (zh) 车位信息生成方法、装置、设备和计算机可读介质
US20210216805A1 (en) Image recognizing method, apparatus, electronic device and storage medium
CN112651490B (zh) 人脸关键点检测模型的训练方法及设备、可读存储介质
CN110782430A (zh) 一种小目标的检测方法、装置、电子设备及存储介质
CN110555798A (zh) 图像变形方法、装置、电子设备及计算机可读存储介质
CN110717405B (zh) 人脸特征点定位方法、装置、介质及电子设备
CN117680977B (zh) 机器人上料拼接对位方法、装置、设备及介质
CN115972198B (zh) 一种非完全信息条件下的机械臂视觉抓取方法与装置
US20220351495A1 (en) Method for matching image feature point, electronic device and storage medium
CN115937537A (zh) 一种目标图像的智能识别方法、装置、设备及存储介质
CN111783957B (zh) 模型量化训练方法、装置、机器可读存储介质及电子设备
CN115623242A (zh) 一种视频处理方法及其相关设备
CN116266274A (zh) 一种神经网络的调整方法及相应装置
CN111862015A (zh) 一种图像质量等级确定方法、装置及电子设备
CN117553808B (zh) 基于深度学习的机器人定位导航方法、装置、设备及介质
CN116012873B (zh) 一种行人重识别方法、装置、电子设备及存储介质
CN114549883B (zh) 图像处理方法、深度学习模型的训练方法、装置和设备
CN115841587B (zh) 图像分类任务的特征提取方法、装置、设备及存储介质
CN116596990B (zh) 目标检测方法、装置、设备及存储介质
CN117315368B (zh) 一种大规模数据中心智能运维巡检方法
CN116168442B (zh) 样本图像生成方法、模型的训练方法、目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant