CN112139053A - 视觉引导方法、***及计算机可读存储介质 - Google Patents

视觉引导方法、***及计算机可读存储介质 Download PDF

Info

Publication number
CN112139053A
CN112139053A CN202010965470.7A CN202010965470A CN112139053A CN 112139053 A CN112139053 A CN 112139053A CN 202010965470 A CN202010965470 A CN 202010965470A CN 112139053 A CN112139053 A CN 112139053A
Authority
CN
China
Prior art keywords
coordinate position
visual guidance
image data
grid
grids
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010965470.7A
Other languages
English (en)
Other versions
CN112139053B (zh
Inventor
罗宁
莫志杰
吴建雄
曹子鹏
黄伟德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jimi Iot Co ltd
Original Assignee
Guangzhou Jimi Wulian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Jimi Wulian Technology Co ltd filed Critical Guangzhou Jimi Wulian Technology Co ltd
Priority to CN202010965470.7A priority Critical patent/CN112139053B/zh
Publication of CN112139053A publication Critical patent/CN112139053A/zh
Application granted granted Critical
Publication of CN112139053B publication Critical patent/CN112139053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/38—Collecting or arranging articles in groups
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063—Using robots

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种视觉引导方法、***及计算机可读存储介质，所述视觉引导方法包括：当物料箱在操作台上时，获取所述物料箱的图像数据，并获取需求清单；根据所述图像数据，确定所述物料箱中物料格的图像坐标位置；根据所述图像坐标位置及所述需求清单，控制机械手对所述物料格中放置的物料盘进行分拣。本发明可提高物料分拣效率，防止机械手拾取或放置物料时损坏物料。

Description

视觉引导方法、***及计算机可读存储介质
技术领域
本发明涉及工业视觉技术领域，尤其涉及一种视觉引导方法、***及计算机可读存储介质。
背景技术
随着工业和科技的迅速发展，仓库需要大量劳动力运输并分拣物料，但是人工效率低，人工成本也在不断增加。为了减少人工成本，越来越多的企业采用机械手分拣物料，并且使用AGV(Automated Guided Vehicle，自动导引运输车)小车运输物料箱，以实现机械化分拣物料。
由于AGV小车停放位置都会有误差，需要引导机械手分拣物料。然而，目前的视觉引导方法无法准确地引导机械手分拣物料，导致机械手需要重复分拣物料，从而降低了物料分拣效率，并导致机械手拾取或放置物料时损坏物料。
发明内容
本发明的主要目的在于提供一种视觉引导方法、***及计算机可读存储介质，旨在提高物料分拣效率，防止机械手拾取或放置物料时损坏物料。
为实现上述目的，本发明提供一种视觉引导方法，所述视觉引导方法包括以下步骤：
当物料箱在操作台上时，获取所述物料箱的图像数据，并获取需求清单；
根据所述图像数据，确定所述物料箱中物料格的图像坐标位置；
根据所述图像坐标位置及所述需求清单，控制机械手对所述物料格中放置的物料盘进行分拣。
可选地，所述根据所述图像数据，确定所述物料箱中物料格的图像坐标位置的步骤包括：
根据边缘检测算法及直线拟合算法，对所述图像数据进行处理，得到纵坐标边界直线和横坐标边界直线；
根据所述纵坐标边界直线及所述横坐标边界直线，得到所述物料箱中物料格的中心点；
根据所述中心点，得到所述中心点的坐标和旋转角度；
根据所述中心点的坐标和旋转角度，确定所述物料格的图像坐标位置。
可选地，所述根据所述中心点的坐标和旋转角度，确定所述物料格的图像坐标位置的步骤包括：
根据所述图像数据，判断所述物料格是否变形；
若所述物料格变形，则获取所述物料格的变形程度，并获取预设变形阈值；
判断所述变形程度是否大于所述预设变形阈值；
若所述变形程度大于所述预设变形阈值，则输出第一警报；
若所述变形程度小于或等于所述预设变形阈值，则根据所述中心点的坐标和旋转角度，确定所述物料格的检测坐标位置；
对所述检测坐标位置进行纠正，将纠正后的坐标位置作为所述物料格的图像坐标位置。
可选地，所述根据所述中心点的坐标和旋转角度，确定所述物料格的图像坐标位置的步骤包括：
根据所述图像数据，判断所述物料格是否损坏；
若所述物料格损坏，则获取所述物料格的损坏程度，并获取预设损坏阈值；
判断所述损坏程度是否大于所述预设损坏阈值；
若所述损坏程度大于所述预设损坏阈值，则输出第二警报；
若所述损坏程度小于或等于所述预设损坏阈值，则根据所述中心点的坐标和旋转角度，确定所述物料格的检测坐标位置；
对所述检测坐标位置进行纠正，将纠正后的坐标位置作为所述物料格的图像坐标位置。
可选地，所述根据所述图像坐标位置及所述需求清单，控制机械手对所述物料格中放置的物料盘进行分拣的步骤包括：
根据预设转化方式，将所述图像坐标位置转化为机械手坐标位置；
根据所述机械手坐标位置及所述需求清单，控制所述机械手对所述物料格中放置的物料盘进行分拣。
可选地，所述当物料箱在操作台上时，获取所述物料箱的图像数据，并获取需求清单的步骤之前，还包括：
当接收到自动导引运输车AGV小车发送的物料箱已在操作台的通知信息时，将照射所述物料箱的光源打开，并将摄像头打开，以获取所述物料箱的图像数据。
可选地，所述当物料箱在操作台上时，获取所述物料箱的图像数据，并获取需求清单的步骤之后，还包括：
根据所述图像数据，得到所述物料箱中物料格的编号和所述物料格中放置的物料盘的二维码；
根据所述编号，从数据库中获取所述物料盘中物料的数据库名称和所述物料的数据库数量，并根据所述二维码，得到所述物料的实际名称和所述物料的实际数量；
判断所述实际名称与所述数据库名称是否相同；
若所述实际名称与所述数据库名称不相同，则输出第三警报，以通知人工纠正；
若所述实际名称与所述数据库名称相同，则判断所述实际数量与所述数据库数量是否相同；
若所述实际数量与所述数据库数量不相同，则根据所述实际数量，更新所述数据库中所述数据库数量。
可选地，所述根据所述图像数据，确定所述物料箱中物料格的图像坐标位置的步骤之前，还包括：
根据所述图像数据，得到所述物料箱中物料格的检测区域；
根据预设神经网络算法，判断所述检测区域是否有物料盘；
若所述检测区域没有所述物料盘，则输出第四警报，以通知人工纠正。
此外，为实现上述目的，本发明还提供一种视觉引导***，所述视觉引导***包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视觉引导程序，所述视觉引导程序被所述处理器执行时实现如上所述的视觉引导方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有视觉引导程序，所述视觉引导程序被处理器执行时实现如上所述的视觉引导方法的步骤。
本发明提供一种视觉引导方法、***及计算机可读存储介质，当物料箱在操作台上时，获取物料箱的图像数据，并获取需求清单；根据图像数据，确定物料箱中物料格的图像坐标位置；根据图像坐标位置及需求清单，控制机械手对物料格中放置的物料盘进行分拣。本发明获取物料箱的图像数据，然后根据图像数据，确定物料箱中物料格的图像坐标位置，最后，根据图像坐标位置，可准确定位到物料格所在的位置，以准确引导机械手分拣物料盘，从而防止机械手拾取或放置物料时损坏物料，同时，本发明通过图像坐标位置及需求清单，可快速定位到所需物料的物料格，以快速引导机械手分拣物料盘，从而提高物料分拣效率。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明视觉引导方法第一实施例的流程示意图；
图3为本发明视觉引导方法第二实施例的流程示意图；
图4为本发明视觉引导方法第三实施例的流程示意图；
图5为本发明视觉引导方法第四实施例的流程示意图；
图6为本发明视觉引导方法第五实施例的流程示意图；
图7为本发明视觉引导方法第六实施例的流程示意图；
图8为本发明视觉引导方法第七实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端为视觉引导设备，该视觉引导设备可以为PC(personalcomputer，个人计算机)、微型计算机、笔记本电脑、服务器等具有处理功能的终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU(Central Processing Unit，中央处理器)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及视觉引导程序。
在图1所示的终端中，处理器1001可以用于调用存储器1005中存储的视觉引导程序，并执行以下操作：
当物料箱在操作台上时，获取所述物料箱的图像数据，并获取需求清单；
根据所述图像数据，确定所述物料箱中物料格的图像坐标位置；
根据所述图像坐标位置及所述需求清单，控制机械手对所述物料格中放置的物料盘进行分拣。
进一步地，处理器1001可以用于调用存储器1005中存储的视觉引导程序，还执行以下操作：
根据边缘检测算法及直线拟合算法，对所述图像数据进行处理，得到纵坐标边界直线和横坐标边界直线；
根据所述纵坐标边界直线及所述横坐标边界直线，得到所述物料箱中物料格的中心点；
根据所述中心点，得到所述中心点的坐标和旋转角度；
根据所述中心点的坐标和旋转角度，确定所述物料格的图像坐标位置。
进一步地，处理器1001可以用于调用存储器1005中存储的视觉引导程序，还执行以下操作：
根据所述图像数据，判断所述物料格是否变形；
若所述物料格变形，则获取所述物料格的变形程度，并获取预设变形阈值；
判断所述变形程度是否大于所述预设变形阈值；
若所述变形程度大于所述预设变形阈值，则输出第一警报；
若所述变形程度小于或等于所述预设变形阈值，则根据所述中心点的坐标和旋转角度，确定所述物料格的检测坐标位置；
对所述检测坐标位置进行纠正，将纠正后的坐标位置作为所述物料格的图像坐标位置。
进一步地，处理器1001可以用于调用存储器1005中存储的视觉引导程序，还执行以下操作：
根据所述图像数据，判断所述物料格是否损坏；
若所述物料格损坏，则获取所述物料格的损坏程度，并获取预设损坏阈值；
判断所述损坏程度是否大于所述预设损坏阈值；
若所述损坏程度大于所述预设损坏阈值，则输出第二警报；
若所述损坏程度小于或等于所述预设损坏阈值，则根据所述中心点的坐标和旋转角度，确定所述物料格的检测坐标位置；
对所述检测坐标位置进行纠正，将纠正后的坐标位置作为所述物料格的图像坐标位置。
进一步地，处理器1001可以用于调用存储器1005中存储的视觉引导程序，还执行以下操作：
根据预设转化方式，将所述图像坐标位置转化为机械手坐标位置；
根据所述机械手坐标位置及所述需求清单，控制所述机械手对所述物料格中放置的物料盘进行分拣。
进一步地，处理器1001可以用于调用存储器1005中存储的视觉引导程序，还执行以下操作：
当接收到自动导引运输车AGV小车发送的物料箱已在操作台的通知信息时，将照射所述物料箱的光源打开，并将摄像头打开，以获取所述物料箱的图像数据。
进一步地，处理器1001可以用于调用存储器1005中存储的视觉引导程序，还执行以下操作：
根据所述图像数据，得到所述物料箱中物料格的编号和所述物料格中放置的物料盘的二维码；
根据所述编号，从数据库中获取所述物料盘中物料的数据库名称和所述物料的数据库数量，并根据所述二维码，得到所述物料的实际名称和所述物料的实际数量；
判断所述实际名称与所述数据库名称是否相同；
若所述实际名称与所述数据库名称不相同，则输出第三警报，以通知人工纠正；
若所述实际名称与所述数据库名称相同，则判断所述实际数量与所述数据库数量是否相同；
若所述实际数量与所述数据库数量不相同，则根据所述实际数量，更新所述数据库中所述数据库数量。
进一步地，处理器1001可以用于调用存储器1005中存储的视觉引导程序，还执行以下操作：
根据所述图像数据，得到所述物料箱中物料格的检测区域；
根据预设神经网络算法，判断所述检测区域是否有物料盘；
若所述检测区域没有所述物料盘，则输出第四警报，以通知人工纠正。
基于上述硬件结构，提出本发明视觉引导方法各个实施例。
本发明提供一种视觉引导方法。
参照图2，图2为本发明视觉引导方法第一实施例的流程示意图。
在本实施例中，该视觉引导方法包括：
步骤S10，当物料箱在操作台上时，获取所述物料箱的图像数据，并获取需求清单；
在本实施例中，该视觉引导方法由视觉引导设备实现，该视觉引导设备可以是PC、微型计算机、笔记本电脑、服务器等具有处理功能的终端设备。该视觉引导设备包括运行服务器的软硬件、摄像头等。该视觉引导设备通过网络传输协议与机械手进行通信，该机械手用于分拣物料，即拾取或放置物料，该物料以电子元器件为例进行说明。该视觉引导设备通过网络传输协议与AGV(Automated Guided Vehicle，自动导引运输车)小车进行通信，该AGV小车用于运输物料箱至操作台，该物料箱中有物料格，该物料格用于放置物料盘，该物料盘用于放置物料，因此，机械手对物料进行分拣，即机械手对物料盘进行分拣。
在本实施例中，当物料箱在操作台上时，获取物料箱的图像数据，并获取需求清单。其中，物料箱中有物料格，该物料格用于放置物料盘，该物料格的个数根据具体情况进行设定，例如4个、5个等。此外，操作台用于放置物料箱，以使机械手在操作台上分拣物料。
在本实施例中，图像数据为物料箱放置区域的图像，用于后续对物料箱中物料格进行定位。该图像数据通过摄像头获取得到，该摄像头安装在机械手末端或物料箱上方的支架上，并且摄像头的竖直方向与操作台成垂直90度，以从物料箱上方拍摄物料箱。
需要说明的是，通过网络通讯协议接收AGV小车发送的物料箱已在操作台的通知信息，可得知物料箱在操作台上，其中，该网络通讯协议可以为简洁的WebSocket通讯协议。当然，还可以通过传感器或摄像头进行检测，检测操作台上是否有物料箱。
此外，还需要说明的是，需求清单是根据每一条流水线的生产目标配置的，电子元器件物料根据价值分几个等级，A：代表不可超发，B：代表可以超发少量(少于总量2％)，C：代表可以超发适量(少于10％)。对于超发的部分电子元器件物料会由流水线的人员负责回收，并重新录入仓库。
可以理解，通过WebSocket通讯协议将需求清单传输给AGV小车，以使小车根据需求清单运算物料箱至操作台。在AGV小车运输物料箱至操作台后，通过WebSocket通讯协议发送通知信息，以通知视觉引导设备物料箱已在操作台。
步骤S20，根据所述图像数据，确定所述物料箱中物料格的图像坐标位置；
在本实施例中，根据图像数据，确定物料箱中物料格的图像坐标位置。具体的，通过软件触发的方式去捕捉图像数据中的图像，然后，通过边缘检测算法及直线拟合算法得到每一物料格的坐标和旋转角度。当然，本实施例也可以通过硬件触发的方式去捕捉图像数据中的图像，相比硬件触发的方式，软件触发的方式简单、快捷。具体的执行过程如下第二实施例所述，此处不作赘述。
步骤S30，根据所述图像坐标位置及所述需求清单，控制机械手对所述物料格中放置的物料盘进行分拣。
在本实施例中，根据图像坐标位置及需求清单，控制机械手对物料格中放置的物料盘进行分拣。其中，物料盘放置在物料格上，物料盘上放置同一种物料。此外，控制机械手对物料格中放置的物料盘进行分拣，即控制机械手去对应的物料格位置取、放物料盘。
在本实施例中，需先将图像坐标位置转化为以机械手为参考系的机械手平面坐标，其中，转化方式可根据九点标定法进行转化，还可以根据旋转矩阵与平移矩阵进行转化。
具体的，步骤S30包括：
步骤a31，根据预设转化方式，将所述图像坐标位置转化为机械手坐标位置；
步骤a32，根据所述机械手坐标位置及所述需求清单，控制所述机械手对所述物料格中放置的物料盘进行分拣。
在本实施例中，根据预设转化方式，将图像坐标位置转化为机械手坐标位置，然后，根据机械手坐标位置及需求清单，控制机械手对物料格中放置的物料盘进行分拣。其中，预设转化方式可以为九点标定法，九点标定法直接建立图像坐标位置和机械手平面坐标(二维空间坐标)之间的坐标变化关系。
需要说明的是，九点标定法通过机械手末端去走9个点，得到机械手在平面坐标系中的坐标，同时，采用摄像头获取该9个点的像素坐标，然后，通过机械手在平面坐标系中的坐标与像素坐标的对比，得到仿射矩阵，最后通过仿射矩阵得到坐标变化关系。
本发明实施例提供一种视觉引导方法，当物料箱在操作台上时，获取物料箱的图像数据，并获取需求清单；根据图像数据，确定物料箱中物料格的图像坐标位置；根据图像坐标位置及需求清单，控制机械手对物料格中放置的物料盘进行分拣。本发明实施例获取物料箱的图像数据，然后根据图像数据，确定物料箱中物料格的图像坐标位置，最后，根据图像坐标位置，可准确定位到物料格所在的位置，以准确引导机械手分拣物料盘，从而防止机械手拾取或放置物料时损坏物料，同时，本发明实施例通过图像坐标位置及需求清单，可快速定位到所需物料的物料格，以快速引导机械手分拣物料盘，从而提高物料分拣效率。
进一步地，基于上述第一实施例，提出本发明视觉引导方法的第二实施例。
参照图3，图3为本发明视觉引导方法第二实施例的流程示意图。
在本实施例中，上述步骤S20包括：
步骤S21，根据边缘检测算法及直线拟合算法，对所述图像数据进行处理，得到纵坐标边界直线和横坐标边界直线；
步骤S22，根据所述纵坐标边界直线及所述横坐标边界直线，得到所述物料箱中物料格的中心点；
步骤S23，根据所述中心点，得到所述中心点的坐标和旋转角度；
步骤S24，根据所述中心点的坐标和旋转角度，确定所述物料格的图像坐标位置。
在本实施例中，首先，根据边缘检测算法及直线拟合算法，对图像数据进行处理，得到纵坐标边界直线和横坐标边界直线，然后，根据纵坐标边界直线及横坐标边界直线，得到物料箱中物料格的中心点，最后，根据中心点，得到中心点的坐标和旋转角度，以确定物料格的图像坐标位置。具体的，在图像数据中先画出所需检测的物料箱区域，然后，先通过边缘检测算法进行处理后，再通过直线拟合算法找出纵方向的的直线，相应的，通过相同的方法找出横方向的直线，最后计算出纵坐标边界直线和横坐标边界直线的交叉点的坐标和旋转角度。
本实施例中，通过边缘检测算法及直线拟合算法，对图像数据进行处理，得到纵坐标边界直线和横坐标边界直线，然后，根据纵坐标边界直线和横坐标边界直线的交叉点，确定物料格的图像坐标位置。通过上述定位算法，可进一步提高物料格定位的准确性。
进一步地，基于上述第二实施例，提出本发明视觉引导方法的第三实施例。
参照图4，图4为本发明视觉引导方法第三实施例的流程示意图。
在本实施例中，上述步骤S24包括：
步骤S2401，根据所述图像数据，判断所述物料格是否变形；
步骤S2402，若所述物料格变形，则获取所述物料格的变形程度，并获取预设变形阈值；
步骤S2403，判断所述变形程度是否大于所述预设变形阈值；
在本实施例中，根据图像数据，判断物料格是否变形，然后，若物料格变形，则获取物料格的变形程度，并获取预设变形阈值，最后，判断变形程度是否大于预设变形阈值。
其中，变形程度为百分比形式，例如1％、10％、20％等；预设变形阈值根据实际情况进行设定，例如4％、5％、6％等，此处不作具体限定。
步骤S2404，若所述变形程度大于所述预设变形阈值，则输出第一警报；
在本实施例中，若变形程度大于预设变形阈值，则输出第一警报。其中，第一警报可以为听觉警报、视觉警报等，听觉警报可以为响铃警报、语音提醒警报等，视觉警报可以为灯闪警报，显示屏显示警报。可以理解，输出第一警报用于提醒流水线的人员对变形程度大的物料格进行替换。
步骤S2405，若所述变形程度小于或等于所述预设变形阈值，则根据所述中心点的坐标和旋转角度，确定所述物料格的检测坐标位置；
步骤S2406，对所述检测坐标位置进行纠正，将纠正后的坐标位置作为所述物料格的图像坐标位置。
在本实施例中，若变形程度小于或等于预设变形阈值，则根据中心点的坐标和旋转角度，确定物料格的检测坐标位置，然后，对检测坐标位置进行纠正，将纠正后的坐标位置作为物料格的图像坐标位置。具体的，通过其他未变形物料格的坐标位置对检测坐标位置进行纠正。
本实施例中，对于变形程度较大的物料格，输出第一警报，可提醒流水线人员进行纠正，从而进一步提高物料格定位的准确性；对于变形程度较小的物料格进行自主纠正，以进一步提高物料格定位的准确性。
进一步地，基于上述第二实施例，提出本发明视觉引导方法的第四实施例。
参照图5，图5为本发明视觉引导方法第四实施例的流程示意图。
在本实施例中，上述步骤S24包括：
步骤S2407，根据所述图像数据，判断所述物料格是否损坏；
步骤S2408，若所述物料格损坏，则获取所述物料格的损坏程度，并获取预设损坏阈值；
步骤S2409，判断所述损坏程度是否大于所述预设损坏阈值；
在本实施例中，根据图像数据，判断物料格是否损坏，然后，若物料格损坏，则获取物料格的损坏程度，并获取预设损坏阈值，最后，判断损坏程度是否大于预设损坏阈值。
其中，损坏程度为百分比形式，例如1％、10％、20％等；预设损坏阈值根据实际情况进行设定，例如4％、5％、6％等，此处不作具体限定。
步骤S2410，若所述损坏程度大于所述预设损坏阈值，则输出第二警报；
在本实施例中，若损坏程度大于预设损坏阈值，则输出第二警报。其中，第二警报可以为听觉警报、视觉警报等，听觉警报可以为响铃警报、语音提醒警报等，视觉警报可以为灯闪警报，显示屏显示警报。可以理解，输出第二警报用于提醒流水线的人员对损坏程度大的物料格进行替换。
步骤S2411，若所述损坏程度小于或等于所述预设损坏阈值，则根据所述中心点的坐标和旋转角度，确定所述物料格的检测坐标位置；
步骤S2412，对所述检测坐标位置进行纠正，将纠正后的坐标位置作为所述物料格的图像坐标位置。
在本实施例中，若损坏程度小于或等于预设损坏阈值，则根据中心点的坐标和旋转角度，确定物料格的检测坐标位置，然后，对检测坐标位置进行纠正，将纠正后的坐标位置作为物料格的图像坐标位置。具体的，通过其他未损坏物料格的坐标位置对检测坐标位置进行纠正。
本实施例中，对于损坏程度较大的物料格，输出第二警报，可提醒流水线人员进行纠正，从而进一步提高物料格定位的准确性；对于损坏程度较小的物料格进行自主纠正，以进一步提高物料格定位的准确性。
进一步地，基于上述第一实施例，提出本发明视觉引导方法的第五实施例。
参照图6，图6为本发明视觉引导方法第五实施例的流程示意图。
在本实施例中，在上述步骤S10之前，该视觉引导方法还包括：
步骤S40，当接收到自动导引运输车AGV小车发送的物料箱已在操作台的通知信息时，将照射所述物料箱的光源打开，并将摄像头打开，以获取所述物料箱的图像数据。
在本实施例中，当接收到自动导引运输车AGV小车发送的物料箱已在操作台的通知信息时，将照射物料箱的光源打开，并将摄像头打开，以获取所述物料箱的图像数据。其中，可通过WebSocket获取AGV小车发送的物料箱已在操作台的通知信息。
需要说明的是，摄像头安装在机械手末端或物料箱上方的支架上，并且摄像头的竖直方向与操作台成垂直90度，以从物料箱上方拍摄物料箱。
此外，还需要说明的是，光源安装在操作台侧方有一定小角度的位置或者摄像头偏下一些的位置。该光源可以把物料箱中物料格表面的纹理照亮清晰，并且不能过曝光，以打出均匀的灯光效果。
本实施例中，当接收到AGV小车发送的物料箱已在操作台的通知信息时，将光源打开，以使获得到的物料箱的图像数据清晰明了，从而进一步提高物料格定位的准确性，同时，在操作台上有物料箱时，再打开摄像头，可提高摄像头的能效。
进一步地，基于上述第一实施例，提出本发明视觉引导方法的第六实施例。
参照图7，图7为本发明视觉引导方法第六实施例的流程示意图。
在本实施例中，在上述步骤S10之后，该视觉引导方法还包括：
步骤S50，根据所述图像数据，得到所述物料箱中物料格的编号和所述物料格中放置的物料盘的二维码；
在本实施例中，根据图像数据，得到物料箱中物料格的编号和物料格中放置的物料盘的二维码。具体的，根据图像数据，采用图像处理方法进行分析，得到物料箱中物料格的编号和物料格中放置的物料盘的二维码。
需要说明的是，物料箱的每一个物料格都有编号，物料格中放置的物料盘上面都有二维码。该编号对应的物料盘上的电子元器件名称和数量都有记录在数据库中，相应的，二维码也记录了物料盘上的电子元器件名称和数量。
步骤S60，根据所述编号，从数据库中获取所述物料盘中物料的数据库名称和所述物料的数据库数量，并根据所述二维码，得到所述物料的实际名称和所述物料的实际数量；
在本实施例中，根据编号，从数据库中获取物料盘中物料的数据库名称和物料的数据库数量，并根据二维码，得到物料的实际名称和物料的实际数量。其中，数据库名称为该编号对应的物料盘上的电子元器件名称，数据库数量为该编号对应的物料盘上的电子元器件数量；实际名称为二维码记录的物料盘上的电子元器件名称，实际数量为二维码记录的物料盘上的电子元器件数量。
步骤S70，判断所述实际名称与所述数据库名称是否相同；
步骤S80，若所述实际名称与所述数据库名称不相同，则输出第三警报，以通知人工纠正；
在本实施例中，判断实际名称与数据库名称是否相同，若实际名称与数据库名称不相同，则输出第三警报，以通知人工纠正。其中，第三警报可以为听觉警报、视觉警报等，听觉警报可以为响铃警报、语音提醒警报等，视觉警报可以为灯闪警报，显示屏显示警报。可以理解，输出第三警报用于提醒流水线的人员对物料格中放置的物料盘进行纠正。
步骤S90，若所述实际名称与所述数据库名称相同，则判断所述实际数量与所述数据库数量是否相同；
步骤S100，若所述实际数量与所述数据库数量不相同，则根据所述实际数量，更新所述数据库中所述数据库数量。
在本实施例中，若实际名称与数据库名称相同，则判断实际数量与数据库数量是否相同，若实际数量与数据库数量不相同，则根据实际数量，更新数据库中数据库数量。可以理解，在数据库名称与实际名称相同时，将数据库数量更新为实际数量，可实时更新数据库的数量信息。
本实施例中，通过对比物料格编号和物料盘二维码所对应的物料名称和物料数量，若二者物料名称不相同，则输出第三警报，以通知人工纠正，从而进一步提高机械手分拣物料的准确率，以进一步提高物料分拣效率；若二者物料名称相同，但物料数量不相同，则更新数据库的数量信息，保证数据的准确性，从而进一步提高机械手分拣物料的准确率，以进一步提高物料分拣效率。
进一步地，基于上述第一实施例，提出本发明视觉引导方法的第七实施例。
参照图8，图8为本发明视觉引导方法第七实施例的流程示意图。
在本实施例中，在上述步骤S20之前，该视觉引导方法还包括：
步骤S110，根据所述图像数据，得到所述物料箱中物料格的检测区域；
步骤S120，根据预设神经网络算法，判断所述检测区域是否有物料盘；
步骤S130，若所述检测区域没有所述物料盘，则输出第四警报，以通知人工纠正。
在本实施例中，根据图像数据，得到物料箱中物料格的检测区域，然后，根据预设神经网络算法，判断检测区域是否有物料盘，最后，若检测区域没有物料盘，则输出第四警报，以通知人工纠正。其中，预设神经网络算法可根据实际情况进行设定，例如梯度下降法、牛顿算法、共轭梯度法等神经网络算法，此处不作具体限定。
需要说明的是，第四警报可以为听觉警报、视觉警报等，听觉警报可以为响铃警报、语音提醒警报等，视觉警报可以为灯闪警报，显示屏显示警报。可以理解，输出第四警报用于提醒流水线的人员对未放置物料盘的物料格进行纠正。
本实施例中，通过神经网络算法判断物料格中是否有物料盘，若物料格中无物料盘，则输出第四警报，以通知人工纠正，保证每一个物料格上均有物料盘，从而进一步提高物料分拣效率。
本发明还提供一种视觉引导***，该视觉引导***包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视觉引导程序，所述视觉引导程序被所述处理器执行时实现如以上任一项实施例所述的视觉引导方法的步骤。
本发明视觉引导***的具体实施例与上述视觉引导方法各实施例基本相同，在此不作赘述。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有视觉引导程序，所述视觉引导程序被处理器执行时实现如以上任一项实施例所述的视觉引导方法的步骤。
本发明计算机可读存储介质的具体实施例与上述视觉引导方法各实施例基本相同，在此不作赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视觉引导方法，其特征在于，所述视觉引导方法包括以下步骤：
当物料箱在操作台上时，获取所述物料箱的图像数据，并获取需求清单；
根据所述图像数据，确定所述物料箱中物料格的图像坐标位置；
根据所述图像坐标位置及所述需求清单，控制机械手对所述物料格中放置的物料盘进行分拣。
2.如权利要求1所述的视觉引导方法，其特征在于，所述根据所述图像数据，确定所述物料箱中物料格的图像坐标位置的步骤包括：
根据边缘检测算法及直线拟合算法，对所述图像数据进行处理，得到纵坐标边界直线和横坐标边界直线；
根据所述纵坐标边界直线及所述横坐标边界直线，得到所述物料箱中物料格的中心点；
根据所述中心点，得到所述中心点的坐标和旋转角度；
根据所述中心点的坐标和旋转角度，确定所述物料格的图像坐标位置。
3.如权利要求2所述的视觉引导方法，其特征在于，所述根据所述中心点的坐标和旋转角度，确定所述物料格的图像坐标位置的步骤包括：
根据所述图像数据，判断所述物料格是否变形；
若所述物料格变形，则获取所述物料格的变形程度，并获取预设变形阈值；
判断所述变形程度是否大于所述预设变形阈值；
若所述变形程度大于所述预设变形阈值，则输出第一警报；
若所述变形程度小于或等于所述预设变形阈值，则根据所述中心点的坐标和旋转角度，确定所述物料格的检测坐标位置；
对所述检测坐标位置进行纠正，将纠正后的坐标位置作为所述物料格的图像坐标位置。
4.如权利要求2所述的视觉引导方法，其特征在于，所述根据所述中心点的坐标和旋转角度，确定所述物料格的图像坐标位置的步骤包括：
根据所述图像数据，判断所述物料格是否损坏；
若所述物料格损坏，则获取所述物料格的损坏程度，并获取预设损坏阈值；
判断所述损坏程度是否大于所述预设损坏阈值；
若所述损坏程度大于所述预设损坏阈值，则输出第二警报；
若所述损坏程度小于或等于所述预设损坏阈值，则根据所述中心点的坐标和旋转角度，确定所述物料格的检测坐标位置；
对所述检测坐标位置进行纠正，将纠正后的坐标位置作为所述物料格的图像坐标位置。
5.如权利要求1所述的视觉引导方法，其特征在于，所述根据所述图像坐标位置及所述需求清单，控制机械手对所述物料格中放置的物料盘进行分拣的步骤包括：
根据预设转化方式，将所述图像坐标位置转化为机械手坐标位置；
根据所述机械手坐标位置及所述需求清单，控制所述机械手对所述物料格中放置的物料盘进行分拣。
6.如权利要求1所述的视觉引导方法，其特征在于，所述当物料箱在操作台上时，获取所述物料箱的图像数据，并获取需求清单的步骤之前，还包括：
当接收到自动导引运输车AGV小车发送的物料箱已在操作台的通知信息时，将照射所述物料箱的光源打开，并将摄像头打开，以获取所述物料箱的图像数据。
7.如权利要求1所述的视觉引导方法，其特征在于，所述当物料箱在操作台上时，获取所述物料箱的图像数据，并获取需求清单的步骤之后，还包括：
根据所述图像数据，得到所述物料箱中物料格的编号和所述物料格中放置的物料盘的二维码；
根据所述编号，从数据库中获取所述物料盘中物料的数据库名称和所述物料的数据库数量，并根据所述二维码，得到所述物料的实际名称和所述物料的实际数量；
判断所述实际名称与所述数据库名称是否相同；
若所述实际名称与所述数据库名称不相同，则输出第三警报，以通知人工纠正；
若所述实际名称与所述数据库名称相同，则判断所述实际数量与所述数据库数量是否相同；
若所述实际数量与所述数据库数量不相同，则根据所述实际数量，更新所述数据库中所述数据库数量。
8.如权利要求1所述的视觉引导方法，其特征在于，所述根据所述图像数据，确定所述物料箱中物料格的图像坐标位置的步骤之前，还包括：
根据所述图像数据，得到所述物料箱中物料格的检测区域；
根据预设神经网络算法，判断所述检测区域是否有物料盘；
若所述检测区域没有所述物料盘，则输出第四警报，以通知人工纠正。
9.一种视觉引导***，其特征在于，所述视觉引导***包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视觉引导程序，所述视觉引导程序被所述处理器执行时实现如权利要求1至8中任一项所述的视觉引导方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有视觉引导程序，所述视觉引导程序被处理器执行时实现如权利要求1至8中任一项所述的视觉引导方法的步骤。
CN202010965470.7A 2020-09-14 2020-09-14 视觉引导方法、***及计算机可读存储介质 Active CN112139053B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010965470.7A CN112139053B (zh) 2020-09-14 2020-09-14 视觉引导方法、***及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010965470.7A CN112139053B (zh) 2020-09-14 2020-09-14 视觉引导方法、***及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112139053A true CN112139053A (zh) 2020-12-29
CN112139053B CN112139053B (zh) 2022-06-21

Family

ID=73893765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010965470.7A Active CN112139053B (zh) 2020-09-14 2020-09-14 视觉引导方法、***及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112139053B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018034233A (ja) * 2016-08-30 2018-03-08 ファナック株式会社 ワーク仕分けシステムおよび方法
CN108345307A (zh) * 2018-03-05 2018-07-31 菲尼克斯(南京)智能制造技术工程有限公司 视觉引导***和视觉引导方法
CN109623821A (zh) * 2018-12-26 2019-04-16 深圳市越疆科技有限公司 机器手抓取物品的视觉引导方法
CN109711762A (zh) * 2018-11-20 2019-05-03 中信梧桐港供应链管理有限公司 货物进出库自动管理方法及装置
CN110490607A (zh) * 2019-07-05 2019-11-22 苏州卓越金码电子科技有限公司 一种物料追溯***及方法
CN110823087A (zh) * 2019-12-23 2020-02-21 北京讯腾智慧科技股份有限公司 一种基于北斗物联的储罐变形监测方法、***、终端及计算机存储介质
CN111144322A (zh) * 2019-12-28 2020-05-12 广东拓斯达科技股份有限公司 一种分拣方法、装置、设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018034233A (ja) * 2016-08-30 2018-03-08 ファナック株式会社 ワーク仕分けシステムおよび方法
CN108345307A (zh) * 2018-03-05 2018-07-31 菲尼克斯(南京)智能制造技术工程有限公司 视觉引导***和视觉引导方法
CN109711762A (zh) * 2018-11-20 2019-05-03 中信梧桐港供应链管理有限公司 货物进出库自动管理方法及装置
CN109623821A (zh) * 2018-12-26 2019-04-16 深圳市越疆科技有限公司 机器手抓取物品的视觉引导方法
CN110490607A (zh) * 2019-07-05 2019-11-22 苏州卓越金码电子科技有限公司 一种物料追溯***及方法
CN110823087A (zh) * 2019-12-23 2020-02-21 北京讯腾智慧科技股份有限公司 一种基于北斗物联的储罐变形监测方法、***、终端及计算机存储介质
CN111144322A (zh) * 2019-12-28 2020-05-12 广东拓斯达科技股份有限公司 一种分拣方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN112139053B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN108584598B (zh) 一种电梯故障自动分析与预警方法、存储介质及智能终端
CN110222925B (zh) 绩效量化考核方法、装置及计算机可读存储介质
CN111079990B (zh) 集群机器人调度方法、装置、***、设备及计算机可读存储介质
CN107835520B (zh) wifi热点连接方法、装置及存储介质
CN111291753B (zh) 基于图像的文本识别方法、装置及存储介质
CN110825832A (zh) Slam地图更新方法、装置及计算机可读存储介质
CN111401650A (zh) 客户端订单接入管理方法和***
CN112775957B (zh) 作业机器人的控制方法、作业机器人***及芯片
CN112139053B (zh) 视觉引导方法、***及计算机可读存储介质
CN112819799B (zh) 目标缺陷检测方法及装置、***、电子设备和存储介质
CN110599114A (zh) 业务流程处理方法、装置、设备及计算机可读存储介质
CN110441714B (zh) 指示灯的检测方法、装置及计算机可读存储介质
KR20160032653A (ko) 후보 문자 순위화 방법 및 장치와 문자 입력 방법 및 장치
CN109669402B (zh) 异常监控方法、设备、装置及计算机可读存储介质
CN113610801B (zh) 基于最小单元的缺陷分类方法、装置、设备和存储介质
CN114083800B (zh) 模型支撑面的3d打印数据生成方法、装置及存储介质
CN113610155B (zh) 基于相似性比对模型的晶圆缺陷分类方法及装置、电子设备和存储介质
CN111030848B (zh) 电子产品自动配置方法、装置和存储介质
CN110287754B (zh) 车辆信息管理方法、装置和计算机可读存储介质
CN114435828A (zh) 货品存储方法、装置、搬运设备及存储介质
CN112783687A (zh) 一种数据处理方法、终端及计算机可读存储介质
CN111160336B (zh) 目标检测方法、装置及计算机可读存储介质
CN112766138A (zh) 基于图像识别的定位方法、装置、设备及存储介质
CN111125205A (zh) 看板数据显示方法、终端及存储介质
CN110705627A (zh) 目标检测方法、目标检测***、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210430

Address after: 518000 4 / F, gaoxinxin factory building, district 67, Xingdong community, Xin'an street, Bao'an District, Shenzhen City, Guangdong Province

Applicant after: SHENZHEN JIMI IOT Co.,Ltd.

Address before: 511400 room 508, building 3, 28 Qinglan street, Xiaoguwei street, Panyu District, Guangzhou City, Guangdong Province

Applicant before: Guangzhou Jimi Wulian Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant