CN114708209B - 一种基于3d建模和视觉检测的生产交互方法及*** - Google Patents

一种基于3d建模和视觉检测的生产交互方法及*** Download PDF

Info

Publication number
CN114708209B
CN114708209B CN202210300607.6A CN202210300607A CN114708209B CN 114708209 B CN114708209 B CN 114708209B CN 202210300607 A CN202210300607 A CN 202210300607A CN 114708209 B CN114708209 B CN 114708209B
Authority
CN
China
Prior art keywords
production
basket
rule
area
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210300607.6A
Other languages
English (en)
Other versions
CN114708209A (zh
Inventor
周禹
孙彬
徐志群
付明全
马伟萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Jinwan Gaojing Solar Energy Technology Co ltd
Gaojing Solar Co ltd
Original Assignee
Guangdong Jinwan Gaojing Solar Energy Technology Co ltd
Gaojing Solar Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Jinwan Gaojing Solar Energy Technology Co ltd, Gaojing Solar Co ltd filed Critical Guangdong Jinwan Gaojing Solar Energy Technology Co ltd
Priority to CN202210300607.6A priority Critical patent/CN114708209B/zh
Publication of CN114708209A publication Critical patent/CN114708209A/zh
Priority to PCT/CN2023/083068 priority patent/WO2023179663A1/zh
Application granted granted Critical
Publication of CN114708209B publication Critical patent/CN114708209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67276—Production flow monitoring, e.g. for increasing throughput
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于3D建模和视觉检测的生产交互方法及***，先对生产范围内各个目标区域中的生产因素进行图像采集及3D监控模型建模，根据正常设定的生产流程，基于3D建模建立起对应的生产流规则，在生产流规则中定义了每一个生产因素特征在生产过程中的位置信息、动作信息、状态信息等；在实际生产中，实时视觉检测各个生产因素特征，并将其与生产流规则中对应的设定特征作对比，只有与模型中所定义的生产因素设定特征相符，判断正确才能继续正常运行，若不符，则马上采取更正措施；在进行生产交互时，无需借助感应器和人力，错误率低，智能化解决生产效率瓶颈问题。

Description

一种基于3D建模和视觉检测的生产交互方法及***
技术领域
本发明涉及智能生产控制技术领域，尤其涉及一种基于3D建模和视觉检测的生产交互方法及***。
背景技术
在进行硅片生产过程中，需要在清洗机的下料端，将清洗好的插载好硅片的花篮放置在分选机中，由分选机逐一对每个花篮进行跑片，而跑片完毕的空花篮则放置在回篮线中，再传输至回收区，这期间花篮的搬运需要使用机器臂。可以看出，为了实现硅片的跑片，需要多台生产设备之间的交互，而为了满足自动生产，每台生产设备之间的生产因素状态是否进行妥当，是否满足进入下一步骤的条件，都是需要确保的，尤其在进行薄硅片生产时，例如对110微米以下硅片的清洁后跑片步骤中，则必须保证各个生产因素之间的配合要严丝合缝，不能有超出误差以外的偏差，否则如果花篮发生误撞、误停机或误压篮，薄硅片容易受到损伤，产生坏片。
现有技术中，通常是通过各种感应器来对各个生产因素的动作进行监控，例如使用限位传感器进行花篮来料的感应，再用位置感应器来检测跑片时各个花篮之间的位置配合，总之需要在生产线上装配一系列感应器，来保证生产的逻辑流畅性。但是由于感应器容易发生故障，在使用过程中容易发生位置偏移，维修效率低，容易耽误生产，而且还需专人盯着生产，对人工依赖性强，所以在进一步推广超薄型硅片生产过程中，遇到了生产效率瓶颈。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的目的在于提供一种基于3D建模和视觉检测的生产交互方法及***，以解决现有技术中需要依赖大量感应器和人工来保证硅片生产中花篮的生产状态转移的问题，克服了在对超薄硅片生产时的效率瓶颈。
为达到上述目的，本发明采用如下技术方案：
本申请实施例第一方面，提供一种基于3D建模和视觉检测的生产交互方法，用于硅片生产中花篮的生产状态转移，包括以下步骤：
S10、采集生产范围内各目标区域中的生产因素图像，根据生产因素的成像轮廓特征及位置关系，建立3D监控模型；
S20、基于3D监控模型，设定生产流规则，所述生产流规则中包括各生产因素在正常生产流程中的设定特征；
S30、控制各目标区域中的生产因素按设定生产流程运作，检测生产因素的动态特征和/或静态特征，并逐一将生产因素特征与生产流规则中对应的设定特征作对比：
S31、若所对比的生产因素特征与生产流规则中设定特征相符，则继续按设定生产流程运作；
S32、若所对比的生产因素特征与生产流规则中设定特征不符，则停止其余生产因素，控制用于对比的当前生产因素继续执行当前指令，直至与生产流规则中设定特征相符，再恢复其余生产因素运作。
在一些可能的实施例中，所述设定生产流程包括自动模式和手动模式，在执行步骤S30后：
当处于自动模式下时，若所对比的生产因素特征与生产流规则中设定特征不符，按步骤S32执行；
当处于手动模式下时，若所对比的生产因素特征与生产流规则中设定特征不符，则执行步骤S33：停止所有生产因素的运作，显示警示信息，并输出可供选择的执行命令选项，获取并执行手动下达的执行命令选项。
在一些可能的实施例中，所述目标区域包括下料区、分选区、回篮区和抓取区，所述生产流规则按目标区域划分，各目标区域的生产流规则约束其中生产因素的动作和状态。
在一些可能的实施例中，在步骤S20中，设定生产流规则时，确定在各目标区域中，对应生产因素在执行一个动作的前后定位，根据前后定位的生产因素图像，确定其轨迹轮廓特征。
在一些可能的实施例中，在步骤S20中，设定生产流规则时，具体包括：
根据设定生产流程的作业顺序，将各个目标区域按优先级划分，所述下料区和分选区为第一优先级区，所述抓取区为第二优先级区，所述回篮区为第三优先级区；
设定来料规则：当至少一个满载的花篮被输送至所述下料区的下料端，且所述分选区中至少一个翻转机处于水平的待上料状态时，记录第一优先级区中生产因素的来料特征，当所检测的生产因素特征满足以上来料特征时，即满足来料规则；
设定上料规则：在满足来料规则情况下，控制抓取区的机器臂抓取下料区中的满载花篮并放置在分选区中处于待上料状态的翻转机，记录第二优先级区中机器臂在上料时的轨迹轮廓，将所述机器臂的上料轨迹轮廓记录为上料特征，当所检测的生产因素特征满足以上上料特征时，即满足上料规则；
设定分选规则：在满足上料规则情况下，控制分选区中各翻转机轮流进行跑片，记录第一优先级区中各翻转机在跑片时的轨迹轮廓，将所述翻转机的跑片轨迹轮廓记录为分选特征，当所检测的生产因素特征满足以上分选特征时，即满足分选规则；
设定回篮规则：在满足分选规则情况下，当所述分选区中至少一个翻转机处于水平的待回篮状态时，记录第一优先级区中生产因素的回篮特征，当所检测的生产因素特征满足以上回篮特征时，即满足回篮规则；
设定取篮规则：在满足回篮规则情况下，控制抓取区的机器臂抓取处于水平的待回篮状态中的翻转机上的空花篮，记录第二优先级区中机器臂在取篮时的轨迹轮廓，将所述机器臂的取篮轨迹轮廓记录为取篮特征，当所检测的生产因素特征满足以上取篮特征时，即满足取篮规则；
设定移篮规则：在满足取篮规则情况下，当所述回篮区上有回篮空位时，控制机器臂将空花篮放置于所述回篮空位，记录第三优先级区中生产因素的移篮特征，当所检测的生产因素特征满足以上移篮特征时，即满足移篮规则。
在一些可能的实施例中，在设定生产流规则时，还包括设定异常规则：
当检测到生产因素以外的异常因素进入生产范围时，停止所有生产因素。
在一些可能的实施例中，在设定来料规则时，还包括：
记录所述下料区的下料端中满载的花篮内所有硅片处于平整状态下的特征为平整特征，当所检测的生产因素特征满足以上平整特征时，即满足来料规则。
在一些可能的实施例中，在所述分选区中包括两台翻转机，两台所述翻转机为左右两侧布置；
当所述翻转机处于待上料状态时，所述翻转机位于左或右侧边位置，处于水平状态，其上无花篮；
当所述翻转机处于跑片状态时，所述翻转机位于中部位置，处于垂直状态；
当所述翻转机处于待回篮状态时，所述翻转机位于左或右侧边位置，处于水平状态，其上有花篮。
本申请实施例第二方面，提供一种基于3D建模和视觉检测的生产交互***，包括：
3D相机模块，用于采集生产范围内各目标区域中的生产因素图像，根据生产因素的成像轮廓特征及位置关系，建立3D监控模型；且在各目标区域中的生产因素按设定生产流程运作时，检测生产因素的动态特征和/或静态特征；
规则设定模块，用于设定生产流规则，所述生产流规则中包括各生产因素在正常生产流程中的设定特征；
生产执行模块，用于控制各目标区域中的生产因素按设定生产流程运作；
交互处理模块，用于将所检测的生产因素特征与生产流规则中对应的设定特征作对比：
若所对比的生产因素特征与生产流规则中设定特征相符，则继续按设定生产流程运作；
若所对比的生产因素特征与生产流规则中设定特征不符，则停止其余生产因素，控制用于对比的当前生产因素继续执行当前指令，直至与生产流规则中设定特征相符，再恢复其余生产因素运作。
在一些可能的实施例中，所述3D相机模块包括4台3D相机，所述3D相机为双目3D相机、ToF 3D相机、单目结构光3D相机、双目结构光3D相机中的一种或者多种。
相比现有技术，本发明至少包括以下有益效果：
本申请实施例提供的基于3D建模和视觉检测的生产交互方法及***，先对生产范围内各个目标区域中的生产因素进行图像采集及3D监控模型建模，根据正常设定的生产流程，基于3D建模建立起对应的生产流规则，在生产流规则中定义了每一个生产因素特征在生产过程中的位置信息、动作信息、状态信息等；在实际生产中，实时视觉检测各个生产因素特征，并将其与生产流规则中对应的设定特征作对比，只有与模型中所定义的生产因素设定特征相符，判断正确才能继续正常运行，若不符，则马上采取更正措施；在进行生产交互时，无需借助感应器和人力，错误率低，智能化解决生产效率瓶颈问题。
下面结合附图和具体实施方式对本发明作进一步详细说明。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1为本发明实施例提供的一种基于3D建模和视觉检测的生产交互方法的流程示意图。
图2为本发明实施例提供的生产交互方法应用在硅片生产中清洗、跑片、回篮的场景的俯视简图。
图3为本发明实施例提供的生产交互方法应用在硅片生产中清洗、跑片、回篮的场景的正视简图。
图中，1、下料区；2、分选区；3、回篮区；4、抓取区；11、清洗机；12、满载的花篮；13、空的花篮；21、分选装置；22、翻转机；31、回篮线；41、机器臂；5、3D相机模块。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，当描述到特定器件位于第一器件和第二器件之间时，在该特定器件与第一器件或第二器件之间可以存在居间器件，也可以不存在居间器件。当描述到特定器件连接其它器件时，该特定器件可以与所述其它器件直接连接而不具有居间器件，也可以不与所述其它器件直接连接而具有居间器件。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在生产厚度小于120微米的硅片，尤其是110微米硅片时，在从清洗机下料端将满载的花篮放置在分选机中、再将跑片完的空花篮放回至回篮线时，要不需要人工进行转移，效率低下，不适应大规模生产；要不采用一系列感应器，来感应满花篮和空花篮的位置和状态，而偏偏在这一步骤中，花篮中的110微米硅片在经过清洗之后可能发生形变，出现不同程度的凹陷或者上凸，利用传统感应器无法精准检测到每一片硅片的情况，因此导致在后续的翻转、跑片时容易出现碰撞、压篮等问题，影响了生产质量和生产效率。
为了解决上述问题，第一方面，参照图1至图3，本实施例提供一种基于3D建模和视觉检测的生产交互方法，用于硅片生产中花篮的生产状态转移，更进一步地，是在清洗、跑片、回篮的生产过程中，花篮在清洗机11、翻转机22和回篮线31之间的生产状态转移，包括以下步骤：
S10、采集生产范围内各目标区域中的生产因素图像，根据生产因素的成像轮廓特征及位置关系，建立3D监控模型；每个目标区域的功能不一样，因此每个目标区域都有其特有的生产因素，当然地，花篮需要穿梭于多个目标区域，因此花篮作为共同生产因素流转；通过采集图像，包括动态特征和/或静态特征，建立起能含括生产范围内所有生产因素的3D监控模型；
S20、基于3D监控模型，设定生产流规则，生产流规则中包括各生产因素在正常生产流程中的设定特征；在3D监控模型中已经包括在不同工作流程中，各个目标区域各个生产因素的特征，通过这些特征的组合和排序，可模拟出正常生产流程中的特征流，需要注意的是，在生产流规则中，存在逻辑判断，即需要满足特定规则，才能进入目标规则，前置规则未满足，则无法进入后续规则；
S30、在设定好生产流规则后，进入实际生产中，控制各目标区域中的生产因素按设定生产流程运作，在正常运作过程中，实时检测生产因素的动态特征和/或静态特征，并逐一将生产因素特征与生产流规则中对应的设定特征作对比：
S31、若所对比的生产因素特征与生产流规则中设定特征相符，则继续按设定生产流程运作；
S32、若所对比的生产因素特征与生产流规则中设定特征不符，则停止其余生产因素，控制用于对比的当前生产因素继续执行当前指令，直至与生产流规则中设定特征相符，再恢复其余生产因素运作。
需要说明的是，设定特征可以是动态特征，例如移动轨迹、转动角度等，也可以是静态特征，例如硅片数量、摆放位置等，只要能用来反映在正常生产流程中各个生产因素的运作规则，均在本实施例的设定特征范围内。在实际生产中，通过实时视觉检测各个生产因素特征，并将其与生产流规则中对应的设定特征作对比，只有与模型中所定义的生产因素设定特征相符，判断正确才能继续正常运行，若不符，则马上采取更正措施；在进行生产交互时，无需借助感应器和人力，错误率低，智能化解决生产效率瓶颈问题。
作为一种实施方式，设定生产流程包括自动模式和手动模式，即在正常生产中，根据实际需要，可以在自动模式下运行，也可以在手动模式下运行，两种模式在步骤S10、S20、S30中是一致的，区别点就在执行步骤S30后：
当处于自动模式下时，按步骤S31和S32执行，其中，若所对比的生产因素特征与生产流规则中设定特征不符，则停止其余生产因素，控制用于对比的当前生产因素继续执行当前指令，直至与生产流规则中设定特征相符，再恢复其余生产因素运作；
当处于手动模式下时，若所对比的生产因素特征与生产流规则中设定特征相符，则继续按设定生产流程运作，这一步骤与S31相同；若所对比的生产因素特征与生产流规则中设定特征不符，则执行步骤S33：停止所有生产因素的运作，显示警示信息，并输出可供选择的执行命令选项，获取并执行手动下达的执行命令选项。需注意的是，若在手动模式下出现了特征不符，先停止运作，显示出警示信息，告知操作者异常情况，然后在显示界面给出若干个可供选择的执行命令选项，包括有手动复位、再执行当前步骤、返回上一步骤等，即尽量在人工不接触内部生产因素的情况下，让控制***自行修复和还原，其中，执行命令选项均是安全选项，当然地，操作者也可通过操作显示界面，跳出此执行命令选项，执行另外的程序允许的动作。
在本实施例中，目标区域包括下料区1、分选区2、回篮区3和抓取区4，其中，下料区1包括清洗机11，清洗机11将清洗完的满载花篮传输至下料端；分选区2包括分选装置21，其中包括两台翻转机22，两台翻转机22依次进行翻转跑片；回篮区3包括回篮线31，将空的花篮13放置在回篮线31上，回篮线31将其传输至回收区；抓取区4包括机器臂41，机器臂41负责搬运花篮，包括将满载的花篮12从清洗机11放至翻转机22，也包括将空的花篮13从翻转机22放至回篮线31；生产流规则根据以上目标区域进行划分，每个目标区域都有对应的生产流规则，属于一个目标区域中的生产流规则只能作用于本目标区域，即各目标区域的生产流规则约束其中生产因素的动作和状态。
更进一步地，在步骤S20中，设定生产流规则时，在设定动态的特征时，确定在各目标区域中，对应生产因素在执行一个动作的前后定位，根据前后定位的生产因素图像，确定其轨迹轮廓特征。例如机器臂41在将满载的花篮12从清洗机11放至翻转机22过程中，由于清洗机11的下料端有两个花篮位A、B，还存在两台翻转机22C、D，因此在上料时，机器臂41需要从A到C，还需从B到D，以实现依次放置花篮，在3D监控模型中确定从A到C、从B到D机器臂41的轨迹轮廓特征，机器臂41的轨迹只有与此设定特征相符，才能证明其运行正确。
在本实施例中，在步骤S20中，设定生产流规则时，具体包括：
根据设定生产流程的作业顺序，将各个目标区域按优先级划分，由于下料区1和分选区2是最核心的目标区域，直接影响花篮的运转，只要这两个区域需要向前推进生产流程，其余区域需要配合，因此将下料区1和分选区2定义为第一优先级区；花篮在各个目标区域中的生产状态转移都需要机器臂41的投运，因此将抓取区4定义为第二优先级区；最后，只要机器臂41将空的花篮13放置在回篮线31上，回篮线31即需进行回收，因此将回篮区3定义为第三优先级区。第一优先级区的优先级最高，只有当第一优先级区达到一定条件，才会使作为辅助功能的第二优先级区和第三优先级区投入运行。
在生产流规则中，包括有若干个细分规则，每一个细分规则负责对应目标区域或优先级区的生产，更详细地，包括来料规则、上料规则、分选规则、回篮规则、取篮规则和移篮规则，具体设定过程如下：
设定来料规则：当至少一个满载的花篮12被输送至下料区1的下料端，且分选区2中至少一个翻转机22处于水平的待上料状态时，证明此时可以将满载花篮输送至翻转机22，记录第一优先级区中生产因素的来料特征，来料特征为静态特征，当所检测的生产因素特征满足以上来料特征时，即满足来料规则；在这一规则中，重点在于第一优先级区中的下料端和翻转机22是否满足可以上料的条件，通过视觉检测可反映真实情况；
设定上料规则：在满足来料规则情况下，控制抓取区4的机器臂41抓取下料区1中的满载花篮并放置在分选区2中处于待上料状态的翻转机22，记录第二优先级区中机器臂41在上料时的轨迹轮廓，将机器臂41的上料轨迹轮廓记录为上料特征，上料特征为动态特征，当所检测的生产因素特征满足以上上料特征时，即满足上料规则；在这一规则中，重点在于机器臂41是否按设定的输送路线和轨迹来工作，路线相符才能进行输送；
设定分选规则：在满足上料规则情况下，控制分选区2中各翻转机22轮流进行跑片，记录第一优先级区中各翻转机22在跑片时的轨迹轮廓，将翻转机22的跑片轨迹轮廓记录为分选特征，分选特征为动态特征，当所检测的生产因素特征满足以上分选特征时，即满足分选规则；在这一规则中，重点在于两台翻转机22的工作配合，两台翻转机22需要满足轮流依次跑片的规则；
设定回篮规则：在满足分选规则情况下，当分选区2中至少一个翻转机22处于水平的待回篮状态时，记录第一优先级区中生产因素的回篮特征，此时花篮上无硅片，且翻转机22的放置平台处于水平初始位置状态，当所检测的生产因素特征满足以上回篮特征时，即满足回篮规则；
设定取篮规则：在满足回篮规则情况下，控制抓取区4的机器臂41抓取处于水平的待回篮状态中的翻转机22上的空花篮，记录第二优先级区中机器臂41在取篮时的轨迹轮廓，将机器臂41的取篮轨迹轮廓记录为取篮特征，取料特征为动态特征，当所检测的生产因素特征满足以上取篮特征时，即满足取篮规则；在这一规则中，重点在于机器臂41是否按设定的搬运路线和轨迹来工作，路线相符才能进行输送；
设定移篮规则：在满足取篮规则情况下，当回篮区3上有回篮空位时，控制机器臂41将空花篮放置于回篮空位，记录第三优先级区中生产因素的移篮特征，当所检测的生产因素特征满足以上移篮特征时，即满足移篮规则。
可见，在持续进行花篮跑片的过程中，至少需要经历来料、上料、分选、回篮、取篮和移篮，而且以上步骤环环相扣，只要满足来料之后，才会控制上料，上完料再分选，每分选完一个花篮，就进行回篮、取篮和移篮，回收这一花篮，因此在设定相应的生产流规则时，需要进行优先级划分，第二优先级区的动作需要第一优先级区满足相应前置条件，只有第二优先级区进入取篮规则中，才会触发第三优先级区进行移篮，优先级区划分使得生产交互更清晰，目的性更强，步骤简单不冗余。
作为一种实施方式，在设定生产流规则时，还包括设定异常规则：当检测到生产因素以外的异常因素进入生产范围时，停止所有生产因素。为了保证生产范围的安全性，杜绝其余异常因素进入生产范围。
作为一种实施方式，在设定来料规则时，还包括：记录下料区1的下料端中满载的花篮12内所有硅片处于平整状态下的特征为平整特征，当所检测的生产因素特征满足以上平整特征时，即满足来料规则。由于在清洗过程中，花篮中的硅片容易被清洗变形，因此需要通过视觉检测，检测在下料端中满载的花篮12内所有硅片是否处于平整状态，只有处于平整状态才能进入上料和分选，如果存在凹陷或上凸等变形，则先停止上料，调整好平整状态后再进入上料。需要注意的是，调整平整的动作，可以是人为调整，也可以是利用吹风来吹动硅片，在此不作进一步限定。
在本实施例中，在分选区2中包括两台翻转机22，分选区2一共有三个工位，分为是左右两侧和中间，两台翻转机22为左右两侧布置；初始状态下，中间工位的空置的，左右两侧一边一台翻转机22；
当翻转机22处于待上料状态时，翻转机22位于左或右侧边位置，翻转机22的放置平台处于水平状态，其上无花篮；此时满足在其上放置花篮的条件；
当翻转机22处于跑片状态时，翻转机22位于中部位置，翻转机22的放置平台处于垂直状态；
当翻转机22处于待回篮状态时，翻转机22位于左或右侧边位置，翻转机22的放置平台处于水平状态，其上有花篮。
需要说明的是，当先在左侧翻转机22上放置满载花篮后，左侧翻转机22先平移至中间工位，向上翻转90°形成垂直状态，以便跑片；在左侧翻转机22跑片时，再在右侧翻转机22上放置满载花篮；等左侧翻转机22跑片结束，将左侧翻转机22向下翻转90°形成水平状态，再平移至左侧工位，等待回篮；此时将右侧翻转机22平移至中间工位，进行右侧翻转机22上满载花篮的跑片，并如此重复。
在3D监控模型中，模拟建立出两台翻转机22在待上料、跑片、待回篮几个状态之间切换时的生产因素特征，只有当实际生产过程中翻转机22与生产流规则中对应的设定特征相符，才允许继续执行。
第二方面，本申请实施例提供一种基于3D建模和视觉检测的生产交互***，包括：
3D相机模块5，用于采集生产范围内各目标区域中的生产因素图像，根据生产因素的成像轮廓特征及位置关系，建立3D监控模型；且在各目标区域中的生产因素按设定生产流程运作时，检测生产因素的动态特征和/或静态特征；
规则设定模块，用于设定生产流规则，生产流规则中包括各生产因素在正常生产流程中的设定特征；
生产执行模块，用于控制各目标区域中的生产因素按设定生产流程运作；包括有清洗机11、分选装置21、翻转机22、机器臂41和回篮线31等；
交互处理模块，用于将所检测的生产因素特征与生产流规则中对应的设定特征作对比：
若所对比的生产因素特征与生产流规则中设定特征相符，则继续按设定生产流程运作；
若所对比的生产因素特征与生产流规则中设定特征不符，则停止其余生产因素，控制用于对比的当前生产因素继续执行当前指令，直至与生产流规则中设定特征相符，再恢复其余生产因素运作。
其中，3D相机模块5包括4台3D相机，3D相机为双目3D相机、ToF 3D相机、单目结构光3D相机、双目结构光3D相机中的一种或者多种。
在各目标区域的上方设置4台3D相机，分别从不同角度进行拍摄，形成无死角的三维图像，对动作单元和被动作物体的动态和静态特性进行实时监控，对生产范围内的生产因素进行空间定位识别，设置取放始末位置，自动计算运动轨迹，避让开周边环境，生成最优运动轨迹。
相对于现有技术，上述实施例提供一种基于3D建模和视觉检测的生产交互方法及***，先对生产范围内各个目标区域中的生产因素进行图像采集及3D监控模型建模，根据正常设定的生产流程，基于3D建模建立起对应的生产流规则，在生产流规则中定义了每一个生产因素特征在生产过程中的位置信息、动作信息、状态信息等；在实际生产中，实时视觉检测各个生产因素特征，并将其与生产流规则中对应的设定特征作对比，只有与模型中所定义的生产因素设定特征相符，判断正确才能继续正常运行，若不符，则马上采取更正措施；在进行生产交互时，无需借助感应器和人力，错误率低，智能化解决生产效率瓶颈问题。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于3D建模和视觉检测的生产交互方法，用于硅片生产中花篮的生产状态转移，其特征在于，包括以下步骤：
S10、采集生产范围内各目标区域中的生产因素图像，根据生产因素的成像轮廓特征及位置关系，建立3D监控模型；
S20、基于3D监控模型，设定生产流规则，所述生产流规则中包括各生产因素在正常生产流程中的设定特征；
S30、控制各目标区域中的生产因素按设定生产流程运作，检测生产因素的动态特征和/或静态特征，并逐一将生产因素特征与生产流规则中对应的设定特征作对比：
S31、若所对比的生产因素特征与生产流规则中设定特征相符，则继续按设定生产流程运作；
S32、若所对比的生产因素特征与生产流规则中设定特征不符，则停止其余生产因素，控制用于对比的当前生产因素继续执行当前指令，直至与生产流规则中设定特征相符，再恢复其余生产因素运作；
所述目标区域包括下料区、分选区、回篮区和抓取区，所述生产流规则按目标区域划分，各目标区域的生产流规则约束其中生产因素的动作和状态；
在步骤S20中，设定生产流规则时，确定在各目标区域中，对应生产因素在执行一个动作的前后定位，根据前后定位的生产因素图像，确定其轨迹轮廓特征；设定生产流规则时，具体包括：
根据设定生产流程的作业顺序，将各个目标区域按优先级划分，所述下料区和分选区为第一优先级区，所述抓取区为第二优先级区，所述回篮区为第三优先级区，生产流规则包括来料规则、上料规则、分选规则、回篮规则、取篮规则和移篮规则，生产因素包括但不限于花篮、硅片、机器臂、翻转臂；
设定来料规则：当至少一个满载的花篮被输送至所述下料区的下料端，且所述分选区中至少一个翻转机处于水平的待上料状态时，记录第一优先级区中生产因素的来料特征，当所检测的生产因素特征满足以上来料特征时，即满足来料规则；
设定上料规则：在满足来料规则情况下，控制抓取区的机器臂抓取下料区中的满载花篮并放置在分选区中处于待上料状态的翻转机，记录第二优先级区中机器臂在上料时的轨迹轮廓，将所述机器臂的上料轨迹轮廓记录为上料特征，当所检测的生产因素特征满足以上上料特征时，即满足上料规则；
设定分选规则：在满足上料规则情况下，控制分选区中各翻转机轮流进行跑片，记录第一优先级区中各翻转机在跑片时的轨迹轮廓，将所述翻转机的跑片轨迹轮廓记录为分选特征，当所检测的生产因素特征满足以上分选特征时，即满足分选规则；
设定回篮规则：在满足分选规则情况下，当所述分选区中至少一个翻转机处于水平的待回篮状态时，记录第一优先级区中生产因素的回篮特征，当所检测的生产因素特征满足以上回篮特征时，即满足回篮规则；
设定取篮规则：在满足回篮规则情况下，控制抓取区的机器臂抓取处于水平的待回篮状态中的翻转机上的空花篮，记录第二优先级区中机器臂在取篮时的轨迹轮廓，将所述机器臂的取篮轨迹轮廓记录为取篮特征，当所检测的生产因素特征满足以上取篮特征时，即满足取篮规则；
设定移篮规则：在满足取篮规则情况下，当所述回篮区上有回篮空位时，控制机器臂将空花篮放置于所述回篮空位，记录第三优先级区中生产因素的移篮特征，当所检测的生产因素特征满足以上移篮特征时，即满足移篮规则。
2.根据权利要求1所述的一种基于3D建模和视觉检测的生产交互方法，其特征在于，所述设定生产流程包括自动模式和手动模式，在执行步骤S30后：
当处于自动模式下时，若所对比的生产因素特征与生产流规则中设定特征不符，按步骤S32执行；
当处于手动模式下时，若所对比的生产因素特征与生产流规则中设定特征不符，则执行步骤S33：停止所有生产因素的运作，显示警示信息，并输出可供选择的执行命令选项，获取并执行手动下达的执行命令选项。
3.根据权利要求2所述的一种基于3D建模和视觉检测的生产交互方法，其特征在于，在设定生产流规则时，还包括设定异常规则：
当检测到生产因素以外的异常因素进入生产范围时，停止所有生产因素。
4.根据权利要求3所述的一种基于3D建模和视觉检测的生产交互方法，其特征在于，在设定来料规则时，还包括：
记录所述下料区的下料端中满载的花篮内所有硅片处于平整状态下的特征为平整特征，当所检测的生产因素特征满足以上平整特征时，即满足来料规则。
5.根据权利要求4所述的一种基于3D建模和视觉检测的生产交互方法，其特征在于，在所述分选区中包括两台翻转机，两台所述翻转机为左右两侧布置；
当所述翻转机处于待上料状态时，所述翻转机位于左或右侧边位置，处于水平状态，其上无花篮；
当所述翻转机处于跑片状态时，所述翻转机位于中部位置，处于垂直状态；
当所述翻转机处于待回篮状态时，所述翻转机位于左或右侧边位置，处于水平状态，其上有花篮。
6.一种基于3D建模和视觉检测的生产交互***，其特征在于，包括：
3D相机模块，用于采集生产范围内各目标区域中的生产因素图像，根据生产因素的成像轮廓特征及位置关系，建立3D监控模型；且在各目标区域中的生产因素按设定生产流程运作时，检测生产因素的动态特征和/或静态特征；
规则设定模块，用于设定生产流规则，所述生产流规则中包括各生产因素在正常生产流程中的设定特征；
生产执行模块，用于控制各目标区域中的生产因素按设定生产流程运作；
交互处理模块，用于将所检测的生产因素特征与生产流规则中对应的设定特征作对比：
若所对比的生产因素特征与生产流规则中设定特征相符，则继续按设定生产流程运作；
若所对比的生产因素特征与生产流规则中设定特征不符，则停止其余生产因素，控制用于对比的当前生产因素继续执行当前指令，直至与生产流规则中设定特征相符，再恢复其余生产因素运作；
所述目标区域包括下料区、分选区、回篮区和抓取区，所述生产流规则按目标区域划分，各目标区域的生产流规则约束其中生产因素的动作和状态；
所述规则设定模块在设定生产流规则时，确定在各目标区域中，对应生产因素在执行一个动作的前后定位，根据前后定位的生产因素图像，确定其轨迹轮廓特征；设定生产流规则时，具体包括：
根据设定生产流程的作业顺序，将各个目标区域按优先级划分，所述下料区和分选区为第一优先级区，所述抓取区为第二优先级区，所述回篮区为第三优先级区，生产流规则包括来料规则、上料规则、分选规则、回篮规则、取篮规则和移篮规则，生产因素包括但不限于花篮、硅片、机器臂、翻转臂；
设定来料规则：当至少一个满载的花篮被输送至所述下料区的下料端，且所述分选区中至少一个翻转机处于水平的待上料状态时，记录第一优先级区中生产因素的来料特征，当所检测的生产因素特征满足以上来料特征时，即满足来料规则；
设定上料规则：在满足来料规则情况下，控制抓取区的机器臂抓取下料区中的满载花篮并放置在分选区中处于待上料状态的翻转机，记录第二优先级区中机器臂在上料时的轨迹轮廓，将所述机器臂的上料轨迹轮廓记录为上料特征，当所检测的生产因素特征满足以上上料特征时，即满足上料规则；
设定分选规则：在满足上料规则情况下，控制分选区中各翻转机轮流进行跑片，记录第一优先级区中各翻转机在跑片时的轨迹轮廓，将所述翻转机的跑片轨迹轮廓记录为分选特征，当所检测的生产因素特征满足以上分选特征时，即满足分选规则；
设定回篮规则：在满足分选规则情况下，当所述分选区中至少一个翻转机处于水平的待回篮状态时，记录第一优先级区中生产因素的回篮特征，当所检测的生产因素特征满足以上回篮特征时，即满足回篮规则；
设定取篮规则：在满足回篮规则情况下，控制抓取区的机器臂抓取处于水平的待回篮状态中的翻转机上的空花篮，记录第二优先级区中机器臂在取篮时的轨迹轮廓，将所述机器臂的取篮轨迹轮廓记录为取篮特征，当所检测的生产因素特征满足以上取篮特征时，即满足取篮规则；
设定移篮规则：在满足取篮规则情况下，当所述回篮区上有回篮空位时，控制机器臂将空花篮放置于所述回篮空位，记录第三优先级区中生产因素的移篮特征，当所检测的生产因素特征满足以上移篮特征时，即满足移篮规则。
7.根据权利要求6所述的一种基于3D建模和视觉检测的生产交互***，其特征在于，所述3D相机模块包括4台3D相机，所述3D相机为双目3D相机、ToF 3D相机、单目结构光3D相机、双目结构光3D相机中的一种或者多种。
CN202210300607.6A 2022-03-25 2022-03-25 一种基于3d建模和视觉检测的生产交互方法及*** Active CN114708209B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210300607.6A CN114708209B (zh) 2022-03-25 2022-03-25 一种基于3d建模和视觉检测的生产交互方法及***
PCT/CN2023/083068 WO2023179663A1 (zh) 2022-03-25 2023-03-22 一种基于3d建模和视觉检测的生产交互方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210300607.6A CN114708209B (zh) 2022-03-25 2022-03-25 一种基于3d建模和视觉检测的生产交互方法及***

Publications (2)

Publication Number Publication Date
CN114708209A CN114708209A (zh) 2022-07-05
CN114708209B true CN114708209B (zh) 2023-04-04

Family

ID=82170349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210300607.6A Active CN114708209B (zh) 2022-03-25 2022-03-25 一种基于3d建模和视觉检测的生产交互方法及***

Country Status (2)

Country Link
CN (1) CN114708209B (zh)
WO (1) WO2023179663A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708209B (zh) * 2022-03-25 2023-04-04 高景太阳能股份有限公司 一种基于3d建模和视觉检测的生产交互方法及***
CN116666268B (zh) * 2023-05-18 2023-12-01 江苏亚电科技有限公司 一种槽内晶圆篮故障排除方法及装置
CN117601482B (zh) * 2023-12-04 2024-05-03 苏州铂瑞电极工业有限公司 基于智能调控的燃料电池双极板压合机

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7975254B2 (en) * 2007-06-27 2011-07-05 Sap Portals Israel Ltd. Design-time rules mechanism for modeling systems
US9558467B1 (en) * 2016-03-02 2017-01-31 Software Ag Systems and/or methods for grid-based multi-level digitization of enterprise models
CN109326539B (zh) * 2018-09-18 2021-07-13 江苏华恒新能源有限公司 太阳电池生产实时监控数字***
CN111508066B (zh) * 2020-04-16 2023-05-26 北京迁移科技有限公司 一种基于3d视觉的无序堆叠工件抓取***及交互方法
CN111951237B (zh) * 2020-08-04 2021-06-08 上海微亿智造科技有限公司 外观视觉检测方法
CN112857458B (zh) * 2021-02-05 2023-08-29 常州捷佳创精密机械有限公司 一种检测装置、料台设备以及其图像处理方法
CN113035761B (zh) * 2021-03-05 2021-11-12 苏州市中辰昊科技有限公司 一种用于双轨上料的硅片花篮调度平台
CN113591790A (zh) * 2021-08-16 2021-11-02 上海铂端科技有限公司 基于计算机视觉实现生产线装配流程行为监测的***、方法、装置、处理器及其存储介质
CN114708209B (zh) * 2022-03-25 2023-04-04 高景太阳能股份有限公司 一种基于3d建模和视觉检测的生产交互方法及***

Also Published As

Publication number Publication date
CN114708209A (zh) 2022-07-05
WO2023179663A1 (zh) 2023-09-28

Similar Documents

Publication Publication Date Title
CN114708209B (zh) 一种基于3d建模和视觉检测的生产交互方法及***
EP1589483B1 (en) Object picking system
US20190388940A1 (en) Automatic Magnetic Core Sorting System Based on Machine Vision
US20190351549A1 (en) Robot system and control method of robot system for taking out workpieces loaded in bulk
EP1385122A1 (en) Object taking-out apparatus
CN107584263A (zh) 一种视觉定位引导装置及引导方法
JP2007313624A (ja) ワーク取り出し装置及び方法
CN103207185A (zh) 钢卷端部质量检测***及方法
CN111579558A (zh) 产品的视觉检测方法、视觉检测装置及视觉检测生产线
US10782671B2 (en) Method for operating a pass-through machine and a pass-through machine for edge machining and trimming of workpieces
CN113428547A (zh) 一种货到人全息影拣选工作站及操作方法
CN111453285A (zh) 基于agv的物料管理配送***及其方法
CN110788439A (zh) 机械手焊锡机运动控制***
CN114435827A (zh) 一种智慧仓储***
WO2024141034A1 (zh) 上下料控制方法、控制器、上下料设备及存储介质
CN109502357A (zh) 一种码垛机器人工作站和板件码垛方法
US9395717B2 (en) Method and device for reporting disruption in the grouping of articles
CN105445954A (zh) 一种自动组装机
CN108725885A (zh) 一种芯片自动收集装置及其操作方法
CN112060096A (zh) 装配方法、装配***和可读存储介质
KR101432493B1 (ko) 분류 시스템
CN218938800U (zh) 智能监控***
KR102205040B1 (ko) 머신비전을 이용한 지능형 로봇 제어방법
CN114473464A (zh) 一种工业配电箱的螺丝智能安装设备及方法
CN109594048B (zh) 金属溅镀机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 519000 unit B25, 2nd floor, building 4, No. 153, Rongao Road, Hengqin New District, Zhuhai City, Guangdong Province

Applicant after: Gaojing Solar Co.,Ltd.

Applicant after: Guangdong Jinwan Gaojing Solar Energy Technology Co.,Ltd.

Address before: 519000 unit B25, 2nd floor, building 4, No. 153, Rongao Road, Hengqin New District, Zhuhai City, Guangdong Province

Applicant before: Guangdong Gaojing Solar Energy Technology Co.,Ltd.

Applicant before: Guangdong Jinwan Gaojing Solar Energy Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant