CN116997423A - 从汽车废料中移除安全气囊模块 - Google Patents
从汽车废料中移除安全气囊模块 Download PDFInfo
- Publication number
- CN116997423A CN116997423A CN202280015959.5A CN202280015959A CN116997423A CN 116997423 A CN116997423 A CN 116997423A CN 202280015959 A CN202280015959 A CN 202280015959A CN 116997423 A CN116997423 A CN 116997423A
- Authority
- CN
- China
- Prior art keywords
- failed
- sorting
- airbag module
- pieces
- piece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000010845 automotive waste Substances 0.000 title claims description 70
- 238000000034 method Methods 0.000 claims abstract description 106
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 230000003595 spectral effect Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 23
- 230000007246 mechanism Effects 0.000 claims description 22
- 238000012546 transfer Methods 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 15
- 229910001092 metal group alloy Inorganic materials 0.000 claims description 13
- 241000870659 Crassula perfoliata var. minor Species 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 4
- 239000000463 material Substances 0.000 abstract description 287
- 230000008569 process Effects 0.000 abstract description 51
- 239000002699 waste material Substances 0.000 abstract description 20
- 208000027418 Wounds and injury Diseases 0.000 abstract description 2
- 230000006378 damage Effects 0.000 abstract description 2
- 208000014674 injury Diseases 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 24
- 238000013528 artificial neural network Methods 0.000 description 20
- 239000000203 mixture Substances 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 239000008241 heterogeneous mixture Substances 0.000 description 15
- 238000003860 storage Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 239000000126 substance Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 229910052751 metal Inorganic materials 0.000 description 10
- 239000002184 metal Substances 0.000 description 10
- 229910052729 chemical element Inorganic materials 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 239000003923 scrap metal Substances 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 150000002739 metals Chemical class 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 239000004033 plastic Substances 0.000 description 6
- 229920003023 plastic Polymers 0.000 description 6
- 238000000701 chemical imaging Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- -1 nickel or titanium Chemical class 0.000 description 5
- 238000004064 recycling Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000007599 discharging Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000002994 raw material Substances 0.000 description 3
- 238000004611 spectroscopical analysis Methods 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 2
- 238000001069 Raman spectroscopy Methods 0.000 description 2
- PXIPVTKHYLBLMZ-UHFFFAOYSA-N Sodium azide Chemical compound [Na+].[N-]=[N+]=[N-] PXIPVTKHYLBLMZ-UHFFFAOYSA-N 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000002536 laser-induced breakdown spectroscopy Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 229910001369 Brass Inorganic materials 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- CWYNVVGOOAEACU-UHFFFAOYSA-N Fe2+ Chemical compound [Fe+2] CWYNVVGOOAEACU-UHFFFAOYSA-N 0.000 description 1
- 238000005033 Fourier transform infrared spectroscopy Methods 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 239000004698 Polyethylene Substances 0.000 description 1
- 241000009334 Singa Species 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 238000002083 X-ray spectrum Methods 0.000 description 1
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical compound [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000007563 acoustic spectroscopy Methods 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000005388 borosilicate glass Substances 0.000 description 1
- 239000010951 brass Substances 0.000 description 1
- 230000009172 bursting Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 239000011111 cardboard Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000013068 control sample Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000010793 electronic waste Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 239000010794 food waste Substances 0.000 description 1
- 238000001730 gamma-ray spectroscopy Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000000383 hazardous chemical Substances 0.000 description 1
- 229910001385 heavy metal Inorganic materials 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002906 medical waste Substances 0.000 description 1
- 238000002094 microwave spectroscopy Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 239000000123 paper Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000010908 plant waste Substances 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 229920000573 polyethylene Polymers 0.000 description 1
- 239000004810 polytetrafluoroethylene Substances 0.000 description 1
- 229920001343 polytetrafluoroethylene Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 239000003380 propellant Substances 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 229910052761 rare earth metal Inorganic materials 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000005060 rubber Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000005361 soda-lime glass Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 239000010936 titanium Substances 0.000 description 1
- 229910052719 titanium Inorganic materials 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
- 238000004876 x-ray fluorescence Methods 0.000 description 1
- 229910052725 zinc Inorganic materials 0.000 description 1
- 239000011701 zinc Substances 0.000 description 1
Landscapes
- Sorting Of Articles (AREA)
Abstract
一种利用视觉***对材料进行分类的***,该***实现人工智能***以便对汽车安全气囊模块进行标识或分类,以及然后将汽车安全气囊模块从废料流中移除,该废料流可以是从对报废的交通工具的粉碎中产生的。分拣过程可以被设计成使得未失效安全气囊模块不被激活,未失效安全模块被激活可能会对装备或人员造成伤害。
Description
相关专利和专利申请
本申请要求美国临时专利申请序列第63/229724号的优先权。本申请是美国专利申请序列第17/752669号的部分继续申请,美国专利申请序列第17/752669号是美国专利申请序列第17/667397号的部分继续申请,美国专利申请序列第17/667397号是美国专利申请序列第17/495291号的部分继续申请,美国专利申请序列第17/495291号是美国专利申请第17/491415号(作为美国专利第11278937号发布)的部分继续申请,美国专利申请第17/491415号是美国专利申请序列第17/380928号的部分继续申请,美国专利申请序列第17/380928号是美国专利申请序列第17/227245号的部分继续申请,美国专利申请序列第17/227245号是美国专利申请序列第16/939011号的部分继续申请,美国专利申请序列第16/939011号是美国专利申请序列第16/375675号(作为美国专利第10722922号发布)的继续申请,美国专利申请序列第16/375675号是美国专利申请序列第15/963755号(作为美国专利第10710119号发布)的部分继续申请,美国专利申请序列第15/963755号是美国专利申请序列第15/213129号(作为美国专利第10207296号发布)的部分继续申请,美国专利申请序列第15/213129号要求美国临时专利申请序列第62/193332号的优先权,所有这些申请由此通过引用并入本文中。美国专利申请序列第17/491415号(作为美国专利第11278937号发布)是美国专利申请序列第16/852514号(作为美国专利第11260426号发布)的部分继续申请,美国专利申请序列第16/852514号是美国专利申请序列第16/358374号(作为美国专利第10625304号发布)的分案申请,美国专利申请序列第16/358374号是美国专利申请序列第15/963755号(作为美国专利第10710119号发布)的部分继续申请,美国专利申请序列第15/963755号要求美国临时专利申请序列第62/490219号的优先权,所有这些专利申请由此通过引用并入本文中。
政府许可权
本公开是在由美国能源部授予的第DE-AR0000422号的美国政府支持下进行的。美国政府可以在该公开中具有某些权利。
技术领域
本发明涉及汽车废料的回收,并且更具体地,涉及从汽车废料中移除安全气囊模块。
背景技术
本节旨在介绍本领域的各个方面,这些方面可以与本公开的示例性实施例相关联。本讨论被认为有助于提供框架,以便于更好地理解本公开的特定方面。因此,应当理解的是,本节应当从这个角度来理解,并且不一定作为对现有技术的承认。
回收是收集和处理原本会被当作垃圾扔掉的材料,并将它们转化为新产品的过程。由于回收减少了送往垃圾填埋场和焚烧炉的垃圾量,保护了自然资源,通过利用国内材料源提高了经济安全,通过减少对收集新原材料的需要防止了污染,并节约了能源,所以回收对社区以及对环境都具有益处。
废料金属通常被粉碎,并且由此要求进行分拣,以便于金属的重新使用。通过对废料金属进行分拣,原本被送往垃圾填埋场的金属被重新使用。附加地,与从矿石中提炼原始原料相比,对经分拣的废料金属的使用引起减少的污染和排放。如果经分拣的金属的质量符合某些标准,则废料金属可以代替原始原料由制造商使用。废料金属可以包括各类型的黑色和有色金属、重金属、诸如镍或钛之类的高价值金属、铸造或锻造金属以及其他各种合金。
在美国,估计每年有1500万辆交通工具被粉碎(通常被称为报废交通工具)。每个交通工具可能具有若干个(例如,6–15个)安全气囊模块;这就是每年可能会进入汽车回收流的超过9000万个的安全气囊模块。安全气囊模块通常具有封围在某种容器或罐内的三个主要零件:安全气囊、充气器和推进剂。
与安全气囊模块中的所有模块相关联的所得到的问题在于它们包含用于充气的叠氮化钠,该叠氮化钠是有毒的。附加地,当安全气囊模块通过交通工具粉碎机时,并非这些模块中的所有模块都会充气/爆开。因此,这些安全气囊模块可能会在不同的位置充气/爆开,从而产生不同的后果:在传送器***上充气/爆开,从而损坏传送带;在被人处置时充气/爆开,从而造成可能的严重伤害和/或肢体丧失;以及从回收设施被销售后充气/爆开,从而损坏客户装备。
存在要克服以用于确保从交通工具废料中令人满意地移除此类安全气囊模块的技术挑战:安全气囊模块可能很小(例如,安全气囊模块通常具有直径为1英寸、高度为1英寸的圆柱体的形状因子);在粉碎过程之后的混合废料金属流中的安全气囊模块看起来类似于其他废料金属件;在粉碎之后的安全气囊模块在与其他废料件混合时难以标识;安全气囊模块在与其他废料件一起混合在传送带上运输时可能会被部分地遮挡;并且安全气囊模块以不同的形状、大小和颜色出现。
附图说明
图1图示出根据本公开的实施例配置的物料搬运***的示意图。
图2A–图2B图示出在训练阶段期间使用的安全气囊模块的控制集的示例性表示。
图2C图示出在训练阶段期间使用的安全气囊模块的控制集的示例性表示,其中算法已经对安全气囊模块进行了标识和分类。
图3图示出根据本公开的实施例配置的流程图。
图4图示出根据本公开的实施例配置的流程图。
图5图示出根据本公开的实施例配置的数据处理***的框图。
图6A-图6B图示出包括安全气囊模块的材料件的异质混合物的示例性表示。
图7图示出包括安全气囊模块的材料件的异质混合物的示例性表示,其中人工智能算法已经对安全气囊模块进行了标识和/或分类。
具体实施方式
本文中公开了本公开的各种详细实施例。然而,应当理解的是,所公开的实施例仅仅是本公开的示例性实施例,其可以以各种和替代形式来体现。附图不一定按照比例;一些特征可能被夸大或最小化以示出特定部件的细节。因此,本文中所公开的具体结构和功能细节不应被解释为具有限制性,而仅仅是作为用于教导本领域技术人员采用本公开的各种实施例的代表性基础。
本公开的实施例利用人工智能技术以用于对废料流中的安全气囊模块进行标识/分类。根据本公开的某些实施例,材料件可以使用任何标准的计算机视觉方法在传送带上被分离,其中件之间具有空间。根据本公开的某些实施例,区域建议神经网络可用于对安全气囊模块进行检测,和/或深度神经网络可用于对安全气囊模块进行分类。根据本公开的某些实施例,用于检测和分类的这两个神经网络可以被组合。本公开的实施例可以使用语义分割或对象检测/定位。替代地,实例分割或全景分割可以被利用。本公开的实施例可以使用像素级、邻域、区域和/或整个图像分类。
如本文中所使用,“材料”可包括任何物品或对象,这些物品或对象包括但不限于:金属(黑色和有色)、金属合金、嵌入另一种不同材料中的金属件、塑料(包括但不限于本文中公开的、业内已知的或未来新创建的塑料中的任何塑料)、橡胶、泡沫、玻璃(包括但不限于硼硅酸盐或钠钙玻璃,以及各种彩色玻璃)、陶瓷、纸张、纸板、聚四氟乙烯、聚乙烯、捆扎电线、绝缘包覆电线、稀土元素、树叶、木材、植物、植物部件、纺织品、生物废物、包装、电子废物、电池和蓄电池、来自被粉碎的交通工具的汽车废料件、采矿、建筑,以及拆迁废物、作物废物、森林残留物、专门种植的草、木质能源作物、微藻、城市食品废物、食品废物、危险化学品和生物医疗废物、建筑垃圾、农场废物、生物物品、非生物物品、具有特定碳含量的对象、城市固体废物内可被发现的任何其他对象、以及本文中公开的任何其他对象、物品或材料,这些对象、物品或材料包括可以通过一个或多个传感器***(包括但不限于本文中公开的传感器技术中的任何传感器技术)彼此区分的前述内容中的任何内容中的另外的类型或类别。
在更一般的意义上,“材料”可以包括由化学元素、一个或多个化学元素的化合物或混合物、或化学元素的化合物或混合物的化合物或混合物组成的任何物品或对象,其中,化合物或混合物的复杂性可以从简单到复杂变化(所有这些在本文中也可以称为具有特定“化学组合物”的材料)。“化学元素”意指化学元素周期表中的化学元素,其包括在本申请提交日后可能被发现的化学元素。在本公开内,术语“废料”、“废料件”、“材料”和“材料件”可以可互换地使用。如本文中所使用,被称为具有金属合金组合物的材料件或废料件是具有特定化学组合物的金属合金,该化学组合物将该金属合金与其他金属合金区分开。
如本文中所使用,术语“预定的”指代包括但不限于本文中所公开的分拣***的用户或操作者预先确定或决定的东西。
如本文中所使用,“光谱成像”是跨电磁光谱使用多个波段的成像。尽管典型的相机跨可见光谱中的三个波段(红色、绿色和蓝色(“RGB”))捕获光,但光谱成像可能涵盖包括并超越RGB的多种技术。例如,光谱成像可以使用红外、可见光、紫外线和/或x射线光谱,或上述光谱的某些组合。光谱数据或光谱图像数据是光谱图像的数字数据表示。光谱成像可以包括同时采集可见光和不可见光波段中的光谱数据、来自可见光范围外的照明,或者使用光学滤波器以用于捕获特定的光谱范围。为光谱图像中的每个像素捕获数百个波段也是可能的。
如本文中所使用,术语“图像数据包”指代与各个材料件的捕获的光谱图像相关的数字数据包。
如本文中所使用,术语“对…进行标识”和“对…进行分类”、术语“标识”和“分类”以及前述任何派生词可以可互换地利用。如本文中所使用,对材料件进行“分类”是为了确定(即,标识)该材料件所属的材料的类型或类别。例如,根据本公开的某些实施例,(如本文中进一步描述的)传感器***可以被配置成用于收集和分析任何类型的信息以用于对材料进行分类,该分类可以在分拣***内被利用以根据(例如,可以是由用户定义的)一个或多个物理和/或化学特性集来选择性地对材料件进行分拣,该一个或多个物理和/或化学特性集包括但不限于:颜色;纹理;色调;形状;亮度;重量;密度;化学组合物;大小;均匀性;制造类型;化学特征;预定的分数;放射性特征;对光、声音或其他信号的透射率;以及对诸如各种场之类的刺激的反应,这些反应包括材料件的发射和/或反射的电磁辐射(“EM”)。
材料的类型或类别(即,分类)可以是用户可定义的,并且不限于任何已知的材料分类。类型或类别的粒度可以从非常粗到非常细变化。例如,类型或类别可以包括:塑料、陶瓷、玻璃、金属和其他材料,其中此类类型或类别的粒度相对较粗;诸如例如锌、铜、黄铜、镀铬和铝之类的不同的金属和金属合金,其中此类类型或类别的粒度较细;或者在特定类型的塑料之间,其中此类类型或类别的粒度相对较细。由此,类型或类别可以被配置成用于在诸如例如塑料和金属合金的显著不同的化学组合物的材料之间进行区分,或用于在诸如例如不同类型的金属合金的几乎相同的化学组合物的材料之间进行区分。应当领会的是,本文中所讨论的方法和***可以被应用以在材料件被分类之前对该材料件的化学组合物完全未知的该材料件准确地进行标识/分类。
如本文中所指代,“传送器***”可以是将材料从一个位置移动到另一个位置的机械搬运装备的任何已知件,包括但不限于:气动机械传送器、汽车传送器、带式传送器、带驱动活辊传送器、斗式传送器、链式传送器、链驱动活辊传送器、拖动传送器、防尘传送器、电动轨道交通工具***、柔性传送器、重力传送器、重力滑板传送器、线轴辊传送器、电动辊传送器、高架I形梁传送器、陆上传送器、药品传送器、塑料带式传送器、气动传送器、螺丝或螺钻传送器、螺旋传送器、管廊传送器、垂直传送器、自由落体传送器、振动传送器、钢丝网传送器和机械臂操纵器。
根据本公开的某些实施例,本文中所描述的***和方法接收多个材料件的异质混合物,其中该异质混合物内的至少一个材料件包括:不同于一种或多种其他材料件的元素组合物,和/或该异质混合物内在物理上能够与其他材料件进行区分的至少一个材料件,和/或该异质混合物内具有与混合物中的其他材料件的材料的类别或类型不同的材料的类别或类型的至少一个材料件,并且***和方法被配置成用于将该一个材料件标识/分类/区分/分拣到与此类其他材料件分离的组中。本公开的实施例可用于对本文中定义的任何类型或类别的材料进行分拣。相反,材料同质集或材料同质组都落在诸如未失效(live)安全气囊模块之类的、可标识的材料类别或类型(或者,甚至是指定的多个可标识的类别或类型的材料)内。
本公开的实施例在本文中可以被描述为通过根据用户定义的分组(例如,材料的类型或分类)将材料件物理地放置(例如,转移或排出)到单独的容器或仓中来将材料件分拣到此类单独的组中。作为示例,在本发明的某些实施例内,材料件可以被分拣到单独的容器中,以便能够将归类为属于某类别或类型的材料(例如,未失效安全气囊模块)的材料件与其他材料件(例如,归类为属于不同类别或类型的材料)区分开。
应当注意的是,待分拣的材料可能具有不规则的大小和形状。例如,此类材料先前可能已经通过某种粉碎机制进行过粉碎,该粉碎机制将材料切成此类形状和大小不规则的件(产生废料件),然后这些件被馈送或转移到传送器***上。根据本公开的实施例,材料件包括已经被传递通过某种粉碎机制的交通工具的汽车废料件,其中汽车废料件包括尚未被激活的(即,被充气的或被爆开的)安全气囊模块,该安全气囊模块在本文中也称为“未失效安全气囊模块”。
图1图示出根据本发明的各种实施例配置的***100的示例。传送器***103可以被实现为将各个材料件101传送通过***100,使得各个材料件101中的每个材料件都可以被跟踪、分类、区分和分拣到预定的期望组中。此类传送器***103可以使用一个或多个传送带来实现,材料件101在其上通常以预定的恒定速度行进。然而,本公开的某些实施例可以用其他类型的传送器***来实现,这些其他类型的传送器***包括其中材料件自由下落经过***100的各种部件(或任何其他类型的垂直分拣器)的***、或振动传送器***。下文中,在其中适用的情况下,传送器***103也可以称为传送带103。在一个或多个实施例中,传送、捕获、刺激、检测、分类、区分和分拣的动作或功能中的一些或全部可以自动地(即,无需人工干预)执行。例如,在***100中,一个或多个相机、一个或多个刺激源、一个或多个发射检测器、分类模块、分拣设备/装置和/或其他***部件可以被配置成用于自动地执行这些和其他操作。
此外,尽管图1图示出传送器***103上的材料件101的单个流,其中材料件的多个此类流彼此平行地通过***100的各个部件的本公开的实施例可以被实现。例如,如美国专利第10207296号中进一步描述的,材料件可以被分发到在单个传送带上行进的两个或更多个平行的分离的流或平行传送带集中。由此,本公开的某些实施例能够同时对多个此类平行行进的材料件的流进行跟踪、分类和分拣。根据本公开的某些实施例,不要求结合或使用分离器。相反,传送器***(例如,传送带103)可以简单地传送可能已经以随机方式被放置到传送器***103上的材料件的集合。
根据本公开的某些实施例,某种合适的进给机构(例如,另一个传送器***或料斗102)可以被利用以将材料件101馈送到传送器***103上,由此传送器***103将材料件101传送通过***100内的各种部件。在材料件101被传送器***103接收到之后,可选的转筒/振动器/分离器106可用于将各个材料件与大量材料件分离。在本公开的某些实施例内,传送器***103由传送器***电机104操作从而以预定的速度行进。该预定的速度可以能够由操作者以任何公知的方式编程和/或调节。对传送器***103的预定的速度的监测可以替代地用位置检测器105来执行。在本公开的某些实施例内,对传送器***电机104和/或位置检测器105的控制可以由自动化控制***108执行。此类自动化控制***108可以在计算机***107的控制下***作,和/或用于执行自动化控制的功能可以在计算机***107内的软件中被实现。
传送器***103可以是采用常规驱动电机104的常规环形带式传送器,该常规驱动电机104适于以预定的速度移动带式传送器。可以是常规编码器的位置检测器105可以能操作地耦合到传送器***103和自动化控制***108,以提供与传送带的移动相对应的信息(例如,速度)。由此,通过利用对传送器***驱动电机104和/或自动化控制***108(并且替代地,包括位置检测器105)的控制,当在传送器***103上行进的材料件101中的每个材料件101被标识时,它们可以通过(相对于***100的各种部件的)位置和时间被跟踪,使得当每个材料件101在***100的各个部件的附近通过时,***100的各个部件可以被激活/停用。结果,自动化控制***108能够在材料件101中的每个材料件101沿着传送器***103行进时跟踪材料件101中的每个材料件101的位置。
再次参考图1,本公开的某些实施例可以利用视觉或光学识别***110和/或材料件跟踪设备111作为用于在材料件101中的每个材料件101在传送器***103上行进时跟踪材料件101中的每个材料件101的装置。视觉***110可以利用一个或多个静止或实时动作相机109来记录材料件101中的每个材料件101在移动的传送器***103上的位置(即,位置和定时)。视觉***110可以进一步地或替代地被配置成用于对材料件101的全部或部分执行某些类型的标识(例如,分类),这将在本文中进一步描述。例如,此类视觉***110可用于捕获或采集关于材料件101中的每个材料件101的信息。例如,视觉***110可以(例如,用人工智能(“AI”)***)被配置成用于从材料件中捕获或收集任何类型的信息,这些信息可以在***100内被用于对材料件101进行分类/区分,以及根据一个或多个特性集(例如,物理和/或化学和/或放射性等)对材料件101进行选择性地分拣,如本文中所描述。根据本公开的某些实施例,视觉***110可以被配置成用于例如通过使用典型数字相机和视频装备中利用的光学传感器来捕获材料件101中的每个材料件101的视觉图像(包括一维、二维、三维或全息成像)。然后,由光学传感器捕获的此类视觉图像作为光谱图像数据被存储在存储器设备中(例如,被格式化为图像数据包)。根据本公开的某些实施例,此类光谱图像数据可以表示在光的光学波长(即,由典型的人眼可观察到的光的波长)内捕获的图像。然而,本公开的替代实施例可以利用被配置成用于捕获由人眼视觉波长之外的光的波长组成的材料的图像的传感器***。
根据本公开的替代实施例,***100可以使用一个或多个传感器***120来实现,该一个或多个传感器***120可以单独地被利用或与视觉***110组合使用,以对材料件101进行分类/标识/区分。传感器***120可以被配置有任何类型的传感器技术,该传感器***120包括利用辐照或反射的电磁辐射的传感器(例如,利用红外(“IR”)、傅立叶变换IR(“FTIR”)、前视红外(“FLIR”)、甚近红外(“VNIR”)、近红外(“NIR”)、短波红外(“SWIR”)、长波红外(“LWIR”)、中波红外(“MWIR”或“MIR”)、X射线透射(“XRT”)、伽马射线、紫外线(“UV”)、X射线荧光(“XRF”)、激光诱导击穿光谱(“LIBS”)、拉曼光谱、反斯托克斯拉曼光谱、伽马光谱、高光谱光谱(例如,超过可见波长的任何范围)、声学光谱、NMR光谱、微波光谱、太赫兹光谱,包括具有前述内容中的任一种内容的一维、二维或三维成像),或通过包括但不限于化学或放射性的任何其他类型的传感器技术。XRF***(例如,用于作为本文中的传感器***120使用)的实现方式在美国专利第10207296号中被进一步描述。请注意,在本文中的描述的某些上下文中,对传感器***的引用由此可指代视觉***。然而,本文中公开的视觉和传感器***中的任一个都可以被配置成用于收集或捕获特别与材料件中的每个材料件相关联的信息(例如,特性),由此所捕获的信息然后可以被用于对材料件中的一些材料件进行标识/分类/区分。
根据本公开的某些实施例,多于一个光学相机和/或传感器***可以包括以不同的角度被使用,以帮助标识被传送器***上的其他材料部分地遮挡或者甚至基本上遮挡或者完全地遮挡的未失效安全气囊模块。根据本公开的某些实施例,多个相机和/或传感器***可以被用于创建3D信息,以生成比2D数据可能的更多的可用信息。2D或3D数据可以与AI***一起被使用以收集数据。
根据本公开的某些实施例,Lidar***(“光检测和测距”或“激光成像、检测和测距”)可以被使用以代替相机和/或传感器***。根据本公开的某些实施例,扫描激光器可用于收集废料流的3D数据。然后,基于激光的3D数据可以与神经网络一起被使用,以标识未失效安全气囊模块。
应当注意的是,尽管图1用视觉***110和一个或多个传感器***120的组合被图示,但是本公开的实施例可以使用利用本文中公开的传感器技术中的任何传感器技术或当前可用或将来开发的任何其他传感器技术的传感器***的任何组合来实现。尽管图1被图示为包括一个或多个传感器***120,但是在本公开的某些实施例中,(一个或多个)此类传感器***的实现方式是可选的。在本公开的某些实施例内,视觉***110和一个或多个传感器***120两者的组合可以用于对材料件101进行分类。在本公开的某些实施例内,本文中公开的不同传感器技术中的一种或多种传感器技术的任何组合可用于在不利用视觉***110的情况下对材料件101进行分类。此外,本公开的实施例可以包括一个或多个传感器***和/或视觉***的任何组合,其中此类传感器/视觉***的输出在AI***内被处理(如本文中进一步公开的),以便从材料的异质混合物中对材料进行分类/标识,然后可以将这些材料彼此分拣。
在本公开的某些实施例内,材料件跟踪设备111和伴随的控制***112可以被利用并且被配置成用于当材料件101在材料件跟踪设备111附近通过时测量材料件101中的每个材料件101的大小和/或形状连同材料件101中的每个材料件101在移动的传送器***103上的位置(即,位置和定时)。在美国专利第10207296号中进一步描述了此类材料件跟踪设备111和控制***112的示例性操作。替代地,如先前所公开的,视觉***110可用于在材料件101由传送器***103运输时跟踪材料件101中的每个材料件101的位置(即,位置和定时)。由此,本公开的某些实施例可以在不具有用于跟踪材料件的材料件跟踪设备(例如,材料件跟踪设备111)的情况下被实现。
此类距离测量设备111可以用公知的可见光(例如,激光)***来实现,该***连续地测量光在被反射回到激光***的检测器中之前行进的距离。由此,当材料件101中的每个材料件101在设备111附近通过时,它将指示此类距离测量的信号输出到控制***112。因此,此类信号可以基本上表示间歇系列的脉冲,由此在当材料件101不处于设备111附近的那些时刻期间,作为距离测量设备111与传送带103之间的距离测量的结果,信号的基线被产生,而每个脉冲提供距离测量设备111与在传送带103上通过的材料件101之间的距离的测量。
在实现一个或多个传感器***120的本公开的某些实施例内,(一个或多个)传感器***120可以被配置成用于当材料件101在(一个或多个)传感器***120附近通过时辅助视觉***110标识材料件101中的每个材料件101的化学组合物、相对化学组合物和/或制造类型。(一个或多个)传感器***120可以包括能量发射源121,该能量发射源121例如可以由电源122供电,以便刺激来自材料件101中的每个材料件101的响应。
在本公开的某些实施例内,当每个材料件101在发射源121附近通过时,传感器***120可以朝向材料件101发射适当的感测信号。一个或多个检测器124可以被定位并被配置成用于以适合于所利用的传感器技术类型的形式感测/检测来自材料件101的一个或多个特性。一个或多个检测器124和相关联的检测器电子器件125捕获这些接收到的感测特性以对其执行信号处理,并且产生表示感测到的特性的数字化信息(例如,光谱数据),然后这些数字化信息根据本公开的某些实施例被分析,从而可用于对材料件101中的每个材料件101进行分类。该分类可以在计算机***107内被执行,然后可以由自动化控制***108利用以激活分拣装置的N(N≥1)个分拣设备126……129中的一个设备,以用于根据所确定的分类将材料件101分拣(例如,移除/转移/排出)到一个或多个N(N≥1)个分拣容器136……139中。在图1中仅作为非限制性示例图示出四个分拣设备126……129和与分拣设备相关联的四个分拣容器136……139。
如本文中所描述,本公开的实施例被配置成用于标识移动的废料件流中的未失效安全气囊模块(例如,将未失效安全气囊模块与其他汽车废料件区分开),以及用于对这些未失效安全气囊模块进行分拣,使得它们从传送器***移除/转移/排出。
分拣设备可以包括任何公知的分拣机构,以用于将被标识为未失效安全气囊模块的所选择的材料件101朝向期望位置移除/转移/排出,包括但不限于将材料件101从传送带***转移到一个或多个分拣容器中。根据本公开的某些实施例,用于将未失效安全气囊模块从传送器***移除/转移/排出的分拣机构可以被配置成用于使得其从传送器***中移除/转移/排出安全气囊,而不管未失效安全气囊模块附近的其他材料件是否也连同未失效安全气囊模块一起从传送器***被移除/被转移/被排出,由于移除的/转移的/排出的未失效安全气囊模块可能是更重要的,即使这意味着从剩余废料流中损失一个或多个其他材料件。例如,参考图6A、图6B或图7中的任一个,可以容易地看到,在未失效安全气囊模块的附近区域内存在其他废料件。在此类实例中,由于从废料件流中移除未失效安全气囊模块比试图在由分拣机构进行的转移动作不够准确的风险下仅转移经分类的未失效安全气囊模块、从而导致经分类的未失效安全气囊模块未从废料件流中被移除更重要,因此处于经分类的未失效安全气囊模块附近区域内的其他废料件可以连同经分类的未失效安全气囊模块一起从传送带转移到指定的容器中。
可用于移除/转移/排出材料件的机构包括从传送带上机器人移除材料件、从传送带推动材料件(例如,使用油漆刷型柱塞),从而在传送器***103中引起开口(例如,活板门),材料件可以从该开口落下,或者当材料件从传送带的边缘落下时使用空气射流将材料件分离到单独的容器中。如本文中所使用的术语,推动者设备可以指代任何形式的设备,该设备可以被激活以在传送器***/设备上或从传送器***/设备动态地使对象发生位移,采用诸如任何适当类型的机械推动机构(例如,ACME螺旋驱动器)、气动推动机构,或空气喷射推动机构之类的气动、机械、液压、或真空致动器或其他装置来这样做。
根据本公开的某些实施例,可能需要以相对“温和”的方式将未失效安全气囊模块从传送器***移除/转移/排出,使得未失效安全气囊模块不被激活,从而使得它们充气/爆开。根据本公开的某些实施例,用于从传送器***移除/转移/排出未失效安全气囊模块的任何技术可以被利用,其中,执行移除/转移/排出的力被配置成使得其不会导致激活未失效安全气囊模块从而使得其充气或爆开。例如,分拣可以由分拣机构执行,该分拣机构使用被配置成用于不激活未失效安全气囊模块的转移力将未失效安全气囊模块转移到容器中。由此,分拣机构可以被配置成使得其以用于移动未失效安全气囊模块的足够的力但利用比已知的使此类未失效安全气囊模块激活的小的力将未失效安全气囊模块从传送带上转移开。当然,这可以通过试错来确定。根据本公开的某些实施例,此类分拣机构可以是油漆刷型柱塞。
机器人移除可以通过某种适当的机械臂来执行,诸如Stewart平台、Delta机器人或多尖头夹持器。
除了材料件101(例如,未失效安全气囊模块)被移除/转移/排出到其中的N个分拣容器136……139之外,***100还可以包括接收未从传送器***103转移/排出到前述分拣容器136……139中的任何分拣容器中的材料件101(例如,剩余的汽车废料件)的容器140。
取决于期望的材料件的多种分类,多个分类可以被映射到单个分拣设备和相关联的分拣容器。换句话说,分类与分拣容器之间不必存在一对一的相关性。例如,可由用户期望将某些分类的材料(例如,未失效安全气囊模块和其他材料类型)分拣到相同的分拣容器中。为了实现这种分拣,当材料件101被分类为落入预定的分类分组中时,相同的分拣设备可以被激活以将这些材料件101分拣到相同的分拣容器中。此类组合分拣可被应用于产生经分拣的材料件的任何期望的组合。分类的映射可以由用户编程(例如,使用由计算机***107操作的(一个或多个)算法)以产生此类期望的组合。附加地,材料件的分类是用户可定义的,并且不限于材料件的任何特定的已知分类。
传送器***103可以包括圆形传送器(未示出),使得未经分类的材料件被返回到***100的开始处并再次通过***100。此外,由于***100能够在每个材料件101在传送器***103上行进时具体地跟踪每个材料件101,因此某种分拣设备(例如,分拣设备129)可以被实现以移除/引导/排出***100未能对其进行分类的材料件101(例如,根据预定的阈值尚未被分类为未失效安全气囊模块的、然而为了在通过***100的预定的数量的循环之后所有或基本上所有未失效安全气囊模块被移除/引导/排出(或材料件101被收集在容器140中)具有更高的概率,用户期望针对材料件用被指派低于预定的阈值的特定值的未失效安全气囊模块分类被分类为未失效安全气囊模块)。
如图2A至图2C所举例,本文中所描述的***和方法可以被应用以对具有各种大小中的任何大小的各个安全气囊模块进行分类和/或分拣。
如先前所述,本公开的某些实施例可以实现一个或多个视觉***(例如,视觉***110),以便对材料件进行标识、跟踪和/或分类。根据本公开的实施例,(一个或多个)此类视觉***可以单独操作以对材料件进行标识和/或分类以及对材料件进行分拣,或者可以与传感器***(例如,传感器***120)组合操作以对材料件进行标识和/或分类以及对材料件进行分拣。如果***(例如,***100)被配置成用于仅与(一个或多个)此类视觉***110一起操作,则传感器***120可以从***100中省略(或者简单地停用)。
此类视觉***可以被配置有用于当材料件在传送器***上通过时捕获或采集材料件的图像的一个或多个设备。设备可以被配置成用于捕获或采集由材料件辐照或反射的任何期望范围的波长,包括但不限于可见光、红外(“IR”)、紫外(“UV”)光。例如,视觉***可以被配置有位于传送器***附近(例如,上方)的一个或多个相机(静态和/或视频,其中任一个都可以被配置成用于捕获二维、三维和/或全息图像),使得材料件的图像在材料件通过(一个或多个)传感器***时被捕获。根据本公开的替代实施例,由传感器***120捕获的数据可被处理(转换)成要用于(或者单独地或者与由视觉***110捕获的图像数据相结合)对材料件进行分类/分拣的数据。此类实现方式可以代替利用传感器***120来对材料件进行分类,或者与利用传感器***120来对材料件进行分类相结合。
不管所捕获的材料件的感测到的特性/信息的(一个或多个)类型如何,信息然后可以被发送到计算机***(例如,计算机***107)以(例如,由AI***)进行处理,以便对材料件进行标识和/或分类。AI***可以实现任何已知的AI***(例如,人工狭义智能(“ANI”)、人工通用智能(“AGI”)和人工超级智能(“ASI”))或其要被开发的衍生产品;机器学习***,该机器学习***包括实现神经网络(例如,人工神经网络、深度神经网络、卷积神经网络、递归神经网络、自动编码器、强化学习等)的机器学习***;机器学习***,该机器学习***实现有监督学习、无监督学习、半监督学习、强化学习、自学习、特征学习、稀疏字典学习、异常检测、机器人学习、关联规则学习、模糊逻辑、深度学习算法、深度结构化学习分层学习算法、极限学习机、支持向量机(“SVM”)(例如,线性SVM、非线性SVM、SVM回归等)、决策树学习(例如,分类和回归树(“CART”)、集成方法(例如,集成学习、随机森林、袋装(Bagging)和粘贴(Pasting)、补丁和子空间、增强(Boosting)、堆叠(Stacking)等)、降维(例如,投影、流形学习、主成分分析等)和/或深度机器学习算法。可以在本公开的实施例中利用的公开可用的机器学习软件和库的非限制性示例包括:Python、OpenCV、Inception、Theano库、Torch库、PyTorch库、Pylearn2库、Numpy库、Blocks库、TensorFlow库、MXNet库、Caffe库、Lasagne库、Keras库、Chainer库、Matlab深度学习、CNTK、MatConvNet(实现用于计算机视觉应用的卷积神经网络的MATLAB工具箱)、DeepLearnToolbox(深度学习工具箱)(用于深度学习的MATLAB工具箱(来自Rasmus Berg Palm))、BigDL(大DL)、Cuda-Convnet(卷积(或更一般地说,前馈)神经网络的快速C++/CUDA实现)、深度信念网络、RNNLM、RNNLIB-RNNLIB、matrbm、deeplearning4j(深度学习4j)、Eblearn.1sh、deepmat库、MShadow库、Matplotlib库、SciPy库、CXXNET、Nengo-Nengo库、Eblearn、cudamat、Gnumpy、三向因子RBM和mcRBM、mPoT(使用CUDAMat和Gnumpy训练自然图像模型的Python代码)、ConvNet、Elektronn、OpenNN库、NeuralDesigner(神经设计器)、Theano广义Hebbian学习、ApacheSinga、Lightnet和SimpleDNN(简单DNN)。
根据本公开的实施例,对材料件101中的每个材料件101进行标识和/或分类可以由实现语义分割的AI***来执行。然而,其他实现方式可以被利用,诸如(例如,使用Python代码的)图像分割(诸如Mask R-CNN)、全景分割、实例分割、块分割或边界框算法。
图像分割能够对被其他材料件部分地遮挡的材料件进行标识/分类。图6A和图7示出了彼此重叠的材料件的示例性图像,使得一个或多个未失效安全气囊模块被部分地遮挡,但是其可以由本公开的实施例标识/分类为未失效安全气囊模块(如图7中所展示),并且由此诸如当AI***实现某种形式的图像分割算法时与其他汽车废料件区分开。
AI***的配置通常发生在多个阶段中。例如,首先,训练发生,该训练可以离线执行,因为***100未被用于执行对材料件的实际分类/分拣。***100可用于训练AI***,因为(即,具有相同类型或类别的材料的)材料件的同质集(在本文中也称为控制样本)可以(例如,通过传送器***103)被传递通过***100;并且所有此类材料件可以不被分拣,而是可以被收集在共同的容器(例如,容器140)中。替代地,训练可以在远离***100的另一个位置处被执行,包括使用一些其他机制以用于收集材料件的控制集的感测到的信息(特性)。在该训练阶段期间,AI***内的算法(例如,使用本领域公知的图像处理技术)从捕获到的信息中提取特征。训练算法的非限制性示例包括但不限于:线性回归、梯度下降、前馈、多项式回归、学习曲线、正则化学习模型和逻辑回归。附加地,训练可以包括数据监管、数据组织、数据标记、半合成数据组合物、合成数据生成、数据扩充以及围绕向AI***教授的“课程”(例如,训练或控制集)的准备的其他活动(例如,在出于此目的而设计的独立装备上的机外训练,以及完全在计算机存储器中进行的“无装备”训练(模拟、扩充等))。正是在这个训练阶段期间,AI***内的算法学习(例如,由视觉***和/或(一个或多个)传感器***捕获到的)材料与其特征/特性之间的关系,从而为由***100接收到的材料件的异质混合物的稍后分类创建知识库,然后知识库可以按期望的分类进行分拣。此类知识库可以包括一个或多个库,其中,每个库包括供由AI***在对材料件进行分类时使用的参数(例如,神经网络参数)。例如,一个特定的库可以包括由训练阶段配置的参数,以对安全气囊模块进行识别和分类。根据本公开的某些实施例,此类库可以被输入到AI***中,并且然后***100的用户可以能够调节参数中的某些参数,以便调节***100的操作(例如,调节AI***从材料混合物(例如,移动的汽车废料件流)中对未失效安全气囊模块进行标识/分类和区分的阈值有效性)。
如由图2A-图2B中的示例性图像所示,在训练阶段期间,一个或多个未失效安全气囊模块的示例(本文中可被称为一个或多个控制样本集)可以(例如,通过传送器***)被递送通过视觉***和/或一个或多个传感器***,使得AI***内的算法检测、提取和学习什么特征表示此类类型或类别的材料。例如,未失效安全气囊模块中的每个未失效安全气囊模块都被传递通过此类训练阶段,使得AI***内的算法“学习”(被训练)如何对未失效安全气囊模块进行检测、识别和分类(参见图2C)。在训练视觉***(例如,视觉***110)的情况下,AI***被训练以在视觉上在材料件之间进行辨别。这创建特定于未失效安全气囊模块的参数库。然后,例如,相同的过程可以针对特定类别或类型的金属合金(或不是未失效安全气囊模块的汽车废料件的混合物)来执行,从而创建特定于该类别或类型的金属合金的参数库,等等。对于要由***分类的每一类别或类型的材料,该类别或类型的材料的任意数量的示例性材料件可以通过视觉***和/或一个或多个传感器***被传递。给定捕获的图像或其他捕获的特性作为输入数据,(一个或多个)AI算法可以使用N个分类器,其中每个分类器针对N个不同的材料类别或类型中的一种材料类别或类型进行测试。
在算法已经被建立并且AI***已经充分地学***内的)材料分类的差异(例如,视觉上可辨别的差异)之后,用于不同材料分类的库然后被实现到材料分类/分拣***(例如,***100)中,以用于从材料件的异质混合物(例如,汽车废料件流)中对材料件(例如,未失效安全气囊模块)进行标识和/或分类,并且然后分拣此类经分类的材料件。
如在相关文献中发现的,用于构建、优化和利用AI***的技术是本领域普通技术人员已知的。此类文献的示例包括出版物:Krizhevsky等人的“ImageNet Classificationwith Deep Convolutional Networks(使用深度卷积网络的ImageNet分类)”,《第25届神经信息处理***国际会议论文集》,2012年12月3日至6日,内华达州太浩湖;以及LeCun等人的“Gradient-Based Learning Applied to Document Recognition(应用到文档识别的基于梯度的学习)”,《IEEE论文集》,电气和电子工程师协会(IEEE),1998年11月,由此这两者都通过引用以其全部内容并入本文中。
在示例技术中,由视觉或传感器***捕获的关于特定材料件(例如,未失效安全气囊模块)的数据可以被处理为数据值阵列(在实现(被配置有)AI***的数据处理***(例如,图10的数据处理***3400)内)。例如,数据可以是由数字相机或其他类型的传感器***关于特定材料件捕获的并被处理为数据值阵列(例如,图像数据包)的光谱数据。每个数据值可以由单个数字表示,或者由表示值的一系列数字表示。这些值可以(例如,使用神经网络)乘以神经元权重参数,并且可能具有添加的偏差。这可以被馈送到神经元非线性中。由神经元输出的所得到的数字可以像原来的值一样被处理,其中将该输出乘以后续的神经元权重值、可选地添加偏差,并且再次被馈送到神经元非线性中。该过程的每个此类迭代都被称为神经网络的“层”。最终层的最终输出可以被解释为材料存在于或不存在于与材料件有关的捕获到的数据中的概率。先前提到的“ImageNet Classification with DeepConvolutional Networks(使用深度卷积网络的ImageNet分类)”和“Gradient-BasedLearning Applied to Document Recognition(应用到文档识别的基于梯度的学习)”参考文献中详细描述了此类过程的示例。根据本公开的实施例,因为汽车废料件的所捕获的视觉图像包含导致所捕获的视觉图像类似于未失效安全气囊模块的视觉特性,因此偏差可以被配置,使得AI***将汽车废料件分类为未失效安全气囊模块。偏差可以被配置成使得误报(false positive)比漏报(false negative)发生的比率大于预定的阈值(例如,95%)。误报是指其中分类结果导致将汽车废料件标识为未失效安全气囊模块但实际上并非如此的实例(诸如,当汽车废料件在物理上类似于未失效安全气囊模块时)。漏报是指其中分类导致无法标识未失效安全气囊模块的实例。由于从汽车废料件流中移除未失效安全气囊模块至关重要,因此将非常高的误报与漏报的预定的比率配置到AI***的分类算法中可以是可接受的,即使这可能会导致从废料件流中移除其他汽车废料件。
根据其中神经网络被实现为最终层(“分类层”)的本公开的某些实施例,神经元的输出的最终集被训练以表示材料件(例如,安全气囊模块)与捕获到的数据相关联的可能性。在操作期间,如果材料件与捕获到的数据相关联的可能性超过用户指定的阈值,则确定特定材料件确实与捕获到的数据相关联。这些技术可以扩展为不仅确定与特定捕获到的数据相关联的材料类型的存在,而且确定特定捕获到的数据的子区域是否属于一种类型的材料或另一种类型的材料。该过程被称为分割,并且文献中存在使用神经网络(诸如被称为“全卷积”神经网络)的技术,或者如果不是完全卷积的话则包括卷积部分的网络(即,部分地卷积)。这允许确定材料位置和大小。示例包括实现图像分割的Mask R-CNN。
应当理解的是,本公开不排他性地限于AI技术。用于材料分类/标识的其他常见技术也可以被使用。例如,传感器***可以利用使用多光谱或高光谱相机的光学光谱测定技术,通过检查材料的光谱发射(即,光谱成像)来提供可以指示(例如,包含一种或多种特定元素的)某种类型的材料存在或不存在的信号。材料件(例如,安全气囊模块)的光谱图像也可以在模板匹配算法中被使用,其中将光谱图像的数据库与采集到的光谱图像进行比较,以从该数据库中发现某些类型的材料的存在或不存在。还可以将捕获到的光谱图像的直方图与直方图数据库进行比较。类似地,词袋模型可以与诸如尺度不变特征变换(“SIFT”)之类的特征提取技术一起使用,以在捕获到的图像与数据库中的图像之间比较提取到的特征。根据本公开的某些实施例,代替利用其中材料件的控制样本由视觉***和/或(一个或多个)传感器***传递的训练阶段,对机器学习***的训练可以利用标记/注释技术(或任何其他有监督学习技术)来执行,由此当材料件的数据/信息由视觉/传感器***捕获时,用户输入标识每个材料件(例如,未失效气囊模块)的标记或注释,然后将其用于创建在对材料件的异质混合物内的材料件进行分类时供由机器学习***使用的库。换句话说,从材料类别中的一个或多个样本中捕获到的先前生成的特性的知识库可以通过本文中所公开的技术中的任何技术来完成,由此此类知识库然后被用于对材料进行自动分类。
因此,如本文中公开的,本公开的某些实施例提供了对一种或多种不同类型或类别的材料的标识/分类,以便确定哪些材料件(例如,未失效安全气囊模块)应该以限定的组从传送器***转移。根据某些实施例,利用AI技术来训练(即,配置)神经网络以对各种一个或多个不同类别或类型的材料进行标识。(例如,在传送器***上行进的)材料的光谱图像或其他类型的感测到的信息被捕获,并且基于对此类材料的标识/分类,本文中所描述的***可以决定哪个材料件应当被允许保持在传送器***上,以及哪个材料件应当从传送器***被转移/被移除(例如,或者转移到收集容器中,或者转移到另一个传送器***上)。
此处要提及的一点是,根据本公开的某些实施例,材料件的收集到的/捕获到的/检测到的/提取到的特征/特性(例如,光谱图像)不一定是简单的特别可标识或可辨别的物理特性;它们可以是抽象的公式,这些公式只能在数学上表达,或者根本不能在数学上表达;然而,AI***可以被配置成用于对光谱数据进行解析以寻找允许在训练阶段期间对控制样本进行分类的模式。此外,机器学习***可以获取材料件的捕获到的信息(例如,光谱图像)的子部分,并且试图找到预定义分类之间的相关性。
根据本公开的某些实施例,代替利用其中材料件的控制样本由视觉***和/或(一个或多个)传感器***传递的训练阶段,对AI***的训练可以利用标记/注释技术(或任何其他有监督学习技术)来执行,由此当材料件(例如,未失效气囊模块)的数据/信息由视觉/传感器***捕获时,用户输入标识每个材料件的标记或注释,然后将其用于创建在对材料件的异质混合物内的材料件进行分类时供由AI***使用的库。
根据本公开的某些实施例,由本文中公开的传感器***120中的任何传感器***120输出的任何感测到的特性可以被输入到AI***中,以便对材料进行分类和/或分拣。例如,在实现有监督学习的AI***中,唯一地表征材料(例如,未失效气囊模块)的特定类型或组合物的传感器***120输出可用于训练AI***。
图3图示出描绘根据本公开的某些实施例的利用视觉***和/或一个或多个传感器***对材料件进行分类/分拣的过程3500的示例性实施例的流程图。过程3500可以被配置成用于在本文中所描述的本公开的实施例中的任何实施例内操作,这些实施例包括图1的***100。过程3500的操作可以由硬件和/或软件来执行,硬件和/或软件包括在控制***(例如,图1的计算机***107、视觉***110和/或(一个或多个)传感器***120)的计算机***(例如,图5的计算机***3400)内。在过程框3501中,材料件(例如,汽车废料件的混合物)可以放置到传送器***上,诸如图6A和图6B中所表示。在过程框3502中,每个材料件在传送器***上的位置被检测,以用于在每个材料件行进通过***100时跟踪每个材料件。这可以由视觉***110(例如,通过在与传送器***位置检测器(例如,位置检测器105)通信时将材料件与下面的传送器***材料区分开)来执行。替代地,材料件跟踪设备111可用于跟踪件。或者,可创建光源(包括但不限于可见光、UV和IR)并且具有可用于定位件的检测器的任何***可用于跟踪件。在过程框3503中,当材料件已经行进到视觉***和/或(一个或多个)传感器***中的一者或多者附近时,材料件的感测到的信息/特性被捕获/被采集。在过程框3504中,诸如先前公开的(例如,在计算机***107内实现的)视觉***可以对捕获到的信息执行预处理,该预处理可用于检测(提取)材料件中的每个材料件的信息(例如,来自背景(例如,传送带);换句话说,预处理可用于标识材料件与背景之间的差异)。诸如膨胀、阈值化和轮廓化之类的公知的图像处理技术可用于将材料件标识为与背景不同。在过程框3505中,分割可以被执行。例如,捕获到的信息可以包括与一个或多个材料件有关的信息。附加地,当特定材料件的图像被捕获时,该特定材料件可能会位于传送带的接缝上。因此,在此类实例中,可能期望将各个材料件的图像与图像的背景隔离。在针对过程框3505的示例性技术中,第一步骤是应用图像的高对比度;以这种方式,背景像素被减少到基本上所有的黑色像素,并且与材料件有关的像素中的至少一些像素被增亮到基本上全部的白色像素。然后,材料件的白色的图像像素被扩展以覆盖材料件的整个大小。在该步骤之后,材料件的位置是黑色背景上的所有白色像素的高对比度图像。然后,可以利用轮廓化算法来检测材料件的边界。边界信息被保存,并且然后边界位置被转移到原始图像。然后,在大于更早地定义的边界的区域上对原始图像执行分割。以这种方式,材料件被标识并与背景分离。
根据本公开的实施例,过程框3505可以实现语义分割过程,其标识材料件的异质混合物内的安全气囊模块,诸如图7中所表示。替代地,实例分割(诸如Mask R-CNN)或全景分割可以被利用。
在可选的过程框3506中,材料件可以在材料件跟踪设备和/或传感器***附近区域内沿着传送器***被传送,以便跟踪材料件中的每个材料件和/或确定材料件的大小和/或形状;如果XRF***或一些其他光谱传感器也在分拣***内实现,则这可能是有用的。在过程框3507中,后处理可以被执行。后处理可以涉及调整捕获到的信息/数据的大小,以使其为在神经网络中使用做好准备。这还可以包括以某种方式修改某些属性(例如,增强图像对比度、改变图像背景或应用滤波器),这将产生对AI***对材料件进行分类和区分的能力的增强。在过程框3509中,数据的大小可以被调整。在某些情况下,可能会期望调整数据大小,以匹配对某些AI***(诸如神经网络)的数据输入要求。例如,神经网络可能会要求比由典型数字相机捕获到的图像的大小小得多的图像大小(例如,225x 255像素或299x 299像素)。此外,输入数据大小越小,执行分类所需的处理时间就越少。由此,较小的数据大小可以最终增加***100的吞吐量并增加其值。
在过程框3510和3511中,基于感测到/检测到的特征对每个材料件进行标识/分类。例如,过程框3510可以被配置有采用一个或多个算法的神经网络,该神经网络将提取到的特征与存储在先前生成的(例如,在训练阶段期间生成的)知识库中的特征进行比较,并基于此类比较来将具有最高匹配的分类指派给材料件中的每个材料件。算法可以通过使用自动训练的滤波器以分层方式来处理捕获到的信息/数据。然后,滤波器响应在下一级算法中成功地被组合,直到在最后的步骤中获得概率。在过程框3511中,这些概率可用于N个分类中的每一个分类,以决定各个材料件应该被分拣到N个分拣容器中的哪个分拣容器中。例如,N个分类中的每一个分类可以被指派给一个分拣容器,并且在考虑下的材料件被分拣到与返回大于预定的阈值的最高概率的分类相对应的容器中。在本公开的实施例内,此类预定义阈值可以由用户预设置(例如,以确保误报分类在数目上基本上超过漏报分类)。如果概率中没有一个概率大于预定的阈值,则特定材料件可以被分拣到异常容器(例如,分拣容器140)中。
接下来,在过程框3512中,与材料件的一个或多个分类相对应的分拣设备被激活(例如,指令被发送到用于进行分拣的分拣设备)。在材料件的图像被捕获的时间与分拣设备被激活的时间之间,材料件已经(例如,以传送器***的传送速率)从视觉***和/或(一个或多个)传感器***附近移动到传送器***下游的位置。在本公开的实施例中,分拣设备的激活被定时,使得当材料件通过被映射到材料件的分类的分拣设备时,分拣设备被激活,并且材料件从传送器***被移除/被转移/被排出(例如,到其相关联的分拣容器中)。在本公开的实施例内,分拣设备的激活可以通过相应的位置检测器来定时,该位置检测器检测材料件何时在分拣设备之前通过并且发送信号以使得能够激活分拣设备。在过程框3513中,与被激活的分拣设备相对应的分拣容器接收移除的/转移的/排出的材料件。
图4图示出描绘根据本公开的某些实施例的分拣材料件的过程400的示例性实施例的流程图。过程400可以被配置成用于在本文中所描述的本公开的实施例中的任何实施例内操作,这些实施例包括图1的***100。过程400可以被配置成用于与过程3500一起操作。例如,根据本公开的某些实施例,过程框403和404可以被并入在过程3500中(例如,与过程框3503–3510串行或并行操作),以便将与AI***一起实现的视觉***110的工作与未与AI***一起实现的传感器***(例如,传感器***120)相结合,以便对材料件进行进行分类和/或分拣。
过程400的操作可以由硬件和/或软件来执行,硬件和/或软件包括在控制***(例如,图1的计算机***107)的计算机***(例如,图5的计算机***3400)内。在过程框401中,材料件可以放置到传送器***上。接下来,在可选的过程框402中,材料件可以沿着材料件跟踪设备和/或光学成像***附近区域内的传送器***被传送,以便跟踪每个材料件和/或确定材料件的大小和/或形状。在过程框403中,当材料件行进到传感器***附近时,材料件可以利用EM能量(波)或适合于由传感器***利用的特定类型的传感器技术的某一其他类型的刺激来询问或刺激。在过程框404中,材料件的物理特性由传感器***感测/检测并捕获。在过程框405中,对于材料件中的至少一些材料件,材料的类型(至少部分地)基于捕获的特性来标识/分类,其可以与AI***结合视觉***110进行的分类相结合。
接下来,如果要执行对材料件的分拣,则在过程框406中,与材料件的一个或多个分类相对应的分拣设备被激活。在材料件被感测到的时间与分拣设备被激活的时间之间,材料件已经以传送器***的传送速率从传感器***的附近移动到传送器***下游的位置。在本公开的某些实施例中,分拣设备的激活被定时,使得当材料件通过被映射到材料件的分类的分拣设备时,分拣设备被激活,并且材料件从传送器***移除/转移/排出到其相关联的分拣容器中。在本公开的某些实施例内,分拣设备的激活可以通过相应的位置检测器来定时,该位置检测器检测材料件何时在分拣设备之前通过并且发送信号以使得能够激活分拣设备。在过程框407中,与被激活的分拣设备相对应的分拣容器接收移除的/转移的/排出的材料件。
根据本公开的某些实施例,***100的多个至少一部分可以连续地链接在一起,以便执行多个迭代或分拣层。例如,当两个或更多个***100以此类方式链接时,传送器***可以用单个传送带或多个传送带来实现,从而将材料件传送通过第一视觉***(以及,根据某些实施例,传感器***),该第一视觉***被配置成用于通过分拣器(例如,第一自动化控制***108和相关联的一个或多个分拣设备126……129)将第一材料的异质混合物集中的材料件分拣到第一一个或多个容器集中(例如,分拣容器136……139),并且然后将材料件传送通过第二视觉***(以及,根据某些实施例,另一传感器***),该第二视觉***被配置成用于通过第二分拣器将第二材料的异质混合物集中的材料件分拣到第二一个或多个分拣容器集中。例如,第一分拣***可以分拣出未失效安全气囊模块,使得未失效安全气囊模块在第二分拣***在两种或更多种金属合金之间进行分拣之前从汽车废料件流中被安全地移除。对此类多级分拣的进一步讨论参见美国公布的专利申请第2022/0016675号,其通过引用并入本文中。
此类连续的***100可以包含以此类方式链接在一起的任何数量的此类***。根据本公开的某些实施例,每个连续视觉***可以被配置成用于分拣出与(一个或多个)先前***不同的经分类的材料或不同类型的材料。
根据本公开的各种实施例,不同类型或类别的材料可以由不同类型的传感器进行分类,每个不同类型的传感器用于与AI***一起使用,并被组合以对废料或废物流中的材料件进行分类。
根据本公开的各种实施例,来自两个或更多个传感器的数据(例如,光谱数据)可以使用单个或多个AI***来组合,以执行对材料件的分类。
根据本公开的各种实施例,多个传感器***可以被安装在单个传送器***上,其中每个传感器***利用不同的AI***。根据本公开的各种实施例,多个传感器***可以被安装在不同的传送器***上,其中每个传感器***利用不同的AI***。
现在参考图5,描绘了图示出数据处理(“计算机”)***3400的框图,在该***中本公开的实施例的各方面可以被实现。(术语“计算机”、“***”、“计算机***”和“数据处理***”在本文中可以可互换地使用。)计算机***107、自动化控制***108、(一个或多个)传感器***120的各方面和/或视觉***110可以与计算机***3400类似地配置。计算机***3400可以采用本地总线3405(例如,***组件互连(“PCI”)本地总线架构)。可以利用任何合适的总线架构,诸如加速图形端口(“AGP”)和工业标准架构(“ISA”)等。一个或多个处理器3415、易失性存储器3420和非易失性存储器3435可(例如,通过PCI桥(未示出))被连接到本地总线3405。集成存储器控制器和缓冲存储器可被耦合到一个或多个处理器3415。一或多个处理器3415可包括一或多个中央处理器单元和/或一个或多个图形处理器单元和/或一个或多个张量处理单元。到本地总线3405的附加连接可以通过直接部件互连或通过插件板来进行。在所描绘的示例中,通信(例如,网络(LAN))适配器3425、I/O(例如,小型计算机***接口(“SCSI”)主机总线)适配器3430和扩展总线接口(未示出)可以通过直接部件连接被连接到本地总线3405。音频适配器(未示出)、图形适配器(未示出)和(耦合到显示器3440的)显示适配器3416可以(例如,通过***扩展槽中的插件板)被连接到本地总线3405。
用户接口适配器3412可以提供用于键盘3413和鼠标3414、调制解调器/路由器(未示出)和附加存储器(未示出)的连接。I/O适配器3430可以提供用于硬盘驱动器3431、磁带驱动器3432和CD-ROM驱动器(未示出)的连接。
一个或多个操作***可以在一个或多个处理器3415上运行并用于协调和提供对计算机***3400内的各种部件的控制。在图5中,(一个或多个)操作***可以是商业上可获得的操作***。面向对象的编程***(例如,Java、Python等)可以与操作***结合运行,并且从在***3400上执行的一个或多个程序(例如,Java、Python等)提供对操作***的调用。用于操作***、面向对象的操作***和程序的指令可以位于非易失性存储器3435存储设备(诸如硬盘驱动器3431)上,并且可以被加载到易失性存储器3420中以供由处理器3415执行。
本领域的普通技术人员将领会的是,图5中的硬件可能取决于实现方式而变化。除了图5中所描绘的硬件之外或代替图5中所描绘的硬件,诸如闪存ROM(或等效的非易失性存储器)或光盘驱动器等之类的其他内部硬件或***设备可以被使用。此外,本公开的过程中的任何过程可以应用于多处理器计算机***,或者由多个此类***3400执行。例如,视觉***110的训练可以由第一计算机***3400执行,而用于分类的视觉***110的操作可以由第二计算机***3400执行。
作为另一示例,计算机***3400在不依赖于某种类型的网络通信接口的情况下可以是被配置成是可引导的独立***,无论计算机***3400是否包括某种类型的网络通信接口。作为进一步的示例,计算机***3400可以是嵌入式控制器,该嵌入式控制器被配置有提供存储操作***文件或用户生成的数据的非易失性存储器的ROM和/或闪存ROM。
图5中所描绘的示例和上述示例并不意味着暗示架构限制。进一步地,本公开的各方面的计算机程序形式可以驻留在由计算机***使用的任何计算机可读存储介质(即,软盘、致密盘、硬盘、磁带、ROM、RAM等)上。
如本文中已描述的,本公开的实施例可以被实现为执行用于对材料件进行标识、跟踪、分类和/或分拣的所描述的各种功能。此类功能可以在硬件和/或软件内实现,诸如在一个或多个数据处理***(例如,图5的数据处理***3400)内实现,一个或多个数据处理***诸如先前提到的计算机***107、视觉***110、(一个或多个)传感器***120的各方面和/或自动化控制***108。然而,本文中描述的功能不限于到任何特定硬件/软件平台中的实现方式。
如由本领域技术人员将领会的,本公开的各方面可以体现为***、过程、方法和/或程序产品。因此,本公开的各方面可以采取整个硬件实施例、整个软件实施例(包括固件、驻留软件、微代码等)、或者软件和硬件方面的组合的实施例的形式,软件和硬件方面的组合的实施例在本文中通常被称为“电路”、“电路***”、“模块”或“***”。此外,本公开的各方面可以采取在一个或多个计算机可读存储介质中体现的程序产品的形式,程序产品具有在一个或多个计算机可读存储介质上体现的计算机可读程序代码。(然而,可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。)
计算机可读存储介质可以是例如但不限于电、磁、光、电磁、红外、生物、原子或半导体***、装置、控制器或设备,或者前述的任何合适的组合,其中计算机可读存储介质本身不是暂态信号。计算机可读存储介质的更多具体示例(非详尽列表)可包括以下各项:具有一个或多个电线的电连接、便携式计算机软盘、硬盘、随机存取存储器(“RAM”)(例如,图5的RAM 3420)、只读存储器(“ROM”)(例如,图5的ROM 3435)、可擦除可编程只读存储器(“EPROM”或闪存存储器)、光纤、便携式致密盘只读存储器(“CD-ROM”)、光学存储设备、磁存储设备(例如,图5的硬驱动器3431)或前述的任何合适的组合。在本文档的上下文中,计算机可读存储介质可以是能够包含或存储供由指令执行***、装置、控制器或设备使用或与指令执行***、装置、控制器或设备相结合地使用的程序的任何有形介质。在计算机可读信号介质上体现的程序代码可以使用任何适当的介质来传输,包括但不限于无线、有线、光纤电缆、射频等,或者前述的任何合适的组合。
计算机可读信号介质可包括被传播的数据信号,该数据信号具有被体现在其中(例如,在基带中或作为载波的一部分)的计算机可读程序代码。此类被传播的信号可以采取包括但不限于电磁、光学或其任何合适的组合的各种形式中的任何一种。计算机可读信号介质可以是不是计算机可读存储介质并且可以传达、传播或传输程序以供由指令执行***、装置、控制器或设备使用或与指令执行***、装置、控制器或设备相结合使用的计算机可读介质。
附图中的流程图和框图图示出根据本公开的各种实施例的***、方法、过程和程序产品的可能实现方式的架构、功能和操作。就此而言,流程图或框图中的每个框可以表示代码的模块、段或部分,其包括用于实现(一个或多个)指定的逻辑功能的一个或多个可执行程序指令。还应当注意,在一些替代实现方式中,框中所标注的多个功能可不按图中所标注的次序发生。例如,取决于所涉及的功能,相继示出的两个框实际上可以基本上同时执行,或者这些框有时可以按相反的顺序来执行。
以软件实现的、用于由各种类型的处理器(例如,GPU 3401、CPU 3415)执行的模块可以例如包括一个或多个计算机指令的物理或逻辑块,其可以例如被组织为对象、过程或函数。然而,经标识的模块的可执行文件不需要在物理上在一起,而是可包括存储在不同位置中的不同指令,当这些指令在逻辑上结合在一起时,包括模块,并且针对该模块实现所声称的目的。实际上,可执行代码的模块可以是单个指令或许多指令,并且甚至可以分布在若干不同的代码段上、分布在不同的程序之间以及跨若干存储器设备分布。类似地,操作数据(例如,本文中描述的材料分类库)在本文中可被标识并图示在模块内,并且能以任何合适的形式被具体化并被组织在任何合适类型的数据结构内。操作数据可以被收集为单个数据集,或者可以分布在不同的位置上(包括分布在不同的存储设备上)。数据可以在***或网络上提供电子信号。
这些程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的一个或多个处理器和/或(一个或多个)控制器以产生机器,使得经由计算机或其他可编程数据处理装置的(一个或多个)处理器(例如,GPU 3401、CPU 3415)执行的指令创建用于实现在流程图和/或一个或多个框图框中指定的功能/动作的电路***或装置。
还将注意,可由执行指定功能或动作的、基于专用硬件的***(例如,其可以包括一个或多个图形处理单元(例如,GPU 3401))或专用硬件和计算机指令的多种组合来实现框图和/或流程图图示中的每一个框和框图和/或流程图图示中的多个框的组合。例如,模块可以被实现成硬件电路,该硬件电路包括定制的超大规模集成(VLSI)电路或门阵列、诸如逻辑芯片、晶体管之类的现成的半导体、控制器或其他分立的部件。模块也可被实现在可编程硬件设备中,诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑器件等。
在本文中的描述中,流程图的技术可以是以一系列顺序动作描述的。在不脱离本教导的范围的情况下,可以自由地改变动作的顺序以及执行动作的元件。动作可以以若干种方式被添加、删除或更改。类似地,动作可以被重新排序或循环。进一步地,虽然过程、方法、算法等可以按顺序次序描述,但是此类过程、方法、算法或其任何组合可以能操作以按替代次序执行。进一步地,过程、方法或算法内的一些动作可以在至少一个时间点期间同时被执行(例如,动作并行被执行),并且还可以全部、部分或其任意组合被执行。
本文中可参考“配置成用于”执行一个或多个特定功能的设备、电路、电路***、***或模块。应当理解的是,这可以包括选择预定义逻辑块并将它们逻辑关联,使得它们提供特定的逻辑功能,其包括监测或控制功能。它还可以包括对基于计算机软件的逻辑进行编程、对分立的硬件部件进行布线、或者前述的任何或全部的组合。
在本文中未描述的范围内,关于特定材料,处理动作和电路的许多细节是常规的,并且可以在计算、电子和软件领域的教科书和其他来源中找到。
用于执行本公开的各方面的操作的计算机程序代码(即,指令)可以以一种或多种编程语言的任意组合来编写,该一种或多种编程语言包括诸如Java、Smalltalk、Python、C++等之类的面向对象的编程语言、诸如“C”编程语言或类似的编程语言之类的常规过程编程语言、诸如MATLAB或LabVIEW之类的编程语言、或本文中公开的AI软件中的任何AI软件。程序代码可以作为独立软件包完全地在用户的计算机***上执行、部分地在用户的计算机***上执行、部分地在用户的计算机***上(例如,用于分拣的计算机***)以及部分地在远程计算机***上(例如,用于训练AI***的计算机***)上执行、或者完全在远程计算机***或服务器上执行。在后一种情况下,远程计算机***可以通过任何类型的网络连接到用户的计算机***,该网络包括局域网(“LAN”)或广域网(“WAN”)、或者可以(例如,通过使用互联网服务提供商的互联网)连接到外部计算机***。作为前述内容的示例,本公开的各个方面可以被配置成用于在以下各项中的一项或多项上执行:计算机***107、自动化控制***108、视觉***110以及(一个或多个)传感器***120的各方面。
这些程序指令也可被存储在机器可读存储介质中,该机器可读存储介质可引导计算机***、其他可编程数据处理装置、控制器或其他设备以特定方式起作用,使得存储在机器可读介质中的指令产生包括实现流程图和/或一个或多个框图块中指定的功能/动作的指令的制品。
程序指令还可以被加载到计算机、其他可编程数据处理装置、控制器或其他设备上,以使得一系列操作步骤在计算机、其他可编程装置或其他设备上执行,以产生计算机实现的过程,使得在计算机或其他可编程装置上执行的指令提供用于实现流程图和/或一个或多个框图块中指定的功能/动作的过程。
一个或多个数据库可以包括在主机中,以用于存储数据以及提供对用于各种实现方式的数据的访问。本领域技术人员还将领会到,出于安全原因,本公开的任何数据库、***或部件可以包括在单个位置或多个位置处的数据库或部件的任意组合,其中每个数据库或***可以包括各种合适的安全特征(诸如防火墙、访问码、加密、解密等等)中的任何一种。数据库可以是任何类型的数据库,诸如关系数据库、分层数据库、面向对象数据库等。可用于实现数据库的常见数据库产品包括IBM的DB2、可从Oracle公司获得的数据库产品中的任何数据库产品、微软公司的Microsoft Access或任何其他数据库产品。数据库可以以任何合适的方式组织,其包括作为数据表或查找表。
某些数据(例如,对于由本文中描述的物料搬运***处理的材料件中的每个材料件)的关联可以通过本领域已知和实践的任何数据关联技术来实现。例如,关联可以或手动或自动来完成。自动关联技术可以包括例如数据库搜索、数据库合并、GREP、AGREP、SQL等。关联步骤可以通过数据库合并功能例如使用制造商和零售商数据表中的每一个表中的键字段来完成。键字段根据由键字段定义的对象的高级类别对数据库进行分区。例如,某个类别可以被指定为第一数据表和第二数据表两者中的键字段,并且然后两个数据表可以基于键字段中的类别数据来合并。在这些实施例中,优选地,与经合并的数据表中的每个经合并的数据表中的键字段相对应的数据是相同的。然而,例如,在键字段中具有类似但不相同的数据的数据表也可以通过使用AGREP来合并。
本公开的各方面提供了一种从移动的汽车废料件流中分拣未失效安全气囊模块的方法,其中该方法包括:将汽车废料件传送通过视觉***,其中该汽车废料件包括未失效安全气囊模块;捕获汽车废料件的视觉图像;通过人工智能***处理汽车废料件的所捕获的视觉图像,以便将未失效安全气囊模块与其他汽车废料件区分开;以及从移动的汽车废料件流中分拣未失效安全气囊模块。分拣包括将未失效安全气囊模块连同未失效安全气囊模块附近区域内的其他汽车废料件一起转移到容器中。分拣可以在不激活未失效安全气囊模块的情况下被执行。分拣由分拣机构执行,该分拣机构使用被配置成不激活未失效安全气囊模块的转移力来转移未失效安全气囊模块。分拣机构可以是油漆刷型柱塞。未失效安全气囊模块被至少一个其他汽车废料件部分地遮挡,使得视觉***无法采集未失效安全气囊模块的整体的光谱图像数据。人工智能***可以被配置成用于标识部分地被遮挡的未失效安全气囊模块。人工智能***被配置有语义分割算法,以用于在未失效安全气囊模块与其他汽车废料件之间进行区分。方法进一步包括在从汽车废料件流中分拣未失效安全气囊模块之后将汽车废料件分拣到单独的金属合金中。人工智能***被配置成用于以大于预定的阈值的、误报与漏报的比率将特定的汽车废料件分类为未失效安全气囊模块。
本公开的各方面提供了一种从移动的汽车废料件流中分拣未失效安全气囊模块的***,其中该***包括:传送器***,该传送器***用于将汽车废料件传送通过视觉***,其中该汽车废料件包括未失效安全气囊模块;视觉***,该视觉***被配置成用于捕获汽车废料件的视觉图像;数据处理***,该数据处理***被配置有人工智能***,该人工智能***被配置成用于处理汽车废料件的所捕获的视觉图像,以便将未失效安全气囊模块与其他汽车废料件区分开;以及分拣设备,该分拣设备用于从移动的汽车废料件流中分拣未失效安全气囊模块。分拣可以包括将未失效安全气囊模块连同未失效安全气囊模块附近区域内的其他汽车废料件一起转移到容器中。分拣可以在不激活未失效安全气囊模块的情况下被执行。分拣设备可以包括分拣机构,该分拣机构使用被配置成不激活未失效安全气囊模块的转移力来转移未失效安全气囊模块。分拣机构可以是油漆刷型柱塞。未失效安全气囊模块被至少一个其他汽车废料件部分地遮挡,使得视觉***无法采集未失效安全气囊模块的整体的光谱图像数据。人工智能***可以被配置成用于标识部分地被遮挡的未失效安全气囊模块,以及将部分地被遮挡的未失效安全气囊模块与其他汽车废料件区分开。人工智能***可以被配置有Mask R-CNN算法,以用于在未失效安全气囊模块与其他汽车废料件之间进行区分。人工智能***可以被配置成用于在特定的汽车废料件足够类似于未失效安全气囊模块的情况下将特定的汽车废料件分类为未失效安全气囊模块。人工智能***可以被配置成用于以大于预定的阈值的、误报与漏报的比率将特定的汽车废料件分类为未失效安全气囊模块。
在本文中的描述中,众多具体细节(诸如编程、软件模块、用户选择、网络事务、数据库查询、数据库结构、硬件模块、硬件电路、硬件芯片、控制器等的示例)被提供,以提供对本公开的实施例的透彻理解。然而,相关领域的技术人员将认识到,本公开可以在没有一个或多个具体细节的情况下、或者利用其他方法、部件、材料等来实践。在其他实例中,公知的结构、材料或操作未详细示出或描述,以避免模糊本发明的各方面。
贯穿本说明书,对“一个实施例”或“实施例”的引用或类似的语言意指结合该实施例描述的特定特征、结构或特性被包括在本公开的至少一个实施例中。由此,贯穿本说明书的短语“在一个实施例中”、“在实施例中”、“实施例”、“某些实施例”和类似的语言的出现可以指代但不一定全部指代同一实施例。此外,在一个或多个实施例中,可以以任何适当的方式来组合本公开的所描述的特征、结构、方面和/或特性。相应地,即使最初要求保护的特征在某些组合中发挥作用,但来自所要求保护的组合的一个或多个特征在一些情形中可从该组合被删去,并且所要求保护的组合可以针对子组合或子组合的变体。
上文已针对具体实施例描述了益处、优点和对问题的解决方案。然而,益处、优点、对问题的解决方案以及可能使任何益处、优点或解决方案发生或变得更为突出的任何(一个或多个)要素不被解释成任何或所有权利要求的关键的、必需的或必要的特征或要素。进一步地,除非明确描述为必要或关键的,否则本文中描述的组件对于本公开的实践不是必需的。
本文中,术语“或”可以旨在包括在内,其中“A或B”包括A或B并且还包括A和B二者。如本文中所使用,术语“和/或”当在实体列表的上下文中使用时指的是单独或组合存在的实体。因此,例如,短语“A、B、C和/或D”包括单独地A、B、C和D,但也包括A、B、C和D的任何和所有组合和子组合。
本文中所使用的术语仅处于描述特定实施例的目的,并且不旨在限制本公开。如本文中所使用,单数形式的“一(a、an)”和“该”也可以旨在包括复数形式,除非上下文明确地另作规定。
以下权利要求中的所有装置或步骤加功能元件的相对应的结构、材料、动作和等同物可以旨在包括用于与具体要求保护的其他要求保护的要素组合执行功能的任何结构、材料或动作。
如本文中所使用,就经标识的性质或情况而言,“基本上”指的是足够小以便不会可视地偏离经标识的性质或情况的偏差程度。在一些情况下,确切允许偏差程度可以取决于特定的上下文。
如本文中所使用,为了方便起见,多个项目、结构元素、组成元素、和/或材料可以呈现在共同的列表中。然而,这些列表应当理解为列表中的每一个构件都被单独地标识为分离且唯一的构件。由此,不应当将此类列表上的任何单独的构件仅基于其在公共组中的呈现而视为同一列表上的任何其他构件的事实上的等同,而没有相反的指示。
除非另外定义,否则在本文中所使用的所有技术和科学术语(诸如元素周期表中对化学元素的缩写)具有与本公开主题所属领域的普通技术人员所通常理解相同的含义。虽然类似于或等同于本文中所描述的方法、设备或材料的任何方法、设备和材料可在实践或测试本公开主题时使用,但现在描述了代表性方法、设备和材料。
本文中使用的术语“耦合”并不旨在限于直接耦合或机械耦合。除非另有说明,否则诸如“第一”和“第二”之类的术语用于任意地在此类术语描述的要素之间进行区分。由此,这些术语不一定旨在指示此类要素的时间或其他优先顺序。
Claims (20)
1.一种从移动的汽车废料件流中分拣未失效安全气囊模块的方法,包括:
将汽车废料件传送通过视觉***,其中所述汽车废料件包括未失效安全气囊模块;
捕获所述汽车废料件的视觉图像;
通过人工智能***处理所述汽车废料件的所捕获的视觉图像,以便将所述未失效安全气囊模块与其他汽车废料件区分开;以及
从所述移动的汽车废料件流中分拣所述未失效安全气囊模块。
2.如权利要求1所述的方法,其中,所述分拣包括将所述未失效安全气囊模块连同所述未失效安全气囊模块附近区域内的其他汽车废料件一起转移到容器中。
3.如权利要求1所述的方法,其中,所述分拣在不激活所述未失效安全气囊模块的情况下被执行。
4.如权利要求1所述的方法,其中,所述分拣由分拣机构执行,所述分拣机构使用被配置成不激活所述未失效安全气囊模块的转移力来转移所述未失效安全气囊模块。
5.如权利要求4所述的方法,其中,所述分拣机构是油漆刷型柱塞。
6.如权利要求2所述的方法,其中,所述未失效安全气囊模块被至少一个其他汽车废料件部分地遮挡,使得所述视觉***无法采集所述未失效安全气囊模块的整体的光谱图像数据。
7.如权利要求6所述的方法,其中,所述人工智能***被配置成用于标识部分地被遮挡的未失效安全气囊模块。
8.如权利要求7所述的方法,其中,所述人工智能***被配置有语义分割算法,以用于在未失效安全气囊模块与其他汽车废料件之间进行区分。
9.如权利要求1所述的方法,进一步包括在从所述汽车废料件流中分拣所述未失效安全气囊模块之后将汽车废料件分拣到单独的金属合金中。
10.如权利要求1所述的方法,其中,所述人工智能***被配置成用于以大于预定的阈值的、误报与漏报的比率将特定的汽车废料件分类为未失效安全气囊模块。
11.一种用于从移动的汽车废料件流中分拣未失效安全气囊模块的***,包括:
传送器***,所述传送器***用于将汽车废料件传送通过视觉***,其中所述汽车废料件包括未失效安全气囊模块;
视觉***,所述视觉***被配置成用于捕获所述汽车废料件的视觉图像;
数据处理***,所述数据处理***被配置有人工智能***,所述数据处理***被配置成用于通过所述人工智能***处理的所述汽车废料件的所捕获的视觉图像,以便将所述未失效安全气囊模块与其他汽车废料件区分开;以及
分拣设备,所述分拣设备用于从所述移动的汽车废料件流中分拣所述未失效安全气囊模块。
12.如权利要求11所述的***,其中,所述分拣包括将所述未失效安全气囊模块连同所述未失效安全气囊模块附近区域内的汽车废料件一起转移到容器中。
13.如权利要求11所述的***,其中,所述分拣在不激活所述未失效安全气囊模块的情况下被执行。
14.如权利要求11所述的***,其中,所述分拣设备包括分拣机构,所述分拣机构使用被配置成不激活所述未失效安全气囊模块的转移力来转移所述未失效安全气囊模块。
15.如权利要求14所述的***,其中,所述分拣机构是油漆刷型柱塞。
16.如权利要求12所述的***,其中,所述未失效安全气囊模块被至少一个其他汽车废料件部分地遮挡,使得所述视觉***无法采集所述未失效安全气囊模块的整体的光谱图像数据。
17.如权利要求16所述的***,其中,所述人工智能***被配置成用于标识部分地被遮挡的未失效安全气囊模块,以及将所述部分地被遮挡的未失效安全气囊模块与其他汽车废料件区分开。
18.如权利要求17所述的***,其中,所述人工智能***被配置有语义分割算法,以用于在未失效安全气囊模块与其他汽车废料件之间进行区分。
19.如权利要求11所述的***,其中,所述人工智能***被配置成用于在特定的汽车废料件足够类似于未失效安全气囊模块的情况下将所述特定的汽车废料件分类为未失效安全气囊模块。
20.如权利要求11所述的***,其中,所述人工智能***被配置成用于以大于预定的阈值的、误报与漏报的比率将特定的汽车废料件分类为未失效安全气囊模块。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63/229,724 | 2021-08-05 | ||
US17/491,415 | 2021-09-30 | ||
US17/495,291 | 2021-10-06 | ||
US17/667,397 | 2022-02-08 | ||
US17/752,669 | 2022-05-24 | ||
US17/752,669 US20220355342A1 (en) | 2015-07-16 | 2022-05-24 | Sorting of contaminants |
PCT/US2022/039622 WO2023015000A1 (en) | 2021-08-05 | 2022-08-05 | Removing airbag modules from automotive scrap |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116997423A true CN116997423A (zh) | 2023-11-03 |
Family
ID=88534339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280015959.5A Pending CN116997423A (zh) | 2021-08-05 | 2022-08-05 | 从汽车废料中移除安全气囊模块 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116997423A (zh) |
-
2022
- 2022-08-05 CN CN202280015959.5A patent/CN116997423A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210346916A1 (en) | Material handling using machine learning system | |
US11975365B2 (en) | Computer program product for classifying materials | |
US11964304B2 (en) | Sorting between metal alloys | |
US11260426B2 (en) | Identifying coins from scrap | |
CN112543680A (zh) | 从废料中回收硬币 | |
CA3233146A1 (en) | Multiple stage sorting | |
WO2023076186A1 (en) | Metal separation in a scrap yard | |
US20220371057A1 (en) | Removing airbag modules from automotive scrap | |
CN116997423A (zh) | 从汽车废料中移除安全气囊模块 | |
TWI829131B (zh) | 用於淘選材料之方法和系統以及儲存在電腦可讀儲存媒體上的電腦程式產品 | |
EP4267319A1 (en) | Removing airbag modules from automotive scrap | |
US12017255B2 (en) | Sorting based on chemical composition | |
US20220203407A1 (en) | Sorting based on chemical composition | |
WO2023003670A1 (en) | Material handling system | |
WO2023003669A1 (en) | Material classification system | |
CN116917055A (zh) | 基于化学组合物的分拣 | |
US20230053268A1 (en) | Classification and sorting with single-board computers | |
CA3209464A1 (en) | Sorting based on chemical composition | |
US20240132297A1 (en) | Thin strip classification | |
KR20240090253A (ko) | 다단계 선별 | |
US20240207899A1 (en) | Sorting between metal alloys | |
US20230173543A1 (en) | Mobile sorter | |
KR20240093958A (ko) | 스크랩 처리장의 금속 분리 | |
WO2023137423A1 (en) | Scrap data analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |