CN108169241B - 一种生产流水线产品的图像采集方法 - Google Patents
一种生产流水线产品的图像采集方法 Download PDFInfo
- Publication number
- CN108169241B CN108169241B CN201810006396.9A CN201810006396A CN108169241B CN 108169241 B CN108169241 B CN 108169241B CN 201810006396 A CN201810006396 A CN 201810006396A CN 108169241 B CN108169241 B CN 108169241B
- Authority
- CN
- China
- Prior art keywords
- product
- camera
- production line
- personal computer
- industrial personal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
- G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
Landscapes
- Engineering & Computer Science (AREA)
- Textile Engineering (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Studio Devices (AREA)
- Image Input (AREA)
Abstract
本发明公开了一种生产流水线产品的图像采集方法,通过将第一对射光电开关、第二对射光电开关和相机按照从前往后的顺序依次安装在生产流水线上,在采集过程中,通过工控机控制相机第一次拍摄来获取产品颜色,根据产品颜色去调整相机曝光值,使相机第二次拍摄的曝光值与颜色匹配,然后根据第二对射光电开关和相机之间间距以及产品的移动速度计算得到产品中心移动至相机视野中心处的时间,工控机驱动相机在该时刻进行第二次拍摄,第二次拍摄的位置为理想拍摄位置,且相机的曝光值与产品颜色匹配;优点是可以根据生产流水线上产品颜色和尺寸自适应调整相机的曝光值以及产品出现在相机视野中的位置,在不影响产线效率的情况下取得优质的待测图片。
Description
技术领域
本发明涉及一种图像采集方法,尤其是涉及一种生产流水线产品的图像采集方法。
背景技术
目前,在机器视觉检测领域,主要通过视觉算法来识别待测图像内的信息进而得出判定结论。待测图像质量的好坏程度直接影响到视觉算法得到的判断结论的准确性,能否采集到高质量的待测图像,对于视觉算法做出准确判断,从而提高视觉检测***在工业化应用中的稳定性和可靠性具有重要意义。随着自动化技术的快速发展,生产流水线在产品制造行业得到了广泛应用。为了高效实现产品质量的全检,视觉检测***目前已用于生产流水线产品的质量检测。由于产品随着生产流水线的传送而移动,如何采集质量较高的产品图像用于视觉判断成为了当前的研究热点。
现有的生产流水线产品的图像采集方法通常是将相机、镜头、光源和产品感应器安装在生产流水线上,光源为相机拍照提供照明,通过工控机来控制相机的工作。当感应器感应到产品时,此时说明产品经过相机正下方,感应器发送信号给工控机,工控机控制相机拍照。在拍摄前,会先手动设定好相机的曝光值、镜头的光圈值以及光源的照射亮度,相机在固定亮度的情况下进行图像采集。由于当前产品的种类繁多,外形轮廓不一,多为组合几何轮廓,而非单一的矩形或者圆形轮廓等,由此,该图像采集方法中,通常将产品的最小外接矩形或最小外接圆作为产品外形轮廓,将产品的最小外接矩形或最小外接圆的中心作为产品的中心,产品在生产流水线上传输时,其中心与相机视野(FOV)中心的连线与生产流水线的传送方向一致,即理论上,在生产流水线传送过程中,产品的中心会移动至与相机视野(FOV)中心重叠。
但是,现有的生产流水线产品的图像采集方法存在以下问题:一、实际生产流水线常常会兼用于不同规格的多种产品的连续检测,由于不同颜色的产品在特定光照下适用的相机的曝光值和镜头的光圈值不同,当出现颜色各异的产品连续检测时,需要暂停产线来调整相机的曝光值或者镜头的光圈值来取得理想的图像,由此影响生产流水线的检测效率;二、在检测混料产品时,当出现不同类别的产品尺寸大小不一的情况时,为了使产品在相机下方的理想位置(即产品的中心与相机视野(FOV)中心重叠处)处拍照,只能人为去进行传感器和相机位置的调整,且该种调整方式也只适用于混料产品种类少,类与类间隔时间长的情况,才有空隙去调整,当混料产品种类很多,间隔时间很短,这种调整方式则非常的不灵活。
发明内容
本发明所要解决的技术问题是提供一种可以根据生产流水线上产品的颜色和尺寸自适应调整相机的曝光值以及产品出现在相机视野中的位置,不会影响生产流水线的检测效率的生产流水线产品的图像采集方法。
本发明解决上述技术问题所采用的技术方案为:一种生产流水线产品的图像采集方法,包括以下步骤:
①将两组对射光电开关和相机按照从前往后的顺序依次安装在生产流水线上,将镜头安装在所述的相机上,将位于前面的一组对射光电开关记为第一对射光电开关S1,将位于后面的一组对射光电开关记为第二对射光电开关S2,所述的第二对射光电开关S2位于所述的相机的拍摄视野内,所述的第二对射光电开关S2和所述的相机分别与安装有图像处理程序的工控机连接;
②将所述的第一对射光电开关S1和所述的第二对射光电开关S2之间的间距记为lsensor,其中lsensor=1.5*lmax,lmax为混料检测的各种规格产品中长度最大的产品的长度,*为乘运算符号,将所述的第二对射光电开关S2至生产流水线输入端的距离记为x0,所述的相机拍摄视野的中心处至生产流水线输入端的距离记为x1,所述的第二对射光电开关S2和所述的相机沿生产流水线方向的间距记为l0,l0的取值不小于max{lmin1,lmin2},max{}表示取两个数中的较大值符号,α为所述的镜头的视角,hmax为混料的各种规格产品中高度最大的产品的高度,v为生产流水线设定的运行速度,fps为所述的相机的帧率,tprc和tsend分别为补偿时延,其中tprc取值范围为30~50ms,tsend的取值范围为5~20ms,将x0、x1和lsensor以及各种颜色对应的相机的预设曝光值存储在所述的工控机中,初始化所述的相机的曝光值使其为r0,r0取值范围为600μs≤r0≤900μs;
③当生产流水线上传送的某一产品进入所述的第一对射光电开关S1时,所述的第一对射光电开关S1生成开关信号发送给所述的工控机,所述的工控机接收该开关信号并记录当前时刻为ts,该产品随生产流水线继续移动离开所述的第一对射光电开关,然后继续移动进入所述的第二对射光电开关S2,此时所述的第二对射光电开关S2生成开关信号发送给所述的工控机,所述的工控机接收到该开关信号并记录当前时刻为t0,将当前生产流水线的测量速度记为v0,采用以下公式(1)计算出当前生产流水线的测量速度v0:
④所述的工控机生成第一个触发信号控制所述的相机在tfst时刻第一次拍摄该产品的图像并发送给所述的工控机,tfst采用公式(2)计算得到:
tfst=t0+tdelay (2)
其中,tdelay为该产品从进入所述的第二对射光电开关S2至进入相机拍摄区域的补偿时间,tdelay在生产现场通过实验获取;
⑤所述的工控机对接收到的图像进行分析处理,获取该图像的颜色信息,并获取其内存储的该颜色对应的预设曝光值,控制所述的相机的曝光值调整为该颜色对应的预设曝光值;
⑥当所述的第二对射光电开关S2产生的开关信号消失时,此时该产品正好离开所述的第二对射光电开关S2,所述的工控机再次记录当前时刻,当前时刻为t1,并根据公式(3)~(5)计算得到产品的中心到生产流水线输入端的距离xp:
t2=t1-t0 (3)
l1=v0×t2 (4)
其中,t2为该产品通过所述的第二对射光电开关S2的时间,l1为该产品最初进入第二对射光电开关S2的进入点和最后离开第二对射光电开关S2的离开点,这两点在流水线方向上的距离;
⑦根据公式(6)和(7)计算该产品通过所述的第二对射光电开关S2后,该产品的中心移动到所述的相机拍摄视野的中心处的时间t3:
l2=x1-xp (6)
其中,l2为该产品的中心至所述的相机拍摄视野的中心处的距离;
⑧根据公式(8)计算所述的相机第二次拍摄的时刻tsec:
tsec=t1+t3-tahead (8)
其中,tahead为信号传输时延的补偿时间,在生产现场通过实验获取;
⑨所述的工控机生成进行第二次触发信号控制所述的相机在tsec时刻进行第二次拍摄,所述的相机将第二次拍摄的产品图像作为待测图像发送给所述的工控机,该产品的图像采集完成;
⑩按照步骤③~⑨依次对流水线上的流过的其他产品进行图像采集。
与现有技术相比,本发明的优点在于通过将第一对射光电开关、第二对射光电开关和相机按照从前往后的顺序依次安装在生产流水线上,第二对射光电开关位于相机的拍摄视野内,第一对射光电开关与第二对射光电开关之间的距离保证产品不会同时进入第一对射光电开关与第二对射光电开关,第二对射光电开关和相机之间的间距保证工控机具有足够的数据处理时间,在采集过程中,通过采集产品进入第一对射光电开关和进入第二对射光电开关的时间来计算得到产品在生产流水线上的移动速度,在产品进入第二对射光电开关时,工控机驱动相机进行第一次拍摄,工控机根据相机第一次拍摄的图片识别产品颜色,并根据产品颜色去自适应调整相机的曝光值,使相机第二次拍摄的曝光值与产品颜色匹配,然后根据第二对射光电开关和相机之间的间距以及产品的移动速度计算得到产品的中心移动至相机视野中心处的时间,工控机驱动相机在该时刻进行第二次拍摄,第二次拍摄的位置为产品所处的理想拍摄位置,且相机的曝光值与产品颜色匹配,由此获取到高质量的图像用于后续图像分析处理,本发明的采集方法,可以根据生产流水线上产品的颜色和尺寸自适应调整相机的曝光值以及产品出现在相机视野中的位置,在采集图像过程中无需人为干预,节拍保持在1.0s以内,保证在不影响产线效率的情况下取得优质的待测图片。
附图说明
图1为本发明的生产流水线产品的图像采集方法的布局俯视图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
实施例:如图1所示,一种生产流水线产品的图像采集方法,包括以下步骤:
①将两组对射光电开关和相机按照从前往后的顺序依次安装在生产流水线上,将镜头安装在相机上,将位于前面的一组对射光电开关记为第一对射光电开关S1,将位于后面的一组对射光电开关记为第二对射光电开关S2,第二对射光电开关S2位于相机拍摄视野内,第二对射光电开关S2和相机分别与安装有图像处理程序的工控机连接;
②将第一对射光电开关S1和第二对射光电开关S2之间的间距记为lsensor,其中lsensor=1.5*lmax,lmax为混料检测的各种规格产品中长度最大的产品的长度,*为乘运算符号,将第二对射光电开关S2至生产流水线输入端的距离记为x0,相机拍摄视野的中心处至生产流水线输入端的距离记为x1,第二对射光电开关S2和相机沿生产流水线方向的间距记为l0,l0的取值不小于max{lmin1,lmin2},max{}表示取两个数中的较大值符号,α为镜头的视角,hmax为混料的各种规格产品中高度最大的产品的高度,v为生产流水线设定的运行速度,fps为相机的帧率,tprc和tsend分别为补偿时延,其中tprc取值范围为30~50ms,tsend的取值范围为5~20ms,将x0、x1和lsensor以及各种颜色对应的相机的预设曝光值存储在工控机中,初始化相机的曝光值使其为r0,r0取值范围为600μs≤r0≤900μs;
③当生产流水线上传送的某一产品进入第一对射光电开关S1时,第一对射光电开关S1生成开关信号发送给工控机,工控机接收该开关信号并记录当前时刻为ts,该产品随生产流水线继续移动离开第一对射光电开关,然后继续移动进入第二对射光电开关S2,此时第二对射光电开关S2生成开关信号发送给工控机,工控机接收到该开关信号并记录当前时刻为t0,将当前生产流水线的测量速度记为v0,采用以下公式(1)计算出当前生产流水线的测量速度v0:
④工控机生成第一个触发信号控制相机在tfst时刻第一次拍摄该产品的图像并发送给工控机,tfst采用公式(2)计算得到:
tfst=t0+tdelay (2)
其中,tdelay为该产品从进入第二对射光电开关S2至进入相机拍摄区域的补偿时间,tdelay在生产现场通过实验获取,tdelay通常取大于0且小于等于2ms的数;
⑤工控机对接收到的图像进行分析处理,获取该图像的颜色信息,并获取其内存储的该颜色对应的预设曝光值,控制相机的曝光值调整为该颜色对应的预设曝光值;
⑥当第二对射光电开关S2产生的开关信号消失时,此时该产品正好离开第二对射光电开关S2,工控机再次记录当前时刻,当前时刻为t1,并根据公式(3)~(5)计算得到产品的中心到生产流水线输入端的距离xp:
t2=t1-t0 (3)
l1=v0×t2 (4)
其中,t2为该产品通过第二对射光电开关S2的时间,l1为该产品最初进入第二对射光电开关S2的进入点和最后离开第二对射光电开关S2的离开点,这两点在流水线方向上的距离;
⑦根据公式(6)和(7)计算该产品通过第二对射光电开关S2后,该产品的中心移动到相机拍摄视野的中心处的时间t3:
l2=x1-xp (6)
其中,l2为该产品的中心至相机拍摄视野的中心处的距离;
⑧根据公式(8)计算相机第二次拍摄的时刻tsec:
tsec=t1+t3-tahead (8)
其中,tahead为信号传输时延的补偿时间,在生产现场通过实验获取;tahead通常取大于0且小于等于2ms的数;
⑨工控机生成进行第二次触发信号控制相机在tsec时刻进行第二次拍摄,相机将第二次拍摄的产品图像作为待测图像发送给工控机,该产品的图像采集完成;
⑩按照步骤③~⑨依次对流水线上的流过的其他产品进行图像采集。
本实施例中,图1中,位置1处为产品刚好进入第一对射光电开关S1处的位置,位置2处为产品刚好进入第二对射光电开关S2处的位置,位置3处为产品刚好离开第二对射光电开关S2处的位置,位置4处为产品的中心与相机拍摄视野的中心重叠处。
Claims (1)
1.一种生产流水线产品的图像采集方法,其特征在于包括以下步骤:
①将两组对射光电开关和相机按照从前往后的顺序依次安装在生产流水线上,将镜头安装在所述的相机上,将位于前面的一组对射光电开关记为第一对射光电开关S1,将位于后面的一组对射光电开关记为第二对射光电开关S2,所述的第二对射光电开关S2位于所述的相机的拍摄视野内,所述的第二对射光电开关S2和所述的相机分别与安装有图像处理程序的工控机连接;
②将所述的第一对射光电开关S1和所述的第二对射光电开关S2之间的间距记为lsensor,其中lsensor=1.5*lmax,lmax为混料检测的各种规格产品中长度最大的产品的长度,*为乘运算符号,将所述的第二对射光电开关S2至生产流水线输入端的距离记为x0,所述的相机拍摄视野的中心处至生产流水线输入端的距离记为x1,所述的第二对射光电开关S2和所述的相机沿生产流水线方向的间距记为l0,l0的取值不小于max{lmin1,lmin2},max{}表示取两个数中的较大值符号,α为所述的镜头的视角,hmax为混料的各种规格产品中高度最大的产品的高度,v为生产流水线设定的运行速度,fps为所述的相机的帧率,tprc和tsend分别为补偿时延,其中tprc取值范围为30~50ms,tsend的取值范围为5~20ms,将x0、x1和lsensor以及各种颜色对应的相机的预设曝光值存储在所述的工控机中,初始化所述的相机的曝光值使其为r0,r0取值范围为600μs≤r0≤900μs;
③当生产流水线上传送的某一产品进入所述的第一对射光电开关S1时,所述的第一对射光电开关S1生成开关信号发送给所述的工控机,所述的工控机接收该开关信号并记录当前时刻为ts,该产品随生产流水线继续移动离开所述的第一对射光电开关,然后继续移动进入所述的第二对射光电开关S2,此时所述的第二对射光电开关S2生成开关信号发送给所述的工控机,所述的工控机接收到该开关信号并记录当前时刻为t0,将当前生产流水线的测量速度记为v0,采用以下公式(1)计算出当前生产流水线的测量速度v0:
④所述的工控机生成第一个触发信号控制所述的相机在tfst时刻第一次拍摄该产品的图像并发送给所述的工控机,tfst采用公式(2)计算得到:
tfst=t0+tdelay (2)
其中,tdelay为该产品从进入所述的第二对射光电开关S2至进入相机拍摄区域的补偿时间,tdelay在生产现场通过实验获取;
⑤所述的工控机对接收到的图像进行分析处理,获取该图像的颜色信息,并获取其内存储的该颜色对应的预设曝光值,控制所述的相机的曝光值调整为该颜色对应的预设曝光值;
⑥当所述的第二对射光电开关S2产生的开关信号消失时,此时该产品正好离开所述的第二对射光电开关S2,所述的工控机再次记录当前时刻,当前时刻为t1,并根据公式(3)~(5)计算得到产品的中心到生产流水线输入端的距离xp:
t2=t1-t0 (3)
l1=v0×t2 (4)
其中,t2为该产品通过所述的第二对射光电开关S2的时间,l1为该产品最初进入第二对射光电开关S2的进入点和最后离开第二对射光电开关S2的离开点,这两点在流水线方向上的距离;
⑦根据公式(6)和(7)计算该产品通过所述的第二对射光电开关S2后,该产品的中心移动到所述的相机拍摄视野的中心处的时间t3:
l2=x1-xp (6)
其中,l2为该产品的中心至所述的相机拍摄视野的中心处的距离;
⑧根据公式(8)计算所述的相机第二次拍摄的时刻tsec:
tsec=t1+t3-tahead (8)
其中,tahead为信号传输时延的补偿时间,在生产现场通过实验获取;
⑨所述的工控机生成进行第二次触发信号控制所述的相机在tsec时刻进行第二次拍摄,所述的相机将第二次拍摄的产品图像作为待测图像发送给所述的工控机,该产品的图像采集完成;
⑩按照步骤③~⑨依次对流水线上的流过的其他产品进行图像采集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810006396.9A CN108169241B (zh) | 2018-01-04 | 2018-01-04 | 一种生产流水线产品的图像采集方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810006396.9A CN108169241B (zh) | 2018-01-04 | 2018-01-04 | 一种生产流水线产品的图像采集方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108169241A CN108169241A (zh) | 2018-06-15 |
CN108169241B true CN108169241B (zh) | 2020-12-15 |
Family
ID=62517327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810006396.9A Active CN108169241B (zh) | 2018-01-04 | 2018-01-04 | 一种生产流水线产品的图像采集方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108169241B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109794437B (zh) * | 2018-10-30 | 2024-02-06 | 泉州装备制造研究所 | 基于计算机视觉的智能分拣*** |
CN110018166A (zh) * | 2019-03-19 | 2019-07-16 | 深圳市派科斯科技有限公司 | 一种用于产品外观缺陷检测的设备和方法 |
CN111770263A (zh) * | 2020-05-22 | 2020-10-13 | 盟立自动化(昆山)有限公司 | 一种在特定视角对流动产品取像精确的视觉方法 |
CN112287282B (zh) * | 2020-10-19 | 2024-05-28 | 凌云光技术股份有限公司 | 一种糊盒负间距采集的计算方法及装置 |
CN112649446B (zh) * | 2020-11-12 | 2024-02-13 | 巨轮(广州)智能装备有限公司 | 一种fpc的检测方法、贴合方法及装置 |
CN112686852A (zh) * | 2020-12-25 | 2021-04-20 | 浙江伟星实业发展股份有限公司 | 一种产品缺陷识别方法、装置、设备及存储介质 |
CN114322409B (zh) * | 2021-06-23 | 2023-09-19 | 海信视像科技股份有限公司 | 冰箱及储藏室内景图片展示方法 |
CN116952838A (zh) * | 2023-07-19 | 2023-10-27 | 西南林业大学 | 一种基于机器视觉的板材表面图像采集装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102519983B (zh) * | 2011-12-27 | 2013-12-25 | 江南大学 | 光伏铝型材压痕在线检测方法 |
TWI442047B (zh) * | 2012-09-18 | 2014-06-21 | Quanta Comp Inc | 動態取像系統 |
CN103935731B (zh) * | 2014-04-09 | 2016-03-09 | 珠海格力电器股份有限公司 | 应用于流水线生产的检测装置及方法 |
CN105227852B (zh) * | 2014-06-11 | 2017-12-12 | 南京理工大学 | 基于色彩加权的自动曝光方法 |
-
2018
- 2018-01-04 CN CN201810006396.9A patent/CN108169241B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108169241A (zh) | 2018-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108169241B (zh) | 一种生产流水线产品的图像采集方法 | |
CN108765416B (zh) | 基于快速几何对准的pcb表面缺陷检测方法及装置 | |
CN102342090A (zh) | 图像拍摄设备、操作员监视设备、测量到面部的距离的方法和程序 | |
CA3019044A1 (en) | Apparatus and method for attaching led chips | |
US20040196399A1 (en) | Device incorporating retina tracking | |
CN105279490A (zh) | 一种人机交互式虹膜图像自动采集装置 | |
CN106931881A (zh) | 一种多相机视觉检测方法 | |
CN109341427A (zh) | 一种激光枪靶*** | |
CN109596058A (zh) | 塑胶工件的尺寸检测识别方法 | |
CN105158273A (zh) | 一种基于面阵式cmos相机的光缆表面缺陷检测*** | |
CN109596054A (zh) | 长条形工件的尺寸检测识别方法 | |
JPS5770503A (en) | Automatic focusing device | |
CN113767418A (zh) | 镜头校准*** | |
CN104813341B (zh) | 图像处理***以及图像处理方法 | |
CN103546679B (zh) | 减少被摄像物体发生脱离拍摄窗口的装置及方法 | |
CN101231565A (zh) | 光电白板信号接收装置 | |
TW200608162A (en) | Optical wavefront control pattern generating apparatus and optical wavefront control pattern generating method | |
CN106225765A (zh) | 一种多线阵图像传感器获得超大景深扫描成像的装置及成像方法 | |
CN116297496B (zh) | 多光谱智能缺陷检测方法 | |
CN110877014A (zh) | 一种基于机器视觉小尺寸产品分选线防环境光影响装置 | |
CN109596626A (zh) | 高光磁环工件视觉检测方法 | |
CN206075293U (zh) | 多个二维码自动识别设备 | |
US8577080B2 (en) | Object contour detection device and method | |
CN105744117A (zh) | 一种近距离运动检测装置和检测方法 | |
CN218470571U (zh) | 圆柱体工件拍照装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |