CN104952754A - 基于机器视觉的镀膜后硅片分选方法 - Google Patents

基于机器视觉的镀膜后硅片分选方法 Download PDF

Info

Publication number
CN104952754A
CN104952754A CN201510224553.XA CN201510224553A CN104952754A CN 104952754 A CN104952754 A CN 104952754A CN 201510224553 A CN201510224553 A CN 201510224553A CN 104952754 A CN104952754 A CN 104952754A
Authority
CN
China
Prior art keywords
silicon chip
image
plated film
information
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510224553.XA
Other languages
English (en)
Other versions
CN104952754B (zh
Inventor
赵不贿
童钢
孙智权
张千
周奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201510224553.XA priority Critical patent/CN104952754B/zh
Publication of CN104952754A publication Critical patent/CN104952754A/zh
Application granted granted Critical
Publication of CN104952754B publication Critical patent/CN104952754B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005Apparatus not specifically provided for elsewhere
    • H01L21/67242Apparatus for monitoring, sorting or marking
    • H01L21/67271Sorting devices
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • H01L22/24Optical enhancement of defects or not directly visible states, e.g. selective electrolytic deposition, bubbles in liquids, light emission, colour change

Landscapes

  • Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于机器视觉的镀膜后硅片分选方法,属于机器视觉分选技术领域,其采用彩色图像坐标变换技术、彩色图像分割技术、彩色图像RGB空间分析技术、图像处理技术、大数据逻辑统计分析与处理技术等对采集的图像进行处理和分析;提取图像的色彩信息;所得信息经过图像二值化、滤波处理筛选和换算;所得有用信息经过基于样本大数据逻辑统计分析和处理的算法执行后,将镀膜后硅片分为不合格片、均匀红片、合格片三类。本发明通过快速采集镀膜后硅片表面的彩色图像信息,可实时在线稳定高效地进行准确的硅片缺陷识别和分选,且实时显示检测结果;还可通过数据采集设备与机械手通讯,使其对应不同的类别快速采取不同的机械动作。

Description

基于机器视觉的镀膜后硅片分选方法
技术领域
本发明属于机器视觉分选技术领域,具体涉及基于机器视觉的镀膜后硅片分选方法。
背景技术
硅片是太阳能电池生产的主要原料,其镀膜质量的优劣直接决定后续工序中电池片印刷的质量,从而影响太阳能电池的性能,因此须对镀膜后硅片进行分选,将存在缺陷的不合格硅片予以剔除。但由于石墨舟各个槽的温度不一样、外界环境等因素的影响,镀膜后硅片会出现发***、发红片、发白片、碎片、表面污渍等不合格片或均匀红片,这些硅片品种的多样性和复杂性导致对其检测方法的不确定性。
目前很多太阳能电池片生产厂家主要还是以人工检测为主,这也带来了检测标准不确定、效率低、碎片多、成本高等问题,故而很难达到工业生产的标准和要求。
发明内容
发明目的:本发明的目的在于提供一种基于机器视觉的镀膜后硅片分选方法,其具有稳定性高、与硅片非接触式、速率快等优点,能够实时在线、快速准确、高效稳定地检测镀膜后硅片的缺陷和类别,自动对硅片进行分选,并自动将不合格产品取出,放入指定硅片盒内。
技术方案:为实现上述发明目的,本发明采用如下技术方案:
基于机器视觉的镀膜后硅片分选方法,包括如下步骤:
步骤201、接收信号,采集图像,其包括:
步骤2011,镀膜后硅片到达传感器位置,传感器发送模拟信号给数据采集设备,经由采集卡转换为数字信号传递给***;
步骤2012,***接收到采集信号后,触发相机,采集图像,并将采集的镀膜后硅片彩色图像传送至图像处理单元;
步骤202、对镀膜后硅片的彩色图像进行坐标变换和图像分割,其包括:
步骤2021,对镀膜后硅片的彩色图像进行坐标变换,采用自动查找边缘算法找出镀膜后硅片的一边,获得其角度信息;其方法是先确定一个搜索区域,在搜索区域内,从上往下设置若干搜索线,查找像素的跃迁点,之后将所有搜索线上的跃迁点拟合为一条直线,得到所得直线的角度信息;其角度信息为:
angle1=θ  (1)
然后利用公式(2),将图像旋转,进行坐标变换,为图像分割做准备;
angle=360-θ  (2)
步骤2022,采用实时自动查找图像边缘算法分别对镀膜后硅片的四条边进行边缘查找;获得各自边缘线的坐标信息;其坐标信息为:
lineleft:(x11,y11),(x12,y12)  (3)
lineright:(x21,y21),(x22,y22)  (4)
linetop:(x31,y31),(x32,y32)  (5)
linebottom:(x41,y41),(x42,y42)  (6)
其中lineleft,lineright,linetop,linebottom分别为所得到的四条边缘线段(左、右、上、下)的两个顶点坐标;
步骤2023,分别以式(3)、(4)、(5)、(6)所得的两个顶点坐标为基础,按照式(7)所示求得四条边缘直线Yl(左边缘)、Yr(右边缘)、Yt(上边缘)、Yb(下边缘);
y=ax+b  (7)
基于所得到的四条边缘直线方程,依次求取Yl与Yt、Yr与Yb的交点m、n;以点m和点n为分割图像的起始点和终止点,得到镀膜后硅片与背景分离出来的本体图像;
步骤203、以彩色图像RGB空间为载体将上述所获得的镀膜后硅片图像分成R、G、B三个平面,分别获得三个平面的灰度值信息;
步骤204、对上述步骤203获得的B平面二值化,采用中值滤波器对所得二值化图像进行滤波去噪处理,使图像在保证原有信息的条件下最大限度减少噪声影响和外界环境的干扰;
步骤205、对所获得滤波处理后的二值化图像进行信息采集,得到其像素和信息,根据该数据判断硅片是否为碎片,是碎片则归为不合格一类;
步骤206、分别对所获得的完整镀膜后硅片R、G、B平面进行灰度信息采集,得到像素值为0的频率值与整个图像像素和的比值;
步骤207、将上述步骤得到的比值与由样本大数据处理分析得到的逻辑关系进行一系列的比对和判断,得到镀膜后硅片的分选结果。
步骤207中,所述的镀膜后硅片的分选结果分为不合格、合格、均匀红片三类;当分为不合格类时,将发送信号给机械臂,将其吸入指定不合格硅片盒;当分为均匀红片类时,将发送信号给机械臂,将其吸入指定均匀红片硅片盒;当分为合格类时,将不发送任何信号给机械臂,让其直接流入花篮。
发明原理:本发明的分选的对象是经过石墨舟镀膜后的硅片,其分选方案采用了彩色图像分割技术、彩色图像RGB空间分析技术、图像处理技术、大数据逻辑统计分析与处理技术等对实时采集的镀膜后硅片图像进行处理和分析,将镀膜后硅片分为不合格片、均匀红片和合格片三类。其中,步骤207中,样本大数据处理与统计分析是基于大量实体样本按照上述所述步骤采集到的R、G、B三个平面各自图像信息的分析、归纳和验证的。
有益效果:与现有技术相比,本发明的基于机器视觉的镀膜后硅片分选方法,通过快速采集镀膜后硅片表面的彩色图像信息,可实时在线稳定高效地进行准确的硅片缺陷识别和分选,且实时显示检测结果,自动将分选类别分为均匀红色、不合格品和合格品三类,还可通过数据采集设备与机械手通讯,使其对应不同的类别快速采取不同的机械动作。
附图说明
图1是镀膜后硅片检测分选流程图;
图2是硅片到达传感器位置侧视图;
图3是镀膜后硅片经过步骤2021中查找边缘之后的结果图像;
图4是镀膜后硅片经过步骤2021中坐标变换前后的对比图像;
图5是步骤2023中镀膜后硅片四周边缘查找结果图像;
图6是步骤2023中镀膜后硅片与背景分离的结果图像。
具体实施方式
以下结合附图和具体实施方式对本发明做进一步的说明。
如图1所示,基于机器视觉的镀膜后硅片的分选方法,包括如下步骤:
步骤201、接收信号,采集图像,其包括:
步骤2011,镀膜后硅片到达传感器位置,如图2所示,白色背景板1,光电传感器2,镀膜后硅片3;传感器发送模拟信号给数据采集设备,经由采集卡转换为数字信号传递给***;
步骤2012,***接收到采集信号后,触发相机,采集图像,并将采集的镀膜后硅片彩色图像传送至图像处理单元;
步骤202、对镀膜后硅片的彩色图像进行坐标变换和图像分割,其包括:
步骤2021,对镀膜后硅片的彩色图像进行坐标变换,采用自动查找边缘算法找出镀膜后硅片的一边,获得其角度信息;其方法是先确定一个搜索区域,在搜索区域内,从上往下设置若干搜索线,查找像素的跃迁点,之后将所有搜索线上的跃迁点拟合为一条直线4,如图3所示,得到所得直线4的角度信息,直线4是由像素跃迁点拟合而成的直线;其角度信息为:
angle1=θ  (1)
然后利用公式(2),将图像旋转,进行坐标变换,如图4所示,图4的左侧图像为坐标变换前的情形,图4的右侧图像为坐标变换后的情形,为图像分割做准备;
angle=360-θ  (2)
步骤2022,采用实时自动查找图像边缘算法分别对镀膜后硅片的四条边进行边缘查找;获得各自边缘线的坐标信息;其坐标信息为:
lineleft:(x11,y11),(x12,y12)  (3)
lineright:(x21,y21),(x22,y22)  (4)
linetop:(x31,y31),(x32,y32)  (5)
linebottom:(x41,y41),(x42,y42)  (6)
其中lineleft,lineright,linetop,linebottom分别为所得到的四条边缘线段(左、右、上、下)的两个顶点坐标;
步骤2023,分别以式(3)、(4)、(5)、(6)所得的两个顶点坐标为基础,按照式(7)所示求得四条边缘直线Yl(左边缘)、Yr(右边缘)、Yt(上边缘)、Yb(下边缘),如图5所示;
y=ax+b  (7)
基于所得到的四条边缘直线方程,依次求取Yl与Yt、Yr与Yb的交点m、n;以点m和点n为分割图像的起始点和终止点,得到镀膜后硅片与背景分离出来的本体图像,如图6所示,图6的左侧图像为包含背景的镀膜后硅片图像,图6右侧为去除背景的镀膜后硅片本体图像。
步骤203、以彩色图像RGB空间为载体将上述所获得的镀膜后硅片图像分成R、G、B三个平面,分别获得三个平面的灰度值信息;
步骤204、对上述步骤203获得的B平面二值化,采用中值滤波器对所得二值化图像进行滤波去噪处理,使图像在保证原有信息的条件下最大限度减少噪声影响;
步骤205、对所获得滤波处理后的二值化图像进行信息采集,得到其像素和信息,根据该数据判断硅片是否为碎片,是碎片则归为不合格一类;
步骤206、分别对所获得的完整镀膜后硅片R、G、B平面进行灰度信息采集,得到像素值为0的频率值与整个图像像素和的比值;在R、G、B各个平面中像素值为0的地方表示该区域为黑色,其在彩色图像中对应的区域颜色越深;
步骤207、将上述步骤得到的比值与由样本大数据处理和统计分析得到的逻辑关系进行比对和判断,得到镀膜后硅片的分选结果,镀膜后硅片分为不合格、合格、均匀红片三类;当分为不合格类时,将发送信号给机械臂,将其吸入指定不合格硅片盒;当分为均匀红片类时,将发送信号给机械臂,将其吸入指定均匀红片硅片盒;当分为合格类时,将不发送任何信号给机械臂,让其直接流入花篮。
经过以上七个步骤,避免了人工对镀膜后硅片缺陷检测和分类的不确定性,极大地降低了人工接触式分选造成的碎片率,同时满足了在线生产、在线检测、在线分选的工作效率,且快速、稳定、易操作。

Claims (2)

1.基于机器视觉的镀膜后硅片分选方法,其特征在于,包括如下步骤:
步骤201、接收信号,采集图像,其包括:
步骤2011,镀膜后硅片到达传感器位置,传感器发送模拟信号给数据采集设备,经由采集卡转换为数字信号传递给***;
步骤2012,***接收到采集信号后,触发相机,采集图像,并将采集的镀膜后硅片彩色图像传送至图像处理单元;
步骤202、对镀膜后硅片的彩色图像进行坐标变换和图像分割,其包括:
步骤2021,对镀膜后硅片的彩色图像进行坐标变换,采用自动查找边缘算法找出镀膜后硅片的一边,获得其角度信息;其方法是先确定一个搜索区域,在搜索区域内,从上往下设置若干搜索线,查找像素的跃迁点,之后将所有搜索线上的跃迁点拟合为一条直线,得到所得直线的角度信息;其角度信息为:
angle1=θ   (1)
然后利用公式(2),将图像旋转,进行坐标变换,为图像分割做准备;
angle=360-θ   (2)
步骤2022,采用实时自动查找图像边缘算法分别对镀膜后硅片的四条边进行边缘查找;获得各自边缘线的坐标信息;其坐标信息为:
lineleft:(x11,y11),(x12,y12)   (3)
lineright:(x21,y21),(x22,y22)   (4)
linetop:(x31,y31),(x32,y32)   (5)
linebottom:(x41,y41),(x42,y42)   (6)
其中lineleft,lineright,linetop,linebottom分别为所得到的四条边缘线段(左、右、上、下)的两个顶点坐标;
步骤2023,分别以式(3)、(4)、(5)、(6)所得的两个顶点坐标为基础,按照式(7)所示求得四条边缘直线Yl(左边缘)、Yr(右边缘)、Yt(上边缘)、Yb(下边缘);
y=ax+b    (7)
基于所得到的四条边缘直线方程,依次求取Yl与Yt、Yr与Yb的交点m、n;以点m和点n为分割图像的起始点和终止点,得到镀膜后硅片与背景分离出来的本体图像;
步骤203、以彩色图像RGB空间为载体将上述所获得的镀膜后硅片图像分成R、G、B三个平面,分别获得三个平面的灰度值信息;
步骤204、对上述步骤203获得的B平面二值化,采用中值滤波器对所得二值化图像进行滤波去噪处理,使图像在保证原有信息的条件下最大限度减少噪声影响和外界环境的干扰;
步骤205、对所获得滤波处理后的二值化图像进行信息采集,得到其像素和信息,根据该数据判断硅片是否为碎片,是碎片则归为不合格一类;
步骤206、分别对所获得的完整镀膜后硅片R、G、B平面进行灰度信息采集,得到像素值为0的频率值与整个图像像素和的比值;
步骤207、将上述步骤得到的比值与由样本大数据处理分析得到的逻辑关系进行一系列的比对和判断,得到镀膜后硅片的分选结果。
2.根据权利要求1所述的基于机器视觉的镀膜后硅片分选方法,其特征在于:步骤207中,所述的镀膜后硅片的分选结果分为不合格、合格、均匀红片三类;当分为不合格类时,将发送信号给机械臂,将其吸入指定不合格硅片盒;当分为均匀红片类时,将发送信号给机械臂,将其吸入指定均匀红片硅片盒;当分为合格类时,将不发送任何信号给机械臂,让其直接流入花篮。
CN201510224553.XA 2015-05-05 2015-05-05 基于机器视觉的镀膜后硅片分选方法 Expired - Fee Related CN104952754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510224553.XA CN104952754B (zh) 2015-05-05 2015-05-05 基于机器视觉的镀膜后硅片分选方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510224553.XA CN104952754B (zh) 2015-05-05 2015-05-05 基于机器视觉的镀膜后硅片分选方法

Publications (2)

Publication Number Publication Date
CN104952754A true CN104952754A (zh) 2015-09-30
CN104952754B CN104952754B (zh) 2017-08-01

Family

ID=54167321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510224553.XA Expired - Fee Related CN104952754B (zh) 2015-05-05 2015-05-05 基于机器视觉的镀膜后硅片分选方法

Country Status (1)

Country Link
CN (1) CN104952754B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105388162A (zh) * 2015-10-28 2016-03-09 镇江苏仪德科技有限公司 基于机器视觉的原料硅片表面划痕检测方法
CN106814088A (zh) * 2016-12-30 2017-06-09 镇江苏仪德科技有限公司 基于机器视觉对电池片颜色分选的检测装置及方法
CN106841211A (zh) * 2016-12-30 2017-06-13 镇江苏仪德科技有限公司 一种运用机器视觉对电池片表面缺陷检测的平台及方法
CN111129216A (zh) * 2019-12-17 2020-05-08 湖南红太阳光电科技有限公司 用于制备perc电池双面钝化膜的设备及其使用方法
CN111159253A (zh) * 2019-12-28 2020-05-15 重庆友辉建筑科技有限公司 一种轻钢别墅部件大数据统计***
CN111628045A (zh) * 2020-05-28 2020-09-04 湖南红太阳光电科技有限公司 基于镀膜检测的pecvd表面镀膜的上下料方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060210142A1 (en) * 2005-01-26 2006-09-21 Semiconductor Energy Laboratory Co., Ltd. Pattern inspection method and apparatus
JP2009105230A (ja) * 2007-10-23 2009-05-14 Shibaura Mechatronics Corp 円盤状基板の検査装置及び検査方法
CN102974551A (zh) * 2012-11-26 2013-03-20 华南理工大学 一种基于机器视觉的多晶硅太阳能检测分选的方法
CN103752534A (zh) * 2014-01-14 2014-04-30 温州中波电气有限公司 智觉图像智能识别分拣装置及识别分拣方法
CN104240204A (zh) * 2014-09-11 2014-12-24 镇江苏仪德科技有限公司 一种基于图像处理的太阳能硅片和电池片的计数方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060210142A1 (en) * 2005-01-26 2006-09-21 Semiconductor Energy Laboratory Co., Ltd. Pattern inspection method and apparatus
JP2009105230A (ja) * 2007-10-23 2009-05-14 Shibaura Mechatronics Corp 円盤状基板の検査装置及び検査方法
CN102974551A (zh) * 2012-11-26 2013-03-20 华南理工大学 一种基于机器视觉的多晶硅太阳能检测分选的方法
CN103752534A (zh) * 2014-01-14 2014-04-30 温州中波电气有限公司 智觉图像智能识别分拣装置及识别分拣方法
CN104240204A (zh) * 2014-09-11 2014-12-24 镇江苏仪德科技有限公司 一种基于图像处理的太阳能硅片和电池片的计数方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105388162A (zh) * 2015-10-28 2016-03-09 镇江苏仪德科技有限公司 基于机器视觉的原料硅片表面划痕检测方法
CN105388162B (zh) * 2015-10-28 2017-12-01 镇江苏仪德科技有限公司 基于机器视觉的原料硅片表面划痕检测方法
CN106814088A (zh) * 2016-12-30 2017-06-09 镇江苏仪德科技有限公司 基于机器视觉对电池片颜色分选的检测装置及方法
CN106841211A (zh) * 2016-12-30 2017-06-13 镇江苏仪德科技有限公司 一种运用机器视觉对电池片表面缺陷检测的平台及方法
CN111129216A (zh) * 2019-12-17 2020-05-08 湖南红太阳光电科技有限公司 用于制备perc电池双面钝化膜的设备及其使用方法
CN111159253A (zh) * 2019-12-28 2020-05-15 重庆友辉建筑科技有限公司 一种轻钢别墅部件大数据统计***
CN111628045A (zh) * 2020-05-28 2020-09-04 湖南红太阳光电科技有限公司 基于镀膜检测的pecvd表面镀膜的上下料方法
CN111628045B (zh) * 2020-05-28 2021-12-24 湖南红太阳光电科技有限公司 基于镀膜检测的pecvd表面镀膜的上下料方法

Also Published As

Publication number Publication date
CN104952754B (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
CN104952754B (zh) 基于机器视觉的镀膜后硅片分选方法
CN107486415B (zh) 基于机器视觉的篾片缺陷在线检测***及检测方法
CN106238350B (zh) 一种基于机器视觉的太阳能电池片分选方法与***
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣***
CN105388162B (zh) 基于机器视觉的原料硅片表面划痕检测方法
CN104574389A (zh) 基于彩色机器视觉的电池片色差分选控制方法
CN106383121B (zh) 一种可自适应多品牌的视觉检测方法及***
Ali et al. Automated fruit grading system
CN102095731A (zh) 在纸张缺陷视觉检测中识别不同缺陷类型的***及方法
CN111266315A (zh) 基于视觉分析的矿石物料在线分拣***及其方法
CN112893159B (zh) 一种基于图像识别的煤矸石分拣方法
CN207238542U (zh) 一种基于机器视觉的篾片缺陷在线检测***
CN110434090A (zh) 一种胡萝卜表面瑕疵检测方法
CN110108712A (zh) 多功能视觉缺陷检测***
CN104048966B (zh) 一种基于大律法的布面疵点检测及分类方法
CN106248680A (zh) 一种基于机器视觉的电机换向器质量检测***及检测方法
CN106645180A (zh) 检查基板玻璃缺陷的方法、现场终端及服务器
CN111161237A (zh) 一种果蔬表面质检方法及其储存介质、分拣装置
CN111667475A (zh) 一种基于机器视觉的大枣分级检测方法
CN112560896A (zh) 一种基于图像处理的水果品质筛选分类***
CN113706496B (zh) 一种基于深度学习模型的飞行器结构裂纹检测方法
CN111028207A (zh) 基于类脑即时-通用特征提取网络的纽扣瑕疵检测方法
CN110458231B (zh) 一种陶瓷产品检测方法、装置和设备
CN210377552U (zh) 一种水果分类用多面图像获取装置
CN107121063A (zh) 检测工件的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170801

Termination date: 20180505

CF01 Termination of patent right due to non-payment of annual fee