CN101949768B - 点源目标相关哈特曼-夏克波前斜率处理器及制造方法 - Google Patents
点源目标相关哈特曼-夏克波前斜率处理器及制造方法 Download PDFInfo
- Publication number
- CN101949768B CN101949768B CN201010260661XA CN201010260661A CN101949768B CN 101949768 B CN101949768 B CN 101949768B CN 201010260661X A CN201010260661X A CN 201010260661XA CN 201010260661 A CN201010260661 A CN 201010260661A CN 101949768 B CN101949768 B CN 101949768B
- Authority
- CN
- China
- Prior art keywords
- module
- value
- input end
- sub
- output terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004519 manufacturing process Methods 0.000 title abstract description 7
- 238000005314 correlation function Methods 0.000 claims description 59
- 238000000034 method Methods 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 14
- 230000000875 corresponding effect Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 9
- 241000251730 Chondrichthyes Species 0.000 claims description 6
- 239000011148 porous material Substances 0.000 claims description 6
- 102100023882 Endoribonuclease ZC3H12A Human genes 0.000 claims description 5
- 101710112715 Endoribonuclease ZC3H12A Proteins 0.000 claims description 5
- 101001096074 Homo sapiens Regenerating islet-derived protein 4 Proteins 0.000 claims description 5
- 108700012361 REG2 Proteins 0.000 claims description 5
- 101150108637 REG2 gene Proteins 0.000 claims description 5
- 108091058543 REG3 Proteins 0.000 claims description 5
- 101100120298 Rattus norvegicus Flot1 gene Proteins 0.000 claims description 5
- 101100412403 Rattus norvegicus Reg3b gene Proteins 0.000 claims description 5
- 102100027336 Regenerating islet-derived protein 3-alpha Human genes 0.000 claims description 5
- 102100037889 Regenerating islet-derived protein 4 Human genes 0.000 claims description 5
- 239000004744 fabric Substances 0.000 claims description 5
- QGVYYLZOAMMKAH-UHFFFAOYSA-N pegnivacogin Chemical compound COCCOC(=O)NCCCCC(NC(=O)OCCOC)C(=O)NCCCCCCOP(=O)(O)O QGVYYLZOAMMKAH-UHFFFAOYSA-N 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000003111 delayed effect Effects 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 2
- 230000002596 correlated effect Effects 0.000 claims 8
- 238000005457 optimization Methods 0.000 abstract 4
- 238000001514 detection method Methods 0.000 abstract 1
- 230000003287 optical effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 47
- 230000003044 adaptive effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241000209094 Oryza Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 206010038743 Restlessness Diseases 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种点源目标相关哈特曼-夏克波前斜率处理器及制造方法包括:图像缓存模块,列卷积模块,行卷积模块,邻域像素窗口模块,像素坐标计数器,多通道相关值寻优模块和插值模块,列卷积模块的并行数据输入端与图像缓存模块的输出端连接,行卷积模块的输入端与列卷积模块的输出端连接,邻域像素窗口模块的输入端与行卷积模块的输出端连接,多通道相关值寻优模块的输入端分别与邻域像素窗口模块的输出端和像素坐标计数器的输出端连接,插值模块的输入端与多通道相关值寻优模块的输出端连接。本发明适用于基于哈特曼-夏克波前传感器点源目标自适应光学***的实时波前探测。
Description
技术领域
本发明涉及基于哈特曼-夏克波前传感器的点源目标自适应光学高速波前处理***,是一种低成本、易扩展的、特别适用于大规模点源目标自适应光学实时波前探测的相关哈特曼-夏克波前斜率处理器。
背景技术
相关哈特曼-夏克波前传感技术最早应用于太阳自适应光学***中,它以太阳表面米粒结构为参考信标,采用相关处理方法计算参考子孔径图像与其他子孔径图像的相对偏移量,从而得到各个子孔径的局部波前斜率,为波前校正提供控制信号。近年来,相关哈特曼-夏克波前传感方法,因其对光斑形状大小变化以及背景噪声不敏感,而逐渐应用于传统的点光源自适应光学***中,如激光光束质量诊断等领域。互相关运算是相关哈特曼-夏克波前传感技术的关键,可以在频域通过快速傅里叶变换进行或者在图像域直接实现,其数学公式表示为:
NSO通过40片DSP构成10个并行通道来对各个子孔径进行波前斜率提取,这是在频域进行相关运算的典型结构(Rimmele T.Recentadvances in solar adaptive optics(J).SPIE,2004,5490:34-46.)。饶长辉(饶长辉,张学军,姜文汉.太阳米粒结构相关哈特曼-夏克波前传感模拟研究(J).光学学报,2002,22(3):285-289.)提出了用绝对差分对相关函数进行近似以提取波前斜率信息,周维超(Weichao Zhou,WenhanJiang.Real-time area correlation tracker implementation based onabsolute difference algorithm(J).Opt.Eng.,2003,42(9):2755-2760.)在此基础上设计了一种绝对差分脉动阵列,完成太阳观测整体倾斜的校正,彭晓峰(彭晓峰,李梅,饶长辉.基于绝对差分算法的相关HS波前处理机设计(J).光电工程,2008,35(12):18-22.)采用多通道技术同时对一个子孔径行进行波前斜率提取,其中每个通道负责一个子孔径斜率处理,高速实时地完成各个子孔径的局部斜率的计算。相关哈特曼-夏克波前传感技术也可以用于点源目标的波前斜率探测,对于以某个子孔径光斑作为参考模板的相关算法,采用FPGA实现时,如果模板较大,其实现过程会消耗大量的逻辑资源,计算量也会很大,影响相关运算的速度。对于n×n的参考模板,它需要把一个像素附近的n×n个像素与模板对应的值相乘并求和,如图1矩形框内8×8像素表示参考模板,在16×16的子孔径图像上滑动,并求每个位置的相关函数。相关运算对应于硬件实现就是乘法器和加法器,其中乘法器在硬件实现时需要占用大量的逻辑资源。此外,随着哈特曼-夏克波前传感器的子孔径数量越来越多,上述相关哈特曼-夏克波前斜率提取结构必须通过增加并行通道数目,才能满足自适应光学***苛刻的实时性要求,这势必会进一步增大硬件成本。
针对这个问题,根据Baker(K.L.Baker.Iteratively weightedcentroiding for Shack-Hartmann wave-front sensors(J).Optics Express(1094-4087),2007,15(8):5147-5159.)提出的高斯函数生成参考光斑,与各个子孔径光斑进行相关运算,能够在低信噪比的情况下获得更高的探测精度这一结论,本发明设计了一种基于理想高斯光斑的点源目标相关哈特曼-夏克波前处理器。它利用高斯函数生成理想光斑,采用图像滤波思想把理想光斑分解为两个独立的模板,对哈特曼-夏克传感器各个子孔径图像进行卷积,从而实现参考模板与各个子孔径的互相关运算,并通过多通道寻优与插值完成局部波前斜率的计算。这种相关方法实现时的最大优势是无需增加额外的处理通道就可以完成***的扩展,在超大规模点源目标自适应光学***波前实时处理中更有优势。
发明内容
本发明要解决的问题是:针对当前相关哈特曼-夏克波前斜率处理器在哈特曼-夏克传感器子孔径规模数目巨大时硬件规模过大的问题,本发明目的是利用高斯函数生成参考模板,并分解为两个独立的行列模板,采用图像滤波的方式实现各个子孔径与参考光斑的互相关运算,降低硬件实现成本,由于避免采用多通道方法,其硬件规模不会随着子孔径数目的增加而显著增大,为此,本发明是提供一种适用于大规模自适应光学***的点源目标相关哈特曼-夏克波前斜率处理器及制造方法。
为达成所述目的,本发明的第一方面,提供点源目标相关哈特曼-夏克波前斜率处理器其技术方案如下所述:所述处理器是在单片FPGA内由图像缓存模块、列卷积模块、行卷积模块、邻域像素窗口模块、像素坐标计数器、多通道相关值寻优模块和插值模块构成,其中:
图像缓存模块的输入端接收对哈特曼夏克图像数据,并对哈特曼夏克图像数据进行串并转换,并逐列输出与参考模板大小相同的图像并行数据;
列卷积模块的并行数据输入端与图像缓存模块的输出端连接,用于对图像缓存器模块输出的并行数据与对应参考模板数据相乘并求和,并输出列卷积结果;
行卷积模块的输入端与列卷积模块的输出端连接,行卷积模块,用于对列卷积结果进行以参考模板值作为有限冲击响应(FIR)滤波器抽头系数的滤波,并输出行卷积结果;
邻域像素窗口模块的输入端与行卷积模块的输出端连接,邻域像素窗口模块,用于对行卷积结果进行延时,形成3×3相关值窗口,并将该窗口输出;
像素坐标计数器的输入端接收同步时钟信号,用于对同步时钟信号进行计数,并输出像素的坐标信息;
多通道相关值寻优模块的输入端分别与邻域像素窗口模块的输出端和像素坐标计数器的输出端连接,多通道相关值寻优模块,用于根据像素坐标计数器提供的坐标信息以及邻域像素窗口模块提供的窗口数据,完成各个子孔径内相关函数值最大值的寻优,并输出各个子孔径的最大值及其邻域值和最大值对应的坐标信息;
插值模块的输入端与多通道相关值寻优模块的输出端连接,插值模块,用于对多通道相关值寻优模块得到的最大值位置进行插值,得到各个子孔径波前斜率。
其中:所述的图像缓存模块由移位寄存器组构成,所述各行移位寄存器组首尾相接,移位寄存器组输入端与哈特曼-夏克波前传感器的数据输入端连接,并将串行输入数据转换,并且移位寄存器组输出并行数据,用于实现对哈特曼-夏克波前传感器图像的延时;所述该移位寄存器组的深度(寄存器的个数,代表其存储像素的个数)取决于图像一行的像素个数,为N-1,而级联的移位寄存器组的个数取决于所用参考模板的大小,为M-1,其中图像大小为N×N,子孔径参考模板大小为M×M,M和N=1,2,3......。
其中:所述的列卷积模块由M个乘法器和一组加法器构成,第一个乘法器的一个输入端接收第一个模板系数信息,第一个乘法器的另一个输入端与图像缓存模块的第一个输出端连接,第二个乘法器的一个输入端接收第二个模板系数信息,第二个乘法器的另一个输入端与图像缓存模块的第二个输出端连接,依次类推,第M个乘法器的一个输入端接收第M个模板系数信息,第M个乘法器的另一个输入端与图像缓存模块的第M个输出端连接;一组加法器由多个加法器级联而成,并行流水地完成所有乘法器输出的两两求和。
其中:所述的行卷积模块采用直接型有限冲击响应滤波器结构,所述有限冲击响应滤波器结构是由M-1个寄存器、M个乘法器和加法器组构成,行卷积模块输入端与列卷积模块的输出端连接,完成对输入数据的延时;而M个乘法器的一端与各个延时数据连接,M个乘法器的另一端接入模板系数信息,所有乘法器的输出端与加法器组的输入端连接,对所有乘法器输出的乘积结果并行流水地进行两两求和;所述的行卷积模块还可采用转置型有限冲击响应滤波器结构。
其中:所述的邻域像素窗口模块由移位寄存器组和3×3个寄存器组构成;对各行寄存器组的寄存器进行首尾相接,实现对行卷积模块输出数据的延时,并最终将串行输入数据转换并输出为并行数据,该移位寄存器组的深度取决于有效相关图像值一行的像素个数为N-M+1,而级联的移位寄存器组的个数为2;该移位寄存器组的3个并行输出与3×3个寄存器组的三个输入端连接,三个输入端的每个输入端都通过3个寄存器的延时作用形成3×3的像素窗口,其中寄存器REG0存储当前相关函数值,寄存器REG1、寄存器REG2、寄存器REG3、寄存器REG4分别存储其上、左、右和下四个方向的邻域相关函数值。
其中:所述的像素坐标计数器由两个计数器构成,两个计数器的输入端与时钟同步信号连接,完成哈特曼-夏克图像数据坐标的计算并输出像素坐标位置信息,两个计数器的输出端与多通道寻优模块的一个输入端连接。
其中:所述的多通道寻优模块由一个比较器、数据分配器组、选择器组以及多个寻优通道构成,寻优通道的数目与一个子孔径行内的子孔径个数相同,所有寻优通道都具有相同的结构;比较器的第一个输入端口与邻域像素窗口模块的寄存器REG0连接,比较器的另一个输入端口与选择器组的输出端连接,用来比较当前相关函数值与锁存的相关函数的大小,比较器的输出端与数据分配器组连接;数据分配器组的一组选择端与像素坐标计数器的输出端连接,根据像素坐标位置确定当前结果所在的子孔径区域,从而确定选择哪个寻优通道进行处理,数据分配器的输入端分别与像素坐标计数器的输出端、邻域像素窗口模块的输出端和比较器的输出端连接,邻域像素窗口模块的输出端分别于多个寻优通道的输入端连接;选择器组的输入端分别与各个寻优通道的输出端连接,并根据像素坐标位置信息,把同一个子孔径的相关函数值输入到同一寻优通道中进行处理。
其中:所述的多通道寻优模块的寻优通道由一个邻域值锁存器和一个坐标锁存器构成,其锁存使能端通过数据分配器与比较器的输出端连接,邻域值锁存器通过数据分配器与邻域像素窗口模块的寄存器REG0、寄存器REG1、寄存器REG2、寄存器REG3和寄存器REG4连接,完成邻域相关函数值的锁存,而坐标锁存器通过数据分配器与像素坐标计数器的输出端连接,完成坐标位置的锁存;邻域值锁存器和坐标锁存器的输出通过数据选择器完成相关函数值及其对应坐标值的输出及反馈,如果存储于寄存器REG0当前输入的相关函数值大于锁存的相关函数值,则锁存使能有效,把寄存器REG0所存储的当前相关函数值及其四个邻域相关函数值一起锁存到邻域值锁存器,把当前坐标信息锁存到坐标值锁存器,否则保持不变,直到一个子孔径的所有相关函数值输入完毕就得到了该子孔径中的相关函数最大值及其对应的坐标位置和邻域相关函数值。
其中:所述的二次插值模块由x和y两个方向的插值单元构成,分别完成x和y方向上的波前斜率计算,插值单元的输入端与多通道寻优模块的输出连接;每个插值单元都有一个除法模块和一个加法器构成,根据公式
式中u0,v0表示相关函数最大值所对应的整数坐标,Δx是在x方向上的波前斜率值,CorrRL(·)代表R,L两幅图像的相关函数;除法模块完成小数部分的运算,并把结果输出给加法器的一个输入端,而加法器的另一个输入端与x方向上的坐标输出连接,加法器输出最终的x方向的波前斜率值,最终并流水地输出各个子孔径的局部波前斜率结果。
为达成所述目的,本发明的第二方面,提供点源目标相关哈特曼-夏克波前斜率处理器制造方法的技术方案如下所述:
步骤S1:用高斯函数产生的理想高斯光斑作为参考模板,高斯函数的数学表达式为:
其中,x、y用于产生高斯函数的横向和纵向坐标值,σ是高斯函数的均方差,控制了所生成的高斯光斑的宽度;
步骤S2:将二维高斯函数能分解为两个独立的一维高斯函数以获得行卷积模块和列卷积模块所需的参考模板系数,分解过程表示为:
从而将二维高斯模板分解成为两个一维的高斯模板g1(x),g2(y);原来的M×M大小的高斯模板就变成长度都是M的一维行模板和一维列模板,由于高斯函数的中心对称特性,行模板和列模板的值都是相同的,因此所需存储的模板大小变为M;
步骤S3:通过图像模板滤波来实现哈特曼-夏克图像各子孔径图像与参考模板之间的相关运算,得到相关函数值,相关运算公式表示为:
图像模板滤波的公式为:
其中u,v分别表示参考模板相对于子孔径图像的横向和纵向偏移量,参考模板IR(i,j)大小为M×M;而第k个子孔径图像Ik(i,j)大小为Nk×Nk,要求M≤Nk;Nk、k、M、N=1,2,3......;
步骤S4:图像模板滤波可以通过对图像缓存模块输出的数据利用行卷积模块和列卷积模块进行处理得到,卷积系数是步骤S2模板系数;
步骤S5:邻域像素窗口模块用来获得当前相关函数值的四邻域信息,利用像素坐标计数器得到的哈特曼-夏克图像数据的位置信息,在多通道寻优模块中实现对相关函数值所属的子孔径范围的判断,并在每个子孔径的有效范围内完成最大相关函数值寻找,完成最大相关函数值位置和邻域相关函数值的锁存;
步骤S6:对步骤S5得到的各个子孔径最大相关函数值、最大相关函数邻域值,以及最大相关函数坐标信息,在插值模块中根据插值公式得到各个子孔径的光斑偏移量,即局部波前斜率,插值公式为:
式中u0,v0表示相关函数最大值所对应的整数坐标,Δx是在x方向上的波前斜率值,CorrRL(·)代表R,L两幅图像的相关函数。
本发明具有以下优点:
1)***成本低,所有功能在单片FPGA内实现;
2)将高斯参考光斑分解成为两个串联的一维滤波,有效减少了乘法运算量;
3)一个相关模块就能够流水地完成所有子孔径相关函数的运算,并给出斜率结果;
4)硬件实现成本不会随着***规模的增大而显著增加,更加适用于大规模的自适应光学***的波前斜率提取;
5)当要处理的子孔径数增加,***需要升级时,只需增加相应的寻优通道,硬件成本不会显著的增加,特别适合超大规模的自适应光学***;本发明逻辑资源消耗不会随着哈特曼-夏克波前传感器子孔径数目的增加而显著增大,因此特别适用于基于哈特曼-夏克波前传感器点源目标自适应光学***的实时波前探测。
附图说明
图1是相关函数计算示意图;
图2是高斯模板可分解性示意图;
图3是本发明实施过程中,得到的哈特曼-夏克波前传感器图像;
图4是本发明的用于点源目标的低成本相关哈特曼-夏克波前斜率处理器的结构框图;
图5是图像缓存模块的结构示意图;
图6是列卷积模块的结构示意图;
图7是行卷积模块的结构示意图;
图8是邻域像素窗口模块的结构示意图;
图9是像素坐标计数器的结构示意图;
图10是多通道寻优模块的结构示意图;
图11是二次插值模块的结构示意图;
图12是波前斜率处理结果的moldsim仿真图;
图13为待检测的波面在Vecco干涉仪中的波面图像;
图14为本发明所得到的波面图像;
图15为本发明所得到的波面图像与Vecco干涉仪的波面图像相减得到的残差图像;
图16为本发明点源目标相关哈特曼-夏克波前处理器的制造方法。
具体实施方式
为了清楚详细的阐述本发明的实现步骤,下面给出了本发明的具体实施例。
图1是相关函数计算示意图,其中大图表示子孔径光斑图像,而黑框内的小图表示参考光斑(模板),计算相关函数的过程中,参考模板在子孔径图像上滑动,计算每个位置上参考模板所覆盖区域的相关函数值,当参考模板与子孔径光斑重合的位置相关函数值最大,由此计算子孔径光斑的偏移量。本发明利用高斯函数生成的理想光斑代替子孔径中的实际光斑作为参考模板,与哈特曼-夏克图像的各个子孔径进行相关运算,并通过二次插值运算得到各个子孔径光斑的亚像素级别的偏移量,从而确定局部波前斜率。
首先,根据本实施方案采用的哈特曼-夏克波前传感器图像来确定制造本发明装置所需的参数;哈特曼-夏克波前传感器图像如图3所示,其靶面大小为374×418,每个子孔径大小为17×19个像素,一个子孔径行总共包含22个子孔径。图3是本发明实施过程中,得到的哈特曼-夏克波前传感器图像,为了突出光斑,将灰度反转,即越暗的像素点表示越大的灰度值。
图16示出本发明点源目标相关哈特曼-夏克波前处理器的制造方法,如下所述:
步骤S3为哈特曼-夏克图像各子孔径图像与参考模板之间的相关运算通过图像模板滤波来实现,相关运算公式表示为:
图像模板滤波的公式为:
其中u,v分别表示参考模板相对于子孔径图像的横向和纵向偏移量,参考模板IR(i,j)大小为M×M;而第k子孔径图像Ik(i,j)大小为Nk×Nk,要求M≤Nk;Nk、k、M、N=1,2,3......;
步骤S1:用高斯函数产生的理想高斯光斑作为参考模板与哈特曼-夏克传感器各个子孔径图像进行卷积,高斯函数的数学表达式为:
其中,x、y用于产生高斯函数的横向和纵向坐标值,σ是高斯函数的均方差,控制了所生成的高斯光斑的宽度。
步骤S2:而二维高斯函数可以分解为两个独立的一维高斯函数,分解过程表示为:
从而,将二维高斯模板分解成为两个独立的一维的高斯模板g1(x),g2(y)如图2所示,大小为n×n的参考模板可以分解为两个长度为n的一维卷积模板(行模板和列模板),因为高斯函数的各项同性的特性,两个模板系数都相同,所以只用存储一个长度为n的卷积模板,减少了硬件实现时的存储器消耗;在实际应用中,原来的M×M大小的高斯模板就变成长度都是M的一维行模板和一维列模板,由于高斯函数的中心对称特性,行模板和列模板的值都是相同的,因此所需存储的模板大小变为M,大大减小了硬件实现时的存储消耗;
步骤S4:图像模板滤波可以通过对图像缓存模块输出的数据利用行卷积模块和列卷积模块进行处理得到,卷积系数是步骤S2模板系数;
步骤S5:邻域像素窗口模块用来获得当前相关函数值的四邻域信息,利用像素坐标计数器得到的哈特曼-夏克图像数据的位置信息,在多通道寻优模块中实现对相关函数值所属的子孔径范围的判断,并在每个子孔径的有效范围内完成最大相关函数值寻找,完成最大相关函数值位置和邻域相关函数值的锁存;
根据上述步骤5,可以得到用于各个子孔径相关运算的长度为M的参考模板;哈特曼-夏克图像各个子孔径的局部波前斜率是通过对其子孔径图像和参考模板的相关函数进行二次插值得到的,以x方向波前斜率估计为例,步骤S6:对步骤S5得到的各个子孔径最大相关函数值、最大相关函数邻域值,以及最大相关函数坐标信息,在插值模块中根据插值公式得到各个子孔径的光斑偏移量,即局部波前斜率,插值过程可以表示为:
式中u0,v0表示相关函数最大值所对应的整数坐标,CorrRL(·)代表R,L两幅图像的相关函数;Δx是在x方向上的波前斜率值。
因为实验图像子孔径的大小为17×19个像素,相关运算模板大小选为8×8,根据公式(3)和(4),可以用σ=1,长度为8的一维高斯函数生成相关运算的参考模板,本次实施方案生成的高斯模板为[15 15 29 29 15 5 1];由此可知所需乘法器的个数仅仅为16个,就能完成所有484个子孔径图像相关函数的实时计算,而传统的多通道处理方法则需要264个乘法器,可见对于子孔径数目巨大的哈特曼-夏克图像,本发明具有明显的优势。
图4是本发明提出的用于点源目标的低成本相关哈特曼-夏克波前斜率处理器的结构框图。图4中示出,所述处理器是在单片FPGA内由图像缓存模块1、列卷积模块2、行卷积模块3、邻域像素窗口模块4、像素坐标计数器5、多通道相关值寻优模块6和插值模块7构成,其中:
图像缓存模块1的输入端接收对哈特曼夏克图像数据,并对哈特曼夏克图像数据进行串并转换,并逐列输出与参考模板大小相同的图像并行数据;列卷积模块2的并行数据输入端与图像缓存模块1的输出端连接,用于对图像缓存器模块1输出的并行数据与对应参考模板数据相乘并求和,并输出列卷积结果;行卷积模块3的输入端与列卷积模块2的输出端连接,行卷积模块3,用于对列卷积结果进行以参考模板值作为有限冲击响应(FIR)滤波器抽头系数的滤波,并输出行卷积结果;邻域像素窗口模块4的输入端与行卷积模块3的输出端连接,邻域像素窗口模块4,用于对行卷积结果进行延时,形成3×3相关值窗口,并将该窗口输出;像素坐标计数器5的输入端接收同步时钟信号,用于对同步时钟信号进行计数,并输出像素的坐标信息;多通道相关值寻优模块6的输入端分别与邻域像素窗口模块4的输出端和像素坐标计数器5的输出端连接,多通道相关值寻优模块6,用于根据像素坐标计数器5提供的坐标信息以及邻域像素窗口模块4提供的窗口数据,完成各个子孔径内相关函数值最大值的寻优,并输出各个子孔径的最大值及其邻域值和最大值对应的坐标信息;插值模块7的输入端与多通道相关值寻优模块6的输出端连接,插值模块7,用于对多通道相关值寻优模块6得到的最大值位置进行插值,得到各个子孔径波前斜率。
图5是图像缓存模块的结构示意图,图5示出图像缓存模块1由移位寄存器组构成,通过对各行寄存器组进行首尾相接,实现对哈特曼-夏克波前传感器图像的延时,并最终将串行输入数据转换为并行数据输出,每个移位寄存器组的深度为418,而级联的移位寄存器组的个数为7,图像缓存模块1把逐行串行输入的数据转换为逐列并行输出,每个像素时钟周期输出8个图像数据。
图6是列卷积模块的结构示意图,图6示出列卷积模块2由8个乘法器和一组加法器构成,第一个乘法器的一个输入端接入第一个模板系数,第一个乘法器的另一个输入端与图像缓存模块1的第一个输出端连接;第二个乘法器的一个输入端接入第二个模板系数,第二个乘法器的另一个输入端与图像缓存模块1的第二个输出端连接,依次类推,第八个乘法器的一个输入端接入第八个模板系数,第八个乘法器的另一个输入端与图像缓存模块1的第八个输出端连接;一组加法器由多个加法器级联而成,并行流水地完成所有乘法器输出的两两求和。
图7是行卷积模块的结构示意图,图7示出行卷积模块3采用直接型FIR结构,由7个寄存器REG、8个乘法器和一组加法器构成,其输入端与列卷积模块2的输出端连接,7寄存器级联,形成输入列卷积数据的延时链,而8个乘法器一端与各个延时数据连接,另一端与模板系数连接,所有乘法器输出与加法器组连接,并行流水地完成所有乘法器输出的两两求和,最终得到参考模板与哈特曼-夏克各个子孔径图像的互相关函数值。
图8是邻域像素窗口模块的结构示意图,图8示出邻域像素窗口模块4由深度为411的2个移位寄存器组和3×3个寄存器构成;通过对各行寄存器组进行首尾相接,实现对行卷积模块3输出数据的延时,并最终将串行输入数据转换为并行数据输出;该移位寄存器组的3个并行输出与3×3个寄存器的三个输入端连接,每个输入都通过3个寄存器的延时作用,形成3×3的像素窗口,其中寄存器REG0存储当前相关函数值,寄存器REG1、寄存器REG2、寄存器REG3、寄存器REG4分别存储其上、左、右和下四个方向的邻域相关函数值。
图9是像素坐标计数器的结构示意图,图9示出像素坐标计数器由X方向计数器和Y方向计数器构成,X方向计数器和Y方向计数器的输入端分别与时钟同步信号连接,完成哈特曼-夏克图像数据坐标的计算,输出当前像素的位置信息,以便后续模块对相关函数值所属子孔径的划分以及进行插值运算。
图10是多通道寻优模块的结构示意图,图10示出多通道寻优模块6由一个比较器、一组数据分配器,一组选择器以及多个寻优通道构成,寻优通道的数目为22,每个寻优通道都具有相同的结构,用来完成一个子孔径行上某个子孔径内相关函数最大值的查找;数据分配器和选择器的选择端与像素坐标计数器5的输出端连接,据此判断当前相关函数值所在子孔径区域,从而确定对应的寻优通道;比较器一个输入端与邻域像素窗口模块4的寄存器REG0的输出端连接,另一端与当前值所对应的寻优通道最大值锁存器连接,如果寄存器REG0所存储的当前相关函数值更大,则输出锁存有效信号,使得该寻优通道的邻域值锁存器和坐标锁存器锁存寄存器REG0所存储的当前相关函数值及其四个邻域相关函数值和最大值所对应的坐标信息,否则保持不变,直到一个子孔径的所有相关函数值输入完毕就得到了该子孔径中的相关函数最大值及其对应的坐标位置和邻域相关函数值。
图11是二次插值模块的结构示意图,图11示出二次插值模块由两个方向的插值单元构成,分别完成x和y方向上的波前斜率计算,其输入端与多通道寻优模块6的输出连接;每个插值单元都有一个除法模块和一个加法器构成,根据公式5,除法模块完成小数部分的运算,并把结果输出给加法器的一个输入端,而加法的另一个输入端与x方向上的坐标输出连接,加法器输出最终的x方向的波前斜率值。
图12是波前斜率处理结果的moldsim仿真图;图12给出了本发明的在FPGA内实现的Moldsim仿真结果,其中CLK表示时钟信号,FV和LV分别是帧有效信号和行有效信号,CCD_DATA表示哈特曼-夏克图像数据,X、X_subpixel、Y和Y_subpixel分别代表插值结果的整数部分和小数部分,从图中可看出本发明在100Mhz的工作频率下,当一帧图像输出完毕后延迟0.43μs就可以得到所有子孔径的局部波前斜率值。
在得到的波前斜率的基础上,采用相应的重构方法,本次实施用的是基ISO35阶Zernike多项式的模式法重构方法,得到波面,其本发明所得到的波面图像为图14所示,PV是波前图像最大值与最小值之差、RMS是波面图像的均方根值。PV=2.8505λ,RMS=0.4227λ;而待检测的波面用Vecco干涉仪得到的波面图像如图13所示,PV=2.8542λ,RMS=0.4244λ;本发明所得到的波面图像与Vecco干涉仪的波面图像相减所得的残差波面为图15所示,PV=0.9155λ,相对RMS=8.22%,残差波面相对于Vecco干涉仪得到的波面的RMS值误差为8.22%,验证了本发明装置进行波前斜率计算的有效性。
图像模板是图像滤波中的概念,用选定的模板对原始图像进行卷积就完成了滤波,如果模板为高斯函数,那么分解后就对应了前面权利要求中的模板系数。参考模板是图像相关运算的概念,通过参考模板与原始图像进行相关运算并寻找最大值以确定参考模板的位置,如果参考模板用高斯函数近似,即用高斯函数代替理想光斑作为参考模板,对它进行分解就可以得到模板系数。图像模板滤波器是求相关函数的装置实际上就是一个以高斯函数作为模板进行滤波的装置,因为高斯函数具有对称性,因此相关和卷积的结果相同。所述子孔径图像是因为哈特曼图像的特点是具有大小相同的nxn子孔径阵列图像,需要对每个子孔径图像分别与参考模板计算相关函数,并在每个子孔径内分别寻找最大值,并插值以确定每个子孔径的光斑偏移量,即斜率。高斯函数用来产生模板系数的理论共识。所述二维高斯模板理论上的高斯模板是n×n二维的,在实现的时候需要n×n个乘法器,太耗资源。一维行模板,图像滤波中,常常对分解为两个长度为n的模板。行模板和列模板是长度为n的两个模板,分别对应了行卷积模块和列卷积模块所需的模板系数。实际上公式(1,2,3,4)都是作为装置的理论原理,鉴于光斑图像与高斯函数的相似性,用理想高斯函数代替光斑作为参考模板,利用图像滤波装置实现参考模板与图像的相关运算,并通过邻域像素窗口模块,像素坐标计数器模块以及多通道寻优模块完成各个子孔径相关函数最大值的寻找及插值运算,得到最终的波前斜率。
本发明方法对于某个自适应光学***,产生一个固定大小的高斯光斑,这个由公式中的方差大小确定,利用高斯函数的对称性,只采用一维高斯函数值进行取整得到参考模板值,然后用这个模板值与整幅哈特曼图像进行滤波计算相关函数值,通过对像素的计数确定每个相关函数值所属的子孔径范围,并在每个子孔径范围内进行最大值寻找,插值后得到每个子孔径的光斑偏移量,最终得到波前斜率。
以上所述,仅为本发明中的具体实施方案,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内。
Claims (10)
1.点源目标相关哈特曼-夏克波前处理器,其特征在于:所述处理器是在单片FPGA内由图像缓存模块(1)、列卷积模块(2)、行卷积模块(3)、邻域像素窗口模块(4)、像素坐标计数器(5)、多通道相关值寻优模块(6)和插值模块(7)构成,其中:
图像缓存模块(1)的输入端接收哈特曼夏克图像数据,并对哈特曼夏克图像数据进行串并转换,并逐列输出与参考模板大小相同的图像并行数据;
列卷积模块(2)的并行数据输入端与图像缓存模块(1)的输出端连接,用于对图像缓存器模块(1)输出的并行数据与对应参考模板数据相乘并求和,并输出列卷积结果;
行卷积模块(3)的输入端与列卷积模块(2)的输出端连接,行卷积模块(3),用于对列卷积结果进行以参考模板值作为有限冲击响应(FIR)滤波器抽头系数的滤波,并输出行卷积结果;
邻域像素窗口模块(4)的输入端与行卷积模块(3)的输出端连接,邻域像素窗口模块(4),用于对行卷积结果进行延时,形成3×3相关值窗口,并将该窗口输出;
像素坐标计数器(5)的输入端接收同步时钟信号,用于对同步时钟信号进行计数,并输出像素的坐标信息;
多通道相关值寻优模块(6)的输入端分别与邻域像素窗口模块(4)的输出端和像素坐标计数器(5)的输出端连接,多通道相关值寻优模块(6),用于根据像素坐标计数器(5)提供的坐标信息以及邻域像素窗口模块(4)提供的窗口数据,完成各个子孔径内相关函数值最大值的寻优,并输出各个子孔径的最大值及其邻域值和最大值对应的坐标信息;
插值模块(7)的输入端与多通道相关值寻优模块(6)的输出端连接,插值模块(7),用于对多通道相关值寻优模块(6)得到的最大值位置进行插值,得到各个子孔径波前斜率。
2.根据权利要求1所述的点源目标相关哈特曼-夏克波前处理器,其特征在于:所述的图像缓存模块(1)由移位寄存器组构成,所述各行移位寄存器组首尾相接,移位寄存器组输入端与哈特曼-夏克波前传感器的数据输入端连接,并将串行输入数据转换,并且移位寄存器组输出并行数据,用于实现对哈特曼-夏克波前传感器图像的延时;所述该移位寄存器组的深度取决于图像一行的像素个数,为N-1,而级联的移位寄存器组的个数取决于所用参考模板的大小,为M-1,其中图像大小为N×N,子孔径参考模板大小为M×M,M和N=1,2,3......。
3.根据权利要求1所述的点源目标相关哈特曼-夏克波前处理器,其特征在于:所述的列卷积模块(2)由M个乘法器和一组加法器构成,第一个乘法器的一个输入端接收第一个模板系数信息,第一个乘法器的另一个输入端与图像缓存模块(1)的第一个输出端连接,第二个乘法器的一个输入端接收第二个模板系数信息,第二个乘法器的另一个输入端与图像缓存模块(1)的第二个输出端连接,依次类推,第M个乘法器的一个输入端接收第M个模板系数信息,第M个乘法器的另一个输入端与图像缓存模块(1)的第M个输出端连接;一组加法器由多个加法器级联而成,并行流水地完成所有乘法器输出的两两求和。
4.根据权利要求1所述的点源目标相关哈特曼-夏克波前处理器,其特征在于:所述的行卷积模块(3)采用直接型有限冲击响应滤波器结构,所述有限冲击响应滤波器结构是由M-1个寄存器、M个乘法器和加法器组构成,行卷积模块(3)输入端与列卷积模块(2)的输出端连接,完成对输入数据的延时;而M个乘法器的一端与各个延时数据连接,M个乘法器的另一端接入模板系数信息,所有乘法器的输出端与加法器组的输入端连接,对所有乘法器输出的乘积结果并行流水地进行两两求和;所述的行卷积模块(3)还可采用转置型有限冲击响应滤波器结构。
5.根据权利要求1所述的点源目标相关哈特曼-夏克波前处理器,其特征在于:所述的邻域像素窗口模块(4)由移位寄存器组和3×3个寄存器组构成;对各行寄存器组的寄存器进行首尾相接,实现对行卷积模块(3)输出数据的延时,并最终将串行输入数据转换并输出为并行数据,该移位寄存器组的深度取决于有效相关图像值一行的像素个数为N-M+1,而级联的移位寄存器组的个数为2;该移位寄存器组的3个并行输出与3×3个寄存器组的三个输入端连接,三个输入端的每个输入端都通过3个寄存器的延时作用形成3×3的像素窗口,其中寄存器REG0存储当前相关函数值,寄存器REG1、寄存器REG2、寄存器REG3、寄存器REG4分别存储其上、左、右和下四个方向的邻域相关函数值。
6.根据权利要求1所述的点源目标相关哈特曼-夏克波前处理器,其特征在于:所述的像素坐标计数器(5)由两个计数器构成,两个计数器的输入端与时钟同步信号连接,完成哈特曼-夏克图像数据坐标的计算并输出像素坐标位置信息,像素坐标计数器(5)中两个计数器的输出端与多通道寻优模块(6)中的数据分配器组的一组选择端相连。
7.根据权利要求1所述的点源目标相关哈特曼-夏克波前处理器,其特征在于:所述的多通道寻优模块(6)由一个比较器、数据分配器组、选择器组以及多个寻优通道构成,寻优通道的数目与一个子孔径行内的子孔径个数相同,所有寻优通道都具有相同的结构;比较器的第一个输入端口与邻域像素窗口模块(4)的寄存器REG0连接,比较器的另一个输入端口与选择器组的输出端连接,用来比较当前相关函数值与锁存的相关函数的大小,比较器的输出端与数据分配器组连接;数据分配器组的一组选择端与像素坐标计数器(5)的输出端连接,根据像素坐标位置确定当前结果所在的子孔径区域,从而确定选择哪个寻优通道进行处理,数据分配器的输入端分别与像素坐标计数器(5)的输出端、邻域像素窗口模块(4)的输出端和比较器的输出端连接,邻域像素窗口模块(4)的输出端分别于多个寻优通道的输入端连接;选择器组的输入端分别与各个寻优通道的输出端连接,并根据像素坐标位置信息,把同一个子孔径的相关函数值输入到同一寻优通道中进行处理。
8.根据权利要求7所述的点源目标相关哈特曼-夏克波前处理器,其特征在于:所述的多通道寻优模块(6)的寻优通道由一个邻域值锁存器和一个坐标锁存器构成,其锁存使能端通过数据分配器与比较器的输出端连接,邻域值锁存器通过数据分配器与邻域像素窗口模块(4)的寄存器REG0、寄存器REG1、寄存器REG2、寄存器REG3和寄存器REG4连接,完成邻域相关函数值的锁存,而坐标锁存器通过数据分配器与像素坐标计数器(5)的输出端连接,完成坐标位置的锁存;邻域值锁存器和坐标锁存器的输出通过数据选择器完成相关函数值及其对应坐标值的输出及反馈,如果存储于寄存器REG0当前输入的相关函数值大于锁存的相关函数值,则锁存使能有效,把寄存器REG0所存储的当前相关函数值及其四个邻域相关函数值一起锁存到邻域值锁存器,把当前坐标信息锁存到坐标值锁存器,否则保持不变,直到一个子孔径的所有相关函数值输入完毕就得到了该子孔径中的相关函数最大值及其对应的坐标位置和邻域相关函数值。
9.根据权利要求1所述的点源目标相关哈特曼-夏克波前处理器,其特征在于:所述的二次插值模块(7)由x和y两个方向的插值单元构成,分别完成x和y方向上的波前斜率计算,插值单元的输入端与多通道寻优模块(6)的输出连接;每个插值单元都有一个除法模块和一个加法器构成,根据公式
式中u0,v0表示相关函数最大值所对应的整数坐标,Δx是在x方向上的波前斜率值,CorrRL(·)代表R,L两幅图像的相关函数;除法模块完成小数部分的运算,并把结果输出给加法器的一个输入端,而加法器的另一个输入端与x方向上的坐标输出连接,加法器输出最终的x方向的波前斜率值,最终并流水地输出各个子孔径的局部波前斜率结果。
10.一种点源目标相关哈特曼-夏克波前处理器波前斜率的获取方法,其特征在于:所述方法的步骤包括:
步骤S1:用高斯函数产生的理想高斯光斑作为参考模板,高斯函数的数学表达式为:
其中,x,y用于产生高斯函数的横向和纵向坐标值,σ是高斯函数的均方差,控制了所生成的高斯光斑的宽度;
步骤S2:将二维高斯函数能分解为两个独立的一维高斯函数以获得行卷积模块和列卷积模块所需的参考模板系数,分解过程表示为:
从而将二维高斯模板分解成为两个一维的高斯模板g1(x),g2(y);原来的M×M大小的高斯模板就变成长度都是M的一维行模板和一维列模板,由于高斯函数的中心对称特性,行模板和列模板的值都是相同的,因此所需存储的模板大小变为M;
步骤S3:通过图像模板滤波来实现哈特曼-夏克图像各子孔径图像与参考模板之间的相关运算,得到相关函数值,相关运算公式表示为:
图像模板滤波的公式为:
其中u,v分别表示参考模板相对于子孔径图像的横向和纵向偏移量,参考模板IR(i,j)大小为M×M;而第k个子孔径图像Ik(i,j)大小为Nk×Nk,要求M≤Nk;Nk、k、M、N=1,2,3......;
步骤S4:图像模板滤波可以通过对图像缓存模块输出的数据利用行卷积模块和列卷积模块进行处理得到,卷积系数是步骤S2模板系数;
步骤S5:邻域像素窗口模块用来获得当前相关函数值的四邻域信息,利用像素坐标计数器得到的哈特曼-夏克图像数据的位置信息,在多通道寻优模块中实现对相关函数值所属的子孔径范围的判断,并在每个子孔径的有效范围内完成最大相关函数值寻找,完成最大相关函数值位置和邻域相关函数值的锁存;
步骤S6:对步骤S5得到的各个子孔径最大相关函数值、最大相关函数邻域值,以及最大相关函数坐标信息,在插值模块中根据插值公式得到各个子孔径的光斑偏移量,即局部波前斜率,插值公式为:
式中u0,v0表示相关函数最大值所对应的整数坐标,Δx是在x方向上的波前斜率值,CorrRL(·)代表R,L两幅图像的相关函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010260661XA CN101949768B (zh) | 2010-08-20 | 2010-08-20 | 点源目标相关哈特曼-夏克波前斜率处理器及制造方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010260661XA CN101949768B (zh) | 2010-08-20 | 2010-08-20 | 点源目标相关哈特曼-夏克波前斜率处理器及制造方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101949768A CN101949768A (zh) | 2011-01-19 |
CN101949768B true CN101949768B (zh) | 2012-01-25 |
Family
ID=43453343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010260661XA Expired - Fee Related CN101949768B (zh) | 2010-08-20 | 2010-08-20 | 点源目标相关哈特曼-夏克波前斜率处理器及制造方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101949768B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103985083B (zh) * | 2014-05-21 | 2017-02-01 | 西安交通大学 | 一种可重构的一维卷积处理器 |
CN104035750A (zh) * | 2014-06-11 | 2014-09-10 | 西安电子科技大学 | 一种基于fpga的实时模板卷积实现方法 |
CN105243399B (zh) * | 2015-09-08 | 2018-09-25 | 浪潮(北京)电子信息产业有限公司 | 一种实现图像卷积的方法和装置、实现缓存的方法和装置 |
CN107085827B (zh) * | 2017-04-27 | 2020-06-16 | 中国电子科技集团公司第二十八研究所 | 基于硬件平台实现的超分辨力图像复原方法 |
CN107341772A (zh) * | 2017-05-26 | 2017-11-10 | 哈尔滨工业大学 | 一种基于fpga的灰度图像中值滤波优化方法及其*** |
CN109584142A (zh) * | 2018-12-05 | 2019-04-05 | 网易传媒科技(北京)有限公司 | 图像增强***和方法、训练方法、介质以及电子设备 |
JP2021139973A (ja) * | 2020-03-03 | 2021-09-16 | キヤノン株式会社 | 撮像装置およびその制御方法、撮像システム |
CN114323310B (zh) * | 2021-12-28 | 2023-05-26 | 中国科学院光电技术研究所 | 一种高分辨率哈特曼波前传感器 |
-
2010
- 2010-08-20 CN CN201010260661XA patent/CN101949768B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN101949768A (zh) | 2011-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101949768B (zh) | 点源目标相关哈特曼-夏克波前斜率处理器及制造方法 | |
Roggemann | Optical performance of fully and partially compensated adaptive optics systems using least-squares and minimum variance phase reconstructors | |
CN102270341B (zh) | 一种自适应的高精度干涉sar相位估计方法 | |
CN106646344B (zh) | 一种利用互质阵的波达方向估计方法 | |
CN104188689B (zh) | 基于超声回波射频信号的组织位移估算方法和*** | |
CN100573065C (zh) | 一种基于线性相位反演的波前测量方法 | |
CN104188687B (zh) | 基于超声回波射频信号的多普勒血流速度估测方法和*** | |
CN104656073B (zh) | 三维成像声纳波束形成方法及在多核处理器上的实现方法 | |
CN107656239B (zh) | 一种基于极化敏感阵列的相干信源测向方法 | |
CN110109100B (zh) | 一种基于质量图加权的多基线最小二乘相位解缠方法 | |
CN102385048A (zh) | 基于均匀线阵的混合信号方向估计方法 | |
EP1617232B1 (en) | Radiometer imaging system and method thereof | |
Zhao et al. | Fast Hermite element method for smoothing and differentiating noisy displacement field in digital image correlation | |
CN107255804B (zh) | 基于杂波轮廓图的动目标显示滤波器滤波方法 | |
Yatawatta | Radio interferometric calibration using a Riemannian manifold | |
CN107133385B (zh) | 基于模式变异的多模式合成孔径雷达回波信号仿真方法 | |
Zhou et al. | SAR imaging realization with FPGA based on VIVADO HLS | |
Bekhtin et al. | Onboard FPGA-based fast estimation of point object coordinates for linear IR-sensor | |
CN107479025B (zh) | 一种单快拍大规模线阵空间谱估计方法 | |
Chan et al. | A phase model for point spread function estimation in ground-based astronomy | |
CN106408606B (zh) | 一种叶面积指数空间尺度转换方法及装置 | |
Lofdahl et al. | Fast phase diversity wavefront sensing for mirror control | |
Garbanzo-Salas et al. | Spectral analysis comparisons of Fourier-theory-based methods and minimum variance (Capon) methods | |
CN111190222B (zh) | 一种基于滤波器形态检测的多次波自适应相减算法 | |
CN103152383A (zh) | 基于cpu架构的大规模数字相关器及相关运算处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120125 Termination date: 20120820 |