CN109862281B - 全局快门方式下曝光时间可调的Camera Link成像*** - Google Patents
全局快门方式下曝光时间可调的Camera Link成像*** Download PDFInfo
- Publication number
- CN109862281B CN109862281B CN201910100202.6A CN201910100202A CN109862281B CN 109862281 B CN109862281 B CN 109862281B CN 201910100202 A CN201910100202 A CN 201910100202A CN 109862281 B CN109862281 B CN 109862281B
- Authority
- CN
- China
- Prior art keywords
- stage
- frame
- signal
- line
- row
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 33
- 230000001360 synchronised effect Effects 0.000 claims abstract description 3
- 230000009191 jumping Effects 0.000 claims abstract 2
- 230000003111 delayed effect Effects 0.000 claims description 11
- 230000000630 rising effect Effects 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000000750 progressive effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000003750 conditioning effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 abstract description 2
- 238000011160 research Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
全局快门方式下曝光时间可调的Camera Link成像***，涉及一种基于CMOS图像传感器全局快门方式下曝光时间可调的Camera Link成像***，为研究探测器在全局快门下的成像特性，使用Camera Link接口同时将复位和感光图像数据读出以进行分析，实现宽曝光时间调节范围应用，将Camera Link协议中的帧有效信号跳变沿在输出图像帧的最后一行进行描述；而输出的行有效信号仅在对应输出有效数据阶段出现，无效阶段处于消隐的低电平。由于输出的图像滞后相应的阶段时序控制信号，采用每行的输出数据同步信号进行输出行有效信号的触发，并根据工作模式的不同设置不同的触发条件。本发明可将采集的图像在上位机上进行多种相关双采样实验，方便灵活。
Description
技术领域
本发明涉及一种全局快门方式下曝光时间可调的Camera Link成像***，具体涉及一种基于CMOS图像传感器全局快门方式下曝光时间可调的Camera Link成像***。
背景技术
CMOS图像传感器的一种全局快门工作方式的实现方式，是将复位信号和感光图像按帧输出，先输出复位帧，然后输出图像帧，最后进行数字相关双采样，进行图像帧和复位帧的相减操作。为尽可能提高CMOS图像传感器的帧频，不同的曝光时间长度下，探测器处于不同的工作模式；为了研究探测器在全局快门下的成像特性，需要使用Camera Link接口同时将复位和感光图像数据读出以进行分析。
因此，需要对输出的帧有效和行有效信号进行精细设计，将复位帧和图像帧的数据合并为一帧图像，而且在一帧过程中帧有效信号仅能出现一次跳变沿，其高电平必须要覆盖复位和图像帧的有效图像数据；行有效信号的高电平对应每行的有效数据，而在每行的无效数据阶段及非复位与图像行阶段都必须为低电平。
发明内容
本发明为了研究探测器在全局快门下的成像特性，使用Camera Link接口同时将复位和感光图像数据读出以进行分析，实现宽曝光时间调节范围应用，提供一种全局快门方式下曝光时间可调的Camera Link成像***。
全局快门方式下曝光时间可调的Camera Link成像***，包括CMOS图像传感器、成像控制器和Camera Link接口电路及传输电缆；
成像控制器产生CMOS图像传感器工作所需的时序信号，CMOS图像传感器顺序输出包含复位信号和感光图像的串行数据到成像控制器，所述成像控制器进行串并转换及数据调理后，通过Camera Link接口电路及传输电缆将数据传输至带采集卡的电脑上进行图像数据的分析及处理；所述CMOS图像传感器根据曝光时间的不同，工作在不同的工作模式，当曝光时间长度低于SI阶段的持续时间，CMOS图像传感器工作在A模式下，状态循环为RST_RD阶段、SI阶段、FOT阶段和SIG_RD阶段；所述SI阶段为开始整列的积分阶段，RST_RD阶段为复位图像逐行读出阶段，FOT阶段为存储收集的电荷阶段，SIG_RD阶段为感光图像逐行读出阶段；
当曝光时间长度高于SI阶段的持续时间而低于复位帧和SI阶段的持续总时间时，CMOS图像传感器工作在B模式下，状态循环为RST_RD_A阶段、SI阶段、RST_RD_B阶段、FOT阶段和SIG_RD阶段，所述RST_RD_A阶段为SI阶段前的复位图像逐行读出阶段，RST_RD_B阶段为SI阶段后的复位图像逐行读出阶段；
当曝光时间长度高于复位帧和SI阶段的持续总时间而低于复位帧、图像帧和SI阶段的持续总时间时，CMOS图像传感器工作在C模式下，状态循环为RST_RD阶段、FOT阶段、SIG_RD_A阶段、SI阶段和SIG_RD_B阶段，所述SIG_RD_A阶段为SI阶段前的感光图像逐行读出阶段，SIG_RD_B阶段为SI阶段后的感光图像逐行读出阶段；
当曝光时间长度高于复位帧、图像帧和SI阶段的持续总时间时，CMOS图像传感器工作在D模式下，状态循环为RST_RD阶段、FOT阶段、SI阶段、SIG_RD阶段和BLANK阶段，所述BLANK阶段为空操作阶段。
本发明的有益效果：
一、本发明所述的Camera Link成像***将Camera Link协议中的帧有效信号跳变沿在输出图像帧的最后一行进行描述；而输出的行有效信号仅在对应输出有效数据阶段出现，无效阶段处于消隐的低电平。由于输出的图像滞后相应的阶段时序控制信号，采用每行的输出数据同步信号进行输出行有效信号的触发，并根据工作模式的不同设置不同的触发条件。本发明可将复位和感光图像进行实时同时采集，进行CMOS图像传感器性能的评估与分析。
二、本发明所述的Camera Link成像***可将采集的图像在上位机上进行多种相关双采样实验，方便灵活。
三、本发明所述的Camera Link成像***在满足多种曝光时间长度对应的多种CMOS图像传感器工作模式下采用Camera link接口进行复位和感光图像同时采集的要求。
附图说明
图1为本发明所述的全局快门方式下曝光时间可调的Camera Link成像***框图；
图2为CMOS图像传感器工作在A模式的时序图；
图3为CMOS图像传感器工作在B模式的时序图；
图4为CMOS图像传感器工作在C模式的时序图；
图5为CMOS图像传感器工作在D模式的时序图；
图6为A模式的状态循环示意图；
图7为B模式的状态循环示意图；
图8为C模式的状态循环示意图；
图9为D模式的状态循环示意图。
具体实施方式
具体实施方式一、结合图1至图9说明本实施方式，全局快门方式下曝光时间可调的Camera Link成像***，包括CMOS图像传感器、成像控制器、Camera Link接口电路及传输电缆以及带采集卡的电脑；
成像控制器产生CMOS图像传感器工作所需的时序信号，CMOS图像传感器顺序输出的含复位信号和感光图像的串行数据到成像控制器，进行串并转换等数据调理后，以Camera Link接口协议通过Camera Link接口电路及传输电缆将数据传输至带采集卡的电脑上进行图像数据的分析及处理；
所述CMOS图像传感器根据曝光时间的不同，工作在不同的工作模式下。
当曝光时间长度低于SI阶段的持续时间，则工作在A模式下，状态循环为RST_RD阶段、SI阶段、FOT阶段和SIG_RD阶段；
当曝光时间长度高于SI阶段的持续时间而低于复位帧和SI阶段的持续总时间时，则工作在B模式下，状态循环为RST_RD_A阶段、SI阶段、RST_RD_B阶段FOT阶段和SIG_RD阶段；
当曝光时间长度高于复位帧和SI阶段的持续总时间而低于复位帧、图像帧和SI阶段的持续总时间时，则工作在C模式下，状态循环为RST_RD阶段、FOT阶段、SIG_RD_A阶段、SI阶段和SIG_RD_B阶段；
当曝光时间长度高于复位帧、图像帧和SI阶段的持续总时间时，则工作在D模式下，经历的状态循环为RST_RD阶段、FOT阶段、SI阶段、SIG_RD阶段和BLANK阶段。在复位帧和图像帧有效读出的行数低于复位帧和图像帧所占的宽度，至少1行。
所述SI阶段为开始整列的积分阶段，RST_RD阶段为复位图像逐行读出阶段，FOT阶段为存储收集的电荷阶段，SIG_RD阶段为感光图像逐行读出阶段；所述SIG_RD_A阶段为SI阶段前的感光图像逐行读出阶段，SIG_RD_B阶段为SI阶段后的感光图像逐行读出阶段；所述RST_RD_A阶段为SI阶段前的复位图像逐行读出阶段，RST_RD_B阶段为SI阶段后的复位图像逐行读出阶段；所述BLANK阶段为空操作阶段。
本实施方式中，CMOS图像传感器工作行地址的变化规律为：在复位和图像帧内，地址是每行递增；最末行的地址与前一行相同；FOT阶段和BLANK阶段的地址与最末行地址相同；SI阶段的地址，在A和D工作模式下，与CMOS图像传感器最末行地址相同；在B和C模式下，SI阶段的地址与前一阶段RST_RD阶段的最后一行行地址(非探测器最末行地址)相同。
结合图2至图5说明本实施方式，行有效信号LVAL在有效信号期间出现，非有效信号期间为消隐的低电平；其具体的方式采用时序计数信号的单个时钟窄脉冲如输出数据同步信号进行触发；即对于A和D工作模式，仅在复位和图像信号的读出阶段(RST_RD和SIG_RD阶段)进行行有效信号计数器的触发(清零操作)；而对于B和C模式，不仅在对应的复位和图像信号的读出阶段(RST_RD_A、SIG_RD_A、SIG_RD_B、RST_RD_B阶段)进行触发，同时在SI阶段的首行进行行有效信号计数器触发(操作)。有效信号计数器在计数值达到行周期对应的像素时钟个数后，计数值保持，否则进行递增。
首行的行有效的起始位置相对首行输出数据同步信号的下降沿延时为：mn+p，首行的行有效的结束位置相对首行输出数据同步信号的下降沿延时为mn+p+k，式中m为输出有效数据相对于数据同步信号SYNC的延迟行数，为大于1的正整数；n为每个输出行对应的像素时钟个数，为大于100的正整数；p为在数据训练的通道校正过程中，检测有效输出数据的位置相对数据同步信号SYNC的延迟像素数，为大于0的正整数；k为一行有效数据对应的像素时钟个数，为大于100的正整数。
结合图2至图5说明本实施方式，帧有效的辅助信号Frame_buf的跳变沿仅在图像帧的最后一行出现；通过对检测到的Frame_buf的上升和下降沿，然后进行延时，最终进行输出行有效信号的产生。帧有效信号FVAL的上升和下降沿分别与输出的行有效信号的跳变沿对齐。对于A、B和C工作模式下，上升沿和复位帧的首行行有效的上升沿对齐(相对复位帧首行输出数据同步信号的下降沿延时为rn+pp)，下降沿和图像帧最末行有效信号的下降沿对齐(相对图像帧最末行输出数据同步信号的下降沿延时为：rn+pp+k；即帧有效信号的负脉冲持续长度为n-k个像素时钟周期。对于D工作模式，上升沿和BANK阶段的首行输出数据同步信号的下降沿延时为rn+pp)，下降沿和图像帧最末行有效信号的下降沿对齐(相对图像帧最末行输出数据同步信号的下降沿延时为：rn+pp+k)。
本实施方式中的成像控制器采用Xilinx公司的FPGA 6vlx550tff1760；CMOS图像传感器采用长光辰芯公司的探测器；Camera Link接口电路采用DS90CR287芯片及相关电路；采集卡采用三宝兴业公司的产品；电脑采用带PCIe插槽的台式机。
Claims (5)
1.全局快门方式下曝光时间可调的Camera Link成像***，包括CMOS图像传感器、成像控制器和Camera Link接口电路及传输电缆；
成像控制器产生CMOS图像传感器工作所需的时序信号，CMOS图像传感器顺序输出包含复位信号和感光图像的串行数据到成像控制器，所述成像控制器进行串并转换及数据调理后，通过Camera Link接口电路及传输电缆将数据传输至带采集卡的电脑上进行图像数据的分析及处理；其特征是：
所述CMOS图像传感器根据曝光时间的不同，工作在不同的工作模式，当曝光时间长度低于SI阶段的持续时间，CMOS图像传感器工作在A模式下，状态循环为RST_RD阶段、SI阶段、FOT阶段和SIG_RD阶段；所述SI阶段为开始整列的积分阶段，RST_RD阶段为复位图像逐行读出阶段，FOT阶段为存储收集的电荷阶段，SIG_RD阶段为感光图像逐行读出阶段；
当曝光时间长度高于SI阶段的持续时间而低于复位帧和SI阶段的持续总时间时，CMOS图像传感器工作在B模式下，状态循环为RST_RD_A阶段、SI阶段、RST_RD_B阶段、FOT阶段和SIG_RD阶段，所述RST_RD_A阶段为SI阶段前的复位图像逐行读出阶段，RST_RD_B阶段为SI阶段后的复位图像逐行读出阶段；
当曝光时间长度高于复位帧和SI阶段的持续总时间而低于复位帧、图像帧和SI阶段的持续总时间时，CMOS图像传感器工作在C模式下，状态循环为RST_RD阶段、FOT阶段、SIG_RD_A阶段、SI阶段和SIG_RD_B阶段，所述SIG_RD_A阶段为SI阶段前的感光图像逐行读出阶段，SIG_RD_B阶段为SI阶段后的感光图像逐行读出阶段；
当曝光时间长度高于复位帧、图像帧和SI阶段的持续总时间时，CMOS图像传感器工作在D模式下，状态循环为RST_RD阶段、FOT阶段、SI阶段、SIG_RD阶段和BLANK阶段，所述BLANK阶段为空操作阶段。
2.根据权利要求1所述的全局快门方式下曝光时间可调的Camera Link成像***，其特征在于：在所述复位帧和图像帧，有效读出的行数低于复位帧和图像帧所占的宽度。
3.根据权利要求1所述的全局快门方式下曝光时间可调的Camera Link成像***，其特征在于，所述CMOS图像传感器工作的行地址的变化规律为：在复位帧和图像帧内，地址变化为每行递增；最末行的地址与前一行地址相同；FOT阶段和BLANK阶段的地址与最末行地址相同；
SI阶段的地址，在A模式和D模式下，与CMOS图像传感器最末行地址相同；在B模式和C模式下，SI阶段的地址分别与前一阶段的最后一行行地址相同。
4.根据权利要求1所述的全局快门方式下曝光时间可调的Camera Link成像***，其特征在于，所述CMOS图像传感器的行有效信号在有效信号期间出现，非有效信号期间为消隐的低电平；
采用时序计数信号的单个时钟窄脉冲信号进行触发；对于A模式和D模式，在RST_RD阶段和SIG_RD阶段进行行有效信号计数器的触发；对于B和C模式，在对应的RST_RD_A阶段、SIG_RD_A阶段、SIG_RD_B阶段和RST_RD_B阶段进行触发，同时在SI阶段的首行进行行有效信号计数器触发，有效信号计数器在计数值达到行周期对应的像素时钟个数后，计数值保持，否则进行计数值递增；
首行行有效的起始位置相对首行输出数据同步信号的下降沿延时为：mn+p，首行行有效的结束位置相对首行输出数据同步信号的下降沿延时为mn+p+k；
m为输出有效数据相对于数据同步信号SYNC的延迟行数，为大于1的正整数；n为每个输出行对应的像素时钟个数，为大于100的正整数；p为在数据训练的通道校正过程中，检测有效输出数据的位置相对数据同步信号SYNC的延迟像素数，为大于0的正整数；k为一行有效数据对应的像素时钟个数，为大于100的正整数。
5.根据权利要求1所述的全局快门方式下曝光时间可调的Camera Link成像***，其特征在于，CMOS图像传感器的帧有效的辅助信号Frame_buf的跳变沿在图像帧的最后一行出现；通过检测到的帧有效的辅助信号Frame_buf的上升和下降沿，然后进行延时，最终输出行有效信号；
帧有效信号的上升沿和下降沿分别与输出的行有效信号的跳变沿对齐，在A模式、B模式和C模式下，帧有效信号的上升沿相对复位帧的首行输出数据同步信号的下降沿延时为rn+pp；
帧有效信号的下降沿相对图像帧最末行输出数据同步信号的下降沿延时为rn+pp+k，即，帧有效信号的负脉冲持续长度为n-k个像素时钟周期；
对于D模式，帧有效信号的上升沿和BANK阶段的首行输出数据同步信号的下降沿延时为rn+pp，帧有效信号的下降沿相对图像帧最末行输出数据同步信号的下降沿延时为rn+pp+k；n为每个输出行对应的像素时钟个数，k为一行有效数据对应的像素时钟个数，r为输出行有效信号相对于帧有效信号FVAL的延迟行数，pp为在数据训练的通道校正过程中，检测有效输出数据的位置相对帧有效信号FVAL的延迟像素数，为大于0的正整数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910100202.6A CN109862281B (zh) | 2019-01-31 | 2019-01-31 | 全局快门方式下曝光时间可调的Camera Link成像*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910100202.6A CN109862281B (zh) | 2019-01-31 | 2019-01-31 | 全局快门方式下曝光时间可调的Camera Link成像*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109862281A CN109862281A (zh) | 2019-06-07 |
| CN109862281B true CN109862281B (zh) | 2021-01-08 |
Family
ID=66897344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910100202.6A Expired - Fee Related CN109862281B (zh) | 2019-01-31 | 2019-01-31 | 全局快门方式下曝光时间可调的Camera Link成像*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109862281B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110475075B (zh) * | 2019-08-05 | 2021-01-12 | 上海海鸥数码照相机有限公司 | 一种曝光信号反馈***及其方法和无人机 |
| CN111601053B (zh) * | 2020-05-20 | 2021-07-27 | 上海炬佑智能科技有限公司 | 一种图像传感器、全局快门控制方法及计算机存储介质 |
| CN111551948B (zh) * | 2020-05-20 | 2022-08-16 | 炬佑智能科技(苏州)有限公司 | 一种tof设备的控制方法、计算机存储介质 |
| CN113179359B (zh) * | 2021-04-21 | 2022-03-01 | 中国科学院长春光学精密机械与物理研究所 | 一种基于同步字的串行图像数据训练*** |
| CN114363478B (zh) * | 2022-01-04 | 2023-11-10 | 平头哥(上海)半导体技术有限公司 | 信号处理单元、方法、加速单元、电子设备和片上*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103945148A (zh) * | 2014-04-02 | 2014-07-23 | 长春长光辰芯光电技术有限公司 | 高速全局快门图像传感器像素及其像素信号采集方法 |
| CN104796635A (zh) * | 2015-04-20 | 2015-07-22 | 中国航天科技集团公司第九研究院第七七一研究所 | 一种用于超大面阵cmos图像传感器的全局复位释放控制方法 |
| CN106791505A (zh) * | 2016-12-29 | 2017-05-31 | 中国科学院西安光学精密机械研究所 | 一种用于双通道ccd成像***的时序发生器及时序驱动方法 |
| CN108141575A (zh) * | 2015-05-19 | 2018-06-08 | 奇跃公司 | 半全局快门成像器 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI503807B (zh) * | 2013-09-04 | 2015-10-11 | Mstar Semiconductor Inc | 運用於影像顯示的時序控制器及其控制方法 |
-
2019
- 2019-01-31 CN CN201910100202.6A patent/CN109862281B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103945148A (zh) * | 2014-04-02 | 2014-07-23 | 长春长光辰芯光电技术有限公司 | 高速全局快门图像传感器像素及其像素信号采集方法 |
| CN104796635A (zh) * | 2015-04-20 | 2015-07-22 | 中国航天科技集团公司第九研究院第七七一研究所 | 一种用于超大面阵cmos图像传感器的全局复位释放控制方法 |
| CN108141575A (zh) * | 2015-05-19 | 2018-06-08 | 奇跃公司 | 半全局快门成像器 |
| CN106791505A (zh) * | 2016-12-29 | 2017-05-31 | 中国科学院西安光学精密机械研究所 | 一种用于双通道ccd成像***的时序发生器及时序驱动方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109862281A (zh) | 2019-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109862281B (zh) | 全局快门方式下曝光时间可调的Camera Link成像*** | |
| US9654672B1 (en) | Synchronized capture of image and non-image sensor data | |
| US9819875B2 (en) | Multi-camera sync pulse synchronization | |
| US12022211B1 (en) | Pixel collection circuit, optical flow sensor, and optical flow and image information collection system | |
| CN104202534A (zh) | 基于gps和脉冲发生器的多摄像机同步控制装置及方法 | |
| CN111813716A (zh) | 多传感器数据同步、电子设备及存储介质 | |
| CN111064862A (zh) | 高速大面阵多通道cmos图像传感器数据训练方法 | |
| CN111669517A (zh) | 一种视频叠加方法 | |
| CN109905701B (zh) | 时间同步精度的检测*** | |
| CN117459657B (zh) | 多采图装置同步方法、***、电子设备和存储介质 | |
| US9681083B2 (en) | Method and system to detect a light-emitting diode | |
| EP3217641B1 (en) | Photographing apparatus | |
| CN110809113B (zh) | 一种基于fpga的红外成像自动聚焦*** | |
| CN111371524B (zh) | 基于cameralink协议的时间同步精度检测*** | |
| EP2763399A2 (en) | Solid-state image capture device and drive method therefor | |
| CN104639842A (zh) | 影像处理装置及曝光控制方法 | |
| CN109660743B (zh) | 一种制冷型红外热像仪高动态范围成像的实现方法 | |
| CN108231039B (zh) | 一种基于fpga的帧起始位动态捕捉方法及装置 | |
| US10389962B2 (en) | Image pickup apparatus and method utilizing the same line rate for upscaling and outputting image | |
| CN112055128A (zh) | 图像数据采样方法及装置、电子设备、存储介质 | |
| CN115499606A (zh) | 多工作模式探测器的等时间间隔图像数据传输方法 | |
| CN113286102B (zh) | 一种基于奇偶位置的视频成像校正方法 | |
| JP5551978B2 (ja) | ノイズフィルタ | |
| EP3217642B1 (en) | Photographing apparatus | |
| SU1483673A1 (ru) | Устройство формировани сигналов изображени |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210108 |