CN104165626A - 仿生复眼成像目标定位*** - Google Patents

仿生复眼成像目标定位*** Download PDF

Info

Publication number
CN104165626A
CN104165626A CN201410279718.9A CN201410279718A CN104165626A CN 104165626 A CN104165626 A CN 104165626A CN 201410279718 A CN201410279718 A CN 201410279718A CN 104165626 A CN104165626 A CN 104165626A
Authority
CN
China
Prior art keywords
signal processing
eye
compound eye
processing system
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410279718.9A
Other languages
English (en)
Other versions
CN104165626B (zh
Inventor
付跃刚
董正超
赵雨时
赵宇
李妍冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN201410279718.9A priority Critical patent/CN104165626B/zh
Publication of CN104165626A publication Critical patent/CN104165626A/zh
Application granted granted Critical
Publication of CN104165626B publication Critical patent/CN104165626B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

新型仿生复眼成像目标定位***属于目标探测领域，包括：保护玻璃、大孔径复眼光学***、曲面分布的探测器阵列、计算机神经网络信号处理***、伺服控制***、机控信号处理***、支撑结构及壳体组成；复眼光学***作为该***的光学信息采集***，将入射光聚焦到曲面分布的探测器阵列上成像；信号处理***不仅对光学图像信息进行预处理，该信号处理***采用神经网络处理方式，计算机通过对已建立目标信息数据库反复训练，可以实现目标的快速识别，并将信息以数字号形式输出至伺服控制***，伺服控制***对输入的数字信号进行处理分析得到目标当前的相对位置信息，并将以反馈信号的形式输出给机控信号处理***，机控信号处理***根据反馈的信号对***的姿态进行调整，实现精准定位跟踪。该***结构简单、紧凑、成本低，并具有探测范围广、高分辨率、高识别概率以及定位准确等特点。

Description

仿生复眼成像目标定位***
技术领域
本发明属于目标探测技术领域，具体涉及一种应用仿生昆虫复眼光学***采集目标的光学图像信息并能够进行信息的传输、处理和控制的新型仿生复眼成像目标定位***。
背景技术
目标探测与识别技术是自动化监视跟踪***的核心技术，随着技术的不断进步以及工作环境环境的日益复杂化，对其性能要求不断提高。光学精确制导技术作为一类重要的精确制导技术，具有分辨率高、易于成像、测量精度高无多路径效应、隐蔽性好，重量轻和体积小等优点。本发明所涉及的新型仿生复眼成像目标定位***正是基于仿生光学的目标识别技术。
对于目前的目标图像探测技术，无论是光机扫描成像，还是凝视焦平面成像，有限的探测角度极大的限制了***的探测范围。这是因为传统光学***的视场受限于结构对称于唯一光轴，并且成像质量随视场的增大而降低。尽管广角镜头和鱼眼镜头可以有效增大光学***的视场，但其成本高，装调困难，重量大，而且复杂的结构使其在某些波段对材料性能要求较高，如红外波段。近年来，随着仿生光学的迅速发展，通过利用昆虫复眼的成像原理提出了解决光轴唯一性的问题，可以有效扩大***视场，但微透镜***的工作距较短且加工技术尚不成熟，很大成都限制了复眼成像技术的应用。
发明内容
为了解决现有技术存在的问题，本发明提供了一种可见光波段的新型仿生复眼成像目标定位***，该***采用中心高分辨***与低分辨率边缘阵列子***相结合的方式，不仅有效扩大了***探测范围，而且高低分辨率相结合的方式能够简化***结构和降低成本。
1.新型仿生复眼成像目标定位***，该***包括：保护玻璃、大孔径复眼光学***、曲面分布的探测器阵列、基于神经网络的信号处理***、伺服控制***、***机控信号处理***、支撑结构及壳体组成；复眼光学***作为该***的光学信息采集***，将入射光聚焦到曲面分布的探测器阵列上成像；信号处理***不仅对光学图像信息进行预处理，该信号处理***采用神经网络处理方式，计算机通过对已建立目标信息数据库反复训练，可以实现目标的快速识别，并将信息以数字号形式输出至伺服控制***，伺服控制***对输入的数字信号进行处理分析得到目标当前的相对位置信息，并将以反馈信号的形式输出给机控信号处理***，机控信号处理***根据反馈的信号对***的姿态进行调整，实现精准定位跟踪。
本发明的有益效果是：
1、新型仿生复眼成像目标定位系可以实现在可见光波段的大视场目标探测与识别，将其应用在光学成像目标搜索与定位能够充分解决传统可见光制导***大视场与高分辨的矛盾。
2、新型仿生复眼成像目标定位系的球面阵列式排布，通过增大子***间光轴夹角，迅速提高整体***的视场角。
3、新型仿生复眼成像目标定位系属于大视场凝视成像，与扫描成像***相比，机械结构简单。
4、新型仿生复眼成像目标定位系由于各子眼***视场小，结构简单，制作成本较低，可实现大规模装载。
5、新型仿生复眼成像目标定位系利用基于神经网络的信号处理***可以对获取的目标图像信息更快的进行比对识别探测定位。
以上特点使其在可见光成像目标搜索与定位领域里具有极其广阔的应用前景，目前尚未见到同类型的可见光成像目标搜索定位***。
附图说明
图1为新型仿生复眼成像目标定位系示意图
图2(a)为新型仿生复眼成像目标定位系分前视图
图2(b)为新型仿生复眼成像目标定位系分后视图
图2(c)为新型仿生复眼成像目标定位系分左视图
图3为子眼***X方向(子午)视场拼接示意图
图4(a)为子眼光学***物方工作面全视场正视图
图4(b)为子眼光学***物方工作面全视场侧视图
具体实施方式
下面结合附图和实例对本发明做进一步详细说明。
2.如图1所示，该***主要由保护玻璃2、子眼大孔径复眼光学***3、曲面分布的探测器阵列4、基于神经网络的信号处理***5、伺服控制***7、***机控信号处理***7组成；其中，大孔径复眼光学***3作为实现一系列特殊功能的关键性部件，主要负责对目标及背景的光学信息1采集，将入射的光聚焦到曲面分布的探测器阵列4上成像。信号处理***5不仅光学对图像信息进行预处理，该信号处理***采用神经网络处理方式，计算机通过对已建立目标信息数据库反复训练，可以实现目标的快速识别，并将信息以数字号形式输出至伺服控制***6，伺服控制***6对输入的数字信号进行处理分析得到目标当前的相对位置信息，并将以反馈信号的形式输出给机控信号处理***7，机控信号处理***7根据反馈的信号对***的姿态进行调整，实现精准定位跟踪。
作为本发明的关键组件，新型仿生复眼成像目标定位系与传统的光学***不同，其子眼光学***阵列的各部分功能与排布形式比较特殊。新型仿生复眼成像目标定位系由1个中心高分辨子眼光学***和2个低分辨边缘阵列光学***组成。其中，中心高分辨子眼光学***具有小视场，长焦距以及高分辨率的特点，其作用在与目标的高分辨率识别；边缘阵列光学***相对与中心光学***，其视场较大、焦距较短、分辨率较低，主要完成大视场范围内目标的捕获任务。如图2所示，新型仿生复眼成像制导***子眼***以圆周阵列的形式分布在球形壳体表面。其中，中心光学***光轴与***的对称光轴重合，边缘第1阵列光学***光轴与中心光学***光轴夹角为7.8°，阵列周期为12个；边缘第2阵列光学***光轴与中心光学***光轴夹角为20.5°，阵列周期为18个。中心光学***视场角为5.1°，焦距60，F数为2.3；边缘阵列光学***视场角为2w＝15.2°，焦距2w＝20，F数为2.7。该***探测器均采用1/3-inch COMS，探测器分辨率为752×480。新型仿生复眼成像目标定位系的全视场凝视范围2W＝60°，探测距离可达3Km，探测范围内无盲区。
子眼光学***共分为三个部分，中心光学***，第一阵列边缘子眼***和第二阵列边缘子眼***。三个部分通过X方向视场拼接和绕Z轴旋转阵列的方式，将子眼光学***的视场扩大为全视场60°。其中X方向视场拼接又称子午视场拼接，在子午方向拼接过程如图3所示。A为中心***，B为第一阵列边缘子眼***在子午面内一个基元，C为第二阵列边缘子眼***在子午面内一个基元，D为个***的coms探测器，E为物方工作面。中心光学***视场为2ω1，边缘子眼光学***的视场分别为2ω2和2ω3。中心光学***与第一阵列边缘子眼光学***的光轴夹角为第一阵列边缘子眼光学***与第二阵边缘子眼光学***的夹角为由此可以得出，在忽略实际***的机械间隔的理想情况下，当中心光学***的边缘光线和边缘子眼光学***的边缘光线平行时，此时视场将是无缝拼接的临界条件，得到关系式如下：
然而实际***是存在机械间隔的，用来固定各个子***，所以考虑此情况上述公式应为：
此时，子眼光学***的总视场角2W与各个分***的视场关系为：
将***各项参数带入关系式中以及综合分析各子***的空间机械间隔等问题，最终推导出中心光学***与第一阵列边缘子眼光学***的光轴夹角为7.8°(子午面内)，第一阵列边缘子眼光学***与第二阵列边缘子眼光学***的光轴夹角为20.5°(子午面内)，因此确定子眼光学***在子午面的排列方式及分布情况，进而确定了三个分***的基元的精确分布，为绕Z轴旋转阵列确定最终子眼光学***的排布方式打下基础。
根据在X方向的视场拼接方式，确定第一阵列的边缘子眼***和第二阵列边缘子眼***在子午面内的***基元，将两组基元分别通过绕Z轴圆周阵列可以实现Y方向的视场拼接过程，也就是弧矢面内的视场拼接，并且遵循工作物面无盲区的拼接原则，进而可以推导出每一层的阵列周期数目的数学表达式。每层子***的周期阵列数n与其对应的子***的Y方向的视场有如下关系式：
其中为各个子***的光轴之间的夹角(i＝1,2)，x和y分别为coms探测器的相面尺寸，f'为边缘子***的焦距。在子眼光学***的设计过程中可以根据各个子眼的光学***的性能要求选择合适的焦距并根据所选探测器的相面尺寸确定子眼周期的阵列数目。所以根据此次***设计要求及各项参数代入上述关系式可以得出第一层周期阵列数目为12，第二层周期阵列数目为18。
利用计算计软件，对距离3km远的物方工作面视场进行模拟，最终得到子眼光学***的全视场分布图如图4所示。其中红色和蓝色矩形部分为X方向3个子***基元在物方工作面视场的拼接过程。因为此次设计是coms探测器工作相面作为***的视场光阑，所以根据物象共轭原则实际物方工作面应为矩形视场，在图4(a)中，中心处最小红色矩形框为中心***视场，其正上方第一个蓝色矩形框为第一阵列边缘子眼光学***列在子午面内***基元的视场，第二个红色矩形框为第二阵列边缘子眼光学***在子午面内***基元的视场。

Claims (6)

1.新型仿生复眼成像目标定位***，其特征在于该***包括：保护玻璃、大孔径复眼光学***、曲面分布的探测器阵列、基于神经网络的信号处理***、伺服控制***、***机控信号处理***、支撑结构及壳体组成；复眼光学***作为该***的光学信息采集***，将入射的光聚焦到曲面分布的探测器阵列上成像；信号处理***不仅对光学图像信息进行预处理，该信号处理***采用神经网络处理方式，计算机通过对已建立目标信息数据库反复训练，可以实现目标的快速识别，并将信息以数字号形式输出至伺服控制***，伺服控制***对输入的数字信号进行处理分析得到目标当前的相对位置信息，并将以反馈信号的形式输出给机控信号处理***，机控信号处理***根据反馈的信号对***的姿态进行调整，实现精准定位跟踪。 
2.如权利要求1所述的新型仿生复眼成像目标定位系，其特征在于，利用生物并列复眼成像特性，通过子***多光轴的多向性，迅速提高***总体视场。 
3.如专利要求1所述的新型仿生复眼成像目标定位系，其特征在于，该***还包括:子眼***的分布形式；子眼***作为新型仿生复眼成像***的组成部分，以圆周阵列的形式分布构成整体的复眼成像***。 
4.如权利要求1所述的新型仿生复眼成像目标定位系，其特征在于，所述各子眼***结构相对独立，并通过曲面分布的探测器阵列分布分割***总体视场。 
5.如权利要求1所述的新型仿生复眼成像目标定位系，其特征在于，该***中采用的复眼型结构具有中心分辨率高，边缘分辨率相对较低的特点，利用模糊搜索提高目标搜索效率。 
6.如权利要求1所述的新型仿生复眼成像目标定位系，其特 征在于，该***采用计算机神经网络信号处理***进行图像信号的处理分析。 
CN201410279718.9A 2014-06-18 2014-06-18 仿生复眼成像目标定位*** Expired - Fee Related CN104165626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410279718.9A CN104165626B (zh) 2014-06-18 2014-06-18 仿生复眼成像目标定位***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410279718.9A CN104165626B (zh) 2014-06-18 2014-06-18 仿生复眼成像目标定位***

Publications (2)

Publication Number Publication Date
CN104165626A true CN104165626A (zh) 2014-11-26
CN104165626B CN104165626B (zh) 2019-08-13

Family

ID=51909552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410279718.9A Expired - Fee Related CN104165626B (zh) 2014-06-18 2014-06-18 仿生复眼成像目标定位***

Country Status (1)

Country Link
CN (1) CN104165626B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105607041A (zh) * 2015-09-22 2016-05-25 吉林大学 基于仿生沙蝎定位功能的脉冲定位模型
CN106483577A (zh) * 2015-09-01 2017-03-08 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 一种光学探测装置
CN106767913A (zh) * 2016-12-02 2017-05-31 中国科学技术大学 一种基于单led发光点和二维转台的复眼***标定装置及标定方法
CN107302695A (zh) * 2017-05-31 2017-10-27 天津大学 一种基于仿生视觉机理的电子复眼***
CN108181666A (zh) * 2017-12-26 2018-06-19 中国科学院上海技术物理研究所 一种广域覆盖窄域多点重点侦察检测技术
CN109239067A (zh) * 2018-08-31 2019-01-18 天津大学 一种小型化超短焦视觉成像检测方法
CN109558869A (zh) * 2018-10-17 2019-04-02 北京航天晨信科技有限责任公司 一种周界监测装置及周界监测方法
CN109949363A (zh) * 2019-03-26 2019-06-28 北京遥感设备研究所 一种适用于太赫兹仿生复眼成像***的目标识别定位***
CN110595625A (zh) * 2019-09-17 2019-12-20 北京理工大学 一种“十”字型五孔径视场部分重叠仿生热成像***
CN110716305A (zh) * 2019-10-28 2020-01-21 长春理工大学 仿生复眼的六边形子眼拼接定位方法
CN111398898A (zh) * 2020-04-08 2020-07-10 中国科学院长春光学精密机械与物理研究所 用于大视场三维运动探测的神经拟态仿生曲面复眼***
CN111522145A (zh) * 2020-03-30 2020-08-11 哈尔滨新光光电科技股份有限公司 一种基于多面棱体合束的高分辨率宽视场光电阵列***
CN112102401A (zh) * 2020-09-21 2020-12-18 中国科学院上海微***与信息技术研究所 一种目标定位方法、装置、***、设备及存储介质
CN112836821A (zh) * 2021-02-04 2021-05-25 武汉极目智能技术有限公司 一种用于自动驾驶的卷积神经网络计算量压缩方法
CN113180606A (zh) * 2021-04-28 2021-07-30 青岛歌尔智能传感器有限公司 可穿戴设备的信号调整方法、可穿戴设备及可读存储介质
CN114640802A (zh) * 2022-03-15 2022-06-17 世维(苏州)电子科技有限公司 一种无重叠成像矩阵相机排布方法及矩阵相机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1932841A (zh) * 2005-10-28 2007-03-21 南京航空航天大学 基于仿生复眼的运动目标检测装置及其方法
CN201166725Y (zh) * 2008-03-14 2008-12-17 南京大学 仿生复眼视觉成像装置
CN103325088A (zh) * 2013-07-04 2013-09-25 中国科学院光电技术研究所 一种曲面复眼成像***的多通道图像处理方法
CN103676036A (zh) * 2013-12-17 2014-03-26 北京理工大学 基于多微面光纤面板的多视场仿生复眼微光成像***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1932841A (zh) * 2005-10-28 2007-03-21 南京航空航天大学 基于仿生复眼的运动目标检测装置及其方法
CN201166725Y (zh) * 2008-03-14 2008-12-17 南京大学 仿生复眼视觉成像装置
CN103325088A (zh) * 2013-07-04 2013-09-25 中国科学院光电技术研究所 一种曲面复眼成像***的多通道图像处理方法
CN103676036A (zh) * 2013-12-17 2014-03-26 北京理工大学 基于多微面光纤面板的多视场仿生复眼微光成像***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张红鑫等: "曲面复眼成像***的研究", 《光学精密工程》 *
王小蕾等: "目标定位仿生复眼视觉***成像位置计算", 《红外与激光工程》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106483577A (zh) * 2015-09-01 2017-03-08 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 一种光学探测装置
CN106483577B (zh) * 2015-09-01 2019-03-12 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 一种光学探测装置
CN105607041B (zh) * 2015-09-22 2018-04-10 吉林大学 基于仿生沙蝎定位功能的脉冲定位模型
CN105607041A (zh) * 2015-09-22 2016-05-25 吉林大学 基于仿生沙蝎定位功能的脉冲定位模型
CN106767913B (zh) * 2016-12-02 2020-05-12 中国科学技术大学 一种基于单led发光点和二维转台的复眼***标定装置及标定方法
CN106767913A (zh) * 2016-12-02 2017-05-31 中国科学技术大学 一种基于单led发光点和二维转台的复眼***标定装置及标定方法
CN107302695A (zh) * 2017-05-31 2017-10-27 天津大学 一种基于仿生视觉机理的电子复眼***
CN108181666A (zh) * 2017-12-26 2018-06-19 中国科学院上海技术物理研究所 一种广域覆盖窄域多点重点侦察检测技术
CN109239067A (zh) * 2018-08-31 2019-01-18 天津大学 一种小型化超短焦视觉成像检测方法
CN109558869A (zh) * 2018-10-17 2019-04-02 北京航天晨信科技有限责任公司 一种周界监测装置及周界监测方法
CN109949363A (zh) * 2019-03-26 2019-06-28 北京遥感设备研究所 一种适用于太赫兹仿生复眼成像***的目标识别定位***
CN110595625A (zh) * 2019-09-17 2019-12-20 北京理工大学 一种“十”字型五孔径视场部分重叠仿生热成像***
CN110716305A (zh) * 2019-10-28 2020-01-21 长春理工大学 仿生复眼的六边形子眼拼接定位方法
CN110716305B (zh) * 2019-10-28 2022-01-18 长春理工大学 仿生复眼的六边形子眼拼接定位方法
CN111522145A (zh) * 2020-03-30 2020-08-11 哈尔滨新光光电科技股份有限公司 一种基于多面棱体合束的高分辨率宽视场光电阵列***
CN111398898A (zh) * 2020-04-08 2020-07-10 中国科学院长春光学精密机械与物理研究所 用于大视场三维运动探测的神经拟态仿生曲面复眼***
CN112102401A (zh) * 2020-09-21 2020-12-18 中国科学院上海微***与信息技术研究所 一种目标定位方法、装置、***、设备及存储介质
CN112102401B (zh) * 2020-09-21 2024-05-28 中国科学院上海微***与信息技术研究所 一种目标定位方法、装置、***、设备及存储介质
CN112836821A (zh) * 2021-02-04 2021-05-25 武汉极目智能技术有限公司 一种用于自动驾驶的卷积神经网络计算量压缩方法
CN113180606A (zh) * 2021-04-28 2021-07-30 青岛歌尔智能传感器有限公司 可穿戴设备的信号调整方法、可穿戴设备及可读存储介质
CN114640802A (zh) * 2022-03-15 2022-06-17 世维(苏州)电子科技有限公司 一种无重叠成像矩阵相机排布方法及矩阵相机

Also Published As

Publication number Publication date
CN104165626B (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN104165626A (zh) 仿生复眼成像目标定位***
Yang et al. Monocular vision SLAM-based UAV autonomous landing in emergencies and unknown environments
CN104089628B (zh) 光场相机的自适应几何定标方法
Xu et al. Semantic segmentation of panoramic images using a synthetic dataset
CN112507840B (zh) 一种人机混合增强的小目标检测和跟踪方法及***
US20160019684A1 (en) Wide field-of-view depth imaging
CN109164463B (zh) 一种多孔径视场部分重叠的偏振热成像方法与装置
Zou et al. Microarray camera image segmentation with Faster-RCNN
Lee et al. Artificial intelligence based object detection and tracking for a small underwater robot
Urban et al. LaFiDa—A laserscanner multi-fisheye camera dataset
Hao et al. Retina-like imaging and its applications: a brief review
Spraul et al. A comprehensive analysis of modern object detection methods for maritime vessel detection
Zhang et al. Robot bionic vision technologies: A review
Du et al. Autonomous measurement and semantic segmentation of non-cooperative targets with deep convolutional neural networks
Yu et al. HB-YOLO: An Improved YOLOv7 Algorithm for Dim-Object Tracking in Satellite Remote Sensing Videos
Fang et al. A real-time anti-distractor infrared UAV tracker with channel feature refinement module
CN106066207A (zh) 一种平行光路组合式多源信息采集处理装置及方法
Kamble et al. A convolutional neural network based 3D ball tracking by detection in soccer videos
CN107478172A (zh) 基于双目视觉的激光三维曲线轮廓定位投影方法
Li et al. Biomimetic Polarized Light Navigation Sensor: A Review
Zhang et al. Marine application evaluation of monocular slam for underwater robots
Mei et al. A Novel scene matching navigation system for UAVs based on vision/inertial fusion
CN104143179A (zh) 一种多线列时差扫描扩展采样的运动目标增强方法
Zuo et al. A light field full-focus image feature point matching method with an improved orb algorithm
Liu et al. Real-time long-term correlation tracking by single-shot multibox detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190813

Termination date: 20200618

CF01 Termination of patent right due to non-payment of annual fee