CN102254147A - 一种基于星图匹配的远距离空间运动目标识别方法 - Google Patents
一种基于星图匹配的远距离空间运动目标识别方法 Download PDFInfo
- Publication number
- CN102254147A CN102254147A CN2011100958248A CN201110095824A CN102254147A CN 102254147 A CN102254147 A CN 102254147A CN 2011100958248 A CN2011100958248 A CN 2011100958248A CN 201110095824 A CN201110095824 A CN 201110095824A CN 102254147 A CN102254147 A CN 102254147A
- Authority
- CN
- China
- Prior art keywords
- star
- picture point
- visible light
- light camera
- image points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种基于星图匹配的远距离空间运动目标识别方法。方法步骤包括:提取所有微型航天探测器可见光相机拍摄到原始图像的像点坐标;把排序后的像点按照组合的方式组成所有三角形;读取微型航天探测器可见光相机存储器中的星表,采用三角形识别算法对像点构成的所有三角形进行识别;剔除所有已经识别像点,同时保留未识别的像点,该未识别的像点就是运动目标像点。本发明不必预先知道微型航天探测器可见光相机与运动目标之间相对运动的特性,采用星图识别方法来剔除恒星像点,星表中包含了星空中所有恒星,因此本发明能高效地获取目标像点,星图识别方法具有很高的抗干扰性。
Description
(一)技术领域
本发明涉及航天技术,具体说就是一种基于星图匹配的远距离空间运动目标识别方法。
(二)背景技术
微型航天器主要是对太空中的运动目标(包括有先验信息和无先验信息的飞行器)进行探测成像并捕获。为适应微型化的要求,微型航天探测器的可见光相机的探测能力一般较差,探测距离、探测范围、探测精度十分有限,而且计算能力有限。在空间环境下,星空背景、运动目标以及探测器三者之间的相对运动使得微型航天探测器的可见光相机对运动目标的识别比较困难。目前,运动背景中运动目标的主流算法主要有帧间差分法、基于边缘提取的差分法、图像配准与基于边缘提取的差分法相结合等方法。帧间差分法是利用前后两帧图像直接相减,一般是对应像素的灰度值逐个相减。这种方法在图像处理中经常用到,特别是在背景不动目标运动情况下效果较好。利用帧差法将运动目标物体与背景分离,以获得运动目标的位置信息。但是由于飞行器在空中不可能绝对相对静止,因此同一个恒星在连续两帧微型航天探测器的可见光相机拍摄的图像中不肯能完全重合。因此,帧间差分法的应用受到限制。基于边缘提取的差分法是将图像边缘提取与图像的差分相结合而形成的一种算法,具有很强的实用价值。首先,选择适当的阈值,产生二值化的提边图像;其次,对同样的相邻两帧图像实施差分运算,形成二值图,从而生成了一帧差分二值图;再次,将边缘提取生成的二值图和差分生成的二值图逻辑乘,生成目标的边缘图像,这样增强了运动区域中后一幅图像的运动边缘,从而识别出运动目标。由于目标运动速度快,拖影的影响较大(灰度不均匀),使得逻辑乘后很难识别出运动目标。图像配准与基于边缘提取的差分法相结合法是对微型航天探测器采集的相邻两帧图像进行处理,首先对此两帧图像进行配准,然后进行差分运算,对差分后的图像实施二值化处理,生成一帧差分二值图;其次,对两帧图像中的后一帧图像进行边缘提取和二值化处理,产生一帧目标边缘和背景边缘共存的二值图;最后,将两帧二值图实施逻辑乘操作,得到运动目标的边缘图像。
基于Fourier-Mellin图像配准与边缘提取相结合的差分算法提取运动目标的方法是先对微型航天探测器的可见光相机拍摄的图像幅度谱进行对数-极变换,在变换空间应用相位相关法求出待配准图像的旋转角度和尺度缩放因子;通过计算经过规整的两幅图像的互功率谱获得Fourier反变换所对应的峰值位置求得它们的相对平移,从而分别对前两帧图像和后两帧图像进行配准,对配准后的两帧图像进行差分,得到一个差分图像。将这个差分图像二值化,最后将这个差分图像与经过边缘提取的后一个图像进行逻辑乘,从而检测识别出运动目标。这两种方法可以很较好的祛除背景,但仍有少数背景点没有祛除,主要原因是因为配准精度低造成的,由于目标运动图速度快产生拖影,使得提取出的目标边缘产生变形,会轻微影响目标的识别和定位。除了上述方法以外,很多学者把模糊技术和神经网络应用到模板匹配中进行分层识别的算法,这些方法对运动目标的识别效率高,但它们要对运动目标的各种情况下的模板先进行训练,然后用运动目标的模板在图像中扫描进行匹配,因此计算量大。
微型航天器所处环境的背景比较复杂,再加上复杂背景、运动目标以及微型航天器三者之间有相对运动,使得微型航天探测器的可见光相机对运动目标的识别比较困难。因此,如何识别图像中的运动目标是远距离空间交会对接研究中首要解决的问题。考虑到复杂背景与运动目标之间相对运动的特性,当前的多种经典的配准差分算法,很难适应空间背景的运动目标识别。微型航天探测器的可见光相机拍摄图像的特点:图像背景主要由恒星组成,恒星之间不能连成线和其他任何图形,这使常用的配准方法很难找到配准依据;被拍摄的目标在成像小,混杂在恒星之间,因此在微型航天探测器的可见光相机拍摄的图像中没有明显的特征,若按成像面积大小的方法从微型航天探测器的可见光相机拍摄的图像中寻找运动目标,则必然会遗失运动目标,因此,迫切需要寻找识别率高、计算量小、可实用的方法在远距离对运动目标进行搜索、识别和跟踪。
(三)发明内容
本发明的目的在于提供一种基于星图匹配的远距离空间运动目标识别方法。
本发明的目的是这样实现的:一种基于星图匹配的远距离空间运动目标识别方法,步骤如下:
步骤一:提取所有微型航天探测器可见光相机拍摄到原始图像的像点坐标,并保存所有像点能量;
步骤二:把所有像点按照能量从大到小的顺序排序;
步骤三:把排序后的像点按照组合的方式组成所有三角形;
步骤四:读取微型航天探测器可见光相机存储器中的星表;
步骤五:采用三角形识别算法对像点构成的所有三角形进行识别;
步骤六:剔除所有已经识别像点;
步骤七:保留未识别的像点,该未识别的像点就是运动目标像点。
本发明具有如下优点:不管微型航天探测器可见光相机和运动目标之间如何运动,恒星星点之间的几何关系不变,因此本发明不必预先知道微型航天探测器可见光相机与运动目标之间相对运动的特性。由于采用星图识别方法来剔除恒星像点,星表中包含了星空中所有恒星,因此本发明能高效地获取目标像点。由于星图识别方法具有很高的抗干扰性,因此本发明对微型航天探测器可见光相机拍摄到原始图像背景的复杂程度和噪声不敏感。
(四)附图说明
图1为图像配准与基于边缘提取的差分法方框图;
图2为微型航天探测器的可见光相机工作原理示意图;
图3为微型航天探测器的可见光相机拍摄的原始图像;
图4为微型航天探测器的目标识别过程流程图;
图5为半物理仿真实验***方框图;
图6为本发明基于星图匹配的远距离空间运动目标识别方法实施方案流程图。
(五)具体实施方式
下面结合附图举例对本发明作进一步说明。
实施例1:结合图6,本发明一种基于星图匹配的远距离空间运动目标识别方法,步骤如下:
步骤一:提取所有微型航天探测器可见光相机拍摄到原始图像的像点坐标,并保存所有像点能量;
步骤二:把所有像点按照能量从大到小的顺序排序;
步骤三:把排序后的像点按照组合的方式组成所有三角形;
步骤四:读取微型航天探测器可见光相机存储器中的星表;
步骤五:采用三角形识别算法对像点构成的所有三角形进行识别;
步骤六:剔除所有已经识别像点;
步骤七:保留未识别的像点,该未识别的像点就是运动目标像点。
实施例2:结合图2-图4,本发明所述的微型航天探测器的可见光相机工作原理如图2所示,其拍摄的图像中的像点几乎全是恒星像点(如图3),恒星像点之间不能连成线和其他任何常规的图形,这使常用的配准方法很难找到配准依据。星表包含了天球中所有恒星,所以可以利用星图识别算法对微型航天探测器的可见光相机拍摄的图像中所有星像从星表中找出对应的恒星,剔出已识别的星像,剩下的就是运动目标像点。根据微型航天探测器的可见光相机拍摄到的原始图像,从中提取所有像点的坐标(这些像点包括恒星成像像点和目标成像像点),利用这些像点构成一定的特征(最常用的特征有星等、星对角距、张角、光谱特征、由多个星像所构成的星座的几何形状等),与保存到微型航天探测器的可见光相机存储器中的星表构成的几何形状进行比较,比较过程采用典型的星图识别算法来进行,星图识别算法选取星表中的恒星作为导航星,以所有像点坐标作为观测星,并识别这些所有观测星。由于星表包含了天球中所有恒星信息,所以运动目标在微型航天探测器的可见光相机拍摄到的原始图像中的像点,在星表中不可能找出对应关系。在所有提取的像点中,剔出已识别的像点(能识别的像点全是恒星在微型航天探测器的可见光相机拍摄到的原始图像中的像点),剩下的就是运动目标的像点。
具体过程如下:首先提取所有微型航天探测器可见光相机拍摄到原始图像的像点坐标,并保存所有像点能量,为了便于识别,把所有像点按照能量从大到小的顺序排序,把排序后的像点按照组合的方式组成所有三角形;其次读取微型航天探测器可见光相机存储器中的星表,采用三角形识别算法对像点构成的所有三角形进行识别;再次剔除所有已经识别像点,同时保留未识别的像点,该未识别的像点就是运动目标像点。
实施例3:本发明的主要性能指标:运动目标主要观测面约为2m×2m。在15km~30km的远距离段,由阳光照射和地球反照提供照明,运动目标的星等相当于2等星~6等星。拍摄目标的微型航天探测器的可见光相机分辨率为1024×1024,视场角为14°×14°,可探测6等星以上,对运动目标的成像为专门散焦成多个像素,微型航天探测器的可见光相机有一定的扰动,对地定向或对惯性定向时,姿态指向误差0.1°,姿态稳定度0.05°/s;在对运动目标定向时,姿态指向误差最大0.5°,姿态稳定度0.1°/s。微型航天探测器的可见光相机中的导航星库来自于SKY2000星表,使用了可视星等在6.0等星以上的所有恒星,一共有5062颗。分别把运动目标的星等相当于2等星、2.5等星、3等星、3.5等星、4等星、4.5等星、5等星、5.5等星和6等星。
实施例4:半物理仿真实验装置包括:轨道发生器,星空模拟***(包括多星模拟硬件和软件),微型航天探测器的可见光相机,终端显示计算机。用户输入微型航天探测器与运动目标的相对运动规律,根据运动规律计算微型航天探测器的可见光相机惯性坐标系下的相对姿态和运动目标在惯性坐标系下的位置,并通过RS422接口把该姿态和运动目标在惯性坐标系下的位置传送给星空模拟***,星空模拟***根据该姿态搜索出视场内所有恒星,并计算所有恒星和运动目标在像平面内的像点坐标,并且根据像点坐标的位置关系实时显示出包含所有像点(包括恒星像点和目标像点)的图像,微型航天探测器的可见光相机实时拍摄该图像,利用重心法从拍摄的图像中提取所有像点坐标,利用保存的星表对这些像点坐标进行识别,把识别结果发送给终端显示计算机,为了验证微型航天探测器的可见光相机内识别方法的可行性,星空模拟***把视场内所有恒星信息和运动目标信息通过有线发送给终端显示计算机,终端显示计算机利用星空模拟***的已知结果与微型航天探测器的可见光相机的识别结果进行比较。如果微型航天探测器的可见光相机输出的识别星号与星空模拟***的已知星号相同,说明该像点就是恒星,如果微型航天探测器的可见光相机输出的识别星号为-1,说明该像点就是运动目标像点。
表1-表9分别把运动目标的星等相当于2等星、2.5等星、3等星、3.5等星、4等星、4.5等星、5等星、5.5等星和6等星中随机选取某时刻的识别结果(表中如果相机输出的识别星号与星空模拟***输出原始星号一致,说明该像点是恒星,为了便于区分,把识别后的目标像点相机输出的识别星号为-1,星空模拟***输出的目标像点原始星号为10000000),获取运动目标像点的时间分别为152.97毫秒,184.75毫秒,166.31毫秒,127.83毫秒,1.642000毫秒,119.65毫秒,157.30毫秒,197.63毫秒,191.30毫秒,满足工程上的实时性。
表1目标的星等相当于2等星时终端显示计算机接收的结果
表2目标的星等相当于2.5等星时终端显示计算机接收的结果
表3目标的星等相当于3等星时终端显示计算机接收的结果
表4目标的星等相当于3.5等星时终端显示计算机接收的结果
表5目标的星等相当于4等星时终端显示计算机接收的结果
表6目标的星等相当于4.5等星时终端显示计算机接收的结果
表7目标的星等相当于5等星时终端显示计算机接收的结果
表8目标的星等相当于5.5等星时终端显示计算机接收的结果
表9目标的星等相当于6等星时终端显示计算机接收的结果
由于从微型航天探测器的可见光相机摄的图像中提取的像点几乎全是恒星像点,为了从微型航天探测器的可见光相机摄的图像中找出运动目标像点,可以对微型航天探测器的可见光相机摄的图像中的所有像点采用星图识别的原理进行识别,这样根据识别结果判断哪些可能是运动目标像点。由于微型航天探测器的可见光相机指向随机,因此随着微型航天探测器的可见光相机的指向变化,微型航天探测器的可见光相机拍摄的图像中所包含的恒星星等不等、恒星分布不同,从微型航天探测器的可见光相机拍摄的图像获取运动目标像点的时间有所不同,但这些获取时间一般100-200毫秒,所以能满足嵌入式***实时性能的要求。
实施例5:结合图6,本发明一种基于星图匹配的远距离空间运动目标识别方法,具体实施方案如下:微型航天探测器的可见光相机一上电,微型航天探测器的可见光相机自主开始拍摄图像,提取像点模块读取该图像,并采用重心法获取图像中所有像点坐标,并把这些像点坐标按照能量从大到小排序,把这些像点按照排列组合的方式组成所有可能的三角形,计算两两像点之间的星对角距,同时计算每个三角形三个像点之间星对角距之和,把三个像点之间星对角距之和按照从大到小的顺序排序,从三个像点之间星对角距之和最大的开始,从星表中搜索是否有满足条件的三角形,如果有,说明识别成功,这三个像点就是恒星在微型航天探测器的可见光相机的像点;如果没有满足条件的三角形,说明三个像点至少有一个像点是运动目标像点,把该三角形拆散,与其它像点重新组成新的三角形后,重复上述搜索过程。当所有三角形识别完后,统计所有识别不成功的像点数量,这些识别不成功的像点就是运动目标在微型航天探测器的可见光相机的像点,并保存该像点。
Claims (1)
1.一种基于星图匹配的远距离空间运动目标识别方法,其特征在于:步骤如下:
步骤一:提取所有微型航天探测器可见光相机拍摄到原始图像的像点坐标,并保存所有像点能量;
步骤二:把所有像点按照能量从大到小的顺序排序;
步骤三:把排序后的像点按照组合的方式组成所有三角形;
步骤四:读取微型航天探测器可见光相机存储器中的星表;
步骤五:采用三角形识别算法对像点构成的所有三角形进行识别;
步骤六:剔除所有已经识别像点;
步骤七:保留未识别的像点,该未识别的像点就是运动目标像点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110095824 CN102254147B (zh) | 2011-04-18 | 2011-04-18 | 一种基于星图匹配的远距离空间运动目标识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110095824 CN102254147B (zh) | 2011-04-18 | 2011-04-18 | 一种基于星图匹配的远距离空间运动目标识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102254147A true CN102254147A (zh) | 2011-11-23 |
CN102254147B CN102254147B (zh) | 2013-01-23 |
Family
ID=44981403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110095824 Expired - Fee Related CN102254147B (zh) | 2011-04-18 | 2011-04-18 | 一种基于星图匹配的远距离空间运动目标识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102254147B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102630033A (zh) * | 2012-03-31 | 2012-08-08 | 彩虹集团公司 | 一种基于动态物体检测2d 转3d 的方法 |
CN103996027A (zh) * | 2014-05-19 | 2014-08-20 | 上海微小卫星工程中心 | 一种天基空间目标识别方法 |
CN105182678A (zh) * | 2015-07-10 | 2015-12-23 | 中国人民解放军装备学院 | 一种基于多通道相机观测空间目标的***及方法 |
CN107749063A (zh) * | 2017-10-17 | 2018-03-02 | 厦门理工学院 | 一种基于边缘提取与傅里叶变换的零件快速定位方法 |
CN109284707A (zh) * | 2018-09-12 | 2019-01-29 | 首都师范大学 | 动目标检测方法及装置 |
CN109724591A (zh) * | 2019-02-27 | 2019-05-07 | 北京航空航天大学 | 一种基于角距筛选的星敏感器假星筛除方法 |
CN110455281A (zh) * | 2019-08-14 | 2019-11-15 | 北京理工大学 | 暗弱小天体光学导航特征成像模拟方法 |
CN112162245A (zh) * | 2020-09-29 | 2021-01-01 | 中国船舶重工集团公司第七二四研究所 | 一种基于时频功率谱投影的雷达宽带干扰识别方法 |
CN113936229A (zh) * | 2021-10-25 | 2022-01-14 | 中国科学院空间应用工程与技术中心 | 基于频域相位相关的空间暗弱小目标识别方法及装置 |
CN114820738A (zh) * | 2022-06-30 | 2022-07-29 | 中国人民解放军国防科技大学 | 一种星图精确配准方法、装置、计算机设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101441082A (zh) * | 2008-12-22 | 2009-05-27 | 中国科学院长春光学精密机械与物理研究所 | 快速三角形星图识别方法 |
CN101968361A (zh) * | 2009-07-28 | 2011-02-09 | 韩春好 | 基于星光观测的空间绝对定向技术 |
WO2011015928A2 (fr) * | 2009-08-04 | 2011-02-10 | Vesalis | Procede de traitement d'image pour corriger une image cible en fonction d'une image de reference et dispositif de traitement d'image correspondant |
-
2011
- 2011-04-18 CN CN 201110095824 patent/CN102254147B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101441082A (zh) * | 2008-12-22 | 2009-05-27 | 中国科学院长春光学精密机械与物理研究所 | 快速三角形星图识别方法 |
CN101968361A (zh) * | 2009-07-28 | 2011-02-09 | 韩春好 | 基于星光观测的空间绝对定向技术 |
WO2011015928A2 (fr) * | 2009-08-04 | 2011-02-10 | Vesalis | Procede de traitement d'image pour corriger une image cible en fonction d'une image de reference et dispositif de traitement d'image correspondant |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102630033A (zh) * | 2012-03-31 | 2012-08-08 | 彩虹集团公司 | 一种基于动态物体检测2d 转3d 的方法 |
CN103996027A (zh) * | 2014-05-19 | 2014-08-20 | 上海微小卫星工程中心 | 一种天基空间目标识别方法 |
CN103996027B (zh) * | 2014-05-19 | 2017-04-12 | 上海微小卫星工程中心 | 一种天基空间目标识别方法 |
CN105182678A (zh) * | 2015-07-10 | 2015-12-23 | 中国人民解放军装备学院 | 一种基于多通道相机观测空间目标的***及方法 |
CN105182678B (zh) * | 2015-07-10 | 2018-02-02 | 中国人民解放军装备学院 | 一种基于多通道相机观测空间目标的***及方法 |
CN107749063B (zh) * | 2017-10-17 | 2019-09-24 | 厦门理工学院 | 一种基于边缘提取与傅里叶变换的零件快速定位方法 |
CN107749063A (zh) * | 2017-10-17 | 2018-03-02 | 厦门理工学院 | 一种基于边缘提取与傅里叶变换的零件快速定位方法 |
CN109284707A (zh) * | 2018-09-12 | 2019-01-29 | 首都师范大学 | 动目标检测方法及装置 |
CN109284707B (zh) * | 2018-09-12 | 2021-07-20 | 首都师范大学 | 动目标检测方法及装置 |
CN109724591A (zh) * | 2019-02-27 | 2019-05-07 | 北京航空航天大学 | 一种基于角距筛选的星敏感器假星筛除方法 |
CN110455281A (zh) * | 2019-08-14 | 2019-11-15 | 北京理工大学 | 暗弱小天体光学导航特征成像模拟方法 |
CN112162245A (zh) * | 2020-09-29 | 2021-01-01 | 中国船舶重工集团公司第七二四研究所 | 一种基于时频功率谱投影的雷达宽带干扰识别方法 |
CN113936229A (zh) * | 2021-10-25 | 2022-01-14 | 中国科学院空间应用工程与技术中心 | 基于频域相位相关的空间暗弱小目标识别方法及装置 |
CN114820738A (zh) * | 2022-06-30 | 2022-07-29 | 中国人民解放军国防科技大学 | 一种星图精确配准方法、装置、计算机设备和存储介质 |
CN114820738B (zh) * | 2022-06-30 | 2022-09-23 | 中国人民解放军国防科技大学 | 一种星图精确配准方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN102254147B (zh) | 2013-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102254147B (zh) | 一种基于星图匹配的远距离空间运动目标识别方法 | |
US10303966B2 (en) | Method and system of image-based change detection | |
CN106651904B (zh) | 一种宽尺寸范围多空间目标捕获跟踪方法 | |
CN103761524B (zh) | 一种基于图像的线性目标识别与提取方法 | |
CN103017762B (zh) | 地基光电望远镜的空间目标快速捕获定位方法 | |
CN107833250B (zh) | 语义空间地图构建方法及装置 | |
CN103136525B (zh) | 一种利用广义Hough变换的异型扩展目标高精度定位方法 | |
CN102128623B (zh) | 一种星敏感器快速星图识别方法 | |
CN106503248A (zh) | 地图生成方法及地图生成装置 | |
Huang et al. | Correlation and local feature based cloud motion estimation | |
CN111899345B (zh) | 一种基于2d视觉图像的三维重建方法 | |
CN111080685A (zh) | 一种基于多视角立体视觉的飞机钣金零件三维重建方法及*** | |
Gupta et al. | Augmented reality system using lidar point cloud data for displaying dimensional information of objects on mobile phones | |
CN110400374A (zh) | 环景点云数据的建立方法与建立*** | |
Chen et al. | Camera geolocation from mountain images | |
Cai et al. | Improving CNN-based planar object detection with geometric prior knowledge | |
CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 | |
Konishi et al. | Detection of target persons using deep learning and training data generation for Tsukuba challenge | |
Yang et al. | Method for building recognition from FLIR images | |
Sayar et al. | Registering landsat-8 mosaic images: A case study on the Marmara Sea | |
CN111024063A (zh) | 一种基于星点重提取的大机动条件下星图识别算法 | |
Elaksher et al. | Reconstructing 3d building wireframes from multiple images | |
KR102249380B1 (ko) | 기준 영상 정보를 이용한 cctv 장치의 공간 정보 생성 시스템 | |
CN114972720B (zh) | 一种基于自主图像感知的高精度无人定位方法 | |
Ali et al. | Performance Analysis of Computer Vision Based Feature Detectors for 3D Laser Rasterized Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130123 |