CN101901493B - 基于压缩采样的多视点图像联合重构方法和*** - Google Patents
基于压缩采样的多视点图像联合重构方法和*** Download PDFInfo
- Publication number
- CN101901493B CN101901493B CN2010102121873A CN201010212187A CN101901493B CN 101901493 B CN101901493 B CN 101901493B CN 2010102121873 A CN2010102121873 A CN 2010102121873A CN 201010212187 A CN201010212187 A CN 201010212187A CN 101901493 B CN101901493 B CN 101901493B
- Authority
- CN
- China
- Prior art keywords
- image
- viewpoints
- disparity map
- combined reconstruction
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000006835 compression Effects 0.000 title claims abstract description 33
- 238000007906 compression Methods 0.000 title claims abstract description 33
- 238000005070 sampling Methods 0.000 title claims abstract description 26
- 238000005457 optimization Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000209094 Oryza Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提出一种基于压缩采样的多视点图像联合重构方法,包括以下步骤:通过多个压缩感知数据采集设备获得现实场景的多个视角的图像;根据获得的所述多个视角的图像计算所述多个视角图像之间的视差图;和基于所述多个视角图像之间的视差图以及所述多个视角的图像对多视角图像进行联合重构。本发明实施例能够从初步重构结果中准确估计不同视点图像之间的视差关系,并在多视点压缩成像的重构中利用所估计的视差关系充分挖掘了不同视点图像之间的相关性,增强了所重构信号的精度。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种基于压缩采样的多视点图像联合重构方法和***。
背景技术
一直以来,科学家在香农-乃奎斯特采样定理的指导下来设计和制作相应的数据采集***。但是,香农采样定理只是给出了为准确重构原始信号所需要的充分条件,采集的数据中包含很强的相关性。因此,为了便于传输和存储采集到的数据,需要对其做进一步的压缩。鉴于在香农采样定理中只利用信号是带限的这一先验知识,最近由Donoho等人通过充分利用信号在一组基上可以稀疏表示这一先验知识提出了一种可以直接获取压缩数据的数据采集方法——压缩感知(D.L.Donoho,“Compressed sensing,”IEEE Transactions on Information Theory,vol.52,no.4,pp.1289-1306,Apr,2006.)。采样数据通过随机投影的方式来获取,而原始信号则通过非线性最优化的方法来重构。由于所采集到的数据的冗余度非常低,可以直接用来做存储和传输。此外,由于压缩感知利用了较香农采样定理更多的先验知识,它能够从在亚乃奎斯特采样频率下采集到的数据实现原始信号的重构,从而在超高分辨率数据获取和大规模数据获取方面具有广阔的应用前景。
传统的成像设备采集到的图像具有很高的冗余性,研究学者提出了JPEG,H.264等图像/视频编解码方法来实现对图像做进一步压缩。而在为获取现实场景的三维信息所采用的多视点成像中,利用传统的相机采集到 的数据将会成倍的增长,给存储和传输带来诸多不便。多视点图像编码方法和分布式编码方法被提出来去除各个视点间所采集到的图像之间存在的冗余性。压缩感知方法在减少采样数据量,压缩数据的直接获取等方面提供了新的思路。目前,Rice大学已经根据压缩感知方法成功研制出了单像素相机,做出了第一个压缩成像的模型(D.Takhar,J.N.Laska,M.B.Wakin et al.,“A new Compressive Imaging camera architecture using optical-domain compression”,Computational Imaging IV,vol.6065,pp.6509-6509,2006.)。
在压缩感知中,从压缩采样数据中重构原始信号是通过在所有可能的信号寻找一个在给定变换基上最稀疏的信号来实现。该方法只利用信号内的相关性,为了在重构中充分运用信号间的相关性,Richard Branik提出了分布式压缩感知方法(Dror Baron,Michael Wakin,Marco Duarte,Shriram Sarvotham,and Richard Baraniuk,Distributed compressed sensing,http://www.dsp.ece.rice.edu/cs/DCS112005.pdf)。信号间的相关性通过联合稀疏性来描述,相关信号在一组基上的表征系数之间存在的一定关系,如具有共同的支撑域。但是,找到一组能让相关信号可以联合稀疏表示的基存在很大的困难。针对待采集图像序列存在重叠的情况,Jian Sun等人利用流形提升的方法来实现压缩成像中原始图像序列的联合重构(Jian Sun and Yin Li and Kang,S.B.and Heung-Yeung Shum,A manifold lifting algorithm for multi-view compressive imaging,Picture Coding Symposium(PCS),Chicago,Illinois,2009,May),但是该方法仅限于不同图像之间只存在平移的情况。
发明内容
本发明的目的旨在至少解决上述技术缺陷,特别提出了一种基于压缩采样的多视点图像联合重构方法和***。
为达到上述目的,本发明一方面提出一种基于压缩采样的多视点图像联合重构方法,包括以下步骤:通过多个压缩感知数据采集设备获得现实场景的多个视点的图像;根据获得的所述多个视点的图像计算所述多个视点的图像之间的视差图;和基于所述多个视点的图像之间的视差图以及所述多个视点的图像对所述多个视点的图像进行联合重构。
根据本发明的另一方面,本发明还提出了一种基于压缩采样的多视点图像联合重构***,包括:采集模块,用于通过多个压缩感知数据采集设备获得现实场景的多个视点的图像;视差图获得模块,用于根据获得的所述多个视点的图像计算所述多个视点的图像之间的视差图;和联合重构模块,用于基于所述视差图获得模块获得的所述多个视点的图像之间的视差图以及所述多个视点的图像对所述多个视点的图像进行联合重构。
本发明实施例能够从初步重构结果中准确估计不同视点图像之间的视差关系,并在多视点压缩成像的重构中利用所估计的视差关系充分挖掘了不同视点图像之间的相关性,增强了所重构信号的精度。另外,本发明实施例的方法和***还具有较好的收敛性。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例的基于压缩采样的多视点图像联合重构方法流程图;
图2为本发明实施例的多视点压缩成像模型示意图;
图3为本发明实施例的基于压缩采样的多视点图像联合重构***结构图;
图4(a)和(b)为传统相机拍摄的图像;
图4(c)和(d)为独立重构出来的结果;
图4(e)和(f)为本发明重构出来的结果。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
如图1所示,为本发明实施例的基于压缩采样的多视点图像联合重构方法流程图,该方法包括以下步骤:
步骤S101,通过多个压缩感知数据采集设备获得现实场景的多个视点的图像。在本发明中,多视点压缩成像方法是指通过在不同视点摆放多个压缩感知数据采集设备来捕获现实场景各个视点的图像,从而最终获得现实场景的三维信息。由于利用压缩采样方法得到的数据相关性低,因此采集到的数据可以直接用来存储和传输。因此,多视点压缩成像方法能够有效降低数据采样量,避免传统数据采集后繁琐的编码过程。在采集过程中,不同视点图像的采集独立进行,而不同视点间的相关性可以在重构的时候加以利用,从而实现现实场景的高效采集。
在该实施例中,设Vi和Vj是在视点i和j观测到的图像,如图2所示,为本发明实施例的多视点压缩成像模型示意图,利用压缩采样设备可以被采集到他们在一组随机波形Φ上的投影系数Yi:
ΦVi=Yi
(0.1)
ΦVj=Vj
具体地,先将压缩采样设备置于同一水平线的不同位置处,对现实场景进行压缩采样。为生成随机投影波形,先对离散余弦变换矩阵进行随机的列排列,然后随机抽取其M个行向量形成感知矩阵,本发明实施例通过压缩采样 的数据量为图像分辨率的30%;接着,对同一场景分别在基准视点和参考视点进行独立的压缩采样。
步骤S102,根据获得的多个视点的图像计算所述多个视点的图像之间的视差图。根据压缩感知的相关理论,利用非线性最优化方法能够从这些随机投影系数中重构出多个视点的图像Vi和Vj。进而,利用所述多个视点的图像可以生成现实场景的深度图,以达到获取现实场景的三维信息的目的。
本发明实施例为了重构估计所述多个视点的图像之间的视差关系,需要得到各个视点下的观测图像。为此,首先根据各个视点下观测图像在某个变换域Ψ下的稀疏性,利用l1最优化(即非线性最优化)方法,给出一个初步的估计结果:
s.t.ΦVi=Yi (0.2)
ΦVj=Yj
在本发明实施例中,该问题的求解可以通过贪婪算法,基追踪算法,迭代阈值等多种算法进行求解,这里我们采用FISTA算法进行求解。接着,根据初步估计到的所述多个视点的图像,利用graphcut等算法估计不同视点间的视差关系di,j。
具体地,首先利用8×8的块离散余弦变换,从每个视点独立地重构各个视点观测到的图像,即利用迭代阈值算法来求解:
min|ΨV|1 (1.3)
s.tΦV=Y
其中,Y是在不同视点采集到的压缩采样数据。
接着,利用初步重构出来的所述多个视点的图像,估计所述多个视点的图像之间的视差图。
步骤S103,基于所述多个视点的图像之间的视差图以及所述多个视点 的图像对所述多个视点的图像进行联合重构。
在本发明实施例中,由于现实场景中的一点在不同视点观测到的值是相同的,因此根据步骤S102中所估计到的视差关系di,j,并结合图像本身的稀疏性,本发明给出如下的目标函数:
min|ΨVi|1+|ΨVj|1
s.tΦVi=Yi
(1.4)
ΦVi=Y
Vi(p)=Vj(p+di,j,p)p∈P,
其中,Ψ为变换域,Vi和Vj是在视点i和j观测到的图像,di,j,p为视点i和j之间的视差图。但是由于遮挡,光照变化等因素的影响,现实场景中的某些点在不同视点之间存在一些差异。为了剔除这些奇异点,本发明利用一范数对奇异点进行约束:
s.tΦVi=Yi (1.5)
ΦVj=Yj
其中,P是能够在不同视点间找到对应点的像素集合,λ是规整化参数,当λ将左右视点对应像素差异的一范数值规整化到与图像在变换域上的一范数值相当时,可以达到最好的重构质量。为了求解式(1.5),本发明将其转化为如下的无约束最优化问题进行求解:
(1.6)
min|ΨVi|1+|ΨVj|1+λ|E|1+λ2(||ΦVi-Yi||2+||ΦVj-Yj||2
(1.7)
+||Vi(p)-Vj(p+di,j,p)-E||2)
其中,Ψ为变换域,Vi和Vj是在视点i和j观测到的图像,λ和λ2为规整化参数,di,j,p为视点i和j之间的视差图,E为中间变量,其中, 上述问题是一个在二范数和一范数混合约束下的凸优化问题,可以利用FISTA方法方便的进行求解到一个最优解。
具体地,在本发明实施例中联合重构具体包括:
1)、在联合重构中,先根据所述基手所述多个视点的图像之间的视差图确定规整化参数,在优选实施例中,可取规整化参数
2)、利用迭代阈值算法FISTA求解如下的最优化问题,从而实现所述多个视点的图像的联合重构:
min|ΨVi|1+|ΨVj|1+λ|E|1+λ2(||ΦVi-Yi||2+||ΦVj-Yj||2+||Vi(p)-Vj(p+di,j,p)-E||2)。
3)、根据联合重构的结果,利用步骤S102中的视差估计方法重新计算视差,利用步骤1)中的规整化参数计算方法重新计算规整化参数。
4)、重复上述步骤2)-3),直至重构结果不再发生变化。
本发明实施例能够从初步重构结果中准确估计不同视点图像之间的视差关系,并在多视点压缩成像的重构中利用所估计的视差关系充分挖掘了不同视点图像之间的相关性,增强了所重构信号的精度。另外,本发明实施例的方法和***还具有较好的收敛性。
如图3所示,为本发明实施例的基于压缩采样的多视点图像联合重构***结构图。该***包括采集模块100、视差图获得模块200和视差图获得模块300。采集模块100用于通过多个压缩感知数据采集设备获得现实场景的多个视点的图像。视差图获得模块200用于根据获得的所述多个视点的图像计算所述多个视点的图像之间的视差图。视差图获得模块300用 于基于视差图获得模块200获得的多个视点的图像之间的视差图以及所述多个视点的图像对所述多个视点的图像进行联合重构。
在本发明的一个实施例中,视差图获得模块200包括图像初步重构子模块210和视差图获得子模块220。图像初步重构子模块210用于根据8×8的块离散余弦变换,从每个视点独立地初步重构多个视点观测到的图像。视差图获得子模块220根据图像初步重构子模块初步重构的多个视点的图像,获得所述多个视点的图像之间的视差图。
本发明采用峰值信噪比(PSNR)来客观衡量算法的重构效果。表1为针对不同测度数下,本发明方法和独立重构方法重构结果的客观评价指标。其中Doll_b和Doll_r是对基准视点和参考视点独立恢复的结果,Doll_Jb和Doll_Jr是用本发明提出的联合重构方法重构出的结果。
表1
20% | 30% | 40% | 50% | |
Doll_b | 23.4 | 26.3 | 28.8 | 31.2 |
Doll_Jb | 25.1 | 28.2 | 29.5 | 31.6 |
Doll_r | 25.3 | 26.3 | 28.6 | 31.1 |
Doll_Jr | 26.3 | 28.1 | 29.2 | 31.7 |
图4(a)和(b)为传统相机拍摄的图像,图4(c)和(d)为独立重构出来的结果,图4(e)和(f)为本发明实施例重构出来的结果,从图4(e)和(f)可以看出,联合重构方法重构出来的视觉效果明显优于独立恢复的结果。
总之,无论从客观评价指标还是从视觉效果,本发明提出的联合重构方法均优于独立重构的方法,重构质量得到了较大程度的改善。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同限定。
Claims (2)
1.一种基于压缩采样的多视点图像联合重构方法,其特征在于,包括以下步骤:
通过多个压缩感知数据采集设备获得现实场景的多个视点的图像;
根据获得的所述多个视点的图像计算所述多个视点的图像之间的视差图;和
基于所述多个视点的图像之间的视差图以及所述多个视点的图像对所述多个视点的图像进行联合重构,
其中,
所述根据获得的所述多个视点的图像计算所述多个视点的图像之间的视差图进一步包括:
根据8×8的块离散余弦变换,从每个视点独立地初步重构所述多个视点观测到的图像;和
根据初步重构的多个视点的图像,获得所述多个视点的图像之间的视差图;
所述基于所述多个视点的图像之间的视差图以及所述多个视点的图像对所述多个视点的图像进行联合重构进一步包括:
根据所述基于所述多个视点的图像之间的视差图确定规整化参数;
根据确定的所述规整化参数利用快速迭代阈值算法FISTA进行最优化求解以实现所述多视点图像的联合重构;
进一步根据联合重构结果重新计算视差图,并重新确定规整化参数,以及再次进行联合重构,直至重构结果不再发生变化。
2.一种基于压缩采样的多视点图像联合重构***,其特征在于,包括:采集模块,用于通过多个压缩感知数据采集设备获得现实场景的多个视点的图像;
视差图获得模块,用于根据获得的所述多个视点的图像计算所述多个视点的图像之间的视差图;和
联合重构模块,用于基于所述视差图获得模块获得的多个视点的图像之间的视差图以及所述多个视点的图像对所述多个视点的图像进行联合重构,
其中,
所述视差图获得模块包括:
图像初步重构子模块,用于根据8×8的块离散余弦变换,从每个视点独立地初步重构所述多个视点观测到的图像;和
视差图获得子模块,根据所述图像初步重构子模块初步重构的多个视点的图像,获得所述多个视点的图像之间的视差图;
所述联合重构模块根据所述基于所述多个视点的图像之间的视差图确定规整化参数,并根据确定的所述规整化参数利用快速迭代阈值算法FISTA进行最优化求解以实现所述多视点图像的联合重构,以及进一步根据联合重构结果重新计算视差图,并重新确定规整化参数和再次进行联合重构,直至重构结果不再发生变化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102121873A CN101901493B (zh) | 2010-06-21 | 2010-06-21 | 基于压缩采样的多视点图像联合重构方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102121873A CN101901493B (zh) | 2010-06-21 | 2010-06-21 | 基于压缩采样的多视点图像联合重构方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101901493A CN101901493A (zh) | 2010-12-01 |
CN101901493B true CN101901493B (zh) | 2011-11-30 |
Family
ID=43227000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010102121873A Expired - Fee Related CN101901493B (zh) | 2010-06-21 | 2010-06-21 | 基于压缩采样的多视点图像联合重构方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101901493B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102279394B (zh) * | 2011-05-17 | 2013-06-26 | 西安电子科技大学 | 低频窄带高分辨超声探测成像方法 |
CN102387365B (zh) * | 2011-10-28 | 2013-09-18 | 天津大学 | 一种基于压缩传感的图像自适应编码方法 |
CN102523450B (zh) * | 2011-12-30 | 2014-01-08 | 清华大学 | 压缩采样方法及装置 |
CN103618907B (zh) * | 2013-11-08 | 2017-01-04 | 天津大学 | 基于压缩感知多视点分布式视频编码及帧排列装置及方法 |
CN106530367B (zh) * | 2016-09-29 | 2019-03-08 | 天津大学 | 一种基于Firm阈值迭代的电学层析成像稀疏重建方法 |
CN115496993B (zh) * | 2022-09-09 | 2023-07-14 | 锋睿领创(珠海)科技有限公司 | 基于频域融合的目标检测方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6055274A (en) * | 1997-12-30 | 2000-04-25 | Intel Corporation | Method and apparatus for compressing multi-view video |
CN101436250A (zh) * | 2008-11-19 | 2009-05-20 | 西安电子科技大学 | 基于非线性张量分解与视角流形的多视角人脸识别方法 |
CN101719286A (zh) * | 2009-12-09 | 2010-06-02 | 北京大学 | 融合单视点场景分析的多视点三维场景重建方法及其*** |
CN101719264A (zh) * | 2009-12-28 | 2010-06-02 | 清华大学 | 一种多视角动态场景采集的视觉场计算方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090113281A (ko) * | 2007-01-24 | 2009-10-29 | 엘지전자 주식회사 | 비디오 신호 처리 방법 및 장치 |
-
2010
- 2010-06-21 CN CN2010102121873A patent/CN101901493B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6055274A (en) * | 1997-12-30 | 2000-04-25 | Intel Corporation | Method and apparatus for compressing multi-view video |
CN101436250A (zh) * | 2008-11-19 | 2009-05-20 | 西安电子科技大学 | 基于非线性张量分解与视角流形的多视角人脸识别方法 |
CN101719286A (zh) * | 2009-12-09 | 2010-06-02 | 北京大学 | 融合单视点场景分析的多视点三维场景重建方法及其*** |
CN101719264A (zh) * | 2009-12-28 | 2010-06-02 | 清华大学 | 一种多视角动态场景采集的视觉场计算方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101901493A (zh) | 2010-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101901493B (zh) | 基于压缩采样的多视点图像联合重构方法和*** | |
Zhang et al. | Adaptive compressed sensing for wireless image sensor networks | |
CN101980537B (zh) | 一种基于对象和分形的双目立体视频压缩编解码方法 | |
CN102630011A (zh) | 一种视频传感器网络中的压缩感知编解码方法及*** | |
CN102970529B (zh) | 一种基于对象的多视点视频分形编码压缩与解压缩方法 | |
CN102291579B (zh) | 一种快速的多目立体视频分形压缩与解压缩方法 | |
CN102075749B (zh) | 压缩感知框架下基于非凸模型的图像压缩重构方法 | |
CN101521823B (zh) | 空间相关的全景数据压缩方法 | |
CN109461122B (zh) | 一种基于多视点图像的压缩感知图像重建方法 | |
CN110392258A (zh) | 一种联合时空边信息的分布式多视点视频压缩采样重建方法 | |
CN102915562A (zh) | 基于压缩感知多视角目标跟踪和3d目标重建***及方法 | |
CN103220545A (zh) | 一种立体视频实时深度估计***硬件实现方法 | |
CN108924148A (zh) | 一种多源信号协同压缩感知数据恢复方法 | |
CN101662695B (zh) | 一种获取虚拟视图的方法和装置 | |
Han et al. | Multi image fusion based on compressive sensing | |
Reddy et al. | Compressed sensing for multi-view tracking and 3-D voxel reconstruction | |
CN102316323B (zh) | 一种快速的双目立体视频分形压缩与解压缩方法 | |
CN113284202A (zh) | 一种基于内容自适应的可伸缩网络的图像压缩感知方法 | |
CN106887026A (zh) | 基于压缩感知和正交调制实现多图像压缩和重建的方法 | |
CN108288295A (zh) | 基于结构信息的红外小目标图像的快速重构方法及*** | |
CN106559670A (zh) | 一种改进的分块视频压缩感知算法 | |
EP3144888A1 (en) | An apparatus and a method for generating data representing a pixel beam | |
CN104243986B (zh) | 基于数据驱动张量子空间的压缩视频采集与重构*** | |
CN101986347A (zh) | 一种立体视觉的序列重构方法 | |
CN111397733A (zh) | 一种单/多帧快照式光谱成像方法、***及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111130 |
|
CF01 | Termination of patent right due to non-payment of annual fee |