CN101363712A - 用于三维彩色数字化***标定的动态精密靶标 - Google Patents

用于三维彩色数字化***标定的动态精密靶标 Download PDF

Info

Publication number
CN101363712A
CN101363712A CNA200810054313XA CN200810054313A CN101363712A CN 101363712 A CN101363712 A CN 101363712A CN A200810054313X A CNA200810054313X A CN A200810054313XA CN 200810054313 A CN200810054313 A CN 200810054313A CN 101363712 A CN101363712 A CN 101363712A
Authority
CN
China
Prior art keywords
target
riser
calibration
dimensional
universal stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200810054313XA
Other languages
English (en)
Other versions
CN100582651C (zh
Inventor
葛宝臻
李晓洁
魏耀林
田庆国
吕且妮
项晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN200810054313A priority Critical patent/CN100582651C/zh
Publication of CN101363712A publication Critical patent/CN101363712A/zh
Application granted granted Critical
Publication of CN100582651C publication Critical patent/CN100582651C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明用于三维彩色数字化***标定的动态精密靶标由立板靶标、旋转台和二维平移台组成。使用该靶标可以通过对二维平移台和旋转台的控制实现立板靶标的精确定位,形成用于标定的三维空间坐标点(Xw,Yw,Zw)。将传感器获得的对应图像处理后可以得到像素坐标(Xf,Yf),由一定数量的标定点对((Xf,Yf)和(Xw,Yw,Zw))可通过标定算法完成摄像机的标定。本发明的靶标可以实现在水平面内任意形式的精密移动,在不同方位上得到数量足够多的三维标定点,不仅可用于摄像机内外参数的局部标定和多个三维传感器的全局标定,而且可用于多个三维传感器和彩色传感器的同时标定,是一种快速、准确、能实现自动标定的精密动态靶标。

Description

用于三维彩色数字化***标定的动态精密靶标
【技术领域】:本发明涉及一种检测装置,特别涉及一种用于三维彩色数字化***标定的动态精密靶标。
【背景技术】:目前,摄像机普遍的使用在科学、工业生产等各个领域,用于实现物体的三维重建与测量。在重建或测量之前,需要通过标定过程来确定摄像机所获得的二维图像坐标(Xf,Yf)与物体空间坐标(Xw,Yw,Zw)之间的关系,即实现局部标定(LocalCalibration)和全局标定(Global Calibration)。除了自标定技术外,大多数摄像机的标定都要通过制作空间坐标已知的精密靶标实现。靶标的精度决定了摄像机和传感器标定的精度,从而也决定三维数字化***重建与测量的精度。
典型的三维彩色数字化***由获得三维信息的三维传感器和获得颜色信息的彩色传感器组成。每个三维传感器包含一个半导体线结构激光器和两个呈一定角度放置的黑白摄像机,每个彩色传感器就是一个彩色摄像机。多组三维传感器和多组彩色传感器分布在被测物体周围,三维传感器自上而下同步运动完成对物体三维信息的扫描,彩色传感器获取颜色信息附加到重建出的三维物体表面上得到物体三维彩色数字化结果。为了得到正确的三维彩色数字化结果,必须保证所有摄像机标定时的空间坐标系一致,这就要求具有能同时实现三维传感器和彩色传感器标定的靶标。
【发明内容】:本发明的目的是提供一种可用于三维彩色数字化***标定的动态精密靶标。其中,三维传感器的标定可以采用空间共面的标定点对((Xf,Yf)和(Xw,Yw)),而彩色传感器标定通常采用的BP神经网络方法不仅需要XOY平面内的坐标(Xw,Yw),还需要高度Z方向的信息Zw,这就要求三维彩色数字化***的标定靶必须是三维的。动态三维精密靶标可以根据使用需要得到足够多数量的标定点对((Xf,Yf)和(Xw,Yw,Zw)),从而完成对***的标定。
本发明提供的用于三维彩色数字化***标定的动态精密靶标,包括:
立板靶标:由立板、底板和曲板组成,曲板的一组邻边相互垂直,使用两块曲板将立板与底板连接,立板上加工有用于Z方向定位的均匀分布的精确的几何形状(如圆孔或矩形等规则图形),在保证立板与底板之间垂直度的同时实现立板在YOZ平面内的精确定位;
旋转台:用于完成不同方位摄像机的标定,旋转台的上表面与立板靶标的底板连接,旋转台的底座与二维平移台的滑块连接,这样既能保证旋转台带动立板靶标跟随二维平移台的滑块在二维平面内做平移运动,又能保证立板靶标随旋转台做平面内的旋转运动;
二维平移台:由两个一维精密平移台组成平面内正交的二维平移台,二维平移台的滑块与旋转台的底座连接,实现XOY平面内的精确定位。
本发明的优点和积极效果:
本发明设计了用于三维彩色数字化***标定的动态精密靶标。该靶标由立板靶标、旋转台和二维平移台三部分组成。二维平移台可以实现在XOY平面内的精确定位;立板靶标由曲板、底板和立板组成,可实现YOZ平面内的定位;在二维平移台和立板靶标之间增加平面旋转机构——旋转台,组成三维动态精密靶标。使用该靶标可以通过对二维平移台和旋转台的控制实现立板靶标的精确定位,形成用于***标定的三维空间坐标点(Xw,Yw,Zw)。将传感器获得的对应图像处理后可以得到像素坐标(Xf,Yf),由一定数量的标定点对((Xf,Yf)和(Xw,Yw,Zw))可通过标定算法完成摄像机的标定。本发明的靶标可以实现在水平面内任意形式的精密移动,在不同方位上得到数量足够多的三维标定点,不仅可用于摄像机内外参数的局部标定和多个三维传感器的全局标定,而且可用于多个三维传感器和彩色传感器的同时标定,是一种快速、准确、能实现自动标定的精密动态靶标。
【附图说明】:
图1是本发明的动态精密靶标的示意图;
图2是本发明的动态精密靶标的立板靶标部分示意图,其中图2a为左视图,图2b为正视图,图2c为俯视图;
图3是三维彩色数字化***中传感器分布位置的示意图;
图4是利用该靶标实现动态精密自动标定的流程图;
图5是在某一位置彩色摄像机采集的图像;
图6是图5所示图像经过二值化和提取轮廓后得到的图像;
图7是图6所示图像提取特征轮廓并确定中心点后的结果;
图8是二维平移台做同心圆运动时所获得的世界坐标;
图9是与图8各位置对应的某CCD获得的图像中一个特征轮廓的中心坐标。
其中,1 立板靶标,2 旋转台,3 二维平移台,4 立板,5 底板,6 曲板。
【具体实施方式】:
实施例1:
如图1所示,本发明用于三维彩色数字化***标定的动态精密靶标由三部分组成:立板靶标1、旋转台2和二维平移台3,下面分别介绍每一部分的实现方法和作用:
1.立板靶标:用于在高度Z方向的精确定位,由立板4、底板5和曲板6组成,如图2所示,曲板的一组邻边相互垂直,用两块曲板将立板与底板连接固定在一起。
立板的尺寸根据摄像机的视场角和物体距摄像机的距离而定,在高度方向视成像大小等间距的加工有用于Z方向定位的均匀分布的精确的几何形状(如圆孔或矩形等规则图形)。从下向上依次确定为形状1、形状2...,位于最下面的几何形状中心距底边距离、几何形状的大小、相邻几何形状的中心距、几何形状中心的直线度公差、立板表面的平面度公差、平行度公差等参数根据***要求的分辨率确定(通常标定靶的精度要比***要求的分辨率高)。如在本发明设计的靶标中,立板尺寸为100mm(长)*10mm(宽)*1475mm(高),在高度方向等间距的加工29个圆形通孔,从下向上依次确定为圆孔1、圆孔2...圆孔29。位于最下面的圆孔中心距底边50±0.02mm,圆孔的直径为30±0.05mm,相邻圆孔的中心距为50±0.02mm,圆孔中心的直线度公差为0.05,立板表面的平面度公差为0.5,平行度公差为0.04。使用低碳钢做材料,通过数控机床的精密机械加工保证上述参数。在立板两边加工安装孔,用于立板的固定安装。
底板使用钢质材料,两个表面均磨平。上面加工螺孔和通孔,螺孔用于底板与曲板的连接,通孔用于底板与旋转台的连接。
利用曲板自身的特点,用于连接立板与底板可以保证它们的垂直度。将曲板底面和垂直面分别与立板靶标的底板与立板紧固连接,即可完成立板靶标的安装,实现立板在YOZ平面内的精确定位。
2.旋转台:可实现在XOY平面内任意角度的旋转。旋转台2的底座与二维平移台3的滑块连接,上表面与底板5连接,既能保证旋转台带动立板靶标在二维平面内做平移运动,又能保证立板靶标跟随旋转台作旋转运动。
3.二维平移台:由两个一维平移台组成,装有光栅尺形成运动的闭环控制。两个平移台之间靠滑块连接,调整好各自的平面度与它们之间的垂直度,即可组成二维精密定位机构。
安装方法:先将立板4与底板5通过曲板6连接好,调整好垂直度后紧固连接,完成立板靶标的安装。再将二维平移台固定到待标定***中的平台上,旋转台放到二维平移台滑块上,旋转台底座与二维平移台滑块紧固。立板靶标放到旋转台上,将立板靶标的底板与旋转台的上表面固定,调整平面度、垂直度到需要的范围即可完成动态精密标定靶的安装。
使用该靶标可以实现三维彩色数字化***中多组传感器的标定。下面以四组三维传感器和四组彩色传感器组成的三维彩色数字化***为例,阐述使用该靶标实现自动标定的过程。***中传感器的位置分布如图3所示,其中B1、B2、B3、B4为三维传感器,C1、C2、C3、C4为彩色传感器,每组三维传感器和对应的彩色传感器呈一定的角度。在本***中,每组三维传感器和对应的彩色传感器夹角为45°。
使用本发明的靶标可以按照以下步骤分别完成对彩色传感器和三维传感器的自动标定,其流程图如图4所示:
(一)、对彩色传感器的自动标定:
1.调整位置:调整旋转台使立板靶标的表面垂直位于对角的两个传感器(如C1和C3)的连线。
2.确定标定点对:
1)像素坐标(Xf,Yf)的确定:
设定某一位置为二维平移台的原点,使二维平移台回到原点。控制二维平移台运动(可以进行同心圆、不同边长矩形等任何形式的运动)。设定每次运动的角度或运动距离,每运动完一个已知的角度或距离停止运动,等待两个彩色传感器(C1和C3)各采集完一幅图像后继续运动,由此反复,直到遍历设定的所有位置,最后得到一系列传感器的图像。
在某一时刻彩色传感器得到的图像如图5所示(以带圆孔的立板靶标为例),对该图像使用图像处理算法二值化,求出不同点的轮廓,处理后的结果如图6所示。再通过对椭圆或圆提取中心点坐标,得到的结果如图7所示,图中+为最后确定的中心点位置。对所有彩色传感器的图像按上述方法处理,可得到一组圆孔中心点的像素坐标。
2)世界坐标(Xw,Yw,Zw)的确定:
设定立板靶标底边为高度方向的原点,由已知位于最下面的几何形状中心距底边距离L、相邻几何形状的中心距S,根据立板靶标上几何形状的序号K就可得到该圆孔中心的Z坐标为Zw(K)=L+(K-1)*S(mm)。
处于对角线的两个摄像机同时标定时,要注意将它们的三维坐标统一到一个坐标系下。设在采集每幅图像时刻立板靶标在XOY平面内二维平移台上两个光栅尺的读数为(Xw0,Yw0),立板靶标厚度为d。若选定C1所对应的靶标面上几何形状的中心线与XOY平面的交点为XOY平面的原点,两个平移台分别为X轴和Y轴时,C1摄像机在拍摄图像时靶标在XOY平面的坐标就是(Xw0,Yw0);而C3摄像机在拍摄图像时靶标对应的实际空间坐标(Xw,Yw)与光栅尺反馈坐标(Xw0,Yw0)的空间距离相差为d,设立板靶标与X轴正向夹角为α,则根据几何关系能够得到Xw=Xw0-d×sin α,Yw=Yw0-d×cos α。由此,就可以得到两组传感器拍摄的图像中每个圆孔中心对应的三维世界坐标。
对于每一幅图像,彩色传感器能得到至少2个标定点对(视视场角大小和距离远近有所差别)。根据需要精密移动二维平移台,设置运动的步长或间距就可得到一组图像和一系列对应的坐标点,从而得到足够多的数据点对((Xf,Yf)和(Xw,Yw,Zw))。利用这些点对,使用标定算法就可以获得彩色摄像机的标定结果。
3.完成***中其他传感器的标定:
调整旋转台旋转一定角度,使立板靶面垂直于另外两个三维传感器(C2和C4)连线,重复过程1-2,完成此方向摄像机的标定。设旋转台顺时针旋转角度θ,则旋转后的实际空间坐标Xw=Xw0×cosθ,Yw=Yw0×sinθ,其中Xw0、Yw0为光栅尺反馈的坐标。
(二)、对三维传感器的自动标定:
对于三维传感器的标定与彩色传感器的标定过程大致相同,可以按照上述步骤完成。区别在于三维传感器仅需要某一个平面内的标定点对((Xf,Yf)和(Xw,Yw))。因此,在步骤2的1)中,可以在每一位置采集到的图像中选定某一个圆孔,使用相同方法仅提取该圆孔的轮廓信息,最后找出整个平面内运动的每一点对应的该圆孔中心的像素坐标。对于每一幅图像,三维传感器能得到一个标定点对。图8是二维平移台做同心圆运动时的世界坐标(Xw,Yw),图9是对应的位置三维传感器中一个摄像机获得图像中某一圆孔的像素坐标(Xf,Yf)。
由此,即可完成对***中所有三维传感器和彩色传感器的自动标定。
当同一组三维传感器和彩色传感器的夹角较小(如B1和C1),以至于当靶标正对三维传感器时彩色传感器也可以采集到靶标图像,这时可以同时标定这一组三维传感器和彩色传感器。

Claims (1)

1、一种用于三维彩色数字化***标定的动态精密靶标,其特征在于该动态精密靶标包括:
立板靶标:由立板、底板和曲板组成,曲板的一组邻边相互垂直,使用两块曲板将立板与底板连接,立板上加工有用于Z方向定位的均匀分布的精确的几何形状,在保证立板与底板之间垂直度的同时实现立板在YOZ平面内的精确定位;
旋转台:用于完成不同方位摄像机的标定,旋转台的上表面与立板靶标的底板连接,旋转台的底座与二维平移台的滑块连接,这样既能保证旋转台带动立板靶标跟随二维平移台的滑块在二维平面内做平移运动,又能保证立板靶标随旋转台做平面内的旋转运动;
二维平移台:由两个一维精密平移台组成平面内正交的二维平移台,二维平移台的滑块与旋转台的底座连接,实现XOY平面内的精确定位。
CN200810054313A 2008-08-27 2008-08-27 用于三维彩色数字化***标定的动态精密靶标 Expired - Fee Related CN100582651C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200810054313A CN100582651C (zh) 2008-08-27 2008-08-27 用于三维彩色数字化***标定的动态精密靶标

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200810054313A CN100582651C (zh) 2008-08-27 2008-08-27 用于三维彩色数字化***标定的动态精密靶标

Publications (2)

Publication Number Publication Date
CN101363712A true CN101363712A (zh) 2009-02-11
CN100582651C CN100582651C (zh) 2010-01-20

Family

ID=40390216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810054313A Expired - Fee Related CN100582651C (zh) 2008-08-27 2008-08-27 用于三维彩色数字化***标定的动态精密靶标

Country Status (1)

Country Link
CN (1) CN100582651C (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101750014B (zh) * 2009-12-31 2011-08-31 重庆大学 正交式三坐标测量机中摄像机的标定方法
CN102980528A (zh) * 2012-11-21 2013-03-20 上海交通大学 无位姿约束线激光单目视觉三维测量传感器参数标定方法
CN103198481A (zh) * 2013-04-03 2013-07-10 天津大学 一种摄像机标定方法及其实现***
CN103750822A (zh) * 2014-01-06 2014-04-30 上海金灯台信息科技有限公司 一种用于中医望诊的激光三维图像采集装置
CN103767684A (zh) * 2014-01-06 2014-05-07 上海金灯台信息科技有限公司 一种用于中医望诊的三维图像采集装置
CN105043258A (zh) * 2015-08-25 2015-11-11 吉林大学 汽车形貌主动视觉测量激光平面的自转动标定靶标
CN105204295A (zh) * 2015-05-29 2015-12-30 中国科学院上海光学精密机械研究所 相位掩模板切换装置
CN105232069A (zh) * 2014-06-23 2016-01-13 上海理工大学 可调cbct***标定模型
CN105371764A (zh) * 2015-12-24 2016-03-02 吉林大学 汽车形貌视觉检测***的万向式定心一维标定靶标
CN105371765A (zh) * 2015-12-24 2016-03-02 吉林大学 汽车形貌视觉检测***的球面副定心一维标定靶标
CN105953748A (zh) * 2016-06-15 2016-09-21 吉林大学 基于单色背景一维靶标和结构光的汽车特征点重建***
US9928595B2 (en) 2016-02-01 2018-03-27 Canon Kabushiki Kaisha Devices, systems, and methods for high-resolution multi-view camera calibration
CN108054126A (zh) * 2017-12-21 2018-05-18 中国电子科技集团公司第四十八研究所 一种xxy定位平台的增量定位方法
CN108882586A (zh) * 2018-07-13 2018-11-23 Oppo(重庆)智能科技有限公司 壳体组件的制造方法
CN109724531A (zh) * 2018-10-18 2019-05-07 苏州光图智能科技有限公司 360°轮廓测量方法
CN110000188A (zh) * 2019-03-28 2019-07-12 北京理工大学 适用于核反应堆的探测器自动回收方法及***
CN110764246A (zh) * 2019-10-31 2020-02-07 天津大学 一种用于显微镜上拍摄大面积样品的设备及其使用方法
US10559085B2 (en) 2016-12-12 2020-02-11 Canon Kabushiki Kaisha Devices, systems, and methods for reconstructing the three-dimensional shapes of objects

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101750014B (zh) * 2009-12-31 2011-08-31 重庆大学 正交式三坐标测量机中摄像机的标定方法
CN102980528B (zh) * 2012-11-21 2015-07-08 上海交通大学 无位姿约束线激光单目视觉三维测量传感器参数标定方法
CN102980528A (zh) * 2012-11-21 2013-03-20 上海交通大学 无位姿约束线激光单目视觉三维测量传感器参数标定方法
CN103198481A (zh) * 2013-04-03 2013-07-10 天津大学 一种摄像机标定方法及其实现***
CN103198481B (zh) * 2013-04-03 2015-10-28 天津大学 一种摄像机标定方法
CN103750822A (zh) * 2014-01-06 2014-04-30 上海金灯台信息科技有限公司 一种用于中医望诊的激光三维图像采集装置
CN103767684A (zh) * 2014-01-06 2014-05-07 上海金灯台信息科技有限公司 一种用于中医望诊的三维图像采集装置
CN105232069A (zh) * 2014-06-23 2016-01-13 上海理工大学 可调cbct***标定模型
CN105232069B (zh) * 2014-06-23 2018-02-02 上海理工大学 可调cbct***标定模型
CN105204295A (zh) * 2015-05-29 2015-12-30 中国科学院上海光学精密机械研究所 相位掩模板切换装置
CN105204295B (zh) * 2015-05-29 2017-05-31 中国科学院上海光学精密机械研究所 相位掩模板切换装置
CN105043258A (zh) * 2015-08-25 2015-11-11 吉林大学 汽车形貌主动视觉测量激光平面的自转动标定靶标
CN105371764A (zh) * 2015-12-24 2016-03-02 吉林大学 汽车形貌视觉检测***的万向式定心一维标定靶标
CN105371765A (zh) * 2015-12-24 2016-03-02 吉林大学 汽车形貌视觉检测***的球面副定心一维标定靶标
US9928595B2 (en) 2016-02-01 2018-03-27 Canon Kabushiki Kaisha Devices, systems, and methods for high-resolution multi-view camera calibration
CN105953748A (zh) * 2016-06-15 2016-09-21 吉林大学 基于单色背景一维靶标和结构光的汽车特征点重建***
CN105953748B (zh) * 2016-06-15 2018-06-22 吉林大学 基于单色背景一维靶标和结构光的汽车特征点重建***
US10559085B2 (en) 2016-12-12 2020-02-11 Canon Kabushiki Kaisha Devices, systems, and methods for reconstructing the three-dimensional shapes of objects
CN108054126A (zh) * 2017-12-21 2018-05-18 中国电子科技集团公司第四十八研究所 一种xxy定位平台的增量定位方法
CN108054126B (zh) * 2017-12-21 2020-04-17 中国电子科技集团公司第四十八研究所 一种xxy定位平台的增量定位方法
CN108882586A (zh) * 2018-07-13 2018-11-23 Oppo(重庆)智能科技有限公司 壳体组件的制造方法
CN109724531A (zh) * 2018-10-18 2019-05-07 苏州光图智能科技有限公司 360°轮廓测量方法
CN110000188A (zh) * 2019-03-28 2019-07-12 北京理工大学 适用于核反应堆的探测器自动回收方法及***
CN110764246A (zh) * 2019-10-31 2020-02-07 天津大学 一种用于显微镜上拍摄大面积样品的设备及其使用方法

Also Published As

Publication number Publication date
CN100582651C (zh) 2010-01-20

Similar Documents

Publication Publication Date Title
CN100582651C (zh) 用于三维彩色数字化***标定的动态精密靶标
CN102364299B (zh) 一种多个结构光投影三维型面测量头的标定技术
Luhmann et al. Sensor modelling and camera calibration for close-range photogrammetry
Khoshelham Accuracy analysis of kinect depth data
US7136170B2 (en) Method and device for determining the spatial co-ordinates of an object
CN110793464B (zh) 大视场条纹投影视觉三维测量***和方法
CN109215108B (zh) 基于激光扫描的全景三维重建***及方法
KR101600769B1 (ko) 대상의 형상에 대한 멀티프레임 표면 측정을 위한 시스템 및 방법
EP2839238B1 (en) 3d scanner using merged partial images
Davis et al. A laser range scanner designed for minimum calibration complexity
CN106612390B (zh) 具有双成像模块的摄像模组及其光轴平行度调整方法
CN107941153B (zh) 一种激光测距优化标定的视觉***
CN102980526A (zh) 用黑白相机获取彩色图像的三维扫描仪及其扫描方法
CN111288891B (zh) 非接触式三维测量定位***、方法及存储介质
CN113048888A (zh) 基于双目视觉的远距离三维位移测量方法及***
CN109272555A (zh) 一种rgb-d相机的外部参数获得及标定方法
JP6035031B2 (ja) 複数の格子を用いた三次元形状計測装置
CN105678847B (zh) 线激光用于slm显微立体视觉的小尺度物体表面重构方法
CN108322736B (zh) 一种多个线阵相机绕视轴旋转角度校准的校准板和校准方法
CN202770413U (zh) 用黑白相机获取彩色图像的三维扫描仪
CN116205994A (zh) 一种应用于放疗室的3d点云相机标定方法
CN114279325B (zh) 视觉测量模块测量坐标系空间位置关系标定***及方法
CN114565720A (zh) 一种基于线结构光旋转扫描的主动式三维重建***及方法
CA2499241A1 (en) Imaging head and imaging system
CN106091930B (zh) 一种基于双相机测量***及结构光传感器的实时在线测量方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100120

Termination date: 20210827