CN101894272A - 两凝胶图像间的蛋白质点自动匹配方法 - Google Patents

两凝胶图像间的蛋白质点自动匹配方法 Download PDF

Info

Publication number
CN101894272A
CN101894272A CN2010102485884A CN201010248588A CN101894272A CN 101894272 A CN101894272 A CN 101894272A CN 2010102485884 A CN2010102485884 A CN 2010102485884A CN 201010248588 A CN201010248588 A CN 201010248588A CN 101894272 A CN101894272 A CN 101894272A
Authority
CN
China
Prior art keywords
gel images
protein spots
characteristic
protein
spots
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010102485884A
Other languages
English (en)
Other versions
CN101894272B (zh
Inventor
熊邦书
何华勤
吴槐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FUZHOU ZHANXU ELECTRONIC Co Ltd
Original Assignee
FUZHOU ZHANXU ELECTRONIC Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FUZHOU ZHANXU ELECTRONIC Co Ltd filed Critical FUZHOU ZHANXU ELECTRONIC Co Ltd
Priority to CN2010102485884A priority Critical patent/CN101894272B/zh
Publication of CN101894272A publication Critical patent/CN101894272A/zh
Application granted granted Critical
Publication of CN101894272B publication Critical patent/CN101894272B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Peptides Or Proteins (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像配准技术领域，特别是一种两凝胶图像间的蛋白质点自动匹配方法，其特征在于：该方法包括如下步骤：1)分别对两凝胶图像的蛋白质点进行检测与量化；2)两凝胶图像中任选一副，在中间区域中统计所有两邻近蛋白质点间的距离，并以它们的均值作为匹配距离的阈值；3)提取两凝胶图像的特征蛋白质点；4)利用特征蛋白质点间线段距离和角度，结合统计方法对两凝胶图像间的特征蛋白质点进行匹配；5)利用邻近已匹配到的特征蛋白质点进行局部坐标变换，将两凝胶图像间的蛋白质点变换到同一坐标系中；6)两凝胶图像间蛋白质点的匹配。该方法不仅鲁棒性、精度高，而且智能化程度高。

Description

两凝胶图像间的蛋白质点自动匹配方法
技术领域
本发明涉及图像配准技术领域，特别是一种两凝胶图像间的蛋白质点自动匹配方法。
背景技术
基于凝胶图像的蛋白质点分析方法是分子生物学研究领域的重要内容之一，不同凝胶图像间的蛋白质点匹配是蛋白质点分子分析的关键环节，是样本中差异蛋白质点的提取和质谱分析的前提，在人类心血管疾病、神经***疾病、传染病、肿瘤等重大疾病诊断中有广泛的应用前景。
差异蛋白质点的提取和质谱分析的前提是两凝胶图像间的蛋白质点匹配，匹配的精度直接影响了后续的分析和疾病的诊断。医学影像设备由于不同时间、不同传感器或不同视角下获取的同一场景图像，或多或少会给图像带来一定的形变，给凝胶图像间的蛋白质点自动匹配带来了一定的难度。
凝胶图像间蛋白质点的自动匹配精度决定于特征蛋白质点的匹配，错误的特征蛋白质点匹配影响整个匹配精度。传统特征点匹配通常采用不相似测度SSD(sum of square differences—误差平方和)和相似测度NCC（normalized cross correlartion——归一化互相关）来匹配，对疏松的特征点匹配效果很好，但对密集的特征点匹配效果不佳，由于凝胶图像的特征蛋白质点分布疏密不均，传统的匹配方法很难适用，容易造成特征蛋白质点的误匹配，进而影响两凝胶图像间蛋白质点的匹配精度。
发明内容
本发明的目的在于克服现有技术的不足，提供一种两凝胶图像间的蛋白质点自动匹配方法，该方法不仅鲁棒性、精度高，而且智能化程度高。
为实现上述目的，本发明的技术方案是：一种两凝胶图像间的蛋白质点自动匹配方法，其特征在于：该方法包括如下步骤：
（1）分别对两凝胶图像的蛋白质点进行检测与量化；
（2）两凝胶图像中任选一副，在中间区域中统计所有两邻近蛋白质点间的距离，并以它们的均值作为匹配距离的阈值；
（3）提取两凝胶图像的特征蛋白质点；
（4）利用特征蛋白质点间线段距离和角度，结合统计方法对两凝胶图像间的特征蛋白质点进行匹配；
（5）利用邻近已匹配到的特征蛋白质点进行局部坐标变换，将两凝胶图像间的蛋白质点变换到同一坐标系中；
（6）两凝胶图像间蛋白质点的匹配。
本发明的有益效果是：利用特征蛋白质点间线段距离和角度，结合统计方法对特征蛋白质点进行匹配，从而改善了特征蛋白质点匹配的鲁棒性，提高了特征蛋白质点的匹配精度。同时，将两凝胶图像间的蛋白质点基于邻近匹配到的特征蛋白质点进行局部坐标变换，降低了因图像局部扭曲形变带来的匹配误差，提高了两凝胶图像间的蛋白质点的匹配精度。因此，本发明的自动匹配方法具有鲁棒性好、精度高、智能化等优点，应用前景广阔。
附图说明
图1是本发明的工作流程图。
具体实施方式
本发明的两凝胶图像间的蛋白质点自动匹配方法，如图1所示，该方法包括如下步骤：
（1）分别对两凝胶图像的蛋白质点进行检测与量化；
（2）两凝胶图像中任选一副，在中间区域中统计所有两邻近蛋白质点间的距离，并以它们的均值作为匹配距离的阈值；
（3）提取两凝胶图像的特征蛋白质点；
（4）利用特征蛋白质点间线段距离和角度，结合统计方法对两凝胶图像间的特征蛋白质点进行匹配；
（5）利用邻近已匹配到的特征蛋白质点进行局部坐标变换，将两凝胶图像间的蛋白质点变换到同一坐标系中；
（6）两凝胶图像间蛋白质点的匹配。
在步骤（3）中，两凝胶图像间特征蛋白质点的提取方法如下：利用体积排序法分别对两凝胶图像的蛋白质点按体积从大到小进行排序，在其中一副凝胶图像A中提取前m个特征蛋白质点P Ai （0≤i＜m），在另一副凝胶图像B中提取前n个特征蛋白质点P Bj （0≤j＜n，m≤m）。
在步骤（4）中，为提高特征蛋白质点的匹配精度，两凝胶图像间特征蛋白质点的匹配方法具体如下：首先，利用特征蛋白质点间线段距离和角度进行线段匹配，并以匹配到的线段对为基准进行特征蛋白质点匹配，根据匹配特征蛋白质点的统计结果排除误匹配的线段对；然后，以匹配到的线段对为基准变换包括所有特征蛋白质点的外接矩形中心坐标，并采用网格区域划分法，利用变换后的矩形中心坐标计算每个网格节点的累积得分和得分最高的网格节点，利用得分最高的网格节点及邻近的四个网格节点计算加权中心坐标，通过中心坐标与加权中心坐标的欧式距离去除误匹配的线段对；最后，以匹配到的线段对为基准，进行特征蛋白质点匹配，统计并选择特征蛋白质点匹配对。
下面对本发明涉及的各个步骤作进一步说明。
本发明的工作流程如图1所示，其具体实施步骤如下。
1、凝胶图像的蛋白质点检测与量化
本发明利用分水岭方法，分别对凝胶图像A和凝胶图像B进行蛋白质点检测，得到蛋白质点的坐标、体积、面积和峰度等信息的量化值。
2、匹配距离阈值的计算
在两凝胶图像中任选一副图像，在中间区域中统计所有两邻近蛋白质点间的距离，并以它们的均值作为匹配距离的阈值，匹配距离阈值                                                
Figure 586178DEST_PATH_IMAGE001
，
Figure 441002DEST_PATH_IMAGE001
的计算公式如下：
Figure 220739DEST_PATH_IMAGE002
其中表示区域中的蛋白质点总数，
Figure 554954DEST_PATH_IMAGE004
表示蛋白质点
Figure 377416DEST_PATH_IMAGE005
与其最近蛋白质点间的距离。
3、两凝胶图像的特征蛋白质点提取
本发明利用蛋白质点的体积分别对两凝胶图像的蛋白质点进行从大到小排序，在凝胶图像A中提取前
Figure 769084DEST_PATH_IMAGE006
个特征蛋白质点
Figure 154934DEST_PATH_IMAGE007
，在凝胶图像B中提取前
Figure 823813DEST_PATH_IMAGE008
个特征蛋白质点
Figure 754860DEST_PATH_IMAGE009
。
4、两凝胶图像间的特征蛋白质点匹配
1)构造特征蛋白质点线段：构造凝胶图像A中特征蛋白质点的所有线段(
Figure 433152DEST_PATH_IMAGE011
为凝胶图像A中
Figure 894220DEST_PATH_IMAGE012
个特征蛋白质点构成的线段总数)，同样的方法构造凝胶图像B中的特征蛋白质点的所有线段
Figure 511015DEST_PATH_IMAGE013
(
Figure 752641DEST_PATH_IMAGE014
)。
2)线段(
Figure 608918DEST_PATH_IMAGE016
)与线段
Figure 131035DEST_PATH_IMAGE013
(
Figure 859957DEST_PATH_IMAGE014
)进行匹配，匹配包括长度和角度匹配，根据线段相似因子，两线段匹配到的条件为：
l       
Figure 374432DEST_PATH_IMAGE018
l       
Figure 333030DEST_PATH_IMAGE019
,
Figure 283668DEST_PATH_IMAGE020
为
Figure 103857DEST_PATH_IMAGE021
与
Figure 456340DEST_PATH_IMAGE022
的夹角
3)若2)中的
Figure 585839DEST_PATH_IMAGE010
与
Figure 23774DEST_PATH_IMAGE013
匹配到了，同时以
Figure 382074DEST_PATH_IMAGE010
和
Figure 854644DEST_PATH_IMAGE013
为基准进行特征点的匹配。计算匹配到的特征蛋白质点数目
Figure 155044DEST_PATH_IMAGE023
，若则认为
Figure 242266DEST_PATH_IMAGE010
与
Figure 303763DEST_PATH_IMAGE013
为误匹配的线段对；否则以
Figure 775064DEST_PATH_IMAGE010
和
Figure 187591DEST_PATH_IMAGE013
为基准将矩形(包括图像B中个特征点的外接矩形)的中心坐标
Figure 334855DEST_PATH_IMAGE025
变换到凝胶图像A的坐标系内
Figure 611302DEST_PATH_IMAGE027
。
4)计算加权中心坐标
Figure 115096DEST_PATH_IMAGE028
：将包含所有的
Figure 964289DEST_PATH_IMAGE029
矩形划分为
Figure 351408DEST_PATH_IMAGE030
网格，共有
Figure 658892DEST_PATH_IMAGE031
节点，用
Figure 549488DEST_PATH_IMAGE032
Figure 533493DEST_PATH_IMAGE029
表示节点
Figure 142329DEST_PATH_IMAGE033
的累积得分，对
Figure 253505DEST_PATH_IMAGE026
Figure 264186DEST_PATH_IMAGE029
所落在方格子的四个网格节点进行
Figure 419093DEST_PATH_IMAGE032
累积得分，
Figure 515225DEST_PATH_IMAGE032
得分的原理：若点
Figure 164512DEST_PATH_IMAGE034
落在矩形
Figure 29700DEST_PATH_IMAGE035
中，点
Figure 355508DEST_PATH_IMAGE034
将矩形
Figure 938936DEST_PATH_IMAGE035
划分的四个小矩形分别为：
Figure 126335DEST_PATH_IMAGE036
、、
Figure 444255DEST_PATH_IMAGE038
和，则点
Figure 506069DEST_PATH_IMAGE040
、
Figure 345849DEST_PATH_IMAGE041
、
Figure 13460DEST_PATH_IMAGE042
和的得分分别为矩形面积即为：
Figure 100681DEST_PATH_IMAGE044
、
Figure 794968DEST_PATH_IMAGE045
、
Figure 633480DEST_PATH_IMAGE046
和
Figure 678796DEST_PATH_IMAGE047
。利用
Figure 11688DEST_PATH_IMAGE032
中最高的网格节点及其周围四个网格节点计算加权中心坐标
Figure 560481DEST_PATH_IMAGE048
，
Figure 835474DEST_PATH_IMAGE048
的计算公式为：
Figure 102507DEST_PATH_IMAGE049
5)利用
Figure 239090DEST_PATH_IMAGE026
和
Figure 642390DEST_PATH_IMAGE048
间的欧式距离再次排除3)中的误匹配线段对：计算
Figure 842613DEST_PATH_IMAGE027
与间的欧式距离
Figure 40693DEST_PATH_IMAGE043
，若
Figure 657488DEST_PATH_IMAGE050
，则
Figure 633534DEST_PATH_IMAGE010
与为误匹配的线段对。
6)以(
Figure 277508DEST_PATH_IMAGE016
)和
Figure 944113DEST_PATH_IMAGE013
(
Figure 209878DEST_PATH_IMAGE014
)中的匹配到的线段对为基准进行特征蛋白质点的匹配，并统计特征蛋白质点与特征蛋白质点
Figure 151606DEST_PATH_IMAGE051
匹配到的次数
Figure 367824DEST_PATH_IMAGE052
，若
Figure 437280DEST_PATH_IMAGE053
，则认为特征点与为特征蛋白质点的配对点。
5、基于邻近特征蛋白质点的局部坐标变换
将凝胶图像B中的所有蛋白质点的坐标
Figure 294881DEST_PATH_IMAGE054
(
Figure 715498DEST_PATH_IMAGE055
,
Figure 125750DEST_PATH_IMAGE056
表示图像B中所有的蛋白质点总数)以邻近匹配到的特征点为基准变换到凝胶图像A的坐标系内，变换后的坐标为
Figure 973621DEST_PATH_IMAGE057
()。
在图像B中若蛋白质点
Figure 310110DEST_PATH_IMAGE058
的坐标为
Figure 574869DEST_PATH_IMAGE059
，与它邻近的匹配到的特征蛋白质点
Figure 46171DEST_PATH_IMAGE060
的坐标为
Figure 458698DEST_PATH_IMAGE061
，在凝胶图像A中与
Figure 158800DEST_PATH_IMAGE060
对应的特征蛋白质点
Figure 527334DEST_PATH_IMAGE062
的坐标为，则蛋白质点
Figure 820092DEST_PATH_IMAGE058
经过局部偏移变换后的坐标
Figure 573153DEST_PATH_IMAGE064
为：
Figure 609242DEST_PATH_IMAGE065
6、两凝胶图像间的蛋白质点匹配
在同一坐标系内，利用欧式距离在蛋白质点
Figure 173079DEST_PATH_IMAGE066
(
Figure 560198DEST_PATH_IMAGE055
)中寻找蛋白质点
Figure 851371DEST_PATH_IMAGE067
(
Figure 7545DEST_PATH_IMAGE068
,
Figure 804600DEST_PATH_IMAGE069
表示凝胶图像A中所有的蛋白质点总数)的最近蛋白质点和在
Figure 351119DEST_PATH_IMAGE067
(
Figure 524611DEST_PATH_IMAGE068
)中寻找(
Figure 690199DEST_PATH_IMAGE055
)邻近的蛋白质点，若
Figure 724015DEST_PATH_IMAGE067
与
Figure 170039DEST_PATH_IMAGE066
互为邻近蛋白质点且之间的欧式距离小于
Figure 487757DEST_PATH_IMAGE001
，则
Figure 564298DEST_PATH_IMAGE067
与
Figure 147726DEST_PATH_IMAGE066
为配对蛋白质点。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种两凝胶图像间的蛋白质点自动匹配方法，其特征在于：该方法包括如下步骤：
（1）分别对两凝胶图像间的蛋白质点进行检测与量化；
（2）两凝胶图像中任选一副，在中间区域中统计所有两邻近蛋白质点间的距离，并以它们的均值作为匹配距离的阈值；
（3）提取两凝胶图像的特征蛋白质点；
（4）利用特征蛋白质点间线段距离和角度，结合统计方法对两凝胶图像间的特征蛋白质点进行匹配；
（5）利用邻近已匹配到的特征蛋白质点进行局部坐标变换，将两凝胶图像间的蛋白质点变换到同一坐标系中；
（6）两凝胶图像间蛋白质点的匹配。
2.根据权利要求1所述的一种两凝胶图像间的蛋白质点自动匹配方法，其特征在于：在步骤（3）中，两凝胶图像间特征蛋白质点的提取方法如下：利用体积排序法分别对两凝胶图像的蛋白质点按体积从大到小进行排序，在其中一副凝胶图像A中提取前m个特征蛋白质点P Ai （0≤i＜m），在另一副凝胶图像B中提取前n个特征蛋白质点P Bj （0≤j＜n，m≤m）。
3.根据权利要求1或2所述的一种两凝胶图像间的蛋白质点自动匹配方法，其特征在于：在步骤（4）中，两凝胶图像间特征蛋白质点的匹配方法如下：首先，利用特征蛋白质点间线段距离和角度进行线段匹配，并以匹配到的线段对为基准进行特征蛋白质点匹配，根据匹配特征蛋白质点的统计结果排除误匹配的线段对；然后，以匹配到的线段对为基准变换包括所有特征蛋白质点的外接矩形中心坐标，并采用网格区域划分法，利用变换后的矩形中心坐标计算每个网格节点的累积得分和得分最高的网格节点，利用得分最高的网格节点及邻近的四个网格节点计算加权中心坐标，通过中心坐标与加权中心坐标的欧式距离去除误匹配的线段对；最后，以匹配到的线段对为基准，进行特征蛋白质点匹配，统计并选择特征蛋白质点匹配对。
CN2010102485884A 2010-08-10 2010-08-10 两凝胶图像间的蛋白质点自动匹配方法 Expired - Fee Related CN101894272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010102485884A CN101894272B (zh) 2010-08-10 2010-08-10 两凝胶图像间的蛋白质点自动匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010102485884A CN101894272B (zh) 2010-08-10 2010-08-10 两凝胶图像间的蛋白质点自动匹配方法

Publications (2)

Publication Number Publication Date
CN101894272A true CN101894272A (zh) 2010-11-24
CN101894272B CN101894272B (zh) 2012-06-20

Family

ID=43103460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102485884A Expired - Fee Related CN101894272B (zh) 2010-08-10 2010-08-10 两凝胶图像间的蛋白质点自动匹配方法

Country Status (1)

Country Link
CN (1) CN101894272B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761454A (zh) * 2014-01-23 2014-04-30 南昌航空大学 基于蛋白点多维特征的两凝胶图像间蛋白点匹配方法
CN106023187A (zh) * 2016-05-17 2016-10-12 西北工业大学 一种基于sift特征和角度相对距离的图像配准方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004088587A1 (ja) * 2003-03-28 2004-10-14 National Institute Of Information And Communications Technology, Independent Administrative Agency 画像処理方法及び画像処理装置
WO2005071611A1 (ja) * 2004-01-27 2005-08-04 Seiko Epson Corporation 画像中の人物候補領域抽出方法及び人物候補領域抽出システム、人物候補領域抽出プログラム、並びに人物像の天地判定方法及び天地判定システム、天地判定プログラム
EP1814083A1 (en) * 2006-01-31 2007-08-01 Omron Corporation Photometric measurements using at least three light sources
CN101162503A (zh) * 2007-11-23 2008-04-16 重庆大学 利用改进Hausdorff距离提取识别人耳特征的方法
CN101350101A (zh) * 2008-09-09 2009-01-21 北京航空航天大学 多幅深度图像自动配准方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004088587A1 (ja) * 2003-03-28 2004-10-14 National Institute Of Information And Communications Technology, Independent Administrative Agency 画像処理方法及び画像処理装置
WO2005071611A1 (ja) * 2004-01-27 2005-08-04 Seiko Epson Corporation 画像中の人物候補領域抽出方法及び人物候補領域抽出システム、人物候補領域抽出プログラム、並びに人物像の天地判定方法及び天地判定システム、天地判定プログラム
EP1814083A1 (en) * 2006-01-31 2007-08-01 Omron Corporation Photometric measurements using at least three light sources
CN101162503A (zh) * 2007-11-23 2008-04-16 重庆大学 利用改进Hausdorff距离提取识别人耳特征的方法
CN101350101A (zh) * 2008-09-09 2009-01-21 北京航空航天大学 多幅深度图像自动配准方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761454A (zh) * 2014-01-23 2014-04-30 南昌航空大学 基于蛋白点多维特征的两凝胶图像间蛋白点匹配方法
CN103761454B (zh) * 2014-01-23 2017-02-08 南昌航空大学 基于蛋白点多维特征的两凝胶图像间蛋白点匹配方法
CN106023187A (zh) * 2016-05-17 2016-10-12 西北工业大学 一种基于sift特征和角度相对距离的图像配准方法

Also Published As

Publication number Publication date
CN101894272B (zh) 2012-06-20

Similar Documents

Publication Publication Date Title
Chen et al. Only look once, mining distinctive landmarks from convnet for visual place recognition
WO2020151489A1 (zh) 基于面部识别的活体检测的方法、电子设备和存储介质
CN102542058B (zh) 一种融合全局与局部视觉特征的层次化地标识别方法
JP4273359B2 (ja) 年齢推定システム及び年齢推定方法
CN105069434B (zh) 一种视频中人体动作行为识别方法
Huang et al. DoT-GNN: Domain-transferred graph neural network for group re-identification
CN103810506B (zh) 一种手写汉字笔画识别方法
Avgerinakis et al. Recognition of activities of daily living for smart home environments
US20150347804A1 (en) Method and system for estimating fingerprint pose
CN103226584B (zh) 形状描述符的构建方法及基于该描述符的图像检索方法
CN101661554A (zh) 远距离视频下的正面人体自动身份识别方法
WO2014169835A1 (zh) 一种基于手指信息的在线笔迹认证方法及***
WO2013075295A1 (zh) 低分辨率视频的服装识别方法及***
CN103699874A (zh) 基于surf流和lle稀疏表示的人群异常行为识别方法
CN109492534A (zh) 一种基于Faster RCNN的跨场景多姿态的行人检测方法
Zhang et al. Combining depth-skeleton feature with sparse coding for action recognition
Wu et al. Track-clustering error evaluation for track-based multi-camera tracking system employing human re-identification
CN112037252A (zh) 基于鹰眼视觉的目标跟踪方法及***
Yang et al. C-RPNs: Promoting object detection in real world via a cascade structure of Region Proposal Networks
CN105894022A (zh) 一种自适应分层关联多目标跟踪方法
CN101894272B (zh) 两凝胶图像间的蛋白质点自动匹配方法
CN103177264B (zh) 基于视觉词典全局拓扑表达的图像分类方法
CN104182725A (zh) 基于非接触人体生理参数测量的人脸识别跟踪***
CN110188718A (zh) 一种基于关键帧和联合稀疏表示的无约束人脸识别方法
Tan et al. Segmentation and detection of human spermatozoa using modified Pulse Coupled Neural Network optimized by Particle Swarm Optimization with Mutual Information

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120620

Termination date: 20180810