CN107194874A - 基于偏置稳像的超分辨成像***及方法 - Google Patents
基于偏置稳像的超分辨成像***及方法 Download PDFInfo
- Publication number
- CN107194874A CN107194874A CN201710383337.9A CN201710383337A CN107194874A CN 107194874 A CN107194874 A CN 107194874A CN 201710383337 A CN201710383337 A CN 201710383337A CN 107194874 A CN107194874 A CN 107194874A
- Authority
- CN
- China
- Prior art keywords
- image
- super
- resolution
- resolution imaging
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title abstract description 27
- 230000006641 stabilisation Effects 0.000 title abstract 3
- 238000011105 stabilization Methods 0.000 title abstract 3
- 238000006073 displacement reaction Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 18
- 230000003139 buffering effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000011524 similarity measure Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于偏置稳像的超分辨成像***及方法,本发明公开的基于偏置稳像的超分辨成像***包括:***成像组镜、分光镜、高帧频探测器、高分辨成像探测器及数据处理器;平行光经***成像组镜汇聚后在分光镜表面分成两路,一路由高帧频探测器成像;数据处理器根据图像数据计算位移补偿值;驱动装置驱动高分辨成像探测器成像像面移动所述位移补偿值。
Description
技术领域
本发明涉及天基成像领域,特别涉及基于偏置稳像的超分辨成像***及方法。
背景技术
随着对地成像分辨率越来越高的需求,除在光学***设计上进行技术开发外,考虑采取超分辨成像技术,从***设计上,进一步提升卫星整体的对地成像分辨率。
超分辨率重建技术利用低分辨率图像(LR)序列之间的冗余性、相似性及一些先验知识进行数据融合从而重建出一个具有更高空间分辨率的图像(HR),同时去除图像噪声、模糊等。基于重建的方法是指按照图象退化模型,利用一定的数学理论对退化图象进行反退化,得到超分辨重建图象,如频域解混叠超分辨重建方法、基于集合理论的超分辨重建方法、基于概率统计理论的超分辨重建方法等。
自1984年Tsai和Huang首次提出了利用具有亚像素位移的多帧LR图像进行HR重建的频域解混叠方法,国内外众多学者对超分辨率重建方法进行了研究并取得***的成果。所有这些方法都是希望能从一系列同一场景多帧欠采样低分辨率视觉影像来获得更高分辨率的图像,采用无噪声、无退化、大小和辐射亮度完全相同的重采样成像模型,并用相应频谱混叠公式给出了一个解混叠方法。在此基础上,研究了混入噪声和图像有模糊退化情形下的模型,并给出了加权迭代和正则化迭代两种解混叠方法。这些方法利用的是图像之间的相对位移量和不同的点扩展函数所提供的信息,而并没有利用图像分辨率差异所能提供的信息。所以进一步发展中,人们在统计先验知识的使用上也采用了新的方法,如使用了基于高斯平滑先验知识的MAP估计器来增强卫星遥感图像。
目前,将数字超分辨率成像技术应用于星载平台的典型***主要有SPOT卫星和SkySat卫星,其中,SPOT卫星主要采用了亚像元采样方式提升分辨率,而SkySat卫星主要采用光学-数字处理联合设计技术以及亚像元偏移多帧曝光采样方式提升分辨率。我国目前卫星的超分辨成像技术未见有报道。
发明内容
本发明解决的问题是现有稳像成像***结构复杂,不利于使用,且成像分辨率低;为解决所述问题,本发明提供基于偏置稳像的超分辨成像***及方法。
本发明提供的基于偏置稳像的超分辨成像***包括:***成像组镜、分光镜、高帧频探测器、高分辨成像探测器及数据处理器;平行光经***成像组镜汇聚后在分光镜表面分成两路,一路由高帧频探测器成像;数据处理器根据图像数据计算位移补偿值;驱动装置驱动高分辨成像探测器成像像面移动所述位移补偿值。
本发明提供的基于偏置稳像的超分辨成像方法,包括:
步骤一、高帧频探测器成像,数据处理器根据图像数据计算探测位移数据,形成位移补偿值;
步骤二、驱动装置驱动高分辨成像探测器成像像面移动,移动量为所述位移补偿值;
步骤三、高分辨成像探测器获取当前帧,并存入缓存,并判断缓存内图像数是否达到预设量,如果达到则对缓存内图像做超分辨处理;如果没有达到则进入步骤四;
步骤四、驱动高分辨成像探测器成像像面移动,移动量为所述位移补偿值与固定偏置之和;高分辨成像探测器再次获取当前帧图像;
步骤五、再次判断缓存内图像数是否达到预设量,达到则对缓存内图像做分辨处理;没达到则回到步骤四。
进一步,所述分辨处理包括:
步骤5.1、对缓冲内图像进行图像配准,形成低分序列图像;
步骤5.2、对所述低分序列图像进行超分辨重建。
进一步,所述步骤5.1包括:以缓冲内图像序列中的任意一帧为原参考图像,其他帧为待配准图像;建立数字金字塔对数据进行降采样处理,得到新的图像序列;对新的图像序列依次进行特征提取、特征匹配、相似性计算、几何校正,完成待配准图像的配准,形成低分序列图像。
进一步,所述步骤5.2包括:采用MAP、贝叶斯超分辨重构算法对低分序列图像进行处理,并判断是否达到收敛条件;如果达到则进行去模糊去噪声处理,得到高分图像;如果没有达到收敛条件,则重复步骤5.1和步骤5.2,或者只重复步骤5.2,直至达到收敛条件。
进一步,所述固定偏置为0.5像元偏置。
本发明的优点包括:
本发明所提供的基于偏置稳像的超分辨成像***及方法综合考虑***相机本身的特性及超分辨方法的约束,在稳像中采用亚像素的固定偏置,使得***获取序列图像的过程中,实现亚像元采样,获取一个稳定的亚像元变化,并能有效地降低卫星姿态变化导致的运动模糊,从而为下一步超分辨图像重构提供优质的图像。
本发明充分利用稳像装置,加入固定亚像元偏置量,获取了错位采样图像,通过后期的图像处理技术对图像进行超分辨处理,提高了图像分辨,并节约了***资源。
附图说明
图1是本发明实施例提供的基于偏置稳像的超分辨成像***的结构示意图;
图2是本发明实施例提供的基于偏置稳像的超分辨成像方法的图像配准流程示意图;
图3是本发明实施例提供的基于偏置稳像的超分辨成像方法的流程示意图。
具体实施方式
下文中,结合附图和实施例对本发明的精神和实质做进一步阐述。
如图1所示,本发明实施例提供的基于偏置稳像的超分辨成像***包括:***成像组镜01、分光镜02、高帧频探测器03、高分辨成像探测器04及数据处理器;平行光经***成像组镜01汇聚后在分光镜02表面分成两路,一路由高帧频探测器03成像;数据处理器根据图像数据计算位移补偿值;驱动装置驱动高分辨成像探测器04的探测面移动所述位移补偿值。
所述驱动装置可以采用压电陶瓷,在移动过程中,可以配合曝光时间加入0.5像元偏置,获取亚采样图像。
本发明实施例提供的基于偏置稳像的超分辨成像方法,包括:
步骤一、地面发出稳像偏置超分成像的指令,星上缓存清零;高帧频探测器成像,数据处理器获取图像计算探测位移数据,计算探测位移数据指的是数据处理器根据所成图像计算成像***位置偏移量,该技术已为本领域技术人员所公知,在此不再详述。
步骤二、星上数据处理器根据当前位移数据形成位移补偿值,并反馈至高分辨成像探测器,通过压电电机驱动高分辨成像像面移动;所述位移补偿数据用于弥补用于成像***位置偏移引起的光学模糊和运动模糊;计算位移补偿数据的方法已为本领域技术人员所熟知,在此不再详述。
步骤三、高分辨探测器获取当前帧图像f1并存入缓存;对缓存内图像数目进行判断,如果图像数小于预设量,星上数据处理器将位移量加入固定偏置,由压电电机驱动高分辨成像像面移动;
所述固定偏置为经验值,用于进一步弥补运动模糊,本实施例中为0.5像元,在其他实施例中由本领域技术人员根据实际情况进行选择,也可以选择0;所述预设量本实施例中取4,在其他实施例中由本领域技术人员根据实际情况进行选择。
步骤四、高分辨成像探测器再次获取当前帧图像f2;再对缓存内图像数目进行判断,如果图像数小于预设量,回到步骤二;
步骤五、当图像数目等于预设量时,星上处理器对缓存内图像进行超分辨处理,获得高清的超分辨图像,将图像存储至相机的存储设备内,将缓存内的图像清空;
步骤六、若不发送任务中止指令,返回步骤二重新进行成像及超分辨过程。
所述超分辨处理包括:
步骤5.1、对缓冲内图像进行图像配准,形成低分序列图像;
图像配准指对同一区域的两幅或多幅图像进行最佳匹配的处理过程。图像配准是解决本***图像超分辨的必要前提。基于星载相机的特性及星载遥感图像数据处理的要求,图像配准方案需具备处理速度快、配准精度高、算法鲁棒性强的特点。
如图2所示,图像配准包括:原始影像序列经由图像金字塔处理后再依次进行特征提取、特征匹配、相似性计算等操作,映射回原图像位置后进行几何校正,得到配准图像。其中图像金字塔、积分图像、BOX滤波等处理大大改进了传统方法处理速度慢的缺点,并保证了配准精度。
特征提取指从图像中提取出用来匹配的信息,本实施例中,采用积分图像和不断增大的盒子滤波模板求取响应图像,能够快速找到感兴趣点(即图像中较亮或较暗的位置),作为用于特征匹配的图像特征。从待配准图像中提取特征之后,依据图像特征点的描述子进行特征匹配,并和特征点关联,再释放积分图像,亦可增加迭代模块,进一步检查全局匹配一致性,消除不匹配特征对。相似性计算用于估计图像之间相似程度的指标,以判断所提取的特征点是否能够匹配。几何校正指根据待配准图像与参考图像之间的几何畸变选择能拟合两幅图像之间变化的最佳几何变换模型,并根据优化策略求取两图像之间最佳变换参数,进而通过坐标变换与插值对待配准图像进行处理,得到校正后的图像,所述图像为低分辨序列图像。本领域技术人员可以根据所述描述实现图像配准,在此不再详述。
步骤5.2、对所述低分序列图像进行超分辨重建,对图像进行基于重构的超分辨重建,利用该过程优化成像***退化模型,使其更加符合成像实际情况。超分辨重建包括:依次利用MAP、贝叶斯超分辨重建算法对将图像配准获取的低分辨序列图像进行恢复重建。配准和重建这两个步骤独立或者联合反复迭代进行,直到收敛条件成立。然后通过图像去噪声和去模糊的后期处理得到重建后的高分辨图像。MAP、贝叶斯超分辨重建算法已为本领域技术人员所熟知,在此不再详述。
本发明所提供的方法已经用于型号,所成图像分辨率提高。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。
Claims (6)
1.一种基于偏置稳像的超分辨成像***,其特征在于,包括:***成像组镜、分光镜、高帧频探测器、高分辨成像探测器及数据处理器;平行光经***成像组镜汇聚后在分光镜表面分成两路,一路由高帧频探测器成像;数据处理器根据图像数据计算位移补偿值;驱动装置驱动高分辨成像探测器成像像面移动所述位移补偿值。
2.采用权利要求1所提供的基于偏置稳像的超分辨成像***的超分辨成像方法,其特征在于,包括:
步骤一、高帧频探测器成像,数据处理器根据图像数据计算探测位移数据,形成位移补偿值;
步骤二、驱动装置驱动高分辨成像探测器成像像面移动,移动量为所述位移补偿值;
步骤三、高分辨成像探测器获取当前帧,并存入缓存,并判断缓存内图像数是否达到预设量,如果达到则对缓存内图像做超分辨处理;如果没有达到则进入步骤四;
步骤四、驱动高分辨成像探测器成像像面移动,移动量为所述位移补偿值与固定偏置之和;高分辨成像探测器再次获取当前帧图像;
步骤五、再次判断缓存内图像数是否达到预设量,达到则对缓存内图像做分辨处理;没达到则回到步骤四。
3.依据权利要求2的超分辨成像方法,其特征在于,所述分辨处理包括:
步骤5.1、对缓冲内图像进行图像配准,形成低分序列图像;
步骤5.2、对所述低分序列图像进行超分辨重建。
4.依据权利要求3的超分辨成像方法,其特征在于,所述步骤5.1包括:以缓冲内图像序列中的任意一帧为原参考图像,其他帧为待配准图像;建立数字金字塔对数据进行降采样处理,得到新的图像序列;对新的图像序列依次进行特征提取、特征匹配、相似性计算、几何校正,完成待配准图像的配准,形成低分序列图像。
5.依据权利要求3的超分辨成像方法,其特征在于,所述步骤5.2包括:采用MAP、贝叶斯超分辨重构算法对低分序列图像进行处理,并判断是否达到收敛条件;如果达到则进行去模糊去噪声处理,得到高分图像;如果没有达到收敛条件,则重复步骤5.1和步骤5.2,或者只重复步骤5.2,直至达到收敛条件。
6.依据权利要求3的超分辨成像方法,其特征在于,所述固定偏置为0.5像元偏置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010960660.XA CN112017122B (zh) | 2017-05-26 | 2017-05-26 | 超分辨成像方法 |
CN201710383337.9A CN107194874B (zh) | 2017-05-26 | 2017-05-26 | 基于偏置稳像的超分辨成像***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710383337.9A CN107194874B (zh) | 2017-05-26 | 2017-05-26 | 基于偏置稳像的超分辨成像***及方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010960660.XA Division CN112017122B (zh) | 2017-05-26 | 2017-05-26 | 超分辨成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107194874A true CN107194874A (zh) | 2017-09-22 |
CN107194874B CN107194874B (zh) | 2020-10-02 |
Family
ID=59874948
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010960660.XA Active CN112017122B (zh) | 2017-05-26 | 2017-05-26 | 超分辨成像方法 |
CN201710383337.9A Active CN107194874B (zh) | 2017-05-26 | 2017-05-26 | 基于偏置稳像的超分辨成像***及方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010960660.XA Active CN112017122B (zh) | 2017-05-26 | 2017-05-26 | 超分辨成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN112017122B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108090869A (zh) * | 2017-11-27 | 2018-05-29 | 中国空间技术研究院 | 一种基于面阵cmos光学相机的星上超分辨率重建方法 |
CN108897003A (zh) * | 2018-05-03 | 2018-11-27 | 北京理工大学 | 一种双模控制的相控阵激光雷达***及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104394309A (zh) * | 2014-12-16 | 2015-03-04 | 中国科学院国家天文台 | 一种图像稳定的超分辨率成像***及方法 |
CN104410789A (zh) * | 2014-12-08 | 2015-03-11 | 西安电子科技大学 | 凝视型超分辨率成像装置及方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7602997B2 (en) * | 2005-01-19 | 2009-10-13 | The United States Of America As Represented By The Secretary Of The Army | Method of super-resolving images |
CN101980291B (zh) * | 2010-11-03 | 2012-01-18 | 天津大学 | 基于随机微位移的超分辨率图像重建方法 |
US8750647B2 (en) * | 2011-02-03 | 2014-06-10 | Massachusetts Institute Of Technology | Kinetic super-resolution imaging |
CN103047972B (zh) * | 2012-12-25 | 2014-11-19 | 中国科学院长春光学精密机械与物理研究所 | 一种地球静止轨道卫星平台面阵凝视相机分辨率提升方法 |
CN105069748B (zh) * | 2015-07-16 | 2017-11-10 | 哈尔滨工业大学 | 一种基于微小卫星物方扫描技术获取高分辨率图像的方法 |
CN106525238B (zh) * | 2016-10-27 | 2018-08-03 | 中国科学院光电研究院 | 一种基于超分辨率重建的星载多光谱成像***设计方法 |
-
2017
- 2017-05-26 CN CN202010960660.XA patent/CN112017122B/zh active Active
- 2017-05-26 CN CN201710383337.9A patent/CN107194874B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104410789A (zh) * | 2014-12-08 | 2015-03-11 | 西安电子科技大学 | 凝视型超分辨率成像装置及方法 |
CN104394309A (zh) * | 2014-12-16 | 2015-03-04 | 中国科学院国家天文台 | 一种图像稳定的超分辨率成像***及方法 |
Non-Patent Citations (2)
Title |
---|
任航等: "基于灰度投影法运动估计的成像CCD平移补偿法", 《激光与红外》 * |
郑晓锋: "基于运动探测光机补偿的稳像技术", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108090869A (zh) * | 2017-11-27 | 2018-05-29 | 中国空间技术研究院 | 一种基于面阵cmos光学相机的星上超分辨率重建方法 |
CN108090869B (zh) * | 2017-11-27 | 2021-07-09 | 中国空间技术研究院 | 一种基于面阵cmos光学相机的星上超分辨率重建方法 |
CN108897003A (zh) * | 2018-05-03 | 2018-11-27 | 北京理工大学 | 一种双模控制的相控阵激光雷达***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107194874B (zh) | 2020-10-02 |
CN112017122B (zh) | 2024-02-09 |
CN112017122A (zh) | 2020-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111080724B (zh) | 一种红外和可见光的融合方法 | |
CN107025632B (zh) | 一种图像超分辨率重建方法及*** | |
US7447382B2 (en) | Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation | |
CN108961163A (zh) | 一种高分辨率卫星影像超分辨重建方法 | |
US20090263043A1 (en) | Blind deconvolution and super-resolution method for sequences and sets of images and applications thereof | |
CN106408524A (zh) | 基于二维图像辅助的深度图像增强方法 | |
CN108090869B (zh) | 一种基于面阵cmos光学相机的星上超分辨率重建方法 | |
CN105550993B (zh) | 基于多重变换域的超分辨率重建方法 | |
Joze et al. | Imagepairs: Realistic super resolution dataset via beam splitter camera rig | |
CN111986134B (zh) | 面阵相机遥感成像方法及装置 | |
CN102122387A (zh) | 一种鲁棒的超分辨率图像重建方法 | |
Khattab et al. | Regularization-based multi-frame super-resolution: a systematic review | |
Anger et al. | Fast and accurate multi-frame super-resolution of satellite images | |
CN112261315A (zh) | 基于相机阵列孔径合成的高分辨率计算成像***及方法 | |
CN107194874A (zh) | 基于偏置稳像的超分辨成像***及方法 | |
CN109658361A (zh) | 一种顾及运动估计误差的运动场景超分辨率重建方法 | |
CN104574338B (zh) | 基于多角度线阵ccd传感器的遥感图像超分辨率重建方法 | |
CN105225211A (zh) | 一种基于振动提高视频分辨率的方法 | |
US8184149B2 (en) | Ophthalmic apparatus and method for increasing the resolution of aliased ophthalmic images | |
CN106558036B (zh) | 一种星载超分辨成像***设计方法 | |
He et al. | Blind super-resolution image reconstruction using a maximum a posteriori estimation | |
US8571356B2 (en) | Image processing apparatus, image processing method, and image processing program | |
CN106920213A (zh) | 一种高分辨率图像的获取方法及*** | |
Molini et al. | Deep learning for super-resolution of unregistered multi-temporal satellite images | |
CN101131429B (zh) | 带像差和小孔径衍射像质退化成像***的图像复原方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220516 Address after: 201306 building C, No. 888, Huanhu West 2nd Road, Lingang New Area, Pudong New Area, Shanghai Patentee after: Shanghai Zhongkechen New Satellite Technology Co.,Ltd. Address before: 201210 No. 99 Haike Road, Pudong New Area, Shanghai (building 4-5) Patentee before: SHANGHAI ENGINEERING CENTER FOR MICROSATELLITES |
|
TR01 | Transfer of patent right |