CN107896315B - 基于a-smgcs的视频融合***及方法 - Google Patents
基于a-smgcs的视频融合***及方法 Download PDFInfo
- Publication number
- CN107896315B CN107896315B CN201711176684.0A CN201711176684A CN107896315B CN 107896315 B CN107896315 B CN 107896315B CN 201711176684 A CN201711176684 A CN 201711176684A CN 107896315 B CN107896315 B CN 107896315B
- Authority
- CN
- China
- Prior art keywords
- smgcs
- target
- display
- camera
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 title claims abstract description 9
- 238000013507 mapping Methods 0.000 claims abstract description 36
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 15
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 8
- 239000000284 extract Substances 0.000 abstract 1
- 238000013075 data extraction Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于A‑SMGCS的视频融合***及方法，其中，方法包括，获取目标的实际GPS坐标；根据目标的实际GPS坐标，以及根据预先构建的GPS坐标与像素坐标的映射关系表，获取目标在视频图像中的像素坐标位置；根据像素坐标位置对目标的实时视频进行显示。本发明提供的基于A‑SMGCS的视频融合方法，在接收到操作人员的目标数据提取请求后，能够获取目标的实际GPS坐标，并根据目标的实际GPS坐标，以及根据预先构建的GPS坐标与像素坐标的映射关系表，获取目标在视频图像中的像素坐标位置；再根据像素坐标位置对目标的实时视频进行显示，可以使A‑SMGCS的显示更加形象、直观，能够满足***对未来机场的需求。
Description
技术领域
本发明涉及场面监视技术领域，尤其涉及一种基于A-SMGCS的视频融合***及方法。
背景技术
先进场面活动引导控制***(Advanced Surface Movement Guidance ControlSystem，A-SMGCS)，国际民航组织对其定义为：在满足机场能见度运行等级的所有气象条件下，为了航空器和车辆能保持公布的运动速率且同时保持要求的安全性而对其提供监视、路由及引导以进行控制的***。A-SMGCS***的研制是为了提高机场运行效率、保证运行安全、满足未来机场运行需求。A-SMGCS***的一大重要功能是融合广播式自动相关监视(Automatic Dependent Surveillance-Broadcast，ADS-B)、多点定位、场面监视雷达等传感器的数据，检测和定位场面所有目标，自动识别所有飞机和车辆。
现有的A-SMGCS的显示端对目标进行显示时，都是在A-SMGCS显示地图上以跳跃的光点来表示定位出的目标，该方式不能形象的区分出飞机、车辆，且目标周围的当前态势也不能一目了然的刻画。
发明内容
本发明要解决的技术问题是提供一种基于A-SMGCS的视频融合***及方法，以克服现有技术不能对目标进行直观显示的缺陷。
为解决上述技术问题，本发明提供的技术方案是：
一方面，本发明提供一种基于A-SMGCS的视频融合***，包括，摄像机组，服务器，A-SMGCS处理器，A-SMGCS显示端，映射转化设备；
服务器分别连接于摄像机组，A-SMGCS处理器，A-SMGCS显示端，映射转化设备；其中，
A-SMGCS显示端具有第一数量的显示块，且摄像机组中包括第一数量的摄像机，一个显示块对应一个摄像机；
映射转化设备为一集成芯片，用于对GPS坐标和像素坐标进行唯一映射。
进一步地，服务器与A-SMGCS显示端的连接载体为线缆或互联网。
本发明提供的基于A-SMGCS的视频融合***，摄像机组用于获取实时视频数据，摄像机组中的每一个摄像机对应一个A-SMGCS显示端中的一个显示块，即，一个显示块对应显示一个摄像机的拍摄内容；A-SMGCS处理器用于融合ADS-B、多点定位、场面监视雷达等传感器的数据；映射转化设备为一集成芯片，用于对GPS坐标和图像坐标进行唯一映射，实现各摄像机与A-SMGCS显示地图的位置映射关系；服务器用于存储摄像机组数据，存储A-SMGCS处理器中的数据，以及存储映射转化设备中的映射关系数据，并接收操作人员的目标数据提取请求，例如，在某操作人员请求提取的目标为飞机时，A-SMGCS显示端上显示的A-SMGCS显示地图上将显示飞机的实时视频。
也就是说，本发明提供的基于A-SMGCS的视频融合***，能够将区域视频直接显示到A-SMGCS显示地图上对应的目标位置，可以使A-SMGCS的显示更加形象、直观，能够满足***对未来机场的需求。
另一方面，本发明还提供一种基于A-SMGCS的视频融合方法，包括，
获取目标的实际GPS坐标；
根据目标的实际GPS坐标，以及根据预先构建的GPS坐标与像素坐标的映射关系表，获取目标在视频图像中的像素坐标位置；
根据像素坐标位置对目标的实时视频进行显示。
进一步地，获取目标的实际GPS坐标，具体为，
直接从服务器中调取通过A-SMGCS处理器获得的目标的实际GPS坐标。
进一步地，GPS坐标与像素坐标的映射关系表的构建步骤具体包括，
针对每个摄像机，选定视频图像画面中的至少四个标定点，并记下每个标定点的GPS坐标和像素坐标，其中，任意三个标定点不共线；
计算视频图像平面内的GPS坐标与像素坐标的单应矩阵；
将所有摄像机对应的单应矩阵的集合确定为GPS坐标与像素坐标的映射关系表。
进一步地，标定点的数量越多，单应矩阵的准确率越高。
进一步地，还包括，将A-SMGCS的显示窗口划分成第一数量的显示块，且一个显示块对应一个摄像机。
进一步地，根据像素坐标位置对目标的实时视频进行显示，具体为，
以像素坐标位置为中心，提取对应摄像机的视频图像中的预设形状尺寸的区域图像数据；
将区域图像数据通过网络传输至与摄像机对应的显示块上以指定形式显示。
进一步地，形状为矩形。
进一步地，指定形式为在目标位置处以小窗口形式叠加显示。
本发明提供的基于A-SMGCS的视频融合方法，在接收到操作人员的目标数据提取请求后，能够获取目标的实际GPS坐标，并根据目标的实际GPS坐标，以及根据预先构建的GPS坐标与像素坐标的映射关系表，获取目标在视频图像中的像素坐标位置；再根据像素坐标位置对目标的实时视频进行显示。也就是说，本发明提供的基于A-SMGCS的视频融合方法，能够将区域视频图像数据直接显示到A-SMGCS显示地图上对应的目标位置，可以使A-SMGCS的显示更加形象、直观，能够满足***对未来机场的需求。
附图说明
图1是本发明实施例提供的基于A-SMGCS的视频融合***的框图；
图2是本发明实施例提供的基于A-SMGCS的视频融合方法的流程图；
图3是本发明实施例提供的目标的实时视频数据在A-SMGCS显示终端上的显示效果图。
具体实施方式
下面通过具体的实施例进一步说明本发明，但是，应当理解为，这些实施例仅仅是用于更详细具体地说明之用，而不应理解为用于以任何形式限制本发明。
实施例一
结合图1，本实施例提供的基于A-SMGCS的视频融合***，包括，摄像机组1，服务器2，A-SMGCS处理器3，A-SMGCS显示端5，映射转化设备4；
服务器2分别连接于摄像机组1，A-SMGCS处理器3，A-SMGCS显示端5，映射转化设备4；其中，
A-SMGCS显示端5具有第一数量的显示块，且摄像机组1中包括第一数量的摄像机，一个显示块对应一个摄像机；
映射转化设备4为一集成芯片，用于对GPS坐标和像素坐标进行唯一映射。
本发明实施例提供的基于A-SMGCS的视频融合***，摄像机组1用于获取实时视频数据，摄像机组1中的每一个摄像机对应一个A-SMGCS显示端5中的一个显示块，即，一个显示块对应显示一个摄像机的拍摄内容；A-SMGCS处理器3用于融合ADS-B、多点定位、场面监视雷达等传感器的数据；映射转化设备4为一集成芯片，用于对GPS坐标和图像坐标进行唯一映射，实现各摄像机与A-SMGCS显示地图的位置映射关系；服务器2用于存储摄像机组1数据，存储A-SMGCS处理器3中的数据，以及存储映射转化设备4中的映射关系数据，并接收操作人员的目标数据提取请求，例如，在某操作人员请求提取的目标为飞机时，A-SMGCS显示端5上显示的A-SMGCS显示地图上将显示飞机的实时视频。
也就是说，本发明提供的基于A-SMGCS的视频融合***，能够将区域视频直接显示到A-SMGCS显示地图上对应的目标位置，可以使A-SMGCS的显示更加形象、直观，能够满足***对未来机场的需求。
需要说明的是，本实施例中，映射转化设备4的功能还可以通过服务器直接以软件形式实现，本实施例不作具体限定。
此外，需要说明的是，摄像机获取的实时画面，所见即所得，形象简单，正好可以弥补A-SMGCS显示上的缺陷，但单纯的视频显示，要么需要增加相应的视频显示席位，要么需要增加其它视频显示端，前者需要规划更多的空间来做视频显示，对于塔台管制室来说，区域面积极为有限，设备空间规划压力倍增，后者则需要工作人员不停地在A-SMGCS显示端5和视频显示端来回切换的查看，增加了工作人员劳动负荷。也就是说，本实施例提供的基于A-SMGCS的视频融合***，具有较高的实用性和适用性。
优选地，服务器2与A-SMGCS显示端5的连接载体为线缆或互联网。
实施例二
结合图2，本实施例提供的基于A-SMGCS的视频融合方法，包括，
步骤S1，获取目标的实际GPS坐标；
步骤S2，根据目标的实际GPS坐标，以及根据预先构建的GPS坐标与像素坐标的映射关系表，获取目标在视频图像中的像素坐标位置；
步骤S3，根据像素坐标位置对目标的实时视频进行显示。
本发明实施例提供的基于A-SMGCS的视频融合方法，在接收到操作人员的目标数据提取请求后，能够获取目标的实际GPS坐标，并根据目标的实际GPS坐标，以及根据预先构建的GPS坐标与像素坐标的映射关系表，获取目标在视频图像中的像素坐标位置；再根据像素坐标位置对目标的实时视频进行显示。也就是说，本发明提供的基于A-SMGCS的视频融合方法，能够将区域视频图像数据直接显示到A-SMGCS显示地图上对应的目标位置，可以使A-SMGCS的显示更加形象、直观，能够满足***对未来机场的需求。
具体地，获取目标的实际GPS坐标，具体为，
直接从服务器中调取通过A-SMGCS处理器获得的目标的实际GPS坐标。
本实施例中，A-SMGCS显示终端上任何目标(例如，飞机)的实际GPS坐标为***融合多个传感器的结果，为已知量。
优选地，GPS坐标与像素坐标的映射关系表的构建步骤具体包括，
针对每个摄像机，选定视频图像画面中的至少四个标定点，并记下每个标定点的GPS坐标和像素坐标，其中，任意三个标定点不共线；
计算视频图像平面内的GPS坐标与像素坐标的单应矩阵；
将所有摄像机对应的单应矩阵的集合确定为GPS坐标与像素坐标的映射关系表。
进一步地，标定点的数量越多，单应矩阵的准确率越高。
本实施例中，对每个摄像机做点位标定，先选定图像画面中的若干标定点(例如，四个)，且其中的任意三个标定点不共线，对应记下每个标定点位的GPS坐标和像素坐标，计算出图像平面内GPS坐标和像素坐标的单应矩阵，即得到了GPS坐标和像素坐标的一一对应关系。实际标定中可适当增加选点(即，标定点)个数，可以提高单应矩阵的准确率。
进一步优选地，还包括，将A-SMGCS的显示窗口划分成第一数量的显示块，且一个显示块对应一个摄像机。
具体地，本实施例将A-SMGCS的显示端划分为若干个显示块，且一个显示块对应一个摄像机，建立该显示块和该摄像机GPS坐标的一一对应关系。对应的具体原理如下：
对每个摄像机做点位标定，确定图像中像素坐标和GPS坐标的一一对应关系；A-SMGCS显示终端上任何飞机的GPS坐标为***融合多个传感器的结果，因此为一个已知量；由于同样参照系下，任意位置的GPS坐标唯一，所以，利用像素坐标和GPS坐标的一一对应关系，可确定显示块中GPS坐标位置对应的像素位置。
进一步具体地，根据像素坐标位置对目标的实时视频进行显示，具体为，
以像素坐标位置为中心，提取对应摄像机的视频图像中的预设形状尺寸的区域图像数据；
将区域图像数据通过网络传输至与摄像机对应的显示块上以指定形式显示。
具体地，形状为矩形。指定形式为在目标位置处以小窗口形式叠加显示。
本实施例中，以像素坐标位置为中心，在视频图像上提取设定区域大小的图像数据进行显示，且具体为，取设定大小的矩形框区域(矩形区域长宽可根据用户需求决定)；之后，利用网络，将得到的矩形框区域图像数据传输到对应的显示块上，并在显示块上的对应目标位置处以小窗口的形式显示目标及目标周围的实时情况，且目标的实时视频数据在A-SMGCS显示终端上的显示效果如图3所示，本实施例的基于A-SMGCS的视频融合方法，可以使得目标的显示更加直观，实用性高。
尽管本发明已进行了一定程度的描述，明显地，在不脱离本发明的精神和范围的条件下，可进行各个条件的适当变化。可以理解，本发明不限于所述实施方案，而归于权利要求的范围，其包括所述每个因素的等同替换。
Claims (9)
1.一种基于A-SMGCS的视频融合方法，其特征在于，包括，
获取目标的实际GPS坐标；
根据所述目标的实际GPS坐标，以及根据预先构建的GPS坐标与像素坐标的映射关系表，获取所述目标在视频图像中的像素坐标位置；
根据所述像素坐标位置对所述目标的实时视频进行显示；
所述GPS坐标与像素坐标的映射关系表的构建步骤具体包括，
针对每个摄像机，选定视频图像画面中的至少四个标定点，并记下每个标定点的GPS坐标和像素坐标，其中，任意三个标定点不共线；
计算视频图像平面内的GPS坐标与像素坐标的单应矩阵；
将所有摄像机对应的单应矩阵的集合确定为GPS坐标与像素坐标的映射关系表。
2.根据权利要求1所述的基于A-SMGCS的视频融合方法，其特征在于，所述获取目标的实际GPS坐标，具体为，直接从服务器中调取通过A-SMGCS处理器获得的目标的实际GPS坐标。
3.根据权利要求1所述的基于A-SMGCS的视频融合方法，其特征在于，所述标定点的数量越多，所述单应矩阵的准确率越高。
4.根据权利要求1所述的基于A-SMGCS的视频融合方法，其特征在于，还包括，将A-SMGCS的显示窗口划分成第一数量的显示块，且一个显示块对应一个摄像机。
5.根据权利要求4所述的基于A-SMGCS的视频融合方法，其特征在于，所述根据所述像素坐标位置对所述目标的实时视频进行显示，具体为，
以所述像素坐标位置为中心，提取对应摄像机的视频图像中的预设形状尺寸的区域图像数据；
将所述区域图像数据通过网络传输至与所述摄像机对应的显示块上以指定形式显示。
6.根据权利要求5所述的基于A-SMGCS的视频融合方法，其特征在于，所述形状为矩形。
7.根据权利要求5所述的基于A-SMGCS的视频融合方法，其特征在于，所述指定形式为，在目标位置处以小窗口形式叠加显示。
8.采用权利要求1所述方法的基于A-SMGCS的视频融合***，其特征在于，包括，摄像机组，服务器，A-SMGCS处理器，A-SMGCS显示端，映射转化设备；
所述服务器分别连接于所述摄像机组，所述A-SMGCS处理器，所述A-SMGCS显示端，所述映射转化设备；其中，
所述A-SMGCS显示端具有第一数量的显示块，且所述摄像机组中包括第一数量的摄像机，一个显示块对应一个摄像机；
所述映射转化设备为一集成芯片，用于对GPS坐标和像素坐标进行唯一映射。
9.根据权利要求8所述的基于A-SMGCS的视频融合***，其特征在于，所述服务器与所述A-SMGCS显示端的连接载体为线缆或互联网。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711176684.0A CN107896315B (zh) | 2017-11-22 | 2017-11-22 | 基于a-smgcs的视频融合***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711176684.0A CN107896315B (zh) | 2017-11-22 | 2017-11-22 | 基于a-smgcs的视频融合***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107896315A CN107896315A (zh) | 2018-04-10 |
| CN107896315B true CN107896315B (zh) | 2019-09-10 |
Family
ID=61805887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711176684.0A Active CN107896315B (zh) | 2017-11-22 | 2017-11-22 | 基于a-smgcs的视频融合***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107896315B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291585B (zh) * | 2018-12-06 | 2023-12-08 | 杭州海康威视数字技术股份有限公司 | 一种基于gps的目标跟踪***、方法、装置及球机 |
| CN111586440B (zh) * | 2019-02-15 | 2022-03-11 | 腾讯科技（深圳）有限公司 | 多媒体资源的投放方法、装置、服务器及存储介质 |
| CN113589333A (zh) * | 2021-07-06 | 2021-11-02 | 中国民用航空飞行学院 | 一种监视***的适配方法及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104750969A (zh) * | 2013-12-29 | 2015-07-01 | 刘进 | 智能机全方位增强现实信息叠加方法 |
| CN105391975A (zh) * | 2015-11-02 | 2016-03-09 | 中国民用航空总局第二研究所 | 一种场面监视中的视频处理方法、装置及场面监视*** |
| CN105611244A (zh) * | 2015-12-23 | 2016-05-25 | 东南大学 | 一种基于球机监控视频的机场外来异物检测方法 |
| CN107067437A (zh) * | 2016-12-28 | 2017-08-18 | 中国航天电子技术研究院 | 一种基于多视几何和光束法平差的无人机定位***及方法 |
| CN207410461U (zh) * | 2017-11-22 | 2018-05-25 | 中国民用航空总局第二研究所 | 基于a-smgcs的视频融合*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2002334708A1 (en) * | 2001-10-01 | 2003-04-14 | Kline And Walker, Llc | Pfn/trac system faa upgrades for accountable remote and robotics control |
-
2017
- 2017-11-22 CN CN201711176684.0A patent/CN107896315B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104750969A (zh) * | 2013-12-29 | 2015-07-01 | 刘进 | 智能机全方位增强现实信息叠加方法 |
| CN105391975A (zh) * | 2015-11-02 | 2016-03-09 | 中国民用航空总局第二研究所 | 一种场面监视中的视频处理方法、装置及场面监视*** |
| CN105611244A (zh) * | 2015-12-23 | 2016-05-25 | 东南大学 | 一种基于球机监控视频的机场外来异物检测方法 |
| CN107067437A (zh) * | 2016-12-28 | 2017-08-18 | 中国航天电子技术研究院 | 一种基于多视几何和光束法平差的无人机定位***及方法 |
| CN207410461U (zh) * | 2017-11-22 | 2018-05-25 | 中国民用航空总局第二研究所 | 基于a-smgcs的视频融合*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107896315A (zh) | 2018-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105847750B (zh) | 基于地理编码的无人机视频影像实时显示的方法及装置 | |
| JP7480823B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN106454209B (zh) | 基于时空信息融合技术的无人机应急快反数据链***及方法 | |
| US10061486B2 (en) | Area monitoring system implementing a virtual environment | |
| US9473367B2 (en) | Aircraft monitoring with improved situational awareness | |
| CN107896315B (zh) | 基于a-smgcs的视频融合***及方法 | |
| EP3309762A1 (en) | Fire disaster monitoring method and apparatus | |
| CN105549613A (zh) | 一种基于无人机的自动巡检方法及装置 | |
| CN103686084A (zh) | 一种用于多无人机协同实时侦察的全景视频监控方法 | |
| CN111104473B (zh) | 可视化信息管理***、方法及服务器 | |
| CN107424440B (zh) | 飞机进近着陆监视*** | |
| CN113286081B (zh) | 机场全景视频的目标识别方法、装置、设备及介质 | |
| CN113286080A (zh) | 场面监视***与视频的联动跟踪和增强显示方法和装置 | |
| KR101651152B1 (ko) | 공간 모델과 결합하는 드론의 영상영역 모니터링 시스템 | |
| CN113918625A (zh) | 一种基于大数据处理及四维分析算法的气象数据提取和可视化方法 | |
| JP2022529337A (ja) | 交通道路用のデジタル復元方法、装置及びシステム | |
| CN113905211B (zh) | 一种视频巡逻方法、装置、电子设备及存储介质 | |
| CN108108396B (zh) | 一种飞行器航拍图片拼接管理*** | |
| CN207410461U (zh) | 基于a-smgcs的视频融合*** | |
| CN113867406A (zh) | 基于无人机的线路巡检方法、***、智能设备和存储介质 | |
| CN110267087B (zh) | 一种动态标签添加方法、设备及*** | |
| KR101700651B1 (ko) | 위치정보 기반의 공유 경로데이터를 이용한 객체 트래킹 장치 | |
| CN106657886A (zh) | 一种飞行器实时监控及可视化展示*** | |
| CN111696201A (zh) | 基于实景3d gis地图的警情显示方法和*** | |
| CN115083209B (zh) | 一种基于视觉定位的车路协同方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |