CN112418086A - 一种规则框校正方法、装置、电子设备及存储介质 - Google Patents
一种规则框校正方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112418086A CN112418086A CN202011318414.0A CN202011318414A CN112418086A CN 112418086 A CN112418086 A CN 112418086A CN 202011318414 A CN202011318414 A CN 202011318414A CN 112418086 A CN112418086 A CN 112418086A
- Authority
- CN
- China
- Prior art keywords
- image
- position information
- determining
- reference object
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000012937 correction Methods 0.000 title claims description 26
- 238000012544 monitoring process Methods 0.000 claims abstract description 38
- 230000008859 change Effects 0.000 claims description 69
- 238000012549 training Methods 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005246 galvanizing Methods 0.000 description 2
- 239000013558 reference substance Substances 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 229910000926 A-3 tool steel Inorganic materials 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005536 corrosion prevention Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 108700041286 delta Proteins 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种规则框校正方法、装置、电子设备及存储介质,所述方法包括:获取监控区域的第一图像,并确定所述第一图像中的目标参考物的第一偏航角和第一中心点的位置信息;获取预先保存的第二图像中的初始规则框以及所述第二图像中的所述目标参考物的第二偏航角和第二中心点的位置信息;根据所述第一偏航角和所述第二偏航角,确定偏航角差值;根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框。从而提供了一种校正规则框的技术方案。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种规则框校正方法、装置、电子设备及存储介质。
背景技术
在视频监控领域,有很多智能视频分析的应用,其中除了目标检测之外,还有对目标行为的分析,例如:越线检测、区域入侵检测、车辆是否停入车位检测等行为分析。这些行为分析都涉及摄像机中规则框的绘制。
当受到大风天气的影响或者路面地质的影响等导致假设的摄像机发生偏移后,摄像机中的规则框的位置就会出现不准确。例如,在检测车辆是否停入车位时,初始的规则框与监控场景中的车位框是重合的,但是当摄像机发生偏移后,规则框便不与监控场景中的车位框重合,此时基于规则框检测车辆是否停入车位显然是不准确的,也就是说此时摄像机中的规则框的位置是不准确的。目前亟需一种校正规则框的技术方案。
发明内容
本发明实施例提供了一种规则框校正方法、装置、电子设备及存储介质,用以提供了一种校正规则框的技术方案。
本发明实施例提供了一种规则框校正方法,所述方法包括:
获取监控区域的第一图像,并确定所述第一图像中的目标参考物的第一偏航角和第一中心点的位置信息;
获取预先保存的第二图像中的初始规则框以及所述第二图像中的所述目标参考物的第二偏航角和第二中心点的位置信息;
根据所述第一偏航角和所述第二偏航角,确定偏航角差值;根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框。
进一步地,所述根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框之前,所述方法还包括:
确定所述第一图像中的目标参考物的第一面积信息;获取所述第二图像中的所述目标参考物的第二面积信息;根据所述第一面积信息和所述第二面积信息,确定深度变化比;
所述根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框包括:
根据所述第二中心点的位置信息,确定所述初始规则框的每个第一顶点到所述第二中心点的距离;
针对所述每个第一顶点,根据该第一顶点与所述第二中心点的距离、该第一顶点和所述第二中心点以及水平方向坐标轴构成的夹角、所述深度变化比、所述偏航角差值和所述第一中心点的位置信息,确定该第一顶点对应的校正后的第二顶点的位置信息;
将每个第二顶点构成的规则框作为校正后的目标规则框。
进一步地,所述根据所述第一面积信息和所述第二面积信息,确定深度变化比之前,所述方法还包括:
确定所述第一图像中的目标参考物的第一水平角和第一垂直角,获取所述第二图像中的所述目标参考物的第二水平角和第二垂直角,并确定水平角差值和垂直角差值;
所述根据所述第一面积信息和所述第二面积信息,确定深度变化比包括:
根据所述第一面积信息、所述第二面积信息、所述水平角差值和垂直角差值,确定深度变化比。
进一步地,所述根据所述第一面积信息、所述第二面积信息、所述水平角差值和垂直角差值,确定深度变化比包括:
式中,w'*h'为第一面积信息,w*h为第二面积信息,α'-α为水平角差值,β'-β为垂直角差值,a为预设的水平角深度补偿参数,b为预设的垂直角深度补偿参数,qs为深度变化比。
进一步地,所述根据该第一顶点与所述第二中心点的距离、该第一顶点和所述第二中心点以及水平方向坐标轴构成的夹角、所述深度变化比、所述偏航角差值和所述第一中心点的位置信息,确定该第一顶点对应的校正后的第二顶点的位置信息包括:
将该第一顶点与所述第二中心点的距离、该第一顶点和所述第二中心点以及水平方向坐标轴构成的夹角、所述深度变化比、所述偏航角差值和所述第一中心点的位置信息输入预设的第二公式A'(x1+ρ*qs*(c+tα)*cos(θ+δ),y1-ρ*qs*(d+tβ)*sin(θ+δ)),确定该第一顶点对应的校正后的第二顶点的位置信息;
式中,ρ为该第一顶点与所述第二中心点的距离,qs为深度变化比,θ为该第一顶点和所述第二中心点以及水平方向坐标轴构成的夹角,δ为偏航角差值,x1为第一中心点的水平方向坐标,y1为第一中心点的垂直方向坐标,c为预设的水平角宽度补偿参数,d为预设的垂直角宽度补偿参数,tα为预设的水平角缩放参数,tβ为预设的垂直角缩放参数,A'为该第一顶点对应的校正后的第二顶点的位置信息。
进一步地,所述根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框之前,所述方法还包括:
若所述偏航角差值、水平角差值、垂直角差值、所述第一中心点的位置信息与所述第二中心点的位置信息之间的距离、所述深度变化比中的任意一个大于预设的阈值,根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框。
进一步地,确定所述第一图像中的目标参考物的第一水平角、第一垂直角、第一偏航角、第一中心点的位置信息和第一面积信息包括:
将所述第一图像输入预先训练完成的参考物识别模型,基于所述参考物识别模型,确定所述第一图像中的目标参考物的第一水平角、第一垂直角、第一偏航角、第一中心点的位置信息和第一面积信息。
进一步地,所述确定第一图像中的目标参考物包括:
将所述第一图像输入预先训练完成的参考物识别模型,基于所述参考物识别模型,确定所述第一图像中的每个参考物的第三水平角、第三垂直角、第三偏航角、第三中心点的位置信息和第三面积信息,根据所述每个参考物的第三水平角、第三垂直角、第三偏航角、第三中心点的位置信息和第三面积信息,确定每个参考物的优先级,选取优先级最高的参考物为目标参考物;其中,第三水平角、第三垂直角、第三偏航角中各角度越小、第三中心点的位置信息距离第一图像中心点的距离越近、第三面积信息越大的参考物的优先级越高。
进一步地,所述参考物识别模型的训练过程包括:
针对训练集中的每张第三图像,将该第三图像和该第三图像对应的标注图像,输入参考物识别模型中,对所述参考物识别模型进行训练;其中,所述标注图像中标注有该第三图像中每个参考物的第四水平角、第四垂直角、第四偏航角、第四中心点的位置信息和第四面积信息。
进一步地,所述确定所述初始规则框对应的校正后的目标规则框之前,所述方法还包括:
判断所述水平角差值、垂直角差值、偏航角差值、所述第一中心点和所述第二中心点之间的距离、所述第一面积信息和所述第二面积信息的差值中的任意一个是否超过预设的报警阈值,如果是,输出报警提示信息,如果否,进行后续确定所述初始规则框对应的校正后的目标规则框的步骤;
所述确定所述初始规则框对应的校正后的目标规则框之后,所述方法还包括:
判断校正后的目标规则框中是否存在负坐标的像素点,如果是,输出报警提示信息。
另一方面,本发明实施例提供了一种规则框校正装置,所述装置包括:
第一确定模块,用于获取监控区域的第一图像,并确定所述第一图像中的目标参考物的第一偏航角和第一中心点的位置信息;
获取模块,用于获取预先保存的第二图像中的初始规则框以及所述第二图像中的所述目标参考物的第二偏航角和第二中心点的位置信息;
第二确定模块,用于根据所述第一偏航角和所述第二偏航角,确定偏航角差值;根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框。
进一步地,所述第一确定模块,还用于确定所述第一图像中的目标参考物的第一面积信息;获取所述第二图像中的所述目标参考物的第二面积信息;根据所述第一面积信息和所述第二面积信息,确定深度变化比;
所述第二确定模块,具体用于根据所述第二中心点的位置信息,确定所述初始规则框的每个第一顶点到所述第二中心点的距离;针对所述每个第一顶点,根据该第一顶点与所述第二中心点的距离、该第一顶点和所述第二中心点以及水平方向坐标轴构成的夹角、所述深度变化比、所述偏航角差值和所述第一中心点的位置信息,确定该第一顶点对应的校正后的第二顶点的位置信息;将每个第二顶点构成的规则框作为校正后的目标规则框。
进一步地,所述装置还包括:
第三确定模块,用于确定所述第一图像中的目标参考物的第一水平角和第一垂直角,获取所述第二图像中的所述目标参考物的第二水平角和第二垂直角,并确定水平角差值和垂直角差值;
所述第一确定模块,具体用于根据所述第一面积信息、所述第二面积信息、所述水平角差值和垂直角差值,确定深度变化比。
进一步地,所述第一确定模块,具体用于将所述第一面积信息、所述第二面积信息、所述水平角差值和垂直角差值输入预设的第一公式确定深度变化比;式中,w'*h'为第一面积信息,w*h为第二面积信息,α'-α为水平角差值,β'-β为垂直角差值,a为预设的水平角深度补偿参数,b为预设的垂直角深度补偿参数,qs为深度变化比。
进一步地,所述第二确定模块,具体用于将该第一顶点与所述第二中心点的距离、该第一顶点和所述第二中心点以及水平方向坐标轴构成的夹角、所述深度变化比、所述偏航角差值和所述第一中心点的位置信息输入预设的第二公式A'(x1+ρ*qs*(c+tα)*cos(θ+δ),y1-ρ*qs*(d+tβ)*sin(θ+δ)),确定该第一顶点对应的校正后的第二顶点的位置信息;
式中,ρ为该第一顶点与所述第二中心点的距离,qs为深度变化比,θ为该第一顶点和所述第二中心点以及水平方向坐标轴构成的夹角,δ为偏航角差值,x1为第一中心点的水平方向坐标,y1为第一中心点的垂直方向坐标,c为预设的水平角宽度补偿参数,d为预设的垂直角宽度补偿参数,tα为预设的水平角缩放参数,tβ为预设的垂直角缩放参数,A'为该第一顶点对应的校正后的第二顶点的位置信息。
进一步地,所述装置还包括:
第一判断模块,用于若所述偏航角差值、水平角差值、垂直角差值、所述第一中心点的位置信息与所述第二中心点的位置信息之间的距离、所述深度变化比中的任意一个大于预设的阈值,根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框。
进一步地,所述第一确定模块,具体用于将所述第一图像输入预先训练完成的参考物识别模型,基于所述参考物识别模型,确定所述第一图像中的目标参考物的第一水平角、第一垂直角、第一偏航角、第一中心点的位置信息和第一面积信息。
进一步地,所述装置还包括:第四确定模块,用于将所述第一图像输入预先训练完成的参考物识别模型,基于所述参考物识别模型,确定所述第一图像中的每个参考物的第三水平角、第三垂直角、第三偏航角、第三中心点的位置信息和第三面积信息,根据所述每个参考物的第三水平角、第三垂直角、第三偏航角、第三中心点的位置信息和第三面积信息,确定每个参考物的优先级,选取优先级最高的参考物为目标参考物;其中,第三水平角、第三垂直角、第三偏航角中各角度越小、第三中心点的位置信息距离第一图像中心点的距离越近、第三面积信息越大的参考物的优先级越高。
进一步地,所述装置还包括:训练模块,用于针对训练集中的每张第三图像,将该第三图像和该第三图像对应的标注图像,输入参考物识别模型中,对所述参考物识别模型进行训练;其中,所述标注图像中标注有该第三图像中每个参考物的第四水平角、第四垂直角、第四偏航角、第四中心点的位置信息和第四面积信息。
进一步地,所述装置还包括:
第二判断模块,用于判断所述水平角差值、垂直角差值、偏航角差值、所述第一中心点和所述第二中心点之间的距离、所述第一面积信息和所述第二面积信息的差值中的任意一个是否超过预设的报警阈值,如果否,触发所述第二确定模块,如果是,输出报警提示信息;
所述第二判断模块,还用于判断校正后的目标规则框中是否存在负坐标的像素点,如果是,输出报警提示信息。
再一方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一项所述的方法步骤。
再一方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。
本发明实施例提供了一种规则框校正方法、装置、电子设备及存储介质,所述方法包括:获取监控区域的第一图像,并确定所述第一图像中的目标参考物的第一偏航角和第一中心点的位置信息;获取预先保存的第二图像中的初始规则框以及所述第二图像中的所述目标参考物的第二偏航角和第二中心点的位置信息;根据所述第一偏航角和所述第二偏航角,确定偏航角差值;根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框。
上述的技术方案具有如下优点或有益效果:
由于在本发明实施例中,根据第一图像中的目标参考物的第一偏航角和第一中心点的位置信息和预先保存的第二图像中的初始规则框以及第二图像中的目标参考物的第二偏航角和第二中心点的位置信息,可以确定出目标参考物在图像中的移动情况,基于此对初始规则框进行校正得到目标规则框,从而提供了一种校正规则框的技术方案。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的规则框校正过程示意图;
图2为本发明实施例提供的监控相机安装示意图;
图3为本发明实施例提供的监控相机另一安装示意图;
图4为本发明实施例提供的场景示意图;
图5为本发明实施例提供的坐标系示意图;
图6为本发明实施例提供的识别固定参照物角度信息示意图;
图7为本发明实施例提供的正常监控画面示意图;
图8为本发明实施例提供的受外界影响偏移后的监控画面示意图;
图9为本发明实施例提供的受外界影响偏移前后的监控画面对比示意图;
图10为本发明实施例提供的根据对比监控画面提取出的点位坐标模型示意图;
图11为本发明实施例提供的另一规则框校正过程示意图;
图12为本发明实施例提供的规则框校正装置结构示意图;
图13为本发明实施例提供的电子设备结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1为本发明实施例提供的规则框校正过程示意图,该过程包括以下步骤:
S101:获取监控区域的第一图像,并确定所述第一图像中的目标参考物的第一偏航角和第一中心点的位置信息。
本发明实施例提供的规则框校正方法应用于电子设备,该电子设备可以是布置在监控场景的摄像机,也可以是PC、平板电脑等设备。如果电子设备为布置在监控场景的摄像机,则摄像机采集到监控区域的第一图像之后,进行确定第一图像中的目标参考物的第一偏航角和第一中心点的位置信息的过程。如果电子设备为PC、平板电脑等设备,布置在监控场景的摄像机采集到监控区域的第一图像之后,可以将监控区域的第一图像发送至电子设备,然后电子设备进行确定第一图像中的目标参考物的第一偏航角和第一中心点的位置信息的过程。其中,本发明实施例中的目标参考物为场景中固定不动的物体。
在本发明实施例中将电子设备获取的监控区域的图像称为第一图像,电子设备获取到第一图像之后,通过目标识别算法可以确定出第一图像中的目标参考物,进而确定出目标参考物的第一偏航角和第一中心点的位置信息。
为了使确定第一图像中的目标参考物的第一偏航角和第一中心点的位置信息更准确,在本发明实施例中,电子设备中可以保存预先训练完成的参考物识别模型,参考物识别模型在训练时,训练集中每个样本图像存在对应的标注图像,标注图像中标注有样本图像中的目标参考物,以及目标参考物的偏航角和中心点的位置信息。参考物识别模型训练完成后,将第一图像输入参考物识别模型,参考物识别模型即可输出第一图像中的目标参考物的第一偏航角和第一中心点的位置信息。
S102:获取预先保存的第二图像中的初始规则框以及所述第二图像中的所述目标参考物的第二偏航角和第二中心点的位置信息。
电子设备预先保存有第二图像,其中第二图像为确定摄像机未发生偏移时采集的图像,每个图像中包括图像层和图形层,图像层用于显示图像内容,图形层显示规则框。在本发明实施例中将第二图像中的规则框称为初始规则框。初始规则框与第二图像中图像层中的待检测区域完全重合。例如待检测区域为停车位,则第二图像中图形层的初始规则框与图像层的停车位边框完全重合。电子设备可以获取预先保存的第二图像中的初始规则框。并且可以获取第二图像中的所述目标参考物的第二偏航角和第二中心点的位置信息。需要说明的是,在获取第二图像中的所述目标参考物的第二偏航角和第二中心点的位置信息时,也可以是将第二图像输入预先训练完成的参考物识别模型,基于参考物识别模型输出第二图像中的目标参考物的第二偏航角和第二中心点的位置信息。
S103:根据所述第一偏航角和所述第二偏航角,确定偏航角差值;根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框。
在本发明实施例中,根据第一中心点的位置信息、第二中心点的位置信息可以确定出目标参考物在图像坐标系下水平方向上和垂直方向上的偏移距离,可以将目标参考物在水平方向上和垂直方向上的偏移距离作为初始规则框在水平方向上和垂直方向上的偏移距离,根据水平方向上和垂直方向上的偏移距离移动初始规则框,如果摄像机发生了偏移,那么目标参考物的偏航角一般也会发生变化,因此本发明实施例中确定了偏航角差值,移动后的初始规则框按照偏航角差值进行旋转,得到最终的目标规则框。
由于在本发明实施例中,根据第一图像中的目标参考物的第一偏航角和第一中心点的位置信息和预先保存的第二图像中的初始规则框以及第二图像中的目标参考物的第二偏航角和第二中心点的位置信息,可以确定出目标参考物在图像中的移动情况,基于此对初始规则框进行校正得到目标规则框,从而提供了一种校正规则框的技术方案。
为了使确定校正后的目标规则框更准确,在本发明实施例中,所述根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框之前,所述方法还包括:
确定所述第一图像中的目标参考物的第一面积信息;获取所述第二图像中的所述目标参考物的第二面积信息;根据所述第一面积信息和所述第二面积信息,确定深度变化比;
所述根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框包括:
根据所述第二中心点的位置信息,确定所述初始规则框的每个第一顶点到所述第二中心点的距离;
针对所述每个第一顶点,根据该第一顶点与所述第二中心点的距离、该第一顶点和所述第二中心点以及水平方向坐标轴构成的夹角、所述深度变化比、所述偏航角差值和所述第一中心点的位置信息,确定该第一顶点对应的校正后的第二顶点的位置信息;
将每个第二顶点构成的规则框作为校正后的目标规则框。
由于摄像机的位置或者角度发生变化之后,规则框的深度信息也可能会发生变化。为了使确定的目标规则框更准确,在本发明实施例中,电子设备获取到第一图像之后,识别第一图像中的目标参考物,并且确定出目标参考物在第一图像中的第一面积信息。并且,电子设备针对预先保存的第二图像时,也保存有第二图像中的目标参考物的第二面积信息。电子设备获取第二图像中的目标参考物的第二面积信息,并根据第一面积信息和第二面积信息,确定深度变化比。其中,可以计算第一面积信息和第二面积信息的比值,将该比值进行开方运算得到深度变化比。
为了使确定深度变化比更准确,进而使确定的目标规则框更准确,在本发明实施例中,所述根据所述第一面积信息和所述第二面积信息,确定深度变化比之前,所述方法还包括:
确定所述第一图像中的目标参考物的第一水平角和第一垂直角,获取所述第二图像中的所述目标参考物的第二水平角和第二垂直角,并确定水平角差值和垂直角差值;
所述根据所述第一面积信息和所述第二面积信息,确定深度变化比包括:
根据所述第一面积信息、所述第二面积信息、所述水平角差值和垂直角差值,确定深度变化比。
在本发明实施例中,电子设备获取到第一图像之后,还可以确定出第一图像中的目标参考物的第一水平角和第一垂直角。并且,电子设备针对预先保存的第二图像时,也保存有第二图像中的目标参考物的第二水平角和第二垂直角。电子设备获取第二图像中的目标参考物的第二水平角和第二垂直角,并根据第一图像中的目标参考物的第一水平角和第一垂直角以及第二图像中的所述目标参考物的第二水平角和第二垂直角,确定水平角差值和垂直角差值。
为了使确定第一图像中的目标参考物的第一水平角和第一垂直角更准确,在本发明实施例中,电子设备中可以保存预先训练完成的参考物识别模型,参考物识别模型在训练时,训练集中每个样本图像存在对应的标注图像,标注图像中标注有样本图像中的目标参考物,以及目标参考物的偏航角、中心点的位置信息、水平角和垂直角。参考物识别模型训练完成后,将第一图像输入参考物识别模型,参考物识别模型即可输出第一图像中的目标参考物的第一偏航角、第一中心点的位置信息、第一水平角和第一垂直角。
另外,电子设备预先保存第二图像中的目标参考物的第二水平角和第二垂直角时,也可以是将第二图像输入参考物识别模型,参考物识别模型即可输出第二图像中的目标参考物的第二偏航角、第二中心点的位置信息、第二水平角和第二垂直角。
电子设备根据第一面积信息、第二面积信息、水平角差值和垂直角差值,确定深度变化比。具体的,所述根据所述第一面积信息、所述第二面积信息、所述水平角差值和垂直角差值,确定深度变化比包括:
式中,w'*h'为第一面积信息,w*h为第二面积信息,α'-α为水平角差值,β'-β为垂直角差值,a为预设的水平角深度补偿参数,b为预设的垂直角深度补偿参数,qs为深度变化比。
其中,a为预设的水平角深度补偿参数,a为经验值,一般为0至0.5范围内的值。b为预设的垂直角深度补偿参数,b为经验值,一般为0至0.5范围内的值。
在本发明实施例中,电子设备确定出第一面积信息、第二面积信息、水平角差值和垂直角差值之后,将上述信息代入预设的第一公式得到深度变化比。在本发明实施例中,在确定深度变化比时,考虑到角度补偿,进而使得确定的深度变化比更准确。
为了使确定校正后的目标规则框更准确,在本发明实施例中,所述根据该第一顶点与所述第二中心点的距离、该第一顶点和所述第二中心点以及水平方向坐标轴构成的夹角、所述深度变化比、所述偏航角差值和所述第一中心点的位置信息,确定该第一顶点对应的校正后的第二顶点的位置信息包括:
将该第一顶点与所述第二中心点的距离、该第一顶点和所述第二中心点以及水平方向坐标轴构成的夹角、所述深度变化比、所述偏航角差值和所述第一中心点的位置信息输入预设的第二公式A'(x1+ρ*qs*(c+tα)*cos(θ+δ),y1-ρ*qs*(d+tβ)*sin(θ+δ)),确定该第一顶点对应的校正后的第二顶点的位置信息;
式中,ρ为该第一顶点与所述第二中心点的距离,qs为深度变化比,θ为该第一顶点和所述第二中心点以及水平方向坐标轴构成的夹角,δ为偏航角差值,x1为第一中心点的水平方向坐标,y1为第一中心点的垂直方向坐标,c为预设的水平角宽度补偿参数,d为预设的垂直角宽度补偿参数,tα为预设的水平角缩放参数,tβ为预设的垂直角缩放参数,A'为该第一顶点对应的校正后的第二顶点的位置信息。
其中,c为预设的水平角宽度补偿参数,取值一般为0至0.5范围内的值,d为预设的垂直角宽度补偿参数,取值一般为0至0.5范围内的值,tα为预设的水平角缩放参数,取值一般为0至1范围内的值,tβ为预设的垂直角缩放参数,取值一般为0至1范围内的值。
在本发明实施例中,电子设备确定出该第一顶点与所述第二中心点的距离、该第一顶点和所述第二中心点以及水平方向坐标轴构成的夹角、所述深度变化比、所述偏航角差值和所述第一中心点的位置信息之后,将上述信息输入预设的第二公式A'(x1+ρ*qs*(c+tα)*cos(θ+δ),y1-ρ*qs*(d+tβ)*sin(θ+δ)),确定该第一顶点对应的校正后的第二顶点的位置信息。将每个第二顶点构成的规则框作为校正后的目标规则框。
为了减少校正规则框的资源消耗,在本发明实施例中,可以先判断是否需要进行规则框的校正,在判断结果为是时,进行校正,否则不进行校正。具体的,在本发明实施例中,所述根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框之前,所述方法还包括:
若所述偏航角差值、水平角差值、垂直角差值、所述第一中心点的位置信息与所述第二中心点的位置信息之间的距离、所述深度变化比中的任意一个大于预设的阈值,根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框。
在本发明实施例中,电子设备确定出偏航角差值、水平角差值、垂直角差值、所述第一中心点的位置信息与所述第二中心点的位置信息之间的距离、所述深度变化比中的任意一个之后,判断其中的任意一个是否大于预设的阈值,如果是,则根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框。需要说明的是,偏航角差值、水平角差值、垂直角差值、所述第一中心点的位置信息与所述第二中心点的位置信息之间的距离、所述深度变化比分别对应的用于比较判断的预设的阈值是不同的。举例说明:偏航角差值对应的用于比较判断的预设的阈值和深度变化比对应的用于比较判断的预设的阈值是不同的。另外,偏航角差值、水平角差值、垂直角差值分别对应的用于比较判断的预设的阈值可以相同也可以不同。
由于在本发明实施例中,当判断偏航角差值、水平角差值、垂直角差值、所述第一中心点的位置信息与所述第二中心点的位置信息之间的距离、所述深度变化比中的任意一个大于预设的阈值,根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框。否则不进行规则框校正。即先判断是否需要进行规则框的校正时才进行规则框校正,否则不进行校正。从而减少校正规则框的资源消耗。
在本发明实施例中,确定所述第一图像中的目标参考物的第一水平角、第一垂直角、第一偏航角、第一中心点的位置信息和第一面积信息包括:
将所述第一图像输入预先训练完成的参考物识别模型,基于所述参考物识别模型,确定所述第一图像中的目标参考物的第一水平角、第一垂直角、第一偏航角、第一中心点的位置信息和第一面积信息。
为了保证能够根据目标参考物进行规则框的校正,并且基于目标参考物能够进行准确校正,在本发明实施例中,所述确定第一图像中的目标参考物包括:
将所述第一图像输入预先训练完成的参考物识别模型,基于所述参考物识别模型,确定所述第一图像中的每个参考物的第三水平角、第三垂直角、第三偏航角、第三中心点的位置信息和第三面积信息,根据所述每个参考物的第三水平角、第三垂直角、第三偏航角、第三中心点的位置信息和第三面积信息,确定每个参考物的优先级,选取优先级最高的参考物为目标参考物;其中,第三水平角、第三垂直角、第三偏航角中各角度越小、第三中心点的位置信息距离第一图像中心点的距离越近、第三面积信息越大的参考物的优先级越高。
基于参考物识别模型,可以确定第一图像中的每个参考物的第三水平角、第三垂直角、第三偏航角、第三中心点的位置信息和第三面积信息,然后根据上述信息选择出目标参考物。选择的策略为,第三水平角、第三垂直角、第三偏航角中各角度越小、第三中心点的位置信息距离第一图像中心点的距离越近、第三面积信息越大的参考物的优先级越高,选取优先级最高的参考物作为目标参考物。
本发明实施例提供的确定目标参考物的方案使得确定的目标参考物更加准确,进而使得基于目标参考物进行规则框的校正更加准确。
所述参考物识别模型的训练过程包括:
针对训练集中的每张第三图像,将该第三图像和该第三图像对应的标注图像,输入参考物识别模型中,对所述参考物识别模型进行训练;其中,所述标注图像中标注有该第三图像中每个参考物的第四水平角、第四垂直角、第四偏航角、第四中心点的位置信息和第四面积信息。
电子设备中保存有训练集,训练集中的图像为第三图像,每个第三图像存在对应的标注图像。标注图像中标注有对应的第三图像中每个参考物的第四水平角、第四垂直角、第四偏航角、第四中心点的位置信息和第四面积信息。将每组第三图像和标注图像输入参考物识别模型,完成对参考物识别模型的训练。
如果摄像机的位置或者角度发生变化较大,有可能电子设备无法完成规则框的校正,此时只能手动进行校正摄像机的位置或者角度,然后再校正规则框。因此,在本发明实施例中,所述确定所述初始规则框对应的校正后的目标规则框之前,所述方法还包括:
判断所述水平角差值、垂直角差值、偏航角差值、所述第一中心点和所述第二中心点之间的距离、所述第一面积信息和所述第二面积信息的差值中的任意一个是否超过预设的报警阈值,如果是,输出报警提示信息,如果否,进行后续确定所述初始规则框对应的校正后的目标规则框的步骤;
所述确定所述初始规则框对应的校正后的目标规则框之后,所述方法还包括:
判断校正后的目标规则框中是否存在负坐标的像素点,如果是,输出报警提示信息。
在本发明实施例中,若水平角差值、垂直角差值、偏航角差值、所述第一中心点和所述第二中心点之间的距离、所述第一面积信息和所述第二面积信息的差值中的任意一个是否超过预设的报警阈值。则说明摄像机的位置或者角度发生变化较大,此时超出电子设备自动校正的能力范围,因此输出报警提示信息,以提示相关人员对摄像机的位置或角度进行校正。或者,确定初始规则框对应的校正后的目标规则框之后,若判断校正后的目标规则框中存在负坐标的像素点,此时也说明电子设备校正失误,同样输出报警提示信息,以提示相关人员对摄像机的位置或角度进行校正。
下面结合附图对本发明实施例提供的规则框校正过程进行详细说明。
本发明实施例的应用场景包括对于南方沿海地区,经常受到大风或者台风天气影响,架设的监控相机有时候会因位置移动导致不同程度偏离预设监控区域。或者有些地方受地质影响,比如工地施工、渣土车碾压路面、长期降雨等,导致松土地基沉降或震动,使得立杆或悬臂杆移位或抖动,从而导致固定在立杆上的监控相机监控区域变化。再或者有些施工现场条件不理想,没有标准牢固的悬臂杆,只能固定在一些非标准的杆体上,这些杆体弹性较大,或者比较纤细,容易受外界环境影响。另外可能有人为地有意、无意破坏,如撞击、栓绳拉绳承重等。以上非正常环境对相机监视画面产生两方面影响:抖动和移位。
图2为常见的监控相机安装示意图,如图2所示,监控相机用万向结抱箍在悬臂杆横杆上。通常标准施工要求:地面至悬臂杆中心线高度为:6.0mm。构件全部采用A3钢。杆件要求整体成形。焊条采用T42。所有钢构件都进行热镀锌防腐处理,紧固件表面:350/m2,其它为:600g/m。混凝土采用C20,基础规格不低于1500*1500*2200(mm),具体规格视路口情形定。所有各焊处必须满焊、牢固、不得虚焊,表面美观。弧形杆中心线与道路横向应保持水平。每套臂应有一根2.5m热镀锌接地棒,采用16mm2裸铜线和杆件连接,接地电阻为﹤10Ω。不满足上述标准施工要求的,监控相机可能会安装在路灯、电线杆、建筑外墙等。如图3所示。
图4为本发明实施例提供的场景示意图,本发明实施例提供一种依据固定参考物的自动校正方法,使规则区域在一定范围发生偏移后校正回来,并按需进行事件上报,提醒上层(用户)采取应对措施。方案过程如下。
需要说明的是,下面是以区域规则框为例,且例举场景是停车位,规则线相比规则框简单,且场景不限于停车位。另外规则框为四边形,实际可以是多边形。
相关参数说明:
坐标系:分为直角坐标系和极坐标系。其中,直角坐标系在图像处理领域和数学上的稍有不同,直角坐标系在图像处理领域y轴是垂直向下的。如图5所示。
固定参考物:通过AI预先训练好参考物识别模型,参考物识别模型能识别的一些固定参考物,比如固定式垃圾桶(底部地基固定,不可移动)、箱体(广告灯箱)等,如果现场没有,可选其它固定的标识配件。能够识别固定参照物角度信息:水平角α、垂直角β、偏航角δ,如图6所示。另外其中心点位置O,面积S(w*h)也可进行识别。其中,中心点位置、偏航角反映了(监视画面)平面位置的变化;面积、水平角、垂直角反映了深度位置变化。深度变化会影响画面缩放。
tα:水平角缩放参数,近似|cos(α)|,实际可能会随镜头参数调教,范围0~1;
tβ:垂直角缩放参数,近似|cos(β)|,实际可能会随镜头参数调教,范围0~1;
a:水平角度补偿深度变化调教参数,范围0~0.5;
b:垂直角度补偿深度变化调教参数,范围0~0.5;
c:水平角度补偿宽度变化调教参数,范围0~0.5;
d:垂直角度补偿宽度变化调教参数,范围0~0.5。
图7为正常监控画面示意图,图7中包括规则框,规则框内部为车位线。固定参考物为垃圾桶或停车标志。图8为受外界影响偏移后的监控画面示意图,并且图8为根据固定参考物校正规则框之后的示意图。图9为受外界影响偏移前后的监控画面对比示意图。图10为根据对比监控画面提取出的点位坐标模型示意图。下面结合图10对本发明实施例提供的规则框校正方案进行说明。
∠xOA=θ,因为A"是参考物旋转前的偏移位置,所以OA∥O'A",∠x'O'A"=∠xOA=θ;A'是旋转后的位置,参考物旋转角∠x'Ox"=∠y'Oy"=δ(变化前δ0、后δ1的旋转角差值δ1-δ0),∠A"O'A'=δ。因为四边形ABCD是应用绘制在图形层上,所以其不会随视频层中监控画面的变化而变化。原参考物坐标O(x0,y0),变化后参考物坐标O'(x1,y1),原规则点A(xa,ya),校正的规则点A'(xa1,ya1)。在没有深度变化时,A相对于O的极坐标为A(ρ,θ),A'相对于O'的极坐标为A'(ρ,θ+δ),A'相对于O'的数学坐标系坐标为A'(ρ*cos(θ+δ),ρ*sin(θ+δ))。如图6所示,考虑深度影响:水平角影响x轴方向缩放,垂直角影响y轴缩放,z轴直接对应景深,关于z轴景深测量已经有很多技术手段,如激光、红外测距、尺度标定等。这里可根据面积近似估算,也可根据水平角、垂直角进行相对于变化前(原参考物不一定正对监控镜头,所以也会有初始角度)的初始角度进行还原补偿。面积近似估算深度变化比qs=sqrt(S'/S)。角度补偿深度变化比考虑深度影响后的A'相对于O'的数学坐标系坐标为A'(ρ*qs*(c+tα)*cos(θ+δ),ρ*qs*(d+tβ)*sin(θ+δ))。考虑到数学直角坐标系与图像直角坐标系在y轴方向的差别,最终A'相对于画面O0的图像坐标系坐标为A'(x1+ρ*qs*(c+tα)*cos(θ+δ),y1-ρ*qs*(d+tβ)*sin(θ+δ))。其它点坐标推算过程相同,不复述。
其中,A'坐标(x",y"),原参考物坐标O(x0,y0),变化后参考物坐标O'(x1,y1)。原规则点A(xa,ya);0≤a≤0.5,0≤b≤0.5,0≤c≤0.5,0≤d≤0.5;tα=|cos(α)|,tβ=|cos(β)|,x"=x1+ρ*qs*(c+tα)*cos(θ+δ),y"=y1-ρ*qs*(d+tβ)*sin(θ+δ)。
方法处理流程如下:
设置偏移报警阈值:参考物位移ΔS,角度变化Δα、Δβ、Δδ,面积变化Δq。
相机正常监控画面,在监控画面上绘制区域规则线、框,下发规则。
记录规则中各个点坐标位置;算法分析规则下发时,当前视频帧信息,给出原始参考物中心点坐标(O(x0,y0))、宽高(w、h)、角度(α、β、δ0)值。
算法分析每帧(可按需抽帧)参考物,得出实时中心点坐标(O'(x1,y1))、宽高(w'、h')、角度(α'、β'、δ1)值。
多参考物优选:若检测出多个参考物,根据角度最正(各角度最接近0值)、宽高最大、中心点最靠近画面中央原则,进行优选排序。第一优参考物作为参考值。
参考物失效判断:若存在多个参考物,比对参考物序列中各参考物参数值,参数值可以是参考物面积,若变化超过一定的阈值(例如参数值波动3%以上)的认为参考物受损,将其放到优选队列尾部,并更新其参考值。
报警判断:计算参考物位移、角度变化、面积变化,当任意一值超过预设的报警阈值,说明破坏难以校正(可能参考物也被破坏),直接报警,派人现场修复;否则,按前面推导公式计算调教后规则点坐标,若任意一个校正后规则点坐标出现负值,认为畸变,进行报警,否则进行重绘,并且上报抖动/移位报警,上层按实际需要考虑是否人工校正。
图11为本发明实施例提供的规则框校正过程示意图,设置偏移校正阈值和报警阈值;按业务需求绘制规则区域线、框;业务配置下发;记录原始规则区域线、框各点坐标;取一帧图像,确定目标参考物的中心点坐标、宽高、角度等;多参考物优选,以及参考物失效判断,确定出目标参考物;当目标参考物的变化参数超过偏移校正阈值,未超过报警阈值,则根据目标参考物进行规则框校正;当超过报警阈值,或者规则框校正完成之后存在负坐标的像素点,输出报警提示信息。
图12为本发明实施例提供的规则框校正装置结构示意图,所述装置包括:
第一确定模块121,用于获取监控区域的第一图像,并确定所述第一图像中的目标参考物的第一偏航角和第一中心点的位置信息;
获取模块122,用于获取预先保存的第二图像中的初始规则框以及所述第二图像中的所述目标参考物的第二偏航角和第二中心点的位置信息;
第二确定模块123,用于根据所述第一偏航角和所述第二偏航角,确定偏航角差值;根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框。
所述第一确定模块121,还用于确定所述第一图像中的目标参考物的第一面积信息;获取所述第二图像中的所述目标参考物的第二面积信息;根据所述第一面积信息和所述第二面积信息,确定深度变化比;
所述第二确定模块123,具体用于根据所述第二中心点的位置信息,确定所述初始规则框的每个第一顶点到所述第二中心点的距离;针对所述每个第一顶点,根据该第一顶点与所述第二中心点的距离、该第一顶点和所述第二中心点以及水平方向坐标轴构成的夹角、所述深度变化比、所述偏航角差值和所述第一中心点的位置信息,确定该第一顶点对应的校正后的第二顶点的位置信息;将每个第二顶点构成的规则框作为校正后的目标规则框。
所述装置还包括:
第三确定模块124,用于确定所述第一图像中的目标参考物的第一水平角和第一垂直角,获取所述第二图像中的所述目标参考物的第二水平角和第二垂直角,并确定水平角差值和垂直角差值;
所述第一确定模块121,具体用于根据所述第一面积信息、所述第二面积信息、所述水平角差值和垂直角差值,确定深度变化比。
所述第一确定模块121,具体用于将所述第一面积信息、所述第二面积信息、所述水平角差值和垂直角差值输入预设的第一公式确定深度变化比;式中,w'*h'为第一面积信息,w*h为第二面积信息,α'-α为水平角差值,β'-β为垂直角差值,a为预设的水平角深度补偿参数,b为预设的垂直角深度补偿参数,qs为深度变化比。
所述第二确定模块123,具体用于将该第一顶点与所述第二中心点的距离、该第一顶点和所述第二中心点以及水平方向坐标轴构成的夹角、所述深度变化比、所述偏航角差值和所述第一中心点的位置信息输入预设的第二公式A'(x1+ρ*qs*(c+tα)*cos(θ+δ),y1-ρ*qs*(d+tβ)*sin(θ+δ)),确定该第一顶点对应的校正后的第二顶点的位置信息;
式中,ρ为该第一顶点与所述第二中心点的距离,qs为深度变化比,θ为该第一顶点和所述第二中心点以及水平方向坐标轴构成的夹角,δ为偏航角差值,x1为第一中心点的水平方向坐标,y1为第一中心点的垂直方向坐标,c为预设的水平角宽度补偿参数,d为预设的垂直角宽度补偿参数,tα为预设的水平角缩放参数,tβ为预设的垂直角缩放参数,A'为该第一顶点对应的校正后的第二顶点的位置信息。
所述装置还包括:
第一判断模块125,用于若所述偏航角差值、水平角差值、垂直角差值、所述第一中心点的位置信息与所述第二中心点的位置信息之间的距离、所述深度变化比中的任意一个大于预设的阈值,根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框。
所述第一确定模块121,具体用于将所述第一图像输入预先训练完成的参考物识别模型,基于所述参考物识别模型,确定所述第一图像中的目标参考物的第一水平角、第一垂直角、第一偏航角、第一中心点的位置信息和第一面积信息。
所述装置还包括:第四确定模块126,用于将所述第一图像输入预先训练完成的参考物识别模型,基于所述参考物识别模型,确定所述第一图像中的每个参考物的第三水平角、第三垂直角、第三偏航角、第三中心点的位置信息和第三面积信息,根据所述每个参考物的第三水平角、第三垂直角、第三偏航角、第三中心点的位置信息和第三面积信息,确定每个参考物的优先级,选取优先级最高的参考物为目标参考物;其中,第三水平角、第三垂直角、第三偏航角中各角度越小、第三中心点的位置信息距离第一图像中心点的距离越近、第三面积信息越大的参考物的优先级越高。
所述装置还包括:训练模块127,用于针对训练集中的每张第三图像,将该第三图像和该第三图像对应的标注图像,输入参考物识别模型中,对所述参考物识别模型进行训练;其中,所述标注图像中标注有该第三图像中每个参考物的第四水平角、第四垂直角、第四偏航角、第四中心点的位置信息和第四面积信息。
所述装置还包括:
第二判断模块128,用于判断所述水平角差值、垂直角差值、偏航角差值、所述第一中心点和所述第二中心点之间的距离、所述第一面积信息和所述第二面积信息的差值中的任意一个是否超过预设的报警阈值,如果否,触发所述第二确定模块123,如果是,输出报警提示信息;
所述第二判断模块128,还用于判断校正后的目标规则框中是否存在负坐标的像素点,如果是,输出报警提示信息。
本发明实施例中还提供了一种电子设备,如图13所示,包括:处理器301、通信接口302、存储器303和通信总线304,其中,处理器301,通信接口302,存储器303通过通信总线304完成相互间的通信;
所述存储器303中存储有计算机程序,当所述程序被所述处理器301执行时,使得所述处理器301执行如下步骤:
获取监控区域的第一图像,并确定所述第一图像中的目标参考物的第一偏航角和第一中心点的位置信息;
获取预先保存的第二图像中的初始规则框以及所述第二图像中的所述目标参考物的第二偏航角和第二中心点的位置信息;
根据所述第一偏航角和所述第二偏航角,确定偏航角差值;根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框。
基于同一发明构思,本发明实施例中还提供了一种电子设备,由于上述电子设备解决问题的原理与规则框校正方法相似,因此上述电子设备的实施可以参见方法的实施,重复之处不再赘述。
本发明实施例提供的电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、网络侧设备等。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口302用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器,包括中央处理器、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本发明实施例中处理器执行存储器上所存放的程序时,实现获取监控区域的第一图像,并确定所述第一图像中的目标参考物的第一偏航角和第一中心点的位置信息;获取预先保存的第二图像中的初始规则框以及所述第二图像中的所述目标参考物的第二偏航角和第二中心点的位置信息;根据所述第一偏航角和所述第二偏航角,确定偏航角差值;根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框。由于在本发明实施例中,根据第一图像中的目标参考物的第一偏航角和第一中心点的位置信息和预先保存的第二图像中的初始规则框以及第二图像中的目标参考物的第二偏航角和第二中心点的位置信息,可以确定出目标参考物在图像中的移动情况,基于此对初始规则框进行校正得到目标规则框,从而提供了一种校正规则框的技术方案。
本发明实施例还提供了一种计算机存储可读存储介质,所述计算机可读存储介质内存储有可由电子设备执行的计算机程序,当所述程序在所述电子设备上运行时,使得所述电子设备执行时实现如下步骤:
获取监控区域的第一图像,并确定所述第一图像中的目标参考物的第一偏航角和第一中心点的位置信息;
获取预先保存的第二图像中的初始规则框以及所述第二图像中的所述目标参考物的第二偏航角和第二中心点的位置信息;
根据所述第一偏航角和所述第二偏航角,确定偏航角差值;根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框。
基于同一发明构思,本发明实施例中还提供了一种计算机可读存储介质,由于处理器在执行上述计算机可读存储介质上存储的计算机程序时解决问题的原理与规则框校正相似,因此处理器在执行上述计算机可读存储介质存储的计算机程序的实施可以参见方法的实施,重复之处不再赘述。
上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。
在本发明实施例中提供的计算机可读存储介质内存储计算机程序,计算机程序被处理器执行时实现获取监控区域的第一图像,并确定所述第一图像中的目标参考物的第一偏航角和第一中心点的位置信息;获取预先保存的第二图像中的初始规则框以及所述第二图像中的所述目标参考物的第二偏航角和第二中心点的位置信息;根据所述第一偏航角和所述第二偏航角,确定偏航角差值;根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框。由于在本发明实施例中,根据第一图像中的目标参考物的第一偏航角和第一中心点的位置信息和预先保存的第二图像中的初始规则框以及第二图像中的目标参考物的第二偏航角和第二中心点的位置信息,可以确定出目标参考物在图像中的移动情况,基于此对初始规则框进行校正得到目标规则框,从而提供了一种校正规则框的技术方案。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (13)
1.一种规则框校正方法,其特征在于,所述方法包括:
获取监控区域的第一图像,并确定所述第一图像中的目标参考物的第一偏航角和第一中心点的位置信息;
获取预先保存的第二图像中的初始规则框以及所述第二图像中的所述目标参考物的第二偏航角和第二中心点的位置信息;
根据所述第一偏航角和所述第二偏航角,确定偏航角差值;根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框。
2.如权利要求1所述的方法,其特征在于,所述根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框之前,所述方法还包括:
确定所述第一图像中的目标参考物的第一面积信息;获取所述第二图像中的所述目标参考物的第二面积信息;根据所述第一面积信息和所述第二面积信息,确定深度变化比;
所述根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框包括:
根据所述第二中心点的位置信息,确定所述初始规则框的每个第一顶点到所述第二中心点的距离;
针对所述每个第一顶点,根据该第一顶点与所述第二中心点的距离、该第一顶点和所述第二中心点以及水平方向坐标轴构成的夹角、所述深度变化比、所述偏航角差值和所述第一中心点的位置信息,确定该第一顶点对应的校正后的第二顶点的位置信息;
将每个第二顶点构成的规则框作为校正后的目标规则框。
3.如权利要求2所述的方法,其特征在于,所述根据所述第一面积信息和所述第二面积信息,确定深度变化比之前,所述方法还包括:
确定所述第一图像中的目标参考物的第一水平角和第一垂直角,获取所述第二图像中的所述目标参考物的第二水平角和第二垂直角,并确定水平角差值和垂直角差值;
所述根据所述第一面积信息和所述第二面积信息,确定深度变化比包括:
根据所述第一面积信息、所述第二面积信息、所述水平角差值和垂直角差值,确定深度变化比。
5.如权利要求2所述的方法,其特征在于,所述根据该第一顶点与所述第二中心点的距离、该第一顶点和所述第二中心点以及水平方向坐标轴构成的夹角、所述深度变化比、所述偏航角差值和所述第一中心点的位置信息,确定该第一顶点对应的校正后的第二顶点的位置信息包括:
将该第一顶点与所述第二中心点的距离、该第一顶点和所述第二中心点以及水平方向坐标轴构成的夹角、所述深度变化比、所述偏航角差值和所述第一中心点的位置信息输入预设的第二公式A'(x1+ρ*qs*(c+tα)*cos(θ+δ),y1-ρ*qs*(d+tβ)*sin(θ+δ)),确定该第一顶点对应的校正后的第二顶点的位置信息;
式中,ρ为该第一顶点与所述第二中心点的距离,qs为深度变化比,θ为该第一顶点和所述第二中心点以及水平方向坐标轴构成的夹角,δ为偏航角差值,x1为第一中心点的水平方向坐标,y1为第一中心点的垂直方向坐标,c为预设的水平角宽度补偿参数,d为预设的垂直角宽度补偿参数,tα为预设的水平角缩放参数,tβ为预设的垂直角缩放参数,A'为该第一顶点对应的校正后的第二顶点的位置信息。
6.如权利要求3所述的方法,其特征在于,所述根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框之前,所述方法还包括:
若所述偏航角差值、水平角差值、垂直角差值、所述第一中心点的位置信息与所述第二中心点的位置信息之间的距离、所述深度变化比中的任意一个大于预设的阈值,根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框。
7.如权利要求3所述的方法,其特征在于,确定所述第一图像中的目标参考物的第一水平角、第一垂直角、第一偏航角、第一中心点的位置信息和第一面积信息包括:
将所述第一图像输入预先训练完成的参考物识别模型,基于所述参考物识别模型,确定所述第一图像中的目标参考物的第一水平角、第一垂直角、第一偏航角、第一中心点的位置信息和第一面积信息。
8.如权利要求7所述的方法,其特征在于,所述确定第一图像中的目标参考物包括:
将所述第一图像输入预先训练完成的参考物识别模型,基于所述参考物识别模型,确定所述第一图像中的每个参考物的第三水平角、第三垂直角、第三偏航角、第三中心点的位置信息和第三面积信息,根据所述每个参考物的第三水平角、第三垂直角、第三偏航角、第三中心点的位置信息和第三面积信息,确定每个参考物的优先级,选取优先级最高的参考物为目标参考物;其中,第三水平角、第三垂直角、第三偏航角中各角度越小、第三中心点的位置信息距离第一图像中心点的距离越近、第三面积信息越大的参考物的优先级越高。
9.如权利要求8所述的方法,其特征在于,所述参考物识别模型的训练过程包括:
针对训练集中的每张第三图像,将该第三图像和该第三图像对应的标注图像,输入参考物识别模型中,对所述参考物识别模型进行训练;其中,所述标注图像中标注有该第三图像中每个参考物的第四水平角、第四垂直角、第四偏航角、第四中心点的位置信息和第四面积信息。
10.如权利要求3所述的方法,其特征在于,所述确定所述初始规则框对应的校正后的目标规则框之前,所述方法还包括:
判断所述水平角差值、垂直角差值、偏航角差值、所述第一中心点和所述第二中心点之间的距离、所述第一面积信息和所述第二面积信息的差值中的任意一个是否超过预设的报警阈值,如果是,输出报警提示信息,如果否,进行后续确定所述初始规则框对应的校正后的目标规则框的步骤;
所述确定所述初始规则框对应的校正后的目标规则框之后,所述方法还包括:
判断校正后的目标规则框中是否存在负坐标的像素点,如果是,输出报警提示信息。
11.一种规则框校正装置,其特征在于,所述装置包括:
第一确定模块,用于获取监控区域的第一图像,并确定所述第一图像中的目标参考物的第一偏航角和第一中心点的位置信息;
获取模块,用于获取预先保存的第二图像中的初始规则框以及所述第二图像中的所述目标参考物的第二偏航角和第二中心点的位置信息;
第二确定模块,用于根据所述第一偏航角和所述第二偏航角,确定偏航角差值;根据第一中心点的位置信息、第二中心点的位置信息和所述偏航角差值,确定所述初始规则框对应的校正后的目标规则框。
12.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-10任一项所述的方法步骤。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-10任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011318414.0A CN112418086B (zh) | 2020-11-23 | 一种规则框校正方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011318414.0A CN112418086B (zh) | 2020-11-23 | 一种规则框校正方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112418086A true CN112418086A (zh) | 2021-02-26 |
CN112418086B CN112418086B (zh) | 2024-08-02 |
Family
ID=
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113762272A (zh) * | 2021-09-10 | 2021-12-07 | 北京精英路通科技有限公司 | 道路信息的确定方法、装置和电子设备 |
CN116906277A (zh) * | 2023-06-20 | 2023-10-20 | 北京图知天下科技有限责任公司 | 风机偏航变动的确定方法、装置、电子设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010186265A (ja) * | 2009-02-10 | 2010-08-26 | Nippon Telegr & Teleph Corp <Ntt> | カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体 |
CN102263900A (zh) * | 2010-05-26 | 2011-11-30 | 佳能株式会社 | 图像处理设备和图像处理方法 |
CN107113376A (zh) * | 2015-07-31 | 2017-08-29 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置及摄像机 |
KR101999793B1 (ko) * | 2018-10-29 | 2019-07-12 | (주)케이웍스 | 센서의 기울기를 감안하여 측정한 포트홀 크기를 실사사진을 함께 제공하는 포트홀 측정방법 및 시스템 |
CN110211186A (zh) * | 2018-02-28 | 2019-09-06 | Aptiv技术有限公司 | 用于校准摄像头相对于校准图案的位置和取向的方法 |
CN110569838A (zh) * | 2019-04-25 | 2019-12-13 | 内蒙古工业大学 | 一种基于视觉定位的四旋翼无人机自主降落方法 |
CN111256663A (zh) * | 2018-12-03 | 2020-06-09 | 北京世纪朝阳科技发展有限公司 | 对中校准方法和装置 |
CN111583119A (zh) * | 2020-05-19 | 2020-08-25 | 北京数字绿土科技有限公司 | 一种正射影像拼接方法、设备以及计算机可读介质 |
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010186265A (ja) * | 2009-02-10 | 2010-08-26 | Nippon Telegr & Teleph Corp <Ntt> | カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体 |
CN102263900A (zh) * | 2010-05-26 | 2011-11-30 | 佳能株式会社 | 图像处理设备和图像处理方法 |
CN107113376A (zh) * | 2015-07-31 | 2017-08-29 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置及摄像机 |
CN110211186A (zh) * | 2018-02-28 | 2019-09-06 | Aptiv技术有限公司 | 用于校准摄像头相对于校准图案的位置和取向的方法 |
KR101999793B1 (ko) * | 2018-10-29 | 2019-07-12 | (주)케이웍스 | 센서의 기울기를 감안하여 측정한 포트홀 크기를 실사사진을 함께 제공하는 포트홀 측정방법 및 시스템 |
CN111256663A (zh) * | 2018-12-03 | 2020-06-09 | 北京世纪朝阳科技发展有限公司 | 对中校准方法和装置 |
CN110569838A (zh) * | 2019-04-25 | 2019-12-13 | 内蒙古工业大学 | 一种基于视觉定位的四旋翼无人机自主降落方法 |
CN111583119A (zh) * | 2020-05-19 | 2020-08-25 | 北京数字绿土科技有限公司 | 一种正射影像拼接方法、设备以及计算机可读介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113762272A (zh) * | 2021-09-10 | 2021-12-07 | 北京精英路通科技有限公司 | 道路信息的确定方法、装置和电子设备 |
CN113762272B (zh) * | 2021-09-10 | 2024-06-14 | 北京精英路通科技有限公司 | 道路信息的确定方法、装置和电子设备 |
CN116906277A (zh) * | 2023-06-20 | 2023-10-20 | 北京图知天下科技有限责任公司 | 风机偏航变动的确定方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109345593B (zh) | 一种摄像机姿态的检测方法及装置 | |
CN112417926B (zh) | 车位识别方法、装置、计算机设备及可读存储介质 | |
EP3641298B1 (en) | Method and device for capturing target object and video monitoring device | |
CN104167109B (zh) | 车辆位置的检测方法和检测装置 | |
US9436997B2 (en) | Estimating rainfall precipitation amounts by applying computer vision in cameras | |
CN110703760B (zh) | 一种用于安防巡检机器人的新增可疑物体检测方法 | |
CN115131748B (zh) | 一种提高雷视一体机目标跟踪识别准确率的方法和*** | |
CN102055884B (zh) | 一种视频图像的稳像控制方法、***及视频分析*** | |
CN110718068B (zh) | 一种道路监控摄像机安装角度估计方法 | |
CN104834886A (zh) | 一种视频图像检测方法及装置 | |
CN113505643A (zh) | 违章目标物检测方法及相关装置 | |
CN112418086B (zh) | 一种规则框校正方法、装置、电子设备及存储介质 | |
CN112418086A (zh) | 一种规则框校正方法、装置、电子设备及存储介质 | |
CN114384505A (zh) | 雷达偏转角的确定方法和装置 | |
CN117152265A (zh) | 一种基于区域提取的交通图像标定方法及装置 | |
CN103363916A (zh) | 一种信息处理方法及处理设备 | |
CN104299002B (zh) | 一种基于监控***的塔吊图像检测方法 | |
CN115683046A (zh) | 测距方法、装置、传感器及计算机可读存储介质 | |
CN110426674B (zh) | 一种空间位置确定方法、装置、电子设备及存储介质 | |
CN111429469B (zh) | 泊位位置确定方法、装置、电子设备及存储介质 | |
CN113674358A (zh) | 一种雷视设备的标定方法、装置、计算设备及存储介质 | |
CN108650465B (zh) | 摄像机画面增强现实标签的计算方法、装置及电子设备 | |
CN112686956A (zh) | 一种城市道路信号灯杆倾斜故障的检测方法 | |
CN113379591B (zh) | 速度确定方法、速度确定装置、电子设备及存储介质 | |
JP6482892B2 (ja) | 監視システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |