CN104657940B - 畸变图像校正复原与分析报警的方法和装置 - Google Patents
畸变图像校正复原与分析报警的方法和装置 Download PDFInfo
- Publication number
- CN104657940B CN104657940B CN201310598077.9A CN201310598077A CN104657940B CN 104657940 B CN104657940 B CN 104657940B CN 201310598077 A CN201310598077 A CN 201310598077A CN 104657940 B CN104657940 B CN 104657940B
- Authority
- CN
- China
- Prior art keywords
- distortion
- image
- coordinate
- camera lens
- recovery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 56
- 238000003702 image correction Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000011084 recovery Methods 0.000 claims abstract description 105
- 238000010586 diagram Methods 0.000 claims description 32
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 13
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000003709 image segmentation Methods 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 8
- 241000208340 Araliaceae Species 0.000 claims description 6
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 6
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 235000008434 ginseng Nutrition 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000008439 repair process Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 29
- 230000000007 visual effect Effects 0.000 abstract description 12
- 239000000523 sample Substances 0.000 description 78
- 241000251468 Actinopterygii Species 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000002045 lasting effect Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000012491 analyte Substances 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Geometry (AREA)
Abstract
本发明公开了一种畸变图像校正复原与分析报警的方法和装置,其中方法包括:接收畸变镜头采集到的原始畸变图像,获取所述原始畸变图像中各坐标点的原始畸变坐标;获取预存储的所述畸变镜头的畸变参数,确定所述原始畸变图像中各坐标点的复原坐标,获得复原后图像。本发明采用预存储的畸变镜头的畸变参数来对畸变镜头采集到的图像进行校正复原处理,获得无失真的图像,使显示的画面接近真实场景,且复原后的图像具有大视角的特点,避免了普通视角拍摄存在的盲区和死角,有利于在安防监控环境中对突发事件的捕获,提高安防报警的准确性。
Description
技术领域
本发明涉及到图像处理技术领域,特别涉及到畸变图像校正复原与分析报警的方法和装置。
背景技术
在安防视频监控领域,普通的视频监控探头会存在很多的盲区和死角,使得不法分子有机可乘。如果在普通监控的盲区和死角针对性的安放鱼眼监控探头,进行实时视频分析,便可以对这些死角和盲区的安全及突发的事件(如遗留物检测,物品监控)等,起到很好的安全快速预警的作用。鱼眼镜头是一种焦距极短、且视角接近或等于180°的镜头,它是一种极端的广角镜头。为使镜头达到最大的摄影视角,这种摄影镜头的前镜片直径且呈抛物状向镜头前部凸出,与鱼的眼睛颇为相似,鱼眼镜头因此而得名。鱼眼镜头属于超广角镜头中的一种特殊镜头,它的视角力求达到或超出人眼所能看到的范围。但其不足为图像严重失真,近景极大、远景极小,导致得到的图像与人们眼中的真实世界的景象存在着很大的差别。
发明内容
本发明的主要目的为提供一种畸变图像校正复原与分析报警的方法和装置,能对采集到的畸变图像进行很好的校正复原。
本发明提出一种畸变图像校正复原与分析报警的方法,包括步骤:
接收畸变镜头采集到的原始畸变图像,获取所述原始畸变图像中各坐标点的原始畸变坐标(xd’,yd’);
获取预存储的所述畸变镜头的畸变参数(k1,k2),确定所述原始畸变图像中各坐标点的复原坐标(xu’,yu’),获得复原后图像。
优选地,所述畸变镜头的畸变参数(k1,k2)的标定步骤包括:
接收畸变镜头采集到的样本图像和普通镜头采集到的样本图像;
获取所述畸变镜头采集到的样本图像中标定特征的有畸变坐标(xd,yd)和所述普通镜头采集到的样本图像中标定特征的无畸变坐标(xu,yu);
将所述有畸变坐标(xd,yd)和无畸变坐标(xu,yu)代入公式:
经n次迭代后,获得畸变参
数(k1,k2),其中,(xdi,ydi)为第i次迭代后的有畸变坐标,ri-1为第i-1次迭代后的样本图像
半径,初始值为
优选地,所述获取畸变镜头采集到的样本图像中标定特征的有畸变坐标(xd,yd)和所述普通镜头采集到的样本图像中标定特征的无畸变坐标(xu,yu)的步骤包括:
分别对所述畸变镜头采集到的样本图像和普通镜头采集到的样本图像进行二阶图像灰度化处理,获得畸变样本灰度图和普通样本灰度图;
采用边缘检测算法,分别对所述畸变样本灰度图和普通样本灰度图进行边缘检测,获得畸变样本轮廓图和普通样本轮廓图;
采用霍夫变换算法,分别对所述畸变样本轮廓图和普通样本轮廓图中的标定特征进行检测,获得所述有畸变坐标(xd,yd)和无畸变坐标(xu,yu)。
优选地,所述确定原始畸变图像中各坐标点的复原坐标(xu’,yu’)的步骤具体包括:
将所述原始畸变坐标(xd’,yd’)和畸变参数(k1,k2)代入公式:
经n’次迭代后,获得复
原坐标(xu’,yu’),其中,(xdi’,ydi’)为第i次迭代后的原始畸变坐标,r’i-1为第i-1次迭代后
的原始畸变图像半径,初始值为
优选地,所述确定原始畸变图像中各坐标点的复原坐标(xu’,yu’)的步骤之后还包括:
获取所述畸变镜头的方向角(α,β,γ);
根据所述畸变镜头的方向角(α,β,γ)和所述复原坐标(xu’,yu’),对畸变矩阵做空间位置的变化,获得所述畸变镜头的方向角(α,β,γ)对应的复原坐标(xu”,yu”)。
优选地,所述根据畸变镜头的方向角(α,β,γ)和所述复原坐标(xu’,yu’),对畸变矩阵做空间位置的变化,获得所述畸变镜头的方向角(α,β,γ)对应的复原坐标(xu”,yu”)的步骤具体包括:
将所述复原坐标(xu’,yu’)代入公式:获得镜头坐标(xc,yc,zc),
其中,f为所述畸变镜头的等效焦距;
将所述畸变镜头的方向角(α,β,γ)和镜头坐标(xc,yc,zc)代入公式:获得所述畸变镜头的方向角(α,β,γ)对
应的复原坐标(xu”,yu”),其中,为所述畸变镜头的光学特征参数矩阵,为平移矢量。
优选地,所述获取预存储的所述畸变镜头的畸变参数(k1,k2),确定所述原始畸变图像中各坐标点的复原坐标(xu’,yu’),获得复原后图像的步骤之后还包括:
采用插值算法,修补所述复原后图像中的空洞坐标点;
根据所述原始畸变图像的原始畸变坐标与所述复原后图像的复原坐标之间的对应关系,将所述原始畸变坐标的像素值还原到所述复原坐标上。
所述获取预存储的所述畸变镜头的畸变参数(k1,k2),确定所述原始畸变图像中各坐标点的复原坐标(xu’,yu’),获得复原后图像的步骤之后还包括:
对多帧复原后图像进行自适应背景学习,获得参考背景;
根据参考背景,采用图像分割算法,对后续的复原后图像进行分割处理,提取差异目标特征;
对所述差异目标特征做过滤处理,排除差异目标特征在过滤范围内的复原后图像;
采用在过滤范围外的差异目标特征对后续的复原后图像进行差异目标特征的运动匹配跟踪;
当持续存在差异目标特征的复原后图像的帧数超过预设帧数时,将所述复原后图像记录为发生突变的图像,并报警。
本发明还提出一种畸变图像校正复原与分析报警的装置,包括:
获取模块,用于接收畸变镜头采集到的原始畸变图像,获取所述原始畸变图像中各坐标点的原始畸变坐标(xd’,yd’);
校正模块,用于获取预存储的所述畸变镜头的畸变参数(k1,k2),确定所述原始畸变图像中各坐标点的复原坐标(xu’,yu’),获得复原后图像。
优选地,所述畸变图像校正复原与分析报警的装置,还包括参数标定模块,用于:
接收畸变镜头采集到的样本图像和普通镜头采集到的样本图像;
获取所述畸变镜头采集到的样本图像中标定特征的有畸变坐标(xd,yd)和所述普通镜头采集到的样本图像中标定特征的无畸变坐标(xu,yu);
将所述有畸变坐标(xd,yd)和无畸变坐标(xu,yu)代入公式:
经n次迭代后,获得畸变参
数(k1,k2),其中,(xdi,ydi)为第i次迭代后的有畸变坐标,ri-1为第i-1次迭代后的样本图像
半径,初始值为
优选地,所述参数标定模块还用于:
分别对所述畸变镜头采集到的样本图像和普通镜头采集到的样本图像进行二阶图像灰度化处理,获得畸变样本灰度图和普通样本灰度图;
采用边缘检测算法,分别对所述畸变样本灰度图和普通样本灰度图进行边缘检测,获得畸变样本轮廓图和普通样本轮廓图;
采用霍夫变换算法,分别对所述畸变样本轮廓图和普通样本轮廓图中的标定特征进行检测,获得所述有畸变坐标(xd,yd)和无畸变坐标(xu,yu)。
优选地,所述校正模块还用于:
将所述原始畸变坐标(xd’,yd’)和畸变参数(k1,k2)代入公式:
经n’次迭代后,获得复
原坐标(xu’,yu’),其中,(xdi’,ydi’)为第i次迭代后的原始畸变坐标,r’i-1为第i-1次迭代后
的原始畸变图像半径,初始值为
优选地,所述获取模块还用于,获取所述畸变镜头的方向角(α,β,γ);
所述校正模块还用于,根据所述畸变镜头的方向角(α,β,γ)和所述复原坐标(xu’,yu’),对畸变矩阵做空间位置的变化,获得所述畸变镜头的方向角(α,β,γ)对应的复原坐标(xu”,yu”)。
优选地,所述校正模块还用于:
将所述复原坐标(xu’,yu’)代入公式:获得镜头坐标(xc,yc,zc),
其中,f为所述畸变镜头的等效焦距;
将所述畸变镜头的方向角(α,β,γ)和镜头坐标(xc,yc,zc)代入公式:获得所述畸变镜头的方向角(α,β,γ)对
应的复原坐标(xu”,yu”),其中,为所述畸变镜头的光学特征参数矩阵,为平移矢量。
优选地,所述畸变图像校正复原与分析报警的装置还包括:
修补模块,用于采用插值算法,修补所述复原后图像中的空洞坐标点;
像素还原模块,用于根据所述原始畸变图像的原始畸变坐标与所述复原后图像的复原坐标之间的对应关系,将所述原始畸变坐标的像素值还原到所述复原坐标上。
优选地,所述畸变图像校正复原与分析报警的装置,还包括报警分析模块,用于:
对多帧复原后图像进行自适应背景学习,获得参考背景;
根据参考背景,采用图像分割算法,对后续的复原后图像进行分割处理,提取差异目标特征;
对所述差异目标特征做过滤处理,排除差异目标特征在过滤范围内的复原后图像;
采用在过滤范围外的差异目标特征对后续的复原后图像进行差异目标特征的运动匹配跟踪;
当持续存在差异目标特征的复原后图像的帧数超过预设帧数时,将所述复原后图像记录为发生突变的图像,并报警。
本发明采用预存储的畸变镜头的畸变参数来对畸变镜头采集到的图像进行校正复原处理,获得无失真的图像,使显示的画面接近真实场景,且复原后的图像具有大视角的特点,避免了普通视角拍摄存在的盲区和死角,有利于在安防监控环境中对突发事件的捕获,提高安防报警的准确性。
附图说明
图1为本发明畸变图像校正复原与分析报警的方法的第一实施例的流程图;
图2为本发明畸变图像校正复原与分析报警的方法的第二实施例的流程图;
图3为本发明畸变图像校正复原与分析报警的方法的第三实施例的流程图;
图4为本发明畸变图像校正复原与分析报警的方法的第四实施例的流程图;
图5为本发明畸变图像校正复原与分析报警的方法的第五实施例的流程图;
图6为本发明畸变图像校正复原与分析报警的方法的第六实施例的流程图;
图7为本发明畸变图像校正复原与分析报警的方法的第八实施例的流程图;
图8为本发明畸变图像校正复原与分析报警的装置的第一实施例的结构示意图;
图9为本发明畸变图像校正复原与分析报警的装置的第二实施例的结构示意图;
图10为本发明畸变图像校正复原与分析报警的装置的第二实施例的结构示意图;
图11为本发明畸变图像校正复原与分析报警的装置的第三实施例的结构示意图;
图12为本发明实施例中棋盘格样本图;
图13为本发明实施例中畸变镜头获取到的原始畸变图像;
图14为本发明实施例中带有空洞的复原后图像;
图15为本发明实施例中修补空洞后的复原后图像。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1为本发明畸变图像校正复原与分析报警的方法的第一实施例的流程图。本实施例提到的畸变图像校正复原与分析报警的方法,包括:
步骤S10,接收畸变镜头采集到的原始畸变图像;
本实施例在安防技术领域中,通过鱼眼镜头(即畸变镜头)的摄像头获取监控视频,首先将鱼眼镜头的摄像头与安装有畸变图像校正复原装置的设备连接。该安装有畸变图像校正复原装置的设备可为普通的电脑、手机等智能设备,或与鱼眼镜头适配的专用设备,或直接与监控中心连接,或由安装有畸变图像校正复原装置的设备与监控中心连接。鱼眼镜头的摄像头通过数据线将拍摄到的视频数据传输给电脑或专用设备,或通过无线传输方式传送给手机或监控中心,或由电脑、手机、专用设备等将分析后的数据传输给监控中心。
步骤S20,获取原始畸变图像中各坐标点的原始畸变坐标(xd’,yd’);
在原始畸变图像中的各坐标点可以是位置坐标,也可以是各像素点坐标。获取坐标时,可将原始畸变图像转换为灰度图后,在进行校正处理。
步骤S30,获取预存储的畸变镜头的畸变参数(k1,k2);
在镜头参数中预先存储有畸变镜头的畸变参数,k1和k2的绝对值越大,变形程度越高,当k1和k2均大于0时,表示图像的四个角落往中心扭曲。
步骤S40,确定原始畸变图像中各坐标点的复原坐标(xu’,yu’),获得复原后图像。
采用畸变参数对原始畸变图像进行复原,恢复出大视角的无畸变图像及相应的视频流。经过校正后的图像比普通镜头下获得的图像的视角大得多,可以解决普通监控存在的盲区和死角的问题。此外,安装有畸变图像校正复原装置的设备还可与报警***连接,对复原后图像进行分析处理,判断复原后图像中是否存在异常的突变事件,如果发生了突发事件,并且该突发事件持续的记录帧数超过一定的次数,即连续多帧复原图像上都有突发事件发生,则对该突发事件进行捕获,即记录该复原后图像,并同步发送报警通知,实现自动报警。
本实施例采用预存储的畸变镜头的畸变参数来对畸变镜头采集到的图像进行校正复原处理,获得无失真的图像,使显示的画面接近真实场景,且复原后的图像具有大视角的特点,避免了普通视角拍摄存在的盲区和死角,有利于在安防监控环境中对突发事件的捕获,提高安防报警的准确性。
如图2所示,图2为本发明畸变图像校正复原与分析报警的方法的第二实施例的流程图。本实施例对图1所示实施例中的畸变镜头的畸变参数(k1,k2)的标定步骤进行说明,标定畸变参数(k1,k2)的步骤包括:
步骤S51,接收畸变镜头采集到的样本图像和普通镜头采集到的样本图像;
本实施例在标定畸变参数时,预先选定样本图像,并在样本图像中标记出标定特征,例如图12所示的棋盘格,在棋盘格的交叉角点处用相同半径的实心圆标记,并预先测定好所标定的实心圆的圆心坐标(x,y,z),以该实心圆的圆心作为样本的标定特征。分别用鱼眼镜头(即畸变镜头)和普通镜头拍摄该样本图像。鱼眼镜头和普通镜头将拍摄到的样本图像发送给畸变图像校正复原装置。
步骤S52,获取畸变镜头采集到的样本图像中标定特征的有畸变坐标(xd,yd)和普通镜头采集到的样本图像中标定特征的无畸变坐标(xu,yu);
对畸变镜头和普通镜头采集到的样本图像中的标定特征进行识别处理,以图12所示的棋盘格为例,对棋盘格中实心圆进行识别,识别到实心圆的圆心,并确定该实心圆圆心的坐标值。根据样本圆心的实际空间位置坐标(x,y,z)、经畸变镜头采集到的有畸变坐标(xd,yd)和普通镜头采集到的无畸变坐标(xu,yu)之间的对应关系,构件样本特征对应关系表,如下表所示:
本实施例中假设只考虑透镜的径向失真,则失真后的标定特征点投影坐标即为(xd,yd)。
本实施例可采用以下方式来确定标定特征的坐标:首先,分别对畸变镜头采集到的样本图像和普通镜头采集到的样本图像进行二阶图像灰度化处理,获得畸变样本灰度图和普通样本灰度图;然后采用边缘检测算法,分别对畸变样本灰度图和普通样本灰度图进行边缘检测,获得畸变样本轮廓图和普通样本轮廓图;最后,采用霍夫变换算法,分别对畸变样本轮廓图和普通样本轮廓图中的标定特征进行检测,获得有畸变坐标(xd,yd)和无畸变坐标(xu,yu)。
步骤S53,将有畸变坐标(xd,yd)和无畸变坐标(xu,yu)代入公式:
经n次迭代后,获得畸变参
数(k1,k2)。
上述公式可称为鱼眼效应方程式,其中,(xdi,ydi)为第i次迭代后的有畸变坐标,经畸变镜头拍摄到的图像如图13所示,ri-1为第i-1次迭代后的样本图像半径,初始值为迭代次数可预先设定,通常可迭代5~6次。在经过多次迭代后,即可求解出畸变参数(k1,k2),将获得的畸变参数存储在镜头参数中。
本实施例采用鱼眼效应方程式获得畸变镜头的畸变参数,并在对后续畸变图像进行校正时,通过畸变参数来复原畸变镜头采集到的图像,获得无失真的图像,使显示的画面接近真实场景,有利于在安防监控环境中对突发事件的捕获,提高安防报警的准确性。
如图3所示,图3为本发明畸变图像校正复原与分析报警的方法的第三实施例的流程图。本实施例以图1所示实施例为基础,步骤S40具体包括:
步骤S41,将原始畸变坐标(xd’,yd’)和畸变参数(k1,k2)代入公式:
经n’次迭代后,获得复
原坐标(xu’,yu’),获得复原后图像。
其中,(xdi’,ydi’)为第i次迭代后的原始畸变坐标,r’i-1为第i-1次迭代后的原始畸变图像半径,初始值为
本实施例采用鱼眼效应方程式的逆推过程,对原始畸变图像中各坐标点进行校正,确定复原坐标,并根据复原坐标重建图像,获得复原后的图像,该复原图像无失真,显示的画面接近真实场景,有利于在安防监控环境中对突发事件的捕获,提高安防报警的准确性。
如图4所示,图4为本发明畸变图像校正复原与分析报警的方法的第四实施例的流程图。本实施例以图1所示实施例为基础,步骤S40具体还包括:
步骤S42,确定原始畸变图像中各坐标点的复原坐标(xu’,yu’);
步骤S43,获取畸变镜头的方向角(α,β,γ);
步骤S44,根据畸变镜头的方向角(α,β,γ)和复原坐标(xu’,yu’),对畸变矩阵做空间位置的变化,获得畸变镜头的方向角(α,β,γ)对应的复原坐标(xu”,yu”),获得复原后图像。
本实施例考虑到预先存储的畸变参数所针对的畸变镜头,在进行标定畸变参数时的方向角,与实际获取图像时的方向角不一致时,在复原图像后得到的坐标会与真实坐标存在一定的角度偏差,此时需对畸变矩阵做空间位置变化,以获得在当前方向角对应的复原坐标,使获得的复原后图像更加接近真实图像,进一步提高显示画面的真实性,以及在安防监控环境中对突发事件的捕获的准确性。
如图5所示,图5为本发明畸变图像校正复原与分析报警的方法的第五实施例的流程图。本实施例以图4所示实施例为基础,步骤S43具体包括:
步骤S431,将复原坐标(xu’,yu’)代入公式:获得镜头坐标(xc,
yc,zc);
本实施例通过透视变换的逆推过程,得到坐标(xc,yc,zc),该坐标为透视变换前的坐标值,其中,f为畸变镜头的等效焦距。
步骤S432,将畸变镜头的方向角(α,β,γ)和镜头坐标(xc,yc,zc)代入公式:获得畸变镜头的方向角(α,β,γ)对应的
复原坐标(xu”,yu”),获得复原后图像。
根据空间成像***的数学模型,将复原坐标(xu”,yu”,zu”)经旋转和平移变换后,
映射为透射前坐标(xc,yc,zc),因此,逆推过程即可获得畸变镜头的方向角(α,β,γ)对应的
复原坐标(xu”,yu”,zu”),其中,为畸变镜头的光学特征参数矩阵,为
平移矢量。本实施例假设只考虑透镜的径向失真,因此zu”可取0,最终得的复原坐标(xu”,
yu”),根据该坐标重建图像,获得复原后的图像。
本实施例对畸变矩阵做空间位置变化,以获得在当前方向角对应的复原坐标,使获得的复原后图像更加接近真实图像,进一步提高显示画面的真实性,以及在安防监控环境中对突发事件的捕获的准确性。
如图6所示,图6为本发明畸变图像校正复原与分析报警的方法的第六实施例的流程图。本实施例以图1所示实施例为基础,步骤S40之后还包括:
步骤S60,采用插值算法,修补复原后图像中的空洞坐标点;
本实施例在通过畸变校正后,复原后图像中可能会存在一些黑色网格,可称之为空洞,如图14所示。要得到最终完整的图像,需对空洞进行修复,采用差值算法修补空洞,复原出无畸变的大视角图像,如图15所示。
步骤S70,根据原始畸变图像的原始畸变坐标与复原后图像的复原坐标之间的对应关系,将原始畸变坐标的像素值还原到复原坐标上。
此外,在拍摄图像时,获得的原本是彩色图像,为了提取原始畸变坐标,将其转换为灰度图,此时需对其进行色彩还原,将原始畸变坐标的像素值还原到复原坐标上,获得最终的彩色复原后图像,以便于安防监控环境中对突发事件的捕获,进一步提高报警的准确性。
如图7所示,图7为本发明畸变图像校正复原与分析报警的方法的第八实施例的流程图。本实施例增加了分析报警的具体步骤,该步骤可在图1所示实施例的步骤S40之后,对复原后图像进行分析,也可在图7所示实施例的步骤70之后,对修补空洞和还原色彩之后的图像进行分析,本实施例以在步骤S40之后为例,包括:
步骤S81,对多帧复原后图像进行自适应背景学习,获得参考背景;
本实施例对多帧复原后的图像及视频进行自适应的背景学习,提取出无突发事件发生的参考背景。自适应背景学习可以是在一个时间段内对前n帧图像进行参考背景提取,例如,在第一个一小时内的图像,即0-60分钟内的图像,对第0-5分钟的图像进行自适应学习,提取出参考背景,然后用参考背景与第6-60分钟图像进行比较,在第二个一小时时间段内,即60-120分钟内的图像,对第60-65分钟的图像进行自适应学习,提取出参考背景,然后用参考背景与第66-120分钟图像进行比较,以此类推。
步骤S82,根据参考背景,采用图像分割算法,对后续的复原后图像进行分割处理,提取差异目标特征;
在将参考背景与后续图像进行比较分析时,采用图像分割算法,分割出于参考背景相同或近似的背景图像,以及与参考背景差异较大的前景图像,从前景图像中提取出差异目标特征。例如,后续某一帧图像中比参考背景多出来一个人,将这个人的影像作为差异目标特征;又例如,参考背景中有一个箱子,后续某一帧图像中的没有箱子,则将原来摆放箱子的位置作为差异目标特征。
步骤S83,对差异目标特征做过滤处理,排除差异目标特征在过滤范围内的复原后图像;
考虑到光影或信号采集带来的视频噪声影响,预先设定一个过滤范围,将噪声造成的差异目标特征给过滤掉,排除因噪声造成差异的图像。
步骤S84,采用在过滤范围外的差异目标特征对后续的复原后图像进行差异目标特征的运动匹配跟踪;
对于在过滤范围外的差异目标特征,有可能是发生了突发事件,对其后续的图像进行匹配跟踪,判断后续图像中是否仍然继续存在该差异目标特征。例如,在第i帧图像的右侧出现了一个人的影像,在一段时间段内的各图像中,对该人的影像进行运动匹配跟踪,该人的影像逐渐向左移动。又例如,在第1帧至第i-1帧图像的中部有一个箱子,在第i帧图像中没有箱子,在之后的一段时间段内的各图像中一致都没有箱子,或在第i帧图像中箱子位置发生变化,在之后的一段时间段内的各图像中,该箱子持续移动。
步骤S85,当持续存在差异目标特征的复原后图像的帧数超过预设帧数时,将复原后图像记录为发生突变的图像,并报警。
为了排除某些偶发干扰的情况,例如,在监视范围中,一个人路过,则该人的影像在视频画面中持续的时间不会太长,在规定时长内很快就会移出画面,假设通常人路过时在视频画面中持续时长为2秒,则将2秒内的帧数作为预设帧数,如果人像只在预设帧数内出现,则认为是正常情况,无需报警,如果人像在预设帧数范围外持续出现,则说明这个人在监视区域内待的时间较长,可能存在异常,需要报警。又例如,在监视范围中,箱子突然不见了,过了0.5秒后,箱子又出现在图像中,则认为是因偶发干扰造成的,无需报警,如果箱子持续5秒以上都没有再出现,则认为是出现异常,需要发送报警通知,实现自动报警。
本实施例进行智能分析报警的对象是鱼眼镜头获取到的畸变图像经过校正复原后的图像,该图像与普通镜头获取到的图像相比,具有大视角的特点,避免了普通视角拍摄存在的盲区和死角问题,有利于在安防监控环境中对突发事件的捕获,提高安防报警的准确性。
如图8所示,图8为本发明畸变图像校正复原与分析报警的装置的第一实施例的结构示意图。本实施例提到的畸变图像校正复原与分析报警的装置,包括:
获取模块10,用于接收畸变镜头采集到的原始畸变图像,获取原始畸变图像中各坐标点的原始畸变坐标(xd’,yd’);
校正模块20,用于获取预存储的畸变镜头的畸变参数(k1,k2),确定原始畸变图像中各坐标点的复原坐标(xu’,yu’),获得复原后图像。
本实施例在安防技术领域中,通过鱼眼镜头(即畸变镜头)的摄像头获取监控视频,首先将鱼眼镜头的摄像头与安装有畸变图像校正复原装置的设备连接。该安装有畸变图像校正复原装置的设备可为普通的电脑、手机等智能设备,或与鱼眼镜头适配的专用设备,或直接与监控中心连接,或由安装有畸变图像校正复原装置的设备与监控中心连接。鱼眼镜头的摄像头通过数据线将拍摄到的视频数据传输给电脑或专用设备,或通过无线传输方式传送给手机或监控中心,或由电脑、手机、专用设备等将分析后的数据传输给监控中心。在原始畸变图像中的各坐标点可以是位置坐标,也可以是各像素点坐标。获取坐标时,可将原始畸变图像转换为灰度图后,在进行校正处理。在镜头参数中预先存储有畸变镜头的畸变参数,k1和k2的绝对值越大,变形程度越高,当k1和k2均大于0时,表示图像的四个角落往中心扭曲。
采用畸变参数对原始畸变图像进行复原,恢复出大视角的无畸变图像及相应的视频流。经过校正后的图像比普通镜头下获得的图像的视角大得多,可以解决普通监控存在的盲区和死角的问题。此外,安装有畸变图像校正复原装置的设备还可与报警***连接,对复原后图像进行分析处理,判断复原后图像中是否存在异常的突变事件,如果发生了突发事件,并且该突发事件持续的记录帧数超过一定的次数,即连续多帧复原图像上都有突发事件发生,则对该突发事件进行捕获,即记录该复原后图像,并同步发送报警通知,实现自动报警。
本实施例采用预存储的畸变镜头的畸变参数来对畸变镜头采集到的图像进行校正复原处理,获得无失真的图像,使显示的画面接近真实场景,且复原后的图像具有大视角的特点,避免了普通视角拍摄存在的盲区和死角,有利于在安防监控环境中对突发事件的捕获,提高安防报警的准确性。
如图9所示,图9为本发明畸变图像校正复原与分析报警的装置的第二实施例的结构示意图。本实施例在图8所示实施例的基础上,增加了参数标定模块30,用于:
接收畸变镜头采集到的样本图像和普通镜头采集到的样本图像;
获取畸变镜头采集到的样本图像中标定特征的有畸变坐标(xd,yd)和普通镜头采集到的样本图像中标定特征的无畸变坐标(xu,yu);
将有畸变坐标(xd,yd)和无畸变坐标(xu,yu)代入公式:
经n次迭代后,获得畸变参
数(k1,k2),其中,(xdi,ydi)为第i次迭代后的有畸变坐标,ri-1为第i-1次迭代后的样本图像
半径,初始值为
进一步的,参数标定模块30还用于:
分别对畸变镜头采集到的样本图像和普通镜头采集到的样本图像进行二阶图像灰度化处理,获得畸变样本灰度图和普通样本灰度图;
采用边缘检测算法,分别对畸变样本灰度图和普通样本灰度图进行边缘检测,获得畸变样本轮廓图和普通样本轮廓图;
采用霍夫变换算法,分别对畸变样本轮廓图和普通样本轮廓图中的标定特征进行检测,获得有畸变坐标(xd,yd)和无畸变坐标(xu,yu)。
本实施例在标定畸变参数时,预先选定样本图像,并在样本图像中标记出标定特征,例如图12所示的棋盘格,在棋盘格的交叉角点处用相同半径的实心圆标记,并预先测定好所标定的实心圆的圆心坐标(x,y,z),以该实心圆的圆心作为样本的标定特征。分别用鱼眼镜头(即畸变镜头)和普通镜头拍摄该样本图像。鱼眼镜头和普通镜头将拍摄到的样本图像发送给畸变图像校正复原装置。
对畸变镜头和普通镜头采集到的样本图像中的标定特征进行识别处理,以图12所示的棋盘格为例,对棋盘格中实心圆进行识别,识别到实心圆的圆心,并确定该实心圆圆心的坐标值。根据样本圆心的实际空间位置坐标(x,y,z)、经畸变镜头采集到的有畸变坐标(xd,yd)和普通镜头采集到的无畸变坐标(xu,yu)之间的对应关系,构件样本特征对应关系表,如下表所示:
本实施例中假设只考虑透镜的径向失真,则失真后的标定特征点投影坐标即为(xd,yd)。
本实施例采用鱼眼效应方程式求取畸变参数(k1,k2),经畸变镜头拍摄到的图像如图13所示,迭代次数可预先设定,通常可迭代5~6次。在经过多次迭代后,即可求解出畸变参数(k1,k2),将获得的畸变参数存储在镜头参数中。
本实施例采用鱼眼效应方程式获得畸变镜头的畸变参数,并在对后续畸变图像进行校正时,通过畸变参数来复原畸变镜头采集到的图像,获得无失真的图像,使显示的画面接近真实场景,有利于在安防监控环境中对突发事件的捕获,提高安防报警的准确性。
进一步的,校正模块20还用于:
将原始畸变坐标(xd’,yd’)和畸变参数(k1,k2)代入公式:
经n’次迭代后,获得复
原坐标(xu’,yu’),其中,(xdi’,ydi’)为第i次迭代后的原始畸变坐标,r’i-1为第i-1次迭代后
的原始畸变图像半径,初始值为
本实施例采用鱼眼效应方程式的逆推过程,对原始畸变图像中各坐标点进行校正,确定复原坐标,并根据复原坐标重建图像,获得复原后的图像,该复原图像无失真,显示的画面接近真实场景,有利于在安防监控环境中对突发事件的捕获,提高安防报警的准确性。
进一步的,获取模块10还用于,获取畸变镜头的方向角(α,β,γ);
校正模块20还用于,根据畸变镜头的方向角(α,β,γ)和复原坐标(xu’,yu’),对畸变矩阵做空间位置的变化,获得畸变镜头的方向角(α,β,γ)对应的复原坐标(xu”,yu”)。
本实施例考虑到预先存储的畸变参数所针对的畸变镜头,在进行标定畸变参数时的方向角,与实际获取图像时的方向角不一致时,在复原图像后得到的坐标会与真实坐标存在一定的角度偏差,此时需对畸变矩阵做空间位置变化,以获得在当前方向角对应的复原坐标,使获得的复原后图像更加接近真实图像,进一步提高显示画面的真实性,以及在安防监控环境中对突发事件的捕获的准确性。
进一步的,校正模块20还用于:
将复原坐标(xu’,yu’)代入公式:获得镜头坐标(xc,yc,zc),其中,
f为畸变镜头的等效焦距;
将畸变镜头的方向角(α,β,γ)和镜头坐标(xc,yc,zc)代入公式:获得畸变镜头的方向角(α,β,γ)对应的
复原坐标(xu”,yu”),其中,为畸变镜头的光学特征参数矩阵,为平移
矢量。
本实施例通过透视变换的逆推过程,得到坐标(xc,yc,zc),该坐标为透视变换前的坐标值。根据空间成像***的数学模型,将复原坐标(xu”,yu”,zu”)经旋转和平移变换后,映射为透射前坐标(xc,yc,zc),因此,逆推过程即可获得畸变镜头的方向角(α,β,γ)对应的复原坐标(xu”,yu”,zu”)。本实施例假设只考虑透镜的径向失真,因此zu”可取0,最终得的复原坐标(xu”,yu”),根据该坐标重建图像,获得复原后的图像。
本实施例对畸变矩阵做空间位置变化,以获得在当前方向角对应的复原坐标,使获得的复原后图像更加接近真实图像,进一步提高显示画面的真实性,以及在安防监控环境中对突发事件的捕获的准确性。
如图10所示,图10为本发明畸变图像校正复原与分析报警的装置的第二实施例的结构示意图。本实施例在图8所示实施例的基础上,增加了以下模块:
修补模块40,用于采用插值算法,修补复原后图像中的空洞坐标点;
像素还原模块50,用于根据原始畸变图像的原始畸变坐标与复原后图像的复原坐标之间的对应关系,将原始畸变坐标的像素值还原到复原坐标上。
本实施例在通过畸变校正后,复原后图像中可能会存在一些黑色网格,可称之为空洞,如图14所示。要得到最终完整的图像,需对空洞进行修复,采用差值算法修补空洞,复原出无畸变的大视角图像,如图15所示。
此外,在拍摄图像时,获得的原本是彩色图像,为了提取原始畸变坐标,将其转换为灰度图,此时需对其进行色彩还原,将原始畸变坐标的像素值还原到复原坐标上,获得最终的彩色复原后图像,以便于安防监控环境中对突发事件的捕获,进一步提高报警的准确性。
如图11所示,图11为本发明畸变图像校正复原与分析报警的装置的第三实施例的结构示意图。本实施例在图8所示实施例的基础上,增加了报警分析模块60,用于:
对多帧复原后图像进行自适应背景学习,获得参考背景;
根据参考背景,采用图像分割算法,对后续的复原后图像进行分割处理,提取差异目标特征;
对差异目标特征做过滤处理,排除差异目标特征在过滤范围内的复原后图像;
采用在过滤范围外的差异目标特征对后续的复原后图像进行差异目标特征的运动匹配跟踪;
当持续存在差异目标特征的复原后图像的帧数超过预设帧数时,将复原后图像记录为发生突变的图像,并报警。
本实施例对多帧复原后的图像及视频进行自适应的背景学习,提取出无突发事件发生的参考背景。自适应背景学习可以是在一个时间段内对前n帧图像进行参考背景提取,例如,在第一个一小时内的图像,即0-60分钟内的图像,对第0-5分钟的图像进行自适应学习,提取出参考背景,然后用参考背景与第6-60分钟图像进行比较,在第二个一小时时间段内,即60-120分钟内的图像,对第60-65分钟的图像进行自适应学习,提取出参考背景,然后用参考背景与第66-120分钟图像进行比较,以此类推。
在将参考背景与后续图像进行比较分析时,采用图像分割算法,分割出于参考背景相同或近似的背景图像,以及与参考背景差异较大的前景图像,从前景图像中提取出差异目标特征。例如,后续某一帧图像中比参考背景多出来一个人,将这个人的影像作为差异目标特征;又例如,参考背景中有一个箱子,后续某一帧图像中的没有箱子,则将原来摆放箱子的位置作为差异目标特征。
考虑到光影或信号采集带来的视频噪声影响,预先设定一个过滤范围,将噪声造成的差异目标特征给过滤掉,排除因噪声造成差异的图像。对于在过滤范围外的差异目标特征,有可能是发生了突发事件,对其后续的图像进行匹配跟踪,判断后续图像中是否仍然继续存在该差异目标特征。例如,在第i帧图像的右侧出现了一个人的影像,在一段时间段内的各图像中,对该人的影像进行运动匹配跟踪,该人的影像逐渐向左移动。又例如,在第1帧至第i-1帧图像的中部有一个箱子,在第i帧图像中没有箱子,在之后的一段时间段内的各图像中一致都没有箱子,或在第i帧图像中箱子位置发生变化,在之后的一段时间段内的各图像中,该箱子持续移动。
为了排除某些偶发干扰的情况,例如,在监视范围中,一个人路过,则该人的影像在视频画面中持续的时间不会太长,在规定时长内很快就会移出画面,假设通常人路过时在视频画面中持续时长为2秒,则将2秒内的帧数作为预设帧数,如果人像只在预设帧数内出现,则认为是正常情况,无需报警,如果人像在预设帧数范围外持续出现,则说明这个人在监视区域内待的时间较长,可能存在异常,需要报警。又例如,在监视范围中,箱子突然不见了,过了0.5秒后,箱子又出现在图像中,则认为是因偶发干扰造成的,无需报警,如果箱子持续5秒以上都没有再出现,则认为是出现异常,需要发送报警通知,实现自动报警。
本实施例进行智能分析报警的对象是鱼眼镜头获取到的畸变图像经过校正复原后的图像,该图像与普通镜头获取到的图像相比,具有大视角的特点,避免了普通视角拍摄存在的盲区和死角问题,有利于在安防监控环境中对突发事件的捕获,提高安防报警的准确性。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (14)
1.一种畸变图像校正复原与分析报警的方法,其特征在于,包括步骤:
接收畸变镜头采集到的原始畸变图像,获取所述原始畸变图像中各坐标点的原始畸变坐标(xd’,yd’);
获取预存储的所述畸变镜头的畸变参数(k1,k2),确定所述原始畸变图像中各坐标点的复原坐标(xu’,yu’),获得复原后图像;
对多帧复原后图像进行自适应背景学习,获得参考背景;
根据参考背景,采用图像分割算法,对后续的复原后图像进行分割处理,提取差异目标特征;
对所述差异目标特征做过滤处理,排除差异目标特征在过滤范围内的复原后图像;
采用在过滤范围外的差异目标特征对后续的复原后图像进行差异目标特征的运动匹配跟踪;
当持续存在差异目标特征的复原后图像的帧数超过预设帧数时,将所述复原后图像记录为发生突变的图像,并报警。
2.根据权利要求1所述的畸变图像校正复原与分析报警的方法,其特征在于,所述畸变镜头的畸变参数(k1,k2)的标定步骤包括:
接收畸变镜头采集到的样本图像和普通镜头采集到的样本图像;
获取所述畸变镜头采集到的样本图像中标定特征的有畸变坐标(xd,yd)和所述普通镜头采集到的样本图像中标定特征的无畸变坐标(xu,yu);
将所述有畸变坐标(xd,yd)和无畸变坐标(xu,yu)代入公式:
经n次迭代后,获得畸变参数(k1,k2),其中,(xdi,ydi)为第i次迭代后的有畸变坐标,ri-1为第i-1次迭代后的样本图像半径,初始值为
3.根据权利要求2所述的畸变图像校正复原与分析报警的方法,其特征在于,所述获取畸变镜头采集到的样本图像中标定特征的有畸变坐标(xd,yd)和所述普通镜头采集到的样本图像中标定特征的无畸变坐标(xu,yu)的步骤包括:
分别对所述畸变镜头采集到的样本图像和普通镜头采集到的样本图像进行二阶图像灰度化处理,获得畸变样本灰度图和普通样本灰度图;
采用边缘检测算法,分别对所述畸变样本灰度图和普通样本灰度图进行边缘检测,获得畸变样本轮廓图和普通样本轮廓图;
采用霍夫变换算法,分别对所述畸变样本轮廓图和普通样本轮廓图中的标定特征进行检测,获得所述有畸变坐标(xd,yd)和无畸变坐标(xu,yu)。
4.根据权利要求1所述的畸变图像校正复原与分析报警的方法,其特征在于,所述确定原始畸变图像中各坐标点的复原坐标(xu’,yu’)的步骤具体包括:
将所述原始畸变坐标(xd’,yd’)和畸变参数(k1,k2)代入公式:
经n’次迭代后,获得复原坐标(xu’,yu’),其中,(xdi’,ydi’)为第i次迭代后的原始畸变坐标,r’i-1为第i-1次迭代后的原始畸变图像半径,初始值为
5.根据权利要求1所述的畸变图像校正复原与分析报警的方法,其特征在于,所述确定原始畸变图像中各坐标点的复原坐标(xu’,yu’)的步骤之后还包括:
获取所述畸变镜头的方向角(α,β,γ);
根据所述畸变镜头的方向角(α,β,γ)和所述复原坐标(xu’,yu’),对畸变矩阵做空间位置的变化,获得所述畸变镜头的方向角(α,β,γ)对应的复原坐标(xu”,yu”)。
6.根据权利要求5所述的畸变图像校正复原与分析报警的方法,其特征在于,所述根据畸变镜头的方向角(α,β,γ)和所述复原坐标(xu’,yu’),对畸变矩阵做空间位置的变化,获得所述畸变镜头的方向角(α,β,γ)对应的复原坐标(xu”,yu”)的步骤具体包括:
将所述复原坐标(xu’,yu’)代入公式:获得镜头坐标(xc,yc,zc),其中,f为所述畸变镜头的等效焦距;
将所述畸变镜头的方向角(α,β,γ)和镜头坐标(xc,yc,zc)代入公式:获得所述畸变镜头的方向角(α,β,γ)对应的复原坐标(xu”,yu”),其中,为所述畸变镜头的光学特征参数矩阵,为平移矢量。
7.根据权利要求1所述的畸变图像校正复原与分析报警的方法,其特征在于,所述获取预存储的所述畸变镜头的畸变参数(k1,k2),确定所述原始畸变图像中各坐标点的复原坐标(xu’,yu’),获得复原后图像的步骤之后还包括:
采用插值算法,修补所述复原后图像中的空洞坐标点;
根据所述原始畸变图像的原始畸变坐标与所述复原后图像的复原坐标之间的对应关系,将所述原始畸变坐标的像素值还原到所述复原坐标上。
8.一种畸变图像校正复原与分析报警的装置,其特征在于,包括:
获取模块,用于接收畸变镜头采集到的原始畸变图像,获取所述原始畸变图像中各坐标点的原始畸变坐标(xd’,yd’);
校正模块,用于获取预存储的所述畸变镜头的畸变参数(k1,k2),确定所述原始畸变图像中各坐标点的复原坐标(xu’,yu’),获得复原后图像;及
报警分析模块,用于:
对多帧复原后图像进行自适应背景学习,获得参考背景;
根据参考背景,采用图像分割算法,对后续的复原后图像进行分割处理,提取差异目标特征;
对所述差异目标特征做过滤处理,排除差异目标特征在过滤范围内的复原后图像;
采用在过滤范围外的差异目标特征对后续的复原后图像进行差异目标特征的运动匹配跟踪;
当持续存在差异目标特征的复原后图像的帧数超过预设帧数时,将所述复原后图像记录为发生突变的图像,并报警。
9.根据权利要求8所述的畸变图像校正复原与分析报警的装置,其特征在于,还包括参数标定模块,用于:
接收畸变镜头采集到的样本图像和普通镜头采集到的样本图像;
获取所述畸变镜头采集到的样本图像中标定特征的有畸变坐标(xd,yd)和所述普通镜头采集到的样本图像中标定特征的无畸变坐标(xu,yu);
将所述有畸变坐标(xd,yd)和无畸变坐标(xu,yu)代入公式:
经n次迭代后,获得畸变参数(k1,k2),其中,(xdi,ydi)为第i次迭代后的有畸变坐标,ri-1为第i-1次迭代后的样本图像半径,初始值为
10.根据权利要求9所述的畸变图像校正复原与分析报警的装置,其特征在于,所述参数标定模块还用于:
分别对所述畸变镜头采集到的样本图像和普通镜头采集到的样本图像进行二阶图像灰度化处理,获得畸变样本灰度图和普通样本灰度图;
采用边缘检测算法,分别对所述畸变样本灰度图和普通样本灰度图进行边缘检测,获得畸变样本轮廓图和普通样本轮廓图;
采用霍夫变换算法,分别对所述畸变样本轮廓图和普通样本轮廓图中的标定特征进行检测,获得所述有畸变坐标(xd,yd)和无畸变坐标(xu,yu)。
11.根据权利要求8所述的畸变图像校正复原与分析报警的装置,其特征在于,所述校正模块还用于:
将所述原始畸变坐标(xd’,yd’)和畸变参数(k1,k2)代入公式:
经n’次迭代后,获得复原坐标(xu’,yu’),其中,(xdi’,ydi’)为第i次迭代后的原始畸变坐标,r’i-1为第i-1次迭代后的原始畸变图像半径,初始值为
12.根据权利要求8所述的畸变图像校正复原与分析报警的装置,其特征在于,
所述获取模块还用于,获取所述畸变镜头的方向角(α,β,γ);
所述校正模块还用于,根据所述畸变镜头的方向角(α,β,γ)和所述复原坐标(xu’,yu’),对畸变矩阵做空间位置的变化,获得所述畸变镜头的方向角(α,β,γ)对应的复原坐标(xu”,yu”)。
13.根据权利要求12所述的畸变图像校正复原与分析报警的装置,其特征在于,所述校正模块还用于:
将所述复原坐标(xu’,yu’)代入公式:获得镜头坐标(xc,yc,zc),其中,f为所述畸变镜头的等效焦距;
将所述畸变镜头的方向角(α,β,γ)和镜头坐标(xc,yc,zc)代入公式:获得所述畸变镜头的方向角(α,β,γ)对应的复原坐标(xu”,yu”),其中,为所述畸变镜头的光学特征参数矩阵,为平移矢量。
14.根据权利要求8所述的畸变图像校正复原与分析报警的装置,其特征在于,还包括:
修补模块,用于采用插值算法,修补所述复原后图像中的空洞坐标点;
像素还原模块,用于根据所述原始畸变图像的原始畸变坐标与所述复原后图像的复原坐标之间的对应关系,将所述原始畸变坐标的像素值还原到所述复原坐标上。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310598077.9A CN104657940B (zh) | 2013-11-22 | 2013-11-22 | 畸变图像校正复原与分析报警的方法和装置 |
EP14791339.6A EP3073440B1 (en) | 2013-11-22 | 2014-04-15 | Method and device for correcting recovery and analyzing alarm of distorted image |
US15/038,521 US10304169B2 (en) | 2013-11-22 | 2014-04-15 | Method and device for correction restoration and analysis alarming of distorted image |
PCT/CN2014/075372 WO2014176971A1 (zh) | 2013-11-22 | 2014-04-15 | 畸变图像校正复原与分析报警的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310598077.9A CN104657940B (zh) | 2013-11-22 | 2013-11-22 | 畸变图像校正复原与分析报警的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104657940A CN104657940A (zh) | 2015-05-27 |
CN104657940B true CN104657940B (zh) | 2019-03-15 |
Family
ID=51843108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310598077.9A Active CN104657940B (zh) | 2013-11-22 | 2013-11-22 | 畸变图像校正复原与分析报警的方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10304169B2 (zh) |
EP (1) | EP3073440B1 (zh) |
CN (1) | CN104657940B (zh) |
WO (1) | WO2014176971A1 (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104794189B (zh) * | 2015-04-16 | 2018-05-08 | 惠州Tcl移动通信有限公司 | 一种图像筛选方法及筛选*** |
CN105120229A (zh) * | 2015-09-16 | 2015-12-02 | 温州大学 | 广角镜头全方位监控器及图像匹配的方法 |
CN105227948B (zh) * | 2015-09-18 | 2017-10-27 | 广东欧珀移动通信有限公司 | 一种查找图像中畸变区域的方法及装置 |
CN107154027B (zh) * | 2017-04-17 | 2020-07-07 | 深圳大学 | 一种畸变图像复原的补偿方法及装置 |
CN107333028B (zh) * | 2017-06-30 | 2020-08-25 | 上海兆芯集成电路有限公司 | 图像获取方法及其装置 |
CN107317953B (zh) | 2017-06-30 | 2020-09-01 | 上海兆芯集成电路有限公司 | 图像获取方法及其装置 |
CN107707911B (zh) * | 2017-10-27 | 2019-05-28 | 信利光电股份有限公司 | 一种测试图片的生成方法 |
CN109949230A (zh) * | 2017-12-20 | 2019-06-28 | 艾迪普(北京)文化科技股份有限公司 | 基于图像识别的广角摄像机畸变渲染方法 |
CN108426702B (zh) * | 2018-01-19 | 2020-06-02 | 华勤通讯技术有限公司 | 增强现实设备的色散测量装置及方法 |
CN108694701A (zh) * | 2018-03-21 | 2018-10-23 | 南京睿悦信息技术有限公司 | 用于离轴曲面反射式光学***反畸变算法 |
US10936885B2 (en) | 2018-05-15 | 2021-03-02 | Toyota Research Institute, Inc. | Systems and methods of processing an image |
CN111656391B (zh) * | 2018-07-17 | 2023-09-22 | 华为技术有限公司 | 一种图像校正方法和终端 |
CN109167784A (zh) * | 2018-08-31 | 2019-01-08 | 篱笆墙网络科技有限公司 | 区块链上数据处理方法及*** |
CN111862145B (zh) * | 2019-04-24 | 2022-05-17 | 四川大学 | 一种基于多尺度行人检测的目标跟踪方法 |
CN110149511B (zh) * | 2019-05-13 | 2023-05-12 | 北京理工大学 | 一种畸变校正方法、装置及显示*** |
CN111950328A (zh) * | 2019-05-15 | 2020-11-17 | 阿里巴巴集团控股有限公司 | 确定图片中目标物类别的方法及装置 |
CN110390339B (zh) * | 2019-07-16 | 2021-11-19 | 北京市计算中心有限公司 | 一种图像校正方法、装置及存储介质 |
CN111612720B (zh) * | 2020-05-21 | 2023-11-07 | 烟台艾睿光电科技有限公司 | 一种广角红外图像优化方法、***及相关组件 |
CN113570518B (zh) * | 2021-07-22 | 2023-11-14 | 上海明略人工智能(集团)有限公司 | 一种图像矫正方法、***、计算机设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101625760A (zh) * | 2009-07-28 | 2010-01-13 | 谭洪舟 | 一种证件图像倾斜校正的办法 |
CN102306292A (zh) * | 2011-08-01 | 2012-01-04 | 青岛海信网络科技股份有限公司 | 一种复合式倾斜校正方法 |
CN102902945A (zh) * | 2012-09-28 | 2013-01-30 | 南京汇兴博业数字设备有限公司 | 基于快速响应矩阵码外轮廓的畸变校正方法 |
CN103107121A (zh) * | 2013-01-30 | 2013-05-15 | 福建省威诺数控有限公司 | 一种基于视觉的晶圆角度偏差自动校正方法 |
CN103226814A (zh) * | 2013-04-02 | 2013-07-31 | 湖南大学 | 一种基于医药视觉检测机器人图像校正的药瓶异物检测方法 |
CN103279924A (zh) * | 2013-05-24 | 2013-09-04 | 中南大学 | 一种对任意倾斜角度的专利证书图像的校正方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6670965B1 (en) * | 2000-09-29 | 2003-12-30 | Intel Corporation | Single-pass warping engine |
EP1650705B1 (en) * | 2003-07-28 | 2013-05-01 | Olympus Corporation | Image processing apparatus, image processing method, and distortion correcting method |
US20080101713A1 (en) * | 2006-10-27 | 2008-05-01 | Edgar Albert D | System and method of fisheye image planar projection |
TWI441514B (zh) * | 2008-11-12 | 2014-06-11 | Avisonic Technology Corp | 魚眼影像校正及減輕透視變形的影像處理方法及相關影像處理裝置 |
US8446433B1 (en) * | 2009-06-12 | 2013-05-21 | Lucasfilm Entertainment Company Ltd. | Interactive visual distortion processing |
CN101650830B (zh) | 2009-08-06 | 2012-08-15 | 中国科学院声学研究所 | 一种压缩域视频镜头突变与渐变联合自动分割方法 |
CN102194241B (zh) * | 2011-04-28 | 2013-07-10 | 西安交通大学 | 基于互联网的艺术拼图***设计方法 |
US9105090B2 (en) * | 2011-07-13 | 2015-08-11 | Analog Devices, Inc. | Wide-angle lens image correction |
US20130128050A1 (en) | 2011-11-22 | 2013-05-23 | Farzin Aghdasi | Geographic map based control |
JP5832341B2 (ja) * | 2012-03-09 | 2015-12-16 | 株式会社トプコン | 動画処理装置、動画処理方法および動画処理用のプログラム |
CN102663734A (zh) | 2012-03-15 | 2012-09-12 | 天津理工大学 | 鱼眼镜头的标定及鱼眼图像的畸变矫正方法 |
JP5846268B1 (ja) * | 2014-08-12 | 2016-01-20 | 株式会社リコー | 画像処理システム、画像処理装置、プログラムおよび撮像システム |
-
2013
- 2013-11-22 CN CN201310598077.9A patent/CN104657940B/zh active Active
-
2014
- 2014-04-15 US US15/038,521 patent/US10304169B2/en not_active Expired - Fee Related
- 2014-04-15 EP EP14791339.6A patent/EP3073440B1/en active Active
- 2014-04-15 WO PCT/CN2014/075372 patent/WO2014176971A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101625760A (zh) * | 2009-07-28 | 2010-01-13 | 谭洪舟 | 一种证件图像倾斜校正的办法 |
CN102306292A (zh) * | 2011-08-01 | 2012-01-04 | 青岛海信网络科技股份有限公司 | 一种复合式倾斜校正方法 |
CN102902945A (zh) * | 2012-09-28 | 2013-01-30 | 南京汇兴博业数字设备有限公司 | 基于快速响应矩阵码外轮廓的畸变校正方法 |
CN103107121A (zh) * | 2013-01-30 | 2013-05-15 | 福建省威诺数控有限公司 | 一种基于视觉的晶圆角度偏差自动校正方法 |
CN103226814A (zh) * | 2013-04-02 | 2013-07-31 | 湖南大学 | 一种基于医药视觉检测机器人图像校正的药瓶异物检测方法 |
CN103279924A (zh) * | 2013-05-24 | 2013-09-04 | 中南大学 | 一种对任意倾斜角度的专利证书图像的校正方法 |
Non-Patent Citations (5)
Title |
---|
True Multi-Image Alignment and Its Application to Mosaicing and Lens Distortion Correction;Harpreet S. Sawhney,Rakesh Kumar;《PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;19990331;第21卷(第3期);第235-243页 |
基于平面靶分割区间LS-SVM摄像机标定的研究;刘胜 等;《哈尔滨工程大学学报》;20091031;第30卷(第10期);第1117-1122页 |
基于面阵CCD的相机自动调焦技术;李开端 等;《传感器技术》;20020630;第21卷(第6期);第46-49页 |
摄像机畸变标定的模型参考逼近方法;徐嵩 等;《光学学报》;20130731;第33卷(第7期);第0715001-1至0715001-12页 |
视觉测量***中的图像校正技术研究;管海兵;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130515(第05期);正文第11页第3章第1段以及3.1节、第28页4.3.1节、第42页4.5节第2段 |
Also Published As
Publication number | Publication date |
---|---|
US20160300334A1 (en) | 2016-10-13 |
CN104657940A (zh) | 2015-05-27 |
US10304169B2 (en) | 2019-05-28 |
WO2014176971A1 (zh) | 2014-11-06 |
EP3073440A1 (en) | 2016-09-28 |
EP3073440A4 (en) | 2016-11-30 |
EP3073440B1 (en) | 2020-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104657940B (zh) | 畸变图像校正复原与分析报警的方法和装置 | |
EP3192008B1 (en) | Systems and methods for liveness analysis | |
CN109167997B (zh) | 一种视频质量诊断***及方法 | |
Seckiner et al. | Forensic image analysis–CCTV distortion and artefacts | |
CN112257554B (zh) | 基于多光谱的森林火灾识别方法、***、程序及存储介质 | |
US20160328626A1 (en) | Morphological Automatic Triangle Orientation Detection | |
CN108898079A (zh) | 一种监控方法及装置、存储介质、拍摄终端 | |
US11974050B2 (en) | Data simulation method and device for event camera | |
CN109544535B (zh) | 一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及*** | |
CN110569840B (zh) | 目标检测方法及相关装置 | |
CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及*** | |
CN116453198B (zh) | 一种基于头部姿态差异的视线校准方法和装置 | |
TWI381735B (zh) | 影像監視設備之影像處理系統及其影像解析自動調適之方法 | |
CN111382646A (zh) | 一种活体识别方法、存储介质及终端设备 | |
CN105516716B (zh) | 闭环安防***视频画质的现场测试方法 | |
Bisagno et al. | Virtual camera modeling for multi-view simulation of surveillance scenes | |
CN115830064A (zh) | 一种基于红外脉冲信号的弱小目标跟踪方法及装置 | |
KR101643724B1 (ko) | 안구 위치 식별 방법 및 그 장치, 안구 위치 추적 방법 및 그 장치 | |
CN111767829B (zh) | 一种活体检测方法、装置、***及存储介质 | |
CN112907454B (zh) | 获取图像的方法、装置、计算机设备和存储介质 | |
CN111383340B (zh) | 一种基于3d图像的背景过滤方法、装置及*** | |
CN112084902B (zh) | 人脸图像获取方法、装置、电子设备及存储介质 | |
KR102473744B1 (ko) | 가림 안가림 검사 중 획득한 안구 이미지 분석을 통한 사시진단방법 | |
US11983853B1 (en) | Techniques for generating training data for machine learning enabled image enhancement | |
CN108174054A (zh) | 一种全景移动侦测方法与装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |