CN107845056A - 基于柱面模型的鱼眼图像全景生成方法 - Google Patents
基于柱面模型的鱼眼图像全景生成方法 Download PDFInfo
- Publication number
- CN107845056A CN107845056A CN201610846640.3A CN201610846640A CN107845056A CN 107845056 A CN107845056 A CN 107845056A CN 201610846640 A CN201610846640 A CN 201610846640A CN 107845056 A CN107845056 A CN 107845056A
- Authority
- CN
- China
- Prior art keywords
- image
- fish eye
- eye images
- panoramic picture
- generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 241000251468 Actinopterygii Species 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000003702 image correction Methods 0.000 claims abstract description 9
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims 1
- 239000000203 mixture Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000012937 correction Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明在综合研究现有全景图像生成技术和鱼眼图像校正技术的基础上,针对鱼眼全景摄像机在特定角度下拍摄的图像,提出一种基于柱面模型的鱼眼图像全景生成方法。该发明的创新点在于只需要利用鱼眼全景摄像机在俯视或仰视角度下采集到的单幅监控图像,通过图像预处理、图像校正处理等过程即可生成全景图像。该方法省去了复杂的图像采集过程以及应用多幅图像拼接生成全景图像的繁琐操作,人工成本低,处理速度快,操作简单,实用性强,实时性高。
Description
技术领域:
本发明公开基于柱面模型的鱼眼图像全景生成方法,利用鱼眼摄像机获得的特定角度(俯视或仰视)下的鱼眼图像,通过校正处理生成全景图像,可以使监控人员能够更加高效直观的对目标区域进行查看和定位,具有成本低廉、处理快速、实用性强等特点。
背景技术:
全景图像生成技术近年来发展迅速,传统的方法基本都是在固定的场景中,用相机配合三脚架按照一定的规则进行水平旋转拍摄或者利用多部相机成一定夹角排列拍摄,采集到目标场景的多幅图像,然后使用计算机进行图像拼接、光照补偿、融合等图像处理,最终生成视角达到水平360°的全景图像。在人工成本愈来愈高的今天,这种方法成本高,操作复杂,缺乏实用性和实时性。鱼眼镜头突破了普通相机对视场的限制,是构建全景视觉最简单有效的方法之一。
本发明在综合研究现有全景图像生成技术和鱼眼图像校正技术的基础上,设计了一种简单有效、快速实用的全景图像生成方法。该方法利用鱼眼摄像机获得目标区域在特定角度下的鱼眼图像,通过设计的柱面模型对鱼眼图像进行图像预处理、图像校正处理等过程生成全景图像。该方法人工成本低,处理速度快,操作简单灵活,实用性强,实时性高。
发明内容:
本发明的目的在于提供一种简单有效、快速实用的全景图像生成方法。该方法利用鱼眼全景摄像机采集监控图像,省去了复杂的图像采集过程以及应用多幅图像拼接生成全景图像的繁琐操作,因此该方法人工成本低,处理速度快,操作简单灵活,实用性强,实时性高。
基于柱面模型的鱼眼图像全景生成方法,利用鱼眼全景摄像机采集监控区域在特定角度(俯视或仰视)下的各时间段图像数据,经通信单元传回主站监控中心。主站监控中心通过调用图像校正处理模块,对采集的鱼眼图像进行校正处理生成全景图像,以完整便于查看的形式展现给工作人员,工作人员在监控端可以直观的观测到水平360°范围内的完整的监控场景,有利于对目标区域的查看和定位。
本发明为解决其技术问题所采用的技术方案是:
鱼眼摄像机因采用的镜头和图像传感器与普通镜头的矩形传感器有着本质上的差异,因此其成像原理也不相同。由于鱼眼镜头焦距越短,视角越大,而视角越大,因光学原理产生的变形也就越强烈的特点,为了达到水平360°,垂直180°的超大视角,鱼眼镜头允许“桶形畸变”合理存在,除了画面中心的景物保持不变,其它本应水平或垂直的景物都发生了相应的变化。由于景深曲率的影响,鱼眼镜头成像会形成一个异于人类视觉习惯的圆形图像,其图像边缘的像素点完全被拉伸,因此如何对圆形图像进行校正,以及保证鱼眼图像的有效像素不丢失是十分关键的技术。图像的畸变十分严重,不符合正常视觉感受,因此需要图像校正处理技术消除鱼眼镜头畸变。
本发明主要包括图像采集、图像预处理、确定鱼眼图像参数、图像校正处理四个模块组成。具体技术方案如下:
1)图像采集
利用鱼眼摄像机采集监控区域在特定角度(俯视或仰视)下的各时间段图像数据,经通信单元传回到主控中心。
2)图像预处理
由于客观条件或者鱼眼摄像机自身的不足造成实际采集到的图像存在模糊、歪斜或缺损等情况,不能如实反映景物的全部信息或对信息有严重影响,因此,需要对采集到的图像进行预处理之后再校正图像产生的畸变。图像预处理一般包括图像二值化处理、滤波去噪、增强图像对比度等过程。图像预处理过程可以减弱图像中的噪声,增强有用信息,处理结果将会对后期提取图像轮廓和畸变校正结果的质量造成影响。
2)确定鱼眼图像参数
鱼眼摄像机拍摄的图像四周黑色部分是无用信息,只有中间圆形有效区域内的信息需要提取出来,进行校正。因此,在畸变校正前,先获取鱼眼图像的轮廓,确定鱼眼图像有效信息所在范围,求出其圆心位置和半径大小,方便图像校正展开。
3)图像校正处理:
首先采用球面透视投影模型建立空间任一点与投影球面的映射关系,完成从像平面到物球面的坐标变换,将原始鱼眼图像转换为透视投影图像。其次建立与物球面同半径的柱面作为视平面来描述目标平面。最后将球面的透视影像投影到柱面上,并按照一定规则生成全景图像。
其分析过程有如下步骤来完成:
(1)将鱼眼图像校正为正常的图像,完成从像平面到物球面的变换。
从空间任一点(x,y,z)指向原点O的射线与投影球面x2+y2+z2=R2相交于P点,将点P投影到与鱼眼镜头的光轴Z轴垂直的固定平面上,得到平面点R(u,v)(如图1所示)。R(u,v)即为(x,y,z)的球面投影,各坐标间有如下关系:
由已知的鱼眼图像点R(u,v)的坐标值,利用上述公式逆推出相应点的球面坐标值。像素点坐标经反变换后得到的是浮点坐标,采用双线性插值算法确定该点的像素值。
(2)建立与物球面同半径的柱面作为视平面来描述目标平面。
在世界坐标系下建立柱面模型(如图2所示),向量V与Yw同向,向量U始终保持与V垂直,柱面上每一行点即U方向上的点具有相同的倾斜角α,每一列点即V方向上的点具有相同的水平方向角β。视平面是在世界坐标系下建立的,它保持着现实世界的上下左右关系,在视平面按照世界坐标系下建立的上下左右关系逐一去取点,对应到相机坐标系下,完成世界坐标系到相机坐标系下的变换。
假定相机坐标系的原点与世界坐标系原点重合,并以水平向右为X轴,竖直向下为Y轴,朝前为Z轴,将初始相机坐标系绕世界坐标系的Xw顺时针旋转δ角,即向下旋转δ角,接着绕Z轴顺时针旋转角度κ,得到空间中一点的相机坐标系与世界坐标系的对应关系:
该点在世界坐标系下的坐标表示为(Wx,Wy,Wz),相机坐标系下表示为(Cx,Cy,Cz)T。
(3)将球面的透视影像投影到柱面上,获得柱面展开图像。
由柱面上点Pz的坐标推出其(α,β)的值,确定柱面上的投影点Pz和球面上的投影点Pc的一一对应关系(如图3所示)。
将柱面分成W×H个点,左上角为起始点,柱面上第i行点倾斜角αi=α×(H-i)/H。
其中,H为柱面展开图高(等于R),R为球面半径,也是柱面底面半径。柱面上第j列点水平方向角为βj=j×βm/W+β0。式中:βm为水平视角的最大范围;β0为起始点对应的水平视角。在直角三角形中,可以求出柱面的高度H和宽度W:
H=R×tanα (e)
W=R×βm (f)
由于柱面上的投影点Pz和球面上的投影点Pc具有相同角度α,β,所以按照式(d)将柱面上的投影点Pz与球面上的投影点Pc对应起来。将像平面上一点P(x,y)按照透视投影模型映射到半径为R的球面上点Pc,再按式(d)计算出新的坐标值,采用水平映射方式投影到与球半径同高的柱面上,最后将此点的灰度值按双线性插值法进行灰度重建得到柱面展开图像。
本发明的有益效果是:
本发明涉及一种基于柱面模型的鱼眼图像全景生成方法,使工作人员在对目标区域进行查看和定位时,不需要再对同一监控区域的大量的监控图片进行单独查看分析,监控中心只需要不断接收前端传回的鱼眼图像,就可以将不规则的鱼眼图像校正处理生成全景图像,工作人员只需要集中精力于一幅全景图像查看细节,成本低廉,处理快速,操作简单。
附图说明:
下面结合附图和实施方案对本发明进一步说明。
图1是本发明中的球面透视投影模型。
图2是本发明中鱼眼图像柱面展开模型。
图3是本发明提出的水平映射模型。
图4是本发明提出的鱼眼图像处理过程架构
图5是本发明中鱼眼图像具体实现过程框图。
图6是本发明的实施效果图。
具体实施方式:
以下结合具体实例,对本发明进行详细说明。
图4为鱼眼图像处理过程架构,该架构主要包括鱼眼摄像机、图像传感器、主控中心、全景图像,该处理过程利用鱼眼摄像机采集目标区域特定角度下的鱼眼图像,经过图像传感器传回主控中心,监控中心人员对接收到的鱼眼图像进行校正处理生成全景图像。
图5为鱼眼图像具体实现过程框图,该过程对采集的鱼眼图像首先进行图像预处理过程(图像二值化处理、滤波去噪、增强图像对比度等),图像预处理过程可以减弱图像中的噪声,增强有用信息,得到更清晰的图像信息。然后确定鱼眼图像信息存在的范围及有效信息区域,求出该圆形区域的圆心和半径。应用获得的图像圆心和半径,采用上述的校正处理算法对图像进行校正生成全景图像。
实施效果:
为了验证本发明的实用性,下面通过具体的实现效果来说明。
对鱼眼摄像机采集到的特定角度下的鱼眼图像进行校正处理生成全景图像如图6所示,相对利用相机配合三脚架按照一定的规则进行水平旋转拍摄或者利用多部相机成一定夹角排列拍摄多幅图像进行拼接获得的全景图像,本发明的优点在于省去人工采集图像和多次拼接获得全景图像的繁琐操作,工作人员在监控中心可直观的查看生成的全景图像。该方法人工成本低,处理速度快,操作简单灵活,实用性强,实时性高。
Claims (2)
1.基于柱面模型的鱼眼图像全景生成方法,该方法利用鱼眼摄像机获得特定角度(俯视或仰视)下的鱼眼图像,通过对鱼眼图像进行校正处理生成全景图像。该方法由图像采集、图像预处理、确定鱼眼图像参数、图像校正处理四个模块组成。本发明的特点在于省去了复杂的图像采集过程以及应用多幅图像拼接生成全景图像的繁琐操作,利用鱼眼全景摄像机采集监控图像,经过图像预处理、图像校正处理等过程生成全景图像。工作人员在监控中心可以直观高效的查看全景图像。
2.根据权利要求1所述的基于柱面模型的鱼眼图像全景生成方法,其中图像预处理模块通过图像二值化处理、滤波去噪、增强图像对比度等过程减弱图像中的噪声,增强有用信息。图像校正处理模块通过建立的球面模型和柱面模型将鱼眼图像上的点和柱面投影点建立一一对应关系,再采用水平映射方式,按双线性插值方法生成全景图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610846640.3A CN107845056A (zh) | 2016-09-21 | 2016-09-21 | 基于柱面模型的鱼眼图像全景生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610846640.3A CN107845056A (zh) | 2016-09-21 | 2016-09-21 | 基于柱面模型的鱼眼图像全景生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107845056A true CN107845056A (zh) | 2018-03-27 |
Family
ID=61661055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610846640.3A Pending CN107845056A (zh) | 2016-09-21 | 2016-09-21 | 基于柱面模型的鱼眼图像全景生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107845056A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110163823A (zh) * | 2019-05-17 | 2019-08-23 | 深圳大学 | 基于胶囊机器人面向排水管的多视角图像矫正方法及*** |
CN110580679A (zh) * | 2019-06-25 | 2019-12-17 | 上海圭目机器人有限公司 | 一种应用于大面积平面图像的混合拼接方法 |
CN111161142A (zh) * | 2019-11-29 | 2020-05-15 | 西安思后网络科技有限公司 | 一种监控设备多角度全景图像处理方法 |
CN111260539A (zh) * | 2020-01-13 | 2020-06-09 | 魔视智能科技(上海)有限公司 | 鱼眼图目标识别方法及其*** |
CN114372919A (zh) * | 2022-03-22 | 2022-04-19 | 鹰驾科技(深圳)有限公司 | 一种双挂汽车列车全景环视图像拼接方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101783011A (zh) * | 2010-01-08 | 2010-07-21 | 宁波大学 | 一种鱼眼镜头的畸变校正方法 |
CN102509098A (zh) * | 2011-10-08 | 2012-06-20 | 天津大学 | 一种鱼眼图像车辆识别方法 |
CN102663734A (zh) * | 2012-03-15 | 2012-09-12 | 天津理工大学 | 鱼眼镜头的标定及鱼眼图像的畸变矫正方法 |
CN102780834A (zh) * | 2011-05-11 | 2012-11-14 | 张茂军 | 环眼镜头图像半柱面全景展开方法 |
US20130142431A1 (en) * | 2008-08-29 | 2013-06-06 | Adobe Systems Incorporated | Metadata Based Alignment of Distorted Images |
CN105825470A (zh) * | 2016-03-10 | 2016-08-03 | 广州欧科信息技术股份有限公司 | 基于点云影像的鱼眼影像纠正方法 |
-
2016
- 2016-09-21 CN CN201610846640.3A patent/CN107845056A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130142431A1 (en) * | 2008-08-29 | 2013-06-06 | Adobe Systems Incorporated | Metadata Based Alignment of Distorted Images |
CN101783011A (zh) * | 2010-01-08 | 2010-07-21 | 宁波大学 | 一种鱼眼镜头的畸变校正方法 |
CN102780834A (zh) * | 2011-05-11 | 2012-11-14 | 张茂军 | 环眼镜头图像半柱面全景展开方法 |
CN102509098A (zh) * | 2011-10-08 | 2012-06-20 | 天津大学 | 一种鱼眼图像车辆识别方法 |
CN102663734A (zh) * | 2012-03-15 | 2012-09-12 | 天津理工大学 | 鱼眼镜头的标定及鱼眼图像的畸变矫正方法 |
CN105825470A (zh) * | 2016-03-10 | 2016-08-03 | 广州欧科信息技术股份有限公司 | 基于点云影像的鱼眼影像纠正方法 |
Non-Patent Citations (1)
Title |
---|
周辉等: "基于柱面模型的鱼眼影像矫正方法的研究", 《计算机应用》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110163823A (zh) * | 2019-05-17 | 2019-08-23 | 深圳大学 | 基于胶囊机器人面向排水管的多视角图像矫正方法及*** |
CN110580679A (zh) * | 2019-06-25 | 2019-12-17 | 上海圭目机器人有限公司 | 一种应用于大面积平面图像的混合拼接方法 |
CN110580679B (zh) * | 2019-06-25 | 2023-04-25 | 上海圭目机器人有限公司 | 一种应用于大面积平面图像的混合拼接方法 |
CN111161142A (zh) * | 2019-11-29 | 2020-05-15 | 西安思后网络科技有限公司 | 一种监控设备多角度全景图像处理方法 |
CN111260539A (zh) * | 2020-01-13 | 2020-06-09 | 魔视智能科技(上海)有限公司 | 鱼眼图目标识别方法及其*** |
CN111260539B (zh) * | 2020-01-13 | 2023-05-12 | 魔视智能科技(上海)有限公司 | 鱼眼图目标识别方法及其*** |
CN114372919A (zh) * | 2022-03-22 | 2022-04-19 | 鹰驾科技(深圳)有限公司 | 一种双挂汽车列车全景环视图像拼接方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107659774B (zh) | 一种基于多尺度相机阵列的视频成像***及视频处理方法 | |
CN110782394A (zh) | 全景视频快速拼接方法及*** | |
CN105118055B (zh) | 摄影机定位修正标定方法及*** | |
CN107845056A (zh) | 基于柱面模型的鱼眼图像全景生成方法 | |
CN109348119B (zh) | 一种全景监控*** | |
CN102984453B (zh) | 利用单摄像机实时生成半球全景视频图像的方法及*** | |
CN105809701B (zh) | 全景视频姿态标定方法 | |
CN103971375B (zh) | 一种基于图像拼接的全景凝视相机空间标定方法 | |
CN107424118A (zh) | 基于改进径向畸变校正的球状全景拼接方法 | |
CN111243033B (zh) | 一种优化双目相机外参数的方法 | |
CN111698455B (zh) | 控制球机与枪机联动的方法、装置及介质 | |
US20070076090A1 (en) | Device for generating three dimensional surface models of moving objects | |
CN105488775A (zh) | 一种基于六摄像机环视的柱面全景生成装置及方法 | |
CN106570938A (zh) | 基于opengl 的全景监控方法及*** | |
CN106780389B (zh) | 一种基于坐标转换的鱼眼图像校正方法及装置 | |
CN106815805A (zh) | 基于Bayer图像的快速畸变校正方法 | |
CN105005964B (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
CN206563985U (zh) | 三维成像*** | |
CN105488766B (zh) | 鱼眼镜头图像校正方法及装置 | |
CN107358577B (zh) | 一种立方体全景图的快速拼接方法 | |
CN103854272B (zh) | 全景泊车***自动找点匹配方法 | |
CN111815517B (zh) | 一种基于球机抓拍图片的自适应全景拼接方法 | |
CN206460515U (zh) | 一种基于立体标定靶的多路鱼眼相机标定装置 | |
Chen et al. | Bionic mosaic method of panoramic image based on compound eye of fly | |
CN116245722A (zh) | 一种应用于重高型车辆的全景影像拼接***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180327 |
|
WD01 | Invention patent application deemed withdrawn after publication |