CN110213500A - 一种针对多镜头拍摄的宽动态图生成方法 - Google Patents
一种针对多镜头拍摄的宽动态图生成方法 Download PDFInfo
- Publication number
- CN110213500A CN110213500A CN201910519009.6A CN201910519009A CN110213500A CN 110213500 A CN110213500 A CN 110213500A CN 201910519009 A CN201910519009 A CN 201910519009A CN 110213500 A CN110213500 A CN 110213500A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- dynamic
- shooting
- dynamic range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
一种针对多镜头拍摄的宽动态图生成方法,包括以下步骤:1)多相机拍照重合区域的标定阶段;2)相机间的动态范围调整;3)基于实际视轴条件下的图像仿真。本发明的针对多镜头拍摄的宽动态图生成方法,在多相机都具有自动曝光功能的前提下,可使用多相机同时成像,产生宽动态的、曝光条件不一致的序列图,可以完美仿真甚至还原实际情况中任意视角拍出的图像。
Description
技术领域
本发明涉及相机的成像与图像处理领域。
背景技术
本领域现阶段采用的图像宽动态调整方法主要是HDR(High-Dynamic Range)技术,该技术是通过单摄像头连续拍摄多幅在不同曝光条件下的图像,然后保留每幅图像在同名像素位置处的最清晰信息,使拍摄过程不受光照影响,该技术被广泛地应用在成像与图像处理中。
虽然HDR技术在拍摄过程中,可以消除光照影响,但其问题是:
1)多次曝光形成最终图像的过程更加类似于固定动态范围的过程,只不过消除了光照对压缩动态范围的影响,所以其动态范围是固定的,并没有实质意义上的加宽;
2)以还原拍摄对象为目的的处理方式,使处理后的图像在时域的信息量上最丰富,但造成了空域的信息丢失,即处理后图像与实际视角下的观察图像有较大差异,虽然更清晰了,但更不真实;
3)单个相机在时域与空域的信息处理方式在多相机的条件下是不通用的,尤其是在追求还原真实视角的图像、视频时,多曝光的拍摄方式对硬件要求很高,且会影响实时性,曝光调整过程也会使相机之间的成像效果有较大的差异。
发明内容
为了解决现阶段采用的HDR技术存在的上述问题,本发明提供了一种针对多镜头拍摄的宽动态图生成方法。
本发明为实现上述目的所采用的技术方案是:一种针对多镜头拍摄的宽动态图生成方法,包括以下步骤:
1)多相机拍照重合区域的标定阶段:在相机之间的空间相对位置关系固定的情况下,相机之间拍摄的重合区域通过标定得出,假定共有C个相机,每个相机的拍摄图像为Ii,i∈[1,C],相邻相机之间的重合区域为Ri,j,j∈[1,C],j≠i,标定方法是:
a)利用空间位置相邻的相机做实景拍摄,提取拍摄图像的RTS不变特征;
b)基于提取特征来做特征匹配,得到匹配的特征点位置描述;
c)基于匹配的位置描述来估算Ij在Ii坐标系下的变换图像I′j,然后计算Ri,j,这里Ri,j=I′j∩Ii,然后记录Ri,j的几何分布信息;
2)相机间的动态范围调整:这里认为每个相机拍摄图像之间存在动态范围的调整因子αi与βi,每幅图像调整动态范围的模型简化为I′i=αiIi+βi,基于重合区域不一致性最小的目标估计动态范围调整因子,具体方法是:
a)对Ii而言,按照相机空间位置关系,找出与其有重合的图像组{Ii,k},k∈[1,C],k≠i;
b)对所有图像进行做RGB空间到Lab空间的转换,利用Ri,k与Rk,i的L通道来做线性调整因子估计,假设:
ⅰ、Ri,k=αk,iRk,i+βk,iE,通过求解矩阵方程,可以求出αk,i与βk,i,基于该调整因子对图像Ii做整体调整,得到I′i,k,通过图像组重复调整可以得到调整后的具有不同动态范围的图像组{I′};
ⅱ、Ri,j(x,y)=αj,i(x,y)Rj,i(x,y)+βj,i(x,y),这里Ri,j与Rj,i的宽度与高度分别为M、N,Ri,j(x,y)表示在(x,y)处的亮度值,x∈[1,M],y∈[1,N],通过降低分辨率求解超像素级的调整因子,找到调整因子的中值或者统计均值做最终的αk,i与βk,i,基于该调整因子对图像Ii做整体调整,得到I′i,k,通过图像组重复调整得到调整后的具有不同动态范围的图像组{I′i,k};
c)对所有图像进行a)~b)的调整处理,形成一系列的动态调整后的图像集{I′};
3)基于实际视轴条件下的图像仿真:
a)在多相机动态范围图集调整完成后,要仿真不同视角下的图像结果,需要根据相机的空间位置与视角计算在图像中的视场位置,假定多相机条件下拍摄的整体视场为F,仿真视角的视场为F′,在仿真视角下的图像为IF′,仿真图需要的高动态范围图集为{I′T};
b)当{I′T}中空间位置没有重合的图像区域,直接采用原图信息:
c)当{I′T}中空间位置有重合的图像区域,计算与非重合区域的曝光差异最小的做仿真灰度。
所述步骤1)中,标定过程中使用固定的标定图卡。
所述步骤1)的a)中,特征是SIFT、HARRIS、SURF或者HOG。
所述步骤1)的c)中,记录Ri,j的几何分布信息为最小外接矩形或凸包链码。
所述步骤3)的c)中,还包括行边界处的亮度信息过度,其方法为:
ⅰ、提取重合区域在图像中的边界位置;
ⅱ、基于几何位置分布来做像素权重计算;
ⅲ、计算过度区的灰度IF′(x,y)=IF′S(x,y)[1-ω(x,y)]+IF′P(x,y)ω(x,y),IF′S(x,y)为原曝光条件下的图像灰度,IF′P(x,y)为宽动态条件下的挑选出最佳重合区图像灰度。
本发明的针对多镜头拍摄的宽动态图生成方法,在多相机都具有自动曝光功能的前提下,本方法可使用多相机同时成像,产生宽动态的、曝光条件不一致的序列图,可以完美仿真甚至还原实际情况中任意视角拍出的图像,多相机成像的情况包括:全景图拼接、多目视觉、多焦距拍摄等。
附图说明
图1是本发明针对多镜头拍摄的宽动态图生成方法的流程图。
具体实施方式
本发明的针对多镜头拍摄的宽动态图生成方法,在多个拍摄相机相对位置固定的条件下(相机之间是刚体连接、固定),构建一种多帧图像的处理方式,可以保证多相机拍摄的结果可以达到空域意义上真正的宽动态,可以还原在不同视角下的真实场景。
方法包含不同相机的标定过程、相机间动态范围调整估计以及仿真模拟三个步骤,具体内容如下:
1)多相机拍照重合区域的标定阶段:在相机之间的空间相对位置关系固定的情况下,相机之间拍摄的重合区域是可以通过标定得出的,这里假定共有C个相机,每个相机的拍摄图像为Ii,i∈[1,C],相邻相机之间的重合区域为Ri,j,j∈[1,C],j≠i,标定过程中可以使用固定的标定图卡,比如棋盘格,但考虑棋盘格需要人工标定,所以建议采用任意固定的场景,可以做自动标定,场景尽量有丰富的、有规律的图像标志信息,具体的标定方法是:
a)利用空间位置相邻的相机做实景拍摄,提取拍摄图像的RTS不变特征,特征可以是SIFT、HARRIS、SURF或者HOG;
b)基于提取特征来做特征匹配,得到匹配的特征点位置描述,特征匹配的方法,可以参考《Bay H,Tuytelaars T,Van Gool L.Surf:Speeded up robust features[C]//European conference on computer vision.Springer,Berlin,Heidelberg,2006:404-417.》。
c)基于匹配的位置描述来估算Ij在Ii坐标系下的变换图像I′j,然后计算Ri,j,这里Ri,j=I′j∩Ii,然后记录Ri,j的几何分布信息,可以是最小外接矩形(粗精度),也可以是凸包链码(高精度)。估算位置的方法可以参考研究生论文《基于稀疏表示的序列图像配准算法研究》,大连海事大学;凸包、链码参考《数字图像处理》冈萨雷斯。
2)相机间的动态范围调整:这里认为每个相机拍摄图像之间存在动态范围的调整因子αi与βi,每幅图像调整动态范围的模型可以简化为I′i=αiIi+βi,以8位量化图像为例,原动态范围是[0,255],调整后的动态范围是[βi,255αi],由于每个相机在拍摄过程中都有自动曝光的调整,因此会造成不同视角下重合区域的高度不一致性,可以基于重合区域不一致性最小的目标估计动态范围调整因子,具体方法是:
a)对Ii而言,按照相机空间位置关系,找出与其有重合的图像组{Ii,k},k∈[1,C],k≠i;
b)对所有图像进行做RGB空间到Lab空间的转换,利用Ri,k与Rk,i的L通道来做线性调整因子估计,假设:
ⅰ、Ri,k=αk,iRk,i+βk,iE,通过求解矩阵方程,可以求出αk,i与βk,i,基于该调整因子对图像Ii做整体调整,得到I′i,k,通过图像组重复调整可以得到调整后的具有不同动态范围的图像组{I′};
ⅱ、Ri,j(x,y)=αj,i(x,y)Rj,i(x,y)+βj,i(x,y),这里Ri,j与Rj,i的宽度与高度分别为M、N,Ri,j(x,y)表示在(x,y)处的亮度值,x∈[1,M],y∈[1,N],αj,i与βj,i是像素级的,则将像素级转换为超像素级或者单参数,那么求解矩阵方程时会有求解超定方程引入的较大误差,因此,针对该类问题,可以通过降低分辨率求解超像素级的调整因子,找到调整因子的中值或者统计均值做最终的αk,i与βk,i,基于该调整因子对图像Ii做整体调整,得到I′i,k,通过图像组重复调整可以得到调整后的具有不同动态范围的图像组{I′i,k};
c)对所有图像进行a)~b)的调整处理,形成一系列的动态调整后的图像集{I′};
3)基于实际视轴条件下的图像仿真:
a)在多相机动态范围图集调整完成后,要仿真不同视角下的图像结果,需要根据相机的空间位置与视角计算在图像中的视场位置,假定多相机条件下拍摄的整体视场为F,仿真视角的视场为F′,在仿真视角下的图像为IF′,仿真图需要的高动态范围图集为{I′T};
b)当{I′T}中空间位置没有重合的图像区域而言,可以直接采用原图信息:
c)当{I′T}中空间位置有重合的图像区域而言,为了重现实际曝光状态(假定每幅图在拍摄时都有曝光时间参数),计算与非重合区域的曝光差异最小的做仿真灰度,同时,可以进行边界处的亮度信息过度,具体方式是:
ⅰ、提取重合区域在图像中的边界位置,边界区域即重合区域***的坐标,这些坐标按照顺时针首尾相接则可以完整圈出重合区域,从数学描述上,在该坐标8邻域内,同时存在非重合区域与重合区域的像素;
ⅱ、基于几何位置分布来做像素权重计算,权重是按照几何距离线性插值方法给出的,比如以重合区域的中心处权重定为1,边界处的权重定为0.5,其他位置的权重按照与中心、边界的几何距离线性插值,取值范围是0.5~1,给出重合区域的每个像素权重ω(x,y);
ⅲ、计算过度区的灰度IF′(x,y)=IF′S(x,y)[1-ω(x,y)]+IF′P(x,y)ω(x,y),IF′S(x,y)为原曝光条件下的图像灰度,IF′P(x,y)为宽动态条件下的挑选出最佳重合区图像灰度。
本发明是通过实施例进行描述的,本领域技术人员知悉,在不脱离本发明的精神和范围的情况下,可以对这些特征和实施例进行各种改变或等效替换。另外,在本发明的教导下,可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此,本发明不受此处所公开的具体实施例的限制,所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。
Claims (5)
1.一种针对多镜头拍摄的宽动态图生成方法,其特征在于:包括以下步骤:
1)多相机拍照重合区域的标定阶段:在相机之间的空间相对位置关系固定的情况下,相机之间拍摄的重合区域通过标定得出,假定共有C个相机,每个相机的拍摄图像为Ii,i∈[1,C],相邻相机之间的重合区域为Ri,j,j∈[1,C],j≠i,标定方法是:
a)利用空间位置相邻的相机做实景拍摄,提取拍摄图像的RTS不变特征;
b)基于提取特征来做特征匹配,得到匹配的特征点位置描述;
c)基于匹配的位置描述来估算Ij在Ii坐标系下的变换图像I′j,然后计算Ri,j,这里Ri,j=I′j∩Ii,然后记录Ri,j的几何分布信息;
2)相机间的动态范围调整:这里认为每个相机拍摄图像之间存在动态范围的调整因子αi与βi,每幅图像调整动态范围的模型简化为Ii′=αiIi+βi,基于重合区域不一致性最小的目标估计动态范围调整因子,具体方法是:
a)对Ii而言,按照相机空间位置关系,找出与其有重合的图像组{Ii,k},k∈[1,C],k≠i;
b)对所有图像进行做RGB空间到Lab空间的转换,利用Ri,k与Rk,i的L通道来做线性调整因子估计,假设:
ⅰ、Ri,k=αk,iRk,i+βk,iE,通过求解矩阵方程,可以求出αk,i与βk,i,基于该调整因子对图像Ii做整体调整,得到Ii′,k,通过图像组重复调整可以得到调整后的具有不同动态范围的图像组{I′};
ⅱ、Ri,j(x,y)=αj,i(x,y)Rj,i(x,y)+βj,i(x,y),这里Ri,j与Rj,i的宽度与高度分别为M、N,Ri,j(x,y)表示在(x,y)处的亮度值,x∈[1,M],y∈[1,N],通过降低分辨率求解超像素级的调整因子,找到调整因子的中值或者统计均值做最终的αk,i与βk,i,基于该调整因子对图像Ii做整体调整,得到Ii′,k,通过图像组重复调整得到调整后的具有不同动态范围的图像组{I′i,k};
c)对所有图像进行a)~b)的调整处理,形成一系列的动态调整后的图像集{I′};
3)基于实际视轴条件下的图像仿真:
a)在多相机动态范围图集调整完成后,要仿真不同视角下的图像结果,需要根据相机的空间位置与视角计算在图像中的视场位置,假定多相机条件下拍摄的整体视场为F,仿真视角的视场为F′,在仿真视角下的图像为IF′,仿真图需要的高动态范围图集为{I′T};
b)当{I′T}中空间位置没有重合的图像区域,直接采用原图信息:
c)当{I′T}中空间位置有重合的图像区域,计算与非重合区域的曝光差异最小的做仿真灰度。
2.根据权利要求1所述的一种针对多镜头拍摄的宽动态图生成方法,其特征在于:所述步骤1)中,标定过程中使用固定的标定图卡。
3.根据权利要求1所述的一种针对多镜头拍摄的宽动态图生成方法,其特征在于:所述步骤1)的a)中,特征是SIFT、HARRIS、SURF或者HOG。
4.根据权利要求1所述的一种针对多镜头拍摄的宽动态图生成方法,其特征在于:所述步骤1)的c)中,记录Ri,j的几何分布信息为最小外接矩形或凸包链码。
5.根据权利要求1所述的一种针对多镜头拍摄的宽动态图生成方法,其特征在于:所述步骤3)的c)中,还包括行边界处的亮度信息过度,其方法为:
ⅰ、提取重合区域在图像中的边界位置;
ⅱ、基于几何位置分布来做像素权重计算;
ⅲ、计算过度区的灰度IF′(x,y)=IF′S(x,y)[1-ω(x,y)]+IF′P(x,y)ω(x,y),IF′S(x,y)为原曝光条件下的图像灰度,IF′P(x,y)为宽动态条件下的挑选出最佳重合区图像灰度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910519009.6A CN110213500B (zh) | 2019-06-17 | 2019-06-17 | 一种针对多镜头拍摄的宽动态图生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910519009.6A CN110213500B (zh) | 2019-06-17 | 2019-06-17 | 一种针对多镜头拍摄的宽动态图生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110213500A true CN110213500A (zh) | 2019-09-06 |
CN110213500B CN110213500B (zh) | 2021-03-30 |
Family
ID=67792956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910519009.6A Active CN110213500B (zh) | 2019-06-17 | 2019-06-17 | 一种针对多镜头拍摄的宽动态图生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110213500B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111083390A (zh) * | 2019-12-27 | 2020-04-28 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105205796A (zh) * | 2014-06-30 | 2015-12-30 | 华为技术有限公司 | 广域图像获取方法和装置 |
CN105611181A (zh) * | 2016-03-30 | 2016-05-25 | 努比亚技术有限公司 | 多帧拍摄图像合成装置和方法 |
CN106911881A (zh) * | 2017-02-27 | 2017-06-30 | 努比亚技术有限公司 | 一种基于双摄像头的动态照片拍摄装置、方法和终端 |
CN107302667A (zh) * | 2017-08-17 | 2017-10-27 | 中国人民解放军国防科技大学 | 一种相机可互换动态分光成像***及其应用于高动态成像的方法 |
CN108040204A (zh) * | 2017-12-05 | 2018-05-15 | 北京小米移动软件有限公司 | 一种基于多摄像头的图像拍摄方法、装置及存储介质 |
CN109191431A (zh) * | 2018-07-27 | 2019-01-11 | 天津大学 | 基于特征相似度的高动态彩色图像质量评价方法 |
-
2019
- 2019-06-17 CN CN201910519009.6A patent/CN110213500B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105205796A (zh) * | 2014-06-30 | 2015-12-30 | 华为技术有限公司 | 广域图像获取方法和装置 |
CN105611181A (zh) * | 2016-03-30 | 2016-05-25 | 努比亚技术有限公司 | 多帧拍摄图像合成装置和方法 |
CN106911881A (zh) * | 2017-02-27 | 2017-06-30 | 努比亚技术有限公司 | 一种基于双摄像头的动态照片拍摄装置、方法和终端 |
CN107302667A (zh) * | 2017-08-17 | 2017-10-27 | 中国人民解放军国防科技大学 | 一种相机可互换动态分光成像***及其应用于高动态成像的方法 |
CN108040204A (zh) * | 2017-12-05 | 2018-05-15 | 北京小米移动软件有限公司 | 一种基于多摄像头的图像拍摄方法、装置及存储介质 |
CN109191431A (zh) * | 2018-07-27 | 2019-01-11 | 天津大学 | 基于特征相似度的高动态彩色图像质量评价方法 |
Non-Patent Citations (1)
Title |
---|
孙凤军、徐孝天: "相机成像中一种低噪点的宽动态范围算法", 《电子技术与软件工程》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111083390A (zh) * | 2019-12-27 | 2020-04-28 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
CN111083390B (zh) * | 2019-12-27 | 2021-07-06 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110213500B (zh) | 2021-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9811946B1 (en) | High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image | |
CN111986129B (zh) | 基于多摄图像融合的hdr图像生成方法、设备及存储介质 | |
CN109389555B (zh) | 一种全景图像拼接方法及装置 | |
JP4831514B2 (ja) | 設定パラメータ最適化装置およびそのプログラム | |
CN105141841B (zh) | 摄像设备及其方法 | |
CN111199528A (zh) | 一种鱼眼图像畸变矫正方法 | |
CN108416754A (zh) | 一种自动去除鬼影的多曝光图像融合方法 | |
CN111815517B (zh) | 一种基于球机抓拍图片的自适应全景拼接方法 | |
CN113129391B (zh) | 基于多曝光图像特征分布权重的多曝光融合方法 | |
CN108171735B (zh) | 基于深度学习的十亿像素视频对齐方法及*** | |
CN113039576A (zh) | 图像增强***和方法 | |
CN115223004A (zh) | 基于改进的多尺度融合生成对抗网络图像增强方法 | |
CN111491149B (zh) | 基于高清视频的实时抠像方法、装置、设备及存储介质 | |
CN109166076B (zh) | 多相机拼接的亮度调整方法、装置及便携式终端 | |
CN113902657A (zh) | 图像拼接方法、装置和电子设备 | |
CN114862722B (zh) | 一种图像亮度增强实现方法及处理终端 | |
KR20200045682A (ko) | Hlbp 디스크립터 정보를 이용한 시차 최소화 스티칭 장치 및 방법 | |
CN113706393A (zh) | 视频增强方法、装置、设备及存储介质 | |
CN114331835A (zh) | 一种基于最优映射矩阵的全景图像拼接方法及装置 | |
CN110213500A (zh) | 一种针对多镜头拍摄的宽动态图生成方法 | |
CN107330856B (zh) | 一种基于投影变换和薄板样条的全景成像方法 | |
CN112435173A (zh) | 一种图像处理和直播方法、装置、设备和存储介质 | |
CN114339064A (zh) | 一种基于熵权图像梯度的贝叶斯优化曝光控制方法 | |
CN110222230A (zh) | 一种针对多镜头拍摄的宽动态图保存方法 | |
CN118195980B (zh) | 一种基于灰度变换的暗部细节增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Wide Dynamic Image Generation Method for Multi lens Shooting Effective date of registration: 20230726 Granted publication date: 20210330 Pledgee: Dalian Branch of Shanghai Pudong Development Bank Co.,Ltd. Pledgor: YICHENG GAOKE (DALIAN) TECHNOLOGY Co.,Ltd. Registration number: Y2023980049989 |