CN109166076B - 多相机拼接的亮度调整方法、装置及便携式终端 - Google Patents

多相机拼接的亮度调整方法、装置及便携式终端 Download PDF

Info

Publication number
CN109166076B
CN109166076B CN201810906060.8A CN201810906060A CN109166076B CN 109166076 B CN109166076 B CN 109166076B CN 201810906060 A CN201810906060 A CN 201810906060A CN 109166076 B CN109166076 B CN 109166076B
Authority
CN
China
Prior art keywords
image
camera
mapping function
brightness
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810906060.8A
Other languages
English (en)
Other versions
CN109166076A (zh
Inventor
谢亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN201810906060.8A priority Critical patent/CN109166076B/zh
Publication of CN109166076A publication Critical patent/CN109166076A/zh
Priority to EP19846694.8A priority patent/EP3836071A4/en
Priority to PCT/CN2019/099018 priority patent/WO2020029877A1/zh
Application granted granted Critical
Publication of CN109166076B publication Critical patent/CN109166076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明提供了一种多相机拼接的亮度调整方法、装置及便携式终端。所述方法包括：获取六个相机的原始图像及其对应的六组重叠区域图像；对每个相机的原始图像用亮度映射函数映射，计算所述的六组重叠区域图像亮度的总误差；分别调整每个相机的亮度映射函数，使所述的亮度总误差最小；调整最优映射函数并映射进行全景拼接，分别生成暗部最亮的暗全景拼接图和亮部最暗的亮全景拼接图；融合暗全景拼接图与亮全景拼接图，生成全景拼接图像；本发明技术方案通过对独立曝光的相机调整亮度映射函数，实现了消除重叠区域的亮度差异，同时能保持图像亮处和暗处细节不变，较好的改善全景图像的视觉效果。

Description

多相机拼接的亮度调整方法、装置及便携式终端
技术领域
本发明属于图像处理领域，尤其涉及一种多相机拼接的亮度调整方法、装置及便携式终端。
背景技术
随着计算机技术和图像处理技术的不断发展，多相机图像拼接技术得到了越来越广泛的应用，如虚拟现实和全景图像等。在获取全景图像时，多相机图像拼接一般需要相机在同一时刻从不同角度进行拍摄，而且相邻图像之间要有重叠区域，通过重叠区域同名控制点对，利用图像匹配方法计算图像变换矩阵，从而拼接成一幅全景图像。
在多相机全景拼接中，每个相机视场内的场景亮度不一致，为了拍摄更多的细节，需要每个相机独立曝光。但独立曝光后，相邻两个相机在重叠区域的图像的亮度存在较大的差异。如果对这些图像直接进行拼接，拼接的全景图像在图像重叠区域会存在亮度差异明显的接缝线，从而影响全景图像的视觉和美观效果。
现有的一些方法在消除图像拼接的亮度差异时，采用公共区域内颜色通道的颜色平均值来对多图像进行线性调整，如授权号为CN 102542548 B的中国专利，公开了一种图像间颜色校正方法和装置，在该技术中，根据获取的两幅图像分别在公共区域内颜色通道的颜色平均值，确定图像之间在颜色通道上的线性关系后，然后根据该线性关系，校正两幅图像全图像上的像素点在所述颜色通道上的颜色值。上述方法在处理亮度差异较大的图像时，效果较差，会使图像中不在公共区域的像素也受到较大的改变，影响视觉效果。
因此，非常有必要进行多相机图像拼接的亮度分布不均问题的处理方法的研究。
发明内容
本发明提出一种多相机拼接的亮度调整方法、装置及便携式终端，旨在消除重叠区域的亮度差异，同时能保持图像亮处和暗处细节不变，较好的改善全景图像的视觉效果。
第一方面，本发明提供了一种多相机拼接的亮度调整方法，所述方法包括：
获取六个相机的六幅原始图像并展开成经纬度图像，获取对应的六组重叠区域图像；
对每个相机的原始图像用亮度映射函数映射，计算所述的六组重叠区域图像的亮度差异之和，作为总误差；
分别调整每个相机的亮度映射函数，使所述的总误差最小，得到最优亮度映射函数；
使原始图像中暗部最亮的图像保持不变，调整最优亮度映射函数并映射所有原始图像进行全景拼接，生成暗全景拼接图；
使原始图像中亮部最暗的图像保持不变，调整最优亮度映射函数并映射所有原始图像进行全景拼接，生成亮全景拼接图；
融合暗全景拼接图与亮全景拼接图，生成全景拼接图像。
进一步的，所述的六组重叠区域图像由六目全景相机同时独立曝光拍摄的六幅原始图像组成，所述的六幅原始图像为六幅鱼眼图像；六幅鱼眼图像展开的经纬度图之间形成六组重叠区域图像，对所述的六组重叠区域图像标记为sI[i]与rI[i]，i＝1～6，其中，sI[i]与rI[i]为一对重叠区域图像，sI[i]拍摄于第i个相机，当i＝1～5时，rI[i]拍摄于第i+1个相机，当i＝6时，rI[6]拍摄于第1个相机。
进一步的，所述的亮度映射函数，具体为：
Figure GDA0002521434410000031
公式(1)中a，b，c满足：
f(128)＝128k (2)
f'(128)＝k (3)
f(255)＝255 (4)
上述公式(2)和公式(3)中k为初始值，设初始值为1，x为像素的值，x∈[0,255]，从而确定所述亮度映射函数。
进一步的，所述的计算六组重叠区域图像的亮度差异之和作为总误差，具体为：
对每个重叠区域的两幅图像sI[i]与rI[i]，统计两幅图像的亮度直方图sH[i]与rH[i]；
分别计算每个重叠区域的两幅图像的累积直方图sS[i]和rS[i]；
用直方图规定化的方法，将sS[i]向rS[i]对齐，得到图像sI[i]的亮度映射函数sMap[i]，反之，将rS[i]向sS[i]对齐，得到图像rI[i]的亮度映射函数rMap[i]；
采用公式(5)：
Figure GDA0002521434410000041
计算六个相机图像的亮度误差，公式(5)中：
v2＝sMap[v],v3＝rMap[v]，则六个相机的总亮度误差为：
Figure GDA0002521434410000042
进一步的，所述的最优亮度映射函数具体计算方法为：
调整所述亮度映射函数的k值，计算a，b，c值；设置六个相机的k值初始化为1，在k1k2k3k4k5k6＝1的约束条件下用LM算法对每个相机的k值做优化，使总误差r最小，当r最小时，六个相机有六个k值，可根据此时k值计算出每个相机对应的a，b，c值，此时每个相机对应的亮度映射函数即为最优亮度映射函数。
进一步的，所述暗全景拼接图，是指暗部最明亮的全景图，获取方法具体为：
使原始图像中暗部最亮的图像保持不变，找到所述的暗部最亮图像的亮度映射函数fh，计算其反函数
Figure GDA0002521434410000043
用第一调整函数调整最优亮度映射函数，所述的第一调整函数为：
Figure GDA0002521434410000044
公式(6)中，fi (1)(x)为第i个相机调整后的最优亮度映射函数，fi(x)为第i个相机的最优亮度映射函数。
进一步的，所述的亮全景拼接图，是指亮部最暗的全景图，获取方法具体为：
使原始图像中亮部最暗的图像保持不变，找到所述的亮部最暗图像的亮度映射函数fl，计算其反函数fl -1，用第二调整函数调整最优映射函数，所述的第二调整函数为：
fi (2)(x)＝fl -1[fi(x)] (7)
公式(7)中，fi (2)(x)为第i个相机调整后的最优亮度映射函数，fi(x)为第i个相机的最优亮度映射函数。
进一步的，融合暗全景拼接图与亮全景拼接图，得到最终输出的全景拼接图像，具体为：
在暗全景拼接图中，最亮原始图像对应的中心经线处的权值w设为1，最暗原始图像对应的中心经线处的权值w设为0，其它地方线性过渡，生成一张权值图W1，用1减去W1中每个点的值，生成权值图W2；采用公式：
I＝W1I1+W2I2 (8)
生成全景拼接图像，公式(8)中，I为最终输出的图像，I1为暗全景拼接图，I2为亮全景拼接图。
第二方面，本发明提供了一种多相机拼接的亮度调整装置，所述装置包括：
获取模块，用于获取六个相机的六幅原始图像并展开成经纬度图像，获取对应的六组重叠区域图像；
计算模块，用于对每个相机的原始图像用亮度映射函数映射，计算所述的六组重叠区域图像的亮度差异之和，作为总误差；
调整模块，用于分别调整每个相机的亮度映射函数，使所述的总误差最小，得到最优亮度映射函数；
暗全景拼接模块，用于使原始图像中暗部最亮的图像保持不变，调整最优亮度映射函数并映射所有原始图像进行全景拼接，生成暗全景拼接图；
亮全景拼接模块，用于使原始图像中亮部最暗的图像保持不变，调整最优亮度映射函数并映射所有原始图像进行全景拼接，生成亮全景拼接图；
融合模块，用于融合暗全景拼接图与亮全景拼接图，生成全景拼接图像。
进一步的，所述的计算模块具体用于：对每个相机的原始图像用亮度映射函数映射，所述的亮度映射函数，具体为：
Figure GDA0002521434410000061
公式(1)中a，b，c满足：
f(128)＝128k (2)
f'(128)＝k (3)
f(255)＝255 (4)
上述公式(2)和公式(3)中k为初始值，设初始值为1，x为像素的值，x∈[0,255]，从而确定所述亮度映射函数；
进一步的，所述的调整模块具体用于：分别调整每个相机的亮度映射函数，使所述的总误差最小，得到最优亮度映射函数；具体为：所述调整每个相机的亮度映射函数为调整所述每个相机的亮度映射函数的k值，计算a，b，c值，从而调整所述每个相机的亮度映射函数；6个相机的k值初始化为1，在k1k2k3k4k5k6＝1的约束条件下，用LM算法对每个相机的k值做优化，使总误差r最小，当r最小时，六个相机有六个k值，可根据此时k值计算出每个相机对应的a,b,c值，此时每个相机对应的亮度映射函数为其最优亮度映射函数；
进一步的，所述的融合模块集体用于：融合暗全景拼接图与亮全景拼接图，生成全景拼接图像，具体为：在暗全景拼接图中，最亮原始图像对应的中心经线处的权值w设为1，最暗原始图像对应的中心经线处的权值w设为0，其它地方线性过渡，得到一张权值图W1，用1减去W1中每个点的值，得到权值图W2；所述融合方法为：
I＝W1I1+W2I2 (8)
公式(8)中，I为全景拼接图像，I1为暗全景拼接图，I2为亮全景拼接图。
第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的多相机拼接的亮度调整方法的步骤。
第四方面，本发明提供了一种便携式终端，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的多相机拼接的亮度调整方法的步骤。
本发明通过对独立曝光的相机调整亮度映射函数，实现了消除重叠区域的亮度差异，同时能保持图像亮处和暗处细节不变，较好的改善全景图像的视觉效果。
附图说明
图1是本发明实施例一提供的多相机拼接的亮度调整方法流程图。
图2是本发明实施例一提供的全景相机六个镜头视角区域示意图。
图3是本发明实施例一提供的六幅鱼眼图展开的经纬度图之间相互重叠区域示意图。
图4是本发明实施例一提供的多相机拼接的亮度调整中计算总亮度误差示意图。
图5是本发明实施例一提供的多相机拼接的亮度调整中图像融合的权值图示意图。
图6是本发明实施例二提供的多相机拼接的亮度调整模块示意图。
图7是本发明实施例三提供的便携式终端的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1，本发明实施例一提供的一种多相机拼接的亮度调整方法包括以下步骤：
S101.获取六个相机的六幅原始图像并展开成经纬度图像，获取对应的六组重叠区域图像；
请参阅图2，该六个相机为六目全景相机，六个相机同时独立曝光拍摄的六幅原始图像为六幅鱼眼图像，相邻相机拍摄的图像均有重叠视角；
请参阅图3，由于每个相机都与相邻的相机有重叠视角，因此所拍摄的图像与相邻相机拍摄的图像均有重叠区域；六幅鱼眼图像展开的经纬度图之间形成六组重叠区域图像，对所述的六组重叠区域图像标记为sI[i]与rI[i]，i＝1～6，其中，sI[i]与rI[i]为一对重叠区域图像，sI[i]拍摄于第i个相机，当i＝1～5时，rI[i]拍摄于第i+1个相机，当i＝6时，rI[6]拍摄于第1个相机。
S102.对每个相机的原始图像用亮度映射函数映射，计算所述的六组重叠区域图像的亮度差异之和，作为总误差；
具体的，在图像拼接时，对每个相机的原始图像用亮度映射函数映射，所述亮度映射函数为：
Figure GDA0002521434410000091
公式(1)中a，b，c满足：
f(128)＝128k (2)
f'(128)＝k (3)
f(255)＝255 (4)
上述公式(2)和公式(3)中k为初始值，设初始值为1，x为像素的值，x∈[0,255]，从而确定所述亮度映射函数；
请参阅图4，还需要说明的是，计算总亮度误差步骤如下：
S1021：对每个重叠区域的两幅图像sI[i]与rI[i]，统计两幅图像的亮度直方图sH[i]与rH[i]；
S1022：分别计算每个重叠区域的两幅图像的累积直方图sS[i]和rS[i]；
S1023：用直方图规定化的方法，将sS[i]向rS[i]对齐，得到图像sI[i]的亮度映射函数sMap[i]，反之，将rS[i]向sS[i]对齐，得到图像rI[i]的亮度映射函数rMap[i]；
S1024：计算六个相机图像的总亮度误差；
定义第i个重叠区域的亮度误差为：
Figure GDA0002521434410000101
公式(5)中：v2＝sMap[v],v3＝rMap[v]，则六个相机的总亮度误差为：
Figure GDA0002521434410000102
S103.分别调整每个相机的亮度映射函数，使所述的总误差最小，得到最优亮度映射函数；
具体的，所述调整每个相机的亮度映射函数为调整所述每个相机的亮度映射函数的k值，计算a，b，c值；6个相机的k值初始化为1，在约束条件k1k2k3k4k5k6＝1下，用LM(Levenberg-Marquart)算法对每个相机的k值做优化，使总误差r最小，当r最小时，六个相机有六个k值，可根据此时k值计算出每个相机对应的a,b,c值，此时对每个相机应的亮度映射函数为其最优亮度映射函数；
还需要说明的是，LM算法是梯度下降法与高斯-牛顿法的结合,LM算法在高斯牛顿法中加入了因子μ，当μ大时相当于梯度下降法，μ小时相当于高斯牛顿法，在使用LM算法时，先设置一个比较小的μ值，当发现目标函数反而增大时，将μ增大使用梯度下降法快速寻找，然后再将μ减小使用牛顿法进行寻找。
S104.使原始图像中暗部最亮的图像保持不变，调整最优亮度映射函数并映射所有原始图像进行全景拼接，生成暗全景拼接图；
使原始图像中暗部最亮的图像保持不变，找到所述的暗部最亮图像的亮度映射函数fh，计算其反函数
Figure GDA0002521434410000112
用第一调整函数调整最优亮度映射函数，所述的第一调整函数为：
Figure GDA0002521434410000111
公式(6)中，fi (1)(x)为第i个相机调整后的最优亮度映射函数，fi(x)为用S103步骤中计算出来的第i个相机的最优亮度映射函数。
S105.使原始图像中亮部最暗的图像保持不变，调整最优亮度映射函数并映射所有原始图像进行全景拼接，生成亮全景拼接图；
使原始图像中亮部最暗的图像保持不变，找到所述的亮部最暗图像的亮度映射函数fl，计算其反函数fl -1，用第二调整函数调整最优映射函数，所述的第二调整函数为：
fi (2)(x)＝fl -1[fi(x)] (7)
公式(7)中，fi (2)(x)为第i个相机调整后的最优亮度映射函数，fi(x)为用S103步骤中计算出来的第i个相机的最优亮度映射函数。
S106.融合暗全景拼接图与亮全景拼接图，生成全景拼接图像；
请参阅图5，在暗全景拼接图中，最亮原始图像对应的中心经线处的权值w设为1，最暗原始图像对应的中心经线处的权值w设为0，其它地方线性过度，得到一张权值图W1，用1减去W1中每个点的值，得到权值图W2；所述融合方法为：
I＝W1I1+W2I2 (8)
公式(8)中，I为最终输出的图像，I1为暗全景拼接图，I2为亮全景拼接图。
实施例二：
请参阅图6，本发明实施例二提供的多相机拼接的亮度调整装置包括：
获取模块11，用于获取六个相机的六幅原始图像并展开成经纬度图像，获取对应的六组重叠区域图像；
计算模块12，用于对每个相机的原始图像用亮度映射函数映射，计算所述的六组重叠区域图像的亮度差异之和，作为总误差；
调整模块13，用于分别调整每个相机的亮度映射函数，使所述的总误差最小，得到最优亮度映射函数；
暗全景拼接模块14，用于使原始图像中暗部最亮的图像保持不变，调整最优亮度映射函数并映射所有原始图像进行全景拼接，生成暗全景拼接图；
亮全景拼接模块15，用于使原始图像中亮部最暗的图像保持不变，调整最优亮度映射函数并映射所有原始图像进行全景拼接，生成亮全景拼接图；
融合模块16，用于融合暗全景拼接图与亮全景拼接图，生成全景拼接图像。
可选的，对每个相机的原始图像用亮度映射函数映射，所述的亮度映射函数，具体为：
Figure GDA0002521434410000131
公式(1)中，a，b，c满足：
f(128)＝128k (2)
f'(128)＝k (3)
f(255)＝255 (4)
上述公式(2)和公式(3)中k为初始值，设初始值为1，x为像素的值，x∈[0,255]，从而确定所述亮度映射函数；
可选的，分别调整每个相机的亮度映射函数，使所述的总误差最小，得到最优亮度映射函数；具体为：所述调整每个相机的亮度映射函数为调整所述每个相机的亮度映射函数的k值，计算a，b，c值，从而调整所述每个相机的亮度映射函数；6个相机的k值初始化为1，在约束条件k1k2k3k4k5k6＝1下，用LM算法对每个相机的k值做优化，使总误差r最小，当r最小时，六个相机有六个k值，可根据此时k值计算出每个相机对应的a,b,c值，此时每个相机对应的的亮度映射函数为其最优亮度映射函数；
可选的，融合暗全景拼接图与亮全景拼接图，生成全景拼接图像，具体为：在暗全景拼接图中，最亮原始图像对应的中心经线处的权值w设为1，最暗原始图像对应的中心经线处的权值w设为0，其它地方线性过渡，得到一张权值图W1，用1减去W1中每个点的值，得到权值图W2；所述融合方法为：
I＝W1I1+W2I2 (8)
公式(8)中，I为全景拼接图像，I1为暗全景拼接图，I2为亮全景拼接图。
本发明实施例二提供的一种多相机拼接的亮度调整的装置及本发明实施例一提供的多相机拼接的亮度调整方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。
实施例三：
本发明实施例三提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一提供的多相机拼接的亮度调整方法的步骤。
实施例四：
图7示出了本发明实施例四提供的便携式终端的具体结构框图，一种便携式终端100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的一种多相机拼接的亮度调整方法的步骤。
在本发明实施例中，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
本发明中，通过对独立曝光的相机调整亮度映射函数，实现了消除重叠区域的亮度差异，同时能保持图像亮处和暗处细节不变，较好的改善全景图像的视觉效果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种多相机拼接的亮度调整方法，其特征在于，包括以下步骤：
获取六个相机的六幅原始图像并展开成经纬度图像，获取对应的六组重叠区域图像；
对每个相机的原始图像用亮度映射函数映射，计算所述的六组重叠区域图像的亮度差异之和，作为总误差；
分别调整每个相机的亮度映射函数，使所述的总误差最小，得到最优亮度映射函数；
使原始图像中暗部最亮的图像保持不变，调整最优亮度映射函数并映射所有原始图像进行全景拼接，生成暗全景拼接图；
使原始图像中亮部最暗的图像保持不变，调整最优亮度映射函数并映射所有原始图像进行全景拼接，生成亮全景拼接图；
融合暗全景拼接图与亮全景拼接图，生成全景拼接图像。
2.如权利要求1所述的方法，其特征在于：所述的六组重叠区域图像由六目全景相机同时独立曝光拍摄的六幅原始图像组成，所述的六幅原始图像为六幅鱼眼图像；六幅鱼眼图像展开的经纬度图之间形成六组重叠区域图像，对所述的六组重叠区域图像标记为sI[i]与rI[i]，i＝1～6，其中，sI[i]与rI[i]为一对重叠区域图像，sI[i]拍摄于第i个相机，当i＝1～5时，rI[i]拍摄于第i+1个相机，当i＝6时，rI[6]拍摄于第1个相机。
3.如权利要求1所述的方法，其特征在于：所述的亮度映射函数，具体为：
Figure FDA0002521434400000021
公式(1)中a，b，c满足：
f(128)＝128k (2)
f'(128)＝k (3)
f(255)＝255 (4)
上述公式(2)和公式(3)中k为初始值，设初始值为1，x为像素的值，x∈[0,255]，从而确定所述亮度映射函数。
4.如权利要求3所述的方法，其特征在于：所述的计算六组重叠区域图像的亮度差异之和作为总误差，具体为：
对每个重叠区域的两幅图像sI[i]与rI[i]，统计两幅图像的亮度直方图sH[i]与rH[i]；
分别计算每个重叠区域的两幅图像的累积直方图sS[i]和rS[i]；
用直方图规定化的方法，将sS[i]向rS[i]对齐，得到图像sI[i]的亮度映射函数sMap[i]，反之，将rS[i]向sS[i]对齐，得到图像rI[i]的亮度映射函数rMap[i]；
采用公式(5)：
Figure FDA0002521434400000022
计算六个相机图像的亮度误差，公式(5)中：
v2＝sMap[v],v3＝rMap[v]，则六个相机的总亮度误差为：
Figure FDA0002521434400000023
。
5.如权利要求3所述的方法，其特征在于：所述的最优亮度映射函数具体计算方法为：
调整所述亮度映射函数的k值，计算a，b，c值；设置六个相机的k值初始化为1，在k1k2k3k4k5k6＝1的约束条件下用LM算法对每个相机的k值做优化，使总误差r最小，当r最小时，六个相机有六个k值，可根据此时k值计算出每个相机对应的a，b，c值，此时每个相机对应的亮度映射函数即为最优亮度映射函数。
6.如权利要求5所述的方法，其特征在于：所述暗全景拼接图，是指暗部最明亮的全景图，获取方法具体为：
使原始图像中暗部最亮的图像保持不变，找到所述的暗部最亮图像的亮度映射函数fh，计算其反函数
Figure FDA0002521434400000031
用第一调整函数调整最优亮度映射函数，所述的第一调整函数为：
Figure FDA0002521434400000032
公式(6)中，fi (1)(x)为第i个相机调整后的最优亮度映射函数，fi(x)为第i个相机的最优亮度映射函数。
7.如权利要求5所述的方法，其特征在于：所述的亮全景拼接图，是指亮部最暗的全景图，获取方法具体为：
使原始图像中亮部最暗的图像保持不变，找到所述的亮部最暗图像的亮度映射函数fl，计算其反函数fl -1，用第二调整函数调整最优映射函数，所述的第二调整函数为：
fi (2)(x)＝fl -1[fi(x)] (7)
公式(7)中，fi (2)(x)为第i个相机调整后的最优亮度映射函数，fi(x)为第i个相机的最优亮度映射函数。
8.如权利要求1所述的方法，其特征在于：融合暗全景拼接图与亮全景拼接图，得到最终输出的全景拼接图像，具体为：
在暗全景拼接图中，最亮原始图像对应的中心经线处的权值w设为1，最暗原始图像对应的中心经线处的权值w设为0，其它地方线性过渡，生成一张权值图W1，用1减去W1中每个点的值，生成权值图W2；采用公式：
I＝W1I1+W2I2 (8)
生成全景拼接图像，公式(8)中，I为最终输出的图像，I1为暗全景拼接图，I2为亮全景拼接图。
9.一种多相机拼接的亮度调整的装置，其特征在于，包括：
获取模块，用于获取六个相机的六幅原始图像并展开成经纬度图像，获取对应的六组重叠区域图像；
计算模块，用于对每个相机的原始图像用亮度映射函数映射，计算所述的六组重叠区域图像的亮度差异之和，作为总误差；
调整模块，用于分别调整每个相机的亮度映射函数，使所述的总误差最小，得到最优亮度映射函数；
暗全景拼接模块，用于使原始图像中暗部最亮的图像保持不变，调整最优亮度映射函数并映射所有原始图像进行全景拼接，生成暗全景拼接图；
亮全景拼接模块，用于使原始图像中亮部最暗的图像保持不变，调整最优亮度映射函数并映射所有原始图像进行全景拼接，生成亮全景拼接图；
融合模块，用于融合暗全景拼接图与亮全景拼接图，生成全景拼接图像。
10.如权利要求9所述的装置，其特征在于，
所述的计算模块具体用于：对每个相机的原始图像用亮度映射函数映射，所述的亮度映射函数，具体为：
Figure FDA0002521434400000051
公式(1)中a，b，c满足：
f(128)＝128k (2)
f'(128)＝k (3)
f(255)＝255 (4)
上述公式(2)和公式(3)中k为初始值，设初始值为1，x为像素的值，x∈[0,255]，从而确定所述亮度映射函数；
所述的调整模块具体用于：分别调整每个相机的亮度映射函数，使所述的总误差最小，得到最优亮度映射函数；具体为：所述调整每个相机的亮度映射函数为调整每个相机的亮度映射函数的k值，计算a，b，c值，从而调整所述每个相机的亮度映射函数；6个相机的k值初始化为1，在k1k2k3k4k5k6＝1的约束条件下，用LM算法对每个相机的k值做优化，使总误差r最小，当r最小时，六个相机有六个k值，可根据此时k值计算出每个相机对应的a,b,c值，此时每个相机对应的亮度映射函数为其最优亮度映射函数；
所述的融合模块具体用于：融合暗全景拼接图与亮全景拼接图，生成全景拼接图像，具体为：在暗全景拼接图中，最亮原始图像对应的中心经线处的权值w设为1，最暗原始图像对应的中心经线处的权值w设为0，其它地方线性过渡，得到一张权值图W1，用1减去W1中每个点的值，得到权值图W2；融合方法为：
I＝W1I1+W2I2 (8)
公式(8)中，I为全景拼接图像，I1为暗全景拼接图，I2为亮全景拼接图。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的多相机拼接的亮度调整方法的步骤。
12.一种便携式终端，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的多相机拼接的亮度调整方法的步骤。
CN201810906060.8A 2018-08-10 2018-08-10 多相机拼接的亮度调整方法、装置及便携式终端 Active CN109166076B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810906060.8A CN109166076B (zh) 2018-08-10 2018-08-10 多相机拼接的亮度调整方法、装置及便携式终端
EP19846694.8A EP3836071A4 (en) 2018-08-10 2019-08-02 BRIGHTNESS ADJUSTMENT METHOD FOR MULTIPLE CAMERAS AND PORTABLE TERMINAL MOSAICING
PCT/CN2019/099018 WO2020029877A1 (zh) 2018-08-10 2019-08-02 多相机拼接的亮度调整方法及便携式终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810906060.8A CN109166076B (zh) 2018-08-10 2018-08-10 多相机拼接的亮度调整方法、装置及便携式终端

Publications (2)

Publication Number Publication Date
CN109166076A CN109166076A (zh) 2019-01-08
CN109166076B true CN109166076B (zh) 2020-08-07

Family

ID=64895441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810906060.8A Active CN109166076B (zh) 2018-08-10 2018-08-10 多相机拼接的亮度调整方法、装置及便携式终端

Country Status (3)

Country Link
EP (1) EP3836071A4 (zh)
CN (1) CN109166076B (zh)
WO (1) WO2020029877A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166076B (zh) * 2018-08-10 2020-08-07 影石创新科技股份有限公司 多相机拼接的亮度调整方法、装置及便携式终端
CN113781317B (zh) * 2021-08-02 2023-08-18 华南理工大学 一种全景环视***的亮度均衡方法
CN115861079B (zh) * 2023-02-24 2023-05-12 和普威视光电股份有限公司 一种无重叠区域的全景图像拼接方法、***及拼接终端
CN117237237A (zh) * 2023-11-13 2023-12-15 深圳元戎启行科技有限公司 一种车载360度全景影像的光度均衡方法及装置
CN117319805B (zh) * 2023-11-30 2024-03-01 广汽埃安新能源汽车股份有限公司 一种车辆全景图像的亮度补偿方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881854A (zh) * 2015-05-20 2015-09-02 天津大学 基于梯度和亮度信息的高动态范围图像融合方法
CN105321151A (zh) * 2015-10-27 2016-02-10 Tcl集团股份有限公司 一种全景图拼接亮度均衡方法及***
US9355433B1 (en) * 2015-06-30 2016-05-31 Gopro, Inc. Image stitching in a multi-camera array

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3962676B2 (ja) * 2002-11-29 2007-08-22 キヤノン株式会社 画像処理方法及び装置
CN102542548B (zh) 2011-12-30 2016-02-03 深圳万兴信息科技股份有限公司 一种图像间颜色校正方法和装置
EP3105920B1 (en) * 2014-02-11 2020-07-22 Robert Bosch GmbH Brightness and color matching video from multiple-camera system
US10136055B2 (en) * 2016-07-29 2018-11-20 Multimedia Image Solution Limited Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama
US10558881B2 (en) * 2016-08-24 2020-02-11 Electronics And Telecommunications Research Institute Parallax minimization stitching method and apparatus using control points in overlapping region
US10614603B2 (en) * 2016-09-19 2020-04-07 Qualcomm Incorporated Color normalization for a multi-camera system
CN107369129B (zh) * 2017-06-26 2020-01-21 深圳岚锋创视网络科技有限公司 一种全景图像的拼接方法、装置及便携式终端
CN109166076B (zh) * 2018-08-10 2020-08-07 影石创新科技股份有限公司 多相机拼接的亮度调整方法、装置及便携式终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881854A (zh) * 2015-05-20 2015-09-02 天津大学 基于梯度和亮度信息的高动态范围图像融合方法
US9355433B1 (en) * 2015-06-30 2016-05-31 Gopro, Inc. Image stitching in a multi-camera array
CN105321151A (zh) * 2015-10-27 2016-02-10 Tcl集团股份有限公司 一种全景图拼接亮度均衡方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Colour Correction for Multiple-camera System by using Correspondences;Kenji Yamamoto 等;《The Journal of The Institute of Image Information and Television Engineers》;20071231;第61卷(第2期);第213-222页 *
多相机图像拼接匀色算法;吕楠 等;《测绘通报》;20160731(第7期);第44-47页 *

Also Published As

Publication number Publication date
WO2020029877A1 (zh) 2020-02-13
EP3836071A4 (en) 2022-06-01
EP3836071A1 (en) 2021-06-16
CN109166076A (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
CN109166076B (zh) 多相机拼接的亮度调整方法、装置及便携式终端
CN107925751B (zh) 用于多视点降噪和高动态范围的***和方法
CN106875339B (zh) 一种基于长条形标定板的鱼眼图像拼接方法
US8872887B2 (en) Object detection and rendering for wide field of view (WFOV) image acquisition systems
JP6630176B2 (ja) 画像処理装置およびその方法
US9900505B2 (en) Panoramic video from unstructured camera arrays with globally consistent parallax removal
US8737736B2 (en) Tone mapping of very large aerial image mosaic
US7259784B2 (en) System and method for camera color calibration and image stitching
Hu et al. Exposure stacks of live scenes with hand-held cameras
WO2019031873A1 (en) CONTINUOUS IMAGE ASSEMBLY
Tian et al. Colour correction for panoramic imaging
CN105578021B (zh) 双目相机的成像方法及其装置
JP2019516299A (ja) 光学フローを使用した中間ビューの生成
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
US20180005410A1 (en) System and method for adjusting brightness in multiple images
CN109785390B (zh) 一种用于图像矫正的方法和装置
CN112669758A (zh) 显示屏校正方法、装置、***和计算机可读存储介质
CN110930341A (zh) 一种基于图像融合的低光照图像增强方法
CN110009567A (zh) 用于鱼眼镜头的图像拼接方法和装置
CN109785225B (zh) 一种用于图像矫正的方法和装置
CN108600631A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107197134B (zh) 一种用于多个鱼眼镜头的图像的曝光调整方法和装置
CN113592753A (zh) 基于工业相机拍摄的图像的处理方法、装置和计算机设备
JP7415707B2 (ja) 撮像装置、補正方法、及び、プログラム
KR102052725B1 (ko) 이미지 스티칭 기법을 이용한 차량 내부의 vr 이미지 생성 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518101 Block 706, Longguang Century Building, Haixiu Road, Xin'an Street, Baoan District, Shenzhen City, Guangdong Province

Applicant after: Yingshi Innovation Technology Co., Ltd

Address before: 518101 Block 706, Longguang Century Building, Haixiu Road, Xin'an Street, Baoan District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN ARASHI VISION Co.,Ltd.

GR01 Patent grant
GR01 Patent grant