CN111738925B - 一种阵列相机中田字形全景图像拼接方法 - Google Patents
一种阵列相机中田字形全景图像拼接方法 Download PDFInfo
- Publication number
- CN111738925B CN111738925B CN202010769524.2A CN202010769524A CN111738925B CN 111738925 B CN111738925 B CN 111738925B CN 202010769524 A CN202010769524 A CN 202010769524A CN 111738925 B CN111738925 B CN 111738925B
- Authority
- CN
- China
- Prior art keywords
- camera
- images
- image
- overlapping area
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000009466 transformation Effects 0.000 claims abstract description 50
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 13
- 230000008859 change Effects 0.000 claims abstract description 8
- 238000007499 fusion processing Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000000638 solvent extraction Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000007500 overflow downdraw method Methods 0.000 description 4
- 238000005282 brightening Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种阵列相机中田字形全景图像拼接方法，主要针对现有拼接技术不能直接同时处理田字形图像问题。本发明直接使用配准变换矩阵，将三幅待配准图像变换至参考图像，根据变换矩阵，将整个图像输出区域分为重叠区域和非重叠区域。针对不同类型的重叠区域，设计不同的加权融合系数。从而实现一次性对四幅田字形分布的相机图像进行拼接处理，降低了对***存储容量和计算资源要求，适合计算资源和存储资源受限的嵌入式***应用环境。本发明适应于在机场、广场等固定监控场景应用中，阵列相机安装于固定位置，且与监控场景没有相对移动，相机之间的配准参数不随时间改变而改变。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种阵列相机中田字形全景图像拼接方法。
背景技术
为克服视频监控领域中“看得清”和“看得广”的矛盾，由多个相机构成的阵列相机***逐渐成为近几年的研究热点。阵列相机***中，相邻相机之间存在部分重叠。采用图像拼接技术，将多个相机获取的图像拼接为一幅更高分辨率的图像，从而解决单个相机“看得清”但视场窄，或者“看得广”但“看不清”的矛盾。
图像拼接技术已经被广泛应用于全景图像拼接任务中，但目前的大部分拼接技术主要解决了一个维度方向的多幅图像之间的拼接，即所有相机全部布置在水平方向（1xN）或者垂直方向（Nx1）的一个维度里。基于相机阵列的全景成像方法（CN201710407833.3）能处理二维分布的阵列相机，但其拼接技术流程仍然完全是基于两个一维的拼接处理方法：即先对所有相机进行水平方向的拼接，之后将每行拼接后的图像全部旋转九十度，再次采用水平方向的拼接方法进行拼接，最后将拼接图像反方向旋转九十度，得到最终的全景图像。这种拼接方法，一方面消耗了处理器较多的计算资源，另一方面，也对***存储容量有更多的要求。
发明内容
针对上述已有技术存在的不足和应用场景条件，本发明提供了解决上述问题的一种阵列相机中田字形全景图像拼接方法，本发明直接使用已有的配准变换参数，对田字形布置的四个相机图像进行拼接，解决了现有拼接技术不能直接同时处理田字形图像问题；本发明降低了对***存储容量和计算资源要求，适合应用于嵌入式***。
本发明通过下述技术方案实现：
一种阵列相机中田字形全景图像拼接方法，该方法包括以下步骤：
S1：从存储单元中获取待拼接的田字形四个相机图像，以其中一个作为参考图像；从存储单元中获取其它三个相机图像的变换矩阵；
S2：根据步骤S1中的变换矩阵，相对参考图像的坐标系，进行坐标系变换；并对整个图像输出区域进行分区，计算交叉重叠区域；并采用距离加权方式计算各重叠区域的加权融合系数；其中，整个图像输出区域指的是变换矩阵相对参考图像的坐标系而进行坐标系变换后的输出图像形成的区域；
S3：根据步骤S1从阵列相机中获取的相邻四个田字形布置相机的图像，根据重叠区域处各图像的像素取值，对各图像进行亮度调整；利用步骤S2得到的各重叠区域的加权融合系数，对调亮处理后的各个重叠区域进行融合处理，从而实现田字形全景图像拼接。
工作原理如下：
基于目前的大部分拼接技术主要解决了一个维度方向的多幅图像之间的拼接，即所有相机全部布置在水平方向（1xN）或者垂直方向（Nx1）的一个维度里。现有的拼接技术流程仍然完全是基于两个一维的拼接处理方法：即先对所有相机进行水平方向的拼接，之后将每行拼接后的图像全部旋转九十度，再次采用水平方向的拼接方法进行拼接，最后将拼接图像反方向旋转九十度，得到最终的全景图像。这种拼接方法，一方面消耗了处理器较多的计算资源，另一方面，也对***存储容量有更多的要求。现有拼接技术不能直接同时处理田字形图像问题。
因此，本发明考虑在机场、广场等固定监控场景应用中，阵列相机安装于固定位置，且与监控场景没有相对移动，相机之间的配准参数不随时间改变而改变，且本发明将不考虑图像配准等计算过程，假设图像配准参数已经通过其他手段获取，可直接使用。本发明主要针对现有拼接技术不能直接同时处理田字形图像问题。本发明直接使用配准变换矩阵，将三幅待配准图像变换至参考图像，根据变换矩阵，将整个图像输出区域分为重叠区域和非重叠区域；针对不同类型的重叠区域，设计不同的加权融合系数；从而实现一次性对四幅田字形分布的相机图像进行拼接处理，降低了对***存储容量和计算资源要求，适合计算资源和存储资源受限的嵌入式***应用环境。
具体地，本发明首先获取待拼接的田字形四个相机图像，以其中一个作为参考图像；从存储单元中获取其它三个相机图像的变换矩阵；其次，相对参考图像的坐标系，对其它图像的变换矩阵进行坐标系变换；并对整个图像输出区域进行分区，计算交叉重叠区域；并采用距离加权方式计算各重叠区域的加权融合系数；然后，利用各重叠区域的加权融合系数，对调亮处理后的各个重叠区域进行融合处理，从而实现田字形全景图像拼接。
本发明方法流程合理，直接使用已有的配准变换参数，可以一次性对四幅田字形分布的相机图像进行拼接处理，降低了对***存储容量和计算资源要求，适合应用于嵌入式***。
进一步地，所述步骤S1具体包括：
从存储单元中获取待拼接的田字形四个相机图像C0、C1、C2、C3和图像C1、C2、C3对应的变换矩阵为H1、H2、H3；变换矩阵以C0为参考图像，其中H1为相机C1对C0的变换矩阵，H2为相机C2对C0的变换矩阵，H3为相机C3对C0的变换矩阵。
进一步地，所述步骤S2具体包括以下子步骤：
S21：根据变换矩阵H1、H2、H3，将各待配准相机C1、C2、C3坐标变换至C0相机坐标系；
S22：对整个图像输出区域进行分区，分为非重叠区域和重叠区域，重叠区域又分为两两重叠区域和四相机重叠区域，两两重叠区域又分为上下两个重叠区域和左右两个重叠区域；
重叠区域大小规范化至2的幂次，两幅图像的重叠区域记作M，则在拼接融合时，取融合区域大小为 2^[ log2(M) ]，其中[]为整数取整符号；
S23：根据重叠区域特性不同，采用距离加权方式计算各重叠区域的加权融合系数；具体地：
S231：对于两两重叠区域：该区域的宽度为M，长度为N，则其宽度M是2的幂次；设横坐标为x，纵坐标为y；该区域左上角和右下角的两个坐标记作(x0,y0)、(x1,y1)，其内的任意像素记作p(x,y)；
p(x,y)处，来自C0图像的加权系数为(M - y + y0) / M，来自C2图像的加权系数为(y-y0) / M，来自C1图像的加权系数为(M - y + y0) / M，来自C3图像的加权系数为(y-y0) / M；对各自融合的系数值进行左右融合，得到来自左边融合图像的加权系数为(N - x+ x0) / N，来自右边融合图像的加权系数为(x-x0) / N。
进一步地，所述步骤S3中对各个重叠区域进行融合处理，包括：
S31：对于两两重叠区域：融合像素值fp(x,y)公式为：fp(x,y) = fc0(x,y) * (M- y + y0) / M + fc2(x,y) * (y-y0) / M；其中fc0(x,y)为相机C0在p(x,y)处调整亮度后的像素值，fc2(x,y)为相机C2在p(x,y)处调整亮度后的像素值；
S32：对于四相机重叠区域：采用融合方式对C0，C1，C2，C3四个相机的图像进行融合处理，其中融合方式包括先上下后左右的融合方式和先左右后上下的融合方式；具体地：采用先上下后左右的融合方式得到：
C0、C2的融合图像：fp02(x,y) = fc0(x,y) * (M - y + y0) / M + fc2(x,y) *(y-y0) / M；
C1、C3的融合图像：fp13(x,y) = fc1(x,y) * (M - y + y0) / M + fc3(x,y) *(y-y0) / M；
其中fc1(x,y)为相机C1在p(x,y)处调整亮度后的像素值，fc3(x,y)为相机C3在p(x,y)处调整亮度后的像素值；
根据以上各自融合的系数值进行左右融合，得到最后的融合图像：Fp0123(x,y) =fp02(x,y) * (N - x + x0) / N + fp13(x,y) *(x-x0) / N。
进一步地，根据重叠区域处各图像的像素取值，对各图像进行亮度调整；
在重叠区域中，分别计算各相机的RGB平均值，分别记为r0,r1,r2,r3，g0,g1,g2,g3，b0,b1,b2,b3。
计算比值：r11 = r0/r1; r12 = r0/r2; r13 = r0/r3;
计算比值：g11 = g0/g1; g12 = g0/g2; g13 = g0/g3;
计算比值：b11 = b0/b1; b12 = b0/b2; b13 = b0/b3;
对非重叠区域，根据变换矩阵H，将所有像素进行投影变换，并对Im1，Im2，Im3三幅图像的RGB各分量分别进行亮度调整，即对Im1，Im2，Im3的三个分量分别乘以r1j, g1j,b1j, j=1,2,3。其中，四个相机C0、C1、C2、C3对应的图像依次为Im0、Im1、Im2、Im3。
进一步地，该方法应用于固定监控场景中，阵列相机安装于固定位置，且与监控场景没有相对移动，相机之间的配准参数不随时间改变而改变；其中所述固定监控场景包括机场、广场。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明直接使用已有的配准变换参数，可以一次性对四幅田字形分布的相机图像进行拼接处理，降低了对***存储容量和计算资源要求，适合应用于嵌入式***。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明一种阵列相机中田字形全景图像拼接方法流程图。
图2是本发明的相机田字形布置结构图。
图3是有重叠区域的田字形布置相机图像配准后示意图。
图4是配准后交叉重叠区域划分图。
图5为本发明一种阵列相机中田字形全景图像拼接方法的详细流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例
如图1至图5所示，本发明一种阵列相机中田字形全景图像拼接方法，如图1所示，该方法包括以下步骤：
S1：从存储单元中获取待拼接的田字形四个相机图像，以其中一个作为参考图像；从存储单元中获取其它三个相机图像的变换矩阵；
S2：根据步骤S1中的变换矩阵，相对参考图像的坐标系，进行坐标系变换；并对整个图像输出区域进行分区，计算交叉重叠区域；并采用距离加权方式计算各重叠区域的加权融合系数；
S3：根据步骤S1从阵列相机中获取的相邻四个田字形布置相机的图像，根据重叠区域处各图像的像素取值，对各图像进行亮度调整；利用步骤S2得到的各重叠区域的加权融合系数，对调亮处理后的各个重叠区域进行融合处理；对非重叠区，直接拷贝对应区相机的亮度调整图像数据即可，从而实现田字形全景图像拼接。
图5为本发明一种阵列相机中田字形全景图像拼接方法的详细流程图，具体实施如下：
S1：从存储单元中获取待拼接的田字形四个相机图像C0、C1、C2、C3，以及变换矩阵H1、H2、H3。其中H1为相机C1对C0的变换矩阵，H2为相机C2对C0的变换矩阵，H3为相机C3对C0的变换矩阵；其中一个C0作为参考图像，变换矩阵H1、H2、H3是C1，C2，C3基于C0进行矩阵变换得到的。本实施例中，假设变换矩阵H1、H2、H3已采用其它方法计算出并存储在存储单元中，本发明直接使用。
四个相机的排列方式如图2所示，每个相机分别用框标记了其图像外框，四个相机C0、C1、C2、C3对应的图像依次为Im0、Im1、Im2、Im3。
S2：具体包括以下子步骤：
S21：根据变换矩阵H1、H2、H3，将各待配准相机C1、C2、C3坐标变换至C0相机坐标系，如图3所示；
S22：对图3中的整个图像输出区域进行分区得到非重叠区域（图4中NR0、NR1、NR2、NR3四个区域）和重叠区域（图4中A、C、D、B和E 5个填充区域），标识为拼接后图像输出有效区域，即由NR0，NR1，NR2，NR3，A，B，C，D，E等区域的整个区域。除上述有效区域外的虚线区域是图像变化过程中的极少部分边缘区域，其对于田字形的处理是非必须的，因此直接舍弃，不影响处理结果。
对非重叠区，直接拷贝对应区相机的亮度调整图像数据即可；重叠区域又分为两两重叠区域（图4中A、C、D、B等4个填充区域）和四相机重叠区域（图4中E填充区域），两两重叠区域又分为上下两个重叠区域（图4中A和B等2个填充区域）和左右两个重叠区域（图4中C和D等2个填充区域）；
重叠区域大小规范化至2的幂次，两幅图像的重叠区域记作M，则在拼接融合时，取融合区域大小为 2^[ log2(M) ]，其中[]为整数取整符号；
S23：根据重叠区域特性不同，采用距离加权方式计算各重叠区域的加权融合系数；
如图4所示，A区域是相机C0和C2之间的两两重叠区域。假设该区域的宽度为M，长度为N，则其宽度M是2的幂次，长度N根据实际情况得到。设横坐标为x，纵坐标为y。不妨标记A矩形区域的左上角和右下角的两个坐标分别为：(x0,y0)， (x1,y1)，则有M=y1-y0+1，N=x1-x0+1。则对A区域中的任意像素p(x,y)，其加权系数包括来自C0图像和C2图像的两个加权系数，其系数和为1，并随像素p的y坐标变化而变化。具体为：
p(x,y)处，来自C0图像的加权系数为(M - y + y0) / M，而来自C2图像的加权系数为(y-y0) / M。同理可得C、D和B区域的融合像素值。
对于E区域中的任意像素位置p(x,y)，则是采用先上下后左右或者先左右后上下融合方式，对C0，C1，C2，C3四个相机的图像进行融合处理。
具体为：p(x,y)处，来自C0图像的加权系数为(M - y + y0) / M，而来自C2图像的加权系数为(y-y0) / M。来自C1图像的加权系数为(M - y + y0) / M，而来自C3图像的加权系数为(y-y0) / M。最后再对上一步各自融合的系数值进行左右融合，来自左边融合图像的加权系数为(N - x + x0) / N，而来自右边融合图像的加权系数为(x-x0) / N。
S3：根据步骤S1从阵列相机中获取变换矩阵对应的相邻四个田字形布置相机的图像，根据重叠区域处各图像的像素取值，对各图像进行亮度调整；利用步骤S2得到的各重叠区域的加权融合系数，对调亮处理后的各个重叠区域进行融合处理，从而实现田字形全景图像拼接。
S31：根据重叠区域处各图像的像素取值，对各图像进行亮度调整；如下：
在重叠区域中，分别计算各相机的RGB平均值，分别记为r0,r1,r2,r3，g0,g1,g2,g3，b0,b1,b2,b3。
计算比值：r11 = r0/r1; r12 = r0/r2; r13 = r0/r3;
计算比值：g11 = g0/g1; g12 = g0/g2; g13 = g0/g3;
计算比值：b11 = b0/b1; b12 = b0/b2; b13 = b0/b3;
具体地：对非重叠区域，根据变换矩阵H，将所有像素进行投影变换，并对Im1，Im2，Im3三幅图像的RGB各分量分别进行亮度调整，即对Im1，Im2，Im3的三个分量分别乘以r1j,g1j, b1j, j=1,2,3；
S32：利用步骤S2得到的各重叠区域的加权融合系数，对调亮处理后的各个重叠区域进行融合处理，从而实现田字形全景图像拼接。
如图4所示，A区域是相机C0和C2之间的两两重叠区域。假设该区域的宽度为M，长度为N，则其宽度M是2的幂次，长度N根据实际情况得到。设横坐标为x，纵坐标为y。不妨标记A矩形区域的左上角和右下角的两个坐标分别为：(x0,y0)， (x1,y1)，则有M=y1-y0+1，N=x1-x0+1。则对A区域中的任意像素p(x,y)的融合像素值fp(x,y)为：
fp(x,y) = fc0(x,y) * (M - y + y0) / M + fc2(x,y) * (y-y0) / M
其中fc0(x,y)为相机C0在p(x,y)处调整亮度后的像素值，fc2(x,y)为相机C2在p(x,y)处调整亮度后的像素值。同理可得C、D和B区域的融合像素值。
对于E区域中的任意像素位置p(x,y)，则是采用先上下后左右或者先左右后上下融合方式，对C0，C1，C2，C3四个相机的图像进行融合处理。
以先上下后左右为例，具体为：p(x,y)处，来自C0图像的加权系数为(M - y + y0)/ M，而来自C2图像的加权系数为(y-y0) / M，得到融合图像：
fp02(x,y) = fc0(x,y) * (M - y + y0) / M + fc2(x,y) * (y-y0) / M
来自C1图像的加权系数为(M - y + y0) / M，而来自C3图像的加权系数为(y-y0)/ M，得到融合图像：
fp13(x,y) = fc1(x,y) * (M - y + y0) / M + fc3(x,y) * (y-y0) / M
其中fc1(x,y)为相机C1在p(x,y)处调整亮度后的像素值，fc3(x,y)为相机C3在p(x,y)处调整亮度后的像素值；
最后再对上一步各自融合的系数值进行左右融合，得到最后的融合图像：
Fp0123(x,y) = fp02(x,y) * (N - x + x0) / N + fp13(x,y) *(x-x0) / N
至此，得到了重叠区域所有像素点，从而实现直接同时处理田字形图像拼接。
本发明一种阵列相机中田字形全景图像拼接方法，主要针对现有拼接技术不能直接同时处理田字形图像问题。本发明直接使用配准变换矩阵，将三幅待配准图像变换至参考图像，根据变换矩阵，将整个图像输出区域分为重叠区域和非重叠区域。针对不同类型的重叠区域，设计不同的加权融合系数。从而实现一次性对四幅田字形分布的相机图像进行拼接处理，降低了对***存储容量和计算资源要求，适合计算资源和存储资源受限的嵌入式***应用环境。
本发明适应于在机场、广场等固定监控场景应用中，阵列相机安装于固定位置，且与监控场景没有相对移动，相机之间的配准参数不随时间改变而改变。且本发明将不考虑图像配准等计算过程，假设图像配准参数已经通过其他手段获取，可直接使用。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (2)
1.一种阵列相机中田字形全景图像拼接方法，其特征在于，该方法包括以下步骤：
S1：从存储单元中获取待拼接的田字形四个相机图像，以其中一个作为参考图像；从存储单元中获取其它三个相机图像的变换矩阵；
S2：根据步骤S1中的变换矩阵，相对参考图像的坐标系，进行坐标系变换；并对整个图像输出区域进行分区，计算交叉重叠区域；并采用距离加权方式计算各重叠区域的加权融合系数；
S3：根据步骤S1从阵列相机中获取的相邻四个田字形布置相机的图像，根据重叠区域处各图像的像素取值，对各图像进行亮度调整；利用步骤S2得到的各重叠区域的加权融合系数，对调亮处理后的各个重叠区域进行融合处理，从而实现田字形全景图像拼接；
所述步骤S1具体包括：从存储单元中获取待拼接的田字形四个相机图像C0、C1、C2、C3和图像C1、C2、C3对应的变换矩阵为H1、H2、H3；变换矩阵以C0为参考图像，其中H1为相机C1对C0的变换矩阵，H2为相机C2对C0的变换矩阵，H3为相机C3对C0的变换矩阵；
所述步骤S2具体包括以下子步骤：
S21：根据变换矩阵H1、H2、H3，将各待配准相机C1、C2、C3坐标变换至C0相机坐标系；
S22：对整个图像输出区域进行分区，分为非重叠区域和重叠区域，重叠区域又分为两两重叠区域和四相机重叠区域，两两重叠区域又分为上下两个重叠区域和左右两个重叠区域；
重叠区域大小规范化至2的幂次，两幅图像的重叠区域记作M，则在拼接融合时，取融合区域大小为2^[log2(M)]，其中[]为整数取整符号；
S23：根据重叠区域特性不同，采用距离加权方式计算各重叠区域的加权融合系数；具体地：
S231：对于两两重叠区域：该区域的宽度为M，长度为N，则其宽度M是2的幂次；设横坐标为x，纵坐标为y；该区域左上角和右下角的两个坐标记作(x0,y0)、(x1,y1)，其内的任意像素记作p(x,y)；
p(x,y)处，来自C0图像的加权系数为(M-y+y0)/M，来自C2图像的加权系数为(y-y0)/M，来自C1图像的加权系数为(M-y+y0)/M，来自C3图像的加权系数为(y-y0)/M；对各自融合的系数值进行左右融合，得到来自左边融合图像的加权系数为(N-x+x0)/N，来自右边融合图像的加权系数为(x-x0)/N；
所述步骤S3中对各个重叠区域进行融合处理，包括：
S31：对于两两重叠区域：融合像素值fp(x,y)公式为：fp(x,y)＝fc0(x,y)*(M-y+y0)/M+fc2(x,y)*(y-y0)/M；其中fc0(x,y)为相机C0在p(x,y)处调整亮度后的像素值，fc2(x,y)为相机C2在p(x,y)处调整亮度后的像素值；
S32：对于四相机重叠区域：采用融合方式对C0，C1，C2，C3四个相机的图像进行融合处理，其中融合方式包括先上下后左右的融合方式和先左右后上下的融合方式；具体地：采用先上下后左右的融合方式得到：
C0、C2的融合图像：fp02(x,y)＝fc0(x,y)*(M-y+y0)/M+fc2(x,y)*(y-y0)/M；
C1、C3的融合图像：fp13(x,y)＝fc1(x,y)*(M-y+y0)/M+fc3(x,y)*(y-y0)/M；
其中fc1(x,y)为相机C1在p(x,y)处调整亮度后的像素值，fc3(x,y)为相机C3在p(x,y)处调整亮度后的像素值；
根据以上各自融合的系数值进行左右融合，得到最后的融合图像：Fp0123(x,y)＝fp02(x,y)*(N-x+x0)/N+fp13(x,y)*(x-x0)/N。
2.根据权利要求1所述的一种阵列相机中田字形全景图像拼接方法，其特征在于，该方法应用于固定监控场景中，阵列相机安装于固定位置，且与监控场景没有相对移动，相机之间的配准参数不随时间改变而改变；其中所述固定监控场景包括机场和广场。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010769524.2A CN111738925B (zh) | 2020-08-04 | 2020-08-04 | 一种阵列相机中田字形全景图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010769524.2A CN111738925B (zh) | 2020-08-04 | 2020-08-04 | 一种阵列相机中田字形全景图像拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111738925A CN111738925A (zh) | 2020-10-02 |
| CN111738925B true CN111738925B (zh) | 2020-12-08 |
Family
ID=72657003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010769524.2A Active CN111738925B (zh) | 2020-08-04 | 2020-08-04 | 一种阵列相机中田字形全景图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111738925B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112954127A (zh) * | 2021-01-12 | 2021-06-11 | Lpt有限责任公司 | 摄像头矩阵图像扫描器 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104049812A (zh) * | 2014-05-30 | 2014-09-17 | 京东方科技集团股份有限公司 | 显示信号输入装置、显示信号输入方法和显示*** |
| CN105319225A (zh) * | 2014-08-05 | 2016-02-10 | 中国科学院高能物理研究所 | 一种实现板状样品高分辨率大视野cl成像的扫描方法 |
| CN110866889A (zh) * | 2019-11-18 | 2020-03-06 | 成都威爱新经济技术研究院有限公司 | 一种监控***中的多相机数据融合方法 |
| CN110930375A (zh) * | 2019-11-13 | 2020-03-27 | 广东国地规划科技股份有限公司 | 一种土地覆盖变化监测方法、***、装置及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106023080A (zh) * | 2016-05-19 | 2016-10-12 | 沈祥明 | 一种车载全景图像无缝拼接处理*** |
| CN109300085B (zh) * | 2017-07-25 | 2023-06-02 | 杭州海康汽车技术有限公司 | 一种图像拼接方法、装置、电子设备及存储介质 |
| JP6833746B2 (ja) * | 2018-03-07 | 2021-02-24 | キヤノン株式会社 | 撮像装置、撮像方法、プログラムおよび記録媒体 |
| CN108810426A (zh) * | 2018-08-16 | 2018-11-13 | 中国科学院西安光学精密机械研究所 | 一种红外大视场拼接方法及拼接*** |
| CN110838086B (zh) * | 2019-11-07 | 2021-07-16 | 上海大学 | 一种基于相关性模板匹配的室外图像拼接方法 |
-
2020
- 2020-08-04 CN CN202010769524.2A patent/CN111738925B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104049812A (zh) * | 2014-05-30 | 2014-09-17 | 京东方科技集团股份有限公司 | 显示信号输入装置、显示信号输入方法和显示*** |
| CN105319225A (zh) * | 2014-08-05 | 2016-02-10 | 中国科学院高能物理研究所 | 一种实现板状样品高分辨率大视野cl成像的扫描方法 |
| CN110930375A (zh) * | 2019-11-13 | 2020-03-27 | 广东国地规划科技股份有限公司 | 一种土地覆盖变化监测方法、***、装置及存储介质 |
| CN110866889A (zh) * | 2019-11-18 | 2020-03-06 | 成都威爱新经济技术研究院有限公司 | 一种监控***中的多相机数据融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111738925A (zh) | 2020-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3664443B1 (en) | Panoramic image generation method and device | |
| US10506154B2 (en) | Method and device for generating a panoramic image | |
| CN107945112B (zh) | 一种全景图像拼接方法及装置 | |
| CN109934772B (zh) | 一种图像融合方法、装置及便携式终端 | |
| US8855441B2 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
| US20200349683A1 (en) | Methods and system for efficient processing of generic geometric correction engine | |
| US9076234B2 (en) | Super-resolution method and apparatus for video image | |
| CN110868541B (zh) | 视场融合方法及装置、存储介质、终端 | |
| WO2013121897A1 (ja) | 情報処理装置および方法、画像処理装置および方法、並びにプログラム | |
| KR20200035457A (ko) | 이미지 스플라이싱 방법 및 장치, 그리고 저장 매체 | |
| US11915442B2 (en) | Method and apparatus for arbitrary output shape processing of an image | |
| CN108665415B (zh) | 基于深度学习的图像质量提升方法及其装置 | |
| CN108200360A (zh) | 一种多鱼眼镜头全景摄像机的实时视频拼接方法 | |
| WO2010151215A1 (en) | Real time video stabilization | |
| CN111738925B (zh) | 一种阵列相机中田字形全景图像拼接方法 | |
| CN112288628A (zh) | 基于光流跟踪和抽帧映射的航拍图像拼接加速方法及*** | |
| CN111242848A (zh) | 基于区域特征配准的双目相机图像缝合线拼接方法及*** | |
| CN111161130A (zh) | 一种基于三维地理信息的视频矫正方法 | |
| CN112734630B (zh) | 正射影像处理方法、装置、设备及存储介质 | |
| CN113506305A (zh) | 三维点云数据的图像增强方法、语义分割方法及装置 | |
| US20190096042A1 (en) | Method and apparatus for dynamic block partition of an image | |
| WO2024001852A1 (zh) | 图像处理方法、图像处理装置及存储介质 | |
| CN112150355B (zh) | 一种图像处理方法及相关设备 | |
| CN111476716B (zh) | 一种实时视频拼接方法和装置 | |
| CN102842111B (zh) | 放大图像的补偿方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |