CN105556935A - 用于多帧降噪的方法和终端 - Google Patents
用于多帧降噪的方法和终端 Download PDFInfo
- Publication number
- CN105556935A CN105556935A CN201480005506.XA CN201480005506A CN105556935A CN 105556935 A CN105556935 A CN 105556935A CN 201480005506 A CN201480005506 A CN 201480005506A CN 105556935 A CN105556935 A CN 105556935A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- registration
- field pictures
- translational movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 45
- 230000009467 reduction Effects 0.000 title claims description 32
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 238000012937 correction Methods 0.000 claims description 27
- 238000013519 translation Methods 0.000 claims description 20
- 230000015572 biosynthetic process Effects 0.000 claims description 16
- 238000003786 synthesis reaction Methods 0.000 claims description 16
- 230000008030 elimination Effects 0.000 claims description 15
- 238000003379 elimination reaction Methods 0.000 claims description 15
- 239000002131 composite material Substances 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000010923 batch production Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种终端,包括:M个摄像头,用于对相同的场景进行连续的K次拍摄,其中,M≥2,K≥2,且该M个摄像头在每次拍摄时各同时采集一帧图像;处理器,与该M个摄像头相连,用于根据该K次拍摄获得的图像进行配准,并对该配准后的图像进行时域和空域滤波。本发明实施例中,在终端上安装有多个摄像头,由于每次拍摄时,多个摄像头同时采集图像,因此,终端采集一定数量的图像的时间间隔比单个摄像头短,在该时间间隔内出现手抖动或者物体运动的可能性也相应降低,从而合成后的图像相对于单摄像头连拍采集多帧图像合成的图像质量比较好。
Description
用于多帧降噪的方法和终端 技术领域
本发明实施例涉及图像处理领域, 并且更具体地, 涉及一种用于多帧降 噪的方法和终端。 背景技术
受到终端体积和成本的限制, 终端摄像头的镜头和传感器的面积均比较 小, 拍摄图像的质量较差。 在夜景或低照度环境下, 由于光线较弱, 拍摄图 像的质量会更差。
为了提升终端的拍摄效果, 多帧降噪技术逐渐被应用于终端的图像处理 中。 具体地, 首先对同一场景进行多次拍摄, 得到多帧图像; 然后利用不同 图像噪点产生部位不同的特点, 将多帧图像合为一帧图像, 从而达到降噪的 目的。
多帧降噪技术需要通过单个摄像头连拍釆集多帧图像。 但是, 受到终端 最大帧率的限制, 釆集多帧图像的时间间隔通常较长。 在该时间间隔内, 手 持终端拍摄发生手抖动, 这样釆集的多帧图像合成后的图像可能不清楚。 发明内容
本发明实施例提供一种终端, 以提高多帧降噪后合成图像的质量。 第一方面, 提供一种终端, 包括: M个摄像头, 用于对相同的场景进行 连续的 K次拍摄, 其中, M > 2, K > 2, 且所述 Μ个摄像头在每次拍摄时各 同时釆集一帧图像; 处理器, 与所述 Μ个摄像头相连, 用于根据所述 Κ次 拍摄获得的图像进行配准, 并对所述配准后的图像进行时域和空域滤波。
结合第一方面, 在第一方面的一种实现方式中, 所述 Μ个摄像头位于 同一平面,在所述根据所述 Κ次拍摄获得的图像进行配准之前, 所述处理器 还用于: 获取所述 Κ次拍摄中每次拍摄到的 Μ帧图像之间的平移量; 根据 所述平移量, 配准所述 Μ帧图像; 根据配准后的 Μ帧图像生成一帧合成图 像; 所述根据所述 Κ次拍摄获得的图像进行配准, 并对所述配准后的图像进 行时域和空域滤波, 包括: 对所述 Κ次拍摄对应的 Κ帧合成图像进行所述 配准, 以确定 Κ帧配准图像; 对所述 Κ帧配准图像进行所述时域和空域滤
波。
结合第一方面或其上述实现方式的任一种,在第一方面的另一种实现方 式中, 所述 M个摄像头包括第一摄像头和第二摄像头, 所述每次拍摄的 M 帧图像包括分别与所述第一摄像头和所述第二摄像头对应的第一图像和第 二图像, 所述处理器, 还用于获取所述 K次拍摄中每次拍摄的 M帧图像之 间的平移量, 包括: 所述处理器, 还用于: 获取所述第一图像和所述第二图 像之间的平移量; 所述处理器, 还用于根据所述平移量, 配准所述 M帧图 像, 包括: 所述处理器, 还用于: 选取所述第一图像作为参考图像; 根据所 述平移量, 对所述第二图像进行平移操作, 确定所述第一图像和所述第二图 像的公共图像区域。
结合第一方面或其上述实现方式的任一种,在第一方面的另一种实现方 式中, 所述处理器, 还用于获取所述第一图像和所述第二之间的平移量, 包 括: 所述处理器, 还用于: 基于 L= ( f x ( t /d ) ) /u获得所述平移量; 其中, L为所述第一图像和所述第二图像之间的平移量, f 为所述第一摄像头或所 述第二摄像头的焦距, t为所述第一摄像头的镜头和所述第二摄像头的镜头 的光心距离, d为所述第一图像的像素尺寸, 其中, 所述第一图像的像素尺 寸和所述第二图像的像素尺寸相同, u为景深。
结合第一方面或其上述实现方式的任一种,在第一方面的另一种实现方 式中, 所述处理器, 还用于根据配准后的 M帧图像生成一帧合成图像, 包 括: 所述处理器, 还用于: 对所述配准后的 M帧图像进行视差校正, 以消 除所述配准后的 M帧图像在对应像素点由所述 M个摄像头的视差引起的差 异; 根据视差校正后的 M帧图像在对应像素点的像素值生成所述合成图像 在所述对应像素点的像素值。
结合第一方面或其上述实现方式的任一种,在第一方面的另一种实现方 式中, 所述处理器, 还用于对所述配准后的 M帧图像进行视差校正, 包括: 所述处理器, 还用于: 当所述配准后的 M 帧图像中除基准图像之外的第 j 帧图像与所述基准图像在对应像素点的像素值的差异大于预设阔值时, 用所 述基准图像在所述对应像素点的像素值代替所述第 j帧图像在所述对应像素 点的像素值; 否则, 所述第 j帧图像在所述对应像素点的像素值保持不变, 其中, 所述基准图像为所述配准后的 M帧图像中的一帧图像, j取值从 1至 M-l。
结合第一方面或其上述实现方式的任一种,在第一方面的另一种实现方 式中, 在所述对所述配准后的图像进行时域和空域滤波之前, 所述处理器还 用于: 对所述配准后的图像进行鬼影消除。
结合第一方面或其上述实现方式的任一种,在第一方面的另一种实现方 式中, K=3。
第二方面, 提供一种用于多帧降噪的方法, 包括: 釆用终端上的 Μ个 摄像头对相同的场景进行连续的 Κ次拍摄, 其中, Μ > 2, Κ > 2, 且所述 Μ 个摄像头在每次拍摄时各同时釆集一帧图像;根据所述 Κ次拍摄获得的图像 进行配准; 对所述配准后的图像进行时域和空域滤波。
结合第二方面, 在第二方面的一种实现方式中, 所述 Μ个摄像头位于 同一平面,在所述根据所述 Κ次拍摄获得的图像进行配准之前, 所述方法还 包括: 获取所述 Κ次拍摄中每次拍摄到的 Μ帧图像之间的平移量; 根据所 述平移量, 配准所述 Μ帧图像;根据配准后的 Μ帧图像生成一帧合成图像; 所述根据所述 Κ次拍摄获得的图像进行配准, 包括: 对所述 Κ次拍摄对应 的 Κ帧合成图像进行所述配准, 以确定 Κ帧配准图像; 所述对所述配准后 的图像进行时域和空域滤波, 包括: 对所述 Κ帧配准图像进行所述时域和空 i或滤波。
结合第二方面或其上述实现方式的任一种,在第二方面的另一种实现方 式中, 所述 M个摄像头包括第一摄像头和第二摄像头, 所述每次拍摄的 M 帧图像包括分别与所述第一摄像头和所述第二摄像头对应的第一图像和第 二图像, 所述获取所述 K次拍摄中每次拍摄的 M帧图像之间的平移量, 包 括:获取所述第一图像和所述第二图像之间的平移量;所述根据所述平移量, 配准所述 M帧图像, 包括: 选取所述第一图像作为参考图像; 根据所述平 移量, 对所述第二图像进行平移操作, 确定所述第一图像和所述第二图像的 公共图像区域。
结合第二方面或其上述实现方式的任一种,在第二方面的另一种实现方 式中, 所述获取所述第一图像和所述第二之间的平移量, 包括: 基于 L= ( f X ( t /d ) ) /u获得所述平移量; 其中, L为所述第一图像和所述第二图像之 间的平移量, f为所述第一摄像头或所述第二摄像头的焦距, t为所述第一摄 像头的镜头和所述第二摄像头的镜头的光心距离, d为所述第一图像的像素 尺寸, 其中, 所述第一图像的像素尺寸和所述第二图像的像素尺寸相同, u
为景深。
结合第二方面或其上述实现方式的任一种,在第二方面的另一种实现方 式中, 所述根据配准后的 M帧图像生成一帧合成图像, 包括: 对所述配准 后的 M帧图像进行视差校正, 以消除所述配准后的 M帧图像在对应像素点 由所述 M个摄像头的视差引起的差异; 根据视差校正后的 M帧图像在对应 像素点的像素值生成所述合成图像在所述对应像素点的像素值。
结合第二方面或其上述实现方式的任一种,在第二方面的另一种实现方 式中, 所述对所述配准后的 M帧图像进行视差校正, 包括: 当所述配准后 的 M帧图像中除基准图像之外的第 j帧图像与所述基准图像在对应像素点的 像素值的差异大于预设阔值时, 用所述基准图像在所述对应像素点的像素值 代替所述第 j帧图像在所述对应像素点的像素值; 否则, 所述第 j帧图像在 所述对应像素点的像素值保持不变, 其中, 所述基准图像为所述配准后的 M 帧图像中的一帧图像, j取值从 1至 M-l。
结合第二方面或其上述实现方式的任一种,在第二方面的另一种实现方 式中, 在所述对所述配准后的图像进行时域和空域滤波之前, 所述方法还包 括: 对所述配准后的图像进行鬼影消除。
结合第二方面或其上述实现方式的任一种,在第二方面的另一种实现方 式中, K=3。
第三方面, 提供一种终端, 包括: Μ个摄像头, 用于对相同的场景进行 连续的 Κ次拍摄, 其中, Μ > 2, Κ > 2, 且所述 Μ个摄像头在每次拍摄时各 同时釆集一帧图像; 第一配准模块, 用于根据所述 Μ个摄像头经过所述 Κ 次拍摄获得的图像进行配准; 时域和空域滤波模块, 对所述第一配准模块配 准后的图像进行时域和空域滤波。
结合第三方面, 在第三方面的一种实现方式中, 所述 Μ个摄像头位于 同一平面, 所述终端还包括: 第二配准模块, 用于获取所述 Κ次拍摄中每次 拍摄到的 Μ帧图像之间的平移量; 根据所述平移量, 配准所述 Μ帧图像; 合成模块, 用于根据所述第二配准模块配准后的 Μ帧图像生成一帧合成图 像; 所述第一配准模块具体用于对所述 Κ次拍摄对应的 Κ帧合成图像进行 所述配准, 以确定 Κ帧配准图像; 所述时域和空域滤波模块具体用于对所述 Κ帧配准图像进行所述时域和空域滤波。
结合第三方面或其上述实现方式的任一种,在第三方面的另一种实现方
式中, 所述 M个摄像头包括第一摄像头和第二摄像头, 所述每次拍摄的 M 帧图像包括分别与所述第一摄像头和所述第二摄像头对应的第一图像和第 二图像, 所述第二配准模块具体用于获取所述第一图像和所述第二图像之间 的平移量; 选取所述第一图像作为参考图像; 根据所述平移量, 对所述第二 图像进行平移操作, 确定所述第一图像和所述第二图像的公共图像区域。
结合第三方面或其上述实现方式的任一种,在第三方面的另一种实现方 式中, 所述第二配准模块具体用于基于 L= ( f x ( t /d ) ) /u获得所述平移量; 其中, L为所述第一图像和所述第二图像之间的平移量, f 为所述第一摄像 头或所述第二摄像头的焦距, t为所述第一摄像头的镜头和所述第二摄像头 的镜头的光心距离, d为所述第一图像的像素尺寸, 其中, 所述第一图像的 像素尺寸和所述第二图像的像素尺寸相同, u为景深。
结合第三方面或其上述实现方式的任一种,在第三方面的另一种实现方 式中, 所述合成模块具体用于对所述配准后的 M帧图像进行视差校正, 以 消除所述配准后的 M帧图像在对应像素点由所述 M个摄像头的视差引起的 差异; 根据视差校正后的 M帧图像在对应像素点的像素值生成所述合成图 像在所述对应像素点的像素值。
结合第三方面或其上述实现方式的任一种,在第三方面的另一种实现方 式中, 所述合成模块具体用于当所述配准后的 M帧图像中除基准图像之外 的第 j 帧图像与所述基准图像在对应像素点的像素值的差异大于预设阔值 时, 用所述基准图像在所述对应像素点的像素值代替所述第 j帧图像在所述 对应像素点的像素值; 否则, 所述第 j帧图像在所述对应像素点的像素值保 持不变, 其中, 所述基准图像为所述配准后的 M帧图像中的一帧图像, j取 值从 1至 M-l。
结合第三方面或其上述实现方式的任一种,在第三方面的另一种实现方 式中, 所述终端还包括: 鬼影消除模块, 用于对所述配准后的图像进行鬼影 消除。
结合第三方面或其上述实现方式的任一种,在第三方面的另一种实现方 式中, K=3。
本发明实施例中, 在终端上安装有多个摄像头, 由于每次拍摄时, 多个 摄像头同时釆集图像, 因此, 终端釆集一定数量的图像的时间间隔比单个摄 像头短, 在该时间间隔内出现手抖动或者物体运动的可能性也相应降低, 这
样合成后的图像质量比较好。 附图说明
为了更清楚地说明本发明实施例的技术方案, 下面将对本发明实施例中 所需要使用的附图作简单地介绍, 显而易见地, 下面所描述的附图仅仅是本 发明的一些实施例, 对于本领域普通技术人员来讲, 在不付出创造性劳动的 前提下, 还可以根据这些附图获得其他的附图。
图 1是本发明一个实施例的终端的示意性框图。
图 2是本发明一个实施例的多帧降噪方法的示意性流程图。
图 3是本发明一个实施例的多帧降噪方法的流程图。
图 4是本发明一个实施例的用于多帧降噪的方法的示意性流程图。
图 5是本发明一个实施例的终端的示意性框图。
图 6是原始图像与釆用本发明实施例的多帧降噪方法得到的合成图像的 对比图。 具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行 清楚地描述, 显然, 所描述的实施例是本发明的一部分实施例, 而不是全部 实施例。 基于本发明中的实施例, 本领域普通技术人员在没有做出创造性劳 动的前提下所获得的所有其他实施例, 都应属于本发明保护的范围。
图 1是本发明一个实施例的终端的示意性框图。 图 1的终端 10包括:
M个摄像头 11 ,用于对相同的场景进行连续的 K次拍摄,其中, M > 2, K > 2 , 且 Μ个摄像头在每次拍摄时各同时釆集一帧图像;
处理器 12, 与 Μ个摄像头 11相连, 用于根据 Κ次拍摄获得的图像进 行配准, 并对配准后的图像进行时域和空域滤波。
本发明实施例中, 在终端上安装有多个摄像头, 由于每次拍摄时, 多个 摄像头同时釆集图像, 因此, 终端釆集一定数量的图像的时间间隔比单个摄 像头短, 在该时间间隔内出现手抖动或者物体运动的可能性也相应降低, 从 而合成后的图像相对于单摄像头连拍釆集多帧图像合成的图像质量比较好。 另外, 这种方式一定程度上, 也降低了后续多帧降噪处理时鬼影现象出现的 概率。 进一步地, 即便连拍过程中发生手抖或场景内物体移动, 在每次拍摄
时, 由于多个摄像头釆集图像的同步性, 手抖或物体移动等现象对多个摄像 头的影响是一致的,也就从根源上保证了连拍图像中同一时刻拍摄的图像不 存在鬼影现象 , 一定程度上降低了最终得到的图像的鬼影现象的严重程度。
可选地, 作为一个实施例, 在上述对配准后的图像进行时域和空域滤波 之前, 处理器 12还可用于: 对配准后的图像进行鬼影消除。 当拍摄的场景 为运动的场景时, 可以对配准后的图像进行鬼影消除, 例如, 可以在图像之 间进行运动物体检测与移除, 具体可以参考现有的鬼影消除算法; 当拍摄静 止场景时, 可以不进行鬼影消除处理。 对配准后的图像进行鬼影消除, 能够 有效避免拍摄期间运动物体闯入拍摄场景造成的鬼影现象,提高拍摄图像的 质量。
应理解, 本发明实施例对 M和 K的数值不作具体限定, 例如, M可以 是 2、 3、 6等, K可以是 2、 3、 4等。 具体地, M的选取可考虑摄像头数目 与终端成本的关系, 摄像头数目越多, 拍摄多帧图像的时间间隔越短, 相应 终端成本越高。 实际中, M可以设置为 2。 K的选取可考虑连拍图像数目和 拍摄这些图像所需时间间隔的关系。 实际中, K可以设置为 3。
上述 M个摄像头 11在每次拍摄时各同时釆集一帧图像具体可指: 每次 拍摄时, M个摄像头 11中每个摄像头釆集一帧图像, 共釆集 M帧图像, 且 该 M帧图像釆集的时间相同。
处理器 12可以是图像信号处理(Image Signal Processing, ISP )装置, 也可以是中央处理单元( Central Processing Unit, CPU ), 还可以既包括 ISP 的装置, 也包括 CPU, 即上述处理器的功能由 ISP装置和 CPU共同完成。
应理解, 本发明实施例对处理器 12的处理过程不作具体限定。 可选地, 作为一种实现方式,可以先釆用相机抖动模型对 K次拍摄的图像进行运动估 计和配准。 或者, 可以基于 SURF特征点匹配与 Homography矩阵进行运动 估计和配准。 然后, 可以对配准后图像先进行时域滤波, 得到一帧时域降噪 后的图像, 再对该图像进行空域滤波, 得到最终处理结果并呈现给用户; 或 者对配准后的图像分别进行空域滤波,再将空域滤波后的各个图像通过时域 滤波的方式合成, 得到最终的处理结果。
图像的时域和空域滤波降噪可参考现有技术, 具体地, 图像的时域滤波 可指利用多帧图像在时间上的关联性, 釆用多帧图像的对应像素点进行滤 波, 例如, 连拍的多帧图像在对应像素点的像素取均值或中值, 或者釆用时
域的无限脉冲响应 (Infinite Impulse Response, IIR )滤波器进行滤波; 空域 滤波可指利用某帧图像中像素点在空间上的关联性对该图像的像素点进行 滤波, 例如, 先将空域模板(或称空域滤波器)在图中漫游, 并将模板中心 与图中某个像素位置重合; 2、 将模板上系数与模板下对应的像素相乘; 3、 将所有乘积相加; 4、 将相加的和作为模板的输出响应付给图中对应模板中 心位置的像素。 其中, 空域滤波器可釆用业界经典的双边滤波器 (Bilateral Filter )或者非局部均值滤波器 ( Non-local Means Filter )等滤波器。
可选地, 作为一种实现方式, M个摄像头位于同一平面, 处理器 12的 具体处理过程可以如下:
210、 获取 K次拍摄中每次拍摄到的 M帧图像之间的平移量。
220、 根据该平移量, 配准上述 M帧图像。
以 M个摄像头包括两个摄像头: 第一摄像头和第二摄像头为例进行说 明, 每次拍摄的 M帧图像包括分别与第一摄像头和第二摄像头对应的第一 图像和第二图像,步骤 210可包括:获取第一图像和第二图像之间的平移量; 步骤 220可包括: 选取第一图像作为参考图像; 根据该平移量, 对第二图像 进行平移操作, 确定第一图像和第二图像的公共图像区域。
由于两个摄像头位于同一平面, 所以两个摄像头的光轴平行, 并且安装 的相对位置固定且已知。 因此, 第一图像和第二图像的图像平移量可根据已 知的相对位置计算, 即可以在拍摄图像之前预先计算图像平移量。 此处, 可 以通过下面的方式获得。
第一种:
通过 L= ( f x ( t /d ) ) /u获得平移量;
其中, L为第一图像和第二图像之间的平移量, f 为第一摄像头或第二 摄像头的焦距, t为两个摄像头的镜头的光心距离, d为第一图像的像素尺寸 , 其中, 第一图像的像素尺寸和第二图像的像素尺寸相同, u为景深。
其中, 第一摄像头的焦距可以与第二摄像头的焦距相同, 或者第一摄像 头的焦距也可以与第二摄像头的焦距不相同。
第二种:
由于 t、 f、 d的实际值一般与理论值之间会存在误差, 还可以釆用下面 的标定法计算第一图像和第二图像的平移量, 具体如下:
在釆集第一图像和第二图像时, 第一摄像头和第二摄像头可以同时釆集
棋盘格, 那么第一图像和第二图像中显示的内容就是棋盘格, 然后再根据第 一图像和第二图像中的棋盘格的差异测量出平移量。 其次, 将测量出的平移 量写入摄像模组配置表 (摄像模组配置表可以存储在 ROM存储器 ),拍照时 基于该配置表读取第一图像和第二图像的图像平移量。
这种方法的优势在于, 由于不同的双摄像头模组之间可能存在批量生产 的不一致性, 即与理论设计之间的误差, 因此, 在出厂前对每组双镜头模组 进行标定, 能够提高图像平移的精度。
230、 根据配准后的 M帧图像生成一帧合成图像。
可选地, 作为一种实现方式, 可以对上述配准后的 M帧图像在对应像 素点的像素值取平均; 将对应像素点取平均后获得的图像作为上述合成图 像。 其中, 对配准后的 M帧图像在对应像素点的像素值取平均可以降低随 机噪声。
以 M个摄像头包括两个摄像头: 第一摄像头和第二摄像头, 每次拍摄 的 M帧图像包括分别与第一摄像头和第二摄像头对应的第一图像和第二图 像为例进行说明, 可以釆用如下公式获得每次拍摄对应的合成图像在每点的 像素值:
其中, I x, y)和 I2(x, y)分别为每次拍摄釆集到的第一图像和第二图像在 (X, y)点的像素值, I12(x, y)为该此次拍摄对应的合成图像在 (X, y)点的像素值。
需要说明的是, 每次拍摄到的 M帧图像均可按照步骤 210至步骤 230 进行图像合成, 共得到 K帧合成图像, 且各次拍摄到的 M帧图像进行图像 合成的过程可以并行进行, 也可以先后进行, 本发明实施例对此不作具体限 定。
240、对 K次拍摄对应的 K帧合成图像进行配准,以确定 K帧配准图像。 可选地,作为一种实现方式,可以先釆用相机抖动模型对 K帧合成图像 进行运动估计, 以配准该 K帧合成图像。 或者, 可以基于 SURF特征点匹配 与 Homography矩阵进行运动估计和配准。
250、 对 K帧配准图像进行时域和空域滤波。
K帧配准图像的时域和空域滤波降噪可参考现有技术, 例如,先对 K帧 配准图像在对应像素点的像素取均值或中值, 或者釆用时域的 IIR滤波器进 行滤波, 得到一帧时域降噪后的图像; 然后对该时域降噪后的图像釆用业界
经典的双边滤波器或者非局部均值滤波器等滤波器进行滤波,得到最终的处 理结果。
在上述技术方案中, 由于位于同一平面的 M个摄像头的相对位置已知, 再加上 M个摄像头每次拍摄时釆集图像的同步性, 因此, M个摄像头每次 拍摄到的 M帧图像之间的运动矢量为平移, 通过获取每次拍摄到的 M帧图 像的平移量, 利用该平移量进行配准, 与传统多帧降噪算法中基于复杂运动 估计模型的配准算法相比, 能够加快多帧降噪算法的速度, 并提高多帧降噪 算法的准确度。
可选地, 作为一种实现方式, 步骤 230可包括: 对配准后的 M帧图像 进行视差校正, 以消除配准后的 M帧图像在对应像素点由 M个摄像头的视 差引起的差异; 根据视差校正后的 M帧图像在对应像素点的像素值生成合 成图像在对应像素点的像素值。 当场景中仅存在近景或仅存在远景时, 可以 不执行该步骤。当场景同时存在近景和远景时,由于不同摄像头的视野不同, 不同摄像头可能会存在视差, 消除该视差能够进一步提高图像的质量。
具体地, 上述配准后的 M帧图像进行视差校正可包括: 当配准后的 M 帧图像中除基准图像之外的第 j帧图像与基准图像在对应像素点的像素值的 差异大于预设阔值时, 用基准图像在对应像素点的像素值代替第 j帧图像在 对应像素点的像素值; 否则, 第 j帧图像在对应像素点的像素值保持不变, 其中, 基准图像为配准后的 M帧图像中的一帧图像, j取值从 1至 M-l。 应 理解, 上述基准图像可以选取配准后的 M帧图像中的任一帧图像, 例如, 可以选取配准后的 M帧图像中的第 1帧图像作为上述基准图像。
以 M个摄像头包括第一摄像头和第二摄像头, 每次拍摄的 M帧图像包 括分别与第一摄像头和第二摄像头对应的第一图像和第二图像为例进行说 明, Ii y)和 I2(x, y)分别为配准后的第一图像和第二图像在(X , y )点的像 素值 (X, y)点的像素值可以由下式确定:
其中, T为预设阔值, 该阔值可以根据经验选取, 也可以釆用自适应阔 值, 本发明实施例对此不作具体限定。
下面结合具体例子, 更加详细地描述本发明实施例的多帧降噪方法。 应 注意, 图 3的例子仅仅是为了帮助本领域技术人员理解本发明实施例, 而非
要将本发明实施例限于所例示的具体数值或具体场景。本领域技术人员根据 所给出的图 3的例子, 显然可以进行各种等价的修改或变化, 这样的修改或 变化也落入本发明实施例的范围内。
图 3是本发明一个实施例的多帧降噪方法的示意性流程图。在图 3的实 施例中, 终端 10在同一平面安装了两个摄像头(摄像头 11a和摄像头 lib ), 共进行连续的 3次拍摄, 得到 6帧图像。
首先, 第 1次拍摄时摄像头 11a和摄像头 lib分别釆集第 1帧图像和第 2帧图像, 第 2次拍摄时摄像头 11a和摄像头 lib分别釆集第 3帧图像和第 4帧图像, 第 3次拍摄时摄像头 11a和摄像头 lib分别釆集第 5帧图像和第 6帧图像。 需要说明的是, 这里的第 1帧图像、 第 3帧图像和第 5帧图像对 应于上述每次拍摄釆集到的第一图像; 第 2帧图像、 第 4帧图像和第 6帧图 像对应于上述每次拍摄釆集到的第二图像。
接着,将 3次拍摄到的图像分成 3组:第 1帧图像和第 2帧图像为 1组, 第 3帧图像和第 4帧图像为 1组, 第 5帧图像和第 6帧图像为 1组。 然后对 3组图像分别进行图 3所示的配准 1、 视差校正和均值处理操作, 需要说明 的是, 以上 3组图像可以并行处理, 也可以先后处理, 本发明实施例对此不 作具体限定。 下面以第 1组图像的处理过程为例进行说明。
首先, 获取第 1帧图像和第 2帧图像的平移量。 由于两个摄像头位于同 一平面, 所以两个摄像头的光轴平行, 并且安装的相对位置固定且已知。 因 此, 第 1帧图像和第 2帧图像的图像平移量可根据已知的相对位置计算, 即 可以在拍摄图像之前预先计算图像平移量。此处,可以通过下面的方式获得。
第一种:
通过 L= ( f x ( t /d ) ) /u获得平移量;
其中, L为第 1帧图像和第 2帧图像之间的平移量, f为第一摄像头或 第二摄像头的焦距, t为摄像头 11a和摄像头 lib的镜头的光心距离, d为第 1帧图像的像素尺寸, 其中, 第 1帧图像的像素尺寸和第 2帧图像的像素尺 寸相同, u为景深。
第二种:
由于 t、 f、 d的实际值一般与理论值之间会存在误差, 还可以釆用下面 的标定法计算第 1帧图像和第 2帧图像的平移量, 具体如下:
在釆集第 1帧图像和第 2帧图像时, 摄像头 11a和摄像头 lib可以同时
釆集棋盘格, 那么第 1帧图像和第 2帧图像中显示的内容就是棋盘格, 然后 再根据第 1帧图像和第 2帧图像中的棋盘格的差异测量出平移量。 其次, 将 测量出的平移量写入摄像模组配置表 (摄像模组配置表可以存储在 ROM存 储器 ), 拍照时基于该配置表读取第 1帧图像和第 2帧图像的图像平移量。
这种方法的优势在于, 由于不同的双摄像头模组之间可能存在批量生产 的不一致性, 即与理论设计之间的误差, 因此, 在出厂前对每组双镜头模组 进行标定, 从而提高图像平移的精度。
其次, 选取第 1帧图像为参考图像, 按照计算出的平移量平移第 2帧图 像, 裁减掉第 1、 2帧图像左右两侧无效的像素区域(即第 1、 2帧图像配准 后未重合的区域), 即可得到配准后的 2帧图像。
接着, 当场景中既存在近景, 又存在远景时, 可以对配准后的 2帧图像 进行视差校正, 以补偿摄像头 11a和摄像头 l ib安装位置不同造成的视差。 具体地, 第 1帧图像作为基准图像, 第 2帧图像在 (x, y)点的像素值可以由下 式确
其中, T为预设阔值, 该阔值可以根据经验选取, 也可以釆用自适应阔 值, 本发明实施例对此不作具体限定。
然后,对配准后的 2帧图像(或视差校正后的 2帧图像)进行均值处理, 以降低随机噪声, 从而获得第 1次拍摄对应的合成图像。 具体地, 可以釆用 如下公式获得第 1次拍摄对应的合成图像在每点的像素值:
其中, Wx, y)和 I2(x, y)分别为第 1帧图像和第 2帧图像在 (x, y)点的像素 值, I12(x, y)为该第 1次拍摄对应的合成图像在 (X, y)点的像素值。 同理可得 第 2、 3次拍摄对应的合成图像。
接下来, 对 3帧合成图像进行配准 2、 鬼影消除、 时域和空域滤波等处 理, 得到最终的结果。 例如, 先釆用相机抖动模型对 3帧合成图像运动补偿 和配准。 或者, 可以基于 SURF特征点匹配与 Homography矩阵进行运动补 偿和配准。 然后, 当拍摄运动场景时, 可以对配准后的 3帧图像进行鬼影消 除, 例如, 可以在图像之间进行运动物体检测与移除, 具体可以参考现有的 鬼影消除算法; 当拍摄静止场景时, 可以不进行鬼影消除。 接着, 对鬼影消
除后的 3帧图像进行时域滤波, 例如, 可以将 3帧图像每个像素点的像素值 取平均, 或者釆用时域的 IIR滤波器进行滤波。 空域滤波可以釆用业界经典 的双边滤波器或者非局部均值滤波器等滤波方式。 图 6是釆集到的原始图像 (位于图 6的左边)与釆用图 3方案降噪得到的图像(位于图 6的右边)的 效果对比图, 从图 6可以看出, 釆用本发明实施例得到的合成图像很大程度 上降低了原始图像存在的噪声。
下面结合图 4, 详细描述根据本发明实施例的用于多帧降噪的方法, 需 要说明的是, 图 4中用于多帧降噪的方法可以由图 1至图 3中描述的终端执 行, 该方法的具体流程与上述终端的处理器的处理流程相同或相应, 为避免 重复, 适当省略重复的描述。
图 4是本发明一个实施例的用于多帧降噪的方法的示意性流程图。 图 4 的方法包括:
410、 釆用终端上的 M个摄像头对相同的场景进行连续的 K次拍摄, 其 中, M > 2, K > 2, 且 Μ个摄像头在每次拍摄时各同时釆集一帧图像;
420、 根据 Κ次拍摄获得的图像进行配准;
430、 对配准后的图像进行时域和空域滤波。
本发明实施例中, 在终端上安装有多个摄像头, 由于每次拍摄时, 多个 摄像头同时釆集图像, 因此, 终端釆集一定数量的图像的时间间隔比单个摄 像头短, 在该时间间隔内出现手抖动或者物体运动的可能性也相应降低, 从 而合成后的图像相对于单摄像头连拍釆集多帧图像合成的图像质量比较好。 另外, 这种方式一定程度上, 也降低了后续多帧降噪处理时鬼影现象出现的 概率。 进一步地, 即便连拍过程中发生手抖或场景内物体移动, 在每次拍摄 时, 由于多个摄像头釆集图像的同步性, 手抖或物体移动等现象对多个摄像 头的影响是一致的,也就从根源上保证了连拍图像中同一时刻拍摄的图像不 存在鬼影现象, 一定程度上降低了最终得到的图像的鬼影现象的严重程度。
可选地, 作为一个实施例, Μ个摄像头位于同一平面, 在才艮据 Κ次拍 摄获得的图像进行配准之前, 图 4的方法还可包括: 获取 Κ次拍摄中每次拍 摄到的 Μ帧图像之间的平移量; 根据平移量, 配准 Μ帧图像; 根据配准后 的 Μ帧图像生成一帧合成图像; 根据 Κ次拍摄获得的图像进行配准, 包括: 对 Κ次拍摄对应的 Κ帧合成图像进行配准, 以确定 Κ帧配准图像; 对配准 后的图像进行时域和空域滤波,包括:对 Κ帧配准图像进行时域和空域滤波。
可选地, 作为一个实施例, M个摄像头包括第一摄像头和第二摄像头, 每次拍摄的 M帧图像包括分别于第一摄像头和第二摄像头对应的第一图像 和第二图像, 获取 K次拍摄中每次拍摄的 M帧图像之间的平移量, 包括: 获取第一图像和第二图像之间的平移量; 根据平移量, 配准 M帧图像, 包 括: 选取第一图像作为参考图像; 根据平移量, 对第二图像进行平移操作, 确定第一图像和第二图像的公共图像区域。
在上述技术方案中, 由于位于同一平面的 M个摄像头的相对位置已知, 再加上 M个摄像头每次拍摄时釆集图像的同步性, 因此, M个摄像头每次 拍摄到的 M帧图像之间的运动矢量为平移, 通过获取每次拍摄到的 M帧图 像的平移量, 利用该平移量进行配准, 与传统多帧降噪算法中基于复杂运动 估计模型的配准算法相比, 能够加快多帧降噪算法的速度, 并提高多帧降噪 算法的准确度。
可选地, 作为一个实施例, 获取第一图像和第二之间的平移量, 包括: 基于 L= ( f x ( t /d ) ) /u获得平移量; 其中, L为第一图像和第二图像之间 的平移量, f为第一摄像头或第二摄像头的焦距, t为第一摄像头的镜头和第 二摄像头的镜头的光心距离, d为第一图像的像素尺寸, 其中, 第一图像的 像素尺寸和第二图像的像素尺寸相同, u为景深。
可选地, 作为一个实施例, 根据配准后的 M帧图像生成一帧合成图像, 包括: 对配准后的 M帧图像进行视差校正, 以消除配准后的 M帧图像在对 应像素点由 M个摄像头的视差引起的差异; 根据视差校正后的 M帧图像在 对应像素点的像素值生成合成图像在对应像素点的像素值。
可选地, 作为一个实施例, 对配准后的 M帧图像进行视差校正, 包括: 当配准后的 M帧图像中除基准图像之外的第 j帧图像与基准图像在对应像素 点的像素值的差异大于预设阔值时,用基准图像在对应像素点的像素值代替 第 j帧图像在对应像素点的像素值; 否则, 第 j帧图像在对应像素点的像素 值保持不变, 其中, 基准图像为配准后的 M帧图像中的一帧图像, j取值从
1至 M-l。
可选地,作为一个实施例,在对配准后的图像进行时域和空域滤波之前, 方法还包括: 对配准后的图像进行鬼影消除。
可选地, 作为一个实施例, 上述 K=3。
下面结合图 5, 详细描述根据本发明实施例的终端, 该终端能够实现上
述用于多帧降噪的方法的各个步骤, 为避免重复, 省略重复的描述。
图 5是本发明一个实施例的终端的示意性框图。 图 5的终端 500包括: M个摄像头 510 , 第一配准模块 520和时域和空域滤波模块 530。
M个摄像头 510 , 用于对相同的场景进行连续的 K次拍摄, 其中, M > 2 , K > 2 , 且 Μ个摄像头在每次拍摄时各同时釆集一帧图像;
第一配准模块 520 , 用于根据 Μ个摄像头 510经过 Κ次拍摄获得的图 像进行配准;
时域和空域滤波模块 530 , 对第一配准模块 520配准后的图像进行时域 和空域滤波。
本发明实施例中, 在终端上安装有多个摄像头, 由于每次拍摄时, 多个 摄像头同时釆集图像, 因此, 终端釆集一定数量的图像的时间间隔比单个摄 像头短, 在该时间间隔内出现手抖动或者物体运动的可能性也相应降低, 从 而合成后的图像相对于单摄像头连拍釆集多帧图像合成的图像质量比较好。 另外, 这种方式一定程度上, 也降低了后续多帧降噪处理时鬼影现象出现的 概率。 进一步地, 即便连拍过程中发生手抖或场景内物体移动, 在每次拍摄 时, 由于多个摄像头釆集图像的同步性, 手抖或物体移动等现象对多个摄像 头的影响是一致的,也就从根源上保证了连拍图像中同一时刻拍摄的图像不 存在鬼影现象 , 一定程度上降低了最终得到的图像的鬼影现象的严重程度。
可选地, 作为一个实施例, Μ个摄像头位于同一平面, 终端还包括: 第 二配准模块, 用于获取 Κ次拍摄中每次拍摄到的 Μ帧图像之间的平移量; 根据平移量, 配准 Μ帧图像; 合成模块, 用于根据第二配准模块配准后的 Μ帧图像生成一帧合成图像; 第一配准模块具体用于对 Κ次拍摄对应的 Κ 帧合成图像进行配准, 以确定 Κ帧配准图像; 时域和空域滤波模块具体用于 对 Κ帧配准图像进行时域和空域滤波。
在上述技术方案中, 由于位于同一平面的 Μ个摄像头的相对位置已知, 再加上 Μ个摄像头每次拍摄时釆集图像的同步性, 因此, Μ个摄像头每次 拍摄到的 Μ帧图像之间的运动矢量为平移, 通过获取每次拍摄到的 Μ帧图 像的平移量, 利用该平移量进行配准, 与传统多帧降噪算法中基于复杂运动 估计模型的配准算法相比, 能够加快多帧降噪算法的速度, 并提高多帧降噪 算法的准确度。
可选地, 作为一个实施例, Μ个摄像头包括第一摄像头和第二摄像头,
每次拍摄的 M帧图像包括分别与第一摄像头和第二摄像头对应的第一图像 和第二图像, 第二配准模块具体用于获取第一图像和第二图像之间的平移 量; 选取第一图像作为参考图像; 根据平移量, 对第二图像进行平移操作, 确定第一图像和第二图像的公共图像区域。
可选地, 作为一个实施例, 第二配准模块具体用于基于 L= ( f x ( t /d ) )
/u获得平移量; 其中, L为第一图像和第二图像之间的平移量, f 为第一摄 像头或第二摄像头的焦距, t 为第一摄像头的镜头和第二摄像头的镜头的光 心距离, d为第一图像的像素尺寸, 其中, 第一图像的像素尺寸和第二图像 的像素尺寸相同, u为景深。
可选地, 作为一个实施例, 合成模块具体用于对配准后的 M帧图像进 行视差校正, 以消除配准后的 M帧图像在对应像素点由 M个摄像头的视差 引起的差异; 根据视差校正后的 M帧图像在对应像素点的像素值生成合成 图像在对应像素点的像素值。
可选地, 作为一个实施例, 合成模块具体用于当配准后的 M帧图像中 除基准图像之外的第 j帧图像与基准图像在对应像素点的像素值的差异大于 预设阔值时, 用基准图像在对应像素点的像素值代替第 j帧图像在对应像素 点的像素值; 否则, 第 j帧图像在对应像素点的像素值保持不变, 其中, 基 准图像为配准后的 M帧图像中的一帧图像, j取值从 1至 M-l。
可选地, 作为一个实施例, 终端还包括: 鬼影消除模块, 用于对配准后 的图像进行鬼影消除。
可选地, 作为一个实施例, 上述 K=3。
可以理解的是, 上述实施例中的时域滤波可以是利用 Μ个摄像头每次 拍摄时, 利用时间上的相关性进行降噪。 空域滤波可以是利用相邻像素的相 关性进行降噪。
本领域普通技术人员可以意识到, 结合本文中所公开的实施例描述的各 示例的单元及算法步骤, 能够以电子硬件、 或者计算机软件和电子硬件的结 合来实现。 这些功能究竟以硬件还是软件方式来执行, 取决于技术方案的特 定应用和设计约束条件。本领域的普通技术人员可以对每个特定的应用来使 用不同方法来实现所描述的功能, 但是这种实现不应认为超出本发明的范 围。
所属领域的技术人员可以清楚地了解到, 为描述的方便和简洁, 上述描
述的***、 装置和单元的具体工作过程, 可以参考前述方法实施例中的对应 过程, 在此不再赘述。
在本申请所提供的几个实施例中, 应该理解到, 所揭露的装置和方法, 可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的, 例如, 所述单元的划分, 仅仅为一种逻辑功能划分, 实际实现时可以有另外 的划分方式, 例如多个单元或组件可以结合或者可以集成到另一个***, 或 一些特征可以忽略, 或不执行。 另一点, 所显示或讨论的相互之间的耦合或 直接耦合或通信连接可以是通过一些接口, 装置或单元的间接耦合或通信连 接, 可以是电性, 机械或其它的形式。 为单元显示的部件可以是或者也可以不是物理单元, 即可以位于一个地方, 或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或 者全部单元来实现本实施例方案的目的。
另外, 在本发明各个实施例中的各功能单元可以集成在一个处理单元 中, 也可以是各个单元单独物理存在, 也可以两个或两个以上单元集成在一 个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使 用时, 可以存储在一个计算机可读取存储介质中。 基于这样的理解, 本发明 的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部 分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质 中, 包括若干指令用以使得一台计算机设备(可以是个人计算机, 服务器, 或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。 而前 述的存储介质包括: U盘、移动硬盘、只读存储器( ROM, Read-Only Memory )、 随机存取存储器(RAM, Random Access Memory ), 磁碟或者光盘等各种可 以存储程序代码的介质。
以上所述, 仅为本发明的具体实施方式, 但本发明的保护范围并不局限 于此, 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内, 可轻易 想到变化或替换, 都应涵盖在本发明的保护范围之内。 因此, 本发明的保护 范围应所述以权利要求的保护范围为准。
Claims (24)
- 权利要求1、 一种用于多帧降噪的方法, 其特征在于, 包括:釆用终端上的 M个摄像头对相同的场景进行连续的 K次拍摄, 其中, M > 2, K > 2, 且所述 Μ个摄像头在每次拍摄时各同时釆集一帧图像;根据所述 Κ次拍摄获得的图像配准;对所述配准后的图像进行时域和空域滤波。
- 2、 如权利要求 1所述的方法, 其特征在于, 所述 Μ个摄像头位于同一 平面,在所述根据所述 Κ次拍摄获得的图像进行配准之前, 所述方法还包括: 获取所述 Κ次拍摄中每次拍摄到的 Μ帧图像之间的平移量;根据所述平移量, 配准所述 Μ帧图像;根据配准后的 Μ帧图像生成一帧合成图像;所述根据所述 Κ次拍摄获得的图像进行配准, 包括:对所述 Κ次拍摄对应的 Κ帧合成图像进行所述配准, 以确定 Κ帧配准 图像;所述对所述配准后的图像进行时域和空域滤波, 包括:对所述 Κ帧配准图像进行所述时域和空域滤波。
- 3、 如权利要求 2所述的方法, 其特征在于, 所述 Μ个摄像头包括第一 摄像头和第二摄像头, 所述每次拍摄的 Μ帧图像包括分别与所述第一摄像 头和所述第二摄像头对应的第一图像和第二图像,所述获取所述 Κ次拍摄中每次拍摄的 Μ帧图像之间的平移量, 包括: 获取所述第一图像和所述第二图像之间的平移量;所述根据所述平移量, 配准所述 Μ帧图像, 包括:选取所述第一图像作为参考图像;根据所述平移量, 对所述第二图像进行平移操作, 确定所述第一图像和 所述第二图像的公共图像区域。
- 4、 如权利要求 3所述的方法, 其特征在于,所述获取所述第一图像和所述第二之间的平移量, 包括:基于 L= ( f x ( t /d ) ) /u获得所述平移量;其中, L为所述第一图像和所述第二图像之间的平移量, f 为所述第一 摄像头或所述第二摄像头的焦距, t 为所述第一摄像头的镜头和所述第二摄 像头的镜头的光心距离, d为所述第一图像的像素尺寸, 其中, 所述第一图 像的像素尺寸和所述第二图像的像素尺寸相同, U为景深。
- 5、 如权利要求 2-4中任一项所述的方法, 其特征在于,所述根据配准后的 M帧图像生成一帧合成图像, 包括:对所述配准后的 M帧图像进行视差校正, 以消除所述配准后的 M帧图 像在对应像素点由所述 M个摄像头的视差引起的差异;根据视差校正后的 M帧图像在对应像素点的像素值生成所述合成图像 在所述对应像素点的像素值。
- 6、 如权利要求 5所述的方法, 其特征在于, 所述对所述配准后的 M帧 图像进行视差校正, 包括:当所述配准后的 M帧图像中除基准图像之外的第 j帧图像与所述基准图 像在对应像素点的像素值的差异大于预设阔值时, 用所述基准图像在所述对 应像素点的像素值代替所述第 j帧图像在所述对应像素点的像素值; 否则, 所述第 j帧图像在所述对应像素点的像素值保持不变, 其中, 所述基准图像 为所述配准后的 M帧图像中的一帧图像, j取值从 1至 M-l。
- 7、 如权利要求 1-6中任一项所述的方法, 其特征在于,在所述对所述配准后的图像进行时域和空域滤波之前, 所述方法还包 括:对所述配准后的图像进行鬼影消除。
- 8、 如权利要求 1-7中任一项所述的方法, 其特征在于, K=3。
- 9、 一种终端, 其特征在于, 包括:Μ个摄像头, 用于对相同的场景进行连续的 Κ次拍摄, 其中, Μ > 2, Κ > 2, 且所述 Μ个摄像头在每次拍摄时各同时釆集一帧图像;第一配准模块, 用于根据所述 Μ个摄像头经过所述 Κ次拍摄获得的图 像进行配准;时域和空域滤波模块,对所述第一配准模块配准后的图像进行时域和空 i或滤波。
- 10、 如权利要求 9所述的终端, 其特征在于, 所述 M个摄像头位于同 一平面, 所述终端还包括:第二配准模块, 用于获取所述 K次拍摄中每次拍摄到的 M帧图像之间 的平移量; 根据所述平移量, 配准所述 M帧图像; 合成模块, 用于根据所述第二配准模块配准后的 M帧图像生成一帧合 成图像;所述第一配准模块, 具体用于对所述 K次拍摄对应的 K帧合成图像进 行所述配准, 以确定 K帧配准图像;所述时域和空域滤波模块具体用于对所述 K 帧配准图像进行所述时域 和空域滤波。
- 11、 如权利要求 10所述的终端, 其特征在于, 所述 M个摄像头包括第 一摄像头和第二摄像头, 所述每次拍摄的 M帧图像包括分别与所述第一摄 像头和所述第二摄像头对应的第一图像和第二图像,所述第二配准模块具体用于获取所述第一图像和所述第二图像之间的 平移量; 选取所述第一图像作为参考图像; 根据所述平移量, 对所述第二图 像进行平移操作, 确定所述第一图像和所述第二图像的公共图像区域。
- 12、 如权利要求 11所述的终端, 其特征在于,所述第二配准模块具体用于基于 L= ( f X ( t /d ) ) /u获得所述平移量; 其中, L为所述第一图像和所述第二图像之间的平移量, f 为所述第一摄像 头或所述第二摄像头的焦距, t为所述第一摄像头的镜头和所述第二摄像头 的镜头的光心距离, d为所述第一图像的像素尺寸, 其中, 所述第一图像的 像素尺寸和所述第二图像的像素尺寸相同, u为景深。
- 13、 如权利要求 10-12中任一项所述的终端, 其特征在于,所述合成模块具体用于对所述配准后的 M帧图像进行视差校正, 以消 除所述配准后的 M帧图像在对应像素点由所述 M个摄像头的视差引起的差 异; 根据视差校正后的 M帧图像在对应像素点的像素值生成所述合成图像 在所述对应像素点的像素值。
- 14、 如权利要求 13所述的终端, 其特征在于, 所述合成模块具体用于 当所述配准后的 M帧图像中除基准图像之外的第 j帧图像与所述基准图像在 对应像素点的像素值的差异大于预设阔值时,用所述基准图像在所述对应像 素点的像素值代替所述第 j帧图像在所述对应像素点的像素值; 否则, 所述 第 j帧图像在所述对应像素点的像素值保持不变, 其中, 所述基准图像为所 述配准后的 M帧图像中的一帧图像, j取值从 1至 M-l。
- 15、 如权利要求 9-14 中任一项所述的终端, 其特征在于, 所述终端还 包括: 鬼影消除模块, 用于对所述配准后的图像进行鬼影消除。
- 16、 如权利要求 9-15中任一项所述的终端, 其特征在于, K=3。
- 17、 一种终端, 其特征在于, 包括:Μ个摄像头, 用于对相同的场景进行连续的 Κ次拍摄, 其中, Μ > 2, Κ > 2, 且所述 Μ个摄像头在每次拍摄时各同时釆集一帧图像;处理器, 与所述 Μ个摄像头相连, 用于根据所述 Κ次拍摄获得的图像 进行配准, 并对所述配准后的图像进行时域和空域滤波。
- 18、 如权利要求 17所述的终端, 其特征在于, 所述 Μ个摄像头位于同 一平面,在所述根据所述 Κ 次拍摄获得的图像进行配准之前, 所述处理器还用 于:获取所述 Κ次拍摄中每次拍摄到的 Μ帧图像之间的平移量;根据所述平移量, 配准所述 Μ帧图像;根据配准后的 Μ帧图像生成一帧合成图像;所述根据所述 Κ次拍摄获得的图像进行配准,并对所述配准后的图像进 行时域和空域滤波, 包括:对所述 Κ次拍摄对应的 Κ帧合成图像进行所述配准, 以确定 Κ帧配准 图像;对所述 Κ帧配准图像进行所述时域和空域滤波。
- 19、 如权利要求 18所述的终端, 其特征在于, 所述 Μ个摄像头包括第 一摄像头和第二摄像头, 所述每次拍摄的 Μ帧图像包括分别与所述第一摄 像头和所述第二摄像头对应的第一图像和第二图像,所述处理器, 还用于获取所述 Κ次拍摄中每次拍摄的 Μ帧图像之间的 平移量, 包括: 所述处理器, 还用于:获取所述第一图像和所述第二图像之间的平移量;所处处理器, 还用于根据所述平移量, 配准所述 Μ帧图像, 包括: 所 述处理器, 还用于:选取所述第一图像作为参考图像;根据所述平移量, 对所述第二图像进行平移操作, 确定所述第一图像和 所述第二图像的公共图像区域。
- 20、 如权利要求 19所述的终端, 其特征在于, 所述处理器,还用于获取所述第一图像和所述第二之间的平移量,包括: 所述处理器, 还用于:基于 L= ( f x ( t /d ) ) /u获得所述平移量;其中, L为所述第一图像和所述第二图像之间的平移量, f 为所述第一 摄像头或所述第二摄像头的焦距, t 为所述第一摄像头的镜头和所述第二摄 像头的镜头的光心距离, d为所述第一图像的像素尺寸, 其中, 所述第一图 像的像素尺寸和所述第二图像的像素尺寸相同, u为景深。
- 21、 如权利要求 18-20中任一项所述的终端, 其特征在于,所述处理器, 还用于根据配准后的 M帧图像生成一帧合成图像, 包括: 所述处理器, 还用于:对所述配准后的 M帧图像进行视差校正, 以消除所述配准后的 M帧图 像在对应像素点由所述 M个摄像头的视差引起的差异;根据视差校正后的 M帧图像在对应像素点的像素值生成所述合成图像 在所述对应像素点的像素值。
- 22、 如权利要求 21 所述的终端, 其特征在于, 所述处理器, 还用于对 所述配准后的 M帧图像进行视差校正, 包括: 所述处理器, 还用于:当所述配准后的 M帧图像中除基准图像之外的第 j帧图像与所述基准图 像在对应像素点的像素值的差异大于预设阔值时, 用所述基准图像在所述对 应像素点的像素值代替所述第 j帧图像在所述对应像素点的像素值; 否则, 所述第 j帧图像在所述对应像素点的像素值保持不变, 其中, 所述基准图像 为所述配准后的 M帧图像中的一帧图像, j取值从 1至 M-l。
- 23、 如权利要求 17-22中任一项所述的终端, 其特征在于,在所述对所述配准后的图像进行时域和空域滤波之前, 所述处理器还用 于:对所述配准后的图像进行鬼影消除。
- 24、 如权利要求 17-23中任一项所述的终端, 其特征在于, K=3。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2014/077599 WO2015172366A1 (zh) | 2014-05-15 | 2014-05-15 | 用于多帧降噪的方法和终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105556935A true CN105556935A (zh) | 2016-05-04 |
CN105556935B CN105556935B (zh) | 2019-04-19 |
Family
ID=54479185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480005506.XA Active CN105556935B (zh) | 2014-05-15 | 2014-05-15 | 用于多帧降噪的方法和终端 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10257450B2 (zh) |
EP (1) | EP3099044B1 (zh) |
JP (1) | JP6376618B2 (zh) |
CN (1) | CN105556935B (zh) |
WO (1) | WO2015172366A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107403413A (zh) * | 2017-04-14 | 2017-11-28 | 杭州当虹科技有限公司 | 一种视频多帧去噪及增强方法 |
US10825146B2 (en) | 2017-11-30 | 2020-11-03 | Guangdong Oppo Mobile Telecommunications Corp., Ltd | Method and device for image processing |
CN112488027A (zh) * | 2020-12-10 | 2021-03-12 | Oppo(重庆)智能科技有限公司 | 一种降噪方法、电子设备及计算机存储介质 |
Families Citing this family (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113472989A (zh) | 2012-11-28 | 2021-10-01 | 核心光电有限公司 | 多孔径成像***以及通过多孔径成像***获取图像的方法 |
CN109194849B (zh) | 2013-06-13 | 2021-01-15 | 核心光电有限公司 | 双孔径变焦数字摄影机 |
WO2015001440A1 (en) | 2013-07-04 | 2015-01-08 | Corephotonics Ltd. | Miniature telephoto lens assembly |
EP3028443A2 (en) | 2013-08-01 | 2016-06-08 | Corephotonics Ltd. | Thin multi-aperture imaging system with auto-focus and methods for using same |
US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
KR102281184B1 (ko) * | 2014-11-20 | 2021-07-23 | 삼성전자주식회사 | 영상 보정 방법 및 장치 |
CN112327463B (zh) | 2015-01-03 | 2022-10-14 | 核心光电有限公司 | 微型长焦镜头模块和使用该镜头模块的相机 |
KR101914894B1 (ko) | 2015-04-02 | 2018-11-02 | 코어포토닉스 리미티드 | 듀얼 광학 모듈 카메라의 듀얼 보이스 코일 모터 구조체 |
KR102480080B1 (ko) | 2015-04-16 | 2022-12-22 | 코어포토닉스 리미티드 | 소형 접이식 카메라의 오토 포커스 및 광학 이미지 안정화 |
WO2016189455A1 (en) | 2015-05-28 | 2016-12-01 | Corephotonics Ltd. | Bi-directional stiffness for optical image stabilization and auto-focus in a dual-aperture digital camera |
EP3598737B1 (en) | 2015-08-13 | 2020-12-09 | Corephotonics Ltd. | Dual aperture zoom camera with video support and switching / non-switching dynamic control |
KR101993077B1 (ko) | 2015-09-06 | 2019-06-25 | 코어포토닉스 리미티드 | 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지 |
US9762893B2 (en) * | 2015-12-07 | 2017-09-12 | Google Inc. | Systems and methods for multiscopic noise reduction and high-dynamic range |
EP4254926A3 (en) | 2015-12-29 | 2024-01-31 | Corephotonics Ltd. | Dual-aperture zoom digital camera with automatic adjustable tele field of view |
EP3518520B1 (en) | 2016-05-30 | 2020-08-26 | Corephotonics Ltd. | Rotational ball-guided voice coil motor |
EP4020958B1 (en) | 2016-06-19 | 2023-10-25 | Corephotonics Ltd. | Frame synchronization in a dual-aperture camera system |
KR102390572B1 (ko) | 2016-07-07 | 2022-04-25 | 코어포토닉스 리미티드 | 폴디드 옵틱용 선형 볼 가이드 음성 코일 모터 |
WO2018007951A1 (en) | 2016-07-07 | 2018-01-11 | Corephotonics Ltd. | Dual-camera system with improved video smooth transition by image blending |
EP4246993A3 (en) | 2016-12-28 | 2024-03-06 | Corephotonics Ltd. | Folded camera structure with an extended light-folding-element scanning range |
US10884321B2 (en) | 2017-01-12 | 2021-01-05 | Corephotonics Ltd. | Compact folded camera |
WO2018154421A1 (en) | 2017-02-23 | 2018-08-30 | Corephotonics Ltd. | Folded camera lens designs |
KR102530535B1 (ko) | 2017-03-15 | 2023-05-08 | 코어포토닉스 리미티드 | 파노라마 스캐닝 범위를 갖는 카메라 |
US10904512B2 (en) | 2017-09-06 | 2021-01-26 | Corephotonics Ltd. | Combined stereoscopic and phase detection depth mapping in a dual aperture camera |
KR20190032818A (ko) * | 2017-09-20 | 2019-03-28 | 삼성전자주식회사 | 롤링 셔터 방식을 이용한 복수의 카메라를 포함하는 전자 장치 |
US10951834B2 (en) | 2017-10-03 | 2021-03-16 | Corephotonics Ltd. | Synthetically enlarged camera aperture |
CN108024054B (zh) * | 2017-11-01 | 2021-07-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、设备及存储介质 |
CN107948500A (zh) * | 2017-11-01 | 2018-04-20 | 广东欧珀移动通信有限公司 | 图像处理方法和装置 |
CN108055452B (zh) * | 2017-11-01 | 2020-09-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置及设备 |
CN113075776B (zh) | 2017-11-23 | 2023-08-29 | 核心光电有限公司 | 移动电子设备 |
CN107959778B (zh) * | 2017-11-30 | 2019-08-20 | Oppo广东移动通信有限公司 | 基于双摄像头的成像方法和装置 |
CN114609746A (zh) | 2018-02-05 | 2022-06-10 | 核心光电有限公司 | 折叠摄像装置 |
CN113568251B (zh) | 2018-02-12 | 2022-08-30 | 核心光电有限公司 | 数字摄像机及用于提供聚焦及补偿摄像机倾斜的方法 |
US10694168B2 (en) | 2018-04-22 | 2020-06-23 | Corephotonics Ltd. | System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems |
CN114153107B (zh) | 2018-04-23 | 2024-07-02 | 核心光电有限公司 | 相机及致动器 |
JP7028983B2 (ja) | 2018-08-04 | 2022-03-02 | コアフォトニクス リミテッド | カメラ上の切り替え可能な連続表示情報システム |
WO2020039302A1 (en) | 2018-08-22 | 2020-02-27 | Corephotonics Ltd. | Two-state zoom folded camera |
US11287081B2 (en) | 2019-01-07 | 2022-03-29 | Corephotonics Ltd. | Rotation mechanism with sliding joint |
CN111971956B (zh) | 2019-03-09 | 2021-12-03 | 核心光电有限公司 | 用于动态立体校准的方法及*** |
CN110363714B (zh) * | 2019-06-19 | 2023-03-28 | 南京谱数光电科技有限公司 | 自适应学习速率的基于场景帧间配准的非均匀性校正方法 |
CN110233970B (zh) * | 2019-06-27 | 2021-03-12 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
KR102425865B1 (ko) | 2019-07-31 | 2022-07-27 | 코어포토닉스 리미티드 | 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 |
US11659135B2 (en) | 2019-10-30 | 2023-05-23 | Corephotonics Ltd. | Slow or fast motion video using depth information |
US11949976B2 (en) | 2019-12-09 | 2024-04-02 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
WO2021116851A2 (en) | 2019-12-09 | 2021-06-17 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
CN111091513B (zh) * | 2019-12-18 | 2023-07-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质及电子设备 |
CN114945936A (zh) * | 2020-01-09 | 2022-08-26 | Oppo广东移动通信有限公司 | 多帧降噪方法、终端、以及*** |
CN114641805A (zh) | 2020-02-22 | 2022-06-17 | 核心光电有限公司 | 用于微距摄影的分屏特征 |
CN114144898B (zh) | 2020-04-26 | 2022-11-04 | 核心光电有限公司 | 用于霍尔棒传感器校正的温度控制 |
KR102495627B1 (ko) | 2020-05-17 | 2023-02-06 | 코어포토닉스 리미티드 | 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭 |
US11770609B2 (en) | 2020-05-30 | 2023-09-26 | Corephotonics Ltd. | Systems and methods for obtaining a super macro image |
US11637977B2 (en) | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
CN114730064A (zh) | 2020-07-15 | 2022-07-08 | 核心光电有限公司 | 扫描折叠相机的视点像差校正 |
CN114270145B (zh) | 2020-07-31 | 2024-05-17 | 核心光电有限公司 | 用于大行程线性位置感测的霍尔传感器-磁体几何结构 |
CN116626960A (zh) | 2020-08-12 | 2023-08-22 | 核心光电有限公司 | 用于光学防抖的方法 |
CN112102190A (zh) * | 2020-09-14 | 2020-12-18 | 努比亚技术有限公司 | 图像处理方法、移动终端及计算机可读存储介质 |
EP4204885A4 (en) | 2021-06-08 | 2024-03-06 | Corephotonics Ltd. | SYSTEMS AND CAMERAS FOR TILTING A FOCAL PLANE OF A SUPER MACRO-IMAGE |
US11756285B2 (en) | 2021-06-10 | 2023-09-12 | Bank Of America Corporation | Image processing system and method for image noise removal |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101997981A (zh) * | 2010-11-01 | 2011-03-30 | 惠州Tcl移动通信有限公司 | 一种基于手机摄像头的宽容度实现方法及手机 |
US20130064470A1 (en) * | 2011-09-14 | 2013-03-14 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method for reducing noise |
CN103268596A (zh) * | 2013-05-30 | 2013-08-28 | 华南理工大学 | 一种降低图像噪声和使颜色接近标准的方法 |
US20130265378A1 (en) * | 2010-04-07 | 2013-10-10 | Apple Inc. | Switching Cameras During a Video Conference of a Multi-Camera Mobile Device |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7015954B1 (en) * | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
US7215364B2 (en) * | 2002-04-10 | 2007-05-08 | Panx Imaging, Inc. | Digital imaging system using overlapping images to formulate a seamless composite image and implemented using either a digital imaging sensor array |
JP4665781B2 (ja) * | 2006-02-02 | 2011-04-06 | カシオ計算機株式会社 | 撮像装置、画像処理方法及びプログラム |
EP2192546A1 (en) * | 2008-12-01 | 2010-06-02 | Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO | Method for recognizing objects in a set of images recorded by one or more cameras |
US8704932B2 (en) | 2009-10-23 | 2014-04-22 | Broadcom Corporation | Method and system for noise reduction for 3D video content |
WO2011112633A1 (en) * | 2010-03-09 | 2011-09-15 | Flir Systems, Inc. | Imager with multiple sensor arrays |
US8878950B2 (en) * | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
US9030528B2 (en) * | 2011-04-04 | 2015-05-12 | Apple Inc. | Multi-zone imaging sensor and lens array |
JP5076002B1 (ja) | 2011-04-27 | 2012-11-21 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
JP2013059016A (ja) * | 2011-08-12 | 2013-03-28 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP5917054B2 (ja) * | 2011-09-12 | 2016-05-11 | キヤノン株式会社 | 撮像装置、画像データ処理方法、およびプログラム |
US10109063B2 (en) * | 2012-07-04 | 2018-10-23 | Apple Inc. | Image processing in a multi-channel camera |
TWI525382B (zh) * | 2012-11-21 | 2016-03-11 | 豪威科技股份有限公司 | 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法 |
CN103024272A (zh) | 2012-12-14 | 2013-04-03 | 广东欧珀移动通信有限公司 | 移动终端的双摄像头控制装置、方法、***以及移动终端 |
US9769365B1 (en) * | 2013-02-15 | 2017-09-19 | Red.Com, Inc. | Dense field imaging |
US9100586B2 (en) * | 2013-03-14 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for photometric normalization in array cameras |
US9497429B2 (en) * | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
JP6263623B2 (ja) * | 2013-12-06 | 2018-01-17 | 華為終端(東莞)有限公司 | 画像生成方法及びデュアルレンズ装置 |
CN103685951A (zh) | 2013-12-06 | 2014-03-26 | 华为终端有限公司 | 一种图像处理方法、装置及终端 |
US9900509B2 (en) * | 2014-10-21 | 2018-02-20 | Bae Systems Information And Electronic Systems Integration Inc. | Frame registration for imaging sensors in motion |
-
2014
- 2014-05-15 US US15/124,338 patent/US10257450B2/en active Active
- 2014-05-15 CN CN201480005506.XA patent/CN105556935B/zh active Active
- 2014-05-15 EP EP14891628.1A patent/EP3099044B1/en active Active
- 2014-05-15 JP JP2016559560A patent/JP6376618B2/ja active Active
- 2014-05-15 WO PCT/CN2014/077599 patent/WO2015172366A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130265378A1 (en) * | 2010-04-07 | 2013-10-10 | Apple Inc. | Switching Cameras During a Video Conference of a Multi-Camera Mobile Device |
CN101997981A (zh) * | 2010-11-01 | 2011-03-30 | 惠州Tcl移动通信有限公司 | 一种基于手机摄像头的宽容度实现方法及手机 |
US20130064470A1 (en) * | 2011-09-14 | 2013-03-14 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method for reducing noise |
CN103268596A (zh) * | 2013-05-30 | 2013-08-28 | 华南理工大学 | 一种降低图像噪声和使颜色接近标准的方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107403413A (zh) * | 2017-04-14 | 2017-11-28 | 杭州当虹科技有限公司 | 一种视频多帧去噪及增强方法 |
CN107403413B (zh) * | 2017-04-14 | 2021-07-13 | 杭州当虹科技股份有限公司 | 一种视频多帧去噪及增强方法 |
US10825146B2 (en) | 2017-11-30 | 2020-11-03 | Guangdong Oppo Mobile Telecommunications Corp., Ltd | Method and device for image processing |
CN112488027A (zh) * | 2020-12-10 | 2021-03-12 | Oppo(重庆)智能科技有限公司 | 一种降噪方法、电子设备及计算机存储介质 |
CN112488027B (zh) * | 2020-12-10 | 2024-04-30 | Oppo(重庆)智能科技有限公司 | 一种降噪方法、电子设备及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2015172366A1 (zh) | 2015-11-19 |
US20170019616A1 (en) | 2017-01-19 |
EP3099044A4 (en) | 2017-01-25 |
JP6376618B2 (ja) | 2018-08-22 |
EP3099044B1 (en) | 2018-12-26 |
US10257450B2 (en) | 2019-04-09 |
CN105556935B (zh) | 2019-04-19 |
JP2017516358A (ja) | 2017-06-15 |
EP3099044A1 (en) | 2016-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105556935A (zh) | 用于多帧降噪的方法和终端 | |
CN105340267A (zh) | 一种生成图片的方法及一种双镜头设备 | |
JP5917054B2 (ja) | 撮像装置、画像データ処理方法、およびプログラム | |
JP4500875B2 (ja) | モーションブラー効果を除去する方法および装置 | |
EP3067746B1 (en) | Photographing method for dual-camera device and dual-camera device | |
CN107948500A (zh) | 图像处理方法和装置 | |
CN105100615A (zh) | 一种图像的预览方法、装置及终端 | |
WO2011099244A1 (ja) | 画像処理装置および画像処理方法 | |
CN107948520A (zh) | 图像处理方法和装置 | |
WO2017112050A1 (en) | Generating composite images using estimated blur kernel size | |
CN101969533B (zh) | 一种移动终端摄像头的防抖方法及装置 | |
CN108024054A (zh) | 图像处理方法、装置及设备 | |
CN103905735B (zh) | 具有动态追拍功能的移动终端及其动态追拍方法 | |
CN110198418A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN109257540B (zh) | 多摄镜头组的摄影校正方法及摄影装置 | |
CN110177212A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN110198419A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110430370A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
JP6270413B2 (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
CN115546043A (zh) | 视频处理方法及其相关设备 | |
CN109523456A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN108282616A (zh) | 图像的处理方法、装置、存储介质及电子设备 | |
CN108476286A (zh) | 一种图像输出方法以及电子设备 | |
CN115631171B (zh) | 一种图片清晰度评价方法、***及存储介质 | |
CN111416937A (zh) | 图像处理方法、装置、存储介质及移动设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210420 Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040 Patentee after: Honor Device Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd. |
|
TR01 | Transfer of patent right |