CN107534735B - 终端的图像处理方法、装置和终端 - Google Patents
终端的图像处理方法、装置和终端 Download PDFInfo
- Publication number
- CN107534735B CN107534735B CN201680025593.4A CN201680025593A CN107534735B CN 107534735 B CN107534735 B CN 107534735B CN 201680025593 A CN201680025593 A CN 201680025593A CN 107534735 B CN107534735 B CN 107534735B
- Authority
- CN
- China
- Prior art keywords
- component
- image
- color image
- black
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 230000004927 fusion Effects 0.000 claims abstract description 92
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims description 59
- 238000012937 correction Methods 0.000 claims description 31
- 230000002708 enhancing effect Effects 0.000 claims description 28
- 238000011946 reduction process Methods 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 6
- 239000000155 melt Substances 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 11
- 239000011159 matrix material Substances 0.000 description 24
- 230000008569 process Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 17
- 238000001914 filtration Methods 0.000 description 10
- 239000003086 colorant Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 235000000177 Indigofera tinctoria Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229940097275 indigo Drugs 0.000 description 1
- COHYTHOBJLSHDF-UHFFFAOYSA-N indigo powder Natural products N1C2=CC=CC=C2C(=O)C1=C1C(=O)C2=CC=CC=C2N1 COHYTHOBJLSHDF-UHFFFAOYSA-N 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例提供一种终端的图像处理方法、装置和终端。该终端包括黑白摄像头和彩色摄像头,黑白摄像头和彩色摄像头并排设置,该方法包括:接收拍摄指令,根据拍摄指令控制黑白摄像头和彩色摄像头同时拍摄当前场景,得到当前场景的黑白图像和彩色图像;获取彩色图像的亮度分量和色度分量;对亮度分量和黑白图像进行融合,得到亮度融合分量;根据亮度融合分量和色度分量,得到目标彩色图像。本发明实施例提供的终端的图像处理方法、装置和终端,将黑白图像融合进彩色图像中,使得融合后得到的目标彩色图像具有高解析度、噪声低的优点,相比彩色摄像头拍摄得到的彩色图像,提高了图像质量。
Description
技术领域
本发明涉及图像处理技术,尤其涉及一种终端的图像处理方法、装置和终端。
背景技术
为了使摄像机能够拍摄得到彩色图像,通常在摄像机的摄像头中安装电荷耦合器件(Charge-coupled Device,简称CCD)。该CCD是一种特殊半导体器件,用于以电信号的方式将不同颜色的光的亮度输出至图像处理器,最终由图像处理器生成彩色图像。
图1为现有技术中CCD的工作原理示意图。该CCD上设置有色彩滤镜阵列(ColorFilter Array,CFA)和设置在色彩滤镜阵列下方的感光元件阵列。色彩滤镜阵列中包括按照预设顺序排列的三种颜色(红、绿、蓝)的滤镜。白色的自然光线包括红、橙、黄、绿、蓝、靛、紫七色光,色彩滤镜阵列用于使自然光线中仅红色光、绿色光和蓝色光穿过滤镜,到达感光元件阵列,感光元件阵列记录接收到的光的强度。如图1所示,每个色彩滤镜对应一个感光元件,其中,每个感光元件对应图像中的一个像素点,每个像素点在图像中的位置与对应的感光元件在感光元件阵列中的位置相同。以色彩滤镜阵列中的绿色滤镜为例,由于绿色滤镜仅能使绿色光通过,因此输入的自然光信号(图1中仅示出红色光、绿色光和蓝色光)中仅有绿色光可到达感光元件上,最终无法得到该像素点的真实颜色。此时,图像处理器通常采用去马赛克(demosaic)算法合成该像素点的真实颜色,具体地,针对任一像素点所缺少的基色,将具有该基色的相邻像素点的数字信号的平均值,作为该像素点的该基色的数字信号,最终得到该像素点的真实颜色。
然而,色彩滤镜阵列中的每一个色彩滤镜只能通过一种颜色的光,无法通过其它颜色的光,使得只有部分光输入至感光元件,导致图像的噪声较大;同时还降低了光的采样率,导致图像的解析度降低,即图像的所有像素点中所包含的光线信息变少,如图1所示,感光元件阵列中仅一半的感光元件能接收到绿色光线,最终影响图像质量。
发明内容
本发明实施例提供一种终端的图像处理方法、装置和终端,以解决现有的单CCD摄像机拍摄得到的彩色图像解析度较低、噪声较大,导致图像质量较差的技术问题。
第一方面,本发明实施例提供一种终端的图像处理方法,终端包括黑白摄像头和彩色摄像头,黑白摄像头和彩色摄像头并排设置,该方法包括:
接收拍摄指令,根据拍摄指令控制黑白摄像头和彩色摄像头同时拍摄当前场景,得到当前场景的黑白图像和彩色图像;获取彩色图像的亮度分量和色度分量;对亮度分量和黑白图像进行融合,得到亮度融合分量;根据亮度融合分量和色度分量,得到目标彩色图像。
上述方法利用了黑白图像具有高解析度、噪声低的优点,将黑白图像融合进彩色图像中,使得融合后最终得到的目标彩色图像具有高解析度、噪声低的优点,相比彩色摄像头拍摄得到的彩色图像,提高了图像质量。
结合第一方面,在第一方面的第一种可能的实现方式中,融合过程具体包括:
将亮度分量划分为至少两个亮度块,对亮度分量和黑白图像进行配准,得到配准结果,配准结果包括与每一个亮度块进行融合的黑白图像块;根据配准结果对亮度分量和黑白图像进行融合,得到亮度融合分量。
结合第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,配准过程具体包括:
根据黑白摄像头和彩色摄像头之间的距离、黑白摄像头的焦距和彩色摄像头的焦距,为亮度分量在黑白图像内确定进行配准处理的搜索区域;在搜索区域内对亮度分量和黑白图像进行配准,得到配准结果。
上述方法通过减少配准过程中的搜索域,提高了配准的速度和准确性,进而提高了后续图像融合的质量。
结合第一方面,在第一方面的第三种可能的实现方式中,对亮度分量和黑白图像进行融合,得到亮度融合分量,包括:
获取亮度分量的第一高频信息和第一低频信息,获取黑白图像的第二高频信息;对第一高频信息和第二高频信息进行融合,得到高频融合信息;对第一低频信息和高频融合信息进行像素点加和处理,得到亮度融合分量。
高频信息中主要记录了图像的边缘和细节信息,通过选用亮度分量的高频信息分量和黑白图像的高频信息分量进行融合,提高了黑白图像与亮度分量的融合效果。
结合第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,对第一低频信息图像和高频融合图像进行像素点加和处理,得到亮度融合图像之前,还包括:
对高频融合信息进行增强处理,得到增强处理后的高频融合信息。
通过上述增强处理,使得高频融合信息中所包含的信息在亮度融合分量中更清晰。
结合第一方面、第一方面的第一种至第四种中任一种可行的实现方式,在第一方面的第五种可行的实现方式中,将彩色图像分解为亮度分量和色度分量之前,还包括:
根据黑白图像对彩色图像进行亮度校正处理,得到亮度校正后的彩色图像。
结合第一方面、第一方面的第一种至第五种中任一种可行的实现方式,在第一方面的第六种可行的实现方式中,根据亮度融合分量和色度分量图像,得到目标彩色图像之前,还包括:
对色度分量进行降噪处理,得到降噪处理后的色度分量。
通过亮度一致性校正和降噪处理,可进一步提高目标彩色图像的质量。
下面介绍本发明实施例提供的一种终端的图像处理装置,该装置与方法一一对应,用以实现上述实施例中的图像处理方法,具有相同的技术特征和技术效果,本发明对此不再赘述。
第二方面,本发明实施例提供一种终端的图像处理装置,终端包括黑白摄像头和彩色摄像头,黑白摄像头和彩色摄像头并排设置,该装置包括:
输入图像获取模块,用于接收拍摄指令,根据拍摄指令控制黑白摄像头和彩色摄像头同时拍摄当前场景,得到当前场景的黑白图像和彩色图像;
分量获取模块,用于获取彩色图像的亮度分量和色度分量;
融合模块,用于对亮度分量和黑白图像进行融合,得到亮度融合分量;
目标彩色图像获取模块,用于根据亮度融合分量和色度分量,得到目标彩色图像。
结合第二方面,在第二方面的第一种可能的实现方式中,融合模块具体用于,将亮度分量划分为至少两个亮度块,对亮度分量和黑白图像进行配准,得到配准结果,配准结果包括与每一个亮度块进行融合的黑白图像块;根据配准结果对亮度分量和黑白图像进行融合,得到亮度融合分量。
结合第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,融合模块具体用于,根据黑白摄像头和彩色摄像头之间的距离、黑白摄像头的焦距和彩色摄像头的焦距,为亮度分量在黑白图像内确定进行配准处理的搜索区域;在搜索区域内对亮度分量和黑白图像进行配准,得到配准结果。
结合第二方面,在第二方面的第三种可能的实现方式中,融合模块包括:
高频信息获取单元,用于获取亮度分量的第一高频信息和第一低频信息,获取黑白图像的第二高频信息;
高频融合信息获取单元,用于根据配准结果,对第一高频信息和第二高频信息进行融合,得到高频融合信息;
亮度融合分量获取单元,用于对第一低频信息和高频融合信息进行像素点加和处理,得到亮度融合分量。
结合第二方面的第三种可能的实现方式,在第二方面的第四种可能的实现方式中,融合模块,还包括:
增强单元,用于对高频融合信息进行增强处理,得到增强处理后的高频融合信息。
结合第二方面、第二方面的第一种至第四种中任一种可行的实现方式,在第二方面的第五种可行的实现方式中,终端的图像处理装置还包括:
亮度校正模块,用于根据黑白图像对彩色图像进行亮度校正处理,得到亮度校正后的彩色图像。
结合第二方面、第二方面的第一种至第五种中任一种可行的实现方式,在第二方面的第六种可行的实现方式中,终端的图像处理装置还包括:
降噪模块,用于对色度分量进行降噪处理,得到降噪处理后的色度分量。
下面介绍本发明实施例提供的一种终端,该终端与方法一一对应,用以实现上述实施例中的图像处理方法,具有相同的技术特征和技术效果,本发明对此不再赘述。
第三方面,本发明实施例提供一种终端,该终端包括黑白摄像头、彩色摄像头和图像处理器,黑白摄像头和彩色摄像头并排设置;
图像处理器,用于接收拍摄指令,根据拍摄指令控制黑白摄像头和彩色摄像头同时拍摄当前场景,得到当前场景的黑白图像和彩色图像;获取彩色图像的亮度分量和色度分量;对亮度分量和黑白图像进行融合,得到亮度融合分量;根据亮度融合分量和色度分量,得到目标彩色图像。
结合第三方面,在第三方面的第一种可能的实现方式中,图像处理器具体用于,将亮度分量划分为至少两个亮度块,对亮度分量和黑白图像进行配准,得到配准结果,配准结果包括与每一个亮度块进行融合的黑白图像块;根据配准结果对亮度分量和黑白图像进行融合,得到亮度融合分量。
结合第三方面的第一种可能的实现方式,在第三方面的第二种可能的实现方式中,图像处理器具体用于,根据黑白摄像头和彩色摄像头之间的距离、黑白摄像头的焦距和彩色摄像头的焦距,为亮度分量在黑白图像内确定进行配准处理的搜索区域;在搜索区域内对亮度分量和黑白图像进行配准,得到配准结果。
结合第三方面,在第三方面的第三种可能的实现方式中,图像处理器具体用于,获取亮度分量的第一高频信息和第一低频信息,获取黑白图像的第二高频信息;根据配准结果,对第一高频信息和第二高频信息进行融合,得到高频融合信息;对第一低频信息和高频融合信息进行像素点加和处理,得到亮度融合分量。
结合第三方面的第三种可能的实现方式,在第三方面的第四种可能的实现方式中,图像处理器还用于,对高频融合信息进行增强处理,得到增强处理后的高频融合信息;对第一低频信息和增强处理后的高频融合信息进行像素点加和处理,得到亮度融合分量。
结合第三方面、第三方面的第一种至第四种中任一种可行的实现方式,在第三方面的第五种可行的实现方式中,图像处理器还用于,根据黑白图像对彩色图像进行亮度校正处理,得到亮度校正后的彩色图像;获取亮度校正后的彩色图像的亮度分量和色度分量。
结合第三方面、第三方面的第一种至第五种中任一种可行的实现方式,在第三方面的第六种可行的实现方式中,图像处理器还用于,对色度分量进行降噪处理,得到降噪处理后的色度分量;根据亮度融合分量和降噪处理后的色度分量,得到目标彩色图像。
下面介绍本发明实施例提供的一种存储介质,该存储介质用以实现上述第一方面、第一方面的第一种至第六种中任一种可行的实现方式中的图像处理方法,具有相同的技术特征和技术效果,本发明对此不再赘述。
第四方面,本发明实施例提供一种存储介质,存储介质为计算机可读存储介质,存储有一个或多个程序,一个或多个程序包括指令,指令当被包括摄像头和多个应用程序的便携式电子设备执行时,使便携式电子设备执行如上述第一方面、第一方面的第一种至第六种中任一种可行的实现方式中的图像处理方法;其中,摄像头包括黑白摄像头和彩色摄像头。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术中色彩滤镜阵列实施例的结构示意图;
图2为本发明终端的结构示意图;
图3为本发明终端的图像处理方法实施例一的流程示意图;
图4为本发明终端的图像处理方法实施例二的流程示意图;
图5为本发明终端的图像处理方法实施例三的流程示意图;
图6为本发明基于金字塔的块匹配算法的原理示意图;
图7为本发明终端的图像处理方法实施例四的流程示意图;
图8为本发明终端的图像处理装置实施例一的结构示意图;
图9为本发明终端的图像处理装置实施例二的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例针对现有的单CCD摄像机拍摄得到的彩色图像解析度较低、噪声较大,导致图像质量较差的技术问题,提供一种终端的图像处理方法,该终端包括黑白摄像头和彩色摄像头,黑白摄像头和彩色摄像头并排设置,同时拍摄当前场景。该终端可以为摄像机,也可以为手机、平板等,对于该终端的具体实现形式,本实施例下文均以摄像机为例,而并非对其的具体限制。图2为本发明终端实施例的结构示意图。具体地,如图2所示,两个摄像头相互独立,光轴平行,同步采集图像,使得该摄像机可以拍摄得到同一场景的黑白图像和彩色图像。本实施例提供的图像处理方法,通过将同一场景的具有对光的高采样率以及噪声低的优点的黑白图像,与解析度较低、噪声较大彩色图像进行融合,以降低彩色图像的噪声并提高彩色图像的解析度。在实际使用时,可设置终端的两个摄像头同时工作,然后应用本发明提供的图像处理方法得到融合后的目标彩色图像;也可设置单个摄像头单独工作,直接将单个摄像头拍摄当前场景得到的彩色图像或黑白图像存储或输出。下面采用具体的实施例,对本发明的图像处理方法进行详细说明。
图3为本发明终端的图像处理方法实施例一的流程示意图。该方法的执行主体为图像处理装置,该装置可以由任意的软件和/或硬件实现,示例性的可以为图2中的图像处理器,该图像处理器设置在摄像设备中。如图3所示,该方法包括:
步骤301、接收拍摄指令,根据拍摄指令控制黑白摄像头和彩色摄像头同时拍摄当前场景,得到当前场景的黑白图像和彩色图像;
步骤302、获取彩色图像的亮度分量和色度分量;
步骤303、对亮度分量和黑白图像进行融合,得到亮度融合分量;
步骤304、根据亮度融合分量和色度分量,得到目标彩色图像。
本发明各实施例中图像处理过程中的图像和分量均为矩阵格式,并以矩阵格式存储,当图像处理过程结束时,再依据不同的图像格式标准,将图像显示出来。
具体的,在步骤301中,图像处理装置接收到拍摄指令后,根据该拍摄指令控制黑白摄像头和彩色摄像头同时拍摄当前场景,即可得到当前场景的黑白图像和彩色图像;其中,拍摄指令可由用户按压摄像机上的拍照按键触发。由于黑白摄像头仅包括感光元件,不包括任一颜色滤镜或色彩滤镜阵列,可以接收所有的自然光信号,故感光元件可同时记录所有光的强度,且透光率较高,从而使得相同拍摄环境下的黑白图像相对于彩色图像,具有对光的高采样率以及噪声低的优点;同时由于各感光元件仅记录了光的强度信息,没有颜色信息,因此黑白图像其本身即亮度图像。示例性的,当黑白图像M中包含720×480个像素点时,黑白图像可由一个大小为720×480的二维矩阵M表示。其中,720为矩阵M的总列数,480为矩阵M的总行数。
在本实施例中,彩色摄像头输出的彩色图像处于红绿蓝色彩空间内,由红绿蓝三个颜色表示。示例性的,当彩色图像中包含720×480个像素点时,该彩色图像由一个大小为720×480×3的三维矩阵C表示,720为矩阵C的总列数,480为矩阵C的总行数,3为矩阵C的总页数。其中,每一页代表一个颜色的大小为720×480的二维矩阵,分别记为R、G、B,二维矩阵R代表了该彩色图像的红色光的强度值、二维矩阵G代表了该彩色图像的绿色光的强度值,二维矩阵B代表了该彩色图像的蓝色光的强度值。彩色图像的每个像素点最终呈现出来的颜色,由该像素点的红色光的强度值、绿色光的强度值和蓝色光的强度值共同决定。
为得到目标彩色图像,需将黑白图像与彩色图像的亮度分量进行融合,故需要先获取彩色图像的亮度分量。具体地,可根据彩色图像的色彩空间转化公式,将处于红绿蓝色彩空间内的彩色图像转化为处于亮度色度彩色空间内的由亮度分量和色度分量表示的彩色图像。
其中,色彩空间转化公式为:
Y(i,j)=0.299×R(i,j)+0.587×G(i,j)+0.114×B(i,j);
U(i,j)=-0.1687×R(i,j)-0.3313×G(i,j)+0.5×B(i,j)+128;
V(i,j)=0.5×R(i,j)-0.4187×G(i,j)-0.0813×B(i,j)+128。
其中,i表示像素点在矩阵中的列数,j表示像素点在矩阵中的行数,i的取值范围为[0,720],j的取值范围为[0,360]。
转化后的彩色图像同样是一个大小为720×360×3的三维矩阵,包含了三个大小为720×360的二维矩阵Y、U、V,其中二维矩阵Y中存储有彩色图像的各像素点的亮度值,二维矩阵Y即为彩色图像的亮度分量,另两个二维矩阵U和V存储有彩色图像的各像素点的色度值,共同作为彩色图像的色度分量。此时,彩色图像的每个像素点的最终呈现出来的颜色,由该像素点的亮度值和色度值共同决定。
本领域技术人员可以理解,上述色彩空间转化公式仅示意性的示出了一种获取亮度分量的方法,对于其它可行的方式,本实施例此处不做限制。
在步骤303中,在亮度分量和黑白图像的具体融合过程中,将表示亮度分量的二维矩阵Y中的像素点的亮度值与表示黑白图像的二维矩阵M中的具有相同位置的像素点的亮度值进行平均,得到的平均值作为融合值,根据各融合值,得到大小为720×360的亮度融合矩阵L1,即亮度融合分量。
在步骤304中、根据亮度融合分量和色度分量得到目标彩色图像,具体可以为将表示色度分量的二维矩阵U和二维矩阵V,以及亮度融合矩阵L1共三个二维矩阵,分别作为一个新的大小为720×480×3的三维矩阵C2的三个页,得到的三维矩阵C2即为目标彩色图像。摄像机最终将目标彩色图像存储或输出。
本发明实施例提供的图像处理方法,通过获取彩色图像的亮度分量和色度分量,然后将黑白图像与亮度分量进行融合,得到亮度融合分量,最后根据色度分量和亮度融合分量得到目标彩色图像,利用了黑白图像具有高解析度、噪声低的优点,将黑白图像融合进彩色图像中,使得融合后最终得到的目标彩色图像具有高解析度、噪声低的优点,相比彩色摄像头拍摄得到的彩色图像,提高了图像质量。
下面结合图4,对亮度分量和黑白图像进行融合,得到亮度融合分量的过程进行详细说明。图4为本发明终端的图像处理方法实施例二的流程示意图,如图4所示,包括:
步骤401、将亮度分量划分为至少两个亮度块,对亮度分量和黑白图像进行配准,得到配准结果,配准结果包括与每一个亮度块进行融合的黑白图像块;
步骤402、根据配准结果对亮度分量和黑白图像进行融合,得到亮度融合分量。
具体的,在步骤401中,将亮度分量划分为至少两个亮度块,然后对亮度分量和黑白图像进行配准,得到配准结果。对亮度分量和黑白图像的配准处理具体可以为块匹配处理,为亮度分量的每一个亮度块,在黑白图像中确定一个黑白图像块与之进行融合。可选的,根据配准结果还可确定与亮度分量中的每个第一像素点进行融合的黑白图像中的第二像素点。具体地,通过块匹配处理,得到亮度分量中的亮度块E与黑白图像中的黑白图像块F为像素差异最小的块,则对于可融合的第一像素点和第二像素点,第一像素点在亮度块E中的位置与第二像素点在黑白图像块F中的位置相同。其中,像素点的位置指该像素点在其所属的图像的像素点阵列中所处的行与列。可选的,配准结果还包括亮度分量中的每个第一像素点的第一融合权重,以及黑白图像中的每个第二像素点的第二融合权重。
在步骤402中,具体的融合过程,优选的可以为,针对亮度分量中的任一个第一像素点X,根据该第一像素点X的亮度值X1,第一融合权重a,以及与亮度分量中的第一像素点X进行融合的黑白图像中的第二像素点Y的亮度值Y1和第二融合权重b,对第一像素点X以及第二像素点Y进行融合,最终得到亮度融合分量。
示例性的,在进行融合时,第一融合权重a与第二融合权重b的取值范围通常为[0,1],且a+b=1。亮度融合分量中的任一像素点Z的亮度值,即融合值,由与该像素点Z具有相同位置的第一像素点X以及第二像素点Y相融合后获得,示例性的融合公式为:融合值=a*X1+b*Y1。
下面通过图5,对图4所示实施例中的块匹配处理过程进行详细说明,图5为本发明终端的图像处理方法实施例三的流程示意图,包括:
步骤501、将亮度分量划分为至少两个亮度块,针对每一亮度块,对黑白图像进行搜索处理,得到与每一亮度块像素差异最小的黑白图像块;
步骤502、根据每一亮度块与黑白图像块的像素差异,得到每一亮度块的融合权重与黑白图像块的融合权重,其中,像素差异与黑白图像块的融合权重成反比例关系;
步骤503、根据每一亮度块的融合权重与黑白图像块的融合权重,得到亮度分量中的每个第一像素点的第一融合权重以及与亮度分量中的每个第一像素点进行融合的黑白图像中的第二像素点的融合权重,其中,第一像素点在亮度块中的位置与第二像素点在黑白图像块中的位置相同。
在步骤501中,将亮度分量划分为至少两个亮度块,在划分时,可均匀划分,也可不均匀划分。对于划分得到的任一亮度块E,示例性的,亮度块E包括m*n个像素点,m和n为正整数。对于该亮度块E,在黑白图像中按照预设顺序,例如从左到右,从上到下的顺序,移动搜索框来搜索,该搜索框的大小为m*n个像素点,搜索后可获得多个大小为m*n的黑白图像块,然后对该亮度块E与所有大小为m*n的黑白图像块进行比较,得到像素差异,该像素差异具体可以为将亮度块E与黑白图像块的对应位置的像素点的亮度值做差,得到m*n个差值,再将m*n个差值进行加和得到像素差异。在得到的多个像素差异中,确定与亮度块E像素差异最小的黑白图像块F。本领域技术人员可以理解,像素差异越小,则表明亮度块E与黑白图像块F越相似,当像素差异为0时,表明亮度块E与黑白图像块F完全相同。
本领域技术人员可以理解,为了提高图像块匹配过程的速度,本实施例的块匹配算法具体可以采用基于金字塔的块匹配算法。图6为本发明基于金字塔的块匹配算法的原理示意图。如图6所示,以金字塔包括层0、层1、层2三层为例,其中,层2中将包括P*Q个像素点的亮度分量划分为四个亮度块,块1、块2、块3和块4;层1中将层2中的四个亮度块(块1、块2、块3和块4)进行细分,示例性的,将块1、块2、块3和块4中均划分为4个亮度块,块1中包括块11、块12、块13和块14;层0中将层1中的多个亮度块再细分,例如将块11划分为块111、块112、块113和块114。在进行块匹配时,首先对层2中的任一亮度块,如块1,进行块匹配,在黑白图像中确定与该块1像素差异最小的黑白图像块,例如,该黑白图像块为块01;然后,对层1中的属于块1中的任一亮度块,如块11,进行匹配,此时,只需在黑白图像中的块01中进行搜索,确定像素差异最小的黑白图像块,块011;最后,对层0中的属于块11中的任一亮度块,如块111,进行匹配,此时,只需在黑白图像中的块011中进行搜索,确定像素差异最小的黑白图像块,块0111。上述金字塔的建立方法仅为示意性的划分方法,而并非对本发明的限定。显而易见的,基于金字塔的由粗到精的块匹配算法,显著的减少了搜索框的搜索区域,加快了匹配速度,且提高了匹配准确度。
在步骤502中,像素差异与黑白图像块F的融合权重成反比例关系,当像素差异值越小,黑白图像块F的融合权重越大,亮度块E的融合权重则越小。因此,根据任一亮度块与黑白图像块的像素差异,可以得到任一亮度块的融合权重与黑白图像块的融合权重。可选的,黑白图像块F的融合权重+亮度块E的融合权重=1。
在步骤503中,亮度块E中的任一第一像素点的第一融合权重为该亮度块E的融合权重,黑白图像块F中的任一第二像素点的第二融合权重为该黑白图像块F的融合权重。可选地,对于亮度块E中的处于边缘位置的边缘像素点,其第一融合权重可由该边缘像素点的所有相邻像素点所属的亮度块的融合权重求均值获得。对于黑白图像块F中的边缘像素点的融合权重处理方法类似,不赘述。
可选地,在图4或图5所示实施例中,为了提高配准速度,还可以先确定对黑白图像进行配准处理的搜索区域。具体地,可通过如下可行的实现方式实现:
一种可行的实现方式,根据黑白摄像头和彩色摄像头之间的距离、黑白摄像头的焦距和彩色摄像头的焦距,为所述亮度分量在黑白图像内确定进行配准处理的搜索区域;在搜索区域内对亮度分量和黑白图像进行配准,得到配准结果。示例性的,根据黑白摄像头和彩色摄像头之间的距离、黑白摄像头的焦距和彩色摄像头的焦距,可确定黑白图像和彩色图像中的相同的内容在两幅图像中的位置的偏移,进而根据该偏移,确定块匹配搜索的搜索区域,从而减少块匹配过程中的搜索域,提高块匹配速度和准确性。可选地,偏移可通过查询偏移表来确定,偏移表中记录有两摄像头之间的距离、各自焦距与偏移的对应关系。
另一种可行的实现方式,对黑白图像和彩色图像进行特征点匹配,得到两黑白图像和彩色图像的特征点的位置对应关系,根据特征点的位置对应关系,确定黑白图像和彩色图像中的相同的内容在两幅图像中的位置的偏移,进而根据该偏移,确定块匹配搜索的搜索区域,从而减少块匹配过程中的搜索域,提高块匹配速度和准确性。
进一步地,在上述图4或图5实施例的基础上,为了提高融合效果,采用亮度分量的高频信息与黑白图像的高频信息进行融合。下面通过图7,对具体的实现方式进行详细说明。图7为本发明终端的图像处理方法实施例四的流程示意图,包括:
步骤701、获取亮度分量的第一高频信息和第一低频信息,获取黑白图像的第二高频信息;
步骤702、根据配准结果,对第一高频信息和第二高频信息进行融合,得到高频融合信息;
步骤703、对第一低频信息和高频融合信息进行像素点加和处理,得到亮度融合分量。
在本实施例中,通过对亮度分量进行低通滤波,使得仅亮度分量中的低频信息能够通过低通滤波器,得到了亮度分量中的低频信息,即第一低频信息;然后采用低通滤波前的亮度分量的像素点的亮度值减去低通滤波后得到的第一低频信息的像素点的低频值,即可获得亮度分量的高频信息,即第一高频信息;第二高频信息采用相同的处理方法获得,不再赘述。
在本实施例的融合过程时,采用第一高频信息和第二高频信息进行融合,得到高频融合信息,具体的融合方法可以与图4所示实施例中的融合方法相同,不再赘述。
可选的,为使高频融合信息所包含的信息在亮度融合分量中更清晰,可对高频融合信息进行高频增强处理。具体在进行高频增强处理过程中,可对高频融合信息中的各像素点的高频值乘以增强系数,放大各像素点的高频值。在对高频融合信息进行增强时,可以根据摄像设备当前拍照图像的感光度设置增强程度。如,当感光度较低时,噪声较小,为提高清晰度,可以进行较强程度的增强;当感光度较高时,为防止出现明显的噪声,可以进行较低程度的增强。
最后,将亮度分量的第一低频信息和高频融合信息进行像素点加和处理,得到亮度融合分量。
本实施例中通过将亮度分量和黑白图像进行低通滤波处理,得到高频信息和低频信息,将黑白图像和亮度分量的高频信息相融合,得到高频融合信息,使得亮度融合分量中的高频分量信息融合了黑白图像的高频信息。由于黑白摄像头与彩色摄像头的透光性不同,会导致两幅图像的亮度不一致,即一副图像的亮度相对另一幅整体更亮,或一副图像相对于另一幅图像,一部分内容更亮,一部分内容更暗。此时,若直接将黑白图像融合进亮度分量中,可能导致获取到的亮度融合分量产生不一致的亮度变化。而高频信息中主要记录了图像的边缘和细节信息,不包含上述亮度高低信息,且人眼对图像中的边缘和细节更敏感,故本实施例中选用亮度分量的高频信息和黑白图像的高频信息进行融合,保留了黑白图像噪声低、分辨率高的优点,避免了上述亮度变化问题,提高了黑白图像与亮度分量的融合效果。
可选地,在上述任一实施例的基础上,在获取彩色图像的亮度分量和色度分量之前,还可以对根据黑白图像对彩色图像进行亮度校正处理,然后获取亮度校正后的彩色图像的亮度分量和色度分量,再采用如上述任一实施例所述的融合方法,得到目标彩色图像。
上述亮度校正的具体过程具体可以为:比较黑白图像和彩色图像的平均亮度,得到彩色图像的亮度修正系数,为彩色图像的亮度分量乘以修正系数以提高亮度,或者,可为彩色图像的各颜色分量分别乘以各颜色分量对应的预设校正系数,从而使得彩色图像与黑白图像具有亮度一致性,从而提高后续配准处理过程的准确性。
可选地,在上述任一实施例的基础上,在根据亮度融合分量和色度分量得到目标彩色图像之前,还可以先对色度分量进行降噪处理,得到降噪处理后的色度分量,然后根据亮度融合分量和降噪处理后的色度分量,得到目标彩色图像。
在具体实现过程中,可对色度分量采用联合双边滤波算法或指导滤波算法进行降噪处理,由于色度分量中的边缘信息较少,因此结合亮度融合分量中的边缘信息,为联合双边滤波算法或指导滤波算法设置滤波因子,从而使得在滤波后,可在保留色度分量中的边缘信息的同时,去除色度分量的噪音,提高图像质量。
可选的,在上述任一实施例的基础上,在低照度情况下,摄像机拍摄得到的图像受客观环境和摄像机各元器件影响较大,图像中可能包含有大量噪声,且光照越弱,图像中的噪声越大。为提高图像的清晰度,降低图像噪声,在通过双摄像头获取当前场景的黑白图像和彩色图像时,可先采集多对黑白图像和彩色图像。对这些多帧黑白图像进行时域降噪处理,获取一帧噪声较低的黑白图像;对这些多帧彩色图像进行时域降噪处理,获取一帧噪声较低的彩色图像,最后对该噪声较低的黑白图像和彩色图像,根据本发明提供的方法进行图像处理,获得较高质量的彩色图像。
本发明实施例另一方面提供一种终端的图像处理装置,终端包括黑白摄像头和彩色摄像头,黑白摄像头和彩色摄像头并排设置,该装置用于执行上述任一实施例中的图像处理方法,具有相同的技术特征和技术效果。图8为本发明终端的图像处理装置实施例一的结构示意图。如图8所示,该装置包括:
输入图像获取模块801,用于接收拍摄指令,根据拍摄指令控制黑白摄像头和彩色摄像头同时拍摄当前场景,得到当前场景的黑白图像和彩色图像;
分量获取模块802,用于获取彩色图像的亮度分量和色度分量;
融合模块803,用于对亮度分量和黑白图像进行融合,得到亮度融合分量;
目标彩色图像获取模块804,用于根据亮度融合分量和色度分量,得到目标彩色图像。
本发明实施例提供的终端的图像处理装置,分量获取模块将彩色图像拆分为亮度分量和色度分量,然后融合模块将黑白图像与亮度分量进行融合,得到亮度融合分量,最后目标彩色图像获取模块根据色度分量和亮度融合得到目标彩色图像,利用了黑白图像具有高解析度、噪声低的优点,将黑白图像融合进彩色图像中,使得融合后最终得到的目标彩色图像具有高解析度、噪声低的优点,相比彩色摄像头拍摄得到的彩色图像,提高了图像质量。
下面采用具体实施例对本发明终端的图像处理装置进行详细说明。
可选的,融合模块具体用于,将亮度分量划分为至少两个亮度块,对亮度分量和黑白图像进行配准,得到配准结果,配准结果包括与每一个亮度块进行融合的黑白图像块;根据配准结果对亮度分量和黑白图像进行融合,得到亮度融合分量。
进一步地,融合模块具体用于,根据黑白摄像头和彩色摄像头之间的距离、黑白摄像头的焦距和彩色摄像头的焦距,为亮度分量在黑白图像内确定进行配准处理的搜索区域;在搜索区域内对亮度分量和黑白图像进行配准,得到配准结果。
图9为本发明终端的图像处理装置实施例二的结构示意图。如图9所示,融合模块802包括:
高频信息获取单元901,用于获取亮度分量的第一高频信息和第一低频信息,获取黑白图像的第二高频信息;
高频融合信息获取单元902,用于根据配准结果,对第一高频信息和第二高频信息进行融合,得到高频融合信息;
亮度融合分量获取单元903,用于对第一低频信息和高频融合信息进行像素点加和处理,得到亮度融合分量。
进一步地,在图9所示实施例的基础上,融合模块802,还包括:
增强单元,用于对高频融合信息进行增强处理,得到增强处理后的高频融合信息;
亮度融合分量获取单元903,具体用于对第一低频信息和增强处理后的高频融合信息进行像素点加和处理,得到亮度融合分量。
可选的,在上述任一实施例的基础上,终端的图像处理装置还包括:
亮度校正模块,用于根据黑白图像对彩色图像进行亮度校正处理,得到亮度校正后的彩色图像;
分量获取模块802具体用于,获取亮度校正后的彩色图像的亮度分量和色度分量。
可选的,在上述任一实施例的基础上,终端的图像处理装置还包括:
降噪模块,用于对色度分量进行降噪处理,得到降噪处理后的色度分量;
目标彩色图像获取模块804具体用于,根据亮度融合分量和降噪处理后的色度分量,得到目标彩色图像。
本发明实施例另一方面提供一种终端,包括黑白摄像头、彩色摄像头和图像处理器,黑白摄像头和彩色摄像头并排设置。该终端用于执行上述任一实施例中的图像处理方法,具有相同的技术特征和技术效果。
终端的图像处理器,用于接收拍摄指令,根据拍摄指令控制黑白摄像头和彩色摄像头同时拍摄当前场景,得到当前场景的黑白图像和彩色图像;获取彩色图像的亮度分量和色度分量;对亮度分量和黑白图像进行融合,得到亮度融合分量;根据亮度融合分量和色度分量,得到目标彩色图像。
可选的,图像处理器具体用于,将亮度分量划分为至少两个亮度块,对亮度分量和黑白图像进行配准,得到配准结果,配准结果包括与每一个亮度块进行融合的黑白图像块;根据配准结果对亮度分量和黑白图像进行融合,得到亮度融合分量。
进一步地,图像处理器具体用于,根据黑白摄像头和彩色摄像头之间的距离、黑白摄像头的焦距和彩色摄像头的焦距,为亮度分量在黑白图像内确定进行配准处理的搜索区域;在搜索区域内对亮度分量和黑白图像进行配准,得到配准结果。
可选的,图像处理器具体用于,获取亮度分量的第一高频信息和第一低频信息,获取黑白图像的第二高频信息;根据配准结果,对第一高频信息和第二高频信息进行融合,得到高频融合信息;对第一低频信息和高频融合信息进行像素点加和处理,得到亮度融合分量。
可选的,图像处理器还用于,对高频融合信息进行增强处理,得到增强处理后的高频融合信息;对第一低频信息和增强处理后的高频融合信息进行像素点加和处理,得到亮度融合分量。
可选的,图像处理器还用于,根据黑白图像对彩色图像进行亮度校正处理,得到亮度校正后的彩色图像;获取亮度校正后的彩色图像的亮度分量和色度分量。
可选的,图像处理器还用于,对述色度分量进行降噪处理,得到降噪处理后的色度分量;根据亮度融合分量和降噪处理后的色度分量,得到目标彩色图像。
本发明实施例另一方面提供一种存储介质,该存储介质为计算机可读存储介质,存储有一个或多个程序,一个或多个程序包括指令,指令当被包括摄像头和多个应用程序的便携式电子设备执行时,使便携式电子设备执行上述任一方法实施例中的图像处理方法;其中,摄像头包括黑白摄像头和彩色摄像头。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (13)
1.一种终端的图像处理方法,其特征在于,所述终端包括黑白摄像头和彩色摄像头,所述黑白摄像头和所述彩色摄像头并排设置,所述方法包括:
接收拍摄指令,根据所述拍摄指令控制所述黑白摄像头和所述彩色摄像头同时拍摄当前场景,得到所述当前场景的黑白图像和彩色图像;
获取所述彩色图像的亮度分量和色度分量;
对所述亮度分量和所述黑白图像进行融合,得到亮度融合分量;
根据所述亮度融合分量和所述色度分量,得到目标彩色图像;
其中,对所述亮度分量和所述黑白图像进行融合,得到亮度融合分量,包括:
获取所述亮度分量的第一高频信息和第一低频信息,获取所述黑白图像的第二高频信息;
对所述第一高频信息和所述第二高频信息进行融合,得到高频融合信息;
对所述第一低频信息和所述高频融合信息进行像素点加和处理,得到所述亮度融合分量。
2.根据权利要求1所述的方法,其特征在于,所述对所述第一低频信息和所述高频融合信息进行像素点加和处理,得到所述亮度融合分量之前,还包括:
对所述高频融合信息进行增强处理,得到增强处理后的高频融合信息;
所述对所述第一低频信息和所述高频融合信息进行像素点加和处理,得到所述亮度融合分量,包括:
对所述第一低频信息和所述增强处理后的高频融合信息进行像素点加和处理,得到所述亮度融合分量。
3.根据权利要求1至2任一项所述的方法,其特征在于,所述获取所述彩色图像的亮度分量和色度分量之前,还包括:
根据所述黑白图像对所述彩色图像进行亮度校正处理,得到亮度校正后的彩色图像;
所述获取所述彩色图像的亮度分量和色度分量,包括:
获取所述亮度校正后的彩色图像的亮度分量和色度分量。
4.根据权利要求1至2任一项所述的方法,其特征在于,所述根据所述亮度融合分量和所述色度分量,得到目标彩色图像之前,还包括:
对所述色度分量进行降噪处理,得到降噪处理后的色度分量;
所述根据所述亮度融合分量和所述色度分量,得到目标彩色图像,包括:
根据所述亮度融合分量和所述降噪处理后的色度分量,得到目标彩色图像。
5.一种终端的图像处理装置,其特征在于,所述终端包括黑白摄像头和彩色摄像头,所述黑白摄像头和所述彩色摄像头并排设置,所述装置包括:
输入图像获取模块,用于接收拍摄指令,根据所述拍摄指令控制所述黑白摄像头和所述彩色摄像头同时拍摄当前场景,得到所述当前场景的黑白图像和彩色图像;
分量获取模块,用于获取所述彩色图像的亮度分量和色度分量;
融合模块,用于对所述亮度分量和所述黑白图像进行融合,得到亮度融合分量;
目标彩色图像获取模块,用于根据所述亮度融合分量和所述色度分量,得到目标彩色图像;
其中,所述融合模块包括:
高频信息获取单元,用于获取所述亮度分量的第一高频信息和第一低频信息,获取所述黑白图像的第二高频信息;
高频融合信息获取单元,用于对所述第一高频信息和所述第二高频信息进行融合,得到高频融合信息;
亮度融合分量获取单元,用于对所述第一低频信息和所述高频融合信息进行像素点加和处理,得到所述亮度融合分量。
6.根据权利要求5所述的装置,其特征在于,所述融合模块,还包括:
增强单元,用于对所述高频融合信息进行增强处理,得到增强处理后的高频融合信息;
所述亮度融合分量获取单元,具体用于对所述第一低频信息和所述增强处理后的高频融合信息进行像素点加和处理,得到所述亮度融合分量。
7.根据权利要求5至6任一项所述的装置,其特征在于,还包括:
亮度校正模块,用于根据所述黑白图像对所述彩色图像进行亮度校正处理,得到亮度校正后的彩色图像;
所述分量获取模块具体用于,获取所述亮度校正后的彩色图像的亮度分量和色度分量。
8.根据权利要求5至6任一项所述的装置,其特征在于,还包括:
降噪模块,用于对所述色度分量进行降噪处理,得到降噪处理后的色度分量;
所述目标彩色图像获取模块具体用于,根据所述亮度融合分量和所述降噪处理后的色度分量,得到目标彩色图像。
9.一种终端,其特征在于,所述终端包括存储器,黑白摄像头、彩色摄像头和处理器,所述黑白摄像头和所述彩色摄像头并排设置;所述存储器包括指令,当所述指令被所述处理器执行时,使得所述终端执行以下操作:
接收拍摄指令,根据所述拍摄指令控制所述黑白摄像头和所述彩色摄像头同时拍摄当前场景,得到所述当前场景的黑白图像和彩色图像;
获取所述彩色图像的亮度分量和色度分量;
对所述亮度分量和所述黑白图像进行融合,得到亮度融合分量;
根据所述亮度融合分量和所述色度分量,得到目标彩色图像;
其中,对所述亮度分量和所述黑白图像进行融合,得到亮度融合分量,包括:
获取所述亮度分量的第一高频信息和第一低频信息,获取所述黑白图像的第二高频信息;
对所述第一高频信息和所述第二高频信息进行融合,得到高频融合信息;
对所述第一低频信息和所述高频融合信息进行像素点加和处理,得到所述亮度融合分量。
10.根据权利要求9所述的终端,其特征在于,当所述指令被所述处理器执行时,使得所述终端还执行以下操作:
对所述高频融合信息进行增强处理,得到增强处理后的高频融合信息;
对所述第一低频信息和所述增强处理后的高频融合信息进行像素点加和处理,得到所述亮度融合分量。
11.根据权利要求9至10任一项所述的终端,其特征在于,当所述指令被所述处理器执行时,使得所述终端还执行以下操作:
根据所述黑白图像对所述彩色图像进行亮度校正处理,得到亮度校正后的彩色图像;获取所述亮度校正后的彩色图像的亮度分量和色度分量。
12.根据权利要求9至10任一项所述的终端,其特征在于,当所述指令被所述处理器执行时,使得所述终端还执行以下操作:对所述色度分量进行降噪处理,得到降噪处理后的色度分量;
根据所述亮度融合分量和所述降噪处理后的色度分量,得到目标彩色图像。
13.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,存储有一个或多个程序,所述一个或多个程序包括指令,所述指令当被包括摄像头和多个应用程序的便携式电子设备执行时,使所述便携式电子设备执行权利要求1至4中任一项所述方法;其中,所述摄像头包括黑白摄像头和彩色摄像头。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2016/076017 WO2017152402A1 (zh) | 2016-03-09 | 2016-03-09 | 终端的图像处理方法、装置和终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107534735A CN107534735A (zh) | 2018-01-02 |
CN107534735B true CN107534735B (zh) | 2019-05-03 |
Family
ID=59789996
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680025593.4A Active CN107534735B (zh) | 2016-03-09 | 2016-03-09 | 终端的图像处理方法、装置和终端 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10645268B2 (zh) |
EP (1) | EP3416369B1 (zh) |
CN (1) | CN107534735B (zh) |
WO (1) | WO2017152402A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112907704B (zh) * | 2021-02-04 | 2024-04-12 | 浙江大华技术股份有限公司 | 一种图像融合方法、计算机设备以及装置 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106993136B (zh) * | 2017-04-12 | 2021-06-15 | 深圳市知赢科技有限公司 | 移动终端及其基于多摄像头的图像降噪方法和装置 |
CN108389165B (zh) * | 2018-02-02 | 2022-06-21 | 成都西纬科技有限公司 | 一种图像去噪方法、装置、终端***和存储器 |
KR102571243B1 (ko) * | 2018-02-20 | 2023-08-25 | 삼성디스플레이 주식회사 | 색채측정 장치 및 방법 |
CN108717691B (zh) * | 2018-06-06 | 2022-04-15 | 成都西纬科技有限公司 | 一种图像融合方法、装置、电子设备及介质 |
CN110876016B (zh) * | 2018-08-31 | 2021-03-16 | 珠海格力电器股份有限公司 | 图像处理方法、装置和存储介质 |
WO2020090154A1 (ja) * | 2018-10-29 | 2020-05-07 | パナソニックIpマネジメント株式会社 | 情報提示方法、情報提示装置、及び、情報提示システム |
JP7374600B2 (ja) * | 2019-03-22 | 2023-11-07 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
CN112822465B (zh) * | 2019-11-15 | 2023-06-16 | 北京小米移动软件有限公司 | 一种终端设备及图像处理方法 |
CN111866476B (zh) * | 2020-08-31 | 2023-04-07 | 维沃移动通信有限公司 | 图像拍摄方法、装置及电子设备 |
CN112801908B (zh) * | 2021-02-05 | 2022-04-22 | 深圳技术大学 | 图像去噪方法、装置、计算机设备和存储介质 |
CN113129400B (zh) * | 2021-03-17 | 2023-02-24 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备和可读存储介质 |
CN113240609A (zh) * | 2021-05-26 | 2021-08-10 | Oppo广东移动通信有限公司 | 图像去噪方法、装置及存储介质 |
CN113409205B (zh) * | 2021-06-10 | 2023-11-24 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与电子设备 |
CN113271393B (zh) * | 2021-07-19 | 2021-10-15 | 浙江华睿科技股份有限公司 | 一种多波段的平场校正方法、装置及计算机可读介质 |
CN115908210A (zh) * | 2021-08-05 | 2023-04-04 | 中兴通讯股份有限公司 | 图像处理方法、电子设备、计算机可读存储介质 |
CN116156334A (zh) * | 2023-02-28 | 2023-05-23 | 维沃移动通信有限公司 | 拍摄方法、装置、电子设备和可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6788338B1 (en) * | 2000-11-20 | 2004-09-07 | Petko Dimitrov Dinev | High resolution video camera apparatus having two image sensors and signal processing |
CN103595982A (zh) * | 2013-11-07 | 2014-02-19 | 天津大学 | 基于灰度和彩色两颗传感器的彩色图像采集装置 |
CN103986875A (zh) * | 2014-05-29 | 2014-08-13 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像获取装置、方法、终端及视频获取方法 |
CN104363375A (zh) * | 2014-11-28 | 2015-02-18 | 广东欧珀移动通信有限公司 | 一种照片降噪的方法、装置及终端 |
CN105049718A (zh) * | 2015-07-06 | 2015-11-11 | 深圳市金立通信设备有限公司 | 一种图像处理方法及终端 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101527033A (zh) | 2008-03-04 | 2009-09-09 | 河海大学 | 超分辨率重建和自动配准的工业ccd彩色成像*** |
CN101493893B (zh) | 2008-12-11 | 2012-01-11 | 中山大学 | 一种图像数据融合方法 |
JP5816015B2 (ja) * | 2011-07-15 | 2015-11-17 | 株式会社東芝 | 固体撮像装置及びカメラモジュール |
WO2013079778A2 (en) * | 2011-12-02 | 2013-06-06 | Nokia Corporation | Method, apparatus and computer program product for capturing images |
JP2013183353A (ja) * | 2012-03-02 | 2013-09-12 | Toshiba Corp | 画像処理装置 |
JP2015197745A (ja) * | 2014-03-31 | 2015-11-09 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
US9344639B2 (en) * | 2014-08-12 | 2016-05-17 | Google Technology Holdings LLC | High dynamic range array camera |
EP3358295B1 (en) * | 2015-09-28 | 2020-10-07 | Kyocera Corporation | Image processing device, stereo camera device, vehicle, and image processing method |
-
2016
- 2016-03-09 US US16/083,428 patent/US10645268B2/en active Active
- 2016-03-09 CN CN201680025593.4A patent/CN107534735B/zh active Active
- 2016-03-09 WO PCT/CN2016/076017 patent/WO2017152402A1/zh active Application Filing
- 2016-03-09 EP EP16893053.5A patent/EP3416369B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6788338B1 (en) * | 2000-11-20 | 2004-09-07 | Petko Dimitrov Dinev | High resolution video camera apparatus having two image sensors and signal processing |
CN103595982A (zh) * | 2013-11-07 | 2014-02-19 | 天津大学 | 基于灰度和彩色两颗传感器的彩色图像采集装置 |
CN103986875A (zh) * | 2014-05-29 | 2014-08-13 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像获取装置、方法、终端及视频获取方法 |
CN104363375A (zh) * | 2014-11-28 | 2015-02-18 | 广东欧珀移动通信有限公司 | 一种照片降噪的方法、装置及终端 |
CN105049718A (zh) * | 2015-07-06 | 2015-11-11 | 深圳市金立通信设备有限公司 | 一种图像处理方法及终端 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112907704B (zh) * | 2021-02-04 | 2024-04-12 | 浙江大华技术股份有限公司 | 一种图像融合方法、计算机设备以及装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3416369A4 (en) | 2019-02-27 |
CN107534735A (zh) | 2018-01-02 |
US20190098188A1 (en) | 2019-03-28 |
US10645268B2 (en) | 2020-05-05 |
EP3416369B1 (en) | 2020-10-28 |
EP3416369A1 (en) | 2018-12-19 |
WO2017152402A1 (zh) | 2017-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107534735B (zh) | 终端的图像处理方法、装置和终端 | |
CN108055452A (zh) | 图像处理方法、装置及设备 | |
CN105554483B (zh) | 一种图像处理方法及终端 | |
CN103517046B (zh) | 用于捕获视频内容的方法、装置和计算机程序产品 | |
CN104639923B (zh) | 一种对图像数据进行处理的方法、装置和终端 | |
CN108712608A (zh) | 终端设备拍摄方法和装置 | |
CN107534727A (zh) | 图像处理装置、摄像装置、图像处理方法及图像处理程序 | |
CN103688536B (zh) | 图像处理装置、图像处理方法 | |
CN108024054A (zh) | 图像处理方法、装置及设备 | |
CN110490811B (zh) | 图像降噪装置及图像降噪方法 | |
CN107431760A (zh) | 摄像装置、摄像装置的图像处理方法以及程序 | |
CN104969545B (zh) | 图像处理装置、摄像装置、图像处理方法以及程序 | |
CN108154514A (zh) | 图像处理方法、装置及设备 | |
CN108205796A (zh) | 一种多曝光图像的融合方法及装置 | |
CN108717691B (zh) | 一种图像融合方法、装置、电子设备及介质 | |
CN106570850B (zh) | 一种图像融合方法 | |
CN110493532A (zh) | 一种图像处理方法和*** | |
CN107534733A (zh) | 摄像装置、该摄像装置的图像处理方法及程序 | |
CN107967668A (zh) | 一种图像处理方法及装置 | |
JP2016503624A (ja) | 画像処理方法および装置ならびにイメージングデバイス | |
CN110493583A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN108370422A (zh) | 利用单个矩阵传感器采集可见和近红外图像的***和方法 | |
CN113676629B (zh) | 图像传感器、图像采集装置、图像处理方法及图像处理器 | |
CN108156369A (zh) | 图像处理方法和装置 | |
CN108122201A (zh) | 一种拜耳插值拉链效应去除方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |