CN111899178A - 图像处理方法、图像处理***、电子设备及可读存储介质 - Google Patents
图像处理方法、图像处理***、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN111899178A CN111899178A CN202010833968.8A CN202010833968A CN111899178A CN 111899178 A CN111899178 A CN 111899178A CN 202010833968 A CN202010833968 A CN 202010833968A CN 111899178 A CN111899178 A CN 111899178A
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- converted
- color
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims description 86
- 239000011159 matrix material Substances 0.000 claims description 80
- 238000006243 chemical reaction Methods 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 36
- 230000004044 response Effects 0.000 claims description 27
- 230000003595 spectral effect Effects 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 17
- 230000002146 bilateral effect Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 40
- 230000000875 corresponding effect Effects 0.000 description 27
- 230000008569 process Effects 0.000 description 13
- 230000003321 amplification Effects 0.000 description 11
- 238000003199 nucleic acid amplification method Methods 0.000 description 11
- 238000009792 diffusion process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本申请公开了一种图像处理方法、图像处理***、电子设备及计算机可读存储介质。图像处理方法包括像素阵列曝光得到第一图像。第一图像包括全色图像像素、第一颜色图像像素、第二颜色图像像素及第三颜色图像像素;对第一图像中的全色图像像素进行处理以转换成第一颜色图像像素,以获得第二图像;对第二图像中的第二颜色图像像素及第三颜色图像像素成进行处理以转换成第一颜色图像像素,以获得第三图像;根据第一图像对第三图像进行处理,以获得第二颜色中间图像及第三颜色中间图像;及融合第三图像、第二颜色中间图像及第三颜色中间图像以获得目标图像,目标图像包含多个彩色图像像素,多个彩色图像像素呈拜耳阵列排布。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像处理方法、图像处理***、电子设备及可读存储介质。
背景技术
手机等电子设备中可以设置有摄像头以实现拍照功能。摄像头内可以设置用于接收光线的图像传感器。图像传感器中可以设置有滤光片阵列。为了提高手机等电子设备获取图像的清晰度及信噪比,会在滤光片阵列中增加全色感光像素,以此增加图像传感器的进光量提高图像质量。但在图像处理过程中,图像处理器不能直接对非拜耳阵列排列的图像直接处理。
发明内容
本申请实施方式提供了一种图像处理方法、图像处理***、电子设备及计算机可读存储介质。
本申请实施方式提高一种用于图像传感器的图像处理方法。所述图像传感器包括像素阵列,所述像素阵列包括多个全色感光像素及多个彩色感光像素。所述彩色感光像素包括具有不同光谱响应的第一颜色感光像素、第二颜色感光像素及第三颜色感光像素,所述彩色感光像素具有比所述全色感光像素更窄的光谱响应,且所述第二颜色感光像素及第三颜色感光像素均具有比第一颜色感光像素更窄的光谱响应。所述图像处理方法包括:所述像素阵列曝光得到第一图像,所述第一图像包括由所述全色感光像素生成的全色图像像素、由第一颜色感光像素生成的第一颜色图像像素、由第二颜色感光像素生成的第二颜色图像像素及由第三颜色感光像素生成的第三颜色图像像素;对所述第一图像中的所述全色图像像素进行处理以转换成第一颜色图像像素,以获得第二图像;对所述第二图像中的所述第二颜色图像像素及所述第三颜色图像像素成进行处理以转换成第一颜色图像像素,以获得第三图像;根据所述第一图像对所述第三图像进行处理,以获得第二颜色中间图像及第三颜色中间图像,所述第二颜色中间图像包含所述第二颜色图像像素,第三颜色中间图像包含所述第三颜色图像像素;及融合所述第三图像、所述第二颜色中间图像及所述第三颜色中间图像以获得目标图像,所述目标图像包含多个彩色图像像素,多个所述彩色图像像素呈拜耳阵列排布。
本申请实施方式提高一种图像处理***。所述图像处理***包括图像传感器及处理器。所述图像传感器包括像素阵列,所述像素阵列包括多个全色感光像素及多个彩色感光像素。所述彩色感光像素包括具有不同光谱响应的第一颜色感光像素、第二颜色感光像素及第三颜色感光像素,所述彩色感光像素具有比所述全色感光像素更窄的光谱响应,且所述第二颜色感光像素及第三颜色感光像素均具有比第一颜色感光像素更窄的光谱响应。所述像素阵列曝光得到第一图像,所述第一图像包括由所述全色感光像素生成的全色图像像素、由第一颜色感光像素生成的第一颜色图像像素、由第二颜色感光像素生成的第二颜色图像像素及由第三颜色感光像素生成的第三颜色图像像素。所述处理器用于对所述第一图像中的所述全色图像像素进行处理以转换成第一颜色图像像素,以获得第二图像;对所述第二图像中的所述第二颜色图像像素及所述第三颜色图像像素成进行处理以转换成第一颜色图像像素,以获得第三图像;根据所述第一图像对所述第三图像进行处理,以获得第二颜色中间图像及第三颜色中间图像,所述第二颜色中间图像包含所述第二颜色图像像素,第三颜色中间图像包含所述第三颜色图像像素;及融合所述第三图像、所述第二颜色中间图像及所述第三颜色中间图像以获得目标图像,所述目标图像包含多个彩色图像像素,多个所述彩色图像像素呈拜耳阵列排布。
本申请实施方式提供一种电子设备。所述电子设备包括镜头、壳体及上述的图像处理***。所述镜头、所述图像处理***与所述壳体结合,所述镜头与所述图像处理***的图像传感器配合成像。
本申请实施方式提供一种包含计算机程序的非易失性计算机可读存储介质。所述计算机程序被处理器执行时,使得所述处理器执行上述的图像处理方法。
本申请实施方式的图像处理方法、图像处理***、电子设备及计算机可读存储介质通过在像素阵列中增加全色感光像素,并将全色图像像素插值转换为光谱响应较宽的彩色图像像素以获得第二图像,再对第二图像进行后续处理以获得呈拜耳阵列排布的目标图像。如此,解决了图像处理器不能直接对图像像素呈非拜耳阵列排布的图像进行处理的问题,同时由于像素阵列中增加了全色感光像素,能够提高最终获得的图像的解析能力及信噪比,从而可以提升夜晚下的拍照效果。
本申请实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本申请实施方式的一种图像处理方法的流程示意图;
图2是本申请实施方式的一种图像处理***的结构示意图;
图3是本申请实施方式的一种像素阵列的示意图;
图4是本申请实施方式的一种感光像素的截面示意图;
图5是本申请实施方式的一种感光像素的像素电路图;
图6是本申请实施方式的一种像素阵列中最小重复单元的排布示意图;
图7是本申请实施方式的又像素阵列中最小重复单元的排布示意图;
图8是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图;
图9是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图;
图10是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图;
图11是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图;
图12是本申请实施方式的又一种图像处理方法的流程示意图;
图13是本申请实施方式的一种将全色图像像素转换为第一颜色图像像素示意图;
图14是本申请实施方式的又一种将全色图像像素转换为第一颜色图像像素示意图;
图15是本申请实施方式的又一种图像处理方法的流程示意图;
图16是本申请实施方式的又一种图像处理方法的流程示意图;
图17是本申请实施方式的一种获取特征方向的示意图;
图18是本申请实施方式的又一种将全色图像像素转换为第一颜色图像像素示意图;
图19是本申请实施方式的又一种将全色图像像素转换为第一颜色图像像素示意图;
图20是本申请实施方式的又一种图像处理方法的流程示意图;
图21是本申请实施方式的又一种将全色图像像素转换为第一颜色图像像素示意图;
图22是本申请实施方式的又一种将全色图像像素转换为第一颜色图像像素示意图;
图23是本申请实施方式的又一种图像处理方法的流程示意图;
图24是本申请实施方式的又一种将全色图像像素转换为第一颜色图像像素示意图;
图25是本申请实施方式的又一种将全色图像像素转换为第一颜色图像像素示意图;
图26是本申请实施方式的又一种图像处理方法的流程示意图;
图27是本申请实施方式的又一种将全色图像像素转换为第一颜色图像像素示意图;
图28是本申请实施方式的一种第五权值矩阵示意图;
图29是本申请实施方式的一种第一图像转换为第三图像的示意图;
图30是本申请实施方式的又一种图像处理方法的流程示意图;
图31是本申请实施方式的又一种将第二颜色图像像素转换为第一颜色图像像素示意图;
图32是本申请实施方式的又一种图像处理方法的流程示意图;
图33是本申请实施方式的又一种图像处理方法的流程示意图;
图34是本申请实施方式的又一种图像处理方法的流程示意图;
图35是本申请实施方式的一种根据第一图像及第三图像获取第二颜色中间图像及第三颜色中间图像示意图;
图36是本申请实施方式的又一种图像处理方法的流程示意图;
图37至图38是本申请实施方式的又一种根据第一图像及第三图像获取第二颜色中间图像及第三颜色中间图像示意图;
图39是本申请实施方式的一种第三图像、第二颜色中间图像及第三颜色中间图像融合示意图;
图40本申请实施方式的一种电子设备的结构示意图;
图41是本申请实施方式的一种非易失性计算机可读存储介质与处理器的交互示意图。
具体实施方式
下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申请的实施方式的限制。
请参阅图1及图3,本申请提供一种用于图像传感器10的图像处理方法。图像传感器10包括像素阵列11,像素阵列11包括多个全色感光像素W和多个彩色感光像素。彩色感光像素包括具有不同光谱响应的第一颜色感光像素A、第二颜色感光像素B及第三颜色感光像素C,彩色感光像素具有比全色感光像素W更窄的光谱响应,且第二颜色感光像素B及第三颜色感光像素C均具有比第一颜色感光像素A更窄的光谱响应。图像处理方法包括:
01:像素阵列11曝光得到第一图像,第一图像包括由全色感光像素生成的全色图像像素、由第一颜色感光像素生成的第一颜色图像像素、由第二颜色感光像素生成的第二颜色图像像素及由第三颜色感光像素生成的第三颜色图像像素;
02:对第一图像中的全色图像像素进行处理以转换成第一颜色图像像素,以获得第二图像;
03:对第二图像中的第二颜色图像像素及第三颜色图像像素成进行处理以转换成第一颜色图像像素,以获得第三图像;
04:根据第一图像对第三图像进行处理,以获得第二颜色中间图像及第三颜色中间图像,第二颜色中间图像包含第二颜色图像像素,第三颜色中间图像包含第三颜色图像像素:及
05:融合第三图像、第二颜色中间图像及第三颜色中间图像以获得目标图像,目标图像包含多个彩色图像像素,多个彩色图像像素呈拜耳阵列排布。
请结合图1及图2,本申请还提供一种图像处理***100。图像处理***100包括图像传感器10及处理器20。图像传感器10包括像素阵列11(图3所示),像素阵列11包括多个全色感光像素W和多个彩色感光像素。彩色感光像素包括具有不同光谱响应的第一颜色感光像素A、第二颜色感光像素B及第三颜色感光像素C,彩色感光像素具有比全色感光像素W更窄的光谱响应,且第二颜色感光像素B及第三颜色感光像素C均具有比第一颜色感光像素A更窄的光谱响应。步骤01由图像传感器10实现,步骤02、步骤03、步骤04及步骤05均由处理器20实现。也即是说,图像处理器10用于控制像素阵列11曝光得到第一图像,第一图像包括由全色感光像素W生成的全色图像像素、由第一颜色感光像素A生成的第一颜色图像像素A、由第二颜色感光像素B生成的第二颜色图像像素B及由第三颜色感光像素C生成的第三颜色图像像素C,处理器20用于对第一图像中的全色图像像素W进行处理以转换成第一颜色图像像素A,以获得第二图像;对第二图像中的第二颜色图像像素B及第三颜色图像像素C成进行处理以转换成第一颜色图像像素A,以获得第三图像;根据第一图像对第三图像进行处理,以获得第二颜色中间图像及第三颜色中间图像,第二颜色中间图像包含第二颜色图像像素B,第三颜色中间图像包含第三颜色图像像素C:及融合第三图像、第二颜色中间图像及第三颜色中间图像以获得目标图像,目标图像包含多个彩色图像像素,多个彩色图像像素呈拜耳阵列排布。
本申请实施方式的图像处理方法、图像处理***100、电子设备1000及计算机可读存储介质400通过在在像素阵列11中增加全色感光像素W,将全色图像像素W插值转换为光谱响应较宽的彩色图像像素,以获得第二图像,再对第二图像进行后续处理以获得呈拜耳阵列排布的目标图像。如此,解决了图像处理器不能直接对图像像素呈非拜耳阵列排布的图像进行处理的问题,同时由于像素阵列11中增加了全色感光像素W,能够提高最终获得的图像的解析能力及信噪比,从而可以提升夜晚下的拍照效果。
图3是本申请实施方式中的图像传感器10的示意图。图像传感器10包括像素阵列11、垂直驱动单元12、控制单元13、列处理单元14和水平驱动单元15。
例如,图像传感器10可以采用互补金属氧化物半导体(CMOS,ComplementaryMetal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD,Charge-coupled Device)感光元件。
例如,像素阵列11包括以阵列形式二维排列(即二维矩阵形式排布)的多个感光像素110(图4所示),每个感光像素110包括光电转换元件1111(图5所示)。每个感光像素110根据入射在其上的光的强度将光转换为电荷。
例如,垂直驱动单元12包括移位寄存器和地址译码器。垂直驱动单元12包括读出扫描和复位扫描功能。读出扫描是指顺序地逐行扫描单位感光像素110,从这些单位感光像素110逐行地读取信号。例如,被选择并被扫描的感光像素行中的每一感光像素110输出的信号被传输到列处理单元14。复位扫描用于复位电荷,光电转换元件的光电荷被丢弃,从而可以开始新的光电荷的积累。
例如,由列处理单元14执行的信号处理是相关双采样(CDS)处理。在CDS处理中,取出从所选感光像素行中的每一感光像素110输出的复位电平和信号电平,并且计算电平差。因而,获得了一行中的感光像素110的信号。列处理单元14可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。
例如,水平驱动单元15包括移位寄存器和地址译码器。水平驱动单元15顺序逐列扫描像素阵列11。通过水平驱动单元15执行的选择扫描操作,每一感光像素列被列处理单元14顺序地处理,并且被顺序输出。
例如,控制单元13根据操作模式配置时序信号,利用多种时序信号来控制垂直驱动单元12、列处理单元14和水平驱动单元15协同工作。
图4是本申请实施方式中一种感光像素110的示意图。感光像素110包括像素电路111、滤光片112、及微透镜113。沿感光像素110的收光方向,微透镜113、滤光片112、及像素电路111依次设置。微透镜113用于汇聚光线,滤光片112用于供某一波段的光线通过并过滤掉其余波段的光线。像素电路111用于将接收到的光线转换为电信号,并将生成的电信号提供给图3所示的列处理单元14。
图5是本申请实施方式中一种感光像素110的像素电路111的示意图。图5中像素电路111可应用在图3所示的像素阵列11内的每个感光像素110(图4所示)中。下面结合图3至图5对像素电路111的工作原理进行说明。
如图5所示,像素电路111包括光电转换元件1111(例如,光电二极管)、曝光控制电路(例如,转移晶体管1112)、复位电路(例如,复位晶体管1113)、放大电路(例如,放大晶体管1114)和选择电路(例如,选择晶体管1115)。在本申请的实施例中,转移晶体管1112、复位晶体管1113、放大晶体管1114和选择晶体管1115例如是MOS管,但不限于此。
例如,光电转换元件1111包括光电二极管,光电二极管的阳极例如连接到地。光电二极管将所接收的光转换为电荷。光电二极管的阴极经由曝光控制电路(例如,转移晶体管1112)连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管1114的栅极、复位晶体管1113的源极连接。
例如,曝光控制电路为转移晶体管1112,曝光控制电路的控制端TG为转移晶体管1112的栅极。当有效电平(例如,VPIX电平)的脉冲通过曝光控制线传输到转移晶体管1112的栅极时,转移晶体管1112导通。转移晶体管1112将光电二极管光电转换的电荷传输到浮动扩散单元FD。
例如,复位晶体管1113的漏极连接到像素电源VPIX。复位晶体管113的源极连接到浮动扩散单元FD。在电荷被从光电二极管转移到浮动扩散单元FD之前,有效复位电平的脉冲经由复位线传输到复位晶体管113的栅极,复位晶体管113导通。复位晶体管113将浮动扩散单元FD复位到像素电源VPIX。
例如,放大晶体管1114的栅极连接到浮动扩散单元FD。放大晶体管1114的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管1113复位之后,放大晶体管1114经由选择晶体管1115通过输出端OUT输出复位电平。在光电二极管的电荷被转移晶体管1112转移之后,放大晶体管1114经由选择晶体管1115通过输出端OUT输出信号电平。
例如,选择晶体管1115的漏极连接到放大晶体管1114的源极。选择晶体管1115的源极通过输出端OUT连接到图3中的列处理单元14。当有效电平的脉冲通过选择线被传输到选择晶体管1115的栅极时,选择晶体管1115导通。放大晶体管1114输出的信号通过选择晶体管1115传输到列处理单元14。
需要说明的是,本申请实施例中像素电路111的像素结构并不限于图5所示的结构。例如,像素电路111也可以具有三晶体管像素结构,其中放大晶体管1114和选择晶体管1115的功能由一个晶体管完成。例如,曝光控制电路也不局限于单个转移晶体管1112的方式,其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路,本申请实施方式中的单个转移晶体管1112的实施方式简单、成本低、易于控制。
具体地,例如,图6为本申请一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。
其中,最小重复单元为4行4列16个感光像素110,子单元为2行2列4个感光像素110。排布方式为:
其中,W表示全色感光像素;A表示多个彩色感光像素中的第一颜色感光像素;B表示多个彩色感光像素中的第二颜色感光像素;C表示多个彩色感光像素中的第三颜色感光像素。
例如,如图6所示,全色像素W设置在第一对角线方向D1(即图6中左上角和右下角连接的方向),彩色像素设置在第二对角线方向D2(例如图6中左下角和右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同。
需要说明的是,第一对角线方向D1和第二对角线方向D2并不局限于对角线,还包括平行于对角线的方向,下文图7至图11中对第一对角线方向D1及第二对角线方向D2的解释与此处相同。这里的“方向”并非单一指向,可以理解为指示排布的“直线”的概念,可以有直线两端的双向指向。
需要理解的是,此处以及下文中的术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
例如,图7为本申请一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。其中,最小重复单元为4行4列16个感光像素110,子单元为2行2列4个感光像素110。排布方式为:
其中,W表示全色感光像素;A表示多个彩色感光像素中的第一颜色感光像素;B表示多个彩色感光像素中的第二颜色感光像素;C表示多个彩色感光像素中的第三颜色感光像素。
例如,如图7所示,全色像素W设置在第一对角线方向D1(即图7中右上角和左下角连接的方向),彩色像素设置在第二对角线方向D2(例如图7中左上角和右下角连接的方向)。例如,第一对角线和第二对角线垂直。
例如,图8为本申请一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。其中,最小重复单元为6行6列36个感光像素110,子单元为2行2列4个感光像素110。排布方式为:
其中,W表示全色感光像素;A表示多个彩色感光像素中的第一颜色感光像素;B表示多个彩色感光像素中的第二颜色感光像素;C表示多个彩色感光像素中的第三颜色感光像素。
例如,如图8所示,全色像素W设置在第一对角线方向D1(即图8中左上角和右下角连接的方向),彩色像素设置在第二对角线方向D2(例如图8中左下角和右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同。
例如,图9为本申请一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。其中,最小重复单元为6行6列36个感光像素110,子单元为2行2列4个感光像素110。排布方式为:
其中,W表示全色感光像素;A表示多个彩色感光像素中的第一颜色感光像素;B表示多个彩色感光像素中的第二颜色感光像素;C表示多个彩色感光像素中的第三颜色感光像素。
例如,如图9所示,全色像素W设置在第一对角线方向D1(即图9中右上角和左下角连接的方向),彩色像素设置在第二对角线方向D2(例如图9中左上角和右下角连接的方向)。例如,第一对角线和第二对角线垂直。
例如,图10为本申请一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。其中,最小重复单元为8行8列64个感光像素110,子单元为2行2列4个感光像素110。排布方式为:
其中,W表示全色感光像素;A表示多个彩色感光像素中的第一颜色感光像素;B表示多个彩色感光像素中的第二颜色感光像素;C表示多个彩色感光像素中的第三颜色感光像素。
例如,如图10所示,全色像素W设置在第一对角线方向D1(即图10中左上角和右下角连接的方向),彩色像素设置在第二对角线方向D2(例如图10中左下角和右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同。
例如,图11为本申请一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。其中,最小重复单元为8行8列64个感光像素110,子单元为2行2列4个感光像素110。排布方式为:
其中,W表示全色感光像素;A表示多个彩色感光像素中的第一颜色感光像素;B表示多个彩色感光像素中的第二颜色感光像素;C表示多个彩色感光像素中的第三颜色感光像素。
例如,如图11所示,全色像素W设置在第一对角线方向D1(即图11中右上角和左下角连接的方向),彩色像素设置在第二对角线方向D2(例如图11中左上角和右下角连接的方向)。例如,第一对角线和第二对角线垂直。
例如,如图6至图11所示的最小重复单元中,第一颜色感光像素A可以为绿色感光像素G;第二颜色感光像素B可以为红色感光像素R;第三颜色感光像素C可以为蓝色感光像素Bu。
例如,如图6至图11所示的最小重复单元中,第一颜色感光像素A可以为黄色感光像素Y;第二颜色感光像素B可以为红色感光像素R;第三颜色感光像素C可以为蓝色感光像素Bu。
例如,如图6至图11所示的最小重复单元中,第一颜色感光像素A可以为青色感光像素Cy,第二颜色感光像素B可以为品红色感光像素M;第三颜色感光像素C可以为黄色感光像素Y。
需要说明的是,在一些实施例中,全色感光像素W的响应波段可为可见光波段(例如,400nm-760nm)。例如,全色感光像素W上设置有红外滤光片,以实现红外光的滤除。在另一些实施例中,全色感光像素W的响应波段为可见光波段和近红外波段(例如,400nm-1000nm),与图像传感器10(图2所示)中的光电转换元件1111(图5所示)的响应波段相匹配。例如,全色感光像素W可以不设置滤光片或者设置可供所有波段的光线通过的滤光片,全色感光像素W的响应波段由光电转换元件1111的响应波段确定,即两者相匹配。本申请的实施例包括但不局限于上述波段范围。
为了方便说明,以下实施例均以第一单颜色感光像素A为绿色感光像素G,第二单颜色感光B为红色感光像素R,第三单颜色感光像素为蓝色感光像素Bu进行说明。
请参阅图17,在某些实施方式中,控制单元13(图3所示)控制像素阵列11(图3所示)曝光,以获得第一图像。其中第一图像包括由全色感光像素W生成的全色图像像素W、有第一颜色感光像素A生成的第一颜色图像像素A、有第二颜色感光像素B生成的第二颜色图像像素B、及由第三颜色感光像素C生成的第三颜色图像像素C。在像素阵列11曝光后,处理器20获取其曝光后获得的第一图像,并对第一图像中的全色图像像素W、第一颜色图像像素A、第二颜色图像像素B及第三颜色图像像素C进行后续处理,以获得目标图像。
具体地,请参阅图12,步骤02:对第一图像中的全色图像像素进行处理以转换成第一颜色图像像素,以获得第二图像包括:
0201:判断待转换的全色图像像素是否在平坦区;
0202:在待转换的全色图像像素在平坦区时,预设以待转换的全色图像像素为中心的第一计算窗口;
0203:获取第一计算窗口内所有像素的像素值;及
0204:根据第一计算窗口内所有像素的像素值、待转换的全色图像像素的像素值、预设的第一权值矩阵、预设的第二权值矩阵以获取待转换的全色图像像素转换成第一颜色图像像素后的像素值。
请结合图2及图12,步骤0201、步骤0202、步骤0203及步骤0204均可以由处理器20实现。也即是说,处理器20还用于:判断待转换的全色图像像素W0是否在平坦区;在待转换的全色图像像素W0在平坦区时,预设以待转换的全色图像像素W0为中心的第一计算窗口C1;获取第一计算窗口C1内所有像素的像素值;及根据第一计算窗口C1内所有像素的像素值、待转换的全色图像像素W0的像素值、预设的第一权值矩阵N1、预设的第二权值矩阵N2以获取待转换的全色图像像素W0转换成第一颜色图像像素A0后的像素值。
在一些实施例中,可以通过预设以待测全色图像像素W为中心的检测窗口,计算检测窗口内的多个图像像素的像素值的标准差,若其标准差大于预设值则认定该待转换全色图像像素W0不在平坦区,即认定该待转换全色图像像素W0在非平坦区;若其标准差小于预设值则认定该待转换全色图像像素W0在平坦区。在一些实施例子,也可以通过计算检测窗口内的多个图像像素的像素值的方差来判断待转换的全色图像像素W0是否在平坦区,若其方差大于预设值则认定该待转换全色图像像素W0不在平坦区,即认定该待转换全色图像像素W0在非平坦区;若其方差小于预设值则认定该待转换全色图像像素W0在平坦区。当然,也可以通过其他方法来判断待转换的全色图像像素W0是否在平坦区,在此不再一一例举。
请参阅图2、图13及图14,当在转换的全色像素W0在平坦区时,预设以待转换的全色图像像素W0为中心的第一计算窗口C1,并获取第一计算窗口C1内所有像素的像素值。例如,假设第一计算窗口C1为7×7大小的窗口,此时,将待转换的全色图像像素W0置于第一计算窗口C1的中心位置后,即待转换的全色图像像素W0置于第一计算窗口C1的第3行第3列,获取计算窗口C1内所有图像像素的像素值。需要说明的是,第一计算窗口C1是虚拟的计算窗口,并不是实际存在的结构;并且第一计算窗口C1的大小可以根据实际需要任意更改,下文中提及的所有计算窗口均是如此,在此不再赘述。
当处理器20预设第一计算窗口C1并获取到第一计算窗口C1内所有像素值后,处理器20根据第一计算窗口C1内所有像素值、预设第一权值矩阵N1及预设第二权值矩阵N2可获得第一转换值M1及第二转换值M2。具体地,第一转换值M1可通过计算公式M1=sum(sum(I×N1)×sum(N2))获得,其中I表示第一计算窗口C1内各个图像像素的像素值。也即是说,第一计算窗口C1内每一个图像像素的像素值乘以预设的第一权值矩阵N1内对应位置的数值后获得多个新像素值,将多个新像素值相加后乘预设的第二权值矩阵N2内所有数值的总和,以获得第一转换值M1。第二转换值M2可通过计算公式M2=sum(sum(I×N2)×sum(N1))获得,其中I表示第一计算窗口C1内各个图像像素的像素值。也即是说,第一计算窗口C1内每一个图像像素的像素值乘以预设的第二权值矩阵N2内对应位置的数值后获得多个新像素值,将多个新像素值相加后乘以预设的第一权值矩阵N1内所有数值的总和,以获得第二转换值M2。
处理器20根据待转换的全色图像像素W0、及第一转换值M1及第二转换值M2,以获取待转换的全色图像像素W0转换成第一颜色图像像素A0后的像素值。具体的,转换后第一颜色图像像素A0的像素值可以通过计算公式A0’=W0’×(M2/M1)获得,其中A0’表示转换后第一颜色图像像素A0的像素值、W0’表示待转换的全色图像像素W0的像素值。也即是说,通过将第二转换值M2除以第一转换值M1获得第一转换系数后,将待转换的全色图像像素W0的像素值乘第一转换系数,以获得转换后第一颜色图像像素A0的像素值。
需要说明的是,在一些实施例中,处理器20是根据与待转换的全色图像像素W0最接近的第一颜色图像像素A1的位置信息,获取预设的第一权值矩阵N1及预设的第二权值矩阵N2,第一权值矩阵N1及第二权值矩阵N2均是与第一计算窗口C1对应的矩阵。并且当与待转换的全色图像像素W0最接近的第一颜色图像像素A1在不同的位置时,预设的第一权值矩阵N1及预设的第二权值矩阵N2也不同。
在一些实施例中,处理器20根据与待转换的全色图像像素W0在同一行,且最接近待转换的全色图像像素W0的第一颜色图像像素A1的列坐标,以获取第一权值矩阵N1及第二权值矩阵N2。例如,若第一颜色图像像素A1的列坐标小于待转换的全色图像像素W0的列坐标,如图13所示,待转换的全色图像像素W0置于第一计算窗口的第3行第3列,最接近待转换的全色图像像素W0的第一颜色图像像素A1在第一计算窗口C1的第3行第2列,即最接近第一颜色图像像素A1在待转换的全色图像像素W0的左侧。此时,预设的第一权值矩阵预设的第二权值矩阵若第一颜色图像像素A1的列坐标大于待转换的全色图像像素W0的列坐标,如图14所示,待转换的全色图像像素W0置于第一计算窗口的第3行第3列,最接近待转换的全色图像像素W0的第一颜色图像像素A1在第一计算窗口C1的第3行第4列,即最接近第一颜色图像像素A1在待转换的全色图像像素W0的右侧。此时,预设的第一权值矩阵预设的第二权值矩阵当然,在一些实施例中,处理器20也可以根据与待转换的全色图像像素W0在同一列,且最接近待转换的全色图像像素W0的第一颜色图像像素A1的行坐标,以获取第一权值矩阵N1及第二权值矩阵N2,在此不作限制。
请参阅图15,步骤02对第一图像中的全色图像像素进行处理以转换成第一颜色图像像素,以获得第二图像还包括:
0201:判断待转换的全色图像像素是否在平坦区;
0205:在全色图像像素在非平坦区时,获取待转换的全色图像像素的特征方向;
0206:在特征方向为第一方向,且在特征方向上最邻近的第一颜色图像像素在待转换的全色图像像素第一侧时,根据待转换的全色图像像素的像素值、在第一侧与待转换的全色图像像素相邻的一个全色图像像素的像素值获取第一偏差,并根据待转换的全色图像像素的像素值、在第二侧与待转换的全色图像像素相邻的两个全色图像像素的像素值获取第二偏差,第一侧与第二侧相背;
0207:根据第一偏差及预设的权重函数获取第一权重,并根据第二偏差及权重函数获取第二权重;及
0208:根据第一权重、第二权重、在第一侧与待转换的全色图像像素最相邻的一个第一颜色图像像素的像素值、在第二侧与待转换的全色图像像素相邻的一个第一颜色图像像素的像素值获取待转换的全色图像像素转换成第一颜色图像像素后的像素值。
请结合图2及图15,步骤0205、步骤0206、步骤0207及步骤0208均可以由处理器20实现。也即是说,处理器20还用于:在全色图像像素W0在非平坦区时,获取待转换的全色图像像素W0的特征方向;在特征方向为第一方向H,且在特征方向上最邻近的第一颜色图像像素A1在待转换的全色图像像素A0第一侧时,根据待转换的全色图像像素A0的像素值、在第一侧与待转换的全色图像像素A0相邻的一个全色图像像素W的像素值获取第一偏差L1,并根据待转换的全色图像像素W0的像素值、在第二侧与待转换的全色图像像素W0相邻的两个全色图像像素W的像素值获取第二偏差L2,第一侧与第二侧相背;根据第一偏差L1及预设的权重函数F(x)获取第一权重F(L1),并根据第二偏差L2及权重函数F(x)获取第二权重F(L2);及根据第一权重F(L1)、第二权重F(L2)、在第一侧与待转换的全色图像像素W0最相邻的一个第一颜色图像像素A的像素值、在第二侧与待转换的全色图像像素W0相邻的一个第一颜色图像像素A的像素值获取待转换的全色图像像素W0转换成第一颜色图像像素A0后的像素值。
其中,判断待转换的全色图像像素W0是否在平坦区的具体实施方法与图12所示的判断待转换的全色图像像素W0是否在平坦区的具体实施方法相同,在此不再赘述。需要注意的是,若待转换全色图像像素W0不在平坦区,即表示待转换全色图像像素W0在非平坦区。
当待转换全色图像像素W0在非平坦区时,获取待转换的全色图像像素W0的特征方向。具体地,请参阅图16,步骤0205还包括:
02051:获取待转换的全色图像像素的多个方向上的梯度值,选择最小的梯度值对应的方向为全色图像像素的特征方向。
请结合图2及图16,步骤02051可以由处理器20实现。也即是说,处理器20还用于获取待转换的全色图像像素W0的多个方向上的梯度值,选择最小的梯度值对应的方向为全色图像像素W0的特征方向。
具体地,请参阅图17,处理器20分别获取待转换的全色图像像素沿第一方向H、第二方向V及第三方向E的梯度值,选择最小的梯度值对应的方向为全色图像像素的特征方向。其中,第一方向H包括行方向H1及列方向H2;第二方向V与第一方向H之间存在夹角,且第二方向V是眼第一图像的左上角至第一图像的右下角;第三方向E与第二方向V垂直,且第三方向E是沿第一图像的右上角至第一图像的左下角。例如,假设处理器20通过计算获得沿行方向H1对应的第一梯度值g1、沿列方向H2对应的第二梯度值g2、沿第二方向V对应的第三梯度值g3及沿第三方向E对应的第四梯度值g4,并且g1>g2>g3>g4,即沿第三方向E对应的第四梯度值g4最小,则选择第三方向E为全色图像像素的特征方向。
请参阅图2、图17、图18及图19,若特征方向为第一方向H,且在第一方向H上最邻近的第一颜色图像像素A2在待转换的全色图像像素W0第一侧时,获取在第一侧与待转换的全色图像像素W0相邻的第一全色图像像素W1的像素值、及在第二侧与待转换的全色图像像素W0相邻的第二全色图像像素W2及第三全色图像像素W3的像素值。根据待转换的全色图像像素W0的像素值、第一全色图像像素W1的像素值、第二全色图像像素W2的像素值及第三全色图像像素W3的像素值,以获取第一偏差L1及第二偏差L2。具体地,第一偏差L1可通过计算公式L1=abs(W0’-(W0’+W1’)/2)获得,其中W0’表示待转换全色图像像素W0的像素值、W1’表示第一全色图像像素W1的像素值。也即是说,首先计算待转换全色图像像素W0的像素值与第一全色图像像素W1的像素值的均值,再将待转换全色图像像素W0的像素值减去该均值后做绝对值运算,以获得第一偏差L1。第二偏差L2可通过计算公式L2=abs(W0’-(W2’+W3’)/2)获得,其中W0’表示待转换全色图像像素W0的像素值、W2’表示第二全色图像像素W2的像素值、W3’表示第三全色图像像素W3的像素值。也即是说,首先计算第二全色图像像素W2的像素值与第三全色图像像素W3的像素值,再将待转换全色图像像素W0的像素值减去该均值后做绝对值运算,以获得第二偏差L2。
处理器20获得第一偏差L1及第二偏差L2后,根据第一偏差L1及预设的权重函数F(x)获取第一权重F(L1),并根据第二偏差L2及预设的权重函数F(x)获取第二权重F(L2)。需要说明的是,预设的权重函数F(x)可以是指数函数、对数函数或者幂函数,只需要满足输入值越小,输出的权重越大即可,下文中提及的权重函数F(x)也是如此,在此不再赘述。例如,假设第一偏差L1大于第二偏差L2,则第一权重F(L1)小于第二权重F(L2)。
处理器20在获得第一权重F(L1)及第二权重F(L2)后,获取在第一侧与待转换的全色图像像素W0最相邻的一个第一颜色图像像素A2的像素值、及在第二侧与待转换的全色图像像素W0相邻的一个第一颜色图像像素A3的像素值。根据第一权重F(L1)、第二权重F(L2)、在第一侧与待转换的全色图像像素W0最相邻的一个第一颜色图像像素A2的像素值、及在第二侧与待转换的全色图像像素W0相邻的一个第一颜色图像像素A3的像素值,以获取待转换的全色图像像素W0转换成第一颜色图像像素A0后的像素值。具体地,转换后第一颜色图像像素A0后的像素值可以通过计算公式A0’=(k×A2’×F(L1)+A3’×F(L2))/(k×F(L1)+F(L2)),其中A0’表示转换后第一颜色图像像素A0的像素值、k为预设系数。预设系数k可以根据实际情况去调整,在本申请实施例中预设系数k为4。
需要说明的是,由于第一方向H包括行方向H1及列方向H2,当特征方向为第一方向H中的行方向H1时,请参阅图18,待转换全色图像像素W0的第一侧表示待转换全色图像像素W0的左侧、待转换全色图像像素W0的第二侧表示待转换全色图像像素W0的右侧。当特征方向为第一方向H中的列方向H2时,请参阅图19,待转换全色图像像素W0的第一侧表示待转换全色图像像素W0的下侧、待转换全色图像像素W0的第二侧表示待转换全色图像像素W0的上侧。
请参阅图20,步骤02对第一图像中的全色图像像素进行处理以转换成第一颜色图像像素,以获得第二图像还包括:
0201:判断待转换的全色图像像素是否在平坦区;
0205:在全色图像像素在非平坦区时,获取待转换的全色图像像素的特征方向;
0209:在特征方向为第一方向,且在特征方向上最邻近的第一颜色图像像素在待转换的全色图像像素第二侧时,根据待转换的全色图像像素的像素值、在第二侧与待转换的全色图像像素相邻的一个全色图像像素的像素值第三偏差,并根据待转换的全色图像像素的像素值、在第一侧与待转换的全色图像像素相邻的两个全色图像像素的像素值获取第四偏差,第一侧与所述第二侧相背;
0210:根据第三偏差及预设的权重函数获取第三权重,并根据第四偏差及权重函数获取第四权重;及
0211:根据第三权重、第四权重、在第一侧与待转换的全色图像像素相邻的一个第一颜色图像像素的像素值、在第二侧与待转换的全色图像像素最相邻的一个第一颜色图像像素的像素值获取待转换的全色图像像素转换成第一颜色图像像素后的像素值。
请结合图2及图20,步骤0209、步骤0210及步骤0211均可以由处理器20实现。也即是说,处理器20还用于:在特征方向为第一方向H,且在特征方向上最邻近的第一颜色图像像素A4在待转换的全色图像像素W0第二侧时,根据待转换的全色图像像素W0的像素值、在第二侧与待转换的全色图像像素W0相邻的一个全色图像像素W的像素值第三偏差L3,并根据待转换的全色图像像素W0的像素值、在第一侧与待转换的全色图像像素W0相邻的两个全色图像像素W的像素值获取第四偏差L4,第一侧与所述第二侧相背;根据第三偏差L3及预设的权重函数F(x)获取第三权重F(L3),并根据第四偏差L4及权重函数F(x)获取第四权重F(L4);及根据第三权重F(L3)、第四权重F(L4)、在第一侧与待转换的全色图像像素W0相邻的一个第一颜色图像像素A的像素值、在第二侧与待转换的全色图像像素W0最相邻的一个第一颜色图像像素A的像素值获取待转换的全色图像像素W0转换成第一颜色图像像素A0后的像素值。
其中,判断待转换的全色图像像素W0是否在平坦区、及获取待转换的全色图像像素的特征方向的具体实施方法与上述实施例中所述的判断待转换的全色图像像素W0是否在平坦区、及获取待转换的全色图像像素的特征方向的具体实施方法相同,在此不作赘述。
请参阅图2、图21及图22,若特征方向为第一方向H,且在第一方向H上最邻近的第一颜色图像像素A4在待转换的全色图像像素W0第二侧时,获取在第二侧与待转换的全色图像像素W0相邻的第二全色图像像素W2的像素值、及在第一侧与待转换的全色图像像素W0相邻的第一全色图像像素W1及第四全色图像像素W4的像素值。根据待转换的全色图像像素W0的像素值、第一全色图像像素W1的像素值、第二全色图像像素W2的像素值及第四全色图像像素W4的像素值,以获取第三偏差L3及第四偏差L4。具体地,第三偏差L3可通过计算公式L3=abs(W0’-(W1’+W4’)/2)获得,其中W0’表示待转换全色图像像素W0的像素值、W1’表示第一全色图像像素W1的像素值、W4’表示第四全色图像像素W4的像素值。也即是说,首先计算第一全色图像像素W1的像素值与第四全色图像像素W4的像素值的均值,再将待转换全色图像像素W0的像素值减去该均值后做绝对值运算,以获得第三偏差L3。第四偏差L4可通过计算公式L4=abs(W0’-(W0’+W2’)/2)获得,其中W0’表示待转换全色图像像素W0的像素值、W2’表示第二全色图像像素W2的像素值。也即是说,首先计算待转换全色图像像素W0的像素值与第二全色图像像素W2的像素值,再将待转换全色图像像素W0的像素值减去该均值后做绝对值运算,以获得第四偏差L4。
处理器20获得第三偏差L3及第四偏差L4后,根据第三偏差L3及预设的权重函数F(x)获取第三权重F(L3),并根据第四偏差L4及预设的权重函数F(x)获取第二权重F(L4)。处理器20在获得第三权重F(L3)及第四权重F(L4)后,获取在第二侧与待转换的全色图像像素W0最相邻的一个第一颜色图像像素A4的像素值、及在第一侧与待转换的全色图像像素W0相邻的一个第一颜色图像像素A5的像素值。根据第三权重F(L3)、第四权重F(L4)、在第二侧与待转换的全色图像像素W0最相邻的一个第一颜色图像像素A4的像素值、及在第一侧与待转换的全色图像像素W0相邻的一个第一颜色图像像素A5的像素值,以获取待转换的全色图像像素W0转换成第一颜色图像像素A0后的像素值。具体地,转换后第一颜色图像像素A0后的像素值可以通过计算公式A0’=(A5’×F(L3)+k×A5’×F(L4))/(F(L3)+k×F(L4)),其中A0’表示转换后第一颜色图像像素A0的像素值、k为预设系数。预设系数k可以根据实际情况去调整,在本申请实施例中预设系数k为4。
需要说明的是,由于第一方向H包括行方向H1及列方向H2,当特征方向为第一方向H中的行方向H1时,请参阅图21,待转换全色图像像素W0的第一侧表示待转换全色图像像素W0的左侧、待转换全色图像像素W0的第二侧表示待转换全色图像像素W0的右侧。当特征方向为第一方向H中的列方向H2时,请参阅图22,待转换全色图像像素W0的第一侧表示待转换全色图像像素W0的下侧、待转换全色图像像素W0的第二侧表示待转换全色图像像素W0的上侧。
请参阅图23,步骤02对第一图像中的全色图像像素进行处理以转换成第一颜色图像像素还包括:
0201:判断待转换的全色图像像素是否在平坦区;
0205:在全色图像像素在非平坦区时,获取待转换的全色图像像素的特征方向;
0212:在所特征方向为第二方向,预设以待转换的全色图像像素为中心的第二计算窗口,;
0213:获取第二计算窗口内所有像素的像素值;及
0214:根据第二计算窗口内所有像素的像素值、待转化的全色图像像素的像素值、预设的第三权值矩阵、预设的第四权值矩阵以获取待转换的全色图像像素转换成第一颜色图像像素后的像素值。
请结合图2及图23,步骤0212、步骤0213及步骤0214均可以由处理器20实现。也即是说,处理器20还用于:所特征方向为第二方向V,预设以待转换的全色图像像素W0为中心的第二计算窗口C2,第二方向V与第一图像的第一方向H之间存在夹角;获取第二计算窗口C2内所有像素的像素值;及根据第二计算窗口C2内所有像素的像素值、待转化的全色图像像素W0的像素值、预设的第三权值矩阵N3、预设的第四权值矩阵N4以获取待转换的全色图像像素W0转换成第一颜色图像像素A0后的像素值。
其中,判断待转换的全色图像像素W0是否在平坦区、及获取待转换的全色图像像素的特征方向的具体实施方法与上述实施例中所述的判断待转换的全色图像像素W0是否在平坦区、及获取待转换的全色图像像素的特征方向的具体实施方法相同,在此不作赘述。
请参阅图2、图24及图25,若特征方向为第二方向V时,预设以待转换的全色图像像素W0为中心的第二计算窗口C2。预设第二计算窗口C2的具体方式与预设第一计算窗口C1的具体方法相同,在此不作赘述。
当处理器20预设第二计算窗口C2并获取到第二计算窗口C2内所有像素值后,处理器20根据第二计算窗口C2内所有像素值、预设第三权值矩阵N3及预设第四权值矩阵N4可获得第三转换值M3及第四转换值M4。具体地,第三转换值M3可通过计算公式M3=sum(sum(I×N3))/sum(sum(N3))或得,其中I表示第二计算窗口C2内各个图像像素的像素值。也即是说,第二计算窗口C2内每一个图像像素的像素值乘以预设的第三权值矩阵N3内对应位置的数值后获得多个新像素值,将多个新像素值相加后除以预设的第三权值矩阵N3内所有数值的总和,以获得第三转换值M3。第四转换值M4可通过计算公式M3=sum(sum(I×N4))/sum(sum(N4))或得,其中I表示第二计算窗口C2内各个图像像素的像素值。也即是说,第二计算窗口C2内每一个图像像素的像素值乘以预设的第四权值矩阵N4内对应位置的数值后获得多个新像素值,将多个新像素值相加后除以预设的第四权值矩阵N4内所有数值的总和,以获得第四转换值M4。
处理器20根据待转换的全色图像像素W0、及第三转换值M3及第四转换值M4,以获取待转换的全色图像像素W0转换成第一颜色图像像素A0后的像素值。具体的,转换后第一颜色图像像素A0的像素值可以通过计算公式A0’=W0’×(M4/M3)获得,其中A0’表示转换后第一颜色图像像素A0的像素值、W0’表示待转换的全色图像像素W0的像素值。
需要说明的是,在一些实施例中,处理器20是根据与待转换的全色图像像素W0最接近的第一颜色图像像素A1的位置信息,获取预设的第三权值矩阵N3及预设的第四权值矩阵N4,第三权值矩阵N3及第四权值矩阵N4均是与第二计算窗口C2对应的矩阵。并且当与待转换的全色图像像素W0最接近的第一颜色图像像素A1在不同的位置时,预设的第三权值矩阵N3及预设的第四权值矩阵N4也不同。
在一些实施例中,处理器20根据与待转换的全色图像像素W0在同一行,且最接近待转换的全色图像像素W0的第一颜色图像像素A1的列坐标,以获取第三权值矩阵N3及第四权值矩阵N4。例如,若第一颜色图像像素A1的列坐标小于待转换的全色图像像素W0的列坐标,如图24所示,待转换的全色图像像素W0置于第一计算窗口的第3行第3列,最接近待转换的全色图像像素W0的第一颜色图像像素A1在第一计算窗口C1的第3行第2列,即最接近第一颜色图像像素A1在待转换的全色图像像素W0的左侧。此时,预设的第三权值矩阵预设的第四权值矩阵若第一颜色图像像素A1的列坐标大于待转换的全色图像像素W0的列坐标,如图25所示,待转换的全色图像像素W0置于第一计算窗口的第3行第3列,最接近待转换的全色图像像素W0的第一颜色图像像素A1在第一计算窗口C1的第3行第4列,即最接近第一颜色图像像素A1在待转换的全色图像像素W0的右侧。此时,预设的第三权值矩阵预设的第四权值矩阵当然,在一些实施例中,处理器20也可以根据与待转换的全色图像像素W0在同一列,且最接近待转换的全色图像像素W0的第一颜色图像像素A1的行坐标,以获取第一权值矩阵N1及第二权值矩阵N2,在此不作限制。
请参阅图26,步骤02对第一图像中的全色图像像素进行处理以转换成第一颜色图像像素还包括:
0201:判断待转换的全色图像像素是否在平坦区;
0205:在全色图像像素在非平坦区时,获取待转换的全色图像像素的特征方向;
0215:在特征方向为第三方向,预设以待转换的全色图像像素为中心的第三计算窗口;
0216:获取第三计算窗口内所有像素的像素值,并根据第一颜色图像像素周围的多个全色图像像素的像素值,以获取在第三计算窗口内所有第一颜色图像像素的转换像素值;
0217:根据第一颜色图像像素的转换像素值、待转换的全色图像像素的像素值及预设的权重函数获取第五权值矩阵;及
0218:根据第一颜色图像像素的转换像素值、第五权值矩阵及距离权重获取待转换的全色图像像素转换成第一颜色图像像素后的像素值。
请结合图2及图26,步骤0215、步骤0216、步骤0217及步骤0218均可以由处理器20实现。也即是说,处理器20还用于:在特征方向为第三方向E,预设以待转换的全色图像像素W0为中心的第三计算窗口C3,第三方向E与所述第一图像的第二方向V垂直;获取第三计算窗口C3内所有像素的像素值,并根据第一颜色图像像素A周围的多个全色图像像素W的像素值,以获取在第三计算窗口C3内所有第一颜色图像像素A的转换像素值;根据第一颜色图像像素A的转换像素值、待转换的全色图像像素W0的像素值及预设的权重函数F(x)获取第五权值矩阵N5;及根据第一颜色图像像素A的转换像素值、第五权值矩阵N5及距离权重获取待转换的全色图像像素W0转换成第一颜色图像像素A0后的像素值。
其中,判断待转换的全色图像像素W0是否在平坦区、及获取待转换的全色图像像素的特征方向的具体实施方法与上述实施例中所述的判断待转换的全色图像像素W0是否在平坦区、及获取待转换的全色图像像素的特征方向的具体实施方法相同,在此不作赘述。
请参阅图2及图27,若特征方向为第三方向E时,预设以待转换的全色图像像素W为中心的第三计算窗口C3。预设第三计算窗口C3的具体方式与预设第一计算窗口C1的具体方法相同,在此不作赘述。
处理器20在获取到第三计算窗口C3内所有像素的像素值后,根据第一颜色图像像素A周围的多个全色图像像素W的像素值,以获取在第三计算窗口C3内所有第一颜色图像像素A的转换像素值。在一些实施例中,处理器20通过计算第一颜色图像像素A周围多个全色图像像素W的均值来作为第一颜色图像像素A的转换值。下面以计算位于第三窗口C3的第2行第1列的第一颜色图像像素A的转换像素值为例进行说明,其他第一颜色图像像素A的计算方式相同。位于第三窗口C3的第2行第1列的第一颜色图像像素A的转换像素值等于与其相邻的四个全色图像像素W的像素值的均值,即等于位于第三窗口C3第2行第0列的全色图像像素W、位于第三窗口C3第2行第2列的全色图像像素W、位于第三窗口C3第1行第1列的全色图像像素W、及位于第三窗口C3第1行第3列的全色图像像素W的像素值的均值。
处理器20获取到第三窗口C3内多个第一颜色图像像素A的转换像素值后,根据多个第一颜色图像像素A的转换像素值、待转换全色图像像素W的像素值及预设的权重函数F(x),以获取第五权值矩阵N5。具体的,请参阅图28,假设第三窗口C3为7*7的窗口,则第五权值矩阵N5也是7行7列的矩阵。处理器20任意抽取第三窗口C3内的任意一个图像像素,若抽取的图像像素为第一颜色图像像素A,则将该第一颜色图像像素A的转换值减去待转换全色图像像素W0的像素值,以获取第五偏差L5。再根据第五偏差L5及预设的权重函数F(x)以获取第五权重F(L5),并将第五权重F(L5)填入第五权值矩阵N5与抽取的第一颜色图像像素A3的对应位置。例如,假设处理器20抓取的是位于第三计算窗口C3第2行第1列的第一颜色图像像素A3,则该第一颜色图像像素A3的转换值减去待转换全色图像像素W0的像素值,以获取对应的第五偏差L(2,1)5。再根据第五偏差L5及预设的权重函数F(x)以获取对应的第五权重F(L(2,1)5),并将第五权重F(L(2,1)5)填入第五权值矩阵N5的第2行第1列位置,即X21=F(L(2,1)5)。若抽取的图像像素不是第一颜色图像像素A,则在第五权值矩阵N5与抽取的图像像素对应位置填入0。例如,假设处理器20抓取的是位于第三计算窗口C3第0行第1列的第二颜色图像像素B1,则在第五权值矩阵N5的第0行第1列填入0,即X01=0。处理器20完成一个数据的填入后,再抓取下一个图像像素重复上述步骤,直至第三计算窗口C3内所有图像像素均被抓取,如此便获得了第五权值矩阵N5。
处理器20在获得第五权值矩阵N5后,根据第一颜色图像A的转换值、第五权值矩阵N5及预设的距离权重R,以获取第五转换值M5及第六转换值M6。具体地,第五转换值M5可以通过计算公式M5=sum(sum(J×N5)×R)/sum(sum(N5×R))获得,其中J表示第三计算窗口C3内多个第一颜色图像像素A的转换值,距离权重R满足图像像素距离第三窗口C3的中心图像像素越近,其权重值越大。也即是说,第三计算窗口C3内多个第一颜色图像像素A的转换值乘第五权值矩阵N5内对应位置的数值后获得多个新像素值,将多个新像素值相加后乘距离权重R获得第一计算值,对第五权值矩阵N5内数值的求和后乘距离权重R获得第二计算值,再将第一计算值除第二计算值,以获得第五转换值M5。第六转换值M6可以通过计算公式M6=sum(sum(I×N5)×R)/sum(sum(N5×R)),其中I表示第二计算窗口C2内各个图像像素的像素值。也即是说,第三计算窗口C3内多个像素的像素值乘第五权值矩阵N5内对应位置的数值后获得多个新像素值,将多个新像素值相加后乘距离权重R获得第三计算值,对第五权值矩阵N5内数值的求和后乘距离权重R获得第四计算值,再将第三计算值除第四计算值,以获得第六转换值M6。
处理器20根据待转换的全色图像像素W0的像素值、第五转换值M5及第六转换值M6,以获取待转换的全色图像像素W0转换成第一颜色图像像素A0后的像素值。具体的,转换后第一颜色图像像素A0的像素值可以通过计算公式A0’=W0’×(M5/M6)获得,其中A0’表示转换后第一颜色图像像素A0的像素值、W0’表示待转换的全色图像像素W0的像素值。
在一些实施例中,处理器20在获取第一图像后,任意抓取第一图像内的一个图像像素,并判断抓取的图像像素是否为全色图像像素W,若抓取的图像像素是全色图像像素W则处理器20进行图12至图28所述的步骤,以获取待转换的全色图像像素W0转换成第一颜色图像像素A0后的像素值;若抓取的图像像素不是全色图像像素W则直接再抓取另一个图像像素,重复上述步骤直至第一图像中的所有图像像素均被抓取,如此能够对第一图像中的全色图像像素进行处理以转换成第一颜色图像像素。当然,在一些实施例中,处理器20抓取图像是按照一定顺序的,例如先抓取第一图像左上角的第一个图像像素进行判断及处理后,再抓取该图像像素右侧的图像直至第一行图像像素均被抓取后,再抓取下一行的图像像素,重复上述步骤直至第一图像中的所有图像像素均被抓取。
请参阅图2及图29,处理器20将第一图像内所有全色图像像素W进行处理以转换成第一颜色图像像素A,以获得第二图像。第二图像内仅包括第一颜色图像像素A、第二颜色图像像素B及第三颜色图像像素C。处理器20对第二图像内的第二颜色图像像素B及第三颜色图像像素C进行处理以转换成第一颜色图像像素A,以获得第三图像。在第三图像内仅包括多个第一颜色图像像素A。
具体地,请参阅图30,步骤03对第二颜色图像像素及第三颜色图像像素成进行处理以转换成第一颜色图像像素,以获得第三图像包括:
031:判断待转换的第二颜色图像像素是否在平坦区;
032:在第二颜色图像像素在平坦区时,根据待转换的第二颜色图像像素多个方向上相邻的第一颜色图像像素的像素值,以获取待转换的第二颜色图像像素转换成第一颜色图像像素后的像素值。
请结合图2及图30,步骤031可以由处理器20实现。也即是说处理器20还用于:判断待转换的第二颜色图像像素B0是否在平坦区;在第二颜色图像像素B0在平坦区时,根据待转换的第二颜色图像像素B0多个方向上相邻的第一颜色图像像素A的像素值,以获取待转换的第二颜色图像像素B0转换成第一颜色图像像素A0后的像素值。
其中,判断待转换的第二颜色图像像素B0是否在平坦区的具体方法,与上述实施例中判断待转换的全色图像像素W0是否在平坦区具体方法相同,在此不作赘述。
请参阅图31,当待转换的第二颜色图像像素B0在平坦区时,处理器20获取待转换的第二颜色图像像素B0相邻四周的第一颜色图像像素A的像素值,并对获得的多个第一颜色图像像素A的像素值求均值,以此作为待转换的第二颜色图像像素B0转换成第一颜色图像像素A0后的像素值。例如,假设第二图像由5行5列的图像像素排列而成,待转换的第二颜色图像像素B0在第二图像的第3行第1列,则处理器20获取位于第二图像的第2行第1列的第一颜色图像像素A的像素值、位于第二图像的第4行第1列的第一颜色图像像素A的像素值、位于第二图像的第3行第0列的第一颜色图像像素A的像素值、及位于第二图像的第3行第2列的第一颜色图像像素A的像素值的均值,并将其均值作为转换后的第一颜色图像像素A0的像素值。
请参阅图32,步骤03对第二颜色图像像素及第三颜色图像像素成进行处理以转换成第一颜色图像像素,以获得第三图像包括:
031:判断待转换的第二颜色图像像素是否在平坦区;
033:在第二颜色图像像素在非平坦区时,获取待转换的第二颜色图像素的特征方向;及
034:根据在特征方向上与待转换的第二颜色图像素邻近的两个第一颜色图像像素的像素值,以获取待转换的第二颜色图像像素转换成第一颜色图像像素后的像素值。
请结合图2及图32,步骤033及步骤033均可以由处理器20实现。也即是说处理器20还用于:判断待转换的第二颜色图像像素B0是否在平坦区;在第二颜色图像像素B0在非平坦区时,获取待转换的所述第二颜色图像素B0的特征方向;及根据在特征方向上与待转换的第二颜色图像素B0邻近的两个所述第一颜色图像像素A的像素值,以获取待转换的第二颜色图像像素B0转换成第一颜色图像像素A0后的像素值。
其中,判断待转换的第二颜色图像像素B0是否在平坦区的具体方法,与上述实施例中判断待转换的全色图像像素W0是否在平坦区具体方法相同;获取待转换的第二颜色图像素B0的特征方向的具体方法,也与述实施例中获取待转换的全色图像像素W0的特征方向的具体方法相同,在此不作赘述。
请参阅图2及图31,当待转换的第二颜色图像像素B0在平坦区时,处理器20获取待转换的第二颜色图像像素B0的特征方向后,在其特征方向上获取与待转换的第二颜色图像像素B0相邻的两个第一颜色图像像素A的像素值,并对获得的两个第一颜色图像像素A的像素值求均值,以此作为待转换的第二颜色图像像素B0转换成第一颜色图像像素A0后的像素值。例如,假设第二图像由5行5列的图像像素排列而成,待转换的第二颜色图像像素B0在第二图像的第3行第1列,若特征方向为行方向H2(图17所示),则处理器20位于第二图像的第3行第0列的第一颜色图像像素A的像素值、及位于第二图像的第3行第2列的第一颜色图像像素A的像素值的均值,并将其均值作为转换后的第一颜色图像像素A0的像素值。若特征方向为列方向H1(图*所示),则处理器20位于第二图像的第2行第1列的第一颜色图像像素A的像素值、及位于第二图像的第4行第1列的第一颜色图像像素A的像素值的均值,并将其均值作为转换后的第一颜色图像像素A0的像素值。
请参阅图33,步骤03对第二颜色图像像素及第三颜色图像像素成进行处理以转换成第一颜色图像像素,以获得第三图像包括:
035:判断待转换的第三颜色图像像素是否在平坦区;
036:在第三颜色图像像素在平坦区时,根据待转换的第三颜色图像像素多个方向上相邻的第一颜色图像像素的像素值,以获取待转换的第三颜色图像像素转换成第一颜色图像像素后的像素值。
请结合图2及图33,步骤035及步骤036均可以由处理器20实现。也即是说处理器20还用于:判断待转换的第三颜色图像像素C0是否在平坦区;在第三颜色图像像素C0在平坦区时,根据待转换的第三颜色图像像素C0多个方向上相邻的第一颜色图像像素A的像素值,以获取待转换的第三颜色图像像素C0转换成第一颜色图像像素A后的像素值。
请参阅图34,步骤03对第二颜色图像像素及第三颜色图像像素成进行处理以转换成第一颜色图像像素,以获得第三图像包括:
035:判断待转换的第三颜色图像像素是否在平坦区;
037:在第三颜色图像像素在非平坦区时,获取待转换的第三颜色图像素的特征方向;及
038:根据在特征方向上与待转换的第三颜色图像素邻近的两个第一颜色图像像素的像素值,以获取待转换的第三颜色图像像素转换成第一颜色图像像素后的像素值。
请结合图2及图34,步骤035、步骤037及步骤038均可以由处理器20实现。也即是说处理器20还用于:在待转换的第三颜色图像像素C0在非平坦区时,获取待转换的所述第三颜色图像素C0的特征方向;及根据在特征方向上与待转换的第三颜色图像素C0邻近的两个所述第一颜色图像像素A的像素值,以获取待转换的第三颜色图像像素C0转换成第一颜色图像像素后A0的像素值。
获取待转换的第三颜色图像像素C0转换成第一颜色图像像素A0后的像素值的具体方法,与上述获取转换的第二颜色图像像素B0转换成第一颜色图像像素A0后的像素值的具体方法相同,在此不作赘述。
在一些实施例中,处理器20在获取第二图像后,任意抓取第二图像内的一个图像像素,并判断抓取的图像像素是否为第二颜色图像像素B或第三颜色图像像素C,若抓取的图像像素是第二颜色图像像素B或第三颜色图像像素C,则处理器20进行图30至图34所述的步骤,以获取待转换的第二颜色图像像素B0或第三颜色图像像素C0转换成第一颜色图像像素A0后的像素值;若抓取的图像像素不是第二颜色图像像素B,也不是第三颜色图像像素C,则直接再抓取另一个图像像素,重复上述步骤直至第一图像中的所有图像像素均被抓取,如此能够对第二图像中的第二颜色图像像素B或第三颜色图像像素C进行处理以转换成第一颜色图像像素。当然,在一些实施例中,处理器20抓取图像是按照一定顺序的,例如先抓取第一图像左上角的第一个图像像素进行判断及处理后,再抓取该图像像素右侧的图像直至第一行图像像素均被抓取后,再抓取下一行的图像像素,重复上述步骤直至第一图像中的所有图像像素均被抓取。
请参阅图2及图35,处理器20在获得仅包括第一颜色图像像素A的第三图像后,根据第一图像对所述第三图像进行处理,以获得第二颜色中间图像及第三颜色中间图像。其中,第二颜色中间图像仅包括第二颜色图像像素B,第三颜色中间图像仅包括第三颜色图像像素C。
具体地,请参阅图36,在一些实施例中,步骤04对根据第一图像对所述第三图像进行处理,以获得第二颜色中间图像及第三颜色中间图像包括:
041:根据第一图像及第三图像进行双边滤波处理,以获得第二颜色中间图像及第三颜色中间图像。
请结合图2及图36,步骤041可以由处理器20实现。也即是说处理器20还用于根据第一图像及第三图像进行双边滤波处理,以获得第二颜色中间图像及第三颜色中间图像。
具体地,请参阅图37,第一图像包括多个第二颜色图像像素B及多个第三颜色图像像素C,多个第二颜色图像像素B排列形成第二颜色原始图像,多个第三颜色图像像素C排列形成第三颜色原始图像。第二颜色原始图像及第三图像进行双边滤波处理,以获得第二颜色中间图像;第三颜色原始图像及第三图像进行双边滤波处理,以获得第三颜色中间图像。
下面以第二颜色原始图像及第三图像进行双边滤波处理,以获得第二颜色中间图像为例进行说明。在一些实施例中,请参阅图38,联合双边滤波算法为其中kp=∑q∈Ωf(||p-q||)g(||Ip′-Iq′||),Jp为输出像素值,kp为权重总和,Ω为滤波窗口,p为待滤波像素点在第二颜色原始图像中的坐标,q为滤波窗口内的像素点在第二颜色原始图像中的坐标,Iq为q点对应的像素值,Ip′为第三图像中与待滤波像素点对应的像素值,Iq′为第三图像中与q点对应的像素值,f、g均为权重分布函数,权重分布函数包括高斯函数。
具体地,联合双边滤波算法通过待滤波像素点p的坐标与滤波窗口内的一个像素点q的坐标的差值确定第一距离权重(f(||p-q||)),图中示例的p点和q点的坐标差值可以为2,通过第三图像中与p点对应的像素值Ip′和与q点对应的像素值Iq′的差值确定第二距离权重(g(||Ip′-Iq′||)),根据滤波窗口内的每个像素点的第一距离权重、第二距离权重、第二颜色原始图像中q点对应的像素值Iq以及权重总和kp确定输出像素值Jp。
需要说明的是,在第二颜色原始图像中,没有设置第二颜色图像像素的位置,其像素值为0。输出的像素值Jp设置的第二颜色中间图像的与待滤波像素点p对应的位置,并且完成一次输出后,滤波窗口移动至下一个图像像素位置,直至第二颜色原始图像内所有图像像素均完成滤波,如此便获得仅包含第二颜色图像像素的第二颜色中间图像。第三颜色原始图像及第三图像进行双边滤波处理以获得第三颜色中间图像的具体方法,与第二颜色原始图像及第三图像进行双边滤波处理以获得第二颜色中间图像的具体方法相同,在此不作赘述。
请参阅图39,处理器20获得第三图像、第二颜色中间图像及第三颜色中间图像后,处理器20将第三图像、第二颜色中间图像及第三颜色中间图像融合以获得目标图像。具体地,获取第二颜色中间图像及第三颜色中间图像上均没有设置图像像素的位置信息,根据位置信息抽取第三图像对应位置的第一颜色图像像素A,再将多个抽取的第一颜色图像像素A、第二颜色中间图像内的多个第二颜色图像像素B、及第三颜色中间图像内的多个第三颜色图像像素C排列,以获得呈拜耳阵列排布的目标图像。
本申请实施方式的图像处理方法通过在像素阵,11中增加全色感光像素W,将全色图像像素W插值转换为光谱响应较宽的彩色图像像素以获得第二图像,再对第二图像进行后续处理以获得呈拜耳阵列排布的目标图像。如此,解决了图像处理器不能直接对图像像素呈非拜耳阵列排布的图像进行处理的问题,同时由于像素阵列11中增加了全色感光像素W,能够提高最终获得的图像的解析能力及信噪比,从而可以提升夜晚下的拍照效果。
请参阅图40,本申请还提供一种电子设备1000。本申请实施方式的电子设备1000包括镜头300、壳体200及上述任意一项实施方式的图像处理***100。镜头300、图像处理***100与壳体200结合。镜头300与图像处理***100的图像传感器10配合成像。
电子设备1000可以是手机、平板电脑、笔记本电脑、智能穿戴设备(例如智能手表、智能手环、智能眼镜、智能头盔)、无人机、头显设备等,在此不作限制。
本申请实施方式的电子设备1000通过在图像处理***100内的像素阵列11中增加全色感光像素W,将全色图像像素W插值转换为光谱响应较宽的彩色图像像素以获得第二图像,再对第二图像进行后续处理以获得呈拜耳阵列排布的目标图像。如此,解决了图像处理器10不能直接对图像像素呈非拜耳阵列排布的图像进行处理的问题,同时由于像素阵列11中增加了全色感光像素W,能够提高最终获得的图像的解析能力及信噪比,从而可以提升夜晚下的拍照效果。
请参阅41,本申请还提供一种包含计算机程序的非易失性计算机可读存储介质400。该计算机程序被处理器60执行时,使得处理器60执行上述任意一个实施方式的图像处理方法。
例如,请参阅1及图41,计算机程序被处理器60执行时,使得处理器60执行以下步骤:
01:像素阵列曝光得到第一图像,第一图像包括由全色感光像素生成的全色图像像素、由第一颜色感光像素生成的第一颜色图像像素、由第二颜色感光像素生成的第二颜色图像像素及由第三颜色感光像素生成的第三颜色图像像素;
02:对第一图像中的全色图像像素进行处理以转换成第一颜色图像像素,以获得第二图像;
03:对第二图像中的第二颜色图像像素及第三颜色图像像素成进行处理以转换成第一颜色图像像素,以获得第三图像;
04:根据第一图像对第三图像进行处理,以获得第二颜色中间图像及第三颜色中间图像,第二颜色中间图像包含第二颜色图像像素,第三颜色中间图像包含第三颜色图像像素:及
05:融合第三图像、第二颜色中间图像及第三颜色中间图像以获得目标图像,目标图像包含多个彩色图像像素,多个彩色图像像素呈拜耳阵列排布。
需要说明的是,处理器60可以与设置在图像处理器100内的处理器20为同一个处理器,处理器60也可以设置在设备1000内,即处理器60也可以与设置在图像处理器100内的处理器20不为同一个处理器,在此不作限制。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (24)
1.一种图像处理方法,用于图像传感器,其特征在于,所述图像传感器包括像素阵列,所述像素阵列包括多个全色感光像素及多个彩色感光像素,所述彩色感光像素包括具有不同光谱响应的第一颜色感光像素、第二颜色感光像素及第三颜色感光像素,所述彩色感光像素具有比所述全色感光像素更窄的光谱响应,且所述第二颜色感光像素及所述第三颜色感光像素均具有比第一颜色感光像素更窄的光谱响应;所述图像处理方法包括:
所述像素阵列曝光得到第一图像,所述第一图像包括由所述全色感光像素生成的全色图像像素、由第一颜色感光像素生成的第一颜色图像像素、由第二颜色感光像素生成的第二颜色图像像素及由第三颜色感光像素生成的第三颜色图像像素;
对所述第一图像中的所述全色图像像素进行处理以转换成第一颜色图像像素,以获得第二图像;
对所述第二图像中的所述第二颜色图像像素及所述第三颜色图像像素进行处理以转换成第一颜色图像像素,以获得第三图像;
根据所述第一图像对所述第三图像进行处理,以获得第二颜色中间图像及第三颜色中间图像,所述第二颜色中间图像包含所述第二颜色图像像素,第三颜色中间图像包含所述第三颜色图像像素;及
融合所述第三图像、所述第二颜色中间图像及所述第三颜色中间图像以获得目标图像,所述目标图像包含多个彩色图像像素,多个所述彩色图像像素呈拜耳阵列排布。
2.根据权利要求1所述的图像处理方法,其特征在于,所述对所述第一图像中的所述全色图像像素进行处理以转换成第一颜色图像像素,以获得第二图像,包括:
在所述全色图像像素在平坦区时,预设以待转换的所述全色图像像素为中心的第一计算窗口;
获取所述第一计算窗口内所有像素的像素值;及
根据所述第一计算窗口内所有像素的像素值、待转换的所述全色图像像素的像素值、预设的第一权值矩阵、预设的第二权值矩阵以获取待转换的所述全色图像像素转换成第一颜色图像像素后的像素值。
3.根据权利要求1所述的图像处理方法,其特征在于,所述对所述第一图像中的所述全色图像像素进行处理以转换成第一颜色图像像素,以获得第二图像,包括:
在所述全色图像像素在非平坦区时,获取待转换的所述全色图像像素的特征方向;
在所述特征方向为第一方向,且在所述特征方向上最邻近的所述第一颜色图像像素在待转换的所述全色图像像素第一侧时,根据待转换的所述全色图像像素的像素值、在所述第一侧与待转换的所述全色图像像素相邻的一个所述全色图像像素的像素值获取第一偏差,并根据待转换的所述全色图像像素的像素值、在第二侧与待转换的所述全色图像像素相邻的两个所述全色图像像素的像素值获取第二偏差,所述第一侧与所述第二侧相背;
根据所述第一偏差及预设的权重函数获取第一权重,并根据所述第二偏差及所述权重函数获取第二权重;及
根据所述第一权重、所述第二权重、在所述第一侧与待转换的所述全色图像像素最相邻的一个所述第一颜色图像像素的像素值、在所述第二侧与待转换的所述全色图像像素相邻的一个所述第一颜色图像像素的像素值,获取待转换的所述全色图像像素转换成第一颜色图像像素后的像素值。
4.根据权利要求1所述的图像处理方法,其特征在于,所述对所述第一图像中的所述全色图像像素进行处理以转换成第一颜色图像像素,以获得第二图像,包括:
在所述全色图像像素在非平坦区时,获取待转换的所述全色图像像素的特征方向;
在所述特征方向为第一方向,且在所述特征方向上最邻近的所述第一颜色图像像素在待转换的所述全色图像像素第二侧时,根据待转换的所述全色图像像素的像素值、在所述第二侧与待转换的所述全色图像像素相邻的一个所述全色图像像素的像素值第三偏差,并根据待转换的所述全色图像像素的像素值、在第一侧与待转换的所述全色图像像素相邻的两个所述全色图像像素的像素值获取第四偏差,所述第一侧与所述第二侧相背;
根据所述第三偏差及预设的权重函数获取第三权重,并根据所述第四偏差及所述权重函数获取第四权重;及
根据所述第三权重、所述第四权重、在所述第一侧与待转换的所述全色图像像素相邻的一个所述第一颜色图像像素的像素值、在所述第二侧与待转换的所述全色图像像素最相邻的一个所述第一颜色图像像素的像素值获取待转换的所述全色图像像素转换成第一颜色图像像素后的像素值。
5.根据权利要求1所述的图像处理方法,其特征在于,所述对所述第一图像中的所述全色图像像素进行处理以转换成第一颜色图像像素,包括:
在所述全色图像像素在非平坦区时,获取待转换的所述全色图像像素的特征方向;
在所述特征方向为第二方向,预设以待转换的所述全色图像像素为中心的第二计算窗口;
获取所述第二计算窗口内所有像素的像素值;及
根据所述第二计算窗口内所有像素的像素值、待转化的所述全色图像像素的像素值、预设的第三权值矩阵、预设的第四权值矩阵以获取待转换的所述全色图像像素转换成第一颜色图像像素后的像素值。
6.根据权利要求1所述的图像处理方法,其特征在于,所述对所述第一图像中的所述全色图像像素进行处理以转换成第一颜色图像像素,包括:
在所述全色图像像素在非平坦区时,获取待转换的所述全色图像像素的特征方向;
在所述特征方向为第三方向,预设以待转换的所述全色图像像素为中心的第三计算窗口;
获取所述第三计算窗口内所有像素的像素值,并根据所述第一颜色图像像素周围的多个全色图像像素的像素值,以获取在所述第三计算窗口内所有第一颜色图像像素的转换像素值;
根据所述第一颜色图像像素的所述转换像素值、所述待转换的所述全色图像像素的像素值及预设的权重函数获取第五权值矩阵;及
根据所述第一颜色图像像素的所述转换像素值、所述第五权值矩阵及距离权重获取待转换的所述全色图像像素转换成第一颜色图像像素后的像素值。
7.根据权利要求3-6任意一项所述的图像处理方法,其特征在于,所在所述全色图像像素在非平坦区时,获取待转换的所述全色图像像素的特征方向包括:
获取待转换的所述全色图像像素的多个方向上的梯度值,选择最小的所述梯度值对应的方向为所述全色图像像素的特征方向。
8.根据权利要求1所述的图像处理方法,其特征在于,所述对所述第二图像中的所述第二颜色图像像素及所述第三颜色图像像素成进行处理以转换成第一颜色图像像素,以获得第三图像包括:
在所述第二颜色图像像素在平坦区时,根据待转换的所述第二颜色图像像素多个方向上相邻的所述第一颜色图像像素的像素值,以获取待转换的所述第二颜色图像像素转换成第一颜色图像像素后的像素值;和/或
在所述第三颜色图像像素在平坦区时,根据待转换的所述第三颜色图像像素多个方向上相邻的所述第一颜色图像像素的像素值,以获取待转换的所述第三颜色图像像素转换成第一颜色图像像素后的像素值。
9.根据权利要求1所述的图像处理方法,其特征在于,所述对所述第二图像中的所述第二颜色图像像素及所述第三颜色图像像素成进行处理以转换成第一颜色图像像素,以获得第三图像包括:
在所述第二颜色图像像素在非平坦区时,获取待转换的所述第二颜色图像素的特征方向;及
根据在所述特征方向上与待转换的所述第二颜色图像素邻近的两个所述第一颜色图像像素的像素值,以获取待转换的所述第二颜色图像像素转换成第一颜色图像像素后的像素值;和/或
在所述第三颜色图像像素在非平坦区时,获取待转换的所述第三颜色图像素的特征方向;及
根据在所述特征方向上与待转换的所述第三颜色图像素邻近的两个所述第一颜色图像像素的像素值,以获取待转换的所述第三颜色图像像素转换成第一颜色图像像素后的像素值。
10.根据权利要求9所述的图像处理方法,其特征在于,
所述在所述第二颜色图像像素在非平坦区时,获取待转换的所述第二颜色图像素的特征方向包括:
获取待转换的所述第二颜色图像像素的多个方向上的梯度值,选择最小的所述梯度值对应的方向为所述第二颜色图像像素的特征方向;
所述在所述第三颜色图像像素在非平坦区时,获取待转换的所述第三颜色图像素的特征方向包括:
获取待转换的所述第三颜色图像像素的多个方向上的梯度值,选择最小的所述梯度值对应的方向为所述第三颜色图像像素的特征方向。
11.根据权利要求1所述的图像处理方法,其特征在于,所述对根据所述第一图像对所述第三图像进行处理,以获得第二颜色中间图像及第三颜色中间图像包括:
根据所述第一图像对所述第三图像进行双边滤波处理,以获得第二颜色中间图像及第三颜色中间图像。
12.一种图像处理***,其特征在于,包括:
图像传感器包括像素阵列,所述像素阵列包括多个全色感光像素及多个彩色感光像素,所述彩色感光像素包括具有不同光谱响应的第一颜色感光像素、第二颜色感光像素及第三颜色感光像素,所述彩色感光像素具有比所述全色感光像素更窄的光谱响应,且所述第二颜色感光像素及所述第三颜色感光像素均具有比第一颜色感光像素更窄的光谱响应;
所述像素阵列曝光得到第一图像,所述第一图像包括由所述全色感光像素生成的全色图像像素、由第一颜色感光像素生成的第一颜色图像像素、由第二颜色感光像素生成的第二颜色图像像素及由第三颜色感光像素生成的第三颜色图像像素;及
处理器,所述处理器用于:
对所述第一图像中的所述全色图像像素进行处理以转换成第一颜色图像像素,以获得第二图像;
对所述第二图像中的所述第二颜色图像像素及所述第三颜色图像像素成进行处理以转换成第一颜色图像像素,以获得第三图像;
根据所述第一图像对所述第三图像进行处理,以获得第二颜色中间图像及第三颜色中间图像,所述第二颜色中间图像包含所述第二颜色图像像素,第三颜色中间图像包含所述第三颜色图像像素;及
融合所述第三图像、所述第二颜色中间图像及所述第三颜色中间图像以获得目标图像,所述目标图像包含多个彩色图像像素,多个所述彩色图像像素呈拜耳阵列排布。
13.根据权利要求12所述的图像处理***,其特征在于,所述处理器还用于:
在所述全色图像像素在平坦区时,预设以待转换的所述全色图像像素为中心的第一计算窗口;
获取所述第一计算窗口内所有像素的像素值;及
根据所述第一计算窗口内所有像素的像素值、待转换的所述全色图像像素的像素值、预设的第一权值矩阵、预设的第二权值矩阵以获取待转换的所述全色图像像素转换成第一颜色图像像素后的像素值。
14.根据权利要求12所述的图像处理***,其特征在于,所述处理器还用于:
在所述全色图像像素在非平坦区时,获取待转换的所述全色图像像素的特征方向;
在所述特征方向为第一方向,且在所述特征方向上最邻近的所述第一颜色图像像素在待转换的所述全色图像像素第一侧时,根据待转换的所述全色图像像素的像素值、在所述第一侧与待转换的所述全色图像像素相邻的一个所述全色图像像素的像素值获取第一偏差,并根据待转换的所述全色图像像素的像素值、在第二侧与待转换的所述全色图像像素相邻的两个所述全色图像像素的像素值获取第二偏差,所述第一侧与所述第二侧相背;
根据所述第一偏差及预设的权重函数获取第一权重,并根据所述第二偏差及所述权重函数获取第二权重;及
根据所述第一权重、所述第二权重、在所述第一侧与待转换的所述全色图像像素最相邻的一个所述第一颜色图像像素的像素值、在所述第二侧与待转换的所述全色图像像素相邻的一个所述第一颜色图像像素的像素值,获取待转换的所述全色图像像素转换成第一颜色图像像素后的像素值。
15.根据权利要求12所述的图像处理***,其特征在于,所述处理器还用于:
在所述全色图像像素在非平坦区时,获取待转换的所述全色图像像素的特征方向;
在所述特征方向为第一方向,且在所述特征特征方向上最邻近的所述第一颜色图像像素在待转换的所述全色图像像素第二侧时,根据待转换的所述全色图像像素的像素值、在所述第二侧与待转换的所述全色图像像素相邻的一个所述全色图像像素的像素值第三偏差,并根据待转换的所述全色图像像素的像素值、在第一侧与待转换的所述全色图像像素相邻的两个所述全色图像像素的像素值获取第四偏差,所述第一侧与所述第二侧相背;
根据所述第三偏差及预设的权重函数获取第三权重,并根据所述第四偏差及所述权重函数获取第四权重;及
根据所述第三权重、所述第四权重、在所述第一侧与待转换的所述全色图像像素相邻的一个所述第一颜色图像像素的像素值、在所述第二侧与待转换的所述全色图像像素最相邻的一个所述第一颜色图像像素的像素值获取待转换的所述全色图像像素转换成第一颜色图像像素后的像素值。
16.根据权利要求12所述的图像处理***,其特征在于,所述处理器还用于:
在所述全色图像像素在非平坦区时,获取待转换的所述全色图像像素的特征方向;
在所述特征方向为第二方向,预设以待转换的所述全色图像像素为中心的第二计算窗口;
获取所述第二计算窗口内所有像素的像素值;及
根据所述第二计算窗口内所有像素的像素值、待转化的所述全色图像像素的像素值、预设的第三权值矩阵、预设的第四权值矩阵以获取待转换的所述全色图像像素转换成第一颜色图像像素后的像素值。
17.根据权利要求12所述的图像处理***,其特征在于,所述处理器还用于:
在所述全色图像像素在非平坦区时,获取待转换的所述全色图像像素的特征方向;
在所述特征方向为第三方向,预设以待转换的所述全色图像像素为中心的第三计算窗口;
获取所述第三计算窗口内所有像素的像素值,并根据所述第一颜色图像像素周围的多个全色图像像素的像素值,以获取在所述第三计算窗口内所有第一颜色图像像素的转换像素值;
根据所述第一颜色图像像素的所述转换像素值、所述待转换的所述全色图像像素的像素值及预设的权重函数获取第五权值矩阵;
根据所述第一颜色图像像素的所述转换像素值、所述第五权值矩阵及距离权重获取待转换的所述全色图像像素转换成第一颜色图像像素后的像素值。
18.根据权利要求14-17任意一项所述的图像处理***,其特征在于,所述处理器还用于:
获取待转换的所述全色图像像素的多个方向上的梯度值,选择最小的所述梯度值对应的方向为所述全色图像像素的特征方向。
19.根据权利要求12所述的图像处理***,其特征在于,所述处理器还用于:
在所述第二颜色图像像素在平坦区时,根据待转换的所述第二颜色图像像素多个方向上相邻的所述第一颜色图像像素的像素值,以获取待转换的所述第二颜色图像像素转换成第一颜色图像像素后的像素值;和/或
在所述第三颜色图像像素在平坦区时,根据待转换的所述第三颜色图像像素多个方向上相邻的所述第一颜色图像像素的像素值,以获取待转换的所述第三颜色图像像素转换成第一颜色图像像素后的像素值。
20.根据权利要求12所述的图像处理***,其特征在于,所述处理器还用于:
在所述第二颜色图像像素在非平坦区时,获取待转换的所述第二颜色图像素的特征方向;
根据在所述特征方向上与待转换的所述第二颜色图像素邻近的两个所述第一颜色图像像素的像素值,以获取待转换的所述第二颜色图像像素转换成第一颜色图像像素后的像素值;和/或
在所述第三颜色图像像素在非平坦区时,获取待转换的所述第三颜色图像素的特征方向;
根据在所述特征方向上与待转换的所述第三颜色图像素邻近的两个所述第一颜色图像像素的像素值,以获取待转换的所述第三颜色图像像素转换成第一颜色图像像素后的像素值。
21.根据权利要求20所述的图像处理***,其特征在于,所述处理器还用于:
获取待转换的所述第二颜色图像像素的多个方向上的梯度值,选择最小的所述梯度值对应的方向为所述第二颜色图像像素的特征方向;及
获取待转换的所述第三颜色图像像素的多个方向上的梯度值,选择最小的所述梯度值对应的方向为所述第三颜色图像像素的特征方向。
22.根据权利要求12所述的图像处理***,其特征在于,所述处理器还用于:
根据所述第一图像对所述第三图像进行双边滤波处理,以获得第二颜色中间图像及第三颜色中间图像。
23.一种电子设备,其特征在于,包括:
镜头;
壳体;及
权利要求12至22意一项所述的图像处理***,所述镜头、所述图像处理***与所述壳体结合,所述镜头与所述图像处理***的图像传感器配合成像。
24.一种包含计算机程序的非易失性计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1至11任意一项所述的图像处理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010833968.8A CN111899178B (zh) | 2020-08-18 | 2020-08-18 | 图像处理方法、图像处理***、电子设备及可读存储介质 |
EP20950021.4A EP4202822A4 (en) | 2020-08-18 | 2020-10-09 | IMAGE PROCESSING METHOD, IMAGE PROCESSING SYSTEM, ELECTRONIC DEVICE AND READABLE STORAGE MEDIUM |
PCT/CN2020/120025 WO2022036817A1 (zh) | 2020-08-18 | 2020-10-09 | 图像处理方法、图像处理***、电子设备及可读存储介质 |
US18/146,949 US11758289B2 (en) | 2020-08-18 | 2022-12-27 | Image processing method, image processing system, electronic device, and readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010833968.8A CN111899178B (zh) | 2020-08-18 | 2020-08-18 | 图像处理方法、图像处理***、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111899178A true CN111899178A (zh) | 2020-11-06 |
CN111899178B CN111899178B (zh) | 2021-04-16 |
Family
ID=73229742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010833968.8A Active CN111899178B (zh) | 2020-08-18 | 2020-08-18 | 图像处理方法、图像处理***、电子设备及可读存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11758289B2 (zh) |
EP (1) | EP4202822A4 (zh) |
CN (1) | CN111899178B (zh) |
WO (1) | WO2022036817A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112702543A (zh) * | 2020-12-28 | 2021-04-23 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理***、电子设备及可读存储介质 |
CN112738493A (zh) * | 2020-12-28 | 2021-04-30 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备及可读存储介质 |
CN112822475A (zh) * | 2020-12-28 | 2021-05-18 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端及可读存储介质 |
CN115767290A (zh) * | 2022-09-28 | 2023-03-07 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040075667A1 (en) * | 2002-10-17 | 2004-04-22 | Lockheed Martin Corporation | System and related methods for synthesizing color imagery |
CN102461175A (zh) * | 2009-06-09 | 2012-05-16 | 全视科技有限公司 | 用于四通道彩色滤光片阵列的内插 |
CN105719274A (zh) * | 2014-12-10 | 2016-06-29 | 全视技术有限公司 | 边缘检测***及方法 |
CN107045715A (zh) * | 2017-02-22 | 2017-08-15 | 西南科技大学 | 一种单幅低动态范围图像生成高动态范围图像的方法 |
US20180338086A1 (en) * | 2017-05-16 | 2018-11-22 | Apple Inc. | Synthetic Long Exposure Image with Optional Enhancement Using a Guide Image |
CN110784634A (zh) * | 2019-11-15 | 2020-02-11 | Oppo广东移动通信有限公司 | 图像传感器、控制方法、摄像头组件及移动终端 |
CN111405204A (zh) * | 2020-03-11 | 2020-07-10 | Oppo广东移动通信有限公司 | 图像获取方法、成像装置、电子设备及可读存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7769229B2 (en) * | 2006-11-30 | 2010-08-03 | Eastman Kodak Company | Processing images having color and panchromatic pixels |
JP5724185B2 (ja) * | 2010-03-04 | 2015-05-27 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP2013066146A (ja) | 2011-08-31 | 2013-04-11 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
EP2833635B1 (en) * | 2012-03-27 | 2018-11-07 | Sony Corporation | Image processing device, image-capturing element, image processing method, and program |
CN111491111B (zh) * | 2020-04-20 | 2021-03-26 | Oppo广东移动通信有限公司 | 高动态范围图像处理***及方法、电子设备和可读存储介质 |
-
2020
- 2020-08-18 CN CN202010833968.8A patent/CN111899178B/zh active Active
- 2020-10-09 EP EP20950021.4A patent/EP4202822A4/en active Pending
- 2020-10-09 WO PCT/CN2020/120025 patent/WO2022036817A1/zh unknown
-
2022
- 2022-12-27 US US18/146,949 patent/US11758289B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040075667A1 (en) * | 2002-10-17 | 2004-04-22 | Lockheed Martin Corporation | System and related methods for synthesizing color imagery |
CN102461175A (zh) * | 2009-06-09 | 2012-05-16 | 全视科技有限公司 | 用于四通道彩色滤光片阵列的内插 |
CN105719274A (zh) * | 2014-12-10 | 2016-06-29 | 全视技术有限公司 | 边缘检测***及方法 |
CN107045715A (zh) * | 2017-02-22 | 2017-08-15 | 西南科技大学 | 一种单幅低动态范围图像生成高动态范围图像的方法 |
US20180338086A1 (en) * | 2017-05-16 | 2018-11-22 | Apple Inc. | Synthetic Long Exposure Image with Optional Enhancement Using a Guide Image |
CN110784634A (zh) * | 2019-11-15 | 2020-02-11 | Oppo广东移动通信有限公司 | 图像传感器、控制方法、摄像头组件及移动终端 |
CN111405204A (zh) * | 2020-03-11 | 2020-07-10 | Oppo广东移动通信有限公司 | 图像获取方法、成像装置、电子设备及可读存储介质 |
Non-Patent Citations (2)
Title |
---|
SUNDAR K J A: "Fusion of panchromatic image with multi-spectral image using robust adaptive normalized convolution", 《JOURNAL OF APPLIED GEOPHYSICS》 * |
李旭寒 等: "应用引导滤波器和成像***特性的多光谱与全色图像融合算法", 《计算机科学》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112702543A (zh) * | 2020-12-28 | 2021-04-23 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理***、电子设备及可读存储介质 |
CN112738493A (zh) * | 2020-12-28 | 2021-04-30 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备及可读存储介质 |
CN112822475A (zh) * | 2020-12-28 | 2021-05-18 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端及可读存储介质 |
CN112702543B (zh) * | 2020-12-28 | 2021-09-17 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理***、电子设备及可读存储介质 |
WO2022141743A1 (zh) * | 2020-12-28 | 2022-07-07 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理***、电子设备及可读存储介质 |
CN112822475B (zh) * | 2020-12-28 | 2023-03-14 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端及可读存储介质 |
CN112738493B (zh) * | 2020-12-28 | 2023-03-14 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备及可读存储介质 |
CN115767290A (zh) * | 2022-09-28 | 2023-03-07 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
CN115767290B (zh) * | 2022-09-28 | 2023-09-29 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111899178B (zh) | 2021-04-16 |
EP4202822A1 (en) | 2023-06-28 |
US20230164450A1 (en) | 2023-05-25 |
WO2022036817A1 (zh) | 2022-02-24 |
US11758289B2 (en) | 2023-09-12 |
EP4202822A4 (en) | 2024-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111757006B (zh) | 图像获取方法、摄像头组件及移动终端 | |
CN111405204B (zh) | 图像获取方法、成像装置、电子设备及可读存储介质 | |
CN112261391B (zh) | 图像处理方法、摄像头组件及移动终端 | |
CN111314592B (zh) | 图像处理方法、摄像头组件及移动终端 | |
CN111899178B (zh) | 图像处理方法、图像处理***、电子设备及可读存储介质 | |
CN111479071B (zh) | 高动态范围图像处理***及方法、电子设备和可读存储介质 | |
CN110740272B (zh) | 图像采集方法、摄像头组件及移动终端 | |
CN111246064B (zh) | 图像处理方法、摄像头组件及移动终端 | |
CN111385543B (zh) | 图像传感器、摄像头组件、移动终端及图像获取方法 | |
CN111741221B (zh) | 图像获取方法、摄像头组件及移动终端 | |
CN112738493B (zh) | 图像处理方法、图像处理装置、电子设备及可读存储介质 | |
CN112822475B (zh) | 图像处理方法、图像处理装置、终端及可读存储介质 | |
CN111835971B (zh) | 图像处理方法、图像处理***、电子设备及可读存储介质 | |
CN112351172B (zh) | 图像处理方法、摄像头组件及移动终端 | |
CN111031297B (zh) | 图像传感器、控制方法、摄像头组件和移动终端 | |
CN112738494B (zh) | 图像处理方法、图像处理***、终端设备及可读存储介质 | |
CN112702543B (zh) | 图像处理方法、图像处理***、电子设备及可读存储介质 | |
CN112235485B (zh) | 图像传感器、图像处理方法、成像装置、终端及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |