CN116847211B - 一种颜色滤波阵列的插值方法 - Google Patents

一种颜色滤波阵列的插值方法 Download PDF

Info

Publication number
CN116847211B
CN116847211B CN202310701068.1A CN202310701068A CN116847211B CN 116847211 B CN116847211 B CN 116847211B CN 202310701068 A CN202310701068 A CN 202310701068A CN 116847211 B CN116847211 B CN 116847211B
Authority
CN
China
Prior art keywords
white
pixel point
color filter
relative position
filter array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310701068.1A
Other languages
English (en)
Other versions
CN116847211A (zh
Inventor
张秀婉
鲁五一
伍倩莹
陈兰兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou City Construction College
Original Assignee
Guangzhou City Construction College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou City Construction College filed Critical Guangzhou City Construction College
Priority to CN202310701068.1A priority Critical patent/CN116847211B/zh
Publication of CN116847211A publication Critical patent/CN116847211A/zh
Application granted granted Critical
Publication of CN116847211B publication Critical patent/CN116847211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了一种颜色滤波阵列的插值方法，颜色滤波阵列的4×4格式的基本单元中，各行分别包括依次排列：红色滤波通道、白色长曝光通道、蓝色滤波通道和白色长曝光通道，白色短曝光通道、绿色滤波通道、白色短曝光通道和绿色滤波通道，蓝色滤波通道、白色长曝光通道、红色滤波通道和白色长曝光通道，白色短曝光通道、绿色滤波通道、白色短曝光通道和绿色滤波通道，其中白色长曝光通道用于接收比白色短曝光通道更大的曝光量。本发明中的颜色滤波阵列在相同的工作过程中有不同的白色光曝光量，对使用颜色滤波阵列获得的原始数据进行插值所获得的图像，具有高动态范围和高解析力等优点。本发明广泛应用于图像传感器技术领域。

Description

一种颜色滤波阵列的插值方法
技术领域
本发明涉及图像传感器技术领域，尤其是一种颜色滤波阵列的插值方法。
背景技术
颜色滤波阵列(Color Filter Array，CFA)可以对特定波长的色光进行滤波，使得CCD或者CMOS等图像传感器接收到经过滤波后的光线，获得良好的色彩再现能力和彩色信噪比等效果。
目前主流的颜色滤波阵列为拜耳格式(Bayer pattern)排列，这种格式的颜色滤波阵列中，由于滤波器对光强的衰减，对暗光场景的感知能力有限，在拍摄暗光场景时会在暗区产生较大的噪声且容易过早的截断。另一方面，拜耳格式排列的颜色滤波阵列容易使得传感器所能采集到的单帧场景的动态范围有限。
发明内容
针对目前的颜色滤波阵列存在对暗光场景的感知能力有限以及单帧场景的动态范围有限等技术问题，本发明的目的在于提供一种颜色滤波阵列的插值方法。
一方面，本发明实施例包括一种颜色滤波阵列，其中：
所述颜色滤波阵列包括4×4格式的基本单元，所述基本单元可划分为均为2×2格式的第一单元块、第二单元块、第三单元块和第四单元块；在所述基本单元内部，所述第一单元块与所述第四单元块互为对角位置，所述第二单元块与所述第三单元块互为对角位置；
所述第一单元块、所述第二单元块、所述第三单元块和所述第四单元块分别包括1个白色短曝光通道、1个白色长曝光通道和1个绿色滤波通道；其中，在所述第一单元块、所述第二单元块、所述第三单元块和所述第四单元块各自内部，所述白色短曝光通道与所述白色长曝光通道互为对角位置，各所述绿色滤波通道在各自所在的单元块内的相对位置相同；
所述第一单元块与所述第四单元块分别包括1个红色滤波通道，所述第二单元块与所述第三单元块分别包括1个蓝色滤波通道；其中，在所述第一单元块和所述第四单元块各自内部，所述红色滤波通道与所述绿色滤波通道互为对角位置；在所述第二单元块和所述第三单元块各自内部，所述蓝色滤波通道与所述绿色滤波通道互为对角位置；
所述红色滤波通道用于对入射光中红色以外的成分进行滤波，所述蓝色滤波通道用于对入射光中蓝色以外的成分进行滤波，所述绿色滤波通道用于对入射光中绿色以外的成分进行滤波，所述白色长曝光通道与所述白色短曝光通道分别用于对所有波长的入射光进行相同程度的抑制，且所述白色长曝光通道用于接收比所述白色短曝光通道更大的曝光量。
进一步地，所述基本单元的第一行包括依次排列的红色滤波通道、白色长曝光通道、蓝色滤波通道和白色长曝光通道；
所述基本单元的第二行包括依次排列的白色短曝光通道、绿色滤波通道、白色短曝光通道和绿色滤波通道；
所述基本单元的第三行包括依次排列的蓝色滤波通道、白色长曝光通道、红色滤波通道和白色长曝光通道；
所述基本单元的第四行包括依次排列的白色短曝光通道、绿色滤波通道、白色短曝光通道和绿色滤波通道；
所述红色滤波通道用于对入射光中红色以外的成分进行滤波，所述蓝色滤波通道用于对入射光中蓝色以外的成分进行滤波，所述绿色滤波通道用于对入射光中绿色以外的成分进行滤波，所述白色长曝光通道用于接收比所述白色短曝光通道更大的曝光量。
进一步地，所述白色长曝光通道的曝光时间长于所述白色短曝光通道的曝光时间，而且：所述白色长曝光通道、所述红色滤波通道、所述蓝色滤波通道与所述绿色滤波通道的曝光时间相同，或者，所述白色短曝光通道、所述红色滤波通道、所述蓝色滤波通道与所述绿色滤波通道的曝光时间相同；
或者：
所述白色长曝光通道的透射率大于所述白色短曝光通道的透射率。
另一方面，本发明实施例还包括一种插值方法，用于对使用实施例中的颜色滤波阵列的图像传感器的像素点进行插值，插值方法包括：
对白色像素点进行HDR合成；其中，所述白色像素点包括白色长曝光像素点和白色短曝光像素点，所述白色长曝光像素点为所述白色长曝光通道对应的像素点，所述白色短曝光像素点为所述白色短曝光通道对应的像素点；
对红色像素点、蓝色像素点和绿色像素点执行白色插值；所述红色像素点为所述红色滤波通道对应的像素点，所述蓝色像素点为所述蓝色滤波通道对应的像素点，所述绿色像素点为所述绿色滤波通道对应的像素点；
对所述白色像素点、所述红色像素点和所述蓝色像素点执行绿色插值；
对所述白色像素点、所述红色像素点和所述绿色像素点执行蓝色插值；
对所述白色像素点、所述蓝色像素点和所述绿色像素点执行红色插值。
进一步地，所述对白色像素点进行HDR合成，包括：
获取所述白色长曝光通道相对于所述白色短曝光通道的曝光比α；
根据公式
确定所述白色像素点的白色像素值；其中，WL为经过HDR合成后一个所述白色长曝光像素点的白色像素值，WS为经过HDR合成后与该所述白色长曝光像素点相邻的所述白色短曝光像素点的白色像素值，L为经过HDR合成前该所述白色长曝光像素点的亮度值，Thrhigh为高亮阈值，Thrlow为低亮阈值，ValL为使用所述颜色滤波阵列对一个照度均匀的灰度卡拍摄时所述白色长曝光通道的数值，ValS为使用所述颜色滤波阵列对一个照度均匀的灰度卡拍摄时所述白色短曝光通道的数值，blc为使用所述颜色滤波阵列的图像传感器对应的黑电平。
进一步地，所述获取所述白色长曝光通道相对于所述白色短曝光通道的曝光比α，包括：
通过公式或者/>执行计算，获得所述曝光比α；其中，TL为所述白色长曝光通道的曝光时间，Ts为所述白色短曝光通道的曝光时间，ValL为使用所述颜色滤波阵列对一个照度均匀的灰度卡拍摄时所述白色长曝光通道的数值，ValS为使用所述颜色滤波阵列对一个照度均匀的灰度卡拍摄时所述白色短曝光通道的数值，blc为使用所述颜色滤波阵列的图像传感器对应的黑电平。
进一步地，所述对红色像素点、蓝色像素点和绿色像素点执行白色插值，包括：
根据公式
确定所述红色像素点、所述蓝色像素点或者所述绿色像素点的白色像素值；其中，W22为所述颜色滤波阵列中相对位置为22的所述红色像素点、所述蓝色像素点或者所述绿色像素点的白色像素值，表示相对位置为22的像素点对应的水平梯度，/>表示相对位置为22的像素点对应的垂直梯度，abs()表示取绝对值，W21为所述颜色滤波阵列中相对位置为21的所述白色像素点的白色像素值，W23为所述颜色滤波阵列中相对位置为23的所述白色像素点的白色像素值，W12为所述颜色滤波阵列中相对位置为12的所述白色像素点的白色像素值，W32为所述颜色滤波阵列中相对位置为32的所述白色像素点的白色像素值，Thr表示阈值。
进一步地，所述对所述白色像素点、所述红色像素点和所述蓝色像素点执行绿色插值，包括：
对于所述白色短曝光像素点，根据公式
if
else if
else
确定所述白色短曝光像素点的绿色像素值；其中，G32为所述颜色滤波阵列中相对位置为32的所述白色短曝光像素点的绿色像素值，表示相对位置为32的像素点对应的水平梯度，/>表示相对位置为32的像素点对应的垂直梯度，abs()表示取绝对值，W22为所述颜色滤波阵列中相对位置为22的所述白色像素点的白色像素值，W31为所述颜色滤波阵列中相对位置为31的所述白色像素点的白色像素值，W33为所述颜色滤波阵列中相对位置为33的所述白色像素点的白色像素值，W42为所述颜色滤波阵列中相对位置为42的所述白色像素点的白色像素值，G11为所述颜色滤波阵列中相对位置为11的所述绿色像素点的绿色像素值，G13为所述颜色滤波阵列中相对位置为13的所述绿色像素点的绿色像素值，G31为所述颜色滤波阵列中相对位置为31的所述绿色像素点的绿色像素值，G33为所述颜色滤波阵列中相对位置为33的所述绿色像素点的绿色像素值，G51为所述颜色滤波阵列中相对位置为51的所述绿色像素点的绿色像素值，G53为所述颜色滤波阵列中相对位置为53的所述绿色像素点的绿色像素值，Thr表示阈值；
对于所述白色长曝光像素点，根据公式
if
else if
else
确定所述白色长曝光像素点的绿色像素值；其中，G23为所述颜色滤波阵列中相对位置为23的所述白色长曝光像素点的绿色像素值，表示相对位置为23的像素点对应的水平梯度，/>表示相对位置为23的像素点对应的垂直梯度，abs()表示取绝对值，W13为所述颜色滤波阵列中相对位置为13的所述白色像素点的白色像素值，W22为所述颜色滤波阵列中相对位置为22的所述白色像素点的白色像素值，W24为所述颜色滤波阵列中相对位置为24的所述白色像素点的白色像素值，W33为所述颜色滤波阵列中相对位置为33的所述白色像素点的白色像素值，G11为所述颜色滤波阵列中相对位置为11的所述绿色像素点的绿色像素值，G13为所述颜色滤波阵列中相对位置为13的所述绿色像素点的绿色像素值，G15为所述颜色滤波阵列中相对位置为15的所述绿色像素点的绿色像素值，G31为所述颜色滤波阵列中相对位置为31的所述绿色像素点的绿色像素值，G35为所述颜色滤波阵列中相对位置为35的所述绿色像素点的绿色像素值，G33为所述颜色滤波阵列中相对位置为33的所述绿色像素点的绿色像素值，Thr表示阈值；
对于所述红色像素点或者所述蓝色像素点，根据公式
GradA＝|2*W22-W13-W31|+|G13-G31|
GradD＝|2*W22-W11-W33|+|G11-G33|
if|GradA-GradD|<Thr：
else if GradA<GradS
else
确定所述红色像素点或者所述蓝色像素点的绿色像素值；其中，G22为所述颜色滤波阵列中相对位置为22的所述红色像素点或者所述蓝色像素点的绿色像素值，GradA表示相对位置为22的像素点对应的水平梯度，Gradd表示相对位置为22的像素点对应的垂直梯度，abs()表示取绝对值，W11为所述颜色滤波阵列中相对位置为11的所述白色像素点的白色像素值，W13为所述颜色滤波阵列中相对位置为13的所述白色像素点的白色像素值，W22为所述颜色滤波阵列中相对位置为22的所述白色像素点的白色像素值，W31为所述颜色滤波阵列中相对位置为31的所述白色像素点的白色像素值，W33为所述颜色滤波阵列中相对位置为33的所述白色像素点的白色像素值，G11为所述颜色滤波阵列中相对位置为11的所述绿色像素点的绿色像素值，G13为所述颜色滤波阵列中相对位置为13的所述绿色像素点的绿色像素值，G15为所述颜色滤波阵列中相对位置为15的所述绿色像素点的绿色像素值，G31为所述颜色滤波阵列中相对位置为31的所述绿色像素点的绿色像素值，G35为所述颜色滤波阵列中相对位置为35的所述绿色像素点的绿色像素值，G33为所述颜色滤波阵列中相对位置为33的所述绿色像素点的绿色像素值，Thr表示阈值。
进一步地，所述对所述白色像素点、所述红色像素点和所述绿色像素点执行蓝色插值，包括：
对于所述红色像素点，根据公式
if
else if
else
确定所述红色像素点的蓝色像素值；其中，B33为所述颜色滤波阵列中相对位置为33的所述红色像素点的蓝色像素值，表示相对位置为33的像素点对应的水平梯度，表示相对位置为33的像素点对应的垂直梯度，abs()表示取绝对值，W13为所述颜色滤波阵列中相对位置为13的所述白色像素点的白色像素值，W23为所述颜色滤波阵列中相对位置为23的所述白色像素点的白色像素值，W31为所述颜色滤波阵列中相对位置为31的所述白色像素点的白色像素值，W32为所述颜色滤波阵列中相对位置为32的所述白色像素点的白色像素值，W33为所述颜色滤波阵列中相对位置为33的所述白色像素点的白色像素值，W34为所述颜色滤波阵列中相对位置为34的所述白色像素点的白色像素值，W35为所述颜色滤波阵列中相对位置为35的所述白色像素点的白色像素值，W43为所述颜色滤波阵列中相对位置为43的所述白色像素点的白色像素值，W53为所述颜色滤波阵列中相对位置为53的所述白色像素点的白色像素值，B13为所述颜色滤波阵列中相对位置为13的所述蓝色像素点的蓝色像素值，B31为所述颜色滤波阵列中相对位置为31的所述蓝色像素点的蓝色像素值，B35为所述颜色滤波阵列中相对位置为35的所述蓝色像素点的蓝色像素值，B53为所述颜色滤波阵列中相对位置为53的所述蓝色像素点的蓝色像素值，Thr表示阈值；
对于所述绿色像素点，根据公式
确定所述绿色像素点的蓝色像素值；其中，B22为所述颜色滤波阵列中相对位置为22的所述绿色像素点的蓝色像素值，B24为所述颜色滤波阵列中相对位置为24的所述绿色像素点的蓝色像素值，B42为所述颜色滤波阵列中相对位置为42的所述绿色像素点的蓝色像素值，B44为所述颜色滤波阵列中相对位置为44的所述绿色像素点的蓝色像素值，W11为所述颜色滤波阵列中相对位置为11的所述白色像素点的白色像素值，W15为所述颜色滤波阵列中相对位置为15的所述白色像素点的白色像素值，W22为所述颜色滤波阵列中相对位置为22的所述白色像素点的白色像素值，W24为所述颜色滤波阵列中相对位置为24的所述白色像素点的白色像素值，W33为所述颜色滤波阵列中相对位置为33的所述白色像素点的白色像素值，W42为所述颜色滤波阵列中相对位置为42的所述白色像素点的白色像素值，W44为所述颜色滤波阵列中相对位置为44的所述白色像素点的白色像素值，W51为所述颜色滤波阵列中相对位置为51的所述白色像素点的白色像素值，W55为所述颜色滤波阵列中相对位置为55的所述白色像素点的白色像素值，B11为所述颜色滤波阵列中相对位置为11的所述蓝色像素点的蓝色像素值，B15为所述颜色滤波阵列中相对位置为15的所述蓝色像素点的蓝色像素值，B33为所述颜色滤波阵列中相对位置为33的所述蓝色像素点的蓝色像素值，B51为所述颜色滤波阵列中相对位置为51的所述蓝色像素点的蓝色像素值，B55为所述颜色滤波阵列中相对位置为55的所述蓝色像素点的蓝色像素值，Thr表示阈值；
对于所述白色像素点，根据公式
if
else if
else
确定所述白色像素点的蓝色像素值；其中，B22为所述颜色滤波阵列中相对位置为22的所述白色像素点的蓝色像素值，W12为所述颜色滤波阵列中相对位置为12的所述白色像素点的白色像素值，W21为所述颜色滤波阵列中相对位置为21的所述白色像素点的白色像素值，W22为所述颜色滤波阵列中相对位置为22的所述白色像素点的白色像素值，W23为所述颜色滤波阵列中相对位置为23的所述白色像素点的白色像素值，W32为所述颜色滤波阵列中相对位置为32的所述白色像素点的白色像素值，B12为所述颜色滤波阵列中相对位置为12的像素点的蓝色像素值，B21为所述颜色滤波阵列中相对位置为21的像素点的蓝色像素值，B23为所述颜色滤波阵列中相对位置为23的像素点的蓝色像素值，B32为所述颜色滤波阵列中相对位置为32的像素点的蓝色像素值。
进一步地，所述插值方法，还包括：
对于任一像素点，获取所述像素点的红色像素值R、绿色像素值G、蓝色像素值B和白色像素值W；
通过公式计算增益值gain；
根据公式
计算修正红色像素值修正绿色像素值/>和修正蓝色像素值/>
本发明的有益效果是：实施例中的颜色滤波阵列同时设置了白色长曝光通道(L)和白色短曝光通道(S)作为白色光的通道，因此应用该颜色滤波阵列的图像传感器的不同位置，在相同的工作过程中有不同的白色光曝光量，有利于图像传感器达到较高的动态范围，以及获得良好的图像解析力；通过对使用颜色滤波阵列获得的原始数据进行插值所获得的图像，具有高动态范围和高解析力等优点。
附图说明
图1(a)和图1(b)为实施例中颜色滤波阵列的基本单元的格式示意图；
图2为实施例中插值方法的步骤图；
图3(a)和图3(b)为图1(a)所示的基本单元中两个2×2的单元的示意图；
图4为实施例中对白色像素点进行HDR合成这一步骤的原理示意图；
图5为实施例中确定白色短曝光像素点的绿色像素值这一步骤的原理示意图；
图6为实施例中确定白色长曝光像素点的绿色像素值这一步骤的原理示意图；
图7为实施例中确定红色像素点或者蓝色像素点的绿色像素值这一步骤的原理示意图；
图8为实施例中确定确定红色像素点的蓝色像素值这一步骤的原理示意图；
图9为实施例中确定绿色像素点的蓝色像素值这一步骤的原理示意图；
图10为实施例中确定白色像素点的蓝色像素值这一步骤的原理示意图。
具体实施方式
本实施例中，颜色滤波阵列的基本单元是一个4×4pattern，例如一个完整的颜色滤波阵列是由多个图1(a)或者图1(b)所示的4×4pattern依次相邻组合得到的。
为方便说明，参照图1(a)或者图1(b)，可以将一个基本单元划分为第一单元块、第二单元块、第三单元块和第四单元块等4个单元块，每个单元块均为2×2格式，即每个单元块都是由4个通道组成。本实施例中，“单元块”是为了方便说明基本单元的结构而提出的概念，并不意味着“基本单元”与“单元块”之间存在着必然层级关系，也并不意味着不同的“单元块”是相互独立的实体。
参照图1(a)或者图1(b)，在基本单元内部，第一单元块与第四单元块互为对角位置，第二单元块与第三单元块互为对角位置，例如，第一单元块、第二单元块、第三单元块和第四单元块分别位于基本单元内部的左上角、右上角、左下角和右下角。
本实施例中，一个颜色滤波阵列的基本单元包括16个通道，具体包括4个白色长曝光通道、4个白色短曝光通道、4个绿色滤波通道、2个红色滤波通道和2个蓝色滤波通道，这些通道分别分布在不同的单元块中。
例如，图1(a)或者图1(b)都是可行的通道排布方式。
参照图1(a)或者图1(b)，第一单元块、第二单元块、第三单元块和第四单元块分别包括1个白色短曝光通道(S)、1个白色长曝光通道(L)和1个绿色滤波通道(G)。其中，在第一单元块、第二单元块、第三单元块和第四单元块各自内部，白色短曝光通道与白色长曝光通道互为对角位置，各绿色滤波通道在各自所在的单元块内的相对位置相同。例如，在第一单元块、第二单元块、第三单元块和第四单元块中，绿色滤波通道(G)都位于右下角位置，而白色长曝光通道(L)都位于右上角(或者左下角)位置，白色短曝光通道(S)都位于左下角(或者右上角)位置。
参照图1(a)，第一单元块与第四单元块分别包括1个红色滤波通道(R)，第二单元块与第三单元块分别包括1个蓝色滤波通道(B)。其中，在第一单元块和第四单元块各自内部，红色滤波通道(R)与绿色滤波通道(G)互为对角位置；在第二单元块和第三单元块各自内部，蓝色滤波通道(B)与绿色滤波通道(G)互为对角位置。例如，参照图1(a)，在第一单元块和第四单元块各自内部，红色滤波通道(R)都位于左上角位置；在第二单元块和第三单元块各自内部，蓝色滤波通道(B)都位于左上角位置。
参照图1(b)，第一单元块与第四单元块分别包括1个蓝色滤波通道(B)，第二单元块与第三单元块分别包括1个红色滤波通道(R)。其中，在第一单元块和第四单元块各自内部，蓝色滤波通道(B)与绿色滤波通道(G)互为对角位置；在第二单元块和第三单元块各自内部，红色滤波通道(R)与绿色滤波通道(G)互为对角位置。例如，参照图1(b)，在第一单元块和第四单元块各自内部，蓝色滤波通道(B)都位于左上角位置；在第二单元块和第三单元块各自内部，红色滤波通道(R)都位于左上角位置。
图1(a)和图1(b)所示的通道排布方式，以及其他满足通道之间的相对关系的通道排布方式都是可行的，都能够实现相同的技术效果，本实施例中，以图1(a)所示的通道排布方式为例进行说明，关于图1(a)的原理以及使用等描述同样适用于图1(b)所示的通道排布方式，以及其他满足通道之间的相对关系的通道排布方式。
参照图1(a)，4×4pattern中的第一行包括依次排列的红色滤波通道(R)、白色长曝光通道(L)、蓝色滤波通道(B)和白色长曝光通道(L)；第二行包括依次排列的白色短曝光通道(S)、绿色滤波通道(G)、白色短曝光通道(S)和绿色滤波通道(G)；第三行包括依次排列的蓝色滤波通道(B)、白色长曝光通道(L)、红色滤波通道(R)和白色长曝光通道(L)；第四行包括依次排列的白色短曝光通道(S)、绿色滤波通道(G)、白色短曝光通道(S)和绿色滤波通道(G)。
其中，红色滤波通道(R)用于对入射光中红色以外的成分进行滤波，也就是仅允许红色光通过；蓝色滤波通道(B)用于对入射光中蓝色以外的成分进行滤波，也就是仅允许蓝色光通过；绿色滤波通道(G)用于对入射光中绿色以外的成分进行滤波，也就是仅允许绿色光通过；白色长曝光通道(L)和白色短曝光通道(S)可以不对任何特定的颜色进行滤除，即白色长曝光通道和白色短曝光通道均允许任何颜色的光(白光)通过。
当图1(a)所示的颜色滤波阵列用在图像传感器，进行工作时，白色长曝光通道(L)接收比白色短曝光通道(S)更大的曝光量，即每次曝光，图像传感器上对应白色长曝光通道(L)的像素接收到的曝光量更大，比对应白色短曝光通道(S)的像素接收到的曝光量更大。
图1(a)所示的颜色滤波阵列中，4×4pattern的基本单元内含有4个白色长曝光通道(L)、4个白色短曝光通道(S)(合共8个白色通道)、4个绿色滤波通道(G)、2个红色滤波通道(R)和2个蓝色滤波通道(B)，即白色像素占比为50％、绿色像素占比为25％、红色像素和蓝色像素占比均为12.5％。由于同时设置了白色长曝光通道(L)和白色短曝光通道(S)作为白色光的通道，因此应用该颜色滤波阵列的图像传感器的不同位置，在相同的工作过程中有不同的白色光曝光量，有利于图像传感器达到较高的动态范围，以及获得良好的图像解析力。
本实施例中，“白色长曝光通道(L)接收比白色短曝光通道(S)更大的曝光量”这一特性，可以通过以下两种方式实现：
方式1：白色长曝光通道(L)的曝光时间长于白色短曝光通道(S)的曝光时间；
方式2：白色长曝光通道(L)的透射率大于白色短曝光通道(S)的透射率。
方式1中，可以对颜色滤波阵列的每个通道(或者图像传感器中的对应像素)的曝光时间进行单独控制，使得每次曝光时，白色长曝光通道(L)的曝光时间比白色短曝光通道(S)的曝光时间长。具体地，方式1有以下两种情况：
(1)白色长曝光通道(L)、红色滤波通道(R)、蓝色滤波通道(B)与绿色滤波通道(G)的曝光时间相同，均为一个较大的数值，白色短曝光通道(S)的曝光时间为一个较小的数值。这种情况，有利于图像传感器在高亮场景下获得更多的信息。
(2)白色短曝光通道(S)、红色滤波通道(R)、蓝色滤波通道(B)与绿色滤波通道(G)的曝光时间相同，均为一个较小的数值，白色长曝光通道(L)的曝光时间为一个较大的数值。这种情况，有利于图像传感器在暗场景下获得更多的暗区细节。
方式2中，可以单独在白色短曝光通道(S)上增加衰减片，而白色长曝光通道(L)则不使用衰减片，能够使得白色短曝光通道(S)的透射率减小，相对白色长曝光通道(L)的透射率更低，有利于图像传感器在高亮场景下获得更多的信息。
对于本实施例中的颜色滤波阵列的图像传感器，提供如图2所示的插值方法，以对图像传感器中的像素点进行插值。参照图2，插值方法包括以下步骤：
S1.对白色像素点进行HDR合成；
S2.对红色像素点、蓝色像素点和绿色像素点执行白色插值；红色像素点为红色滤波通道对应的像素点，蓝色像素点为蓝色滤波通道对应的像素点，绿色像素点为绿色滤波通道对应的像素点；
S3.对白色像素点、红色像素点和蓝色像素点执行绿色插值；
S4.对白色像素点、红色像素点和绿色像素点执行蓝色插值；
S5.对白色像素点、蓝色像素点和绿色像素点执行红色插值。
步骤S1-S5中，将颜色滤波阵列应用在图像传感器时，图像传感器上与白色长曝光通道(L)对应的像素点称为白色长曝光像素点，与白色短曝光通道(S)对应的像素点称为白色短曝光像素点，与红色滤波通道(R)对应的像素点称为红色像素点，与蓝色滤波通道(B)对应的像素点称为蓝色像素点，与绿色滤波通道(G)对应的像素点称为绿色像素点。其中，由于白色长曝光像素点和白色短曝光像素点都是对白色光进行感光，因此可以将白色长曝光像素点和白色短曝光像素点统称为白色像素点。
在执行步骤S1，也就是对白色像素点进行HDR合成这一步骤时，具体可以执行以下步骤：
S101.获取白色长曝光通道相对于白色短曝光通道的曝光比α；
S102.根据公式(1)确定白色像素点的白色像素值。
步骤S101中，对于通过方式1实现的颜色滤波阵列，可以通过公式计算曝光比α，其中TL为白色长曝光通道的曝光时间，Ts为白色短曝光通道的曝光时间；对于通过方式2实现的颜色滤波阵列，可以通过公式/>计算曝光比α，其中ValL为对颜色滤波阵列进行标定(例如使用颜色滤波阵列对一个照度均匀的灰度卡拍摄)所得到的白色长曝光通道的数值，ValS为对颜色滤波阵列进行标定所得到的白色短曝光通道的数值，blc为对颜色滤波阵列进行标定时图像传感器对应的黑电平。
在执行步骤S101获得曝光比α之后，对于图1(a)所示的基本单元，可以从中获得图3(a)和图3(b)所示的两个2×2的单元。对于这两个2×2的单元，执行步骤S102，设置高亮阈值Thrhigh和低亮阈值Thrlow，通过式(1)进行计算，其中WL为经过HDR合成后一个白色长曝光像素点的白色像素值，WS为经过HDR合成后与该白色长曝光像素点相邻的白色短曝光像素点的白色像素值，L为经过HDR合成前该白色长曝光像素点的亮度值。
通过执行步骤S1，能够将图1(a)所示的基本单元中一半通道(即白色长曝光通道和白色短曝光通道)对应的像素点的像素值计算出来，从而为执行步骤S2-S5进行插值提供数据。
本实施例中，执行步骤S2-S5所进行的插值，是通过图像传感器中检测出像素值的点，计算出未检测出的像素值的过程。例如，步骤S3中，图像传感器中的绿色像素点能够检测出绿色像素值，而白色像素点、红色像素点和蓝色像素点均未检测出绿色像素值，因此通过插值，可以分别计算出白色像素点、红色像素点和蓝色像素点对应的绿色像素值。通过执行步骤S2-S5，图像传感器中的每个像素点都有其对应的四个不同色的像素值，例如图像传感器中的任一个绿色像素点，有其对应的绿色像素值、白色像素值、红色像素值和蓝色像素值，其中绿色像素值由该绿色像素点检测得到，白色像素值、红色像素值和蓝色像素值是用过插值得到。
在执行步骤S2，也就是对红色像素点、蓝色像素点和绿色像素点执行白色插值这一步骤时，具体可以执行以下步骤：
S201.根据公式(2)和(3)确定红色像素点、蓝色像素点或者绿色像素点的白色像素值。
公式(2)和(3)中，W22为颜色滤波阵列中相对位置为22的红色像素点、蓝色像素点或者绿色像素点的白色像素值，表示相对位置为22的像素点对应的水平梯度，表示相对位置为22的像素点对应的垂直梯度，abs()表示取绝对值，W21为颜色滤波阵列中相对位置为21的白色像素点的白色像素值，W23为颜色滤波阵列中相对位置为23的白色像素点的白色像素值，W12为颜色滤波阵列中相对位置为12的白色像素点的白色像素值，W32为颜色滤波阵列中相对位置为32的白色像素点的白色像素值，Thr表示阈值。
在根据公式(2)和(3)进行计算时，各像素点的相对位置如图4所示。图4是以图1(a)所示的4×4pattern为基本单元的颜色滤波阵列中的一部分，本实施例中，包括图4在内，在描述位置时，以“xy”的形式表示颜色滤波阵列中横坐标为x、纵坐标为y的通道(或者对应的图像传感器中的像素点)，而且横坐标的正方向为水平向右，纵坐标的正方向为竖直向下。例如，图4中，“相对位置23”表示从上向下数起第2行、从左向右数起第3列的通道(或者对应的图像传感器中的像素点)。
分别对每个红色像素点、蓝色像素点和绿色像素点执行步骤S2，能够获得每个红色像素点、蓝色像素点和绿色像素点各自的白色像素值，从而完成白色像素值的插值。
在执行步骤S3，也就是对白色像素点、红色像素点和蓝色像素点执行绿色插值这一步骤时，具体可以执行以下步骤：
S301.对于白色短曝光像素点，根据公式(4)-(7)确定白色短曝光像素点的绿色像素值；
if
else if
else
图5是以图1(a)所示的4×4pattern为基本单元的颜色滤波阵列中的一部分。在根据公式(4)-(7)进行计算时，参照图5，G31为颜色滤波阵列中相对位置为32的白色短曝光像素点的绿色像素值，表示相对位置为32的像素点对应的水平梯度，/>表示相对位置为32的像素点对应的垂直梯度，abs()表示取绝对值，W11为颜色滤波阵列中相对位置为22的白色像素点的白色像素值，W31为颜色滤波阵列中相对位置为31的白色像素点的白色像素值，W33为颜色滤波阵列中相对位置为33的白色像素点的白色像素值，W42为颜色滤波阵列中相对位置为42的白色像素点的白色像素值，G11为颜色滤波阵列中相对位置为11的绿色像素点的绿色像素值，G13为颜色滤波阵列中相对位置为13的绿色像素点的绿色像素值，G31为颜色滤波阵列中相对位置为31的绿色像素点的绿色像素值，G33为颜色滤波阵列中相对位置为33的绿色像素点的绿色像素值，G51为颜色滤波阵列中相对位置为51的绿色像素点的绿色像素值，G53为颜色滤波阵列中相对位置为53的绿色像素点的绿色像素值，Thr表示阈值。
S302.对于白色长曝光像素点，根据公式(8)-(11)确定白色长曝光像素点的绿色像素值；
if/>
else if
else
图6是以图1(a)所示的4×4pattern为基本单元的颜色滤波阵列中的一部分。在根据公式(8)-(11)进行计算时，参照图6，G23为颜色滤波阵列中相对位置为23的白色长曝光像素点的绿色像素值，表示相对位置为23的像素点对应的水平梯度，/>表示相对位置为23的像素点对应的垂直梯度，abs()表示取绝对值，W13为颜色滤波阵列中相对位置为13的白色像素点的白色像素值，W22为颜色滤波阵列中相对位置为22的白色像素点的白色像素值，W24为颜色滤波阵列中相对位置为24的白色像素点的白色像素值，W33为颜色滤波阵列中相对位置为33的白色像素点的白色像素值，G11为颜色滤波阵列中相对位置为11的绿色像素点的绿色像素值，G13为颜色滤波阵列中相对位置为13的绿色像素点的绿色像素值，G15为颜色滤波阵列中相对位置为15的绿色像素点的绿色像素值，G31为颜色滤波阵列中相对位置为31的绿色像素点的绿色像素值，G35为颜色滤波阵列中相对位置为35的绿色像素点的绿色像素值，G33为颜色滤波阵列中相对位置为33的绿色像素点的绿色像素值，Thr表示阈值；
S303.对于红色像素点或者蓝色像素点，根据公式(12)-(15)确定红色像素点或者蓝色像素点的绿色像素值；
GradA＝|2*W22-W13-W31|+|G13-G31|
GradD＝|2*W22-W11-W33|+|G11-G33| (12)
if|GradA-GradD|<Thr：
else ifGradA<GradD
else
图7是以图1(a)所示的4×4pattern为基本单元的颜色滤波阵列中的一部分。在根据公式(12)-(15)进行计算时，参照图7，G22为颜色滤波阵列中相对位置为22的红色像素点或者蓝色像素点的绿色像素值，GradA表示相对位置为22的像素点对应的水平梯度，GradD表示相对位置为22的像素点对应的垂直梯度，abs()表示取绝对值，W11为颜色滤波阵列中相对位置为11的白色像素点的白色像素值，W13为颜色滤波阵列中相对位置为13的白色像素点的白色像素值，W22为颜色滤波阵列中相对位置为22的白色像素点的白色像素值，W31为颜色滤波阵列中相对位置为31的白色像素点的白色像素值，W33为颜色滤波阵列中相对位置为33的白色像素点的白色像素值，G11为颜色滤波阵列中相对位置为11的绿色像素点的绿色像素值，G13为颜色滤波阵列中相对位置为13的绿色像素点的绿色像素值，G15为颜色滤波阵列中相对位置为15的绿色像素点的绿色像素值，G31为颜色滤波阵列中相对位置为31的绿色像素点的绿色像素值，G35为颜色滤波阵列中相对位置为35的绿色像素点的绿色像素值，G33为颜色滤波阵列中相对位置为33的绿色像素点的绿色像素值，Thr表示阈值。
本实施例中，分别对每个白色短曝光像素点执行步骤S301，能够获得每个白色短曝光像素点各自的绿色像素值；分别对每个白色长曝光像素点执行步骤S302，能够获得每个白色长曝光像素点各自的绿色像素值；分别对每个红色像素点或者蓝色像素点执行步骤S303，能够获得每个红色像素点或者蓝色像素点各自的绿色像素值。因此，通过执行步骤S301-S303，能够获得每个白色像素点、红色像素点和蓝色像素点各自的绿色像素值，从而完成绿色像素值的插值。
在执行步骤S4，也就是对白色像素点、红色像素点和绿色像素点执行蓝色插值这一步骤时，具体可以执行以下步骤：
S401.对于红色像素点，根据公式(16)-(19)确定红色像素点的蓝色像素值；
if
else if
else
图8是以图1(a)所示的4×4pattern为基本单元的颜色滤波阵列中的一部分。在根据公式(16)-(19)进行计算时，参照图8，B33为颜色滤波阵列中相对位置为33的红色像素点的蓝色像素值，表示相对位置为33的像素点对应的水平梯度，/>表示相对位置为33的像素点对应的垂直梯度，abs()表示取绝对值，W13为颜色滤波阵列中相对位置为13的白色像素点的白色像素值，W23为颜色滤波阵列中相对位置为23的白色像素点的白色像素值，W31为颜色滤波阵列中相对位置为31的白色像素点的白色像素值，W32为颜色滤波阵列中相对位置为32的白色像素点的白色像素值，W33为颜色滤波阵列中相对位置为33的白色像素点的白色像素值，W34为颜色滤波阵列中相对位置为34的白色像素点的白色像素值，W35为颜色滤波阵列中相对位置为35的白色像素点的白色像素值，W43为颜色滤波阵列中相对位置为43的白色像素点的白色像素值，W53为颜色滤波阵列中相对位置为53的白色像素点的白色像素值，B13为颜色滤波阵列中相对位置为13的蓝色像素点的蓝色像素值，B31为颜色滤波阵列中相对位置为31的蓝色像素点的蓝色像素值，B35为颜色滤波阵列中相对位置为35的蓝色像素点的蓝色像素值，B53为颜色滤波阵列中相对位置为53的蓝色像素点的蓝色像素值，Thr表示阈值。
S402.对于绿色像素点，根据公式(20)-(23)确定绿色像素点的蓝色像素值。
图9是以图1(a)所示的4×4pattern为基本单元的颜色滤波阵列中的一部分。在根据
公式
(20)-(23)进行计算时，参照图9，B22为颜色滤波阵列中相对位置为22的绿色像素点的蓝色像素值，B24为颜色滤波阵列中相对位置为24的绿色像素点的蓝色像素值，B42为颜色滤波阵列中相对位置为42的绿色像素点的蓝色像素值，B44为颜色滤波阵列中相对位置为44的绿色像素点的蓝色像素值，W11为颜色滤波阵列中相对位置为11的白色像素点的白色像素值，W15为颜色滤波阵列中相对位置为15的白色像素点的白色像素值，W22为颜色滤波阵列中相对位置为22的白色像素点的白色像素值，W24为颜色滤波阵列中相对位置为24的白色像素点的白色像素值，W33为颜色滤波阵列中相对位置为33的白色像素点的白色像素值，W42为颜色滤波阵列中相对位置为42的白色像素点的白色像素值，W44为颜色滤波阵列中相对位置为44的白色像素点的白色像素值，W51为颜色滤波阵列中相对位置为51的白色像素点的白色像素值，W55为颜色滤波阵列中相对位置为55的白色像素点的白色像素值，B11为颜色滤波阵列中相对位置为11的蓝色像素点的蓝色像素值，B15为颜色滤波阵列中相对位置为15的蓝色像素点的蓝色像素值，B33为颜色滤波阵列中相对位置为33的蓝色像素点的蓝色像素值，B51为颜色滤波阵列中相对位置为51的蓝色像素点的蓝色像素值，B55为颜色滤波阵列中相对位置为55的蓝色像素点的蓝色像素值，Thr表示阈值。
S403.对于白色像素点，根据公式(24)-(27)确定白色像素点的蓝色像素值。
if
else if
else
图10是以图1(a)所示的4×4pattern为基本单元的颜色滤波阵列中的一部分。在根据公式(20)-(23)进行计算时，参照图10，B22为颜色滤波阵列中相对位置为22的白色像素点的蓝色像素值，W12为颜色滤波阵列中相对位置为12的白色像素点的白色像素值，W21为颜色滤波阵列中相对位置为21的白色像素点的白色像素值，W22为颜色滤波阵列中相对位置为22的白色像素点的白色像素值，W23为颜色滤波阵列中相对位置为23的白色像素点的白色像素值，W32为颜色滤波阵列中相对位置为32的白色像素点的白色像素值，B12为颜色滤波阵列中相对位置为12的像素点的蓝色像素值，B21为颜色滤波阵列中相对位置为21的像素点的蓝色像素值，B23为颜色滤波阵列中相对位置为23的像素点的蓝色像素值，B32为颜色滤波阵列中相对位置为32的像素点的蓝色像素值。
本实施例中，分别对每个红色像素点执行步骤S401，能够获得每个红色各自的蓝色像素值；分别对每个绿色像素点执行步骤S402，能够获得每个绿色像素点各自的蓝色像素值；分别对每个白色像素点执行步骤S403，能够获得每个白色像素点各自的蓝色像素值。因此，通过执行步骤S301-S303，能够获得每个绿色像素点、红色像素点和白色像素点各自的蓝色像素值，从而完成蓝色像素值的插值。
本实施例中，红色像素值的插值的原理与蓝色像素值的插值相同，因此可以参照步骤S401-S403来进行红色像素值的插值。具体地，将步骤S401-S403中的“红色”与“蓝色”对换，便得到红色像素值的插值过程。
通过执行步骤S1-S5，能够获得使用了本实施例中的颜色滤波阵列的图像传感器中的各像素点的像素值。具体地，对于任一像素点，其都具有通过检测或者插值得到的红色像素值R、绿色像素值G、蓝色像素值B和白色像素值W。在执行步骤S1-S5的基础上，还可以执行以下步骤：
S6.通过公式(28)计算增益值gain；
S7.根据公式(29)-(31)计算修正红色像素值修正绿色像素值/>和修正蓝色像素值/>
步骤S6中，计算得到的增益值gain为Luma增益，可以用于对该像素点的红色像素值R、绿色像素值G和蓝色像素值B进行修正，所得到的红色像素值修正绿色像素值/>和修正蓝色像素值/>可以作为该像素点对应的输出值。
通过执行步骤S1-S4以及步骤S5-S6，能够将使用颜色滤波阵列采集到的raw图转换成RGB格式。根据本实施例中的颜色滤波阵列的原理可知，通过执行步骤S1-S4进行插值所获得的RGB格式的图像，具有高动态范围和高解析力等优点。
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机***通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机***的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (5)

1.一种颜色滤波阵列的插值方法，用于对颜色滤波阵列的图像传感器的像素点进行插值，其特征在于：
所述颜色滤波阵列包括4×4格式的基本单元，所述基本单元被划分为均为2×2格式的第一单元块、第二单元块、第三单元块和第四单元块；在所述基本单元内部，所述第一单元块与所述第四单元块互为对角位置，所述第二单元块与所述第三单元块互为对角位置；
所述第一单元块、所述第二单元块、所述第三单元块和所述第四单元块分别包括1个白色短曝光通道、1个白色长曝光通道和1个绿色滤波通道；其中，在所述第一单元块、所述第二单元块、所述第三单元块和所述第四单元块各自内部，所述白色短曝光通道与所述白色长曝光通道互为对角位置，各所述绿色滤波通道在各自所在的单元块内的相对位置相同；
所述第一单元块与所述第四单元块分别包括1个红色滤波通道，所述第二单元块与所述第三单元块分别包括1个蓝色滤波通道；其中，在所述第一单元块和所述第四单元块各自内部，所述红色滤波通道与所述绿色滤波通道互为对角位置；在所述第二单元块和所述第三单元块各自内部，所述蓝色滤波通道与所述绿色滤波通道互为对角位置；
所述红色滤波通道用于对入射光中红色以外的成分进行滤波，所述蓝色滤波通道用于对入射光中蓝色以外的成分进行滤波，所述绿色滤波通道用于对入射光中绿色以外的成分进行滤波，所述白色长曝光通道与所述白色短曝光通道分别用于对所有波长的入射光进行相同程度的抑制，且所述白色长曝光通道用于接收比所述白色短曝光通道更大的曝光量；
所述插值方法包括：
对白色像素点进行HDR合成；其中，所述白色像素点包括白色长曝光像素点和白色短曝光像素点，所述白色长曝光像素点为所述白色长曝光通道对应的像素点，所述白色短曝光像素点为所述白色短曝光通道对应的像素点；
对红色像素点、蓝色像素点和绿色像素点执行白色插值；所述红色像素点为所述红色滤波通道对应的像素点，所述蓝色像素点为所述蓝色滤波通道对应的像素点，所述绿色像素点为所述绿色滤波通道对应的像素点；
对所述白色像素点、所述红色像素点和所述蓝色像素点执行绿色插值；
对所述白色像素点、所述红色像素点和所述绿色像素点执行蓝色插值；
对所述白色像素点、所述蓝色像素点和所述绿色像素点执行红色插值；
所述对白色像素点进行HDR合成，包括：
获取所述白色长曝光通道相对于所述白色短曝光通道的曝光比α；
根据公式
确定所述白色像素点的白色像素值；其中，WL为经过HDR合成后一个所述白色长曝光像素点的白色像素值，WS为经过HDR合成后与该所述白色长曝光像素点相邻的所述白色短曝光像素点的白色像素值，L为经过HDR合成前该所述白色长曝光像素点的亮度值，Thrhigh为高亮阈值，Thrlow为低亮阈值，ValL为使用所述颜色滤波阵列对一个照度均匀的灰度卡拍摄时所述白色长曝光通道的数值，ValS为使用所述颜色滤波阵列对一个照度均匀的灰度卡拍摄时所述白色短曝光通道的数值，blc为使用所述颜色滤波阵列的图像传感器对应的黑电平；
所述对红色像素点、蓝色像素点和绿色像素点执行白色插值，包括：
根据公式
确定所述红色像素点、所述蓝色像素点或者所述绿色像素点的白色像素值；其中，W22为所述颜色滤波阵列中相对位置为22的所述红色像素点、所述蓝色像素点或者所述绿色像素点的白色像素值，表示相对位置为22的像素点对应的水平梯度，/>表示相对位置为22的像素点对应的垂直梯度，abs()表示取绝对值，W21为所述颜色滤波阵列中相对位置为21的所述白色像素点的白色像素值，W23为所述颜色滤波阵列中相对位置为23的所述白色像素点的白色像素值，W12为所述颜色滤波阵列中相对位置为12的所述白色像素点的白色像素值，W32为所述颜色滤波阵列中相对位置为32的所述白色像素点的白色像素值，Thr表示阈值；
所述对所述白色像素点、所述红色像素点和所述蓝色像素点执行绿色插值，包括：
对于所述白色短曝光像素点，根据公式
if
else if
else
确定所述白色短曝光像素点的绿色像素值；其中，G32为所述颜色滤波阵列中相对位置为32的所述白色短曝光像素点的绿色像素值，表示相对位置为32的像素点对应的水平梯度，/>表示相对位置为32的像素点对应的垂直梯度，abs()表示取绝对值，W22为所述颜色滤波阵列中相对位置为22的所述白色像素点的白色像素值，W31为所述颜色滤波阵列中相对位置为31的所述白色像素点的白色像素值，W33为所述颜色滤波阵列中相对位置为33的所述白色像素点的白色像素值，W42为所述颜色滤波阵列中相对位置为42的所述白色像素点的白色像素值，G11为所述颜色滤波阵列中相对位置为11的所述绿色像素点的绿色像素值，G13为所述颜色滤波阵列中相对位置为13的所述绿色像素点的绿色像素值，G31为所述颜色滤波阵列中相对位置为31的所述绿色像素点的绿色像素值，G33为所述颜色滤波阵列中相对位置为33的所述绿色像素点的绿色像素值，G51为所述颜色滤波阵列中相对位置为51的所述绿色像素点的绿色像素值，G53为所述颜色滤波阵列中相对位置为53的所述绿色像素点的绿色像素值，Thr表示阈值；
对于所述白色长曝光像素点，根据公式
if
else if
else
确定所述白色长曝光像素点的绿色像素值；其中，G23为所述颜色滤波阵列中相对位置为23的所述白色长曝光像素点的绿色像素值，表示相对位置为23的像素点对应的水平梯度，/>表示相对位置为23的像素点对应的垂直梯度，abs()表示取绝对值，W13为所述颜色滤波阵列中相对位置为13的所述白色像素点的白色像素值，W22为所述颜色滤波阵列中相对位置为22的所述白色像素点的白色像素值，W24为所述颜色滤波阵列中相对位置为24的所述白色像素点的白色像素值，W33为所述颜色滤波阵列中相对位置为33的所述白色像素点的白色像素值，G11为所述颜色滤波阵列中相对位置为11的所述绿色像素点的绿色像素值，G13为所述颜色滤波阵列中相对位置为13的所述绿色像素点的绿色像素值，G15为所述颜色滤波阵列中相对位置为15的所述绿色像素点的绿色像素值，G31为所述颜色滤波阵列中相对位置为31的所述绿色像素点的绿色像素值，G35为所述颜色滤波阵列中相对位置为35的所述绿色像素点的绿色像素值，G33为所述颜色滤波阵列中相对位置为33的所述绿色像素点的绿色像素值，Thr表示阈值；
对于所述红色像素点或者所述蓝色像素点，根据公式
GradA＝|2*W22-W13-W31|+|G13-G31|
GradD＝|2*W22-W11-W33|+|G11-G33|
if|GradA-GradD|<Thr：
else ifGradA<GradD
else
确定所述红色像素点或者所述蓝色像素点的绿色像素值；其中，G22为所述颜色滤波阵列中相对位置为22的所述红色像素点或者所述蓝色像素点的绿色像素值，GradA表示相对位置为22的像素点对应的水平梯度，GradD表示相对位置为22的像素点对应的垂直梯度，abs()表示取绝对值，W11为所述颜色滤波阵列中相对位置为11的所述白色像素点的白色像素值，W13为所述颜色滤波阵列中相对位置为13的所述白色像素点的白色像素值，W22为所述颜色滤波阵列中相对位置为22的所述白色像素点的白色像素值，W31为所述颜色滤波阵列中相对位置为31的所述白色像素点的白色像素值，W33为所述颜色滤波阵列中相对位置为33的所述白色像素点的白色像素值，G11为所述颜色滤波阵列中相对位置为11的所述绿色像素点的绿色像素值，G13为所述颜色滤波阵列中相对位置为13的所述绿色像素点的绿色像素值，G15为所述颜色滤波阵列中相对位置为15的所述绿色像素点的绿色像素值，G31为所述颜色滤波阵列中相对位置为31的所述绿色像素点的绿色像素值，G35为所述颜色滤波阵列中相对位置为35的所述绿色像素点的绿色像素值，G33为所述颜色滤波阵列中相对位置为33的所述绿色像素点的绿色像素值，Thr表示阈值；
所述对所述白色像素点、所述红色像素点和所述绿色像素点执行蓝色插值，包括：
对于所述红色像素点，根据公式
if
else if
else
确定所述红色像素点的蓝色像素值；其中，B33为所述颜色滤波阵列中相对位置为33的所述红色像素点的蓝色像素值，表示相对位置为33的像素点对应的水平梯度，表示相对位置为33的像素点对应的垂直梯度，abs()表示取绝对值，W13为所述颜色滤波阵列中相对位置为13的所述白色像素点的白色像素值，W23为所述颜色滤波阵列中相对位置为23的所述白色像素点的白色像素值，W31为所述颜色滤波阵列中相对位置为31的所述白色像素点的白色像素值，W32为所述颜色滤波阵列中相对位置为32的所述白色像素点的白色像素值，W33为所述颜色滤波阵列中相对位置为33的所述白色像素点的白色像素值，W34为所述颜色滤波阵列中相对位置为34的所述白色像素点的白色像素值，W35为所述颜色滤波阵列中相对位置为35的所述白色像素点的白色像素值，W43为所述颜色滤波阵列中相对位置为43的所述白色像素点的白色像素值，W53为所述颜色滤波阵列中相对位置为53的所述白色像素点的白色像素值，B13为所述颜色滤波阵列中相对位置为13的所述蓝色像素点的蓝色像素值，B31为所述颜色滤波阵列中相对位置为31的所述蓝色像素点的蓝色像素值，B35为所述颜色滤波阵列中相对位置为35的所述蓝色像素点的蓝色像素值，B53为所述颜色滤波阵列中相对位置为53的所述蓝色像素点的蓝色像素值，Thr表示阈值；
对于所述绿色像素点，根据公式
确定所述绿色像素点的蓝色像素值；其中，B22为所述颜色滤波阵列中相对位置为22的所述绿色像素点的蓝色像素值，B24为所述颜色滤波阵列中相对位置为24的所述绿色像素点的蓝色像素值，B42为所述颜色滤波阵列中相对位置为42的所述绿色像素点的蓝色像素值，B44为所述颜色滤波阵列中相对位置为44的所述绿色像素点的蓝色像素值，W11为所述颜色滤波阵列中相对位置为11的所述白色像素点的白色像素值，W15为所述颜色滤波阵列中相对位置为15的所述白色像素点的白色像素值，W22为所述颜色滤波阵列中相对位置为22的所述白色像素点的白色像素值，W24为所述颜色滤波阵列中相对位置为24的所述白色像素点的白色像素值，W33为所述颜色滤波阵列中相对位置为33的所述白色像素点的白色像素值，W42为所述颜色滤波阵列中相对位置为42的所述白色像素点的白色像素值，W44为所述颜色滤波阵列中相对位置为44的所述白色像素点的白色像素值，W51为所述颜色滤波阵列中相对位置为51的所述白色像素点的白色像素值，W55为所述颜色滤波阵列中相对位置为55的所述白色像素点的白色像素值，B11为所述颜色滤波阵列中相对位置为11的所述蓝色像素点的蓝色像素值，B15为所述颜色滤波阵列中相对位置为15的所述蓝色像素点的蓝色像素值，B33为所述颜色滤波阵列中相对位置为33的所述蓝色像素点的蓝色像素值，B51为所述颜色滤波阵列中相对位置为51的所述蓝色像素点的蓝色像素值，B55为所述颜色滤波阵列中相对位置为55的所述蓝色像素点的蓝色像素值，Thr表示阈值；
对于所述白色像素点，根据公式
if
else if
else
确定所述白色像素点的蓝色像素值；其中，B22为所述颜色滤波阵列中相对位置为22的所述白色像素点的蓝色像素值，W12为所述颜色滤波阵列中相对位置为12的所述白色像素点的白色像素值，W21为所述颜色滤波阵列中相对位置为21的所述白色像素点的白色像素值，W22为所述颜色滤波阵列中相对位置为22的所述白色像素点的白色像素值，W23为所述颜色滤波阵列中相对位置为23的所述白色像素点的白色像素值，W32为所述颜色滤波阵列中相对位置为32的所述白色像素点的白色像素值，B12为所述颜色滤波阵列中相对位置为12的像素点的蓝色像素值，B21为所述颜色滤波阵列中相对位置为21的像素点的蓝色像素值，B23为所述颜色滤波阵列中相对位置为23的像素点的蓝色像素值，B32为所述颜色滤波阵列中相对位置为32的像素点的蓝色像素值。
2.根据权利要求1所述的插值方法，其特征在于，所述获取所述白色长曝光通道相对于所述白色短曝光通道的曝光比α，包括：
通过公式或者/>执行计算，获得所述曝光比α；其中，TL为所述白色长曝光通道的曝光时间，Ts为所述白色短曝光通道的曝光时间，ValL为使用所述颜色滤波阵列对一个照度均匀的灰度卡拍摄时所述白色长曝光通道的数值，ValS为使用所述颜色滤波阵列对一个照度均匀的灰度卡拍摄时所述白色短曝光通道的数值，blc为使用所述颜色滤波阵列的图像传感器对应的黑电平。
3.根据权利要求1或2所述的插值方法，其特征在于，所述插值方法，还包括：
对于任一像素点，获取所述像素点的红色像素值R、绿色像素值G、蓝色像素值B和白色像素值W；
通过公式计算增益值gain；
根据公式
计算修正红色像素值修正绿色像素值/>和修正蓝色像素值/>
4.根据权利要求1所述的插值方法，其特征在于：
所述基本单元的第一行包括依次排列的红色滤波通道、白色长曝光通道、蓝色滤波通道和白色长曝光通道；
所述基本单元的第二行包括依次排列的白色短曝光通道、绿色滤波通道、白色短曝光通道和绿色滤波通道；
所述基本单元的第三行包括依次排列的蓝色滤波通道、白色长曝光通道、红色滤波通道和白色长曝光通道；
所述基本单元的第四行包括依次排列的白色短曝光通道、绿色滤波通道、白色短曝光通道和绿色滤波通道。
5.根据权利要求1所述的插值方法，其特征在于：
所述白色长曝光通道的曝光时间长于所述白色短曝光通道的曝光时间，而且：所述白色长曝光通道、所述红色滤波通道、所述蓝色滤波通道与所述绿色滤波通道的曝光时间相同，或者，所述白色短曝光通道、所述红色滤波通道、所述蓝色滤波通道与所述绿色滤波通道的曝光时间相同；
或者
所述白色长曝光通道的透射率大于所述白色短曝光通道的透射率。
CN202310701068.1A 2023-06-13 2023-06-13 一种颜色滤波阵列的插值方法 Active CN116847211B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310701068.1A CN116847211B (zh) 2023-06-13 2023-06-13 一种颜色滤波阵列的插值方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310701068.1A CN116847211B (zh) 2023-06-13 2023-06-13 一种颜色滤波阵列的插值方法

Publications (2)

Publication Number Publication Date
CN116847211A CN116847211A (zh) 2023-10-03
CN116847211B true CN116847211B (zh) 2024-03-08

Family

ID=88171638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310701068.1A Active CN116847211B (zh) 2023-06-13 2023-06-13 一种颜色滤波阵列的插值方法

Country Status (1)

Country Link
CN (1) CN116847211B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105556958A (zh) * 2013-09-25 2016-05-04 索尼公司 固态成像装置、成像装置和电子装置
CN111432099A (zh) * 2020-03-30 2020-07-17 Oppo广东移动通信有限公司 图像传感器、处理***及方法、电子设备和存储介质
CN113632134A (zh) * 2019-04-11 2021-11-09 杜比实验室特许公司 使用预组合去噪的高动态范围图像生成
CN113676636A (zh) * 2021-08-16 2021-11-19 Oppo广东移动通信有限公司 高动态范围图像的生成方法、装置、电子设备和存储介质
CN114881904A (zh) * 2022-06-10 2022-08-09 深圳市汇顶科技股份有限公司 图像处理方法、图像处理装置及芯片
CN115714925A (zh) * 2021-08-20 2023-02-24 华为技术有限公司 传感器、图像生成方法、装置及摄相机

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105556958A (zh) * 2013-09-25 2016-05-04 索尼公司 固态成像装置、成像装置和电子装置
CN113632134A (zh) * 2019-04-11 2021-11-09 杜比实验室特许公司 使用预组合去噪的高动态范围图像生成
CN111432099A (zh) * 2020-03-30 2020-07-17 Oppo广东移动通信有限公司 图像传感器、处理***及方法、电子设备和存储介质
CN113676636A (zh) * 2021-08-16 2021-11-19 Oppo广东移动通信有限公司 高动态范围图像的生成方法、装置、电子设备和存储介质
CN115714925A (zh) * 2021-08-20 2023-02-24 华为技术有限公司 传感器、图像生成方法、装置及摄相机
CN114881904A (zh) * 2022-06-10 2022-08-09 深圳市汇顶科技股份有限公司 图像处理方法、图像处理装置及芯片

Also Published As

Publication number Publication date
CN116847211A (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
US9055181B2 (en) Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information
CN105323474B (zh) 摄像设备及其控制方法
CN111711755B (zh) 图像处理方法及装置、终端和计算机可读存储介质
EP1255410A2 (en) System and method for capturing color images that extends the dynamic range of an image sensor
KR101663871B1 (ko) 이미지의 컬러 결점을 보정하기 위한 방법 및 연관된 장치
JP2016523013A (ja) 双峰性の画像を取得するための装置
CN104349018A (zh) 图像处理设备、图像处理方法和电子设备
JP4803156B2 (ja) 固体撮像素子用の信号処理装置、信号処理装置を備えた撮像装置、信号処理方法、およびプログラム
JP2008288851A (ja) 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法
CN103379343A (zh) 图像处理装置、图像处理方法和程序
JP2009512303A (ja) デジタル画像のビグネッティングを除去する方法および装置
WO2006048962A1 (ja) 画素信号処理装置及び画素信号処理方法
WO2005112470A1 (ja) 画像処理装置および画像処理プログラム
JP2006222961A (ja) 電子画像のエイリアシングを低減する方法
JP2007174590A (ja) 信号処理装置及び撮像装置
WO2013099917A1 (ja) 撮像装置
JP2010177917A (ja) ホワイトバランス調整装置、ホワイトバランス調整方法、及びホワイトバランス調整プログラム
JP6095519B2 (ja) 撮像装置
CN116847211B (zh) 一种颜色滤波阵列的插值方法
CN110996015B (zh) 空间多重曝光
CN108063933A (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
US7324138B2 (en) False-color reducing device
JP6315239B2 (ja) 撮像装置、撮像方法、画像処理装置、撮像プログラム
CN112866554B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
JP4334150B2 (ja) 画像補間装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant