CN107835410B - 一种图像传感器校准的方法及装置 - Google Patents
一种图像传感器校准的方法及装置 Download PDFInfo
- Publication number
- CN107835410B CN107835410B CN201711203336.8A CN201711203336A CN107835410B CN 107835410 B CN107835410 B CN 107835410B CN 201711203336 A CN201711203336 A CN 201711203336A CN 107835410 B CN107835410 B CN 107835410B
- Authority
- CN
- China
- Prior art keywords
- calibration coefficient
- coefficient
- block
- image sensor
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种图像传感器校准的方法及装置，以解决目前已有的平场校准算法导致校准后的图像会存在水平和垂直的明暗条纹，影响校准精度的问题。该方法包括：确定图像传感器的行方向校准系数和列方向校准系数，根据所述行方向校准系数和所述列方向校准系数确定目标校准系数，在根据目标校准系数校准图像传感器拍摄的图像中的像元亮度一致性时，能够减轻校准后图像存在的水平和垂直方向的明暗条纹，能够提高校准精度。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像传感器校准的方法及装置。
背景技术
在图像传感器采集图像的过程中，由于图像传感器的工艺误差、设计误差和图像传感器工作中的模数转换误差等原因，会造成图像传感器在拍摄图像时对每个像元的亮度响应不一致，例如，图像传感器在光线亮度均匀时拍摄物体，会造成成像的每个像元的亮度不一致，导致图像明暗不均匀，影响成像精度。在高端工业图像传感器等对成像精度要求较高的领域，由于上述问题的存在，就需要对图像传感器拍摄的图像中的不同像元的亮度响应进行一致性校准。
现有技术中采用已有的平场校准(Flat Field Correction，FFC)算法对图像传感器的成像亮度响应进行一致性的校准方法为：根据每个像元的校准系数k对图像传感器获取的该像元的原始亮度值X进行乘法运算，得到校准后的该像元的校准亮度值Y，其中，像元的校准系数k采用取平均值的方法获得，即根据一定区域范围内像元的平均亮度和需要校准的像元的原始亮度值X确定校准系数k。然而，采用平场校准算法进行校准的前提是以一定范围内像元的平均亮度为基准进行校准，而没有考虑到行方向和列方向相邻的像元之间的亮度响应可能是不均匀的因素，导致校准后的图像会存在水平和垂直的明暗条纹，校准精度不够。
综上，目前已有的平场校准算法没有考虑到行方向和列方向相邻的像元之间的亮度响应不均匀的因素，导致校准后的图像会存在水平和垂直的明暗条纹，影响校准精度。
发明内容
本发明提供一种图像传感器校准的方法及装置，用以解决采用现有的平场校准算法进行图像传感器的像元亮度响应一致性校准时，存在的校准后图像会存在水平和垂直的明暗条纹，校准精度不高的问题。
本发明实施例中的一种图像传感器校准的方法，包括：
确定图像传感器的行方向校准系数和列方向校准系数；
根据所述行方向校准系数和所述列方向校准系数确定目标校准系数；
根据所述目标校准系数对所述图像传感器拍摄的图像中的像元亮度进行校准。
可选地，根据以下方法确定所述行方向校准系数：
根据图像传感器拍摄的至少一个被测图像在行方向上的像元平均亮度值确定所述图像传感器的每行像元的行方向校准系数；
根据以下方法确定所述列方向校准系数：
根据所述被测图像在列方向上的像元平均亮度值确定所述图像传感器的每列像元的列方向校准系数。
可选地，该方法还包括：
根据图像传感器拍摄的至少一个被测图像的像元平均亮度确定所述图像传感器中像元的基准校准系数；
并根据所述图像传感器中像元的基准校准系数，确定将所述图像传感器的成像范围划分为至少一个由N*N个像元组成的分块后，每个分块中像元的基准校准系数，N为正整数；
根据所述行方向校准系数和所述列方向校准系数确定目标校准系数，包括：
针对每个所述分块，根据所述行方向校准系数、所述列方向校准系数和所述分块中像元的基准校准系数确定所述分块的分块校准系数；
基于所述行方向校准系数和所述列方向校准系数，对确定的各个分块校准系数进行加权插值运算，确定目标校准系数。
可选地，该方法还包括：
存储每个分块的分块校准系数。
可选地，该方法还包括：
根据所述行方向校准系数和所述列方向校准系数确定目标偏置系数；
根据所述目标校准系数对所述图像传感器拍摄的图像中的像元亮度进行校准，包括：
根据所述目标校准系数和所述目标偏置系数对所述图像传感器拍摄的图像中的像元亮度进行校准。
可选地，根据所述行方向校准系数和所述列方向校准系数确定目标偏置系数，包括：
确定将所述图像传感器的成像范围划分为至少一个由N*N个像元组成的分块后，每个分块中像元的基准偏置系数，N为正整数；
针对每个分块，根据所述行方向校准系数、所述列方向校准系数和确定的所述分块中像元的基准偏置系数，确定所述分块的分块偏置系数；
基于所述行方向校准系数和所述列方向校准系数，对确定的各个分块偏置系数进行加权插值运算，确定目标偏置系数。
可选地，在确定所述分块的分块偏置系数之后，还包括：
存储每个分块的分块偏置系数。
本发明实施例提供的一种图像传感器校准的装置，包括：
行、列方向校准系数确定模块，用于确定图像传感器的行方向校准系数和列方向校准系数；
目标校准系数确定模块，用于根据所述行方向校准系数和所述列方向校准系数确定目标校准系数；
校准模块，用于根据所述目标校准系数对所述图像传感器拍摄的图像中的像元亮度进行校准。
可选地，所述行、列方向校准系数确定模块具体用于：
根据以下方法确定所述行方向校准系数：
根据图像传感器拍摄的至少一个被测图像在行方向上的像元平均亮度值确定所述图像传感器的每行像元的行方向校准系数；
根据以下方法确定所述列方向校准系数：
根据所述被测图像在列方向上的像元平均亮度值确定所述图像传感器的每列像元的列方向校准系数。
可选地，该装置还包括：
基准校准系数确定模块，用于根据图像传感器拍摄的至少一个被测图像的像元平均亮度确定所述图像传感器中像元的基准校准系数；
所述目标校准系数确定模块，还用于：
根据所述图像传感器中像元的基准校准系数，确定将所述图像传感器的成像范围划分为至少一个由N*N个像元组成的分块后，每个分块中像元的基准校准系数，N为正整数；
针对每个所述分块，根据所述行方向校准系数、所述列方向校准系数和所述分块中像元的基准校准系数确定所述分块的分块校准系数；
基于所述行方向校准系数和所述列方向校准系数，对确定的各个分块校准系数进行加权插值运算，确定目标校准系数。
可选地，该装置还包括：
分块校准系数存储模块，用于存储每个分块的分块校准系数。
可选地，该装置还包括：
目标偏置系数确定模块，用于根据所述行方向校准系数和所述列方向校准系数确定目标偏置系数；
所述校准模块，具体用于：
根据所述目标校准系数和所述目标偏置系数对所述图像传感器拍摄的图像中的像元亮度进行校准。
可选地，所述目标偏置系数确定模块具体用于：
确定将所述图像传感器的成像范围划分为至少一个由N*N个像元组成的分块后，每个分块中像元的基准偏置系数，N为正整数；
针对每个分块，根据所述行方向校准系数、所述列方向校准系数和确定的所述分块中像元的基准偏置系数，确定所述分块的分块偏置系数；
基于所述行方向校准系数和所述列方向校准系数，对确定的各个分块偏置系数进行加权插值运算，确定目标偏置系数。
可选地，该装置还包括：
分块偏置系数存储模块，用于存储每个分块的分块偏置系数。
根据本发明实施例提供的方法和装置，由于在确定像元的目标校准系数的过程中需要考虑水平方向上的行方向校准系数和垂直方向上的列方向校准系数，根据目标校准系数校准图像传感器拍摄的图像中的像元亮度一致性时，能够减轻校准后图像存在的水平和垂直方向的明暗条纹，能够提高校准精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像传感器校准的方法步骤示意图；
图2为本发明实施例提供的将图像传感器的成像范围进行划分的示意图；
图3为本发明实施例提供的一种图像传感器校准的方法的具体步骤流程图；
图4为本发明实施例提供的一种图像传感器校准的装置的结构示意图；
图5为本发明实施例提供的另一种图像传感器校准的装置的结构示意图；
图6为本发明实施例提供的一种图像传感器校准的装置中的目标校准系数确定模块的结构示意图；
图7为本发明实施例提供的一种图像传感器校准的装置中的目标偏置系数确定模块的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供一种图像传感器校准的方法及装置，根据该方法，能够在确定像元的目标校准系数的过程中考虑水平方向上的行方向校准系数和垂直方向上的列方向校准系数，在根据确定的目标校准系数校准图像传感器拍摄的图像中的像元亮度一致性时，能够减轻校准后图像存在的水平和垂直方向的明暗条纹，能够提高校准精度。
上述方法，应用于对图像传感器的校准过程，其中，图像传感器是用于将光学图像转换成电子信号的传感器。本发明实施例中的图像传感器，可以是数码相机和其他电子光学成像设备中的CCD(Charge-coupled Device，电荷耦合元件)、CMOS(ComplementaryMetal Oxide Semiconductor，互补金属氧化物半导体)以及CIS(Contact Image Sensor，接触式传感器)等类型的图像传感器。
如图1所示，本发明实施例提供的一种图像传感器校准的方法包括以下步骤：
步骤101：确定图像传感器的行方向校准系数和列方向校准系数；
步骤102：根据所述行方向校准系数和所述列方向校准系数确定目标校准系数；
步骤103：根据所述目标校准系数对所述图像传感器拍摄的图像中的像元亮度进行校准。
采用以上方法，本发明实施例能够在进行图像传感器校准时，根据图像传感器的行方向校准系数和列方向校准系数确定目标校准系数，从而在校准图像传感器拍摄的图像中的像元亮度一致性时，考虑到了行方向校准系数和列方向校准系数，因此校准后的图像传感器的成像在水平和垂直方向的明暗条纹得到减轻，从而提高图像传感器的校准精度。
可选地，本发明实施例中可以根据图像传感器拍摄的至少一个被测图像在行方向上像元平均亮度值确定图像传感器的每行像元的行方向校准系数，以及根据图像传感器拍摄的至少一个被测图像在列方向上像元平均亮度值确定图像传感器的每列像元的列方向校准系数。所述被测图像可以是暗场图像和/或亮场图像，其中，亮场图像是指图像的平均亮度在图像传感器成像像元的饱和亮度的80％至90％的图像，暗场图像是指图像的平均亮度在图像传感器成像像元的饱和亮度的10％至20％的图像，饱和亮度是图像传感器拍摄的被测图像中任意像元的最大亮度，例如，数据位宽为10比特的图像传感器拍摄的被测图像中像元的饱和亮度为1023，数据位宽为12比特的图像传感器拍摄的被测图像中像元的饱和亮度为4095。
在一种可行的实施方式中，可以根据图像传感器拍摄的至少一个亮场图像和至少一个暗场图像确定图像传感器的行方向校准系数，以提高确定的行方向校准系数的准确性。
在根据若干亮场图像以及若干暗场图像确定行方向校准系数时，确定所述若干亮场图像像元亮度的平均值和所述若干暗场图像像元亮度的平均值，以及确定所述若干亮场图像的各行方向像元的亮度的平均值以及所述若干暗场图像的各行方向像元的亮度的平均值，之后根据以下公式确定图像传感器的行方向校准系数：
其中，KRow(x)为图像传感器第x行像元的行方向校准系数，Grayavg为亮场图像全部像元的亮度平均值，Blkavg为暗场图像全部像元的亮度平均值，GrayRow(x)为亮场图像的第x行像元的亮度平均值，BlkRow(x)为暗场图像的第x行像元的亮度平均值，x为整数，且0≤x≤xm，xm为被测图像的像元总行数。
可选地，本发明实施例中可以根据图像传感器拍摄的至少一个被测图像在列方向上像元平均亮度值确定图像传感器的每列像元的列方向校准系数。所述被测图像可以是暗场图像和/或亮场图像。
在一种可行的实施方式中，可以根据图像传感器拍摄的至少一个亮场图像和至少一个暗场图像确定图像传感器的列方向校准系数，以提高确定的列方向校准系数的准确性。
在根据若干亮场图像以及若干暗场图像确定列方向校准系数时，确定所述若干亮场图像像元亮度的平均值和所述若干暗场图像像元亮度的平均值，以及确定所述若干亮场图像的各列方向像元的亮度的平均值以及所述若干暗场图像的各列方向像元的亮度的平均值，之后根据以下公式确定图像传感器的列方向校准系数：
其中，KCol(y)为图像传感器第y列像元的列方向校准系数，Grayavg为亮场图像全部像元的亮度平均值，Blkavg为暗场图像全部像元的亮度平均值，GrayRow(y)为亮场图像第y列像元的亮度平均值，BlkRow(y)为暗场图像的第y列像元的亮度平均值，y为整数，且0≤y≤ym，ym为被测图像的像元总列数。
可选地，本发明实施例可以根据以下方法确定目标校准系数：
根据图像传感器拍摄的至少一个被测图像的像元平均亮度确定所述图像传感器中像元的基准校准系数；
并根据所述图像传感器中像元的基准校准系数，确定将所述图像传感器的成像范围划分为至少一个由N*N个像元组成的分块后，每个分块中像元的基准校准系数，N为正整数；
根据所述行方向校准系数和所述列方向校准系数确定目标校准系数，包括：
针对每个所述分块，根据所述行方向校准系数、所述列方向校准系数和所述分块中像元的基准校准系数确定所述分块的分块校准系数；
基于所述行方向校准系数和所述列方向校准系数，对确定的各个分块校准系数进行加权插值运算，确定目标校准系数。
在一种可能的实施方式中，可以根据图像传感器拍摄的至少一个亮场图像和至少一个暗场图像确定图像传感器的像元的基准校准系数，以提高确定的基准校准系数的准确性。
在根据若干亮场图像以及若干暗场图像确定列方向校准系数时，确定所述若干亮场图像像元亮度的平均值和所述若干暗场图像像元亮度的平均值，以及确定所述若干亮场图像的各像元的亮度的平均值以及所述若干暗场图像的各像元的亮度的平均值，之后根据以下公式确定图像传感器的各像元的基准校准系数：
其中，K(x，y)为图像传感器像元(x，y)的基准校准系数，Grayavg为亮场图像像元亮度的平均值，Blkavg为暗场图像像元亮度的平均值，Gray(x，y)为亮场图像的像元(x，y)的基准校准系数；Blk(x，y)为暗场图像的像元(x，y)的基准校准系数，x、y为整数，且0≤x≤xm、0≤y≤ym，xm为被测图像的像元总行数，ym为被测图像的像元总列数。
在对图像传感器的成像范围进行划分后，可以根据确定的图像传感器的各像元的基准校准系数、每个分块包含的像元数量和划分后分块的坐标确定每个分块中像元的基准校准系数。
例如，图像传感器的成像范围中坐标为(4，0)的像元的基准校准系数为k1，若将坐标(0,0)、(3,0)、(0,3)和(3,3)作为分块(0,0)的四个顶点，且将坐标为(4，0)、(7,0)、(4,4)与(7,4)的像元作为分块(1,0)的四个顶点，则可知分块(1,0)中的像元(4，0)的基准校准系数为k1。
在一种可能的实施方式中，如图2所示，划分后的图像传感器的成像范围201由若干分块202组成，每个分块202由N*N个像元组成，且每个分块202沿水平和竖直方向排列并覆盖成像范围201的全部区域，N为正整数。为减小计算量，一种可能的方式为，取N＝2^n，n为大于等于2的整数。
根据如图2所示的划分后的图像传感器的成像范围201的示意图可知，像元(x，y)所在分块的坐标为N为正整数，x、y为整数，且0≤x≤xm、0≤y≤ym，xm为被测图像的像元总行数，ym为被测图像的像元总列数，[]表示取模运算。
在将所述图像传感器的成像范围划分为至少一个由N*N个像元组成的分块后，根据所述行方向校准系数、所述列方向校准系数和所述分块中像元的基准校准系数针对每个所述分块确定所述分块的分块校准系数。
在一种可能的实施方式中，以图2所示的成像范围201的划分方法为例，可以根据以下公式确定分块202的每个分块校准系数：
其中，Kp(m，n)为分块(m，n)的分块校准系数，k(i，j)为分块中像元(i，j)的基准校准系数，KCol(j)为分块中第j列像元的列方向校准系数，KRow(i)为分块中第i行像元的行方向校准系数，m、n、i和j均为整数， 0≤i≤2N，0≤j≤2N，N为分块中水平和竖直方向的像元个数，xm为被测图像的像元总行数，ym为被测图像的像元总列数。
在一种可行的实施方式中，基于公式四，可以通过以下公式基于所述行方向校准系数和所述列方向校准系数，对确定的各个分块校准系数进行加权插值运算，确定目标校准系数：
其中，kgen(x，y)为图像传感器像元(x，y)的目标校准系数，为像元(x，y)所在的分块的分块校准系数，KRow(x)为图像传感器第x行像元的行方向校准系数，KCol(y)为图像传感器第y列像元的列方向校准系数，N为正整数，x、y为整数，且0≤x≤xm、0≤y≤ym，xm为被测图像的像元总行数，ym为被测图像的像元总列数。
在一种可行的实施方式中，基于公式五，可以通过以下公式基于所述目标校准系数对像元亮度响应进行校准：
Y(x，y)＝kgen*X(x，y) (公式六)；
其中，Y(x，y)为像元(x，y)校准后的亮度值，kgen为像元(x，y)的目标校准系数，X(x，y)为像元(x，y)校准前的亮度值，x、y为整数，且0≤x≤xm、0≤y≤ym，xm为被测图像的像元总行数，ym为被测图像的像元总列数。
可选地，在确定分块的分块校准系数后，可以存储每个分块的分块校准系数，在需要进行校准时根据每个分块的分块校准系数确定出每个分块中每个像元的校准系数，从而不再需要存储每个像元的目标校准系数。
例如，在确定图2所示的成像范围201中的每个分块202的分块校准系数后，存储每个分块202的分块校准系数，以及成像范围201内图像传感器的行方向校准系数和列方向校准系数，在进行校准时根据每个分块202的分块校准系数、行方向校准系数和列方向校准系数确定每个像元的目标校准系数并进行校准。
采用以上方法，由于根据每个分块的分块校准系数能够确定出N*N个像元的目标校准系数，存储每个分块的分块校准系数相比于存储全部像元的目标校准系数能够节省存储空间。
可选地，本发明实施例还可以根据所述行方向校准系数和所述列方向校准系数确定目标偏置系数；
并在根据所述目标校准系数对所述图像传感器拍摄的图像中的像元亮度进行校准时，根据所述目标校准系数和所述目标偏置系数对所述图像传感器拍摄的图像中的像元亮度进行校准。
由于校准图像传感器拍摄的图像中的像元亮度一致性时考虑到了目标偏置系数，且目标偏置系数是根据行方向校准系数和列方向校准系数确定的，从而进一步减轻校准后图像存在的水平和垂直方向的明暗条纹，以及提高了图像传感器不同像元的亮度响应一致性校准的精度。
可选地，可以根据以下方法确定目标偏置系数：
确定将所述图像传感器的成像范围划分为至少一个由N*N个像元组成的分块后，每个分块中像元的基准偏置系数，N为正整数；
针对每个分块，根据所述行方向校准系数、所述列方向校准系数和确定的所述分块中像元的基准偏置系数，确定所述分块的分块偏置系数；
基于所述行方向校准系数和所述列方向校准系数，对确定的各个分块偏置系数进行加权插值运算，确定目标偏置系数。
在一种可能的实施方式中，根据图像传感器拍摄的至少一个暗场图像的像元亮度确定所述图像传感器中像元的基准偏置系数，在将图像传感器的成像范围划分为至少一个由N*N个像元组成的分块后，确定每个分块中像元的基准偏置系数。其中，可以将暗场图像下的像元的平均亮度作为该像元的基准偏置系数，在将图像传感器的成像范围进行分块后，根据像元坐标、每个分块包含的像元数量和分块的坐标确定每个分块中像元的基准偏置系数。
例如，图像传感器的成像范围中坐标为(4，0)的像元的基准偏置系数为b1，若取N＝4，且将坐标(0,0)、(3,0)、(0,3)和(3,3)作为分块(0,0)的四个顶点，将坐标为(4，0)、(7,0)、(4,4)与(7,4)的像元作为分块(1,0)的四个顶点，则可知分块(1,0)中的像元(4，0)的基准偏置系数为b1。
在一种可能的实施方式中，在确定行方向校准系数、列方向校准系数和分块中像元的基准偏置系数后，根据以下公式确定各分块的分块偏置系数：
其中，Bp(m，n)为分块(m，n)的分块偏置系数，B(i，j)为分块中像元(i，j)的基准偏置系数，KGol(j)为分块中第j列像元的列方向校准系数，KRow(i)为分块中第i行像元的行方向校准系数，m、n、i和j均为整数， 0≤i≤2NN，0≤j≤2N，N为分块中水平和竖直方向的像元个数，xm为被测图像的像元总行数，ym为被测图像的像元总列数。
在一种可行的实施方式中，通过以下公式基于所述行方向校准系数和所述列方向校准系数，对确定的各个分块偏置系数进行加权插值运算，确定目标偏置系数：
其中，bgen(x，y)为像元(x，y)的目标偏置系数，为像元(x，y)所在的分块的分块偏置系数，KRow(x)为图像传感器第x行像元的行方向校准系数，KCol(y)为图像传感器第y列像元的列方向校准系数，N为正整数，x、y为整数，且0≤x≤xm、0≤y≤ym，xm为被测图像的像元总行数，ym为被测图像的像元总列数。
在一种可行的实施方式中，基于公式八，可以通过以下公式基于所述目标校准系数对像元进行校准：
Y(x，y)＝kgen*X(x，y)+bgen(x，y) (公式九)；
其中，Y(x，y)为像元(x，y)校准后的亮度值，kgen为像元(x，y)的目标校准系数，X(x，y)为像元(x，y)校准前的亮度值，bgen(x，y)为像元(x，y)的目标偏置系数，x、y为整数，且0≤x≤xm、0≤y≤ym，xm为被测图像的像元总行数，ym为被测图像的像元总列数。
可选地，在确定分块的分块偏置系数后，可以存储每个分块的分块偏置系数，在需要进行偏置时根据每个分块的分块偏置系数确定出每个分块中每个像元的偏置系数，从而不需要存储每个像元的目标偏置系数。
例如，在确定图2所示的成像范围201中的每个分块202的分块偏置系数后，存储每个分块202的分块偏置系数，以及成像范围201内图像传感器的行方向校准系数和列方向校准系数，在进行校准时根据每个分块202的分块校准系数、行方向校准系数和列方向校准系数确定每个像元的目标校准系数。
采用以上方法，由于根据每个分块的分块偏置系数能够确定出N*N个像元的目标偏置系数，存储每个分块的分块偏置系数相比于存储全部像元的目标偏置系数能够节省存储空间。
在一种可能的实施方式中，可以在存储器中存储每个分块的分块校准系数和分块偏置系数，以及存储行方向校准系数、列方向校准系数，在进行校准时可以从存储器获取存储的行方向校准系数、列方向校准系数、分块校准系数和分块偏置系数，进而确定目标校准系数和目标偏置系数，并对图像传感器拍摄的图像中的像元亮度进行校准，从而不需要在每次进行校准时从新确定行方向校准系数、列方向校准系数、每个分块的分块校准系数和分块偏置系数。
在一种可能的实施方式中，如图3所示，本发明实施例提供的一种图像传感器校准的方法包括具体包括以下步骤：
步骤301：确定图像传感器的行方向校准系数、列方向校准系数，根据图像传感器拍摄的至少一个被测图像的像元平均亮度确定图像传感器中像元的基准校准系数，以及根据图像传感器拍摄的至少一个暗场图像的像元亮度确定图像传感器中像元的基准偏置系数；
步骤302：将所述图像传感器的成像范围划分为至少一个由N*N个像元组成的分块后，根据图像传感器中像元的基准校准系数确定分块中像元的基准校准系数，以及根据像元的基准偏置系数确定分块中像元的基准偏置系数；
步骤303：根据行方向校准系数、列方向校准系数和分块中像元的基准校准系数确定每个分块的分块校准系数，以及根据行方向校准系数、列方向校准系数和分块中像元的基准偏置系数确定每个分块的分块偏置系数；
步骤304：基于行方向校准系数、列方向校准系数对每个分块的分块校准系数进行加权插值运算，确定每个像元的目标校准系数，以及基于行方向校准系数、列方向校准系数对每个分块的分块偏置系数进行加权插值运算，确定每个像元的目标偏置系数；
步骤305：根据每个像元的目标校准系数和目标偏置系数对像元进行校准。
基于与上述方法实施例相同构思，本发明实施例还提供了一种图像传感器校准的装置，用于实现本发明实施例所提供的上述图像传感器校准的方法。如图4所示，该装置400包括：
行、列方向校准系数确定模块401，用于确定图像传感器的行方向校准系数和列方向校准系数；
目标校准系数确定模块402，用于根据所述行方向校准系数和所述列方向校准系数确定目标校准系数；
校准模块403，用于根据所述目标校准系数对所述图像传感器拍摄的图像中的像元亮度进行校准。
由于该装置能够在行图像传感器校准时，根据图像传感器的行方向校准系数和列方向校准系数确定目标校准系数，从而在校准图像传感器拍摄的图像中的像元亮度一致性时，考虑到了行方向校准系数和列方向校准系数，因此校准后的图像传感器的成像在水平和垂直方向的明暗条纹得到减轻，从而提高图像传感器的校准精度。
在一种可能的实施方式中，本发明实施例提供的一种图像传感器校准的装置可以内置于数码相机和其他电子光学成像设备中，用于对这些成像设备的图像传感器的像元亮度响应一致性进行校准。
可选地，行、列方向校准系数确定模块401可以根据以下方法确定所述行方向校准系数：
根据图像传感器拍摄的至少一个被测图像在行方向上的像元平均亮度值确定所述图像传感器的每行像元的行方向校准系数；
行、列方向校准系数确定模块401可以根据以下方法确定所述列方向校准系数：
根据所述被测图像在列方向上的像元平均亮度值确定所述图像传感器的每列像元的列方向校准系数。
可选地，该装置还可以包括：
基准校准系数确定模块，用于根据图像传感器拍摄的至少一个被测图像的像元平均亮度确定所述图像传感器中像元的基准校准系数；
所述目标校准系数确定模块402，还用于：
根据所述图像传感器中像元的基准校准系数，确定将所述图像传感器的成像范围划分为至少一个由N*N个像元组成的分块后，每个分块中像元的基准校准系数，N为正整数；
针对每个所述分块，根据所述行方向校准系数、所述列方向校准系数和所述分块中像元的基准校准系数确定所述分块的分块校准系数；
基于所述行方向校准系数和所述列方向校准系数，对确定的各个分块校准系数进行加权插值运算，确定目标校准系数。
可选地，该装置还可以包括：
分块校准系数存储模块，用于存储每个分块的分块校准系数。
可选地，该装置还可以包括：
目标偏置系数确定模块，用于根据所述行方向校准系数和所述列方向校准系数确定目标偏置系数；
所述校准模块403，具体用于：
根据所述目标校准系数和所述目标偏置系数对所述图像传感器拍摄的图像中的像元亮度进行校准。
可选地，所述目标偏置系数确定模块具体用于：
确定将所述图像传感器的成像范围划分为至少一个由N*N个像元组成的分块后，每个分块中像元的基准偏置系数，N为正整数；
针对每个分块，根据所述行方向校准系数、所述列方向校准系数和确定的所述分块中像元的基准偏置系数，确定所述分块的分块偏置系数；
基于所述行方向校准系数和所述列方向校准系数，对确定的各个分块偏置系数进行加权插值运算，确定目标偏置系数。
可选地，该装置还包括：
分块偏置系数存储模块，用于存储每个分块的分块偏置系数。
在一种可能的实施方式中，本发明实施例提供的一种图像传感器校准的装置中的分块校准系数存储模块和/或分块偏置系数存储模块可以是Flash(闪存)存储器、eMMC(Embedded Multi Media Card，多媒体卡)等非易失性存储器，以防止存储的分块校准系数和分块偏置系数因存储器掉电等原因发生丢失。另外，分块校准系数存储模块和分块偏置系数存储模块可以位于同一个存储器中，且该存储器还可以用于存储所述行方向校准系数和所述列方向校准系数。在对成像设备进行校准前，一种可行的实施方式为，从Flash存储器(或者eMMC)中读取所述行方向校准系数、所述列方向校准系数、所述分块校准系数和所述分块偏置系数并存入DDR(Double Data Rate，双倍速率同步动态随机存储器)存储器或SDRAM(Synchronous Dynamic Random Access Memory，同步动态随机存储器)中，并在进行校准时从DDR存储器或SDRAM存储器中读取上述系数用于计算像元的目标校准系数和目标偏置系数，以提高计算效率。
另外，本发明实施例提供的一种图像传感器校准的装置还可以包括时序控制模块，用于根据像元输入的校准前的亮度值，控制该装置确定该像元的目标校准系数和目标偏置系数，以使该装置对该像元输入的校准前的亮度值进行校准。
如图5所示，在一种可能的实施方式中，一种图像传感器校准的装置400中的时序控制模块501获取图像传感器的像元发出的亮度值信号，并控制行、列方向校准系数确定模块401从存储器502中读取已经确定的该像元的行方向校准系数和列方向校准系数，控制目标校准系数确定模块402从存储器502中读取已经确定的该像元所在分块的分块校准系数，以及控制目标偏置系数确定模块503从存储器502中读取已经确定的该像元所在分块的分块偏置系数。其中，存储器502用于存储行方向校准系数、列方向校准系数、分块的分块校准系数和分块偏置系数，存储器502可以是至少一个Flash存储器(或eMMC)或者至少一个DDR(或SDRAM)存储器，或者至少一个Flash存储器(或eMMC)和至少一个DDR(或SDRAM)存储器的组合。
在一种可能的实施方式中，本发明实施例提供的一种图像传感器校准的装置中的行、列方向校准系数确定模块、基准校准系数确定模块、目标校准系数确定模块、目标偏置系数确定模块以及校准模块的上述功能可以通过一个或者多个处理器实现，该一个或者多个处理器所需的程序可以存储于存储器中，该存储器可以同时用于存储行方向校准系数、列方向校准系数、分块的分块校准系数以及分块偏置系数。
本发明实施例提供的一种图像传感器校准的装置中的目标校准系数确定模块600的结构如图6所示，在通过加权插值算法确定像元(x，y)的目标校准系数以实现公式五所表示的计算时，目标校准系数确定模块600中的第一分块校准系数确定模块601用于获取像元(x，y)所在的分块(m，n)在水平和竖直方向的前一个分块(m-1，n-1)的分块校准系数Kp(m-1，n-1)，第二分块校准系数确定模块602用于获取像元(x，y)所在的分块(m，n)在水平方向的前一个分块(m，n-1)的分块校准系数Kp(m，n-1)，第三分块校准系数确定模块603用于获取像元(x，y)所在的分块(m，n)在竖直方向的前一个分块(m-1，n)的分块校准系数Kp(m-1，n)，第四分块校准系数确定模块604用于获取像元(x，y)所在的分块(m，n)的分块校准系数Kp(m，n)，行方向校准系数获取模块605用于获取像元(x，y)的行方向校准系数，列方向校准系数获取模块606用于获取像元(x，y)的列方向校准系数，第一加权插值计算模块607用于根据Kp(m-1，n-1)、Kp(m-1，n)和列方向校准系数进行加权插值计算，第二加权插值计算模块608用于根据Kp(m，n-1)、Kp(m，n)和列方向校准系数进行加权插值计算，第三加权插值计算模块609用于根据第一加权插值计算模块607的运算结果、第二加权插值计算模块608的运算结果以及行方向校准系数进行加权插值计算并获得像元(x，y)的目标校准系数，从而根据目标校准系数能够对像元(x，y)输出的亮度值进行校准。
本发明实施例提供的一种图像传感器偏置的装置中的目标偏置系数确定模块700的结构如图7所示，在通过加权插值算法确定像元(x，y)的目标偏置系数以实现公式八所表示的计算时，目标偏置系数确定模块700中的第一分块偏置系数确定模块701用于获取像元(x，y)所在的分块(m，n)在水平和竖直方向的前一个分块(m-1，n-1)的分块偏置系数Bp(m-1，n-1)，第二分块偏置系数确定模块702用于获取像元(x，y)所在的分块(m，n)在水平方向的前一个分块(m，n-1)的分块偏置系数Bp(m，n-1)，第三分块偏置系数确定模块703用于获取像元(x，y)所在的分块(m，n)在竖直方向的前一个分块(m-1，n)的分块偏置系数Bp(m-1，n)，第四分块偏置系数确定模块704用于获取像元(x，y)所在的分块(m，n)的分块偏置系数Bp(m，n)，行方向校准系数获取模块705用于获取像元(x，y)的行方向校准系数，列方向校准系数获取模块706用于获取像元(x，y)的列方向校准系数，第一加权插值计算模块707用于根据Bp(m-1，n-1)、Bp(m-1，n)和列方向校准系数进行加权插值计算，第二加权插值计算模块708用于根据Bp(m，n-1)、Bp(m，n)和列方向校准系数进行加权插值计算，第三加权插值计算模块709用于根据第一加权插值计算模块707的运算结果、第二加权插值计算模块708的运算结果以及行方向校准系数进行加权插值计算并获得像元(x，y)的目标偏置系数。
基于与上述方法实施例相同构思，本发明实施例还提供了一种计算机可读存储介质，其上存储有一些指令，这些指令被调用执行时，可以使得上述装置执行上述方法实施例、方法实施例的任意一种可能的设计中所涉及的功能。本发明实施例中，对可读存储介质不做限定，例如，可以是RAM(random-access memory，随机存取存储器)、ROM(read-onlymemory，只读存储器)等。
基于与上述方法实施例相同构思，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品被计算机运行时，可以使得该装置执行上述方法实施例、方法实施例的任意一种可能的设计中所涉及的功能。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (12)
1.一种图像传感器校准的方法，其特征在于，该方法包括：
确定图像传感器的行方向校准系数和列方向校准系数；
根据所述行方向校准系数和所述列方向校准系数确定目标校准系数；
根据所述目标校准系数对所述图像传感器拍摄的图像中的像元亮度进行校准；
确定图像传感器的行方向校准系数和列方向校准系数，包括：
根据所述图像传感器拍摄的至少一个亮场图像和至少一个暗场图像确定所述行方向校准系数；和/或
根据所述图像传感器拍摄的至少一个亮场图像和至少一个暗场图像确定所述列方向校准系数；
所述行方向校准系数满足以下公式：
其中，KRow(x)为所述图像传感器第x行像元的行方向校准系数，Grayavg为亮场图像全部像元的亮度平均值，Blkavg为暗场图像全部像元的亮度平均值，GrayRow(x)为亮场图像的第x行像元的亮度平均值，BlkRow(x)为暗场图像的第x行像元的亮度平均值，x为整数，且0≤x≤xm，xm为所述图像的像元总行数；
和/或，所述列方向校准系数满足以下公式：
其中，KCol(y)为所述图像传感器第y列像元的列方向校准系数，Grayavg为亮场图像全部像元的亮度平均值，Blkavg为暗场图像全部像元的亮度平均值，GrayRow(y)为亮场图像第y列像元的亮度平均值，BlkRow(y)为暗场图像的第y列像元的亮度平均值，y为整数，且0≤y≤ym，ym为所述图像的像元总列数。
2.如权利要求1所述的方法，其特征在于，该方法还包括：
根据图像传感器拍摄的至少一个被测图像的像元平均亮度确定所述图像传感器中像元的基准校准系数；
并根据所述图像传感器中像元的基准校准系数，确定将所述图像传感器的成像范围划分为至少一个由N*N个像元组成的分块后，每个分块中像元的基准校准系数，N为正整数；
根据所述行方向校准系数和所述列方向校准系数确定目标校准系数，包括：
针对每个所述分块，根据所述行方向校准系数、所述列方向校准系数和所述分块中像元的基准校准系数确定所述分块的分块校准系数；
基于所述行方向校准系数和所述列方向校准系数，对确定的各个分块校准系数进行加权插值运算，确定目标校准系数。
3.如权利要求2所述的方法，其特征在于，还包括：
存储每个分块的分块校准系数。
4.如权利要求1所述的方法，其特征在于，该方法还包括：
根据所述行方向校准系数和所述列方向校准系数确定目标偏置系数；
根据所述目标校准系数对所述图像传感器拍摄的图像中的像元亮度进行校准，包括：
根据所述目标校准系数和所述目标偏置系数对所述图像传感器拍摄的图像中的像元亮度进行校准。
5.如权利要求4所述的方法，其特征在于，根据所述行方向校准系数和所述列方向校准系数确定目标偏置系数，包括：
确定将所述图像传感器的成像范围划分为至少一个由N*N个像元组成的分块后，每个分块中像元的基准偏置系数，N为正整数；
针对每个分块，根据所述行方向校准系数、所述列方向校准系数和确定的所述分块中像元的基准偏置系数，确定所述分块的分块偏置系数；
基于所述行方向校准系数和所述列方向校准系数，对确定的各个分块偏置系数进行加权插值运算，确定目标偏置系数。
6.如权利要求5所述的方法，其特征在于，在确定所述分块的分块偏置系数之后，还包括：
存储每个分块的分块偏置系数。
7.一种图像传感器校准的装置，其特征在于，该装置包括：
行、列方向校准系数确定模块，用于确定图像传感器的行方向校准系数和列方向校准系数；
目标校准系数确定模块，用于根据所述行方向校准系数和所述列方向校准系数确定目标校准系数；
校准模块，用于根据所述目标校准系数对所述图像传感器拍摄的图像中的像元亮度进行校准；
行、列方向校准系数确定模块具体用于：
根据所述图像传感器拍摄的至少一个亮场图像和至少一个暗场图像确定所述行方向校准系数；和/或
根据所述图像传感器拍摄的至少一个亮场图像和至少一个暗场图像确定所述列方向校准系数；
所述行方向校准系数满足以下公式：
其中，KRow(x)为所述图像传感器第x行像元的行方向校准系数，Grayavg为亮场图像全部像元的亮度平均值，Blkavg为暗场图像全部像元的亮度平均值，GrayRow(x)为亮场图像的第x行像元的亮度平均值，BlkRow(x)为暗场图像的第x行像元的亮度平均值，x为整数，且0≤x≤xm，xm为所述图像的像元总行数；
和/或，所述列方向校准系数满足以下公式：
其中，KCol(y)为所述图像传感器第y列像元的列方向校准系数，Grayavg为亮场图像全部像元的亮度平均值，Blkavg为暗场图像全部像元的亮度平均值，GrayRow(y)为亮场图像第y列像元的亮度平均值，BlkRow(y)为暗场图像的第y列像元的亮度平均值，y为整数，且0≤y≤ym，ym为所述图像的像元总列数。
8.如权利要求7所述的装置，其特征在于，该装置还包括：
基准校准系数确定模块，用于根据图像传感器拍摄的至少一个被测图像的像元平均亮度确定所述图像传感器中像元的基准校准系数；
所述目标校准系数确定模块，还用于：
根据所述图像传感器中像元的基准校准系数，确定将所述图像传感器的成像范围划分为至少一个由N*N个像元组成的分块后，每个分块中像元的基准校准系数，N为正整数；
针对每个所述分块，根据所述行方向校准系数、所述列方向校准系数和所述分块中像元的基准校准系数确定所述分块的分块校准系数；
基于所述行方向校准系数和所述列方向校准系数，对确定的各个分块校准系数进行加权插值运算，确定目标校准系数。
9.如权利要求8所述的装置，其特征在于，该装置还包括：
分块校准系数存储模块，用于存储每个分块的分块校准系数。
10.如权利要求7所述的装置，其特征在于，该装置还包括：
目标偏置系数确定模块，用于根据所述行方向校准系数和所述列方向校准系数确定目标偏置系数；
所述校准模块，具体用于：
根据所述目标校准系数和所述目标偏置系数对所述图像传感器拍摄的图像中的像元亮度进行校准。
11.如权利要求10所述的装置，其特征在于，所述目标偏置系数确定模块具体用于：
确定将所述图像传感器的成像范围划分为至少一个由N*N个像元组成的分块后，每个分块中像元的基准偏置系数，N为正整数；
针对每个分块，根据所述行方向校准系数、所述列方向校准系数和确定的所述分块中像元的基准偏置系数，确定所述分块的分块偏置系数；
基于所述行方向校准系数和所述列方向校准系数，对确定的各个分块偏置系数进行加权插值运算，确定目标偏置系数。
12.如权利要求11所述的装置，其特征在于，该装置还包括：
分块偏置系数存储模块，用于存储每个分块的分块偏置系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711203336.8A CN107835410B (zh) | 2017-11-27 | 2017-11-27 | 一种图像传感器校准的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711203336.8A CN107835410B (zh) | 2017-11-27 | 2017-11-27 | 一种图像传感器校准的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107835410A CN107835410A (zh) | 2018-03-23 |
| CN107835410B true CN107835410B (zh) | 2019-12-24 |
Family
ID=61645875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711203336.8A Active CN107835410B (zh) | 2017-11-27 | 2017-11-27 | 一种图像传感器校准的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107835410B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298690B (zh) * | 2021-07-28 | 2022-07-26 | 浙江华睿科技股份有限公司 | 一种图像数据处理方法、装置及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103943051A (zh) * | 2013-01-17 | 2014-07-23 | 三星显示有限公司 | 显示图像的方法及执行该方法的显示装置 |
| CN104778664A (zh) * | 2015-04-10 | 2015-07-15 | 信利光电股份有限公司 | 一种图像亮度校正的方法 |
| CN106713778A (zh) * | 2016-12-28 | 2017-05-24 | 上海兴芯微电子科技有限公司 | 曝光控制方法和装置 |
-
2017
- 2017-11-27 CN CN201711203336.8A patent/CN107835410B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103943051A (zh) * | 2013-01-17 | 2014-07-23 | 三星显示有限公司 | 显示图像的方法及执行该方法的显示装置 |
| CN104778664A (zh) * | 2015-04-10 | 2015-07-15 | 信利光电股份有限公司 | 一种图像亮度校正的方法 |
| CN106713778A (zh) * | 2016-12-28 | 2017-05-24 | 上海兴芯微电子科技有限公司 | 曝光控制方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107835410A (zh) | 2018-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100915777B1 (ko) | 병렬 입력 산술 평균 모듈을 이용하여 이미저 노이즈감소를 제공하는 방법 및 장치 | |
| US8089533B2 (en) | Fixed pattern noise removal circuit, fixed pattern noise removal method, program, and image pickup apparatus | |
| CN107071234B (zh) | 一种镜头阴影校正方法及装置 | |
| WO2004004319A1 (en) | Device and method of detection of erroneous image sample data of defective image samples | |
| TWI638149B (zh) | 輝度測定方法、輝度測定裝置及使用前述方法與裝置之畫質調整技術 | |
| CN109685794B (zh) | 用于手机屏幕缺陷检测相机自适应步长dpc算法及装置 | |
| CN110830789A (zh) | 一种过曝检测方法、装置及一种过曝抑制方法、装置 | |
| CN111432112A (zh) | 处理图像信号的方法、图像信号处理器和图像传感器芯片 | |
| CN115942128B (zh) | 一种基于异构平台的isp***设计与实现方法 | |
| TWI492621B (zh) | 適應性影像處理方法及其相關裝置 | |
| US20110311156A1 (en) | Method and system for correcting lens shading | |
| CN107835410B (zh) | 一种图像传感器校准的方法及装置 | |
| JP2017055308A (ja) | 撮像装置及びその制御方法 | |
| CN113808046B (zh) | 一种平场校正参数的获取方法及装置 | |
| CN109584311B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
| US20240127413A1 (en) | Image processing system for performing image quality tuning and method of performing image quality tuning | |
| CN113747066A (zh) | 图像校正方法、装置、电子设备及计算机可读存储介质 | |
| EP4102828B1 (en) | Image sensor including image signal processor and operating method of the image sensor | |
| JP2015032842A (ja) | 固体撮像素子、撮像装置、および補正方法 | |
| US8054348B2 (en) | Noise reduction device and digital camera | |
| JP5640316B2 (ja) | 撮像装置 | |
| JP6700732B2 (ja) | ピクセルイメージに含まれる不良画素の処理方法とその方法を用いたイメージセンサー及びアプリケーションプロセッサ | |
| US10616451B2 (en) | Image processing devices and methods for operating the same | |
| JP6433276B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
| CN113709392B (zh) | 图像传感器的校正方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: C10, No. 1199 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Zhejiang Huarui Technology Co.,Ltd. Address before: C10, No. 1199 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee before: ZHEJIANG HUARAY TECHNOLOGY Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |