CN109788217B

CN109788217B - 不良像素补偿方法与装置

Info

Publication number: CN109788217B
Application number: CN201711116026.2A
Authority: CN
Inventors: 黄文聪
Original assignee: Realtek Semiconductor Corp
Current assignee: Realtek Semiconductor Corp
Priority date: 2017-11-13
Filing date: 2017-11-13
Publication date: 2021-05-25
Anticipated expiration: 2037-11-13
Also published as: CN109788217A

Abstract

本发明公开了一种不良像素补偿方法与一种不良像素补偿装置，能够补偿一红绿蓝红外线(RGBIr)感测器的不良像素，该方法的一实施例包含：判断一感测器的形态；依据该感测器的形态与一目标像素的位置决定多个取样位置；依据该多个取样位置获得一取样范围内的多个参考像素的值；依据该多个参考像素的值决定一区间与至少一补偿值；以及判断该目标像素的一目标像素输入值是否位于该区间内，当该目标像素输入值位于该区间内，输出该目标像素输入值做为该目标像素的值，当该目标像素输入值位于该区间外，输出该至少一补偿值的其中之一作为该目标像素的值。本发明能够对RGBIr感测器的不良像素进行补偿。

Description

不良像素补偿方法与装置

技术领域

本发明涉及不良像素补偿技术，尤其涉及能够补偿具有四种像素的感测器的不良像素的技术。

背景技术

传统红绿蓝(RGB)感测器在低光源的环境下感光度不足，为解决上述问题，有些监视应用等级的影像获取装置使用红外线截止式滤波器(IR Cut Filter)，以在日间模式下输出RGB彩色影像，并在夜晚模式输出IR影像。然而，机械性的IR Cut Filter的动件装置容易因使用过度而损坏，且有体积大及成本高等问题，因此，新形态的混和式红绿蓝红外线(RGBIr)感测器因应而起。

RGBIr感测器可应用于手机、笔电、网络监控摄影机、游戏产品、智能家庭设施等，然而，若感测器本身有缺陷(例如：制造所引起的缺陷)，感测器所输出的像素会包含错误/失真(error/distortion)，若不校正这些错误/失真，最后显示器所输出的影像会显现许多人眼容易查觉的不自然现象，例如亮点(stuck pixel)、暗点(dead pixel)、偏亮点(hotpixel)、偏暗点(dark pixel)，其中偏亮点与偏暗点分别是装置操作条件改变时，相较于邻近像素会偏亮的像素与偏暗的像素。然而，目前仅有对RGB感测器的不良像素进行补偿的技术，并无对RGBIr感测器的不良像素进行补偿的技术。

前述对RGB感测器的不良像素进行补偿的技术可见于下列文献：专利号8,164,660的美国专利。

发明内容

本发明的一目的在于提供一种不良像素补偿方法与一种不良像素补偿装置，以避免现有技术的问题。

本发明公开了一种不良像素补偿方法，用来补偿一感测器的不良像素，该感测器包含四个种类的像素，该不良像素补偿方法的一实施例包含下列步骤：依据至少一感测器形态信号，判断该感测器的形态；依据该感测器的形态与一目标像素的位置，决定多个取样位置；依据该多个取样位置，获得一取样范围内的多个参考像素的值；依据该多个参考像素的值决定一区间与至少一补偿值；以及判断该目标像素的一目标像素输入值是否位于该区间内，当该目标像素输入值位于该区间内，输出该目标像素输入值做为该目标像素的值，当该目标像素输入值位于该区间外，输出该至少一补偿值的其中之一作为该目标像素的值。本实施例中，该四个种类的像素是红色像素、绿色像素、蓝色像素与红外线像素，且该多个参考像素的种类与该目标像素的种类相同。

本发明另公开一种影像处理装置，能够补偿一感测器的不良像素，该感测器包含四个种类的像素，该不良像素补偿装置的一实施例包含：一参考像素取样电路，用来依据一目标像素的位置，决定多个取样位置，从而依据该多个取样位置获得一取样范围内的多个参考像素的值；一计算电路，用来依据该多个参考像素的值决定一区间与至少一补偿值；以及一判断及补偿电路，用来判断该目标像素的输入值是否位于该区间内，当该目标像素的输入值位于该区间内，依据该至少一补偿值补偿该目标像素的输入值。本实施例中，该四个种类的像素是红色像素、绿色像素、蓝色像素与红外线像素，且该多个参考像素的种类与该目标像素的种类相同。

有关本发明的特征、实作与技术效果，兹配合附图作优选实施例详细说明如下。

附图说明

图1显示2×2型感测器的感光宏块像素的一范例；

图2显示4×4型感测器的感光宏块像素的一范例；

图3显示本发明选择参考像素的一实施例；

图4显示本发明选择参考像素的另一实施例；

图5显示本发明选择参考像素的又一实施例；

图6显示本发明选择参考像素的再一实施例；

图7显示本发明的不良像素补偿方法的一实施例；

图8显示图7的步骤S740的一实施例所包含的步骤；

图9显示产生图8的亮区平移电平与暗区平移电平的一实施例；

图10显示本发明的不良像素补偿装置的一实施例。

附图标记说明：

R 红色像素

G 绿色像素

B 蓝色像素

Ir 红外线像素

T 目标像素

Ref、B/R_REF、G_REF、Ir_REF 参考像素

S710～S750 步骤

S810～S830 步骤

S910～S950 步骤

1000 不良像素补偿装置

1010 参考像素取样电路

1020 计算电路

1030 判断及补偿电路

具体实施方式

以下说明内容的用语是参照本技术领域的习惯用语，如本说明书对部分用语有加以说明或定义，该部分用语的解释是以本说明书的说明或定义为准。

本发明公开一种不良像素补偿方法与一种不良像素补偿装置，用来补偿一感测器的不良像素，该感测器包含四个种类的像素，例如红色像素、绿色像素、蓝色像素与红外线像素。为便于理解，以下说明所提到的感测器是一红绿蓝红外线(RGBIr)感测器；然而，在实施为可能的前提下，本发明也可用来补偿其它类型的感测器的不良像素。

RGBIr感测器的感光宏块像素(photo-sensitive macroblock pixels)包含许多基本感光单元，一基本感光单元的像素排列方式例如是图1的2×2型(即每个基本感光单元包含四个像素)或图2的4×4型(即每个基本感光单元包含十六个像素)，其中红色像素标示为R、绿色像素标示为G、蓝色像素标示为B、红外线像素标示为Ir，且其它附图也采用上述标示方式。值得注意的是，图1与图2仅示出了部分的像素，且图1与图2的像素排列方式是范例性的，并非本发明的实施限制。而为了判断RGBIr感测器的一目标像素是否为不良像素，本发明依据一取样范围，将邻近该目标像素的多个像素做为参考像素，以依据所述参考像素判断该目标像素是否为不良像素，所述参考像素的种类与该目标像素的种类相同(例如：均为红色像素、或绿色像素、或蓝色像素、或红外线像素)；然而，在实施结果是可接受的前提下，一或多个参考像素的种类与该目标像素的种类可以不同。

为帮助了解，底下说明主要以具有2×2型的基本感光单元的RGBIr感测器为例，并以5×5取样范围(亦即该取样范围内有25个像素)为例；然而，上述条件并非本发明的实施限制，本领域技术人员可依据本发明的公开，了解如何检测其它型的RGBIr感测器(例如：具有4×4型的基本感光单元的RGBIr感测器)，以及如何采用其它大小的取样范围(例如：3×3、3×5、5×3、5×7、7×5、7×7、7×9、9×7、或9×9的取样范围)。值得注意的是，当RGBIr感测器的形态(例如：尺寸已知的具有2×2型的基本感光单元的RGBIr感测器(后称2×2型感测器)或尺寸已知的具有4×4型的基本感光单元的RGBIr感测器(后称4×4型感测器))与一目标像素的位置(例如：该目标像素相对于该RGBIr感测器的所有像素的坐标，其中该坐标的产生属于本领域的通常技术)决定后，上述取样范围内的那些像素是参考像素，就可以被确定。举例而言，在一目标像素是位于5×5取样范围的中心以及该目标像素的种类与参考像素的种类相同的设定下，当感测器为2×2型感测器时，参考像素如图3所示(图3中参考像素标示为Ref，目标像素标示为T)，其中该目标像素与所述参考像素均为红色像素、绿色像素、蓝色像素或红外线像素；当感测器为4×4型感测器且目标像素为蓝色或红色像素时，参考像素如图4所示(图4中参考像素标示为B/R_REF，目标像素标示为T)；当感测器为4×4型感测器且目标像素为绿色像素时，参考像素如图5所示(图5中参考像素标示为G_REF，目标像素标示为T)；当感测器为4×4型感测器且目标像素为红外线像素时，参考像素如图6所示(图6中参考像素标示为Ir_REF，目标像素标示为T)。另举例而言，于一取样范围内，只有一部分与目标像素同种类的像素被选为参考像素。再举例而言，在一目标像素不位于一取样范围(例如：6×6取样范围)的中心的设定下，该目标像素是最接近该中心的多个像素中的一像素，且该取样范围内的参考像素的位置，也可依据感测器的形态与该目标像素的位置而被确定。

图7显示本发明的不良像素补偿方法的一实施例，其可由本发明的不良像素补偿装置或其等效装置来执行。图7的实施例包含下列步骤：

步骤S710：依据至少一感测器形态信号，判断该感测器的形态。上述感测器形态信号可由该感测器或其它外部装置提供，或可通过使用者设定用来执行该不良像素补偿方法的装置而得；当然，其它能提供感测器形态信号的已知或自行开发的方式，也可用于本步骤。

步骤S720：依据该感测器的形态与一目标像素的位置，决定多个取样位置。举例而言，上述多个取样位置，为图3～6的其中之一所示的参考像素的位置。

步骤S730：依据该多个取样位置，获得一取样范围内的多个参考像素的值。举例而言，上述多个参考像素的值，为图3～6的其中之一所示的参考像素的值。

步骤S740：依据该多个参考像素的值决定一区间与至少一补偿值。本步骤的范例说明于后。

步骤S750：判断该目标像素的一目标像素输入值(例如：该目标像素的原始像素值，或一在前影像处理阶段(先于本方法的执行)所输出的该目标像素的值)是否位于该区间内，当该目标像素输入值位于该区间内，输出该目标像素输入值做为该目标像素的值，当该目标像素输入值位于该区间外，输出该至少一补偿值的其中之一作为该目标像素的值。本步骤的范例说明于后。

如图8所示，于一实施例中，前述步骤S740包含下列步骤：

步骤S810：依据该多个参考像素的值决定一亮度上限。举例而言，该亮度上限的组成包含一亮度参考电平(brightness reference level)(例如：该亮度上限为该亮度参考电平)。另举例而言，该多个参考像素的值包含一最大值、一中位值与一最小值，该亮度参考电平介于该最大值与该中位值之间(例如：该亮度参考电平等于该最大值，或等于该多个参考像素的次大值)，其中至少该最大值与该最小值可通过对该多个参考像素执行一递增排序或一递减排序而得。另举例而言，该亮度上限的组成包含该亮度参考电平以及下列电平的至少其中之一：一边缘特征参考电平(edge feature reference level)以及一亮区平移电平(bright area shift level)(例如：该亮度上限等于该亮度参考电平、该边缘特征参考电平与该亮区平移电平的加总)，其中该边缘特征参考电平用来于该目标像素位于边缘时，调整该亮度上限与后述的亮度下限，该亮区平移电平用来依据该多个参考像素的亮度调整该亮度上限。上述边缘特征参考电平与亮区平移电平的范例说明于后。

步骤S820：依据该多个参考像素的值决定一亮度下限。举例而言，该亮度下限的组成包含一暗度参考电平(darkness reference level)(例如：该亮度下限为该暗度参考电平)。另举例而言，该暗度参考电平介于该中位值与该最小值之间(例如：该暗度参考电平等于该最小值，或等于该多个参考像素的次小值)。另举例而言，该亮度下限的组成包含该暗度参考电平以及下列电平的至少其中之一：该边缘特征参考电平以及一暗区平移电平(dark area shift level)(例如：该亮度下限等于该暗度参考电平减去该边缘特征参考电平以及该暗区平移电平)，其中该暗区平移电平用来依据该多个参考像素的亮度调整亮度下限。上述暗区平移电平的范例说明于后。

步骤S830：依据该亮度上限与该亮度下限决定该区间。举例而言，该区间是该亮度上限与该亮度下限之间的区间，该至少一补偿值包含该亮度参考电平与该暗度参考电平，因此，于步骤S750中，当该目标像素的目标像素输入值大于该亮度上限，该亮度参考电平被输出以做为该目标像素的值，以及当该目标像素的目标像素输入值小于该亮度下限，该暗度参考电平被输出以做为该目标像素的值。

于一实施例中，前述边缘特征参考电平是依据一预设的边缘电平演算法计算该多个参考像素而产生，举例而言，该边缘特征参考电平等于该多个参考像素的变异系数乘以一边缘比例(edge rate)(例如：0～1之间的值)，其中该边缘比例可以是一预定比例，或是由实施本发明者决定。于一实施例中，该边缘特征参考电平是依据一边缘检测演算法检测该目标像素而产生，举例而言，该边缘检测演算法采用索贝尔运算子(Sobel Operator)，以分别算出该目标像素的横向梯度近似值与纵向梯度近似值(例如：

其中G_x为横向梯度，G_y为纵向梯度，A为以该目标像素为中心的3×3大小的像素矩阵)，再据以计算该目标像素的梯度(例如：

)，然后将该梯度乘以该边缘比例以得到该边缘特征参考电平。

如图9所示，于一实施例中，前述亮区平移电平与暗区平移电平是依据至少下列步骤而产生：

步骤S910：计算该多个参考像素的平均值。

步骤S920：判断该平均值是否小于一低亮度门限(例如：若每个参考像素值介于0～255之间，该低亮度门限为60或为一介于15～112之间的值)及/或判断该平均值是否大于一高亮度门限(例如：若每个参考像素值介于0～255之间，该高亮度门限为180或为一介于142～240之间的值)。本步骤中，若在先的判断成立(例如：判断该平均值是否小于该低亮度门限的步骤先被执行，且判断结果指出该平均值小于该低亮度门限)，在后的判断(例如：判断该平均值是否大于该高亮度门限的步骤)可选择性地被执行。

步骤S930：若该平均值小于该低亮度门限，令该亮区平移电平等于一最小亮区平移电平(例如：4，或实施本发明者所决定的值能帮助辨别该目标像素在暗区是否偏亮)，以及令该暗区平移电平等于一最小暗区平移电平(例如：8，或实施本发明者所决定的值能帮助辨别该目标像素在暗区是否偏暗)。

步骤S940：若该平均值大于该高亮度门限，令该亮区平移电平等于一最大亮区平移电平(例如：8，或实施本发明者所决定的值能帮助辨别该目标像素在亮区是否偏亮)，以及令该暗区平移电平等于一最大暗区平移电平(例如：4，或实施本发明者所决定的值能帮助辨别该目标像素在亮区是否偏暗)。

步骤S950：若该平均值介于该低亮度门限与该高亮度门限之间，依据一预设的平移电平演算法来计算该亮区平移电平与该暗区平移电平。举例而言，该预设的平移电平演算法使得「该亮区平移电平＝最小亮区平移电平+(最大亮区平移电平-最小亮区平移电平)×(该平均值-该低亮度门限)÷128」，以及使得「该暗区平移电平＝最小暗区平移电平+(最大暗区平移电平-最小暗区平移电平)×(该平均值-该低亮度门限)÷128」。

本发明的不良像素补偿装置的一实施例如图10所示。图10的不良像素补偿装置1000是一影像处理器(例如：一影像处理集成电路)，能够执行本发明的不良像素补偿方法。不良像素补偿装置1000包含一参考像素取样电路1010、一计算电路1020、以及一判断及补偿电路1030。参考像素取样电路1010用来依据一目标像素的位置，决定多个取样位置，从而依据该多个取样位置获得一取样范围内的多个参考像素的值；举例而言，参考像素取样电路1010接收该取样范围内的所有像素的值，再依据该目标像素的位置决定该多个取样位置，从而获得该多个参考像素的值。计算电路1020用来依据该多个参考像素的值决定一区间与至少一补偿值。判断及补偿电路1030用来判断该目标像素的输入值是否位于该区间内，当该目标像素的输入值位于该区间内，依据该至少一补偿值补偿该目标像素的输入值。本领域技术人员，能够依据本公开，利用已知的电路与技术来实现不良像素补偿装置1000。

由于本领域技术人员能够参酌前述方法实施例来了解上述装置实施例的细节与变化，亦即前述方法实施例的技术特征均可合理应用于该装置实施例中，因此，在不影响该装置实施例的公开要求与可实施性的前提下，重复及冗余的说明在此省略。

请注意，在实施为可能的前提下，本技术领域技术人员可选择性地实施前述任一实施例的部分或全部技术特征，或选择性地实施前述多个实施例的部分或全部技术特征的组合，借此增加本发明实施时的弹性。另请注意，前述实施例所提到的数值与演算法是范例性的，本领域技术人员可依本发明的公开及其需求，自行设定数值以及选择/开发适当的演算法。

综上所述，本发明能够产生主要信息(例如：前述亮度参考电平与暗度参考电平)，以依据该主要信息判断一RGBIr感测器的一目标像素是否为不良像素，并据以补偿；本发明也能选择性地产生辅助信息(例如：前述边缘特征参考电平、亮区平移电平以及暗区平移电平)，以利用该辅助信息，协助判断该目标像素是否为不良像素。

虽然本发明的实施例如上所述，然而所述实施例并非用来限定本发明，本技术领域技术人员可依据本发明的明示或隐含的内容对本发明的技术特征施以变化，凡这种种变化均可能属于本发明所寻求的专利保护范围，换言之，本发明的专利保护范围须视本说明书的权利要求所界定者为准。

Claims

1.一种不良像素补偿方法，用来补偿一感测器的不良像素，该感测器包含四个种类的像素，该不良像素补偿方法包含下列步骤：

依据至少一感测器形态信号，判断该感测器的形态；

依据该感测器的形态与一目标像素的位置，决定多个取样位置；

依据该多个取样位置，获得一取样范围内的多个参考像素的值，其中该多个参考像素的种类与该目标像素的种类相同；

依据该多个参考像素的值决定一区间与至少一补偿值；以及

判断该目标像素的一目标像素输入值是否位于该区间内，当该目标像素输入值位于该区间内，输出该目标像素输入值做为该目标像素的值，当该目标像素输入值位于该区间外，输出该至少一补偿值的其中之一作为该目标像素的值；

其中决定该区间的步骤包含：依据该多个参考像素的值决定一亮度上限；依据该多个参考像素的值决定一亮度下限；以及依据该亮度上限与该亮度下限决定该区间；

其中该亮度上限的组成包含一亮度参考电平以及下列电平的至少其中之一：一边缘特征参考电平以及一亮区平移电平；以及该亮度下限的组成包含一暗度参考电平以及下列电平的至少其中之一：该边缘特征参考电平以及一暗区平移电平。

2.如权利要求1所述的不良像素补偿方法，其中该四个种类的像素是红色像素、绿色像素、蓝色像素与红外线像素。

3.如权利要求1所述的不良像素补偿方法，其中该亮度上限的组成包含一亮度参考电平(brightness reference level)；该亮度下限的组成包含一暗度参考电平(darknessreference level)；该至少一补偿值包含该亮度参考电平与该暗度参考电平；当该目标像素输入值大于该亮度上限，该亮度参考电平被输出以做为该目标像素的值；以及当该目标像素输入值小于该亮度下限，该暗度参考电平被输出以做为该目标像素的值。

4.如权利要求1所述的不良像素补偿方法，其中该多个参考像素的值包含一最大值、一中位值与一最小值，该至少一补偿值包含一亮度参考电平与一暗度参考电平，该亮度参考电平介于该最大值与该中位值之间，该暗度参考电平介于该中位值与该最小值之间。

5.一种不良像素补偿装置，能够补偿一感测器的不良像素，该感测器包含四个种类的像素，该不良像素补偿装置包含：

一参考像素取样电路，用来依据一目标像素的位置，决定多个取样位置，从而依据该多个取样位置获得一取样范围内的多个参考像素的值，其中该多个参考像素的种类与该目标像素的种类相同；

一计算电路，用来依据该多个参考像素的值决定一区间与至少一补偿值；以及

一判断及补偿电路，用来判断该目标像素的一输入值是否位于该区间外，当该目标像素的该输入值位于该区间外，依据该至少一补偿值补偿该目标像素的该输入值；

其中，该计算电路设置为：依据该多个参考像素的值决定一亮度上限；依据该多个参考像素的值决定一亮度下限；以及依据该亮度上限与该亮度下限决定该区间；其中该亮度上限的组成包含一亮度参考电平以及下列电平的至少其中之一：一边缘特征参考电平以及一亮区平移电平；以及该亮度下限的组成包含一暗度参考电平以及下列电平的至少其中之一：该边缘特征参考电平以及一暗区平移电平。

6.如权利要求5所述的不良像素补偿装置，其中该四个种类的像素是红色像素、绿色像素、蓝色像素与红外线像素。