CN113365000A - 图像感测设备及其操作方法 - Google Patents

图像感测设备及其操作方法 Download PDF

Info

Publication number
CN113365000A
CN113365000A CN202011253810.XA CN202011253810A CN113365000A CN 113365000 A CN113365000 A CN 113365000A CN 202011253810 A CN202011253810 A CN 202011253810A CN 113365000 A CN113365000 A CN 113365000A
Authority
CN
China
Prior art keywords
kernel
value
target
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011253810.XA
Other languages
English (en)
Other versions
CN113365000B (zh
Inventor
裵钟贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
SK Hynix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Hynix Inc filed Critical SK Hynix Inc
Publication of CN113365000A publication Critical patent/CN113365000A/zh
Application granted granted Critical
Publication of CN113365000B publication Critical patent/CN113365000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本申请涉及一种图像感测设备及其操作方法。图像感测设备包括：分析模块，其适合于基于内核的像素值来对包括目标像素组和一个或更多个相邻像素组的内核的图像纹理进行分析；总和模块，其适合于基于分析模块的分析结果来产生第一目标总和值和第二目标总和值中的任意一个，其中，第一目标总和值通过将内核的纹理特征应用在目标像素组的目标像素值中而被获得，而第二目标总和值在不将内核的纹理特征应用在目标像素值中的情况下而被获得；以及处理模块，其适合于基于第一目标总和值和第二目标总和值中的任意一个来产生总和图像。

Description

图像感测设备及其操作方法
相关申请的交叉引用
本申请要求于2020年3月4日提交的申请号为10-2020-0027109的韩国专利申请的优先权，其公开内容通过引用以其整体合并于此。
技术领域
本公开的各个实施例涉及半导体设计技术，更具体地，涉及一种图像感测设备及其操作方法。
背景技术
图像感测设备是用于利用对光作出反应的半导体的特性来捕获图像的设备。图像感测设备可以大致被分为电荷耦合器件(CCD，charge-coupled device)图像感测设备和互补金属氧化物半导体(CMOS)图像感测设备。近来，因为CMOS图像感测设备可以允许在单个集成电路(IC)上直接实现模拟控制电路和数字控制电路两者，所以CMOS图像感测设备被广泛使用。
发明内容
本公开的各个实施例针对一种能够防止在低光度模式或预览模式下分辨率性能(即，分辨能力)的损失的图像感测设备，以及该图像感测设备的操作方法。
根据一个实施例，一种图像感测设备可以包括：分析模块，其适合于基于内核的像素值来对内核的图像纹理进行分析，该内核包括目标像素组和一个或更多个相邻像素组；总和模块，其适合于基于分析模块的分析结果来产生第一目标总和值和第二目标总和值中的任意一个，其中，第一目标总和值通过将内核的纹理特征应用在目标像素组的目标像素值中来获得，而第二目标总和值在不将内核的纹理特征应用在目标像素值中的情况下来获得；以及处理模块，其适合于基于第一目标总和值和第二目标总和值中的任意一个来产生总和图像。
图像纹理可以包括指示内核是边缘区域还是平坦区域的信息。
根据一个实施例，图像感测设备可以包括：图像传感器，其包括具有四个一组的图案(quad pattern)的像素阵列，并且适合于感测从像素阵列产生的像素值；以及图像处理器，其适合于基于用于每个内核的像素值来计算与用于每个内核的纹理特征相对应的第一权重至第四权重，以及通过将第一权重至第四权重分别应用在用于每个内核的第一目标像素值至第四目标像素值中来产生用于每个内核的第一目标总和值。
图像处理器可以对用于每个内核的图像纹理进行分析，以及基于分析结果来产生用于每个内核的第一目标总和值，或者在不将第一权重至第四权重应用在第一目标像素值至第四目标像素值中的情况下产生用于每个内核的第二目标总和值。
图像纹理可以包括指示内核是边缘区域还是平坦区域的信息。
根据一个实施例，图像感测设备的操作方法可以包括：进入设置模式；基于内核的像素值来对内核的图像纹理进行分析，该内核包括目标像素组、参考像素组以及第一***像素组至第三***像素组；当图像纹理的分析结果指示内核是边缘区域时，基于目标像素组的目标像素值、参考像素组的参考像素值、第一***像素组的第一***像素值、第二***像素组的第二***像素值以及第三***像素组的第三***像素值来计算第一权重至第四权重；以及基于第一权重至第四权重和目标像素值来产生目标像素组的第一目标总和值。
设置模式可以包括低光度模式或预览模式。
该操作方法还可以包括：当图像纹理的分析结果指示内核是平坦区域时，基于目标像素值来产生目标像素组的第二目标总和值；以及基于第一目标总和值和第二目标总和值中的任意一个来产生总和图像。
根据一个实施例，图像感测设备的操作方法可以包括：感测从具有四个一组的图案的像素区域产生的像素值；当在低光度模式或预览模式下像素区域具有边缘图案时，通过将第一权重至第四权重应用在像素值之中的目标像素值来产生总和值，该第一权重至第四权重基于像素值而被获得；以及基于总和值来产生总和图像。
当在低光度模式或预览模式下像素区域具有平坦图案时，可以在不将第一权重至第四权重应用在像素值之中的目标像素值的情况下获得总和值。
附图说明
通过以下参考附图的详细描述，本公开的上述以及其他特征和优点对于本公开所属领域的技术人员而言将变得更加显而易见。
图1是示出根据本公开的一个实施例的图像感测设备的框图。
图2是在图1所示的图像传感器中包括的像素阵列的详细图。
图3是图1所示的图像处理器的详细图。
图4是图3所示的分析模块的详细图。
图5是图3所示的总和模块的详细图。
图6是示出根据本公开的一个实施例的图像感测设备的操作的流程图。
图7A是示出根据现有技术的在4-总和模式下的总和图像的示图，而图7B是示出根据本公开的一个实施例的在4-总和模式下的总和图像的示图。
具体实施方式
下面参考附图描述各种实施例，以便详细描述本公开，使得本公开所属领域的技术人员可以容易地实施本公开的技术精神。提供这些实施例是为了使本公开全面和完整，并将本公开的范围充分传达给本领域技术人员。
将理解的是，当一个元件被称为“连接到”或“耦合到”另一元件时，它可以直接在另一元件上、连接到或耦合到另一元件，或者可以存在一个或多个中间元件。另外，还将理解的是，当在本说明书中使用时，术语“包括”、“包括有”、“包含”和“包含有”指定存在所述元件，并且不排除一个或多个其他元件的存在或添加。在整个说明书的描述中，一些组件以单数形式描述，但是本公开不限于此，并且将理解的是，这些组件可以形成为多个。
图1是示出根据本公开的一个实施例的图像感测设备的框图。
参考图1，图像感测设备可以包括图像传感器100和图像处理器200。
图像传感器100可以基于入射光来产生图像IMG。图像IMG可以包括从像素阵列产生的像素值，这将在下面描述。
图像处理器200可以在设置模式下基于图像IMG产生总和图像4SUM_IMG。设置模式可以包括低光度模式或预览模式。在一个实施例中，当进入设置模式时，图像感测设备还可以进入4-总和模式，在该模式中相同颜色的2×2像素的像素值被求和。
图像处理器200可以通过基于像素值来对像素阵列的每个内核UK的图像纹理进行分析以及基于分析结果来产生针对每个内核UK的第一目标总和值G4'和第二目标总和值G4来产生总和图像4SUM_IMG。对于每个内核UK，图像处理器200可以基于像素值来计算与用于每个内核UK的纹理特征相对应的第一权重至第四权重W1、W2、W3和W4，通过将第一权重至第四权重W1、W2、W3和W4分别应用在第一目标像素值至第四目标像素值g41、g42、g43和g44中来产生第一目标总和值G4'，以及在不将第一权重至第四权重W1、W2、W3和W4应用在第一目标像素值至第四目标像素值g41、g42、g43和g44中的情况下产生第二目标总和值G4。
图像纹理可以包括指示内核UK是边缘区域(edge region)还是平坦区域(flatregion)的信息。边缘区域可以指包括详细图像信息的高频区域。平坦区域可以指不包括详细图像信息的低频区域。
图2是在图1所示的图像传感器100中包括的像素阵列的详细图。
参考图2，像素阵列可以包括以四个一组的图案(quad pattern)布置的多个像素。四个一组的图案是指其中相同颜色的像素以2x2单位布置的图案。像素阵列可以包括针对每个内核UK的多个像素组。对于每个内核UK，像素阵列可以包括目标像素组TG和具有与目标像素组TG相同的颜色的相邻像素组RG、PG1、PG2和PG3。在下文中，相邻像素组RG、PG1、PG2和PG3中的一个像素组被称为“参考像素组RG”，而其中的其他像素组被称为“第一***像素组至第三***像素组PG1、PG2和PG3”。
参考像素组RG可以被设置在内核UK的中心，而第一***像素组至第三***像素组PG1、PG2和PG3以及目标像素组TG可以被设置在参考像素组RG的周围。目标像素组TG、参考像素组RG以及第一***像素组至第三***像素组PG1、PG2和PG3中的每个可以包括第一像素至第四像素。第一像素至第四像素可以具有相同的颜色。例如，相同的颜色可以包括绿色。
参考像素组RG可以产生第一参考像素值至第四参考像素值g01、g02、g03和g04，第一***像素组PG1可以产生第一***像素值至第四***像素值g11、g12、g13和g14，第二***像素组PG2可以产生第一***像素值至第四***像素值g21、g22、g23和g24，第三***像素组PG3可以产生第一***像素值至第四***像素值g31、g32、g33和g34，以及目标像素组TG可以产生第一目标像素值至第四目标像素值g41、g42、g43和g44。
在下文中，为了便于说明，代表性地描述了单个内核UK。
图3是图1所示的图像处理器200的详细图。
参考图3，图像处理器200可以包括分析模块210、总和模块220和处理模块230。分析模块210、总和模块220和处理模块230包括它们各自的操作和功能所需的所有电路、***、软件、固件和设备。
分析模块210可以基于在图像IMG中包括的像素值来分析内核UK的图像纹理。例如，分析模块210可以基于像素值来分析内核UK是边缘区域还是平坦区域。
总和模块220可以基于分析模块210的分析结果RES和图像IMG来产生第一目标总和值G4'和第二目标总和值G4中的任意一个。第一目标总和值G4'通过将内核UK的纹理特征应用(或反映)在目标像素组TG的第一目标像素值至第四目标像素值g41、g42、g43和g44中而被获得，而第二目标总和值G4在不将内核UK的纹理特征应用(或反映)在第一目标像素值至第四目标像素值g41、g42、g43和g44中的情况下被获得。总和模块220可以基于内核UK的像素值来计算参考像素组RG的第一权重至第四权重W1、W2、W3和W4，并且第一权重至第四权重W1、W2、W3和W4可以被视为内核UK的纹理特征。
处理模块230可以基于第一目标总和值G4'和第二目标总和值G4中的任意一个来产生总和图像4SUM_IMG。尽管与图像IMG相比，总和图像4SUM_IMG根据4-总和模式而被减小了尺寸，但是总和图像4SUM_IMG的分辨率性能可以通过应用纹理特征而被提高。
图4是图3所示的分析模块210的详细图。
参考图4，分析模块210可以包括第一计算单元211和分析单元213。第一计算单元211和分析单元213包括它们各自的操作和功能所需的所有电路、***、软件、固件和设备。
第一计算单元211可以基于在图像IMG中包括的内核UK的像素值来产生内核UK的特征值DY，该内核UK的特征值DY指示内核UK的动态范围。内核UK的特征值DY可以基于下面的等式1来进行计算。
[等式1]
DY＝MAX{UK}-MIN{UK}
这里，“MAX{UK}”可以指在内核UK中包括的像素组的总和值之中的最大值。“MIN{UK}”可以指在内核UK中包括的像素组的总和值之中的最小值。
也就是说，第一计算单元211可以从内核UK的总和值之中的最大值MAX{UK}减去最小值MIN{UK}，从而计算内核UK的特征值DY。
分析单元213可以基于内核UK的特征值DY和参考值TH来分析内核UK的图像纹理。例如，分析单元213可以将内核UK的特征值DY与参考值TH进行比较，以及根据比较结果来分析内核UK的图像纹理是边缘区域还是平坦区域。
图5是图3所示的总和模块220的详细示图。
参考图5，总和模块220可以包括第二计算单元221、第一总和单元223和第二总和单元225。第二计算单元221、第一总和单元223和第二总和单元225包括它们各自的操作和功能所需的所有电路、***、软件、固件和设备。
第二计算单元221可以基于分析模块210的分析结果RES和图像IMG来产生第一权重至第四权重W1、W2、W3和W4。例如，当内核UK的图像纹理是边缘区域时，第二计算单元221可以基于第一参考像素值至第四参考像素值g01、g02、g03和g04、第一***像素值至第四***像素值g11、g12、g13和g14、第一***像素值至第四***像素值g21、g22、g23和g24、第一***像素值至第四***像素值g31、g32、g33和g34以及第一目标像素值至第四目标像素值g41、g42、g43和g44来计算与内核UK的纹理特征相对应的第一权重至第四权重W1、W2、W3和W4。第一权重至第四权重W1、W2、W3和W4可以基于下面的等式2至5来计算。
[等式2]
W1＝G1/GO
这里，“G0”可以指通过对第一参考像素值至第四参考像素值g01、g02、g03和g04进行求和而获得的值，即，参考像素组RG的4-总和值。“G1”可以指通过对第一***像素值至第四***像素值g11、g12、g13和g14进行求和而获得的值，即，第一***像素组PG1的4-总和值。
第一权重W1可以对应于通过将由对第一***像素值至第四***像素值g11、g12、g13和g14进行求和而获得的值G1除以由对第一参考像素值至第四参考像素值g01、g02、g03和g04进行求和而获得的值G0所获得的值。换句话说，第一权重W1可以指通过对第一***像素值至第四***像素值g11、g12、g13和g14进行求和而获得的值G1与通过对第一参考像素值至第四参考像素值g01、g02、g03和g04进行求和而获得的值G0之比。
[等式3]
W2＝G2/GO
这里，“G2”可以指通过对第一***像素值至第四***像素值g21、g22、g23和g24进行求和而获得的值，即，第二***像素组PG2的4-总和值。
第二权重W2可以对应于通过将由对第一***像素值至第四***像素值g21、g22、g23和g24进行求和而获得的值G2除以由对将第一参考像素值至第四参考像素值g01、g02、g03和g04进行求和而获得的值G0所获得的值。换句话说，第二权重W2可以指通过对第一***像素值至第四***像素值g21、g22、g23和g24进行求和而获得的值G2与通过对第一参考像素值至第四参考像素值g01、g02、g03和g04进行求和而获得的值G0之比。
[等式4]
W3＝G3/GO
这里，“G3”可以指通过对第一***像素值至第四***像素值g31、g32、g33和g34进行求和而获得的值，即，第三***像素组PG3的4-总和值。
第三权重W3可以对应于通过将由对第一***像素值至第四***像素值g31、g32、g33和g34进行求和而获得的值G3除以由对第一参考像素值至第四参考像素值g01、g02、g03和g04进行求和而获得的值G0所获得的值。换句话说，第三权重W3可以指通过对第一***像素值至第四***像素值g31、g32、g33和g34进行求和而获得的值G3与通过对第一参考像素值至第四参考像素值g01、g02、g03和g04进行求和而获得的值G0之比。
[等式5]
W4＝G4/GO
这里，如上所述，“G4”可以指通过对第一目标像素值至第四目标像素值g41、g42、g43和g44进行求和而获得的值，即，目标像素组TG的4-总和值。
第四权重W4可以对应于通过将由对第一目标像素值至第四目标像素值g41、g42、g43和g44进行求和而获得的值G4除以由对第一参考像素值至第四参考像素值g01、g02、g03和g04进行求和而获得的值G0所获得的值。换句话说，第四权重W4可以指通过对第一目标像素值至第四目标像素值g41、g42、g43和g44进行求和而获得的值G4与通过对第一参考像素值至第四参考像素值g01、g02、g03和g04进行求和而获得的值G0之比。
第一总和单元223可以基于第一权重至第四权重W1、W2、W3和W4以及第一目标像素值至第四目标像素值g41、g42、g43和g44来产生第一目标总和值G4'。例如，第一目标总和值G4'可以基于下面的等式6来计算。
[等式6]
Figure BDA0002772459800000071
也就是说，第一目标总和值G4'可以通过将下面的值进行求和来计算：通过将第一目标像素值g41与第一权重W1相乘而获得的值(W1*g41)，通过将第二目标像素值g42与第二权重W2相乘而获得的值(W2*g42)，通过将第三目标像素值g43与第三权重W3相乘而获得的值(W3*g43)，以及通过将第四目标像素值g44与第四权重W4相乘而获得的值(W4*g44)。
第二总和单元225可以基于分析模块210的分析结果RES以及第一目标像素值至第四目标像素值g41、g42、g43和g44来产生第二目标总和值G4。例如，当内核UK的图像纹理是平坦区域时，第二总和单元225可以对第一目标像素值至第四目标像素值g41、g42、g43和g44执行求和处理，从而计算第二目标总和值G4。
在下文中，描述了根据本实施例的具有上述配置的图像感测设备的操作。
图6是示出图1所示的图像感测设备的操作的流程图。
参考图6，图像感测设备可以进入设置模式。例如，设置模式可以包括低光度模式或预览模式。当进入设置模式时，图像感测设备还可以进入4-总和模式，在4-总和模式中相同颜色的2×2像素的像素值被求和。
图像传感器100可以基于入射光来产生图像IMG。图像IMG可以包括在内核UK中包括的像素的像素值。内核UK可以包括目标像素组TG、参考像素组RG以及第一***像素组至第三***像素组PG1、PG2和PG3。
在步骤S10中，图像处理器200可以基于图像IMG来对内核UK的图像纹理进行分析。例如，在步骤S20中，图像处理器200可以分析内核UK是边缘区域还是平坦区域。
在步骤S30中，当图像纹理的分析结果指示内核UK是边缘区域时(即，在步骤S20中为“是”)，图像处理器200可以分析在内核UK中包括的相邻像素组RG、PG1、PG2，PG3和TG之间的关联关系。例如，基于目标像素组TG的第一目标像素值至第四目标像素值g41、g42、g43和g44、参考像素组RG的第一参考像素值至第四参考像素值g01、g02、g03和g04、第一***像素组PG1的第一***像素值至第四***像素值g11、g12、g13和g14、第二***像素组PG2的第一***像素值至第四***像素值g21、g22、g23和g24以及第三***像素组PG3的第一***像素值至第四***像素值g31、g32、g33和g34，图像处理器200可以计算与内核UK的纹理特征相对应的第一权重至第四权重W1、W2、W3和W4。第一权重W1可以指示参考像素组RG与第一***像素组PG1之间的关联关系，第二权重W2可以指示参考像素组RG与第二***像素组PG2之间的关联关系，第三权重W3可以指示参考像素组RG与第三***像素组PG3之间的关联关系，以及第四权重W4可以指示参考像素组RG与目标像素组TG之间的关联关系。
在步骤S40中，图像处理器200可以基于第一权重至第四权重W1、W2、W3和W4以及第一目标像素值至第四目标像素值g41、g42、g43和g44来产生目标像素组TG的第一目标总和值G4'。在本实施例中，图像处理器200可以基于参考像素组RG来产生第一权重至第四权重W1、W2、W3和W4，以及将第一权重至第四权重W1、W2、W3和W4应用到目标像素组TG。这基于在内核UK中包括的目标像素组TG中的内核UK的纹理特征保持相同(即，恒定)。
另一方面，在步骤S50中，当图像纹理的分析结果指示内核UK是平坦区域时(即，在步骤S20中为“否”)，图像处理器200可以基于第一目标像素值至第四目标像素值g41、g42、g43和g44来产生目标像素组TG的第二目标总和值G4。
在步骤S60中，根据内核UK的纹理特征，图像处理器200可以基于第一目标总和值G4'和第二目标总和值G4中的任意一个来产生总和图像4SUM_IMG。
图7A是示出根据现有技术的在4-总和模式下的总和图像的示图，而图7B是示出根据本公开的一个实施例的在4-总和模式下的总和图像的示图。
参考图7A，由于总和图像是根据4-总和模式基于对每个像素组的像素值简单地进行求和的结果的图像，而与内核UK的纹理特征无关，所以根据现有技术的总和图像的分辨率性能劣化。具体地，可以看出，根据现有技术的总和图像的边缘区域是模糊的。参考图7B，由于内核UK的纹理特征被应用到目标像素组，因此根据本实施例的总和图像的分辨率性能即使在4-总和模式下也不会恶化。具体地，可以看出，根据本实施例的总和图像的边缘区域具有改善的细节。
根据本公开的实施例，由于内核的纹理特征被应用到目标像素组，因此可以在4-总和模式下防止分辨率性能的损失。
根据本公开的实施例，可以在低光度模式或预览模式下防止分辨率性能(即，分辨能力)的损失，从而提高图像质量。
另外，由于在本公开的实施例中执行简化的操作，因此与诸如边缘定向插值的传统技术相比，本申请的图像感测设备易于以低功率执行高速操作。
虽然已经关于特定实施例示出和描述了本公开，但是提供所公开的实施例用于描述，而非意图是限制性的。此外，应注意，如本领域技术人员根据本公开将认识到的，可以通过落入所附权利要求的范围内的替换、改变和修改来以各种方式实现本公开。

Claims (18)

1.一种图像感测设备，包括：
分析模块，其适合于基于内核的像素值来对所述内核的图像纹理进行分析，所述内核包括目标像素组和一个或更多个相邻像素组；
总和模块，其适合于基于所述分析模块的分析结果来产生第一目标总和值和第二目标总和值中的任意一个，其中，所述第一目标总和值通过将所述内核的纹理特征应用在所述目标像素组的目标像素值中而被获得，而所述第二目标总和值在不将所述内核的所述纹理特征应用在所述目标像素值中的情况下而被获得；以及
处理模块，其适合于基于所述第一目标总和值和所述第二目标总和值中的任意一个来产生总和图像。
2.根据权利要求1所述的图像感测设备，其中，所述图像纹理包括指示所述内核是边缘区域还是平坦区域的信息。
3.根据权利要求1所述的图像感测设备，其中，所述分析模块包括：
第一计算单元，其适合于基于所述内核的所述像素值来产生指示所述内核的动态范围的特征值；以及
分析单元，其适合于基于所述特征值和参考值来分析所述内核的所述图像纹理。
4.根据权利要求3所述的图像感测设备，其中，所述第一计算单元通过从所述内核的所述像素值之中的最大值减去最小值来计算所述特征值。
5.根据权利要求3所述的图像感测设备，其中，所述分析单元将所述特征值与所述参考值进行比较，以及根据比较结果来分析所述内核的所述图像纹理是边缘区域还是平坦区域。
6.根据权利要求1所述的图像感测设备，其中，所述总和模块包括：
第二计算单元，其适合于当所述分析模块的所述分析结果指示所述内核的所述图像纹理是边缘区域时，基于所述目标像素组的所述目标像素值和所述相邻像素组的相邻像素值来产生与所述内核的所述纹理特征相对应的一个或更多个权重；
第一总和单元，其适合于基于所述权重和所述目标像素值来产生所述第一目标总和值；以及
第二总和单元，其适合于当所述分析模块的所述分析结果指示所述内核的所述图像纹理为平坦区域时，基于所述目标像素值来产生所述第二目标总和值。
7.根据权利要求1所述的图像感测设备，其中，所述总和模块基于所述内核的所述像素值来计算所述相邻像素组中的参考像素组的权重，所述权重作为所述内核的所述纹理特征。
8.根据权利要求1所述的图像感测设备，其中，所述目标像素组和所述相邻像素组中的每个包括多个像素，并且所述多个像素具有相同的颜色。
9.根据权利要求8所述的图像感测设备，其中，所述相同的颜色包括绿色。
10.一种图像感测设备，包括：
图像传感器，其包括具有四个一组的图案的像素阵列，并且适合于感测从所述像素阵列产生的像素值；以及
图像处理器，其适合于基于用于每个内核的所述像素值来计算与用于每个内核的纹理特征相对应的第一权重至第四权重，以及通过将所述第一权重至所述第四权重分别应用在用于每个内核的第一目标像素值至第四目标像素值中来产生用于每个内核的第一目标总和值。
11.根据权利要求10所述的图像感测设备，其中，所述图像处理器对用于每个内核的图像纹理进行分析，以及基于分析结果来产生用于每个内核的所述第一目标总和值，或者在不将所述第一权重至所述第四权重应用在所述第一目标像素值至所述第四目标像素值中的情况下产生用于每个内核的第二目标总和值。
12.根据权利要求11所述的图像感测设备，其中，所述图像纹理包括指示所述内核是边缘区域还是平坦区域的信息。
13.根据权利要求10所述的图像感测设备，
其中，在所述像素阵列之内的每个内核包括目标像素组、参考像素组以及第一***像素组至第三***像素组，
其中，所述目标像素组、所述参考像素组以及所述第一***像素组至第所述三***像素组中的每个包括第一像素至第四像素，以及
其中，所述第一像素至所述第四像素具有相同的颜色。
14.根据权利要求13所述的图像感测设备，其中，所述相同的颜色包括绿色。
15.一种图像感测设备的操作方法，包括：
进入设置模式；
基于内核的像素值来对所述内核的图像纹理进行分析，所述内核包括目标像素组、参考像素组以及第一***像素组至第三***像素组；
当所述图像纹理的分析结果指示所述内核是边缘区域时，基于所述目标像素组的目标像素值、所述参考像素组的参考像素值、所述第一***像素组的第一***像素值、第二***像素组的第二***像素值以及所述第三***像素组的第三***像素值来计算第一权重至第四权重；以及
基于所述第一权重至所述第四权重和所述目标像素值来产生所述目标像素组的第一目标总和值。
16.根据权利要求15所述的操作方法，其中，所述设置模式包括低光度模式或预览模式。
17.根据权利要求15所述的操作方法，还包括：
当所述图像纹理的所述分析结果指示所述内核为平坦区域时，基于所述目标像素值来产生所述目标像素组的第二目标总和值；以及
基于所述第一目标总和值和所述第二目标总和值中的任意一个来产生总和图像。
18.根据权利要求15所述的操作方法，其中，计算所述第一权重至所述第四权重的步骤包括：
基于通过对所述第一***像素值进行求和而得到的值与通过对所述参考像素值进行求和而得到的值之比来计算所述第一权重；
基于通过对所述第二***像素值进行求和而得到的值与通过对所述参考像素值进行求和而得到的值之比来计算第二权重；
基于通过对所述第三***像素值进行求和而得到的值与通过对所述参考像素值进行求和而得到的值之比来计算第三权重；以及
基于通过对所述目标像素值进行求和而得到的值与通过对所述参考像素值进行求和而得到的值之比来计算所述第四权重。
CN202011253810.XA 2020-03-04 2020-11-11 图像感测设备及其操作方法 Active CN113365000B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0027109 2020-03-04
KR1020200027109A KR20210112042A (ko) 2020-03-04 2020-03-04 이미지 센싱 장치 및 그의 동작 방법

Publications (2)

Publication Number Publication Date
CN113365000A true CN113365000A (zh) 2021-09-07
CN113365000B CN113365000B (zh) 2024-06-04

Family

ID=77524402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011253810.XA Active CN113365000B (zh) 2020-03-04 2020-11-11 图像感测设备及其操作方法

Country Status (4)

Country Link
US (1) US11544862B2 (zh)
JP (1) JP2021141570A (zh)
KR (1) KR20210112042A (zh)
CN (1) CN113365000B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230030153A (ko) 2021-08-25 2023-03-06 주식회사 엘지에너지솔루션 다공성 고체 화합물, 이의 제조방법, 상기 다공성 고체 화합물을 포함하는 리튬 이차전지용 양극 및 리튬 이차전지

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079949A (zh) * 2006-02-07 2007-11-28 索尼株式会社 图像处理设备和方法、记录介质以及程序
JP2008028447A (ja) * 2006-07-18 2008-02-07 Winbond Electron Corp 画像信号のノイズ削減方法及び装置
CN101388977A (zh) * 2007-09-13 2009-03-18 株式会社东芝 图像处理设备和图像处理方法
CN101710415A (zh) * 2009-11-30 2010-05-19 北京中星微电子有限公司 图像增强系数的调节方法和装置以及图像增强方法和装置
CN102037489A (zh) * 2008-05-21 2011-04-27 皇家飞利浦电子股份有限公司 图像分辨率增强
CN102045567A (zh) * 2009-10-13 2011-05-04 索尼公司 用于减少压缩图像和视频信号中的成块假象的方法和***
CN102273208A (zh) * 2009-10-20 2011-12-07 索尼公司 图像处理设备、图像处理方法以及程序
CN102682426A (zh) * 2011-03-11 2012-09-19 索尼公司 图像处理设备、图像处理方法及程序
CN102811353A (zh) * 2012-06-14 2012-12-05 北京暴风科技股份有限公司 提升视频图像清晰度的方法及***
CN102907103A (zh) * 2010-06-02 2013-01-30 索尼公司 图像处理设备、图像处理方法和程序
CN102939753A (zh) * 2010-04-05 2013-02-20 三星电子株式会社 用于通过根据像素组补偿像素值来对视频进行编码的方法和设备以及用于通过根据像素组补偿像素值来对视频进行解码的方法和设备
CN104541507A (zh) * 2012-07-11 2015-04-22 Lg电子株式会社 处理视频信号的方法和装置
CN105096281A (zh) * 2014-05-14 2015-11-25 佳能株式会社 图像处理装置及图像处理方法
US20160086317A1 (en) * 2014-09-23 2016-03-24 Intel Corporation Non-local means image denoising with detail preservation using self-similarity driven blending
US20160334729A1 (en) * 2015-05-12 2016-11-17 Hiroyuki Suhara Image forming method and image forming apparatus
CN106488203A (zh) * 2016-11-29 2017-03-08 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
CN107993189A (zh) * 2016-10-27 2018-05-04 福州瑞芯微电子股份有限公司 一种基于局部分块的图像色调动态调节方法和装置
US20180150937A1 (en) * 2016-11-29 2018-05-31 Guangdong OPPO Mobile Telecommunications Corp. Ltd Image processing method and apparatus, and electronic device
CN109903224A (zh) * 2019-01-25 2019-06-18 珠海市杰理科技股份有限公司 图像缩放方法、装置、计算机设备和存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100818447B1 (ko) 2006-09-22 2008-04-01 삼성전기주식회사 컬러 필터를 사용하여 검출된 영상의 컬러 보간 방법
JP5044673B2 (ja) * 2010-03-25 2012-10-10 株式会社東芝 固体撮像装置および画像記録装置
KR101204556B1 (ko) * 2011-01-21 2012-11-23 삼성전기주식회사 노이즈 제거 방법 및 이를 이용한 나이트 비젼 시스템
JP6625165B2 (ja) * 2013-02-14 2019-12-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN106791477B (zh) * 2016-11-29 2019-07-19 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、成像装置及制造方法
CN106412407B (zh) * 2016-11-29 2019-06-07 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106713790B (zh) * 2016-11-29 2019-05-10 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106507019B (zh) * 2016-11-29 2019-05-10 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置
GB2570528B (en) * 2018-06-25 2020-06-10 Imagination Tech Ltd Bilateral filter with data model
KR20210156493A (ko) * 2020-06-18 2021-12-27 에스케이하이닉스 주식회사 이미지 센싱 장치
KR20210156553A (ko) * 2020-06-18 2021-12-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
CN112529773B (zh) * 2020-12-17 2024-02-02 豪威科技(武汉)有限公司 Qpd图像后处理方法及qpd相机
CN113989309A (zh) * 2021-10-12 2022-01-28 豪威科技(武汉)有限公司 边缘检测方法及可读存储介质
US20220108424A1 (en) * 2021-12-17 2022-04-07 SenseBrain Technology Limited LLC Method and device for image processing, and storage medium

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079949A (zh) * 2006-02-07 2007-11-28 索尼株式会社 图像处理设备和方法、记录介质以及程序
JP2008028447A (ja) * 2006-07-18 2008-02-07 Winbond Electron Corp 画像信号のノイズ削減方法及び装置
CN101388977A (zh) * 2007-09-13 2009-03-18 株式会社东芝 图像处理设备和图像处理方法
CN102037489A (zh) * 2008-05-21 2011-04-27 皇家飞利浦电子股份有限公司 图像分辨率增强
CN102045567A (zh) * 2009-10-13 2011-05-04 索尼公司 用于减少压缩图像和视频信号中的成块假象的方法和***
CN102273208A (zh) * 2009-10-20 2011-12-07 索尼公司 图像处理设备、图像处理方法以及程序
US20120257821A1 (en) * 2009-10-20 2012-10-11 Yasushi Saito Image processing apparatus and image processing method, and program
CN101710415A (zh) * 2009-11-30 2010-05-19 北京中星微电子有限公司 图像增强系数的调节方法和装置以及图像增强方法和装置
CN102939753A (zh) * 2010-04-05 2013-02-20 三星电子株式会社 用于通过根据像素组补偿像素值来对视频进行编码的方法和设备以及用于通过根据像素组补偿像素值来对视频进行解码的方法和设备
CN102907103A (zh) * 2010-06-02 2013-01-30 索尼公司 图像处理设备、图像处理方法和程序
CN102682426A (zh) * 2011-03-11 2012-09-19 索尼公司 图像处理设备、图像处理方法及程序
CN102811353A (zh) * 2012-06-14 2012-12-05 北京暴风科技股份有限公司 提升视频图像清晰度的方法及***
CN104541507A (zh) * 2012-07-11 2015-04-22 Lg电子株式会社 处理视频信号的方法和装置
CN105096281A (zh) * 2014-05-14 2015-11-25 佳能株式会社 图像处理装置及图像处理方法
US20160086317A1 (en) * 2014-09-23 2016-03-24 Intel Corporation Non-local means image denoising with detail preservation using self-similarity driven blending
US20160334729A1 (en) * 2015-05-12 2016-11-17 Hiroyuki Suhara Image forming method and image forming apparatus
CN107993189A (zh) * 2016-10-27 2018-05-04 福州瑞芯微电子股份有限公司 一种基于局部分块的图像色调动态调节方法和装置
CN106488203A (zh) * 2016-11-29 2017-03-08 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
US20180150937A1 (en) * 2016-11-29 2018-05-31 Guangdong OPPO Mobile Telecommunications Corp. Ltd Image processing method and apparatus, and electronic device
CN109903224A (zh) * 2019-01-25 2019-06-18 珠海市杰理科技股份有限公司 图像缩放方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
JP2021141570A (ja) 2021-09-16
US20210279899A1 (en) 2021-09-09
CN113365000B (zh) 2024-06-04
US11544862B2 (en) 2023-01-03
KR20210112042A (ko) 2021-09-14

Similar Documents

Publication Publication Date Title
US8199216B2 (en) Apparatus and method for improving image quality of image sensor
US8743208B2 (en) Method and apparatus for image noise reduction using noise models
KR101442313B1 (ko) 카메라 센서 교정
US8571346B2 (en) Methods and devices for defective pixel detection
KR100696162B1 (ko) 이미지의 노이즈 감소 장치 및 노이즈 감소 방법, 이를수행하는 프로그램이 기록된 기록 매체
US8135237B2 (en) Apparatuses and methods for noise reduction
EP1359745B1 (en) Screen correcting method and imaging device
JP2009520403A (ja) 画像ノイズ低減のための方法および装置
KR101114586B1 (ko) 불량 화소 제거 장치 및 방법
US7916207B2 (en) Apparatus and method for generating focus data in an image sensor
JP4863505B2 (ja) 画像処理装置
CN113365000B (zh) 图像感测设备及其操作方法
TWI437872B (zh) 影像處理系統
JP5398667B2 (ja) 画像処理装置
US20060017824A1 (en) Image processing device, image processing method, electronic camera, and scanner
JP2009194775A (ja) 画像撮像素子のずらし量算出方法及び装置、画像撮像素子、画像撮像素子内蔵装置
CN1617597B (zh) 使用处理过的yuv数据之透镜校正
CN113824907B (zh) 图像感测装置及其操作方法
US6943335B2 (en) Signal processing apparatus having a specific limb darkening correction
JP4255819B2 (ja) 信号処理方法および画像取得装置
JP3660504B2 (ja) カラー固体撮像装置
WO2011102281A1 (ja) 画像信号処理回路、撮像装置、画像信号処理方法、およびプログラム
CN114615448A (zh) 图像感测装置
CN116916174A (zh) 图像处理器及包括图像处理器的图像处理***
CN114697581A (zh) 图像感测***及其操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant