CN111669483B - 图像传感器、成像装置、电子设备、图像处理***及信号处理方法 - Google Patents

图像传感器、成像装置、电子设备、图像处理***及信号处理方法 Download PDF

Info

Publication number
CN111669483B
CN111669483B CN202010043131.3A CN202010043131A CN111669483B CN 111669483 B CN111669483 B CN 111669483B CN 202010043131 A CN202010043131 A CN 202010043131A CN 111669483 B CN111669483 B CN 111669483B
Authority
CN
China
Prior art keywords
pixel
color
signal
image signal
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010043131.3A
Other languages
English (en)
Other versions
CN111669483A (zh
Inventor
沼田肇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN111669483A publication Critical patent/CN111669483A/zh
Application granted granted Critical
Publication of CN111669483B publication Critical patent/CN111669483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请公开了一种图像传感器、成像装置、电子设备、图像处理***及信号处理方法。图像传感器中的第一滤光片组包括数量相同的多个第一颜色滤光片和多个第二颜色滤光片，第二滤光片组包括数量相同的多个第一颜色滤光片和多个第三颜色滤光片。图像传感器用于：将每个第一颜色滤光片对应的像素产生的电信号生成为第一像素信号，将第一滤光片组中的第二颜色滤光片对应的像素产生的电信号合并生成第二像素信号，将第二滤光片组中的第三颜色滤光片对应的像素产生的电信号合并生成第三像素信号，处理第一像素信号、第二像素信号及第三像素信号以生成中间图像信号。中间图像信号中，每个图像信号单元中的四个像素信号对应的颜色通道呈拜耳阵列排布。

Description

图像传感器、成像装置、电子设备、图像处理***及信号处理 方法
优先权信息
本申请请求2019年3月7日向中国国家知识产权局提交的专利申请号为PCT/CN2019/077338的专利申请的优先权和权益，并且通过参照将其全文并入此处。
技术领域
本申请涉及影像技术领域，特别涉及一种图像传感器、成像装置、电子设备、图像处理***及信号处理方法。
背景技术
手机等电子设备中可以设置有摄像头以实现拍照功能。摄像头内可以设置用于接收光线的图像传感器。图像传感器中可以设置有滤光片阵列。其中，滤光片阵列可以呈拜耳阵列的形式排布，也可以呈非拜耳阵列的形式排布。但当滤光片阵列呈非拜耳阵列排布时，图像传感器输出的图像信号不能直接被处理器处理。
发明内容
本申请实施方式提供了一种图像传感器、成像装置、电子设备、图像处理***及信号处理方法。
本申请实施方式的图像传感器包括滤光片阵列及像素阵列。所述滤光片阵列包括多个第一滤光片组和多个第二滤光片组，所述第一滤光片组包括数量相同的多个第一颜色滤光片和多个第二颜色滤光片。所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个第三颜色滤光片。所述像素阵列包括多个像素。每个所述像素对应所述滤光片阵列的一个滤光片。所述像素用于接收穿过对应的所述滤光片的光线以生成电信号。所述图像传感器用于：将每个所述第一颜色滤光片对应的像素产生的电信号生成为第一像素信号，所述第一像素信号用于表征作用于所述第一颜色滤光片对应像素的光线的第一颜色通道的值；将所述第一滤光片组中的所述第二颜色滤光片对应的像素产生的电信号合并生成第二像素信号，所述第二像素信号用于表征作用于所述第二颜色滤光片对应像素的光线的第一颜色通道的值；将所述第二滤光片组中的所述第三颜色滤光片对应的像素产生的电信号合并生成第三像素信号，所述第三像素信号用于表征作用于所述第三颜色滤光片对应像素的光线的第三颜色通道的值；处理所述第一像素信号、所述第二像素信号、及所述第三像素信号以生成中间图像信号，所述中间图像信号包括多个图像信号单元，每个所述图像信号单元均包括四个像素信号，两个所述像素信号具有第一颜色通道的值，一个所述像素信号具有第二颜色通道的值，一个所述像素信号具有第三颜色通道的值，四个所述像素信号对应的颜色通道呈拜耳阵列排布。
本申请实施方式的成像装置包括图像传感器。所述图像传感器包括滤光片阵列及像素阵列。所述滤光片阵列包括多个第一滤光片组和多个第二滤光片组，所述第一滤光片组包括数量相同的多个第一颜色滤光片和多个第二颜色滤光片。所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个第三颜色滤光片。所述像素阵列包括多个像素。每个所述像素对应所述滤光片阵列的一个滤光片。所述像素用于接收穿过对应的所述滤光片的光线以生成电信号。所述图像传感器用于：将每个所述第一颜色滤光片对应的像素产生的电信号生成为第一像素信号，所述第一像素信号用于表征作用于所述第一颜色滤光片对应像素的光线的第一颜色通道的值；将所述第一滤光片组中的所述第二颜色滤光片对应的像素产生的电信号合并生成第二像素信号，所述第二像素信号用于表征作用于所述第二颜色滤光片对应像素的光线的第一颜色通道的值；将所述第二滤光片组中的所述第三颜色滤光片对应的像素产生的电信号合并生成第三像素信号，所述第三像素信号用于表征作用于所述第三颜色滤光片对应像素的光线的第三颜色通道的值；处理所述第一像素信号、所述第二像素信号、及所述第三像素信号以生成中间图像信号，所述中间图像信号包括多个图像信号单元，每个所述图像信号单元均包括四个像素信号，两个所述像素信号具有第一颜色通道的值，一个所述像素信号具有第二颜色通道的值，一个所述像素信号具有第三颜色通道的值，四个所述像素信号对应的颜色通道呈拜耳阵列排布。
本申请实施方式的电子设备包括成像装置。所述成像装置包括图像传感器。所述图像传感器包括滤光片阵列及像素阵列。所述滤光片阵列包括多个第一滤光片组和多个第二滤光片组，所述第一滤光片组包括数量相同的多个第一颜色滤光片和多个第二颜色滤光片。所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个第三颜色滤光片。所述像素阵列包括多个像素。每个所述像素对应所述滤光片阵列的一个滤光片。所述像素用于接收穿过对应的所述滤光片的光线以生成电信号。所述图像传感器用于：将每个所述第一颜色滤光片对应的像素产生的电信号生成为第一像素信号，所述第一像素信号用于表征作用于所述第一颜色滤光片对应像素的光线的第一颜色通道的值；将所述第一滤光片组中的所述第二颜色滤光片对应的像素产生的电信号合并生成第二像素信号，所述第二像素信号用于表征作用于所述第二颜色滤光片对应像素的光线的第一颜色通道的值；将所述第二滤光片组中的所述第三颜色滤光片对应的像素产生的电信号合并生成第三像素信号，所述第三像素信号用于表征作用于所述第三颜色滤光片对应像素的光线的第三颜色通道的值；处理所述第一像素信号、所述第二像素信号、及所述第三像素信号以生成中间图像信号，所述中间图像信号包括多个图像信号单元，每个所述图像信号单元均包括四个像素信号，两个所述像素信号具有第一颜色通道的值，一个所述像素信号具有第二颜色通道的值，一个所述像素信号具有第三颜色通道的值，四个所述像素信号对应的颜色通道呈拜耳阵列排布。
本申请实施方式的图像处理***包括电子设备。所述电子设备包括成像装置。所述成像装置包括图像传感器。所述图像传感器包括滤光片阵列及像素阵列。所述滤光片阵列包括多个第一滤光片组和多个第二滤光片组，所述第一滤光片组包括数量相同的多个第一颜色滤光片和多个第二颜色滤光片。所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个第三颜色滤光片。所述像素阵列包括多个像素。每个所述像素对应所述滤光片阵列的一个滤光片。所述像素用于接收穿过对应的所述滤光片的光线以生成电信号。所述图像传感器用于：将每个所述第一颜色滤光片对应的像素产生的电信号生成为第一像素信号，所述第一像素信号用于表征作用于所述第一颜色滤光片对应像素的光线的第一颜色通道的值；将所述第一滤光片组中的所述第二颜色滤光片对应的像素产生的电信号合并生成第二像素信号，所述第二像素信号用于表征作用于所述第二颜色滤光片对应像素的光线的第一颜色通道的值；将所述第二滤光片组中的所述第三颜色滤光片对应的像素产生的电信号合并生成第三像素信号，所述第三像素信号用于表征作用于所述第三颜色滤光片对应像素的光线的第三颜色通道的值；处理所述第一像素信号、所述第二像素信号、及所述第三像素信号以生成中间图像信号，所述中间图像信号包括多个图像信号单元，每个所述图像信号单元均包括四个像素信号，两个所述像素信号具有第一颜色通道的值，一个所述像素信号具有第二颜色通道的值，一个所述像素信号具有第三颜色通道的值，四个所述像素信号对应的颜色通道呈拜耳阵列排布。
本申请实施方式的信号处理方法用于图像传感器。所述图像传感器包括滤光片阵列和像素阵列。所述滤光片阵列包括多个第一滤光片组和多个第二滤光片组。所述第一滤光片组包括数量相同的多个第一颜色滤光片和多个第二颜色滤光片。所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个第三颜色滤光片。所述像素阵列包括多个像素。每个所述像素对应所述滤光片阵列的一个滤光片。所述像素用于接收穿过对应的所述滤光片的光线以生成电信号。所述信号处理方法包括：将每个所述第一颜色滤光片对应的像素产生的电信号生成为第一像素信号，所述第一像素信号用于表征作用于所述第一颜色滤光片对应像素的光线的第一颜色通道的值；将所述第一滤光片组中的所述第二颜色滤光片对应的像素产生的电信号合并生成第二像素信号，所述第二像素信号用于表征作用于所述第二颜色滤光片对应像素的光线的第一颜色通道的值；将所述第二滤光片组中的所述第三颜色滤光片对应的像素产生的电信号合并生成第三像素信号，所述第三像素信号用于表征作用于所述第三颜色滤光片对应像素的光线的第三颜色通道的值；处理所述第一像素信号、所述第二像素信号、及所述第三像素信号以生成中间图像信号，所述中间图像信号包括多个图像信号单元，每个所述图像信号单元均包括四个像素信号，两个所述像素信号具有第一颜色通道的值，一个所述像素信号具有第二颜色通道的值，一个所述像素信号具有第三颜色通道的值，四个所述像素信号对应的颜色通道呈拜耳阵列排布。
本申请实施方式的图像传感器、成像装置、电子设备、图像处理***及信号处理方法可以直接对颜色通道呈非拜耳阵列排布的图像信号进行处理以输出颜色通道呈拜耳阵列排布的中间图像信号至处理器，该中间图像可以直接被处理器处理，而无需在处理器中通过软件来进行非拜耳阵列排布到拜耳阵列排布的转换，可以减少图像处理所需的时间，提升图像的处理速度。
本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的图像传感器的部分结构示意图；
图2至图4是本申请某些实施方式的图像传感器中部分滤光片的排布示意图；
图5至图10是本申请某些实施方式的图像传感器的工作原理示意图；
图11是本申请某些实施方式的成像装置的示意图；
图12和图13是本申请某些实施方式的成像装置的工作原理示意图；
图14是本申请某些实施方式的电子设备的示意图；
图15是本申请某些实施方式的图像处理***的示意图；
图16是本申请某些实施方式的信号处理方法的流程示意图；
图17是本申请某些实施方式的计算机设备中的图像处理电路的示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
请参阅图1、图2、图6及图9，本申请提供一种图像传感器10。图像传感器10包括滤光片阵列11 及像素阵列12。滤光片阵列11包括多个第一滤光片组111和多个第二滤光片组112。第一滤光片组111 包括数量相同的多个第一颜色滤光片A和多个第二颜色滤光片B。第二滤光片组112包括数量相同的多个第一颜色滤光片A和多个第三颜色滤光片C。像素阵列12包括多个像素120。每个像素120对应滤光片阵列11的一个滤光片110。像素120用于接收穿过对应的滤光片110的光线以生成电信号。图像传感器用10于：将每个第一颜色滤光片A对应的像素120产生的电信号生成为第一像素信号；将第一滤光片组111中的第二颜色滤光片B对应的像素120产生的电信号合并生成第二像素信号；将第二滤光片组112 中的第三颜色滤光片C对应的像素120产生的电信号合并生成第三像素信号；处理第一像素信号、第二像素信号、及第三像素信号以生成中间图像信号。其中，第一像素信号用于表征作用于第一颜色滤光片A 对应像素120的光线的第一颜色通道的值，第二像素信号用于表征作用于第二颜色滤光片B对应像素120 的光线的第二颜色通道的值，第三像素信号用于表征作用于第三颜色滤光片C对应像素120的光线的第三颜色通道的值。中间图像信号包括多个图像信号单元U，每个图像信号单元U均包括四个像素信号，两个像素信号具有第一颜色通道的值，一个像素信号具有第二颜色通道的值，一个像素信号具有第三颜色通道的值，四个像素信号对应的颜色通道呈拜耳阵列排布。
下面结合附图对本申请的图像传感器10作进一步说明。
请参阅图1，本申请实施方式的图像传感器10包括微透镜阵列13、滤光片阵列11、及像素阵列12。沿图像传感器10的收光方向，微透镜阵列13、滤光片阵列11、及像素阵列12依次设置。
滤光片阵列11包括多个第一滤光片组111和多个第二滤光片组112。第一滤光片组111包括数量相同的多个第一颜色滤光片A和多个第二颜色滤光片B。第二滤光片组112包括数量相同的多个第一颜色滤光片A和多个第三颜色滤光片C。
像素阵列12包括多个像素120，每个像素120对应滤光片阵列11的一个滤光片110，像素120用于接收穿过对应的滤光片110的光线以生成电信号。
微透镜阵列13包括多个微透镜130，每个微透镜130对应一个滤光片110及一个像素120。
图2至图4是本申请多个实施例的滤光片阵列11中部分滤光片110的排布示意图。图2至图4所示的滤光片阵列11中，每个滤光片阵列11均包括多个第一滤光片组111和多个第二滤光片组112。每个第一滤光片组111包括数量相同的多个第一颜色滤光片A和多个第二颜色滤光片B。每个第二滤光片组112 包括数量相同的多个第一颜色滤光片A和多个第三颜色滤光片C。
其中，第一颜色滤光片A、第二颜色滤光片B、第三颜色滤光片C的颜色组成方式可以有多种，例如第一颜色滤光片A可以为绿色滤光片G，第二颜色滤光片B可以为红色滤光片R，第三颜色滤光片C 可以为蓝色滤光片Bu；再例如，第一颜色滤光片A可以为黄色滤光片Y，第二颜色滤光片B可以为红色滤光片R，第三颜色滤光片C可以为蓝色滤光片Bu。第一颜色滤光片A、第二颜色滤光片B、第三颜色滤光片C的颜色组成方式不限于上述两个示例所示的组成方式。
其中，第一滤光片组111与第二滤光片组112可以在图像传感器10的垂直方向和水平方向相邻布置。
其中，第一滤光片组111中的滤光片110的数量均为N*N，第二滤光片组112中的滤光片110的数量均为N*N，其中，N为大于或等于2的整数。示例地，N的取值可以为2、3、4、5、6、7、8、9、10、 15、20等等，在此不作限制。
其中，请参阅图1和图2，每个第一滤光片组111中的多个滤光片110的排布方式可以是：多个第一颜色滤光片A及多个第二颜色滤光片B在图像传感器10的垂直方向和水平方向相邻布置。每个第二滤光片组112中的多个滤光片110的排布方式可以是：多个第一颜色滤光片A及多个第三颜色滤光片C在图像传感器10的垂直方向和水平方向相邻布置。当然，每个第一滤光片组111中多个滤光片110的排布方式并不限于此，每个第二滤光片组112中多个滤光片110的排布方式也不限于此。
图2是本申请一个实施例的滤光片阵列11中部分滤光片110的排布示意图。图2所示的这一部分滤光片110在水平方向H和垂直方向V多次复制排列可获得完整的滤光片阵列11。请参阅图2，部分滤光片110的排布方式为：
Figure BDA0002368450500000051
其中，A为第一颜色滤光片，B为第二颜色滤光片，C为第三颜色滤光片。每个第一滤光片组111中的滤光片110的数量均为2*2，每个第二滤光片组112中的滤光片110的数量均为2*2。
如图2所示，第一滤光片组111与第二滤光片组112在图像传感器10(图1所示)的垂直方向V上相邻布置，且在水平方向H上也相邻布置。也即，多个滤光片组113在垂直方向V上按照第一滤光片组 111、第二滤光片组112的顺序或第二滤光片组112、第一滤光片组111的顺序呈周期性排列，多个滤光片组113在水平方向H上按照第一滤光片组111、第二滤光片组112的顺序或第二滤光片组112、第一滤光片组111的顺序呈周期性排列。换言之，第一滤光片组111和第二滤光片组112在垂直方向V和水平方向H上均交替排列。
如图2所示，在第一滤光片组111中，多个第一颜色滤光片A及多个第二颜色滤光片B在垂直方向 V和水平方向H上相邻布置。也即，在垂直方向V上，第一颜色滤光片A和第二颜色滤光片B交替排列，且在水平方向H上，第一颜色滤光片A和第二颜色滤光片B交替排列。在第二滤光片组112中，多个第一颜色滤光片A及多个第三颜色滤光片C在垂直方向V和水平方向H上相邻布置。也即，在垂直方向V 上，第一颜色滤光片A和第三颜色滤光片C交替排列，且在水平方向H上，第一颜色滤光片A和第三颜色滤光片C交替排列。
图3是本申请一个实施例的滤光片阵列11中部分滤光片110的排布示意图。图3所示的这一部分滤光片110在水平方向H和垂直方向V多次复制排列可获得完整的滤光片阵列11。请参阅图3，部分滤光片110的排布方式为：
Figure BDA0002368450500000052
其中，A为第一颜色滤光片，B为第二颜色滤光片，C为第三颜色滤光片。每个第一滤光片组111中的滤光片110的数量均为3*3，每个第二滤光片组112中的滤光片110的数量均为3*3。
如图3所示，第一滤光片组111与第二滤光片组112在图像传感器10(图1所示)的垂直方向V上相邻布置，且在水平方向H上也相邻布置。也即，多个滤光片组113在垂直方向V上按照第一滤光片组 111、第二滤光片组112的顺序或第二滤光片组112、第一滤光片组111的顺序呈周期性排列，多个滤光片组113在水平方向H上按照第一滤光片组111、第二滤光片组112的顺序或第二滤光片组112、第一滤光片组111的顺序呈周期性排列。换言之，第一滤光片组111和第二滤光片组112在垂直方向V和水平方向H上均交替排列。
如图3所示，在第一滤光片组111中，多个第一颜色滤光片A及多个第二颜色滤光片B在垂直方向 V和水平方向H上相邻布置。也即，在垂直方向V上，第一颜色滤光片A和第二颜色滤光片B交替排列，且在水平方向H上，第一颜色滤光片A和第二颜色滤光片B交替排列。在第二滤光片组112中，多个第一颜色滤光片A及多个第三颜色滤光片C在垂直方向V和水平方向H上相邻布置。也即，在垂直方向V 上，第一颜色滤光片A和第三颜色滤光片C交替排列，且在水平方向H上，第一颜色滤光片A和第三颜色滤光片C交替排列。
图4是本申请一个实施例的滤光片阵列11中部分滤光片110的排布示意图。图4所示的这一部分滤光片110在水平方向H和垂直方向V多次复制排列可获得完整的滤光片阵列11。请参阅图4，部分滤光片110的排布方式为：
Figure BDA0002368450500000061
其中，A为第一颜色滤光片，B为第二颜色滤光片，C为第三颜色滤光片。每个第一滤光片组111中的滤光片110的数量均为5*5，每个第二滤光片组112中的滤光片110的数量均为5*5。
如图4所示，第一滤光片组111与第二滤光片组112在图像传感器10(图1所示)的垂直方向V上相邻布置，且在水平方向H上也相邻布置。也即，多个滤光片组113在垂直方向V上按照第一滤光片组 111、第二滤光片组112的顺序或第二滤光片组112、第一滤光片组111的顺序呈周期性排列，多个滤光片组113在水平方向H上按照第一滤光片组111、第二滤光片组112的顺序或第二滤光片组112、第一滤光片组111的顺序呈周期性排列。换言之，第一滤光片组111和第二滤光片组112在垂直方向V和水平方向H上均交替排列。
如图4所示，在第一滤光片组111中，多个第一颜色滤光片A及多个第二颜色滤光片B在垂直方向 V和水平方向H上相邻布置。也即，在垂直方向V上，第一颜色滤光片A和第二颜色滤光片B交替排列，且在水平方向H上，第一颜色滤光片A和第二颜色滤光片B交替排列。在第二滤光片组112中，多个第一颜色滤光片A及多个第三颜色滤光片C在垂直方向V和水平方向H上相邻布置。也即，在垂直方向V 上，第一颜色滤光片A和第三颜色滤光片C交替排列，且在水平方向H上，第一颜色滤光片A和第三颜色滤光片C交替排列。
请参阅图1至图4，本申请实施方式的图像传感器10中，每一个滤光片组110中第一颜色滤光片A 对应的像素120均可以单独输出第一像素信号。每一个第一滤光片组111中多个第二颜色滤光片B对应的多个像素120产生的电信号均可以合并生成第二像素信号。每一个第二滤光片组112中多个第三颜色滤光片C对应的多个像素120产生的电信号均可以合并生成第三像素信号。
以图2所示的每个滤光片组113均包括2*2个滤光片110为例。此时，每个滤光片组113对应四个像素120。请结合图1、图2和图5，第一滤光片组111对应的四个像素120中，两个像素120能够接收穿过第一颜色滤光片A的光线以生成两个电信号，另外两个像素120能够接收穿过第二颜色滤光片B的光线以生成两个电信号。图像传感器10将接收穿过第一颜色滤光片A的光线的两个像素120生成的电信号直接作为两个第一像素信号，并将接收穿过第二颜色滤光片B的光线的两个像素120生成的电信号合并以得到一个第二像素信号。其中，第一像素信号用于表征作用于一个第一颜色滤光片A对应像素120 的光线的第一颜色通道的值，第二像素信号用于表征作用于多个(图5所示实施例为两个)第二颜色滤光片B对应像素120的光线的第二颜色通道的值。第二滤光片组112对应的四个像素120中，两个像素 120能够接收穿过第一颜色滤光片A的光线以生成两个电信号，另外两个像素120能够接收穿过第三颜色滤光片C的光线以生成两个电信号。图像传感器10将接收穿过第一颜色滤光片A的光线的两个像素120生成的电信号直接作为两个第一像素信号，并将接收穿过第三颜色滤光片C的光线的两个像素120 生成的电信号合并以得到一个第三像素信号。其中，第三像素信号用于表征作用于多个(图5所示实施例为两个)第三颜色滤光片C对应像素120的光线的第二颜色通道的值。
图像传感器10获取的多个具有第一颜色通道的值的像素信号可以形成第一原始图像信号，多个具有第二颜色通道的值的像素信号可以形成第二原始图像信号，多个具有第三颜色通道的值的像素信号可以形成第三原始图像信号。图像传感器10可以对第一原始图像信号、第二原始图像信号、及第三原始图像信号进行处理以输出中间图像信号。
在一个例子中，当每个滤光片组113均包括N*N个滤光片110，且N为2时，多个具有第一颜色通道的值的第一像素信号形成第一原始图像信号，多个具有第二颜色通道的值的第二像素信号形成第二原始图像信号，多个具有第三颜色通道的值的第三像素信号形成第三原始图像信号。图像传感器10根据多个具有第二颜色通道的值的第二像素信号对第二原始图像做插值处理，以使插值处理后的第二原始图像信号中的每一个像素信号均具有第二颜色通道的值。图像传感器10根据多个具有第三颜色通道的值的第三像素信号对第三原始图像信号做插值处理，以使插值处理后的第三原始图像信号中的每一个像素信号均具有第三颜色通道的值。图像传感器10处理第一原始图像信号、插值处理后的第二原始图像信号、及插值处理后的第三原始图像信号以生成中间图像信号。
具体地，请结合图5和图6，多个第一像素信号形成第一原始图像信号M1，多个第二像素信号形成第二原始图像信号M2，多个第三像素信号形成第三原始图像信号M3。图像传感器10(图1所示)需要对第二原始图像信号M2进行插值处理，以使得插值处理后的第二原始图像信号M2’中的每一个像素信号均具有第二颜色通道的值。图像传感器10还需要对第三原始图像信号M3进行插值处理，以使得插值处理后的第三原始图像信号M3’中的每一个像素信号均具有第三颜色通道的值。第三原始图像信号M3 的插值过程与第二原始图像信号M2的插值过程一致，本申请实施方式以第二原始图像M2的插值过程为例进行说明。如图7所示，第二原始图像信号M2中，不具有第二颜色通道的值的像素信号包括三类：(1) 不具有第二颜色通道的像素信号具有两个与其相邻的具有第二颜色通道的值的像素信号(即第二像素信号)；(2)不具有第二颜色通道的像素信号具有三个与其相邻的具有第二颜色通道的值的像素信号；(3) 不具有第二颜色通道的像素信号具有四个与其相邻的具有第二颜色通道的值的像素信号。需要说明的是，多个像素信号相邻指的是多个像素信号对应的像素120(图1所示)相邻。那么，示例地，对于第一类不具有第二颜色通道的值的像素信号，图像传感器10可以将与其相邻的两个第二像素信号的平均值作为该像素信号的第二颜色通道的值。对于第二类不具有第二颜色通道的值的像素信号，图像传感器10可以将与其相邻的三个第二像素信号的平均值作为该像素信号的第二颜色通道的值。对于第三类不具有第二颜色通道的值的像素信号，图像传感器10可以将与其相邻的四个第二像素信号的平均值作为该像素信号的第二颜色通道的值。如此，每个不具有第二颜色通道的值的像素信号的第二颜色通道的值均可以***值计算得到，插值处理后的第二原始图像信号M2’中每一个像素信号均可以具有第二颜色通道的值。在其他实施例中，如图8所示，图像传感器10可以将第二原始图像信号M2中位于边缘的两行像素信号及两列像素信号归并为边距区域的像素信号，边距区域以外的像素信号归并为目标区域的像素信号(图8中虚线框指示的区域)，图像传感器10只对目标区域中的不具有第二颜色通道的值的像素信号进行插值处理，此时，目标区域中的不具有第二颜色通道的值的像素信号均属于第二类的不具有第二颜色通道的值的像素信号，对于目标区域中的每个不具有第二颜色通道的值的像素信号，图像传感器可以将与其相邻的四个第二像素信号的平均值作为该像素信号的第二颜色通道的值。如此，插值处理后的第二原始图像信号M2’中每一个像素信号均可以具有第二颜色通道的值。虽然图8所示的插值处理后的第二原始图像信号M2’的分辨率相对于图7所示的插值处理后的第二原始图像信号M2’的分辨率有所降低，但由于图8 所示的插值处理后的第二原始图像信号M2’中经过插值得到的像素信号均是根据四个与其相邻的像素信号计算得到的，插值的结果更为准确。
在得到第一原始图像信号M1、插值处理后的第二原始图像M2’、及插值处理后的第三原始图像信号 M3’时，图像传感器10对第一原始图像信号M1、插值处理后的第二原始图像M2’、及插值处理后的第三原始图像信号M3’进行处理以得到中间图像信号。示例地，如图9所示，以第一原始图像信号M1为基准，第一原始图像信号M1的每一个2*2区域中，均包括两个第一像素信号，将与该2*2区域对应的插值处理后的第二原始图像信号M2’中的第二像素信号补入该2*2区域中，并将与该2*2区域对应的插值处理后的第三原始图像信号M3’中的第三像素信号补入该2*2区域中。如此，每个2*2区域中即包括两个第二像素信号、一个第二像素信号、及一个第三像素信号，每个2*2区域构成中间图像信号I中的一个图像信号单元U，每个图像信号单元U中四个像素信号对应的颜色通道的值均呈拜耳阵列排布。由此，图像传感器10即可输出颜色通道呈拜耳阵列排布的中间图像信号至处理器20(图11所示)，该中间图像信号可以被处理器20直接处理。
在另一个例子中，当每个滤光片组113均包括N*N个滤光片110，且N为大于2的正整数时，多个具有第一颜色通道的值的像素信号形成第一原始图像信号，多个具有第二颜色通道的值的第二像素信号形成第二原始图像信号，多个具有第三颜色通道的值的第三像素信号形成第三原始图像信号。图像传感器10根据多个具有第二颜色通道的值的第二像素信号对第二原始图像做插值处理，以使插值处理后的第二原始图像信号中的每一个像素信号均具有第二颜色通道的值。图像传感器10根据多个具有第三颜色通道的值的第三像素信号对第三原始图像信号做插值处理，以使插值处理后的第三原始图像信号中的每一个像素信号均具有第三颜色通道的值。图像传感器10处理第一原始图像信号、插值处理后的第二原始图像信号、及插值处理后的第三原始图像信号以生成中间图像信号。
具体地，请结合图3和图10，每个滤光片组113均包括3*3个滤光片110。每个第一滤光片组111 中的四个第二颜色滤光片B对应的像素120生成的四个电信号合并为一个第二像素信号，多个第二像素信号形成第二原始图像信号M2。每个第二滤光片组112中的四个第三颜色滤光片C对应的像素120生成的四个电信号合并为一个第三像素信号，多个第三像素信号形成第三原始图像信号M3。每个滤光片组113 中，五个第一颜色滤光片A对应的像素120生成的五个电信号(也即第一像素信号)合并为两个具有第一颜色通道的值的像素信号，多个具有第一颜色通道的值的像素信号形成第一原始图像信号M1。在获得第一原始图像信号M1、第二原始图像信号M2、及第三原始图像信号M3后，图像传感器10可以对第二原始图像信号M2及第三原始图像信号M3进行插值处理。图10所示的第二原始图像信号M2及第三原始图像信号M3的插值过程与图6至图8所示的第二原始图像信号M2及第三原始图像信号M3的插值过程相同，在此不再赘述。在获得第一原始图像信号、插值处理后的第二原始图像、及插值处理后的第三原始图像信号时，图像传感器10可以采用图9所示的处理方式对第一原始图像信号、插值处理后的第二原始图像、及插值处理后的第三原始图像信号进行处理以得到中间图像信号。每个中间图像信号均包括多个图像信号单元。每个图像信号单元均包括两个具有第一颜色通道的值的像素信号(由多个第一像素信号计算得到)、一个具有第二颜色通道的值的像素信号(即第二像素信号)、一个具有第三颜色通道的值的像素信号(即第三像素信号)。由此，图像传感器10即可输出颜色通道呈拜耳阵列排布的中间图像信号至处理器20(图11所示)，该中间图像信号可以被处理器20直接处理。
综上，本申请实施方式的图像传感器10可以直接对颜色通道呈非拜耳阵列排布的图像信号进行处理以输出颜色通道呈拜耳阵列排布的中间图像信号至处理器20，该中间图像可以直接被处理器20处理，而无需在处理器20中通过软件来进行非拜耳阵列排布到拜耳阵列排布的转换，可以减少图像处理所需的时间，提升图像的处理速度。
另外，当每个滤光片组113中滤光片110的数量为2*2时，图像传感器10输出的中间图像信号可以具有与像素阵列120相同的分辨率。如此，图像传感器10获取的图像能够具有较高的分辨率，有利于提升图像传感器10获取的图像的清晰度。
在某些实施方式中，图像传感器10中每个第一颜色滤光片A对应的像素120单独输出第一像素信号、每个第一滤光片组110中多个第二颜色滤光片B对应的像素120合并输出第二像素信号、每个第二滤光片组112中多个第三颜色滤光片C对应的像素120合并输出第三像素信号的信号输出方式可以应用于静态模式或动态模式下。其中，静态模式指的是拍摄静态图像的模式，动态模式指的是预览模式或录像模式。当此种输出方式应用于静态模式下时，可以提升图像传感器10获取的图像的清晰度；当此种输出方式应用于动态模式下时，不仅可以提升图像传感器10获取的图像的清晰度，还可以提升图像传感器10获取的图像的帧率。
请参阅图1和图11，本申请还提供一种成像装置100。成像装置100包括上述任意一项实施方式所述的图像传感器10。
请再参阅图11，在某些实施方式中，成像装置100还包括处理器20。多个具有第一颜色通道的值的像素信号形成第一中间图像信号，多个具有第二颜色通道的值的像素信号形成第二中间图像信号，多个具有第三颜色通道的值的像素信号形成第三中间图像信号。处理器20可以用于：根据多个具有第一颜色通道的值的像素信号对第一中间图像信号做插值处理，以使插值处理后的第一中间图像信号中的每一个像素信号均具有第一颜色通道的值；根据多个具有第二颜色通道的值的像素信号对第二中间图像信号做插值处理，以使插值处理后的第二中间图像信号中的每一个像素信号均具有第二颜色通道的值；根据多个具有第三颜色通道的值的像素信号对第三中间图像信号做插值处理，以使插值处理后的第三中间图像信号中的每一个像素信号均具有第三颜色通道的值；处理插值处理后的第一中间图像信号、插值处理后的第二中间图像信号、及插值处理后的第三中间图像信号以生成彩色图像。
具体地，请结合图1和图12，多个具有第一颜色通道的值的像素信号形成第一中间图像信号I1，其中，当图像传感器10的滤光片阵列11中，每个滤光片组113中滤光片110的个数为2*2时，每个具有第一颜色通道的值的像素信号为一个第一像素信号；当图像传感器10的滤光片阵列11中，每个滤光片组113中滤光片110的个数为N*N，且N为大于2的正整数时，每个具有第一颜色通道的值的像素信号为根据多个第一像素信号计算得到的像素信号。多个具有第二颜色通道的值的像素信号(即第二像素信号)形成第二中间图像信号I2。多个具有第三颜色通道的值的像素信号(即第三像素信号)形成第三中间图像信号I3。图像传感器10需要对第一中间图像信号I1、第二中间图像I2、及第三中间图像I3进行插值处理。其中，第一中间图像信号I1的插值过程与图6至图8所示的第二原始图像M2的插值过程相同，在此不再赘述。第三中间图像信号I3与第二中间图像信号I2的插值过程相同，本申请实施方式以第二中间图像信号I2的插值过程为例进行说明。如图13所示，第二中间图像I2中不具有第二颜色通道的值的像素信号包括三类：①在水平方向及垂直方向上均不存在与该不具有第二颜色通道的值的像素信号相邻的具有第二颜色通道的值的像素信号；②仅在水平方向存在与该不具有第二颜色通道的值的像素信号相邻的两个具有第二颜色通道的值的像素信号；③仅在垂直方向存在与该不具有第二颜色通道的值的像素信号相邻的两个具有第二颜色通道的值的像素信号。那么，对于每一类不具有第二颜色通道的值的像素信号，以该不具有第二颜色通道的值的像素信号为中心点向四周扩展预定区域，并基于该预定区域中的多个具有第二颜色通道的值的像素信号来辅助该不具有第二颜色通道的值的像素信号的插值。示例地，对于第一类不具有第二颜色通道的值的像素信号，如图13所示的像素信号P12，以P12为中心点向四周扩散得到3*3尺寸的预定区域，该预定区域中包括在对角方向或反对角方向上与P12相邻的四个具有第二颜色通道的值的像素信号，分别为P01、P03、P21及P23，则P12＝(P01+P03+P21+P23)/4。示例地，对于第二类不具有第二颜色通道的值的像素信号，如图13所示的像素信号P22，以P22为中心点向四周扩散得到5*3尺寸的预定区域，该预定区域中包括六个具有第二颜色通道的值的像素信号，分别为P01、P03、P21、P23、P41及P43，则P22＝(1*P01+1*P03+6*P21+6*P23+1*P41+1*P43)/6，其中，每个具有第二颜色通道的值的像素信号前面的系数表示的是权重，距离P22越近的具有第二颜色通道的值的像素信号具有更高的权重。示例地，对于第三类不具有第二颜色通道的值的像素信号，如图12所示的像素信号P13，以P13为中心点向四周扩散得到3*5尺寸的预定区域，该预定区域中包括六个具有第二颜色通道的值的像素信号，分别为P01、P03、P05、P21、P23及P25，则P13＝ (1*P01+6*P03+1*P05+1*P21+6*P23+1*P25)/6，其中，每个具有第二颜色通道的值的像素信号前面的系数表示的是权重，距离P13越近的具有第二颜色通道的值的像素信号具有更高的权重。如此，图像传感器10可以计算出第一中间图像信号I1中每一个不具有第一颜色通道的值的像素信号的第一颜色通道的值，还可以计算出第二中间图像信号I2中每一个不具有第二颜色通道的值的像素信号的第二颜色通道的值，还可以计算出第三中间图像信号I3中每一个不具有第三颜色通道的值的像素信号的第三颜色通道的值。
如图12所示，在获取到插值处理后的第一中间图像信号I1’、插值处理后的第二中间图像信号I2’、及插值处理后的第三中间图像信号I3’后，即可对插值处理后的第一中间图像信号I1’、插值处理后的第二中间图像信号I2’、及插值处理后的第三中间图像信号I3’进行融合处理以生成彩色图像。彩色图像中的每个像素信号均具有第一颜色通道的值、第二颜色通道的值、及第三颜色通道的值。需要说明的是，图12中的A+B+C仅表示每个像素信号由第一颜色通道的值、第二颜色通道的值及第三通道的值组成，并不表示三个颜色通道的值的直接相加。
请参阅图14，本申请还提供一种电子设备1000。电子设备1000可以是手机、平板电脑、笔记本电脑、智能手表、智能手环、智能头盔、智能眼镜、无人设备(例如无人机、无人车、无人船)等，在此不作限制。电子设备1000包括成像装置100。成像装置100包括上述任意一个实施方式所述的图像传感器10。电子设备1000还包括处理器20。电子设备1000的处理器20可以执行与图11所示成像装置100 中的处理器20所能执行的功能相同的功能，在此不做赘述。
请参阅图15，本申请还提供一种图像处理***10000。图像处理***10000包括电子设备1000。电子设备1000包括成像装置100。成像装置100包括上述任意一个实施方式所述的图像传感器10。图像处理***10000还包括处理器20。图像处理***10000的处理器20可以执行与图11所示成像装置100中的处理器20所能执行的功能相同的功能，在此不做赘述。
其中，处理器20可以位于负责云计算的服务器中，也可以位于负责边缘计算的服务器中。如此，图像传感器10输出的像素信号的后续处理可以卸载到服务器中执行，可以节约成像装置100或电子设备 1000的功耗。
请参阅图1、图2、图9和图16，本申请还提供一种信号处理方法。信号处理方法可以应用于图像传感器10。图像传感器10包括滤光片阵列11和像素阵列12。滤光片阵列11包括第一滤光片组111和多个第二滤光片组112。第一滤光片组111包括数量相同的多个第一颜色滤光片A和多个第二颜色滤光片B。第二滤光片组112包括数量相同的多个第一颜色滤光片A和多个第三颜色滤光片C。像素阵列12包括多个像素120。每个像素120对应滤光片阵列11的一个滤光片110。像素120用于接收穿过对应的滤光片 110的光线以生成电信号。信号处理方法包括：
01：将每个第一颜色滤光片A对应的像素120产生的电信号生成为第一像素信号，第一像素信号用于表征作用于第一颜色滤光片A对应像素120的光线的第一颜色通道的值；
02：将第一滤光片组111中的第二颜色滤光片B对应的像素120产生的电信号合并生成第二像素信号，第二像素信号用于表征作用于第二颜色滤光片B对应像素120的光线的第二颜色通道的值；
03：将第二滤光片组112中的第三颜色滤光片C对应的像素120产生的电信号合并生成第三像素信号，第三像素信号用于表征作用于第三颜色滤光片C对应像素120的光线的第三颜色通道的值；及
04：处理第一像素信号、第二像素信号、及第三像素信号以生成中间图像信号，中间图像信号包括多个图像信号单元U，每个图像信号单元U均包括四个像素信号，两个像素信号具有第一颜色通道的值，一个像素信号具有第二颜色通道的值，一个像素信号具有第三颜色通道的值，四个像素信号对应的颜色通道呈拜耳阵列排布。
请参阅图6和图9，在某些实施方式中，多个具有第一颜色通道的值的像素信号形成第一原始图像信号M1，多个具有第二颜色通道的值的像素信号形成第二原始图像信号M2，多个具有第三颜色通道的值的像素信号形成第三原始图像信号M3。步骤04处理第一像素信号、第二像素信号、及第三像素信号以生成中间图像信号，包括：
根据多个具有第二颜色通道的值的像素信号对第二原始图像信号M2做插值处理，以使插值处理后的第二原始图像信号M2’中的每一个像素信号均具有第二颜色通道的值；
根据多个具有第三颜色通道的值的像素信号对第三原始图像信号M3做插值处理，以使插值处理后的第三原始图像信号M3’中的每一个像素信号均具有第三颜色通道的值；及
处理第一原始图像信号M1、插值处理后的第二原始图像信号M2’、及插值处理后的第三原始图像信号M3’以生成中间图像信号。
请参阅图1、图2、图3、图6、图9和图10，在某些实施方式中，每个滤光片组113中的滤光片110 的数量均为N*N。当N为2时，每个图像信号单元U中的两个具有第一颜色通道的值的像素信号为对应的滤光片组113中两个第一颜色滤光片A对应的像素120生成的两个第一像素信号。当N为大于2的正整数时，每个图像信号单元U中的两个具有第一颜色通道的值的像素信号根据对应的滤光片组113中多个第一颜色滤光片A对应的像素120生成的多个第一像素信号计算得到。
请参阅图12，在某些实施方式中，中间图像信号I中，多个具有第一颜色通道的值的像素信号形成第一中间图像信号I1，多个具有第二颜色通道的值的像素信号形成第二中间图像信号I2，多个具有第三颜色通道的值的像素信号形成第三中间图像信号I3。信号处理方法还包括：
根据多个具有第一颜色通道的值的像素信号对第一中间图像信号I1做插值处理，以使插值处理后的第一中间图像信号I1’中的每一个像素信号均具有第一颜色通道的值；
根据多个具有第二颜色通道的值的像素信号对第二中间图像信号I2做插值处理，以使插值处理后的第二中间图像信号I2’中的每一个像素信号均具有第二颜色通道的值；
根据多个具有第三颜色通道的值的像素信号对第三中间图像信号I3做插值处理，以使插值处理后的第三中间图像信号I3’中的每一个像素信号均具有第三颜色通道的值；及
处理插值处理后的第一中间图像信号I1’、插值处理后的第二中间图像信号I2’、及插值处理后的第三中间图像信号I3’以生成彩色图像。
本申请实施方式还提供一种计算机设备。计算机设备可以是上述任意一项实施方式所述的电子设备 1000(图13所示)。
上述计算机设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义 ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图17为一个实施例中图像处理电路的示意图。如图17所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图17所示，图像处理电路包括ISP处理器940和控制逻辑器950。其中，ISP处理器940可以应用在电子设备中，以作为电子设备中的处理器。其中，电子设备可以是图13所示的电子设备1000。
成像装置910捕捉的图像数据首先由ISP处理器940处理，ISP处理器940对图像数据进行分析以捕捉可用于确定成像装置910的一个或多个控制参数的图像统计信息。成像装置910可包括具有一个或多个透镜912和图像传感器914的照相机。其中，图像传感器914可以是图像传感器10(图1所示)。图像传感器914可包括滤光片阵列，图像传感器914可获取由图像传感器914的每个像素捕捉的光强度和波长信息，并提供可由ISP处理器940处理的一组图像数据，例如多个第一像素信号、多个第二像素信号、及多个第三像素信号组成的图像数据。传感器920(如陀螺仪)可基于传感器920接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器940。传感器920接口可以利用SMIA(Standard Mobile ImagingArchitecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器914也可将图像数据发送给传感器920，传感器920可基于传感器920接口类型把图像数据提供给ISP处理器940，或者传感器920将图像数据存储到图像存储器930中。
ISP处理器940按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14 比特的位深度，ISP处理器940可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器940还可从图像存储器930接收图像数据。例如，传感器920接口将图像数据发送给图像存储器930，图像存储器930中的图像数据再提供给ISP处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接存储器存取)特征。
当接收到来自图像传感器914接口或来自传感器920接口或来自图像存储器930的图像数据时，ISP 处理器940可进行一个或多个图像处理操作，例如时域滤波；再例如，处理具有第一中间图像信号、第二中间图像信号、及第三中间图像信号以获取彩色图像等。处理后的图像数据(例如彩色图像)可发送给图像存储器930，以便在被显示之前进行另外的处理。ISP处理器940从图像存储器930接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器940处理后的图像数据可输出给显示器970，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器940的输出还可发送给图像存储器930，且显示器970可从图像存储器930读取图像数据。在一个实施例中，图像存储器930可被配置为实现一个或多个帧缓冲器。此外，ISP处理器940的输出可发送给编码器/解码器960，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器970设备上之前解压缩。编码器/解码器960可由CPU或GPU或协处理器实现。
ISP处理器940确定的统计数据可发送给控制逻辑器950。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器 950可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像装置910的控制参数及ISP处理器940的控制参数。例如，成像装置910的控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜912阴影校正参数。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (17)

1.一种图像传感器，其特征在于，包括：
滤光片阵列，所述滤光片阵列包括多个第一滤光片组和多个第二滤光片组，所述第一滤光片组包括数量相同的多个第一颜色滤光片和多个第二颜色滤光片，所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个第三颜色滤光片；及
像素阵列，所述像素阵列包括多个像素，每个所述像素对应所述滤光片阵列的一个滤光片，所述像素用于接收穿过对应的所述滤光片的光线以生成电信号；所述图像传感器用于：
将每个所述第一颜色滤光片对应的像素产生的电信号作为第一像素信号，所述第一像素信号用于表征作用于所述第一颜色滤光片对应像素的光线的第一颜色通道的值；
将所述第一滤光片组中的所述第二颜色滤光片对应的像素产生的电信号合并生成第二像素信号，所述第二像素信号用于表征作用于所述第二颜色滤光片对应像素的光线的第二颜色通道的值；
将所述第二滤光片组中的所述第三颜色滤光片对应的像素产生的电信号合并生成第三像素信号，所述第三像素信号用于表征作用于所述第三颜色滤光片对应像素的光线的第三颜色通道的值，所述第一颜色通道、所述第二颜色通道及所述第三颜色通道呈非拜耳阵列排布；及
处理所述第一像素信号、所述第二像素信号、及所述第三像素信号以生成中间图像信号，所述中间图像信号包括多个图像信号单元，每个所述图像信号单元均包括四个像素信号，两个所述像素信号具有第一颜色通道的值，一个所述像素信号具有第二颜色通道的值，一个所述像素信号具有第三颜色通道的值，四个所述像素信号对应的颜色通道呈拜耳阵列排布。
2.根据权利要求1所述的图像传感器，其特征在于，每个所述第一滤光片组中的所述滤光片的数量均为N*N，每个所述第二滤光片组中的所述滤光片的数量均为N*N，其中，N为大于或等于2的整数。
3.根据权利要求1或2所述的图像传感器，其特征在于，所述第一颜色滤光片为绿色滤光片或黄色滤光片。
4.根据权利要求3所述的图像传感器，其特征在于，所述第二颜色滤光片为红色滤光片，所述第三颜色滤光片为蓝色滤光片。
5.根据权利要求1所述的图像传感器，其特征在于，所述第一滤光片组与所述第二滤光片组在所述图像传感器的垂直方向和水平方向相邻布置。
6.根据权利要求1所述的图像传感器，其特征在于，在每个所述第一滤光片组中，多个所述第一颜色滤光片及多个所述第二颜色滤光片在所述图像传感器的垂直方向和水平方向相邻布置；
在每个所述第二滤光片组中，多个所述第一颜色滤光片及多个所述第三颜色滤光片在所述图像传感器的垂直方向和水平方向相邻布置。
7.根据权利要求1所述的图像传感器，其特征在于，所述图像传感器还包括微透镜阵列，所述微透镜阵列包括多个微透镜，每个所述微透镜对应一个所述滤光片及一个所述像素。
8.根据权利要求1所述的图像传感器，其特征在于，多个具有第一颜色通道的值的所述像素信号形成第一原始图像信号，多个具有第二颜色通道的值的所述像素信号形成第二原始图像信号，多个具有第三颜色通道的值的所述像素信号形成第三原始图像信号；所述图像传感器还用于：
根据多个具有第二颜色通道的值的所述像素信号对所述第二原始图像信号做插值处理，以使插值处理后的所述第二原始图像信号中的每一个像素信号均具有第二颜色通道的值；
根据多个具有第三颜色通道的值的所述像素信号对所述第三原始图像信号做插值处理，以使插值处理后的所述第三原始图像信号中的每一个像素信号均具有第三颜色通道的值；及
处理所述第一原始图像信号、插值处理后的所述第二原始图像信号、及插值处理后的所述第三原始图像信号以生成所述中间图像信号。
9.根据权利要求1所述的图像传感器，其特征在于，每个所述滤光片组中的所述滤光片的数量均为N*N；
当N为2时，每个所述图像信号单元中的两个具有第一颜色通道的值的所述像素信号为对应的所述滤光片组中两个所述第一颜色滤光片对应的像素生成的两个所述第一像素信号；
当N为大于2的正整数时，每个所述图像信号单元中的两个具有第一颜色通道的值的所述像素信号根据对应的所述滤光片组中多个所述第一颜色滤光片对应的像素生成的多个所述第一像素信号计算得到。
10.一种成像装置，其特征在于，包括权利要求1-9任意一项所述的图像传感器。
11.根据权利要求10所述的成像装置，其特征在于，所述中间图像信号中，多个具有第一颜色通道的值的所述像素信号形成第一中间图像信号，多个具有第二颜色通道的值的所述像素信号形成第二中间图像信号，多个具有第三颜色通道的值的所述像素信号形成第三中间图像信号；所述成像装置还包括处理器，所述处理器用于：
根据多个具有第一颜色通道的值的所述像素信号对所述第一中间图像信号做插值处理，以使插值处理后的所述第一中间图像信号中的每一个像素信号均具有第一颜色通道的值；
根据多个具有第二颜色通道的值的所述像素信号对所述第二中间图像信号做插值处理，以使插值处理后的所述第二中间图像信号中的每一个像素信号均具有第二颜色通道的值；
根据多个具有第三颜色通道的值的所述像素信号对所述第三中间图像信号做插值处理，以使插值处理后的所述第三中间图像信号中的每一个像素信号均具有第三颜色通道的值；及
处理插值处理后的所述第一中间图像信号、插值处理后的所述第二中间图像信号、及插值处理后的所述第三中间图像信号以生成彩色图像。
12.一种电子设备，其特征在于，包括成像装置，所述成像装置包括权利要求1-9任意一项所述的图像传感器。
13.一种图像处理***，其特征在于，包括电子设备，所述电子设备包括成像装置，所述成像装置包括权利要求1-9任意一项所述的图像传感器。
14.一种信号处理方法，用于图像传感器，其特征在于，所述图像传感器包括滤光片阵列和像素阵列；所述滤光片阵列包括多个第一滤光片组和多个第二滤光片组，所述第一滤光片组包括数量相同的多个第一颜色滤光片和多个第二颜色滤光片，所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个第三颜色滤光片；所述像素阵列包括多个像素，每个所述像素对应所述滤光片阵列的一个滤光片，所述像素用于接收穿过对应的所述滤光片的光线以生成电信号；所述信号处理方法包括：
将每个所述第一颜色滤光片对应的像素产生的电信号生成为第一像素信号，所述第一像素信号用于表征作用于所述第一颜色滤光片对应像素的光线的第一颜色通道的值；
将所述第一滤光片组中的所述第二颜色滤光片对应的像素产生的电信号合并生成第二像素信号，所述第二像素信号用于表征作用于所述第二颜色滤光片对应像素的光线的第二颜色通道的值；
将所述第二滤光片组中的所述第三颜色滤光片对应的像素产生的电信号合并生成第三像素信号，所述第三像素信号用于表征作用于所述第三颜色滤光片对应像素的光线的第三颜色通道的值，所述第一颜色通道、所述第二颜色通道及所述第三颜色通道呈非拜耳阵列排布；及
处理所述第一像素信号、所述第二像素信号、及所述第三像素信号以生成中间图像信号，所述中间图像信号包括多个图像信号单元，每个所述图像信号单元均包括四个像素信号，两个所述像素信号具有第一颜色通道的值，一个所述像素信号具有第二颜色通道的值，一个所述像素信号具有第三颜色通道的值，四个所述像素信号对应的颜色通道呈拜耳阵列排布。
15.根据权利要求14所述的信号处理方法，其特征在于，多个具有第一颜色通道的值的所述像素信号形成第一原始图像信号，多个具有第二颜色通道的值的所述像素信号形成第二原始图像信号，多个具有第三颜色通道的值的所述像素信号形成第三原始图像信号；所述处理所述第一像素信号、所述第二像素信号、及所述第三像素信号以生成中间图像信号，包括：
根据多个具有第二颜色通道的值的所述像素信号对所述第二原始图像信号做插值处理，以使插值处理后的所述第二原始图像信号中的每一个像素信号均具有第二颜色通道的值；
根据多个具有第三颜色通道的值的所述像素信号对所述第三原始图像信号做插值处理，以使插值处理后的所述第三原始图像信号中的每一个像素信号均具有第三颜色通道的值；及
处理所述第一原始图像信号、插值处理后的所述第二原始图像信号、及插值处理后的所述第三原始图像信号以生成所述中间图像信号。
16.根据权利要求14所述的信号处理方法，其特征在于，每个所述滤光片组中的所述滤光片的数量均为N*N；
当N为2时，每个所述图像信号单元中的两个具有第一颜色通道的值的所述像素信号为对应的所述滤光片组中两个所述第一颜色滤光片对应的像素生成的两个所述第一像素信号；
当N为大于2的正整数时，每个所述图像信号单元中的两个具有第一颜色通道的值的所述像素信号根据对应的所述滤光片组中多个所述第一颜色滤光片对应的像素生成的多个所述第一像素信号计算得到。
17.根据权利要求14所述的信号处理方法，其特征在于，所述中间图像信号中，多个具有第一颜色通道的值的所述像素信号形成第一中间图像信号，多个具有第二颜色通道的值的所述像素信号形成第二中间图像信号，多个具有第三颜色通道的值的所述像素信号形成第三中间图像信号；所述信号处理方法还包括：
根据多个具有第一颜色通道的值的所述像素信号对所述第一中间图像信号做插值处理，以使插值处理后的所述第一中间图像信号中的每一个像素信号均具有第一颜色通道的值；
根据多个具有第二颜色通道的值的所述像素信号对所述第二中间图像信号做插值处理，以使插值处理后的所述第二中间图像信号中的每一个像素信号均具有第二颜色通道的值；
根据多个具有第三颜色通道的值的所述像素信号对所述第三中间图像信号做插值处理，以使插值处理后的所述第三中间图像信号中的每一个像素信号均具有第三颜色通道的值；及
处理插值处理后的所述第一中间图像信号、插值处理后的所述第二中间图像信号、及插值处理后的所述第三中间图像信号以生成彩色图像。
CN202010043131.3A 2019-03-07 2020-01-15 图像传感器、成像装置、电子设备、图像处理***及信号处理方法 Active CN111669483B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/077338 2019-03-07
PCT/CN2019/077338 WO2020177123A1 (en) 2019-03-07 2019-03-07 Color imaging system

Publications (2)

Publication Number Publication Date
CN111669483A CN111669483A (zh) 2020-09-15
CN111669483B true CN111669483B (zh) 2022-01-28

Family

ID=70828353

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201980077996.7A Active CN113170061B (zh) 2019-03-07 2019-11-26 图像传感器、成像装置、电子设备、图像处理***及信号处理方法
CN202010043131.3A Active CN111669483B (zh) 2019-03-07 2020-01-15 图像传感器、成像装置、电子设备、图像处理***及信号处理方法
CN202010060363.XA Active CN111225135B (zh) 2019-03-07 2020-01-19 图像传感器、成像装置、电子设备、图像处理***及信号处理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980077996.7A Active CN113170061B (zh) 2019-03-07 2019-11-26 图像传感器、成像装置、电子设备、图像处理***及信号处理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010060363.XA Active CN111225135B (zh) 2019-03-07 2020-01-19 图像传感器、成像装置、电子设备、图像处理***及信号处理方法

Country Status (4)

Country Link
US (1) US11659294B2 (zh)
EP (1) EP3902242B1 (zh)
CN (3) CN113170061B (zh)
WO (2) WO2020177123A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220043571A (ko) * 2020-09-29 2022-04-05 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
CN112822366B (zh) * 2020-12-31 2022-07-01 维沃移动通信有限公司 电子设备及其摄像模组
CN113573030B (zh) * 2021-07-01 2023-11-10 Oppo广东移动通信有限公司 图像生成方法、装置、电子设备和计算机可读存储介质
CN113840067B (zh) * 2021-09-10 2023-08-18 Oppo广东移动通信有限公司 图像传感器、图像生成方法、装置和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108419022A (zh) * 2018-03-06 2018-08-17 广东欧珀移动通信有限公司 控制方法、控制装置、计算机可读存储介质和计算机设备

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7623168B2 (en) * 2000-07-13 2009-11-24 Eastman Kodak Company Method and apparatus to extend the effective dynamic range of an image sensing device
CN101001387B (zh) * 2006-01-11 2010-05-12 华晶科技股份有限公司 利用多数决判断影像局部信息变化最少方向的方法
EP2002663A2 (en) * 2006-03-27 2008-12-17 Nxp B.V. Method and arrangement for generating a color video signal
CN100589581C (zh) * 2006-12-12 2010-02-10 北京中星微电子有限公司 一种色彩滤波阵列插值方法和装置
JP2009004605A (ja) * 2007-06-22 2009-01-08 Fujifilm Corp 撮像素子及び撮像装置
US8170331B2 (en) * 2008-04-02 2012-05-01 Himax Imaging, Inc. Apparatus and method for pattern interpolation
JP5247397B2 (ja) * 2008-12-05 2013-07-24 キヤノン株式会社 撮像装置及び撮像方法
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US8189080B2 (en) * 2009-04-03 2012-05-29 Sony Corporation Orientation-based approach for forming a demosaiced image, and for color correcting and zooming the demosaiced image
JP2011030213A (ja) * 2009-07-01 2011-02-10 Hoya Corp 撮像素子
US8638342B2 (en) * 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
US8514491B2 (en) * 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5044673B2 (ja) * 2010-03-25 2012-10-10 株式会社東芝 固体撮像装置および画像記録装置
JP5501448B2 (ja) * 2010-04-20 2014-05-21 富士フイルム株式会社 撮像装置及び固体撮像素子の駆動方法
EP2685711B1 (en) 2011-03-09 2017-08-30 Fujifilm Corporation Color image pickup device
BR112013030805A2 (pt) 2011-06-30 2016-12-06 Fujifilm Corp aparelho de formação de imagem, método de controle de aparelho de formação de imagem, programa de controle de aparelho de formação de imagem
JP2013066157A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013143730A (ja) * 2012-01-12 2013-07-22 Sony Corp 撮像素子、撮像装置、電子機器および撮像方法
US9277205B2 (en) * 2012-05-14 2016-03-01 Intuitive Surgical Operations, Inc. Single-chip sensor multi-function imaging
JP6003316B2 (ja) 2012-07-12 2016-10-05 ソニー株式会社 固体撮像装置、電子機器
US9262805B2 (en) * 2012-08-07 2016-02-16 Spreadtrum Communications (Shanghai) Co., Ltd. Method and device for processing image in Bayer format
CN102938843B (zh) * 2012-11-22 2014-12-03 华为技术有限公司 图像处理方法、装置以及成像设备
KR102178335B1 (ko) * 2014-01-02 2020-11-12 삼성전자주식회사 이미지 센서의 비닝 방법 및 이미지 센서
JP6305169B2 (ja) * 2014-04-07 2018-04-04 キヤノン株式会社 固体撮像素子、撮像装置及びその制御方法、プログラム、記憶媒体
US9438866B2 (en) * 2014-04-23 2016-09-06 Omnivision Technologies, Inc. Image sensor with scaled filter array and in-pixel binning
US9888198B2 (en) * 2014-06-03 2018-02-06 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
WO2016041133A1 (en) * 2014-09-15 2016-03-24 SZ DJI Technology Co., Ltd. System and method for image demosaicing
US9793306B2 (en) * 2015-04-08 2017-10-17 Semiconductor Components Industries, Llc Imaging systems with stacked photodiodes and chroma-luma de-noising
US9635325B2 (en) * 2015-05-29 2017-04-25 Semiconductor Components Industries, Llc Systems and methods for detecting ultraviolet light using image sensors
CN105611258A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN105430361B (zh) * 2015-12-18 2018-03-20 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
US10764515B2 (en) * 2016-07-05 2020-09-01 Futurewei Technologies, Inc. Image sensor method and apparatus equipped with multiple contiguous infrared filter elements
CN106303474A (zh) * 2016-09-29 2017-01-04 杭州雄迈集成电路技术有限公司 一种基于g模式色彩滤波阵列的去马赛克方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108419022A (zh) * 2018-03-06 2018-08-17 广东欧珀移动通信有限公司 控制方法、控制装置、计算机可读存储介质和计算机设备

Also Published As

Publication number Publication date
CN111225135B (zh) 2021-07-16
CN111225135A (zh) 2020-06-02
CN113170061A (zh) 2021-07-23
US20210392279A1 (en) 2021-12-16
WO2020177123A1 (en) 2020-09-10
CN111669483A (zh) 2020-09-15
CN113170061B (zh) 2023-07-04
US11659294B2 (en) 2023-05-23
WO2020177407A1 (zh) 2020-09-10
EP3902242B1 (en) 2024-02-07
EP3902242A4 (en) 2022-03-23
EP3902242A1 (en) 2021-10-27

Similar Documents

Publication Publication Date Title
CN111669483B (zh) 图像传感器、成像装置、电子设备、图像处理***及信号处理方法
CN108322669B (zh) 图像获取方法及装置、成像装置和可读存储介质
CN213279832U (zh) 图像传感器、相机和终端
JP6417809B2 (ja) 撮像装置
US20020008760A1 (en) Digital camera, image signal processing method and recording medium for the same
US9369693B2 (en) Stereoscopic imaging device and shading correction method
AU2012374649A1 (en) Image processing device, image-capturing element, image processing method, and program
CN112118378A (zh) 图像获取方法及装置、终端和计算机可读存储介质
CN111711755B (zh) 图像处理方法及装置、终端和计算机可读存储介质
US10200593B2 (en) Image capturing apparatus and control method thereof
US20230007191A1 (en) Image sensor, imaging apparatus, electronic device, image processing system, and signal processing method
US8830384B2 (en) Imaging device and imaging method
EP3247107B1 (en) Method and device for obtaining a hdr image by graph signal processing
WO2023124607A1 (zh) 图像生成方法、装置、电子设备和计算机可读存储介质
WO2023082766A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN107194901B (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
US10511779B1 (en) Image capturing apparatus, method of controlling same, and storage medium
CN110930440B (zh) 图像对齐方法、装置、存储介质及电子设备
CN108769510B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN112866554B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
JP2017204787A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
CN113132692B (zh) 图像传感器、成像装置、电子设备、图像处理***及信号处理方法
WO2021143670A1 (zh) 图像传感器、成像装置、电子设备、图像处理***及信号处理方法
CN112866552B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
JP2008141706A (ja) 動きベクトル検出装置、動きベクトル検出プログラム、動きベクトル検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant