CN113971635A - 一种图像阵列格式转换方法、装置及电子设备和存储介质 - Google Patents

一种图像阵列格式转换方法、装置及电子设备和存储介质 Download PDF

Info

Publication number
CN113971635A
CN113971635A CN202111258109.1A CN202111258109A CN113971635A CN 113971635 A CN113971635 A CN 113971635A CN 202111258109 A CN202111258109 A CN 202111258109A CN 113971635 A CN113971635 A CN 113971635A
Authority
CN
China
Prior art keywords
array
target
color components
pixel point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111258109.1A
Other languages
English (en)
Inventor
王琼
尹程龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ruishi Zhixin Technology Co ltd
Original Assignee
Shenzhen Ruishi Zhixin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ruishi Zhixin Technology Co ltd filed Critical Shenzhen Ruishi Zhixin Technology Co ltd
Priority to CN202111258109.1A priority Critical patent/CN113971635A/zh
Publication of CN113971635A publication Critical patent/CN113971635A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像阵列格式转换方法、装置及一种电子设备和计算机可读存储介质，该方法包括：获取第一图像传感器与第二图像传感器混合的CFA阵列作为待转换图像阵列；基于待转换图像阵列中目标像素点的分布构建中间拜尔阵列；基于每个目标像素点在中间拜尔阵列中的相邻像素点具备的颜色分量，分别计算每个目标像素点的其他两个颜色分量，得到第一目标阵列；根据第一目标阵列中相邻像素点的三个颜色分量，计算每个D像素点的三个颜色分量，得到第二目标阵列；基于第二目标阵列以获取目标拜尔阵列。本申请实现了将混合的CFA阵列转换成与原图像分辨率大小一致的拜尔阵列。

Description

一种图像阵列格式转换方法、装置及电子设备和存储介质
技术领域
本申请涉及图像处理技术领域，更具体地说，涉及一种图像阵列格式转换方法、装置及一种电子设备和一种计算机可读存储介质。
背景技术
APS(Active Pixel Sensor)是传统的图像传感器，DVS(Dynamic Vision Sensor)是一种新型的图像传感器，与传统图像传感器不同，DVS是一种基于事件的相机。当光照强度变换超过一定的阈值，会产生变强或者变弱的事件。DVS具有低照度、宽动态、响应快等优点。
基于现实需求的增加，将两种图像传感器结合起来的应用场景越来越多，Alpix003将DVS和APS设计在同一个CFA(Color Filter Array)阵列里，使两种传感器的同颜色像素靠的更近，更有利于超分辨率，去模糊，高速摄像，能更好的解决图像的重构和同步问题。
为了使Alpix003成为通用图像传感器，因此如何将APS与DVS混合的CFA阵列转换成与原图像分辨率大小一致的拜尔阵列(Bayer pattern)是本领域技术人员需要解决的技术问题。
发明内容
本申请的目的在于提供一种图像阵列格式转换方法、装置及一种电子设备和一种计算机可读存储介质，实现了将混合的CFA阵列转换成与原图像分辨率大小一致的拜尔阵列。
为实现上述目的，本申请提供了一种图像阵列格式转换方法，包括：
获取第一图像传感器与第二图像传感器混合的CFA阵列作为待转换图像阵列；其中，所述待转换图像阵列中包括具备R、G、B中的一个颜色分量的目标像素点和D像素点；
基于所述待转换图像阵列中所述目标像素点的分布构建中间拜尔阵列；
基于每个所述目标像素点在所述中间拜尔阵列中的相邻像素点具备的颜色分量，分别计算每个所述目标像素点的其他两个颜色分量，得到第一目标阵列；
根据所述第一目标阵列中相邻像素点的三个颜色分量，计算每个所述D像素点的三个颜色分量，得到第二目标阵列；
基于所述第二目标阵列以获取目标拜尔阵列。
其中，所述基于所述待转换图像阵列中目标像素点的分布构建中间拜尔阵列，包括：
基于所述待转换阵列中第i+2n列中目标像素点的分布构建第i个中间拜耳阵列；其中，1≤i≤m，m为中间拜耳阵列的总数量，n为大于或等于0的整数。
其中，所述基于每个所述目标像素点在所述中间拜尔阵列中的相邻像素点具备的颜色分量，计算每个所述目标像素点的其他两个颜色分量，包括：
对所述中间拜尔阵列分别进行垂直方向和水平方向的线性插值，以计算所述目标像素点的R分量和B分量；
对所述中间拜尔阵列进行双线性插值，以计算所述目标像素点的G分量。
其中，得到所述第一目标阵列，包括：
根据计算得到的每个所述目标像素点的其他两个颜色分量，对所述中间拜耳阵列进行填充以获取所述第一目标阵列。
其中，得到所述第一目标阵列之后，还包括：
利用中值滤波算法对所述第一目标阵列中所述目标像素点的颜色分量进行修正。
其中，所述根据所述第一目标阵列中相邻像素点的三个颜色分量，计算每个所述D像素点的三个颜色分量，包括：
根据所述第一目标阵列中计算得到的每个所述目标像素点的其他两个颜色分量，对所述待转换图像阵列进行填充得到第三目标阵列；
对所述第三目标阵列进行双线性插值，以计算每个所述D像素点的三个颜色分量。
其中，得到所述第二目标阵列，包括：
根据计算得到的每个所述D像素点的三个颜色分量，对所述待转换图像阵列进行填充以获取所述第二目标阵列。
其中，得到所述第二目标阵列之后，还包括：
利用中值滤波算法对所述第二目标阵列中所述目标像素点的颜色分量进行修正。
其中，所述利用中值滤波算法对所述第二目标阵列中所述目标像素点的颜色分量进行修正，包括：
对修正后的第二目标阵列进行双线性插值，以修正所述D像素点的颜色分量。
其中，所述基于所述第二目标阵列以获取目标拜尔阵列，包括：
确定目标拜尔阵列的目标排列方式；
基于所述目标排列方式在所述第二目标阵列中提取每个像素点需要的颜色分量，以得到目标拜尔阵列。
为实现上述目的，本申请提供了一种图像阵列格式转换装置，包括：
获取模块，用于获取第一图像传感器与第二图像传感器混合的CFA阵列作为待转换图像阵列；其中，所述待转换图像阵列中包括具备R、G、B中的一个颜色分量的目标像素点和D像素点；
构建模块，用于基于所述待转换图像阵列中所述目标像素点的分布构建中间拜尔阵列；
计算模块，基于每个所述目标像素点在所述中间拜尔阵列中的相邻像素点具备的颜色分量，分别计算每个所述目标像素点的其他两个颜色分量，得到第一目标阵列，和，根据所述第一目标阵列中相邻像素点的三个颜色分量，计算每个所述D像素点的三个颜色分量，得到第二目标阵列；
转换模块，用于基于所述第二目标阵列以获取目标拜尔阵列。
其中，所述第一图像传感器为APS，第二图像传感器为DVS。
为实现上述目的，本申请提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述图像阵列格式转换方法的步骤。
为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述图像阵列格式转换方法的步骤。
通过以上方案可知，本申请提供的一种图像阵列格式转换方法，包括：获取第一图像传感器与第二图像传感器混合的CFA阵列作为待转换图像阵列；其中，所述待转换图像阵列中包括具备R、G、B中的一个颜色分量的目标像素点和D像素点；基于所述待转换图像阵列中所述目标像素点的分布构建中间拜尔阵列；基于每个所述目标像素点在所述中间拜尔阵列中的相邻像素点具备的颜色分量，分别计算每个所述目标像素点的其他两个颜色分量，得到第一目标阵列；根据所述第一目标阵列中相邻像素点的三个颜色分量，计算每个所述D像素点的三个颜色分量，得到第二目标阵列；基于所述第二目标阵列以获取目标拜尔阵列。
本申请提供的图像阵列格式转换方法，首先将待转换图像阵列中具备R、G、B中的一个颜色分量的目标像素点拆分为两个中间拜尔阵列，在中间拜尔阵列中利用线性插值算法计算每个目标像素点的其他两个颜色分量，然后根据目标像素点的三个颜色分量再次利用线性插值计算D像素点的三个颜色分量，从而得到了待转换图像阵列中每个像素点的三个颜色分量，最后基于每个像素点的三个颜色分量将待转换图像阵列转换为目标拜尔阵列，由于待转换图像阵列中每个像素点的三个颜色分量均已知，目标拜耳阵列的图像分辨率可以与待转换图像阵列的图像分辨率一致。由此可见，本申请实现了将混合的CFA阵列转换成与原图像分辨率大小一致的拜尔阵列，使得采用APS与DVS混合的CFA阵列的Alpix003的通用性更强。本申请还公开了一种图像阵列格式转换装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1为根据一示例性实施例示出的一种图像阵列格式转换方法的流程图；
图2a-2h为APS与DVS混合的CFA阵列的八种排列方式；
图3a为根据一示例性实施例示出的一种待转换图像阵列；
图3b和图3c为图3a对应的第一中间拜尔阵列和第二中间拜尔阵列；
图4为根据一示例性实施例示出的一种中间拜尔阵列；
图5为根据一示例性实施例示出的一种第三目标阵列；
图6为根据一示例性实施例示出的一种第二目标阵列；
图7a-7d为拜尔阵列的四种排列方式；
图8为根据一示例性实施例示出的一种图像阵列格式转换装置的结构图；
图9为根据一示例性实施例示出的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，在本申请实施例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例公开了一种图像阵列格式转换方法，实现了将混合的CFA阵列转换成与原图像分辨率大小一致的拜尔阵列。
参见图1，根据一示例性实施例示出的一种图像阵列格式转换方法的流程图，如图1所示，包括：
S101：获取第一图像传感器与第二图像传感器混合的CFA阵列作为待转换图像阵列；其中，所述待转换图像阵列中包括具备R、G、B中的一个颜色分量的目标像素点和D像素点；
本实施例的目的在于将第一图像传感器与第二图像传感器混合的CFA阵列转换成与原图像分辨率大小一致的拜尔阵列。可以理解的是，第一图像传感器可以是APS，第二图像传感器可以是DVS，也可以是其他图像传感器，比如EVS(Event-based vision sensor，事件相机)在此对其不做限制。在本实施例中，以第一图像传感器是APS，第二图像传感器是DVS为例进行说明。Alpix003 pattern是基于APS和DVS像素交错的设计，为了能更好的恢复DVS像素缺失的RGB颜色值，重建完整的图像，APS像素选择了与拜尔阵列较为相似的排列方式，Alpix003(即APS与DVS混合的CFA阵列)的八种排列方式如图2a-2h所示。
S102：基于所述待转换图像阵列中所述目标像素点的分布构建中间拜尔阵列；
在本步骤中，不考虑转换图像阵列中的D像素点(即DVS像素点，在本文中简称D像素)，将待转换图像阵列拆分为多个中间拜耳图像，基于待转换阵列中第i+2n列中目标像素点的分布构建第i个中间拜耳阵列；其中，1≤i≤m，m为中间拜耳阵列的总数量，n为大于或等于0的整数。例如，基于待转换阵列中奇数列中目标像素点的分布构建第一中间拜尔阵列，基于待转换阵列中偶数列中目标像素点的分布构建第二中间拜尔阵列，或者，基于待转换阵列中奇数行中目标像素点的分布构建第一中间拜尔阵列，基于待转换阵列中偶数行中目标像素点的分布构建第二中间拜尔阵列，从而将待转换图像拆分为两个中间拜尔阵列，其分辨率为待转换图像阵列的分辨率的1/4，待转换图像阵列的尺寸为Width×Height，中间拜尔图像的尺寸为Width/2×Height/2，其中，中间拜尔图像仅包括具备R、G、B中的一个颜色分量的目标像素点。以图2中第一种排列方式为例，待转换图像阵列如图3a所示，拆分后的第一中间拜尔阵列和第二中间拜尔阵列如图3b和3c所示。
S103：基于每个所述目标像素点在所述中间拜尔阵列中的相邻像素点具备的颜色分量，分别计算每个所述目标像素点的其他两个颜色分量，得到第一目标阵列；
在本步骤中，在每个中间拜尔阵列中利用线性插值算法或加权算法等计算每个目标像素点的其他两个颜色分量，得到所述第一目标阵列。作为一种可行的实施方式，得到所述第一目标阵列，包括：根据计算得到的每个所述目标像素点的其他两个颜色分量，对所述中间拜耳阵列进行填充以获取所述第一目标阵列。在具体实施中，将每个目标像素点计算得到的其他两个颜色分量填充至该目标像素点在中间拜尔阵列中对应的位置，得到第一目标阵列。
作为一种可行的实施方式，所述基于每个所述目标像素点在所述中间拜尔阵列中的相邻像素点具备的颜色分量，计算每个所述目标像素点的其他两个颜色分量，包括：对所述中间拜尔阵列分别进行垂直方向和水平方向的线性插值，以计算所述目标像素点的R分量和B分量；对所述中间拜尔阵列进行双线性插值，以计算所述目标像素点的G分量。在具体实施中，对于需要计算的R分量和B分量，首先在垂直方向进行线性插值，再在水平方向进行线性插值。以图4示出的中间拜尔阵列为例，计算R分量时，首先在垂直方向进行线性插值计算奇数列(纵坐标为偶数的列)中目标像素点的R分量，如(1,0)、(3,0)、(5,0)、(7,0)、(1,2)、(3,2)、(5,2)、(7,2)等，以计算R(3,2)为例，R(3,2)＝(R(2,2)+R(4,2))/2，然后在水平方向进行线性插值计算偶数列(纵坐标为奇数的列)中目标像素点的R分量，如(0,1)、(1,1)、(2,1)、(3,1)、(4,1)、(5,1)、(6,1)、(7,1)、(0,3)、(1,3)、(2,3)、(3,3)、(4,3)、(5,3)、(6,3)、(7,3)等，以计算R(2,3)为例，R(2,3)＝(R(2,2)+R(2,4))/2。计算B分量时，首先在垂直方向进行线性插值计算偶数列(纵坐标为奇数的列)中目标像素点的B分量，如(0,1)、(2,1)、(4,1)、(6,1)、(0,3)、(2,3)、(4,3)、(6,3)等，然后在水平方向进行线性插值计算奇数列(纵坐标为偶数的列)中目标像素点的B分量，如(0,2)、(1,2)、(2,2)、(3,2)、(4,2)、(5,2)、(6,2)、(7,2)、(0,4)、(1,4)、(2,4)、(3,4)、(4,4)、(5,4)、(6,4)、(7,4)等，计算方式与R分量的计算方式类似，在此不再赘述。对于需要计算的G分量，利用双线性插值算法进行计算，以计算G(3,3)为例，若|G(2,3)-G(4,3)|＜|G(3,2)-G(3,4)|，则G(3,3)＝(G(2,3)+G(4,3))/2，若|G(2,3)-G(4,3)|＞|G(3,2)-G(3,4)|，则G(3,3)＝(G(3,2)+G(3,4))/2，若|G(2,3)-G(4,3)|＝|G(3,2)-G(3,4)|，则G(3,3)＝(G(2,3)+G(4,3)+G(3,2)+G(3,4))/4。
作为一种优选实施方式，在本步骤之后，还包括：利用中值滤波算法对所述第一目标阵列中所述目标像素点的颜色分量进行修正。在具体实施中，利用中值滤波算法对第一目标阵列中目标像素点的颜色分量进行修正。首先将计算得到的每个目标像素点的其他两个颜色分量填充至对应的中间拜耳阵列中，然后基于填充后的中间拜耳阵列生成G-R和G-B的两个色差阵列GR和GB，再对两个色差阵列进行中值滤波，最后基于滤波结果对目标像素点的的颜色分量进行修正。例如，R(2,3)＝G(2,3)-GR(2,3)，B(2,3)＝G(2,3)-GB(2,3)，G(3,3)＝B(3,3)+GB(3,3)，R(3,3)＝G(3,3)-GR(3,3)，G(2,2)＝R(2,3)+GR(2,2)，B(2,2)＝G(2,2)-GB(2,2)。优选的，可以仅对目标像素点的经计算得到的其他两个颜色分量进行修正，不仅可以提高修正效率，还可以保留待转换图像阵列中的原始像素，避免修正后的第一目标阵列失真。
S104：根据所述第一目标阵列中相邻像素点的三个颜色分量，计算每个所述D像素点的三个颜色分量，得到第二目标阵列；
在本步骤中，确定每个D像素点的相邻像素点，在第一目标阵列中确定相邻像素点的三个颜色分量，基于每个D像素点的相邻像素点的三个颜色分量，计算每个D像素点的三个颜色分量，得到第二目标阵列。作为一种可行的实施方式，得到所述第二目标阵列，包括：根据计算得到的每个所述D像素点的三个颜色分量，对所述待转换图像阵列进行填充以获取所述第二目标阵列。在具体实施中，将每个D像素点计算得到的三个颜色分量填充至该D像素点在待转换图像阵列中对应的位置，得到第二目标阵列。
作为一种可行的实施方式，所述根据所述第一目标阵列中相邻像素点的三个颜色分量，计算每个所述D像素点的三个颜色分量，包括：根据所述第一目标阵列中计算得到的每个所述目标像素点的其他两个颜色分量，对所述待转换图像阵列进行填充得到第三目标阵列；对所述第三目标阵列进行双线性插值，以计算每个所述D像素点的三个颜色分量。在具体实施中，首先将每个目标像素点计算得到的其他两个颜色分量填充至该目标像素点在待转换图像阵列中对应的位置，得到第三目标阵列，如图5所示。然后对第三目标阵列进行双线性插值，以计算每个D像素点的三个颜色分量。在具体实施中，以计算R(1,1)、G(1,1)和B(1,1)为例，若|R(0,1)-R(2,1)|＜|R(1,0)-R(1,2)|，则R(1,1)＝(R(0,1)+R(2,1))/2，若|R(0,1)-R(2,1)|＞|R(1,0)-R(1,2)|，则R(1,1)＝(R(1,0)+R(1,2))/2，若|R(0,1)-R(2,1)|＝|R(1,0)-R(1,2)|，则R(1,1)＝(R(0,1)+R(2,1)+R(1,0)+R(1,2))/4；若|G(0,1)-G(2,1)|＜|G(1,0)-G(1,2)|，则G(1,1)＝(G(0,1)+G(2,1))/2，若|G(0,1)-G(2,1)|＞|G(1,0)-G(1,2)|，则G(1,1)＝(G(1,0)+G(1,2))/2，若|G(0,1)-G(2,1)|＝|G(1,0)-G(1,2)|，则G(1,1)＝(G(0,1)+G(2,1)+G(1,0)+G(1,2))/4；若|B(0,1)-B(2,1)|＜|B(1,0)-B(1,2)|，则B(1,1)＝(B(0,1)+B(2,1))/2，若|B(0,1)-B(2,1)|＞|B(1,0)-B(1,2)|，则B(1,1)＝(B(1,0)+B(1,2))/2，若|B(0,1)-B(2,1)|＝|B(1,0)-B(1,2)|，则B(1,1)＝(B(0,1)+B(2,1)+B(1,0)+B(1,2))/4。将计算得到的每个D像素点的三个颜色分量填充至每个D像素点在第三目标阵列中的位置，得到第二目标阵列，如图6所示。
作为一种优选实施方式，在本步骤之后，还包括：利用中值滤波算法对所述第二目标阵列中所述目标像素点的颜色分量进行修正。在具体实施中，具体的修正过程与步骤S103中介绍的修正过程类似，在此不再赘述。优选的，可以仅对目标像素点的经计算得到的其他两个颜色分量进行修正。
作为一种优选实施方式，所述利用中值滤波算法对所述第二目标阵列中所述目标像素点的颜色分量进行修正，包括：对修正后的第二目标阵列进行双线性插值，以修正所述D像素点的颜色分量。在具体实施中，重新对经中值滤波修正后的第二目标阵列进行双线性插值，以修正每个D像素点的三个颜色分量。具体的双线性插值过程与上述类似，在此不再赘述。
S105：基于所述第二目标阵列以获取目标拜尔阵列。
在本步骤中，首先确定需要转换的目标拜尔阵列的目标排列方式，然后基于目标排列方式利用remosaic等算法在第二目标阵列中提取每个像素点需要的颜色分量，以得到目标拜尔阵列。拜尔阵列的四种排列方式如图7a-7d所示。
本申请实施例提供的图像阵列格式转换方法，首先将待转换图像阵列中具备R、G、B中的一个颜色分量的目标像素点拆分为两个中间拜尔阵列，在中间拜尔阵列中利用线性插值算法计算每个目标像素点的其他两个颜色分量，然后根据目标像素点的三个颜色分量再次利用线性插值计算D像素点的三个颜色分量，从而得到了待转换图像阵列中每个像素点的三个颜色分量，最后基于每个像素点的三个颜色分量将待转换图像阵列转换为目标拜尔阵列，由于待转换图像阵列中每个像素点的三个颜色分量均已知，目标拜耳阵列的图像分辨率可以与待转换图像阵列的图像分辨率一致。由此可见，本申请实施例实现了将混合的CFA阵列转换成与原图像分辨率大小一致的拜尔阵列，使得采用APS与DVS混合的CFA阵列的Alpix003的通用性更强。
下面对本申请实施例提供的一种图像阵列格式转换装置进行介绍，下文描述的一种图像阵列格式转换装置与上文描述的一种图像阵列格式转换方法可以相互参照。
参见图8，根据一示例性实施例示出的一种图像阵列格式转换装置的结构图，如图8所示，包括：
获取模块801，用于获取第一图像传感器与第二图像传感器混合的CFA阵列作为待转换图像阵列；其中，所述待转换图像阵列中包括具备R、G、B中的一个颜色分量的目标像素点和D像素点；
构建模块802，用于基于所述待转换图像阵列中所述目标像素点的分布构建中间拜尔阵列；
计算模块803，用于基于每个所述目标像素点在所述中间拜尔阵列中的相邻像素点具备的颜色分量，分别计算每个所述目标像素点的其他两个颜色分量，得到第一目标阵列，和，根据所述第一目标阵列中相邻像素点的三个颜色分量，计算每个所述D像素点的三个颜色分量，得到第二目标阵列；
转换模块804，用于基于所述第二目标阵列以获取目标拜尔阵列。
本申请实施例提供的图像阵列格式转换装置，首先将待转换图像阵列中具备R、G、B中的一个颜色分量的目标像素点拆分为两个中间拜尔阵列，在中间拜尔阵列中利用线性插值算法计算每个目标像素点的其他两个颜色分量，然后根据目标像素点的三个颜色分量再次利用线性插值计算D像素点的三个颜色分量，从而得到了待转换图像阵列中每个像素点的三个颜色分量，最后基于每个像素点的三个颜色分量将待转换图像阵列转换为目标拜尔阵列，由于待转换图像阵列中每个像素点的三个颜色分量均已知，目标拜耳阵列的图像分辨率可以与待转换图像阵列的图像分辨率一致。由此可见，本申请实施例实现了将混合的CFA阵列转换成与原图像分辨率大小一致的拜尔阵列，使得采用APS与DVS混合的CFA阵列的Alpix003的通用性更强。
在上述实施例的基础上，作为一种优选实施方式，所述构建模块802具体为基于所述待转换阵列中第i+2n列中目标像素点的分布构建第i个中间拜耳阵列；其中，1≤i≤m，m为中间拜耳阵列的总数量，n为大于或等于0的整数的模块。
在上述实施例的基础上，作为一种优选实施方式，所述计算模块803包括：
第一计算单元，用于对所述中间拜尔阵列分别进行垂直方向和水平方向的线性插值，以计算所述目标像素点的R分量和B分量；
第二计算单元，用于对所述中间拜尔阵列进行双线性插值，以计算所述目标像素点的G分量。
在上述实施例的基础上，作为一种优选实施方式，所述计算模块803包括：
第一填充单元，用于根据计算得到的每个所述目标像素点的其他两个颜色分量，对所述中间拜耳阵列进行填充以获取所述第一目标阵列。
在上述实施例的基础上，作为一种优选实施方式，还包括：
第一修正模块，用于利用中值滤波算法对所述第一目标阵列中所述目标像素点的颜色分量进行修正。
在上述实施例的基础上，作为一种优选实施方式，所述计算模块803包括：
第二填充单元，用于根据所述第一目标阵列中计算得到的每个所述目标像素点的其他两个颜色分量，对所述待转换图像阵列进行填充得到第三目标阵列；
第三计算单元，用于对所述第三目标阵列进行双线性插值，以计算每个所述D像素点的三个颜色分量。
在上述实施例的基础上，作为一种优选实施方式，所述计算模块803包括：
第二填充单元，用于根据计算得到的每个所述D像素点的三个颜色分量，对所述待转换图像阵列进行填充以获取所述第二目标阵列。
在上述实施例的基础上，作为一种优选实施方式，还包括：
第二修正模块，用于利用中值滤波算法对所述第二目标阵列中所述目标像素点的颜色分量进行修正。
在上述实施例的基础上，作为一种优选实施方式，还包括：
第三修正模块，用于对修正后的第二目标阵列进行双线性插值，以修正所述D像素点的颜色分量。
在上述实施例的基础上，作为一种优选实施方式，所述转换模块804包括：
确定单元，用于确定目标拜尔阵列的目标排列方式；
转换单元，用于基于所述目标排列方式在所述第二目标阵列中提取每个像素点需要的颜色分量，以得到目标拜尔阵列。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
基于上述程序模块的硬件实现，且为了实现本申请实施例的方法，本申请实施例还提供了一种电子设备，图9为根据一示例性实施例示出的一种电子设备的结构图，如图9所示，电子设备包括：
通信接口1，能够与其它设备比如网络设备等进行信息交互；
处理器2，与通信接口1连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的图像阵列格式转换方法。而所述计算机程序存储在存储器3上。
当然，实际应用时，电子设备中的各个组件通过总线***4耦合在一起。可理解，总线***4用于实现这些组件之间的连接通信。总线***4除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图9中将各种总线都标为总线***4。
本申请实施例中的存储器3用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序。
可以理解，存储器3可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器3旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器2中，或者由处理器2实现。处理器2可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器2可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器3，处理器2读取存储器3中的程序，结合其硬件完成前述方法的步骤。
处理器2执行所述程序时实现本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。
在示例性实施例中，本申请实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器3，上述计算机程序可由处理器2执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种图像阵列格式转换方法，其特征在于，包括：
获取第一图像传感器与第二图像传感器混合的CFA阵列作为待转换图像阵列；其中，所述待转换图像阵列中包括具备R、G、B中的一个颜色分量的目标像素点和D像素点；
基于所述待转换图像阵列中所述目标像素点的分布构建中间拜尔阵列；
基于每个所述目标像素点在所述中间拜尔阵列中的相邻像素点具备的颜色分量，分别计算每个所述目标像素点的其他两个颜色分量，得到第一目标阵列；
根据所述第一目标阵列中相邻像素点的三个颜色分量，计算每个所述D像素点的三个颜色分量，得到第二目标阵列；
基于所述第二目标阵列以获取目标拜尔阵列。
2.根据权利要求1所述的图像阵列格式转换方法，其特征在于，所述基于所述待转换图像阵列中目标像素点的分布构建中间拜尔阵列，包括：
基于所述待转换阵列中第i+2n列中目标像素点的分布构建第i个中间拜耳阵列；其中，1≤i≤m，m为中间拜耳阵列的总数量，n为大于或等于0的整数。
3.根据权利要求1所述的图像阵列格式转换方法，其特征在于，所述基于每个所述目标像素点在所述中间拜尔阵列中的相邻像素点具备的颜色分量，计算每个所述目标像素点的其他两个颜色分量，包括：
对所述中间拜尔阵列分别进行垂直方向和水平方向的线性插值，以计算所述目标像素点的R分量和B分量；
对所述中间拜尔阵列进行双线性插值，以计算所述目标像素点的G分量。
4.根据权利要求1所述的图像阵列格式转换方法，其特征在于，得到所述第一目标阵列，包括：
根据计算得到的每个所述目标像素点的其他两个颜色分量，对所述中间拜耳阵列进行填充以获取所述第一目标阵列。
5.根据权利要求1所述的图像阵列格式转换方法，其特征在于，得到所述第一目标阵列之后，还包括：
利用中值滤波算法对所述第一目标阵列中所述目标像素点的颜色分量进行修正。
6.根据权利要求1所述的图像阵列格式转换方法，其特征在于，所述根据所述第一目标阵列中相邻像素点的三个颜色分量，计算每个所述D像素点的三个颜色分量，包括：
根据所述第一目标阵列中计算得到的每个所述目标像素点的其他两个颜色分量，对所述待转换图像阵列进行填充得到第三目标阵列；
对所述第三目标阵列进行双线性插值，以计算每个所述D像素点的三个颜色分量。
7.根据权利要求1所述的图像阵列格式转换方法，其特征在于，得到所述第二目标阵列，包括：
根据计算得到的每个所述D像素点的三个颜色分量，对所述待转换图像阵列进行填充以获取所述第二目标阵列。
8.根据权利要求1所述的图像阵列格式转换方法，其特征在于，得到所述第二目标阵列之后，还包括：
利用中值滤波算法对所述第二目标阵列中所述目标像素点的颜色分量进行修正。
9.根据权利要求8所述的图像阵列格式转换方法，其特征在于，所述利用中值滤波算法对所述第二目标阵列中所述目标像素点的颜色分量进行修正，包括：
对修正后的第二目标阵列进行双线性插值，以修正所述D像素点的颜色分量。
10.根据权利要求1所述的图像阵列格式转换方法，其特征在于，所述基于所述第二目标阵列以获取目标拜尔阵列，包括：
确定目标拜尔阵列的目标排列方式；
基于所述目标排列方式在所述第二目标阵列中提取每个像素点需要的颜色分量，以得到目标拜尔阵列。
11.一种图像阵列格式转换装置，其特征在于，包括：
获取模块，用于获取第一图像传感器与第二图像传感器混合的CFA阵列作为待转换图像阵列；其中，所述待转换图像阵列中包括具备R、G、B中的一个颜色分量的目标像素点和D像素点；
构建模块，用于基于所述待转换图像阵列中所述目标像素点的分布构建中间拜尔阵列；
计算模块，基于每个所述目标像素点在所述中间拜尔阵列中的相邻像素点具备的颜色分量，分别计算每个所述目标像素点的其他两个颜色分量，得到第一目标阵列，和，根据所述第一目标阵列中相邻像素点的三个颜色分量，计算每个所述D像素点的三个颜色分量，得到第二目标阵列；
转换模块，用于基于所述第二目标阵列以获取目标拜尔阵列。
12.根据权利要求11所述的图像阵列格式转换装置，其特征在于，所述第一图像传感器为APS，第二图像传感器为DVS。
13.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至10任一项所述图像阵列格式转换方法的步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述图像阵列格式转换方法的步骤。
CN202111258109.1A 2021-10-27 2021-10-27 一种图像阵列格式转换方法、装置及电子设备和存储介质 Pending CN113971635A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111258109.1A CN113971635A (zh) 2021-10-27 2021-10-27 一种图像阵列格式转换方法、装置及电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111258109.1A CN113971635A (zh) 2021-10-27 2021-10-27 一种图像阵列格式转换方法、装置及电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113971635A true CN113971635A (zh) 2022-01-25

Family

ID=79588806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111258109.1A Pending CN113971635A (zh) 2021-10-27 2021-10-27 一种图像阵列格式转换方法、装置及电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113971635A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422726A (zh) * 2022-03-15 2022-04-29 深圳锐视智芯科技有限公司 一种图像传感器及其图像输出方法和应用
CN117132629A (zh) * 2023-02-17 2023-11-28 荣耀终端有限公司 图像处理方法和电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422726A (zh) * 2022-03-15 2022-04-29 深圳锐视智芯科技有限公司 一种图像传感器及其图像输出方法和应用
CN114422726B (zh) * 2022-03-15 2022-07-01 深圳锐视智芯科技有限公司 一种图像传感器及其图像输出方法和应用
CN117132629A (zh) * 2023-02-17 2023-11-28 荣耀终端有限公司 图像处理方法和电子设备

Similar Documents

Publication Publication Date Title
US8031232B2 (en) Image pickup apparatus including a first image formation system and a second image formation system, method for capturing image, and method for designing image pickup apparatus
US8395677B2 (en) Aberration correction apparatus, aberration correction method, and program
US8547451B2 (en) Apparatus and method for obtaining high dynamic range image
JP4657367B2 (ja) 画像処理装置、撮像装置、および画像歪み補正方法
CN113971635A (zh) 一种图像阵列格式转换方法、装置及电子设备和存储介质
CN107749050B (zh) 鱼眼图像矫正方法、装置及计算机设备
JP2015049402A (ja) 焦点ずれ量検出装置およびその制御方法、撮像装置
CN111225135B (zh) 图像传感器、成像装置、电子设备、图像处理***及信号处理方法
CN103563361A (zh) 用于图像处理的设备和方法以及成像设备
JP2006157568A (ja) 撮像装置およびプログラム
JP2007201530A (ja) 画素欠陥補正装置
CN106447607A (zh) 一种图像拼接方法及装置
JP2012033007A (ja) 画像処理装置および画像処理方法
JP4556102B2 (ja) 画像処理装置および画像処理方法、並びに、プログラム
JP2014042176A (ja) 画像処理装置および方法、プログラム、並びに、固体撮像装置
US10846837B2 (en) Image processing apparatus, image processing method, and storage medium
JP2008227562A (ja) 画像処理装置、カメラ装置、およびカメラシステム
JP2006279144A (ja) 歪補正装置
JP5676233B2 (ja) 画像処理装置、画像処理方法、及び撮像装置
CN115086517A (zh) 一种图像采集方法、装置、电子设备及存储介质
JP4807075B2 (ja) 撮像装置およびその欠陥画素補正方法
CN113824894A (zh) 曝光控制方法、装置、设备及存储介质
JP2004062103A (ja) 画像処理装置および方法、情報処理装置および方法、記録媒体、並びにプログラム
JP5269954B2 (ja) 撮像装置
US10748305B2 (en) Image capturing apparatus that can reduce amount of data that is to be recorded, method for controlling the image capturing apparatus, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination