CN118283417A - 图像处理方法及其装置 - Google Patents

Abstract

本申请公开了一种图像处理方法及其装置，属于拍摄技术领域，由电子设备执行，该电子设备包括图像传感器，该图像传感器包括第一像素阵列，该方法包括：接收拍摄输入；响应于拍摄输入，通过图像传感器采集原始图像，原始图像的图像像素阵列的阵列模式与第一像素阵列的阵列模式相同；在第一像素阵列对应的第一变焦倍率大于用户选择的第二变焦倍率的情况下，确定与第二变焦倍率匹配的目标阵列模式，并将原始图像的图像像素阵列的阵列模式转换为目标阵列模式，得到目标图像。

Description

图像处理方法及其装置

技术领域

本申请属于拍摄技术领域，具体涉及一种图像处理方法及其装置。

背景技术

随着电子设备的发展，电子设备中的功能也越来越多，例如，电子设备可以对图像进行变焦处理，得到变焦后的图像。

在相关技术中，电子设备通常可以采用光学变焦方式来对电子设备中的图像传感器采集的原始图像进行变焦处理。例如，以图像图像传感器中的像素阵列为Nonabayer阵列为例，由于Nonabayer阵列对应固定的3倍等效光学变焦，因此，电子设备通过该Nonabayer阵列只能实现3倍等效光学变焦。对于1至3倍之间的变焦倍率的变焦过程通常是采用数码变焦来实现变焦，具体地，数码变焦是指电子设备根据变焦中心从原始数据图像中截取出一部分图像，然后将该一部分图像放大至2倍变焦倍率，从而得到变焦图像。

然而，由于数码变焦方式通常是对部分图像放大的，从而导致捕捉到的图像细节不够全面，进而使得最终获取到的变焦图像的图像质量不高。如此，在用户选择的变焦倍数与电子设备的图像传感器中的像素阵列不匹配的情况下，电子设备获取到的变焦图像的图像质量较差。

发明内容

本申请实施例的目的是提供一种图像处理方法及其装置，能够在用户选择的变焦倍数与电子设备的图像传感器中的像素阵列不匹配的情况下，提高变焦图像的图像质量。

第一方面，本申请实施例提供了一种图像处理方法，应用于电子设备，该电子设备包括图像传感器，该图像传感器包括第一像素阵列；该图像处理方法包括：接收拍摄输入；响应于拍摄输入，通过图像传感器采集原始图像，原始图像的图像像素阵列的阵列模式与第一像素阵列的阵列模式相同；在第一像素阵列对应的第一变焦倍率大于用户选择的第二变焦倍率的情况下，确定与第二变焦倍率匹配的目标阵列模式，并将原始图像的图像像素阵列的阵列模式转换为目标阵列模式，得到目标图像。

第二方面，本申请实施例提供了一种图像处理装置，应用于电子设备，该电子设备包括图像传感器，该图像传感器包括第一像素阵列；该图像处理装置包括：接收模块、采集模块和处理模块；接收模块，用于接收拍摄输入。采集模块，用于响应于接收模块接收的拍摄输入，通过图像传感器采集原始图像，原始图像的图像像素阵列的阵列模式与第一像素阵列的阵列模式相同。处理模块，用于在第一像素阵列对应的第一变焦倍率大于用户选择的第二变焦倍率的情况下，确定与第二变焦倍率匹配的目标阵列模式，并将原始图像的图像像素阵列的阵列模式转换为目标阵列模式，得到目标图像。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

在本申请实施例中，在接收拍摄输入后，通过图像传感器采集原始图像，该原始图像的图像像素阵列的阵列模式与第一像素阵列的阵列模式相同；在第一像素阵列对应的第一变焦倍率大于用户选择的第二变焦倍率的情况下，电子设备可以基于第二变焦倍率确定与该第二变焦倍率匹配的目标阵列模式，并基于该目标阵列模式将原始图像的图像像素阵列的阵列模式进行变更，得到与该第二变焦倍率对应的目标图像。如此，通过变更原始图像的图像像素阵列的阵列模式，来模拟第二变焦倍率对应的像素阵列，从而电子设备通过模拟的第二变焦倍率对应的像素阵列进行等效光学变焦，如此，在用户选择的变焦倍数与电子设备的图像传感器中的像素阵列不匹配的情况下，电子设备仍然可以实现等效光学变焦，从而提升了电子设备获取到的变焦图像的图像质量。

附图说明

图1是本申请实施例提供的一种图像处理方法的流程图；

图2是本申请实施例提供的一种第二像素矩阵的实例示意图之一；

图3是本申请实施例提供的一种第二像素矩阵的实例示意图之二；

图4是本申请实施例提供的一种第二像素矩阵的实例示意图之三；

图5是本申请实施例提供的一种第二像素矩阵的实例示意图之四；

图6是本申请实施例提供的一种图像处理装置的结构示意图；

图7是本申请实施例提供的一种电子设备的硬件结构示意图之一；

图8是本申请实施例提供的一种电子设备的硬件结构示意图之二。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

本申请的说明书和权利要求书中的术语“至少一个(项)”、“至少之一”等指其包含对象中的任意一个、任意两个或两个以上的组合。例如，a、b、c中的至少一个(项)，可以表示：“a”、“b”、“c”、“a和b”、“a和c”、“b和c”以及“a、b和c”，其中a，b，c可以是单个，也可以是多个。同理，“至少两个(项)”是指两个或两个以上，其表达的含义与“至少一个(项)”类似。

下面对本申请提供的图像处理方法所涉及的专业术语进行具体的解释说明。

1)图像传感器

图像传感器还可以称感光元件，是一种将光学图像信息转换成电信号的设备，它被广泛地应用在数码相机和其他电子光学设备中，图像传感器包括电荷耦合器件(ChargedCoupled Device，CDD)图像传感器和互补金属氧化物半导体(Complementary Metal OxideSemiconductor，CMOS)图像传感器。

示例性地，图像传感器中通常包含一个像素阵列，该像素阵列中包含多个像素单元，每个像素单元中包含至少一个像素点。一般的，不同的像素阵列排布方式对应的像素阵列中的像素单元中的像素点的数量不同。

示例性地，图像传感器中的像素阵列通常为拜尔(Bayer)阵列或拜尔(Bayer)阵列的扩展阵列。一般的，常规的Bayer阵列为1x1像素排列.

例如，Bayer阵列的扩展阵列可以包括以下任一项：

Nonabayer阵列，是将Bayer阵列扩展为3x3像素排列，每个3x3的区域具有相同的颜色滤光片；即通过将9个相邻的像素组合为一个子像素单元并共享颜色滤光片来提供更高的颜色分辨率和图像质量；

Quadbayer：是Bayer阵列扩展为2x2像素排列，每个2x2的区域具有相同的颜色滤光片；即通过将4个相邻的像素组合为一个子像素单元并共享颜色滤光片来提供更高的颜色分辨率和图像质量；

Hexbayer：是Bayer阵列扩展为4x4像素排列，每个4x4的区域具有相同的颜色滤光片；即通过将16个相邻的像素组合为一个子像素单元并共享颜色滤光片来提供更高的颜色分辨率和图像质量。

2)等效光学变焦

等效光学变焦是指使用相关方法模拟光学变焦，在实现光学放大效果的同时尽可能不引入图像质量损失。

3)TetraPixel

TetraPixel是一种相机像素排列技术，通过将四个相邻的像素组合为一个子像素单元并共享颜色滤光片来提供更高的颜色分辨率和图像质量。它是传统Bayer排列的一种变体，用于改善颜色还原和细节表现。

4)Tetra2Pixel

Tetra2Pixel是一种相机像素排列技术，通过将16个相邻的像素组合为一个子像素单元并共享颜色滤光片来提供更高的颜色分辨率和图像质量。它是传统Bayer排列的一种变体，用于改善颜色还原和细节表现。

4)RAW图像

RAW是一个英文单词，中文释义为：生的，未加工的；RAW图像是图像传感器将捕捉到的光源信号转化为数字信号的原始数据。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。

本申请实施例提供的图像处理方法可以应用在变焦拍摄场景中。

随着电子设备的发展，电子设备中的功能也越来越多，例如，电子设备可以对电子设备采集的图像进行变焦处理，从而得到变焦后的图像。一般的，电子设备可以通过等效光学变焦和数码变焦的方式对电子设备通过图像传感器采集的图像进行变焦处理，从而得到变焦后的图像。

相关技术中，以电子设备中的图像传感器中的像素阵列是Nonabayer阵列为例，由于Nonabayer阵列中的像素单元的像素排布为3x3像素排列，因此，当用户想要选择3倍变焦倍率进行拍摄时，则在电子设备通过Nonabayer阵列采集到原始数据图像，即raw图之后，可以将该raw图中的每个像素点拆分为9个像素点，从而使得该raw图中的像素点的数量扩展为原来的3倍，如此，便可实现对原始数据图像的3倍等效光学变焦。

通常情况下，为了保证能够实现等效光学变焦，因此，实际的变焦倍率需要与图像传感器中的像素阵列的阵列排布方式匹配。由于Nonabayer阵列的阵列排布方式是固定的3x3像素排列，因此，电子设备只能实现3倍等效光学变焦。对于1至3倍之间的等效光学变焦通常采用数码变焦来实现变焦，具体地，数码变焦是指电子设备根据变焦中心从原始数据图像中截取出一部分图像，然后将该一部分图像放大至2倍变焦倍率，从而得到放大后的图像。然而，上述数码变焦方式只是对部分图像的放大，并没有实际捕捉到更多的图像细节，导致放大后的图像清晰度严重受损。如此，电子设备在特定变焦倍率下拍摄得到的变焦图像的图像质量较差。

在本申请实施例提供的图像处理方法及其装置中，电子设备通过变更原始图像的图像像素阵列的阵列模式，来模拟第二变焦倍率对应的像素阵列，从而电子设备通过模拟的第二变焦倍率对应的像素阵列进行等效光学变焦，如此，在用户选择的变焦倍数与电子设备的图像传感器中的像素阵列不匹配的情况下，电子设备仍然可以实现等效光学变焦，从而提升了电子设备获取到的变焦图像的图像质量。

本申请实施例提供的图像处理方法的执行主体可以为图像处理装置，该图像处理装置可以为电子设备，或电子设备中的功能模块。以下以电子设备为例，对本申请实施例提供的技术方案进行说明。

本申请实施例提供一种图像处理方法，图1示出了本申请实施例提供的一种图像处理方法的流程图，该图像处理方法应用于电子设备，该电子设备包括图像传感器，该图像传感器包括第一像素阵列。如图1所示，本申请实施例提供的图像处理方法可以包括下述的步骤201至步骤203。

步骤201、电子设备接收拍摄输入。

本申请实施例中，上述拍摄输入用于拍摄变焦图像。

可选地，本申请实施例中，电子设备可以基于用户的输入显示拍摄预览界面，该拍摄预览界面中包括拍摄控件和变焦控件，然后，用户可以对变焦控件和拍摄控件进行输入，以使得电子设备可以拍摄变焦图像。

可选地，本申请实施例中，上述拍摄输入可以包括：用户对变焦控件的输入和拍摄控件的输入。

可选地，本申请实施例中，上述拍摄输入可以为用户对拍摄控件的输入；或者为声音输入。

示例性地，上述拍摄输入可以为以下任一项：用户对拍摄控件的点击输入、长按输入、滑动输入或预设轨迹输入。具体可以通过实际情况确定，本申请实施例不作限制。

示例性地，显示拍摄预览界面，该拍摄预览界面显示有1×变焦倍率标识、2×变焦倍率标识和3×变焦倍率标识，用户可以对2×变焦倍率标识进行点击输入，以使得电子设备确定当前的变焦倍率为2×，然后，用户可以点击拍摄控件，从而电子设备接收拍摄输入。

步骤202、电子设备响应于拍摄输入，通过图像传感器采集原始图像。

本申请实施例中，上述原始图像的图像像素阵列的阵列模式与第一像素阵列的阵列模式相同。

需要说明的是，上述原始图像为RAW图。

可选地，本申请实施例中，上述第一像素阵列可以为以下任一项：Nonabayer阵列、Quadbayer阵列和Hexbayer阵列。本申请中的图像传感器中的像素阵列以Nonabayer阵列为例。

本申请实施例中，上述阵列模式为图像传感器中的像素点的排布方式。

示例性地，假设图像传感器中的像素点的排布方式为3×3，则原始图像中的像素点的阵列模式同样为3×3。

步骤203、在第一像素阵列对应的第一变焦倍率大于用户选择的第二变焦倍率的情况下，电子设备确定与第二变焦倍率匹配的目标阵列模式，并将原始图像的图像像素阵列的阵列模式转换为目标阵列模式，得到目标图像。

可选地，本申请实施例中，上述用户选择的第二变焦倍率为电子设备在显示拍摄预览界面时，用户对上述至少一个变焦倍率标识，即上述1×变焦倍率标识、2×变焦倍率标识和3×变焦倍率标识，中的目标的变焦倍率标识输入，从而用户选择的第二变焦倍率。

示例性地，上述第二变焦倍率可以为2×变焦倍率。

本申请实施例中，电子设备可以通过原始图像的图像像素阵列中的像素点，将原始图像的图像像素阵列的阵列模式转换为目标阵列模式，得到目标图像。

在本申请实施例提供的图像处理方法中，在接收拍摄输入后，通过图像传感器采集原始图像，该原始图像的图像像素阵列的阵列模式与第一像素阵列的阵列模式相同；在第一像素阵列对应的第一变焦倍率大于用户选择的第二变焦倍率的情况下，电子设备可以基于第二变焦倍率确定与该第二变焦倍率匹配的目标阵列模式，并基于该目标阵列模式将原始图像的图像像素阵列的阵列模式进行变更，得到与该第二变焦倍率对应的目标图像。如此，通过变更原始图像的图像像素阵列的阵列模式，来模拟第二变焦倍率对应的像素阵列，从而电子设备通过模拟的第二变焦倍率对应的像素阵列进行等效光学变焦，如此，在用户选择的变焦倍数与电子设备的图像传感器中的像素阵列不匹配的情况下，电子设备仍然可以实现等效光学变焦，从而提升了电子设备获取到的变焦图像的图像质量。

可选地，本申请实施例中，上述步骤203中的“将原始图像的图像像素阵列的阵列模式转换为目标阵列模式，得到目标图像”具体可以通过下述的步骤203a和步骤203b实现。

步骤203a、电子设备按照目标阵列模式，将第一像素阵列中的每个像素单元在原始图像的图像像素阵列中对应的第一像素矩阵转换为第二像素矩阵，得到目标图像。

本申请实施例中，上述原始图像的图像像素阵列中的包含的像素点与第一像素阵列中包含的像素点一一对应。

示例性地，上述第一像素阵列中的每个像素单元为提前划分好的。

可选地，本申请实施例中，电子设备可以通过对第一像素矩阵中的像素点进行像素间重组、复制、合并等处理，从而将第一像素矩阵转换为第二像素矩阵。

可以理解，针对原始图像中的每个像素矩阵，电子设备均可以进行上述像素间重组、复制、合并等处理，从而将每个像素矩阵转换为第二像素矩阵，从而得到目标图像。

需要说明的是，上述第一像素矩阵中的像素点的数量大于第二像素矩阵中的像素点的数量。

可选地，本申请实施例中，电子设备可以通过调整后的原始图像，通过插值算法，计算调整后的原始图像中的每个像素点的RGB值，从而得到目标图像。

本申请实施例中，电子设备通过变更原始图像的图像像素阵列的阵列模式，来模拟第二变焦倍率对应的像素阵列，从而电子设备通过模拟的第二变焦倍率对应的像素阵列进行等效光学变焦，如此，在用户选择的变焦倍数与电子设备的图像传感器中的像素阵列不匹配的情况下，电子设备仍然可以实现等效光学变焦，从而提升了电子设备获取到的变焦图像的图像质量。

可选地，本申请实施例中，上述步骤203a具体可以通过下述的步骤301至步骤303实现。

步骤301、电子设备从原始图像的图像像素阵列中，确定与第一像素阵列中的第一像素单元对应的第一像素矩阵。

本申请实施例中，电子设备可以根据第一像素阵列中的第一像素单元的数量对原始图像的图像像素阵列中的像素点进行划分，从而得到第一像素矩阵。

需要说明的是，由于原始图像的图像像素阵列是完全与第一像素阵列一致的，所以第一像素阵列中的像素单元的数量和位置也与原始图像的图像像素阵列中像素矩阵数量和位置一致。

步骤302、电子设备按照目标阵列模式，从第一像素单元对应的第一像素矩阵中提取M个第一像素点。

本申请实施例中，上述M个第一像素点为第一像素矩阵中不重复的像素点。

本申请实施例中，M是基于目标阵列模式确定的。

本申请实施例中，电子设备可以按照目标阵列模式，从第一像素矩阵中随机抽取M个第一像素点。

示例性地，假设目标阵列模式为2×2，第一像素矩阵对应的阵列模式为3×3；则电子设备可以从3×3像素矩阵中随机抽取4个第一像素点。

下面通过具体的示例对上述实施例进行具体的解释说明。

方式1：如图2所示，第一像素矩阵包括A至I，9个像素点，电子设备可以随机的从第一像素矩阵中抽取A、B、D、E，4个像素点。

方式2：如图2所示，第一像素矩阵包括A至I，9个像素点，电子设备可以随机的从第一像素矩阵中抽取A、C、G、I，4个像素点。

方式3：如图2所示，第一像素矩阵包括A至I，9个像素点，电子设备可以随机的从第一像素矩阵中抽取B、F、D、H，4个像素点。

需要说明的是，上述3个方式仅仅是列出了3种可能的实现方式，具体可以根据实际使用情况确定，本申请实施例不作限制。

可选地，本申请实施例中，电子设备可以通过用户的需求，从第一像素矩阵中抽取M个第一像素点。

步骤303、电子设备将M个第一像素点拼接，组成第一像素单元对应的第二像素矩阵。

本申请实施例中，上述第一像素单元为第一像素阵列中的一个像素单元。

可选地，本申请实施例中，电子设备可以将M个第一像素点，按照M个第一像素点在第一像素矩阵中的位置进行拼接，以组成第一像素单元对应的第二像素矩阵。

可选地，本申请实施例中，电子设备可以将M个第一像素点，进行随机拼接，以组成第一像素单元对应的第二像素矩阵。

需要说明的是，针对原始图像的图像像素阵列中的每个第一像素矩阵，电子设备均可以采用上述实施例，实现原始图像的图像像素阵列中的每个第一像素矩阵转化为每个第一像素矩阵对应的第二像素矩阵。为避免重复，此处不再赘述。

本申请实施例中，电子设备可以通过子采样法的方式将第一像素矩阵转换为第二像素矩阵，在用户选择的变焦倍数与电子设备的图像传感器中的像素阵列不匹配的情况下，电子设备仍然可以实现等效光学变焦，从而提升了电子设备获取到的变焦图像的图像质量。

可选地，本申请实施例中，上述步骤203a具体可以通过下述的步骤401至步骤403实现。

步骤401、电子设备从原始图像的图像像素阵列中，确定与第一像素阵列中的第二像素单元对应的第一像素矩阵。

需要说明的是，具体实现过程可以详见上述实施例，为避免重复，此处不再赘述。

步骤402、电子设备按照目标阵列模式，从第二像素单元对应的第一像素矩阵中提取至少两组像素点。

本申请实施例中，上述至少两组像素点中的每组像素点中包含M个第二像素点，M是基于目标阵列模式确定的。

可选地，本申请实施例中，电子设备可以按照目标阵列模式，从第二像素单元对应的第一像素矩阵中随机提取至少两组像素点。

可选地，本申请实施例中，电子设备可以按照人为预设的提取规则，从从第二像素单元对应的第一像素矩阵中随机提取至少两组像素点。

示例性地，如图3所示，电子设备可以将第一像素矩阵中各四角ABDE、BCEF、DEGH和EFHI对应四组像素点提取出来，从而得到4组像素点。

又示例性地，如图3所示，电子设备可以将第一像素矩阵中各四角ACGI四个像素以及中心十字方向BFDH四个像素提取出来，再将中间像素E复制4份，从而得到3组像素点。

步骤403、电子设备基于至少两组像素点，得到第二像素单元对应的第二像素矩阵。

本申请实施例中，上述第二像素单元为第一像素阵列中的一个像素单元。

可选地，本申请实施例中，电子设备可以对至少两组像素点进行融合处理或拼接处理，从而得到第二像素单元对应的第二像素矩阵。

本申请实施例中，电子设备可以通过至少两组像素点将第一像素矩阵转换为第二像素矩阵，在用户选择的变焦倍数与电子设备的图像传感器中的像素阵列不匹配的情况下，电子设备仍然可以实现等效光学变焦，从而提升了电子设备获取到的变焦图像的图像质量。

可选地，本申请实施例中，上述步骤403具体可以通过下述的步骤501和步骤502实现。

步骤501、在至少两组像素点的组数为M的情况下，电子设备获取第一组像素点的平均亮度值，并将第一组像素点中的每个第二像素点的亮度值调整为平均亮度值，将亮度调整后的第一组像素点中的所有像素点融合为一个像素点。

可选地，本申请实施例中，电子设备可以通过均值算法，获取第一组像素点的平均亮度值。

示例性地，假设第一组像素点中包含的像素点为A、B、C和D，则电子设备可以通过下述公式1，得到第一组像素点对应的平均亮度值。公式1具体为：

E＝(A1+B1+C1+D1)/4 (1)

其中，E为第一组像素点对应的平均亮度值，A1为像素点A的亮度值，B1为像素点B的亮度值，C1为像素点C的亮度值，D1为像素点D的亮度值。

可选地，本申请实施例中，电子设备可以通过加权均值算法，获取第一组像素点的平均亮度值。

示例性地，假设第一组像素点中包含的像素点为A、B、C和D，像素点A的权重为R1，像素点B的权重为R2，像素点C的权重为R3，像素点D的权重为R4；则电子设备可以通过下述公式2，得到第一组像素点对应的平均亮度值。公式2具体为：

E＝(R1A1+R2B1+R3C1+R4D1)/(R1+R2+R3+R4) (2)

其中，E为第一组像素点对应的平均亮度值，A1为像素点A的亮度值，B1为像素点B的亮度值，C1为像素点C的亮度值，D1为像素点D的亮度值。

步骤502、电子设备将M组像素点中的每组像素点对应融合出的像素点拼接，组成第一像素单元对应的第二像素矩阵。

本申请实施例中，电子设备可以将M组像素点中的每组像素点融合为M个像素点，然后拼接M个像素点，得到第一像素单元对应的第二像素矩阵。

示例性地，如图4所示，假设第一像素单元对应的第一像素矩阵包括A至I，9个像素点，电子设备可以依次从第一像素矩阵中抽取4组像素点，该4组像素点分别为A、B、D、E；B、C、E、F；D、E、G、H和E、F、H、I；电子设备可以计算A、B、D、E，4个像素点的平均亮度值，并将A、B、D、E中的每个第二像素点的亮度值调整为平均亮度值；然后A、B、D、E，4个像素点融合为一个像素点W。对于B、C、E、F；D、E、G、H和E、F、H、I，这3组像素点，电子设备可以分别计算这3组像素点的平均亮度值，并分别将这3组像素点中的每个像素点的亮度值调整为3组像素点对应的平均亮度值，并融合，以分别得到这3组像素点对应的融合后的X、Y、Z像素点，然后将W、X、Y、Z像素点进行拼接，得到第二像素矩阵11。

本申请实施例中，电子设备通过均值法能够将原有像素信息整合，既不丢失像素信息同时能够得到更多的细节、更准确的色彩和更低的噪点水平。这有助于产生更清晰、更真实的图像，提升图像的质量和细节表现。

可选地，本申请实施例中，上述步骤403具体可以通过下述的步骤501实现。

步骤501、电子设备按照目标阵列模式，将至少两组像素点叠加，并将同一像素叠加位置上的所有像素点融合为一个像素点，得到第二像素单元对应的第二像素矩阵。

本申请实施例中，电子设备在得到至少两组像素点之后，电子设备可以将该至少两组像素点输入至神经网络模型中，从而将同一像素叠加位置上的所有像素点融合为一个像素点，得到第二像素单元对应的第二像素矩阵。

示例性地，假设第一像素矩阵包括A至I，9个像素点，电子设备可以依次从第一像素矩阵中抽取4组像素点，该4组像素点分别为A、B、D、E；B、C、E、F；D、E、G、H和E、F、H、I；然后，电子设备可以将4组像素点分别输入至神经网络模型中，以将同一像素叠加位置上的所有像素点融合为一个像素点，得到第二像素单元对应的第二像素矩阵。

又示例性地，假设第一像素矩阵包括A至I，9个像素点，电子设备可以依次从第一像素矩阵中抽取3组像素点，该3组像素点分别为A、C、G、I；B、F、D、H和E、E、E、E，然后电子设备可以将3组像素点分别输入至神经网络模型中，以将同一像素叠加位置上的所有像素点融合为一个像素点，得到第二像素单元对应的第二像素矩阵。

本申请实施例中，电子设备通过上述实施例可以减少空间维度的分辨率，在通道维度上增加深度，并将将空间维度信息转换到深度维度上，能够保持原有像素信息，从而保证图像的清晰度。

可选地，本申请实施例中，上述步骤203a具体可以通过下述的步骤601和步骤602。

步骤601、电子设备按照目标阵列模式，从原始图像的图像像素阵列中，提取M个像素矩阵。

本申请实施例中，M是基于目标阵列模式确定的。

本申请实施例中，上述M个像素矩阵中每个像素矩阵中包含的像素点的数量不同。

可选地，本申请实施例中，电子设备可以随机从原始图像的图像像素阵列中，提取M个像素矩阵；或者，上述M个像素矩阵是用户提前设定好的。

示例性地，假设第一像素矩阵包括A至I，9个像素点，电子设备可以依次从第一像素矩阵中随机抽取4组像素点，该4组像素点分布为A、B、D、E；G、H；C、F；和I，然后电子设备可以按照4组像素点在原始图像的图像像素阵列中的排布规则，拼接上述4组像素点，该4组像素点为一个像素矩阵。

步骤602、电子设备将M个像素矩阵拼接，得到目标图像。

可选地，本申请实施例中，电子设备可以将图像传感器中的第一像素阵列变换为上述M个像素矩阵。

示例性，如图5所示，以第一像素阵列中的一个像素单元为例，该像素单元对应的像素矩阵包括A至I，9个像素点，电子设备可以将ABDE合并为W，CF合并为X，GH合并为Y，I保持不变变为Z，从而实现3x3阵列到2x2阵列的转化。

本申请实施例中，电子设备通过能够扩大单点像素的面积，可以提高其采样信噪比，从而提升了变焦图像的图像质量。

需要说明的是，上述各个方法实施例，或者各个方法实施例中的各种可能的实现方式可以单独执行，或者，在不存在矛盾的前提下，也可以相互结合执行，具体可以根据实际使用需求确定，本申请实施例对此不做限制。

需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者电子设备，或者还可以为电子设备中的功能模块或实体。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。

图6示出了本申请实施例中涉及的图像处理装置的一种可能的结构示意图。如图6所示，该图像处理装置70可以包括：接收模块71、采集模块72和处理模块73。

其中，接收模块71，用于接收拍摄输入。采集模块，用于响应于接收模块71接收的拍摄输入，通过图像传感器采集原始图像，原始图像的图像像素阵列的阵列模式与第一像素阵列的阵列模式相同。处理模块73，用于在第一像素阵列对应的第一变焦倍率大于用户选择的第二变焦倍率的情况下，确定与第二变焦倍率匹配的目标阵列模式，并将原始图像的图像像素阵列的阵列模式转换为目标阵列模式，得到目标图像。

在一种可能的实现方式中，上述处理模块73，具体用于按照目标阵列模式，将第一像素阵列中的每个像素单元在原始图像的图像像素阵列中对应的第一像素矩阵转换为第二像素矩阵，得到目标图像。

在一种可能的实现方式中，上述处理模块73，具体用于从原始图像的图像像素阵列中，确定与第一像素阵列中的第一像素单元对应的第一像素矩阵；按照目标阵列模式，从第一像素单元对应的第一像素矩阵中提取M个第一像素点，M是基于目标阵列模式确定的；将M个第一像素点拼接，组成第一像素单元对应的第二像素矩阵，第一像素单元为第一像素阵列中的一个像素单元。

在一种可能的实现方式中，上述处理模块73，具体用于从原始图像的图像像素阵列中，确定与第一像素阵列中的第二像素单元对应的第一像素矩阵；按照目标阵列模式，从第二像素单元对应的第一像素矩阵中提取至少两组像素点，每组像素点中包含M个第二像素点，M是基于目标阵列模式确定的；基于至少两组像素点，得到第二像素单元对应的第二像素矩阵，第二像素单元为第一像素阵列中的一个像素单元。

在一种可能的实现方式中，上述处理模块73，具体用于在至少两组像素点的组数为M的情况下，获取第一组像素点的平均亮度值，并将第一组像素点中的每个第二像素点的亮度值调整为平均亮度值，将亮度调整后的第一组像素点中的所有像素点融合为一个像素点；将每组像素点对应融合出的像素点拼接，组成第一像素单元对应的第二像素矩阵。

在一种可能的实现方式中，上述处理模块73，具体用于按照目标阵列模式，将至少两组像素点叠加，并将同一像素叠加位置上的所有像素点融合为一个像素点，得到第二像素单元对应的第二像素矩阵。

在一种可能的实现方式中，上述处理模块73，具体用于按照目标阵列模式，从原始图像的图像像素阵列中，提取M个像素矩阵，M是基于目标阵列模式确定的；将M个像素矩阵拼接，得到目标图像。

本申请实施例提供一种图像处理装置，图像处理装置通过变更原始图像的图像像素阵列的阵列模式，来模拟第二变焦倍率对应的像素阵列，从而图像处理装置通过模拟的第二变焦倍率对应的像素阵列进行等效光学变焦，如此，在用户选择的变焦倍数与电子设备的图像传感器中的像素阵列不匹配的情况下，图像处理装置仍然可以实现等效光学变焦，从而提升了图像处理装置获取到的变焦图像的图像质量。

本申请实施例中的图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为iOS操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置能够实现上述实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图7所示，本申请实施例还提供一种电子设备90，包括处理器91和存储器92，存储器92上存储有可在所述处理器91上运行的程序或指令，该程序或指令被处理器91执行时实现上述图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图8为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件，该电子设备还包括图像传感器，该图像传感器包括第一像素阵列。

本领域技术人员可以理解，电子设备100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器110逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，用户输入单元107，用于接收拍摄输入。处理器110，用于响应于拍摄输入，通过图像传感器采集原始图像，原始图像的图像像素阵列的阵列模式与第一像素阵列的阵列模式相同；并在第一像素阵列对应的第一变焦倍率大于用户选择的第二变焦倍率的情况下，确定与第二变焦倍率匹配的目标阵列模式，并将原始图像的图像像素阵列的阵列模式转换为目标阵列模式，得到目标图像。

本申请实施例提供一种电子设备，电子设备通过变更原始图像的图像像素阵列的阵列模式，来模拟第二变焦倍率对应的像素阵列，从而电子设备通过模拟的第二变焦倍率对应的像素阵列进行等效光学变焦，如此，在用户选择的变焦倍数与电子设备的图像传感器中的像素阵列不匹配的情况下，电子设备仍然可以实现等效光学变焦，从而提升了电子设备获取到的变焦图像的图像质量。

可选地，本申请实施例中，处理器110，具体用于按照目标阵列模式，将第一像素阵列中的每个像素单元在原始图像的图像像素阵列中对应的第一像素矩阵转换为第二像素矩阵，得到目标图像。

可选地，本申请实施例中，处理器110，具体用于从原始图像的图像像素阵列中，确定与第一像素阵列中的第一像素单元对应的第一像素矩阵；按照目标阵列模式，从第一像素单元对应的第一像素矩阵中提取M个第一像素点，M是基于目标阵列模式确定的；将M个第一像素点拼接，组成第一像素单元对应的第二像素矩阵，第一像素单元为第一像素阵列中的一个像素单元。

可选地，本申请实施例中，处理器110，具体用于从原始图像的图像像素阵列中，确定与第一像素阵列中的第二像素单元对应的第一像素矩阵；按照目标阵列模式，从第二像素单元对应的第一像素矩阵中提取至少两组像素点，每组像素点中包含M个第二像素点，M是基于目标阵列模式确定的；基于至少两组像素点，得到第二像素单元对应的第二像素矩阵，第二像素单元为第一像素阵列中的一个像素单元。

可选地，本申请实施例中，处理器110，具体用于在至少两组像素点的组数为M的情况下，获取第一组像素点的平均亮度值，并将第一组像素点中的每个第二像素点的亮度值调整为平均亮度值，将亮度调整后的第一组像素点中的所有像素点融合为一个像素点；将每组像素点对应融合出的像素点拼接，组成第一像素单元对应的第二像素矩阵。

可选地，本申请实施例中，处理器110，具体用于按照目标阵列模式，将至少两组像素点叠加，并将同一像素叠加位置上的所有像素点融合为一个像素点，得到第二像素单元对应的第二像素矩阵。

可选地，本申请实施例中，处理器110，具体用于按照目标阵列模式，从原始图像的图像像素阵列中，提取M个像素矩阵，M是基于目标阵列模式确定的；将M个像素矩阵拼接，得到目标图像。

本申请实施例提供的电子设备能够实现上述方法实施例实现的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本实施例中各种实现方式具有的有益效果具体可以参见上述方法实施例中相应实现方式所具有的有益效果，为避免重复，此处不再赘述。

应理解的是，本申请实施例中，输入单元104可以包括图形处理器(GraphicsProcessing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072中的至少一种。触控面板1071，也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作***、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器109可以包括易失性存储器或非易失性存储器，或者，存储器109可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器109包括但不限于这些和任意其它适合类型的存储器。

处理器110可包括一个或多个处理单元；可选的，处理器110集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作***、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (14)

1.一种图像处理方法，其特征在于，由电子设备执行，所述电子设备包括图像传感器，所述图像传感器包括第一像素阵列，所述方法包括：

接收拍摄输入；

响应于所述拍摄输入，通过所述图像传感器采集原始图像，所述原始图像的图像像素阵列的阵列模式与所述第一像素阵列的阵列模式相同；

在所述第一像素阵列对应的第一变焦倍率大于用户选择的第二变焦倍率的情况下，确定与所述第二变焦倍率匹配的目标阵列模式，并将所述原始图像的图像像素阵列的阵列模式转换为所述目标阵列模式，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述将所述原始图像的图像像素阵列的阵列模式转换为所述目标阵列模式，得到目标图像包括：

按照所述目标阵列模式，将所述第一像素阵列中的每个像素单元在所述原始图像的图像像素阵列中对应的第一像素矩阵转换为第二像素矩阵，得到所述目标图像。

3.根据权利要求2所述的方法，其特征在于，所述按照所述目标阵列模式，将所述第一像素阵列中的每个像素单元在所述原始图像的图像像素阵列中对应的第一像素矩阵转换为第二像素矩阵，包括：

从所述原始图像的图像像素阵列中，确定与所述第一像素阵列中的第一像素单元对应的第一像素矩阵；

按照所述目标阵列模式，从所述第一像素单元对应的第一像素矩阵中提取M个第一像素点，M是基于所述目标阵列模式确定的；

将所述M个第一像素点拼接，组成所述第一像素单元对应的第二像素矩阵，所述第一像素单元为所述第一像素阵列中的一个像素单元。

4.根据权利要求2所述的方法，其特征在于，所述按照所述目标阵列模式，将所述第一像素阵列中的每个像素单元在所述原始图像的图像像素阵列中对应的第一像素矩阵转换为第二像素矩阵，包括：

从所述原始图像的图像像素阵列中，确定与所述第一像素阵列中的第二像素单元对应的第一像素矩阵；

按照所述目标阵列模式，从所述第二像素单元对应的第一像素矩阵中提取至少两组像素点，每组像素点中包含M个第二像素点，M是基于所述目标阵列模式确定的；

基于所述至少两组像素点，得到所述第二像素单元对应的第二像素矩阵，所述第二像素单元为所述第一像素阵列中的一个像素单元。

5.根据权利要求4所述的方法，其特征在于，所述基于所述至少两组像素点，得到所述第二像素单元对应的第二像素矩阵，包括：

在所述至少两组像素点的组数为M的情况下，获取第一组像素点的平均亮度值，并将所述第一组像素点中的每个第二像素点的亮度值调整为所述平均亮度值，将亮度调整后的所述第一组像素点中的所有像素点融合为一个像素点；

将每组像素点对应融合出的像素点拼接，组成所述第一像素单元对应的第二像素矩阵。

6.根据权利要求4所述的方法，其特征在于，所述基于所述至少两组像素点，得到所述第二像素单元对应的第二像素矩阵，包括：

按照所述目标阵列模式，将所述至少两组像素点叠加，并将同一像素叠加位置上的所有像素点融合为一个像素点，得到所述第二像素单元对应的第二像素矩阵。

7.根据权利要求2所述的方法，其特征在于，所述将所述原始图像的图像像素阵列的阵列模式转换为所述目标阵列模式，得到目标图像包括：

按照所述目标阵列模式，从所述原始图像的图像像素阵列中，提取M个像素矩阵，M是基于所述目标阵列模式确定的；

将所述M个像素矩阵拼接，得到所述目标图像。

8.一种图像处理装置，其特征在于，由电子设备执行，所述电子设备包括图像传感器，所述图像传感器包括第一像素阵列，所述装置包括：接收模块、采集模块和处理模块；

所述接收模块，用于接收拍摄输入；

所述采集模块，用于响应于所述接收模块接收的拍摄输入，通过所述图像传感器采集原始图像，所述原始图像的图像像素阵列的阵列模式与所述第一像素阵列的阵列模式相同；

所述处理模块，用于在所述第一像素阵列对应的第一变焦倍率大于用户选择的第二变焦倍率的情况下，确定与所述第二变焦倍率匹配的目标阵列模式，并将所述原始图像的图像像素阵列的阵列模式转换为所述目标阵列模式，得到目标图像。

9.根据权利要求8所述的装置，其特征在于，所述处理模块，具体用于按照所述目标阵列模式，将所述第一像素阵列中的每个像素单元在所述原始图像的图像像素阵列中对应的第一像素矩阵转换为第二像素矩阵，得到所述目标图像。

10.根据权利要求9所述的装置，其特征在于，所述处理模块，具体用于从所述原始图像的图像像素阵列中，确定与所述第一像素阵列中的第一像素单元对应的第一像素矩阵；按照所述目标阵列模式，从所述第一像素单元对应的第一像素矩阵中提取M个第一像素点，M是基于所述目标阵列模式确定的；将所述M个第一像素点拼接，组成所述第一像素单元对应的第二像素矩阵，所述第一像素单元为所述第一像素阵列中的一个像素单元。

11.根据权利要求9所述的装置，其特征在于，所述处理模块，具体用于从所述原始图像的图像像素阵列中，确定与所述第一像素阵列中的第二像素单元对应的第一像素矩阵；

按照所述目标阵列模式，从所述第二像素单元对应的第一像素矩阵中提取至少两组像素点，每组像素点中包含M个第二像素点，M是基于所述目标阵列模式确定的；

基于所述至少两组像素点，得到所述第二像素单元对应的第二像素矩阵，所述第二像素单元为所述第一像素阵列中的一个像素单元。

12.根据权利要求11所述的装置，其特征在于，所述处理模块，具体用于在所述至少两组像素点的组数为M的情况下，获取第一组像素点的平均亮度值，并将所述第一组像素点中的每个第二像素点的亮度值调整为所述平均亮度值，将亮度调整后的所述第一组像素点中的所有像素点融合为一个像素点；

将每组像素点对应融合出的像素点拼接，组成所述第一像素单元对应的第二像素矩阵。

13.根据权利要求11所述的装置，其特征在于，所述处理模块，具体用于按照所述目标阵列模式，将所述至少两组像素点叠加，并将同一像素叠加位置上的所有像素点融合为一个像素点，得到所述第二像素单元对应的第二像素矩阵。

14.根据权利要求9所述的装置，其特征在于，所述处理模块，具体用于按照所述目标阵列模式，从所述原始图像的图像像素阵列中，提取M个像素矩阵，M是基于所述目标阵列模式确定的；将所述M个像素矩阵拼接，得到所述目标图像。