CN113676630A - 图像处理方法及装置、终端及计算机可读存储介质 - Google Patents

图像处理方法及装置、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN113676630A
CN113676630A CN202110907459.XA CN202110907459A CN113676630A CN 113676630 A CN113676630 A CN 113676630A CN 202110907459 A CN202110907459 A CN 202110907459A CN 113676630 A CN113676630 A CN 113676630A
Authority
CN
China
Prior art keywords
image
channel
pixels
pixel
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110907459.XA
Other languages
English (en)
Other versions
CN113676630B (zh
Inventor
蒋乾波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110907459.XA priority Critical patent/CN113676630B/zh
Publication of CN113676630A publication Critical patent/CN113676630A/zh
Application granted granted Critical
Publication of CN113676630B publication Critical patent/CN113676630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质。图像处理方法包括：处理单通道的第一图像，以生成的第二图像，第二图像的尺寸大于第一图像，第二图像包括通道像素和填充像素，填充像素由空白像素根据通道像素得到，包括：通过预设尺寸的轮询框轮询通道像素和空白像素，并根据轮询框内的通道像素和空白像素的位置偏移、及轮询框的梯度信息，计算通道像素的权重；及根据轮询框中的通道像素的像素值及权重，将空白像素填充为填充像素。本申请实施方式的图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质在对填充像素进行插值时，充分利用图像的局部梯度信息，以保证插值的准确性。

Description

图像处理方法及装置、终端及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，更具体而言，涉及一种图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质。
背景技术
目前，用于彩色成像的图像传感器一般都设置有滤光片，每个像素仅能接收一个颜色的光线，如目前较为常见的拜尔阵列滤光片，像素可接收红光、绿光或蓝光，然后通过去马赛克算法将每个像素未接收到的光插值得到，如红色像素(即接收红光的像素)通过去马赛克算法插值得到绿色通道值和蓝色通道值，从而生成彩色图像。然而，由于去马赛克算法在插值过程中无方向性，导致插值方向错误，则会引入了相关性较低的像素参与插值，从而导致插值不准确。
发明内容
本申请实施方式提供一种图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质。
本申请实施方式的图像处理方法包括处理单通道的第一图像，以生成的第二图像，所述第二图像的尺寸大于所述第一图像，所述第二图像包括通道像素和填充像素，所述填充像素由空白像素根据所述通道像素得到，包括：通过预设尺寸的轮询框轮询所述通道像素和所述空白像素，并根据所述轮询框内的所述通道像素和所述空白像素的位置偏移、及所述轮询框的梯度信息，计算所述通道像素的权重；及根据所述轮询框中的所述通道像素的像素值及所述权重，将所述空白像素填充为所述填充像素。
本申请实施方式的图像处理装置包括生成模块、第一计算模块和第二计算模块。所述生成模块用于处理单通道的第一图像，以生成的第二图像，所述第二图像的尺寸大于所述第一图像，所述第二图像包括通道像素和填充像素，所述填充像素由空白像素根据所述通道像素得到。所述计算模块用于通过预设尺寸的轮询框轮询所述通道像素和所述空白像素，并根据所述轮询框内的所述通道像素和所述空白像素的位置偏移、及所述轮询框的梯度信息，计算所述通道像素的权重。所述第二计算模块用于根据所述轮询框中的所述通道像素的像素值及所述权重，将所述空白像素填充为所述填充像素。
本申请实施方式的终端包括处理器。所述处理器用于处理单通道的第一图像，以生成的第二图像，所述第二图像的尺寸大于所述第一图像，所述第二图像包括通道像素和填充像素，所述填充像素由空白像素根据所述通道像素得到，所述处理器还用于通过预设尺寸的轮询框轮询所述通道像素和所述空白像素，并根据所述轮询框内的所述通道像素和所述空白像素的位置偏移、及所述轮询框的梯度信息，计算所述通道像素的权重；及根据所述轮询框中的所述通道像素的像素值及所述权重，将所述空白像素填充为所述填充像素。
本申请实施方式的非易失性计算机可读存储介质包含计算机程序，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行如下图像处理方法：处理单通道的第一图像，以生成的第二图像，所述第二图像的尺寸大于所述第一图像，所述第二图像包括通道像素和填充像素，所述填充像素由空白像素根据所述通道像素得到，包括：通过预设尺寸的轮询框轮询所述通道像素和所述空白像素，并根据所述轮询框内的所述通道像素和所述空白像素的位置偏移、及所述轮询框的梯度信息，计算所述通道像素的权重；及根据所述轮询框中的所述通道像素的像素值及所述权重，将所述空白像素填充为所述填充像素。
本申请实施方式的图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质通过单通道的第一图像生成第二图像，由于第二图像中的填充像素的像素值是通过通道像素的像素值和权重得到的。而通道像素的权重利用了轮询框的梯度信息，即图像的局部梯度信息进行计算，从而保证在对填充像素进行插值时，充分利用图像的局部梯度信息，以保证插值的准确性。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1和图2是本申请某些实施方式的图像处理方法的流程示意图；
图3是本申请某些实施方式的图像处理装置的示意图；
图4是本申请某些实施方式的终端的平面示意图；
图5至图7是本申请某些实施方式的图像处理方法的场景示意图；
图8是本申请某些实施方式的图像处理方法的流程示意图；
图9是本申请某些实施方式的图像处理方法的场景示意图；
图10至图13是本申请某些实施方式的图像处理方法的流程示意图；
图14是本申请某些实施方式的图像处理方法的场景示意图；
图15是本申请某些实施方式的图像处理方法的流程示意图；
图16是本申请某些实施方式的图像处理方法的场景示意图；
图17至图22是本申请某些实施方式的图像处理方法的流程示意图；
图23是本申请某些实施方式的图像处理方法的场景示意图；
图24是本申请某些实施方式的非易失性计算机可读存储介质和处理器的连接状态示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
请参阅图1和图2，本申请实施方式提供一种图像处理方法。该图像处理方法包括步骤：
01：处理单通道的第一图像，以生成的第二图像，第二图像的尺寸大于第一图像，第二图像包括通道像素和填充像素，填充像素由空白像素根据通道像素得到。步骤01，具体为填充像素由空白像素根据通道像素得到，还包括步骤：
011：通过预设尺寸的轮询框轮询通道像素和空白像素，并根据轮询框内的通道像素和空白像素的位置偏移、及轮询框的梯度信息，计算通道像素的权重；及
012：根据轮询框中的通道像素的像素值及权重，将空白像素填充为填充像素。
请参阅图3，本申请实施方式提供一种图像处理装置10。图像处理装置10包括生成模块11、第一计算模块12及第二计算模块13。本申请实施方式的图像处理方法可应用于图像处理装置10。其中生成模块11用于执行步骤01，第一计算模块12用于执行步骤011，第二计算模块13用于执行步骤012。即，生成模块11用于处理单通道的第一图像，以生成的第二图像。第一计算模块12用于通过预设尺寸的轮询框轮询通道像素和空白像素，并根据轮询框内的通道像素和空白像素的位置偏移、及轮询框的梯度信息，计算通道像素的权重。第二计算模块13用于根据轮询框中的通道像素的像素值及权重，将空白像素填充为填充像素。
请参阅图4，本申请实施方式还提供一种终端100。终端100包括处理器20。本申请实施方式的图像处理方法可应用于终端100。处理器20用于执行步骤01、步骤011和步骤012。即，处理器20用于处理单通道的第一图像，以生成的第二图像；通过预设尺寸的轮询框轮询通道像素和空白像素，并根据轮询框内的通道像素和空白像素的位置偏移、及轮询框的梯度信息，计算通道像素的权重；及根据轮询框中的通道像素的像素值及权重，将空白像素填充为填充像素。
具体地，终端100还包括壳体40。终端100可以是手机、平板电脑、显示设备、笔记本电脑、柜员机、闸机、智能手表、头显设备、游戏机等。如图4所示，本申请实施方式以终端100是手机为例进行说明，可以理解，终端100的具体形式并不限于手机。壳体40还可用于安装终端100的显示装置、成像装置、供电装置、通信装置等功能模块，以使壳体40为功能模块提供防尘、防摔、防水等保护。
在对单通道的第一图像处理时，可对第一图像进行预定倍数的放大处理，以使生成的第二图像的分辨率放大预定倍数，如2倍、3倍、4倍及更多倍等。如图5所示，对第一图像进行2倍放大处理，即可得到如图5右图所示的第二图像，第二图像中包含有与第一图像中的每个像素的像素值相同的通道像素，和未填有像素值的填充像素，即空白像素。其中，空白像素的像素值可根据通道像素的像素值得到，由此，以得到填充像素的像素值。
其中，单通道的第一图像包括有R(红色)通道的图像、G(绿色)通道的图像、B(蓝色)通道的图像、W(白色)通道的图像等。当对R通道的第一图像进行处理后，则生成的第二图像为R通道的第一图像的放大图；当对G通道的第一图像进行处理后，则生成的第二图像为G通道的第一图像的放大图；当对B通道的第一图像进行处理后，则生成的第二图像为B通道的第一图像的放大图。由此，当第一图像分别包含多种不同颜色的单通道图时，则生成的第二图像为多张不同颜色的单通道图。
接下来，处理器20可通过轮询框以轮询第二图像内的通道像素和空白像素，以根据位于同一轮询框内的通道像素和空白像素的位置偏移，及轮询框的梯度信息，以计算得到通道像素的权重。
具体地，如图6所示，以第二图像的左上角为原点，建立坐标系，S为轮询框，则当轮询框S轮询至像素N处时，位于该轮询框S内的通道像素分别为A1、A2、A4及A5，根据坐标系则可求得通道像素与空白像素的位置偏移，以一个像素为坐标轴上的一个单位为例，则通道像素A1相对空白像素的位置变化为(1，1)，通道像素A2相对空白像素的位置变化为(-1，1)，通道像素A4相对空白像素的位置变化为(1，-1)，通道像素A5相对空白像素的位置变化为(-1，-1)。而轮询框的梯度信息为该轮询框对应的第二图像的梯度信息，具体可根据该轮询框内的通道像素的梯度值得到。由此，则可根据下述公式(1)，以求得所有通道像素对应的权重。其中，通道像素与空白像素的位置偏移可根据下述公式(2)得到。例如，以轮询框S为例，则通道像素A1与空白像素的位置偏移d1为[1，1]T，将其带入公式(1)则可得到通道像素A1的权重W1。由此，则可分别求得通道像素A1的权重W1，通道像素A2的权重W2，通道像素A4的权重W4，通道像素A2的权重W5，即得到轮询框S内所有通道像素的权重。
Figure BDA0003202304400000051
di＝[xi-x0，yi-y0]T (2)
Figure BDA0003202304400000052
其中，Wi为第i个像素位置处的通道像素的权重，di为第i个像素位置处的通道像素与空白像素的位置偏移，C为根据该轮询框对应的第二图像的梯度信息构建的协方差矩阵，T为转置符号，R(x，y)为该轮询框轮询到的空白像素的像素值，Vi为第i个像素位置处的通道像素的像素值。
以轮询框S为例，通道像素A1、A2、A4和A5的像素值为已知值，在得到通道像素A1的权重W1，通道像素A2的权重W2，通道像素A4的权重W4，通道像素A2的权重W5后，则可将W1、W2、W4及W5代入公式(3)，以得到空白像素N的像素值。
综上，依次通过轮询框轮询第二图像，则可得到第二图像中所有空白像素的像素值，从而将空白像素的像素值填充为填充像素，以得到完整的第二图像。其中，轮询框的预设尺寸可以是第二图像的二分之一、四份之一、八分之一等。
在某些实施方式中，当轮询框内的通道像素的数量为四个以下时，处理器20可根据在轮询框内的已有通道像素，对该轮询框内不位于第二图像内的单元进行虚拟值填充，以计算空白像素的像素值。如图7所示，当轮询框S1轮询至空白像素M位置时，轮询框S1内仅存在通道像素A7和通道像素A8，则处理器20会在轮询框S1不位于第二图像内的单元内再对称填充一个通道像素A7和通道像素A8，从而计算空白像素M的像素值。
在本申请实施方式的图像处理方法、图像处理装置10及终端100通过单通道的第一图像生成第二图像，由于第二图像中的填充像素的像素值是通过通道像素的像素值和权重得到的。而通道像素的权重利用了轮询框的梯度信息，即图像的局部梯度信息进行计算，从而保证在对填充像素进行插值时，充分利用图像的局部梯度信息，以保证插值的准确性。
请参阅图3、图4及图8，本申请实施方式的图像处理方法，还包括步骤：
02：获取M帧第三图像；及
03：抽取第三图像中相同预设类型通道的图像数据，以生成M*N个第一图像，M和N为正整数，所述N根据第三图像的通道数确定。
在某些实施方式中，生成模块11用于执行步骤02和步骤03。即生成模块11用于获取M帧第三图像；及抽取第三图像中相同预设类型通道的图像数据，以生成M*N个第一图像，M和N为正整数，N根据第三图像的通道数确定。
在某些实施方式中，处理器20用于执行步骤02和步骤03。即处理器20用于获取M帧第三图像；及抽取第三图像中相同预设类型通道的图像数据，以生成M*N个第一图像，M和N为正整数，N根据第三图像的通道数确定。
具体地，在本申请的图像处理方法中，还可对M帧第三图像进相同预设类型通道的图像数据进行抽取，从而生成多张相同通道的第一图像，即对多帧图像进行处理。
其中，第三图像的预设类型通道包括多个通道的图像数据，例如，对于常规拜尔阵列排布的滤光片而言，预设类型通道的数量可根据颜色确定，如第三图像的预设类型通道包括R通道、G通道和B通道，R通道、G通道和B通道的像素的数量比例为1:2:1；或者预设类型通道的数量可根据组成滤光片的基本单元包含的像素确定，拜尔阵列的基本单元包括4个像素，即第三图像包括R通道、G1通道、G2通道和B通道，其中，G1和G2的波段可相同或部分重叠；或者，第三图像包括R通道、G通道、B通道和W通道，R通道、G通道、B通道和W通道的像素数量相同；当然，第三图像的通道分布不限于上述两种方式，在此不作限制。本申请实施方式中，第三图像包括R通道、G1通道、G2通道和B通道。
由此，当处理器20获取M帧第三图像，并根据M帧图像中相同预设类型通道的图像数据进行抽取，可生成M*N张第一图像，其中，N根据第三图像的通道数确定。
处理器20可根据第三图像中最小重复单元的通道数确定N的大小，如第三图像中的最小重复单元包含有R通道、G1通道、G2通道和B通道，共4个通道，则N为4，或可根据第三图像中包含的颜色数量确定N的大小，如第三图像中包含R、G、B三种颜色，则N为3，又如，第三图像中包含R、G、B、W四种颜色，则N为4。
具体地，如图9所示，以其中一帧第三图像为例，该第三图像的最小重复单元Q中包含有R通道、G1通道、G2通道和B通道4个通道，则处理器20会抽取得到R通道的第一图像、G1通道的第一图像、G2通道的第一图像及B通道的第一图像，共4张第一图像(如图9右图所示)。
接下来，若有10帧图像，则可生成10*4(40)张第一图像，分别为10*1张R通道的第一图像、10*1张G1通道的第一图像、10*1张G2通道的第一图像及10*1张B通道的第一图像，即10张R通道的第一图像、10张G1通道的第一图像、10张G2通道的第一图像和10张B通道的第一图像。
请参阅图3、图4、图10，本申请实施方式的图像处理方法，还包括步骤：
04：确定M帧第三图像中的基准帧和非基准帧，并对齐基准帧和非基准帧，以使第二图像对齐。
请结合图11，步骤04包括步骤：
041：计算第三图像的锐度，锐度根据第三图像的水平方向和垂直方向的梯度确定；
042：确定锐度最大的第三图像为基准帧；及
043：确定除基准帧之外的第三图像为非基准帧。
请结合图12，步骤04还包括步骤：
044：识别基准帧的多个第一特征点；
045：获取非基准帧与第一特征点匹配的第二特征点；及
046：根据第一特征点和第二特征点的映射关系，建立基准帧和非基准帧的透视矩阵，以对齐基准帧和非基准帧。
请结合图13，步骤045包括步骤：
0451：确定基准帧中，包含第一特征点的第一特征区域；
0452：确定非基准帧中的第三特征点，并确定包含第三特征点的第二特征区域，第三特征点在非基准帧中的位置和第一特征点在基准帧中的位置相同，第二特征区域大于第一特征区域；
0453：获取第二特征区域中与第一特征区域尺寸相同的多个第三特征区域；
0454：确定与第一特征区域的相似度最大的第三特征区域为第四特征区域；及
0455：确定第四特征区域中的第二特征点，第一特征点在第一特征区域的位置和第二特征点在第四特征区域的位置相同。
在某些实施方式中，图线处理装置还包括对齐模块，对齐模块用于执行步骤04、步骤041、步骤042、步骤043、步骤044、步骤045、步骤046、步骤0451、步骤0452、步骤0453、步骤0454及步骤0455。即对齐模块用于确定M帧第三图像中的基准帧和非基准帧，并对齐基准帧和非基准帧，以使第二图像对齐。对齐模块用于计算第三图像的锐度，锐度根据第三图像的水平方向和垂直方向的梯度确定；确定锐度最大的第三图像为基准帧；及确定除基准帧之外的第三图像为非基准帧；对齐模块用于识别基准帧的多个第一特征点；获取非基准帧与第一特征点匹配的第二特征点；及：根据第一特征点和第二特征点的映射关系，建立基准帧和非基准帧的透视矩阵，以对齐基准帧和非基准帧。对齐模块还用于确定基准帧中，包含第一特征点的第一特征区域；：确定非基准帧中的第三特征点，并确定包含第三特征点的第二特征区域，第三特征点在非基准帧中的位置和第一特征点在基准帧中的位置相同，第二特征区域大于第一特征区域；获取第二特征区域中与第一特征区域尺寸相同的多个第三特征区域；确定与第一特征区域的相似度最大的第三特征区域为第四特征区域；及确定第四特征区域中的第二特征点，第一特征点在第一特征区域的位置和第二特征点在第四特征区域的位置相同。
在某些实施方式中，处理器20用于执行步骤04、步骤041、步骤042、步骤043、步骤044、步骤045、步骤046、步骤0451、步骤0452、步骤0453、步骤0454及步骤0455。即处理器20用于确定M帧第三图像中的基准帧和非基准帧，并对齐基准帧和非基准帧，以使第二图像对齐。处理器20用于计算第三图像的锐度，锐度根据第三图像的水平方向和垂直方向的梯度确定；确定锐度最大的第三图像为基准帧；及确定除基准帧之外的第三图像为非基准帧；处理器20用于识别基准帧的多个第一特征点；获取非基准帧与第一特征点匹配的第二特征点；及：根据第一特征点和第二特征点的映射关系，建立基准帧和非基准帧的透视矩阵，以对齐基准帧和非基准帧。处理器20还用于确定基准帧中，包含第一特征点的第一特征区域；：确定非基准帧中的第三特征点，并确定包含第三特征点的第二特征区域，第三特征点在非基准帧中的位置和第一特征点在基准帧中的位置相同，第二特征区域大于第一特征区域；获取第二特征区域中与第一特征区域尺寸相同的多个第三特征区域；确定与第一特征区域的相似度最大的第三特征区域为第四特征区域；及确定第四特征区域中的第二特征点，第一特征点在第一特征区域的位置和第二特征点在第四特征区域的位置相同。
具体地，在进行计算多张第二图像中空白像素的像素值前，需要先将M帧第三图像对齐，保证M*N张单通道的第一图像对齐，以使生成后的第二图像对齐，从而保证生成第二图像中填充像素的准确性。
首先可根据下述公式(4)以计算每张第三图像的锐度，锐度可根据第三图像在水平方向和垂直方向上的梯度确定，然后选取锐度最大的第三图像作为基准帧，将多帧第三图像中除基准帧之外的其他第三图像作为非基准帧，然后以基准帧为基准，将非基准帧与基准帧对齐。
Figure BDA0003202304400000081
其中，Ix为第三图像在水平方向上的梯度，Iy为第三图像在垂直方向上的梯度，S为第三图像的锐度。
进一步地，如图14所示，处理器20可先识别基准帧P1的多个第一特征点T1，第一特征点T1可通过对图像进行特征识别确定(如通过识别Harris角点确定第一特征点T1)，然后识别非基准帧P2中，与第一特征点T1匹配的第二特征点T2，每一对匹配的第一特征点T1和第二特征点T2均存在一个映射关系，根据多对第一特征点T1和第二特征点T2的多个映射关系，即可建立基准帧P1和非基准帧P2的透视矩阵，从而实现基准帧P1和非基准帧P2的对齐。或者，根据每一对匹配的第一特征点T1和第二特征点T2的映射关系，可建立拟合曲线，从而建立基准帧P1和非基准帧P2的映射关系，实现基准帧P1和非基准帧P2的对齐。
更具体地，确定非基准帧P2中与第一特征点T1匹配的第二特征点T2时，处理器20首先确定基准帧P1中包含第一特征点T1的第一特征区域R1，例如，第一特征点T1位于第一特征区域R1的中心，然后确定非基准帧P2中的第三特征点T3，并确定包含第三特征点T3的第二特征区域R2，第三特征点T3在非基准帧P2的位置和第一特征点T1在基准帧P1中的位置相同，第二特征区域R2大于第一特征区域R1。
接下来，处理器20在第二特征区域R2中选取多个与第一特征区域R1的尺寸相同的第三特征区域R3，如第一特征区域R1的尺寸为3*3像素，第二特征区域R2的尺寸为5*5像素，则第二特征区域R2中可获取9个第三特征区域R3，然后根据下述公式(5)计算每个第三特征区域R3和第一特征区域R1相似度。
Figure BDA0003202304400000091
其中，
Figure BDA0003202304400000092
和
Figure BDA0003202304400000093
分别代表基准帧P1上的第i个第一特征点T1为中心的第一特征区域R1和非基准帧P2上第二特征区域R2中的第j个第三特征区域R3，表示与第一特征区域R1尺寸大小相等的一个高斯核，δ是人为设置的一个参数用来调节权重大小。
处理器20通过公式(5)则可确定与第一特征区域R1相似度最大的第三特征区域R3为第四特征区域R4，从而在第四特征区域R4中确定与第一特征点T1匹配的第二特征点T2，第一特征点T1在第一特征区域R1的位置和第二特征点T2在第四特征区域R4的位置相同。
可以理解，由于第一特征点T1在基准帧P1中的位置与第二特征点T2在非基准帧P2中的位置可能偏差较大，因此设置大于第一特征区域R1的第二特征区域R2进行匹配，可防止第一特征点T1和第二特征点T2偏差较大时，第二特征区域R2中不存在与第一特征点T1匹配的第二特征点T2，从而提升第一特征点T1和第二特征点T2的匹配准确性。
综上，当处理器20得到与第一特征区域R2对应的第四特征区域R4后，处理器20则可根据第一特征区域R2中的第一特征点T1的坐标与第四特征区域R4中的第二特征点T2的坐标之间的关系，进行透视变换，由此则可将多帧第三图像对齐，以使多张第二图像对齐，从而保证计算多张第二图像中空白像素的像素值的准确性。
请参阅图3、图4及图15，在某些实施方式中，步骤012：根据轮询框中的通道像素的像素值及权重，将空白像素填充为填充像素，包括步骤：
0121：根据相同预设类型通道的第一图像对应的多个第二图像中，多个轮询框内的通道像素的像素值及权重，计算空白像素的像素值，并将空白像素的像素值填充为填充像素，多个轮询框分别对应于多个第二图像，且在多个第二图像中的位置相同。
在某些实施方式中，第二计算模块13用于执行步骤0121，即第二计算模块13用于根据相同预设类型通道的第一图像对应的多个第二图像中，多个轮询框内的通道像素的像素值及权重，计算空白像素的像素值，并将空白像素的像素值填充为填充像素，多个轮询框分别对应于多个第二图像，且在多个第二图像中的位置相同。
在某些实施方式中，处理器20用于执行步骤0121，即处理器20用于根据相同预设类型通道的第一图像对应的多个第二图像中，多个轮询框内的通道像素的像素值及权重，计算空白像素的像素值，并将空白像素的像素值填充为填充像素，多个轮询框分别对应于多个第二图像，且在多个第二图像中的位置相同。
具体地，在对齐M帧图像以抽取M*N张第一图像后，M*N张第一图像则可生成多张第二图像。由此，相同预设类型通道的第一图像则会对应有多张第二图像，例如，两帧包含有R通道、G1通道、G2通道和B通道的第三图像，则会生成两张R通道的第一图像，两张G1通道的第一图像，两张G2通道的第一图像和两张B通道的第一图像，相同通道的第一图像，即为相同预设类型的第一图像。
以两张R通道的第一图像为例，则对应有两张R通道的第二图像，由此，处理器20可根据两张第二图像中位置对应的轮询框内的通道像素的像素值及权重来计算空白像素的像素值，如图16所示，P3和P4分别代表一张第二图像，当轮询框S2在第二图像P3中轮询至空白像素N1处时，此时，需要计算空白像素N1的像素值，则需要根据第二图像P3的轮询框S2中的通道像素R1、R2、R4及R5的像素值及对应的权重(根据上述公式(1)计算得到)，和第二图像P4中的轮询框S3中的通道像素R1’、R2’、R4’及R5’的像素值及对应的权重，并优化上述公式(3)，以得到下述公式(6)，从而求得空白像素N1的像素值。
Figure BDA0003202304400000101
其中，m为第三图像的帧数M(由上述可知，第三图像的帧数M与第二图像的数量一致)。
需要说明的是，第二图像P3中的轮询框S2与第二图像P4中的轮询框S3的位置相同，则空白像素N1和空白像素N2的位置相同，由公式(6)可知，多张第二图像中的同一位置的空白像素的计算参数是相同的，因此，多张第二图像中相同位置的空白像素的像素值相同。处理器20仅需计算一张第二图像中空白像素的像素值，则可得到所有第二图像中空白像素的像素值，从而将空白像素的像素值填充为填充像素，以得到像素填充完整的第二图像。
请参阅图17，本申请实施方式的图像处理方法，还包括步骤：
05：根据填充像素的像素值和基准帧对应的第二图像中的通道像素的像素值，生成第四图像。
在某些实施方式中，生成模块11用于执行步骤05，即生成模块11用于根据填充像素的像素值和基准帧对应的第二图像中的通道像素的像素值，生成第四图像。
在某些实施方式中，处理器20用于执行步骤05，即处理器20用于根据填充像素的像素值和基准帧对应的第二图像中的通道像素的像素值，生成第四图像。
根据上述可知，多张第二图像中相同位置的空白像素的像素值是相同的，因此，多张第二图像中填充像素的像素值均相同。处理器20则可根据填充像素的像素值和基准帧对应的第二图像中的通道像素的像素值，以生成第四图像。
其中，基准帧为锐度最大的第三图像，则根据基准帧抽取的多张第一图像，以生成的第二图像能够更准确的反应第三图像的梯度信息。因此，根据填充像素的像素值和基准帧对应的第二图像中的通道像素的像素值生成的第四图像更接近第三图像的梯度信息。换句话说，处理器20通过上述公式(6)以得到填充像素的像素值，并根据基准帧对应的第二图像中通道像素的像素值，可将多张第二图像融合，以得到融合有多张第二图像的梯度信息的第四图像。
综上，根据第三图像包含的通道数量，则可生成与通道数量一致的第四图像。如第三图像包含R通道、G通道及B通道，则可生成R通道的第四图像、G通道的第四图像和B通道第四图像。又如，如第三图像包含R通道、G1通道、G2通道及B通道，则可生成R通道的第四图像、G通道的第四图像和B通道第四图像。
请参阅图3、图4、图18至图20，本申请实施方式的图像处理方法，还包括步骤：
06：融合R通道的第四图像、G通道的第四图像及B通道的第四图像，以生成去马赛克图像；或
07：融合R通道的第四图像、G1通道的第四图像、G2通道的第四图像及B通道的第四图像，以生成去马赛克图像；或
08：融合R通道的第四图像、G通道的第四图像、B通道的第四图像及W通道的第四图像，以生成去马赛克图像。
在某些实施方式中，融合模块14用于执行步骤06、步骤07和步骤08，即融合模块14用于获取第一图像中与待融合图像的位置对应的第二待融合区域；及使用待融合图像替换第二待融合区域，以生成目标图像。
在某些实施方式中，处理器20用于执行步骤06、步骤07和步骤08，即处理器20用于融合R通道的第四图像、G通道的第四图像及B通道的第四图像，以生成去马赛克图像；或融合R通道的第四图像、G1通道的第四图像、G2通道的第四图像及B通道的第四图像，以生成去马赛克图像；或融合R通道的第四图像、G通道的第四图像、B通道的第四图像及W通道的第四图像，以生成去马赛克图像。
具体地，根据第三图像中包含的通道类型，处理器20则可抽取对应通道类型的第一图像，由此，最终生成的第四图像与第三图像中包含的通道类型相关。
在一个实施方式中，第三图像中包含有R通道、G通道和B通道，处理器20则可抽取得到R通道的第一图像、G通道的第一图像和B通道的第一图像，因此，最终生成的第四图像分别为R通道的第四图像、G通道的第四图像和B通道的第四图像，则将R通道的第四图像、G通道的第四图像和B通道的第四图像融合，即可生成去马赛克图像。
在另一个实施方式中，若第三图像中包含有R通道、G1通道、G2通道和B通道，处理器20则可抽取得到R通道的第一图像、G1通道的第一图像、G2通道的第一图像和B通道的第一图像，因此，最终生成的第四图像分别为R通道的第四图像、G1通道的第四图像、G2通道的第四图像和B通道的第四图像，则将R通道的第四图像、G1通道的第四图像、G2通道的第四图像和B通道的第四图像融合，即可生成去马赛克图像。
在又一个实施方式中，若第三图像中包含有R通道、G通道、B通道和W通道，处理器20则可抽取得到R通道的第一图像、G通道的第一图像、B通道的第一图像和W通道的第一图像，因此，最终生成的第四图像分别为R通道的第四图像、G通道的第四图像、B通道的第四图像和W通道的第四图像，则将R通道的第四图像、G通道的第四图像、B通道的第四图像和W通道的第四图像融合，即可生成去马赛克图像。
其中，由于第二图像中的填充像素的像素值的计算，引入了对应轮询框内通道像素的梯度信息，因此，生成的第四图像同样引入了轮询框内通道像素的梯度信息(局部图像的梯度信息)，而梯度信息的引入可以更好的区分图像噪声和平坦区域，则可保证最终生成的去马赛克图像能够更好的区分图像噪声和平坦区域，从而利于恢复图像细节和抑制噪声。
请参阅图3、图4及图21，本申请实施方式的图像处理方法，还包括步骤：
09：融合颜色相同的第四图像，以生成第五图像。
在某些实施方式中，生成模块11用于执行步骤09，即生成模块11用于融合颜色相同的第四图像，以生成第五图像。
在某些实施方式中，处理器20用于执行步骤09，即处理器20用于融合颜色相同的第四图像，以生成第五图像。
具体地，在处理器20生成对应第二图像的多张第四图像后，处理器20还会判断多张第四图像的颜色，以融合颜色相同的第四图像，从而生成第五图像。例如，最终生成的第四图像中包含两种绿色的第四图像，则处理器20可通过计算两张绿色的第四图像的位置对应的像素的像素值的平均值，并根据所有像素的像素值的平均值，以生成第五图像。
因此，当根据多张第四图像以生成去马赛克图像时，处理器20以提前将相同颜色的第四图像进行融合，而用于生成去马赛克图像的多张第四图像为不同颜色的第四图像。
请参阅图3、图4及图22，本申请实施方式的图像处理方法，第四图像包括待处理图像和处理图像，待处理图像包括由R像素组成的第四图像或由B像素组成的第四图像，处理图像包括由G像素组成的第四图像或由G像素组成的第五图像，还包括步骤：
0101：确定待处理图像中包含第一像素的第一图像区域和处理图像中包含第二像素的第二图像区域，第一像素在待处理图像中的位置和第二像素在处理图像中的位置相同，第一像素在第一图像区域的位置和第二像素在第二图像区域的位置相同；及
0102：根据比值及第二像素的像素值，计算第一像素的像素值，以生成已处理图像，比值根据第一图像区域内的像素的像素值之和，和第二图像区域内的像素的像素值之和确定。
在某些实施方式中，生成模块11用于执行步骤0101和步骤0102，即生成模块11用于确定待处理图像中包含第一像素的第一图像区域和处理图像中包含第二像素的第二图像区域，第一像素在待处理图像中的位置和第二像素在处理图像中的位置相同，第一像素在第一图像区域的位置和第二像素在第二图像区域的位置相同；及根据比值及第二像素的像素值，计算第一像素的像素值，以生成已处理图像，比值根据第一图像区域内的像素的像素值之和，和第二图像区域内的像素的像素值之和确定。
在某些实施方式中，处理器20用于执行步骤0101和步骤0102，即处理器20用于确定待处理图像中包含第一像素的第一图像区域和处理图像中包含第二像素的第二图像区域，第一像素在待处理图像中的位置和第二像素在处理图像中的位置相同，第一像素在第一图像区域的位置和第二像素在第二图像区域的位置相同；及根据比值及第二像素的像素值，计算第一像素的像素值，以生成已处理图像，比值根据第一图像区域内的像素的像素值之和，和第二图像区域内的像素的像素值之和确定。
具体地，在生成去马赛克图像之前，为避免去马赛克图像出现伪彩现象，因此，需先对R通道和B通道的第四图像进行优化。
其中，根据是否需要进行优化，第四图像可分为待处理图像和处理图像，待处理图像包括由R像素组成的第四图像或由B像素组成的第四图像，处理图像包括由G像素组成的第四图像。此外，处理图像还可以是由G像素组成的第五图像。
进一步的，待处理图像可根据处理图像以进行优化，具体过程如下：
以待处理图像为B像素组成的第四图像，处理图像为G像素组成的第四图像为例，如图23所示，处理器20首先确定待处理图像P5中包含第一像素K1的第一图像区域X1，及处理图像P6中包含第二像素K2的第二图像区域X2，由此，则可知第一图像区域X1中所有像素的像素值之和，及第二图像区域X2内所有像素的像素值之和。其中，第一像素在待处理图像中的位置和第二像素在处理图像中的位置相同，第一像素在第一图像区域的位置和第二像素在第二图像区域的位置相同。
然后，则可根据第一图像区域内的像素的像素值之和，和第二图像区域内的像素的像素值之和，以得到两个和之间的比值，并根据比值和第二像素的像素值，计算第一像素的像素值(具体如下公式(7)所示)，以完成对第一像素的优化，依此方法，则可完成对待处理图像中所有像素进行优化，从而生成已处理图像。
Figure BDA0003202304400000141
其中，VB,i为B通道的第四图像上第i个像素(即第一像素)位置处经过优化后的结果像素值，N表示第一图像区域内所有像素的个数，VG,i为G通道的第四图像上第i个像素(即第二像素)的像素值。
需要说明得是，待处理图像也可根据G像素组成的第五图像进行优化，优化方法与上述方法相同，且通过G像素组成的第五像素的像素值进行优化，可更准确的优化待处理图像。
请参阅继续图3、图4及图22，本申请实施方式的图像处理方法，还包括步骤：
0103：根据由R像素组成的已处理图像、由B像素组成的已处理图像及由G像素组成的处理图像，以生成去马赛克图像。
在某些实施方式中，生成模块11用于执行步骤0103，即生成模块11用于根据由R像素组成的已处理图像、由B像素组成的已处理图像及由G像素组成的处理图像，以生成去马赛克图像。
在某些实施方式中，处理器20用于执行步骤0103，即处理器20用于根据由R像素组成的已处理图像、由B像素组成的已处理图像及由G像素组成的处理图像，以生成去马赛克图像。
具体地，在对待处理图像进行优化后，则可分别得到由R像素组成的已处理图像和由B像素组成的已处理图像，处理器20则可将R像素组成的已处理图像、由B像素组成的已处理图像及由G像素组成的处理图像融合，即将相同位置的通道进行叠加，以生成去马赛克图像。
其中，由于生成的去马赛克图像，是根据优化后的由R像素组成的已处理图像和由B像素组成的已处理图像进行融合的，相较于优化前直接通过由R像素组成的待处理图像、由B像素组成的带处理图像，及由G像素组成的处理图像进行融合得到去马赛克图像而言，可避免去马赛克图像中出现伪彩现象。
请参阅图24，本申请实施方式还提供一种包含计算机程序201的非易失性拟计算机可读存储介质200。当计算机程序201被一个或多个处理器20执行时，使得一个或多个处理器20执行上述任一实施方式的图像处理方法。
例如，计算机程序201被一个或多个处理器20执行时，使得处理器20执行以下图像处理方法：
01：处理单通道的第一图像，以生成的第二图像，第二图像的尺寸大于第一图像，第二图像包括通道像素和填充像素，填充像素由空白像素根据通道像素得到。
又例如，计算机程序201被一个或多个处理器20执行时，使得处理器20执行以下图像处理方法：
011：通过预设尺寸的轮询框轮询通道像素和空白像素，并根据轮询框内的通道像素和空白像素的位置偏移、及轮询框的梯度信息，计算通道像素的权重；及
012：根据轮询框中的通道像素的像素值及权重，将空白像素填充为填充像素。
又例如，计算机程序201被一个或多个处理器20执行时，使得处理器20执行以下图像处理方法：
02：获取M帧第三图像；及
03：抽取第三图像中相同预设类型通道的图像数据，以生成M*N个第一图像，M和N为正整数，所述N根据第三图像的通道数确定。
又例如，计算机程序201被一个或多个处理器20执行时，使得处理器20执行以下图像处理方法：
04：确定M帧第三图像中的基准帧和非基准帧，并对齐基准帧和非基准帧，以使第二图像对齐。
041：计算第三图像的锐度，锐度根据第三图像的水平方向和垂直方向的梯度确定；
042：确定锐度最大的第三图像为基准帧；及
043：确定除基准帧之外的第三图像为非基准帧。
044：识别基准帧的多个第一特征点；
045：获取非基准帧与第一特征点匹配的第二特征点；及
046：根据第一特征点和第二特征点的映射关系，建立基准帧和非基准帧的透视矩阵，以对齐基准帧和非基准帧。
0451：确定基准帧中，包含第一特征点的第一特征区域；
0452：确定非基准帧中的第三特征点，并确定包含第三特征点的第二特征区域，第三特征点在非基准帧中的位置和第一特征点在基准帧中的位置相同，第二特征区域大于第一特征区域；
0453：获取第二特征区域中与第一特征区域尺寸相同的多个第三特征区域；
0454：确定与第一特征区域的相似度最大的第三特征区域为第四特征区域；及
0455：确定第四特征区域中的第二特征点，第一特征点在第一特征区域的位置和第二特征点在第四特征区域的位置相同。
又例如，计算机程序201被一个或多个处理器20执行时，使得处理器20执行以下图像处理方法：
0121：根据相同预设类型通道的第一图像对应的多个第二图像中，多个轮询框内的通道像素的像素值及权重，计算空白像素的像素值，并将空白像素的像素值填充为填充像素，多个轮询框分别对应于多个第二图像，且在多个第二图像中的位置相同。
再例如，计算机程序201被一个或多个处理器20执行时，使得处理器20执行以下图像处理方法：
05：根据填充像素的像素值和基准帧对应的第二图像中的通道像素的像素值，生成第四图像。
06：融合R通道的第四图像、G通道的第四图像及B通道的第四图像，以生成去马赛克图像；或
07：融合R通道的第四图像、G1通道的第四图像、G2通道的第四图像及B通道的第四图像，以生成去马赛克图像；或
08：融合R通道的第四图像、G通道的第四图像、B通道的第四图像及W通道的第四图像，以生成去马赛克图像。
09：融合颜色相同的第四图像，以生成第五图像。
还例如，计算机程序201被一个或多个处理器20执行时，使得处理器20执行以下图像处理方法：
0101：确定待处理图像中包含第一像素的第一图像区域和处理图像中包含第二像素的第二图像区域，第一像素在待处理图像中的位置和第二像素在处理图像中的位置相同，第一像素在第一图像区域的位置和第二像素在第二图像区域的位置相同；及
0102：根据比值及第二像素的像素值，计算第一像素的像素值，以生成已处理图像，比值根据第一图像区域内的像素的像素值之和，和第二图像区域内的像素的像素值之和确定。
0103：根据由R像素组成的已处理图像、由B像素组成的已处理图像及由G像素组成的处理图像，以生成去马赛克图像。
在本说明书的描述中，参考术语“某些实施方式”、“一个例子中”、“示例地”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
处理单通道的第一图像，以生成的第二图像，所述第二图像的尺寸大于所述第一图像，所述第二图像包括通道像素和填充像素，所述填充像素由空白像素根据所述通道像素得到，包括：
通过预设尺寸的轮询框轮询所述通道像素和所述空白像素，并根据所述轮询框内的所述通道像素和所述空白像素的位置偏移、及所述轮询框的梯度信息，计算所述通道像素的权重；及
根据所述轮询框中的所述通道像素的像素值及所述权重，将所述空白像素填充为所述填充像素。
2.根据权利要求1所述的图像处理方法，其特征在于，包括：
获取M帧第三图像；及
抽取所述第三图像中相同预设类型通道的图像数据，以生成M*N个所述第一图像，所述M和N为正整数，所述N根据所述第三图像的通道数确定。
3.根据权利要求2所述的图像处理方法，其特征在于，所述图像处理方法还包括：
确定M帧所述第三图像中的基准帧和非基准帧，并对齐所述基准帧和所述非基准帧，以使所述第二图像对齐；
所述根据所述轮询框中的所述通道像素的像素值及所述权重，将所述空白像素填充为所述填充像素，包括：
根据相同预设类型通道的所述第一图像对应的多个所述第二图像中，多个所述轮询框内的所述通道像素的像素值及所述权重，计算所述空白像素的像素值，并将所述空白像素的像素值填充为所述填充像素，多个所述轮询框分别对应于多个所述第二图像，且在多个所述第二图像中的位置相同。
4.根据权利要求3所述的图像处理方法，其特征在于，所述图像处理方法还包括：
根据所述填充像素的像素值和所述基准帧对应的所述第二图像中的所述通道像素的像素值，生成第四图像。
5.根据权利要求4所述的图像处理方法，其特征在于，包括：
所述第三图像包括R通道、G通道和B通道；或
所述第三图像包括R通道、G1通道、G2通道和B通道，所述G1通道和所述G2通道在所述第三图像的最小重复单元中的位置不同；或
所述第三图像包括R通道、G通道、B通道和W通道。
6.根据权利要求5所述的图像处理方法，其特征在于，还包括：
融合R通道的所述第四图像、G通道的所述第四图像及B通道的所述第四图像，以生成去马赛克图像；或
融合R通道的所述第四图像、G1通道的所述第四图像、G2通道的所述第四图像及B通道的所述第四图像，以生成去马赛克图像；或
融合融合R通道的所述第四图像、G通道的所述第四图像、B通道的所述第四图像及W通道的所述第四图像，以生成去马赛克图像。
7.根据权利要求4所述的图像处理方法，其特征在于，包括：
融合颜色相同的所述第四图像，以生成第五图像。
8.根据权利要求4或7所述的图像处理方法，其特征在于，所述第四图像包括待处理图像和处理图像，所述待处理图像包括由R像素组成的第四图像或由B像素组成的第四图像，所述处理图像包括由G像素组成的第四图像或由G像素组成的第五图像，所述图像处理方法还包括：
确定所述待处理图像中包含第一像素的第一图像区域和所述处理图像中包含第二像素的第二图像区域，所述第一像素在所述待处理图像中的位置和所述第二像素在所述处理图像中的位置相同，所述第一像素在所述第一图像区域的位置和所述第二像素在所述第二图像区域的位置相同；及
根据比值及所述第二像素的像素值，计算所述第一像素的像素值，以生成已处理图像，所述比值根据所述第一图像区域内的像素的像素值之和，和所述第二图像区域内的像素的像素值之和确定。
9.根据权利要求8所述的图像处理方法，其特征在于，所述图像处理方法还包括：
根据由R像素组成的所述已处理图像、由B像素组成的所述已处理图像及由G像素组成的处理图像，以生成去马赛克图像。
10.根据权利要求3所述的图像处理方法，其特征在于，所述确定多帧所述第三图像中的基准帧和非基准帧，包括：
计算所述第三图像的锐度，所述锐度根据所述第三图像的水平方向和垂直方向的梯度确定；
确定所述锐度最大的所述第三图像为所述基准帧；及
确定除所述基准帧之外的所述第三图像为所述非基准帧。
11.根据权利要求3所述的图像处理方法，其特征在于，所述对齐所述基准帧和所述非基准帧，包括：
识别所述基准帧的多个第一特征点；
获取所述非基准帧与所述第一特征点匹配的第二特征点；及
根据所述第一特征点和所述第二特征点的映射关系，建立所述基准帧和所述非基准帧的透视矩阵，以对齐所述基准帧和所述非基准帧。
12.根据权利要求11所述的图像处理方法，其特征在于，所述获取所述非基准帧与所述第一特征点匹配的第二特征点，包括：
确定所述基准帧中，包含所述第一特征点的第一特征区域；
确定所述非基准帧中的第三特征点，并确定包含所述第三特征点的第二特征区域，所述第三特征点在所述非基准帧中的位置和所述第一特征点在所述基准帧中的位置相同，所述第二特征区域大于所述第一特征区域；
获取所述第二特征区域中与所述第一特征区域尺寸相同的多个第三特征区域；
确定与所述第一特征区域的相似度最大的所述第三特征区域为第四特征区域；及
确定所述第四特征区域中的所述第二特征点，所述第一特征点在所述第一特征区域的位置和所述第二特征点在所述第四特征区域的位置相同。
13.一种图像处理装置，其特征在于，包括：
生成模块，所述生成模块用于处理单通道的第一图像，以生成的第二图像，所述第二图像的尺寸大于所述第一图像，所述第二图像包括通道像素和填充像素，所述填充像素由空白像素根据所述通道像素得到；
第一计算模块，所述第一计算模块用于通过预设尺寸的轮询框轮询所述通道像素和所述空白像素，并根据所述轮询框内的所述通道像素和所述空白像素的位置偏移、及所述轮询框的梯度信息，计算所述通道像素的权重；及
第二计算模块，所述第二计算模块用于根据所述轮询框中的所述通道像素的像素值及所述权重，将所述空白像素填充为所述填充像素。
14.一种终端，其特征在于，包括处理器，所述处理器用于：
处理单通道的第一图像，以生成的第二图像，所述第二图像的尺寸大于所述第一图像，所述第二图像包括通道像素和填充像素，所述填充像素由空白像素根据所述通道像素得到，所述处理器还用于：
通过预设尺寸的轮询框轮询所述通道像素和所述空白像素，并根据所述轮询框内的所述通道像素和所述空白像素的位置偏移、及所述轮询框的梯度信息，计算所述通道像素的权重；及
根据所述轮询框中的所述通道像素的像素值及所述权重，将所述空白像素填充为所述填充像素。
15.一种包含计算机程序的非易失性计算机可读存储介质，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1-12任意一项所述的图像处理方法。
CN202110907459.XA 2021-08-09 2021-08-09 图像处理方法及装置、终端及计算机可读存储介质 Active CN113676630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110907459.XA CN113676630B (zh) 2021-08-09 2021-08-09 图像处理方法及装置、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110907459.XA CN113676630B (zh) 2021-08-09 2021-08-09 图像处理方法及装置、终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113676630A true CN113676630A (zh) 2021-11-19
CN113676630B CN113676630B (zh) 2024-01-09

Family

ID=78541929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110907459.XA Active CN113676630B (zh) 2021-08-09 2021-08-09 图像处理方法及装置、终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113676630B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013080920A1 (ja) * 2011-11-28 2013-06-06 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
CN109919842A (zh) * 2019-01-28 2019-06-21 努比亚技术有限公司 图像放大控制方法、终端及计算机可读存储介质
CN111510692A (zh) * 2020-04-23 2020-08-07 Oppo广东移动通信有限公司 图像处理方法、终端及计算机可读存储介质
CN112200747A (zh) * 2020-10-16 2021-01-08 展讯通信（上海）有限公司 一种图像处理方法、装置及计算机可读存储介质
CN113160145A (zh) * 2021-03-29 2021-07-23 深圳中科飞测科技股份有限公司 检测方法、检测装置、检测设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013080920A1 (ja) * 2011-11-28 2013-06-06 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US20140270518A1 (en) * 2011-11-28 2014-09-18 Olympus Corporation Image processing device, image processing method and storage medium storing image processing program
CN109919842A (zh) * 2019-01-28 2019-06-21 努比亚技术有限公司 图像放大控制方法、终端及计算机可读存储介质
CN111510692A (zh) * 2020-04-23 2020-08-07 Oppo广东移动通信有限公司 图像处理方法、终端及计算机可读存储介质
CN112200747A (zh) * 2020-10-16 2021-01-08 展讯通信（上海）有限公司 一种图像处理方法、装置及计算机可读存储介质
CN113160145A (zh) * 2021-03-29 2021-07-23 深圳中科飞测科技股份有限公司 检测方法、检测装置、检测设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN113676630B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
US9532018B2 (en) Projection system, device and method for the output of calibration projection scenes
EP2652678B1 (en) Systems and methods for synthesizing high resolution images using super-resolution processes
CN112070845B (zh) 双目相机的标定方法、装置及终端设备
US9111365B2 (en) Edge-adaptive interpolation and noise filtering method, computer-readable recording medium, and portable terminal
US8085320B1 (en) Early radial distortion correction
US20110234765A1 (en) Image processing apparatus, image processing method, image processing program, and compound eye digital camera
US20120188409A1 (en) Camera with multiple color sensors
EP2847998B1 (en) Systems, methods, and computer program products for compound image demosaicing and warping
EP3879821A1 (en) Color adjustment method, color adjustment device, electronic device and computer-readable storage medium
CN113570532B (zh) 图像处理方法、装置、终端和可读存储介质
CN113989392A (zh) 拼接摄像机的彩色棋盘格标定方法、装置及摄像机
US10594999B2 (en) Method and apparatus for creating a pair of stereoscopic images using least one lightfield camera
CN114331916B (zh) 图像处理方法及电子设备
EP3429197B1 (en) Image processing apparatus, imaging apparatus, image processing method, and program
CN113052765A (zh) 基于最优栅格密度模型的全景图像拼接方法
CN113676630B (zh) 图像处理方法及装置、终端及计算机可读存储介质
CN115941920B (zh) 裸眼3d视频生成方法、装置、设备及存储介质
CN109285113A (zh) 一种基于梯度的改进彩色图像插值方法
CN105049820B (zh) 图像处理设备、摄像设备和图像处理方法
US9380285B2 (en) Stereo image processing method, stereo image processing device and display device
CN113676659B (zh) 图像处理方法及装置、终端及计算机可读存储介质
CN111161204A (zh) 图像处理方法、装置、电子设备及可读存储介质
EP4343678A1 (en) Method and apparatus for processing array image
CN115499629B (zh) 横向色差校正方法、装置、设备以及存储介质
CN116630172A (zh) 图像处理方法及装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant