CN103516999A - 图像处理方法及图像处理装置 - Google Patents

Abstract

本发明提供一种图像处理方法及图像处理装置。该图像处理装置包括：接收单元，能够接收多个输入图像；图像对准单元，耦接于该接收单元并能够根据该多个输入图像执行图像对准来得到图像对准相关信息；以及散焦单元，耦接于该接收单元与该图像对准单元，该散焦单元能够根据该图像对准相关信息对从该输入图像选取的已选取图像执行散焦操作来产生已处理图像。本发明所提供的图像处理方法及图像处理装置，能够使得已处理图像中具有散焦视觉效果。

Description

图像处理方法及图像处理装置

技术领域

本发明关于处理多个输入图像以产生一个或多个已处理图像的技术，特别是有关于一种根据图像对准相关信息执行散焦（defocus）操作的图像处理方法及其图像处理装置。

背景技术

随着半导体技术的发展，单一电子装置支持更多的功能。举例来说，移动装置（例如，移动电话）可配备有数码相机。因此，使用者可以使用移动电话的数码相机捕获图像。移动装置可以为捕获图像提供附加视觉效果是很有利的。举例来说，模糊背景在多数情况下是强调主题和消除背景引起的注意力分散的极好方式。此效果在数码摄影中通过利用浅景深（depth of field）来取得。传统的机械装置通过适当设定孔径距离和聚焦距离取得浅景深。为了简化浅景深控制，移动装置可对已捕获图像执行后处理来产生浅景深。然而，传统的后处理方案一般要求复杂的算法，这将消耗大量功率和资源。因此，有必要寻求一种能以简单有效的方式产生已捕获图像的浅景深的创新的图像处理方案。

发明内容

有鉴于此，本发明提出一种图像处理方法及图像处理装置。

依据本发明第一实施方式，提供一种图像处理方法。该图像处理方法包括：接收多个输入图像；对该多个输入图像执行图像对准来得到图像对准相关信息；以及根据该图像对准相关信息对从该输入图像选取的已选取图像执行散焦操作来产生已处理图像。

依据本发明第二实施方式，提出一种图像处理方法。该图像处理方法包括：在图像捕获装置在移动/旋转时接收通过该图像捕获装置的单一镜头连续捕获的多个输入图像；以及根据该多个输入图像执行散焦操作来产生已处理图像。

依据本发明第三实施方式，提出一种图像处理方法。该图像处理方法包括：接收通过一个或多个图像捕获装置的多个镜头分别捕获的多个输入图像；以及对该多个输入图像执行散焦操作来产生已处理图像。

依据本发明第四实施方式，提出一种图像处理装置。该示范性图像处理装置包括接收单元、图像对准单元和散焦单元。其中，接收单元接收多个输入图像；图像对准单元耦接于该接收单元，并根据该多个输入图像执行图像对准来得到图像对准相关信息；散焦单元耦接于该接收单元与该图像对准单元，该散焦单元根据该图像对准相关信息对从该多个输入图像选取的已选取图像执行散焦操作来产生已处理图像。

依据本发明第五实施方式，提出一种图像处理装置。该图像处理装置包括接收单元和图像处理块。接收单元接收多个输入图像，其中该多个输入图像是在图像捕获装置在移动/旋转的同时通过该图像捕获装置的单一镜头连续捕获的；图像处理块，根据该输入图像执行散焦操作来产生已处理图像。

依据本发明第六实施方式，提出一种图像处理装置。该图像处理装置包括接收单元和图像处理块。其中，接收单元接收通过一个或多个图像捕获装置的多个镜头分别捕获的多个输入图像；图像处理块根据该多个输入图像执行散焦操作来产生已处理图像。

本发明所提供的图像处理方法及图像处理装置，能够使得已处理图像中具有散焦视觉效果。

附图说明

图1为根据本发明实施方式的图像处理装置的方框图。

图2为根据本发明第一实施方式的输入图像的产生的示意图。

图3为根据本发明第二实施方式的输入图像的产生的示意图。

图4A为根据本发明第三实施方式的输入图像的产生的示意图。

图4B为根据本发明第四实施方式的输入图像的产生的示意图。

图5为图1所示的接收单元接收的一个输入图像的示意图。

图6为图1所示的接收单元接收的另一个输入图像的示意图。

图7为根据本发明实施方式的将前景物体对准的已对准图像的示意图。

图8为根据本发明实施方式的将背景物体对准的已对准图像的示意图。

图9为图1所示图像处理装置产生的已处理图像的第一实施例的示意图。

图10为图1所示图像处理装置产生的已处理图像的第二实施例的示意图。

具体实施方式

在说明书及权利要求书当中使用了某些词汇来指称特定的元件。本领域技术人员应当理解，电子设备制造商可能会用不同的名词来称呼同样的元件。本说明书及权利要求书并不以名称的差异作为区分元件的方式，而是以元件在功能上的差异作为区分的准则。在通篇说明书及权利要求书当中所提及的“包括”为开放式的用语，故应解释成“包括但不限定于”。另外，“耦接”一词在此为包括任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表所述第一装置可直接电气连接于所述第二装置，或通过其他装置或连接手段间接地电气连接至所述第二装置。

本发明提出使用一种移动装置的相机或任意其他图像捕获装置以捕获两个或多个图像来产生与专业长焦距镜头相似的散焦视觉效果。相关细节将进一步描述如下。

图1为根据本发明实施方式的图像处理装置100的方框图。要求提供具有散焦视觉效果的输出图像的任意电子装置都可以采用图像处理装置100。举例来说，但并非作为本发明的限制条件，图像处理装置100可以由移动装置（例如，移动电话）中的图像处理芯片来实现。如图1所示，示范性图像处理装置100可以包括接收单元102和图像处理块103，其中图像处理块103包括图像对准单元104和散焦单元106，图像对准单元104耦接于接收单元102，散焦单元106耦接于接收单元102和图像对准单元104。接收单元102可作为输入接口，用于接收多个输入图像。在此实施方式中，接收单元102接收输入图像IMG_1和输入图像IMG_2以做进一步处理。需要注意的是，输入图像的数目并不限于两个，并且该输入图像的数目可以根据设计的需要/考虑来调整。输入图像IMG_1和输入图像IMG_2不需要具有相同的图像内容，并且可以通过使用单一镜头相机***、多镜头相机***或多个相机来产生。请参考图2，图2为根据本发明第一实施方式输入图像IMG_1和输入图像IMG_2的产生的示意图。图像捕获装置（数码相机模块）202可以是具有图像处理装置100于其中的移动装置、任意其它装置或单机装置（stand-alone device）的一部分。如图2所示，图像捕获装置202可具有镜头203（例如单一镜头（single-lens））。当图像捕获装置202位于第一位置P₁，使用者可以使用图像捕获装置202通过镜头203（例如单一镜头）捕获输入图像IMG_1。接着，使用者可以朝右移动图像捕获装置202至第二位置P2以使得在移动方向上具有位移量D，并且接下来使用图像捕获装置202通过镜头203（例如单一镜头）捕获另一个输入图像IMG_2。如此一来，具有不同的图像内容的输入图像IMG_1和输入图像IMG_2被产生并提供给图像处理装置100。请注意，图2所示的移动方向仅为了解释说明本发明，并非作为本发明的限制条件。使用者可以将图像捕获装置202向左或以任意其他方向从当前位置移动至新的位置。

请参考图3，图3为根据本发明第二实施方式的输入图像IMG_1和输入图像IMG_2的产生的示意图。当图像捕获装置202位于第一位置P1’,使用者可以使用图像捕获装置202通过镜头203（例如单一镜头）捕获输入图像IMG_1。接着，使用者可以朝顺时针方向旋转图像捕获装置202至第二位置P2’以使得在旋转方向上具有夹角θ，并且接下来使用图像捕获装置202通过镜头203（例如单一镜头）捕获输入图像IMG_2。如此一来，具有不同的图像内容的输入图像IMG_1和输入图像IMG_2被产生并提供给图像处理装置100。请注意，图3所示的旋转方向仅为了解释说明本发明，并非作为本发明的限制条件。使用者可以将图像捕获装置202朝逆时针方向或任意其他方向从当前位置旋转至新的位置。

图2显示了图像捕获装置202的位置通过简单移动图像捕获装置202来调整。图3显示了图像捕获装置202的位置通过简单旋转图像捕获装置202来调整。然而，使用者可以移动并旋转图像捕获装置202来改变图像捕获装置202的位置。从而达到获得具有不同的图像内容的输入图像IMG_1和输入图像IMG_2的目的。

请参考图4A，图4A为根据本发明第三实施方式的输入图像IMG_1和输入图像IMG_2的产生的示意图。图像捕获装置（数码相机模块）402可以是具有图像处理装置100于其中的移动装置、任意其它装置或单机装置的一部分。如图4A所示，图像捕获装置402可具有多个镜头403、404。举例来说，镜头403可以用于捕捉左眼图像，并且镜头404可以用于捕捉右眼图像。因此，使用者可以使用图像捕获装置402通过镜头403捕获输入图像IMG_1并通过镜头404捕获输入图像IMG_2。输入图像IMG_1和输入图像IMG_2可同时捕捉。由于镜头403和镜头404之间存在位移，具有不同的图像内容的输入图像IMG_1和输入图像IMG_2可被产生并提供给图像处理装置100。

请参考图4B，图4B为根据本发明第四实施方式的输入图像IMG_1和输入图像IMG_2的产生的示意图。使用单一的多镜头图像捕获装置可以等效于使用多个图像捕获装置，其中该多个图像捕获装置中的每个图像捕获装置分别具有至少一个镜头。因此，图4A所示的图像捕获装置402可以由图4B所示的两个单独的图像捕获装置412和图像捕获装置414来代替。由图4B可知，一个单独的图像捕获装置412具备有镜头403，并且另一个单独的图像捕获装置414具备有镜头404。从而达到获得具有不同的图像内容的输入图像IMG_1和输入图像IMG_2的目的。

由上可知，输入图像IMG_1和输入图像IMG_2可以在使用者的控制下产生。然而，本发明并不限制输入图像IMG_1和输入图像IMG_2的来源。举例来说，具有不同的图像内容的输入图像IMG_1和输入图像IMG_2可以从内部及/或外部存储装置读取或从通信网络获得，然后由所提出的图像处理装置100处理。此实施方式同样也落入本发明的保护范围。

请再参考图1，在接收单元102接收输入图像（即，输入图像IMG_1和输入图像IMG_2）后，图像处理块103的图像对准单元104通过对已接收的输入图像（即，输入图像IMG_1和输入图像IMG_2）执行图像对准操作来取得图像对准相关信息INF。具体来说，图像对准单元104能够对准输入图像IMG_1和输入图像IMG_2来获得已对准图像，并且估计已对准图像的至少一部分之间的差异来产生该图像对准相关信息INF。举例来说，一个已对准图像的一部分可以与另一个已对准图像的一部分进行比较来得到图像对准相关信息INF。请参考图5和图6，图5为图1所示的接收单元接收的一个输入图像的示意图。图6为图1所示的接收单元接收的另一个输入图像的示意图。在图5和图6中分别举例说明了输入图像IMG_1和输入图像IMG_2的实施例。输入图像IMG_1和输入图像IMG_2中的每一个都可以包括前景物体502和背景物体504，然而由于不同的图像捕获条件，在输入图像IMG_1中前景物体502的位置可能与在另一输入图像IMG_2中前景物体502的位置不同，并且在输入图像IMG_1中背景物体504的位置可能与在另一输入图像IMG_2中背景物体504的位置不同。此外，输入图像IMG_1中的前景物体502和背景物体504的相对位置可能与另一输入图像IMG_2中前景物体502和背景物体504的相对位置不同。

图像对准单元104可以操作于自动模式或者手动模式。在图像对准单元104配置为自动模式操作的情况下，图像对准单元104能够不需要使用者干预而自动对准输入图像IMG_1和输入图像IMG_2。即图像对准单元104可以对接收的输入图像IMG_1和输入图像IMG_2启动图像对准操作。举例来说，图像对准单元104可以采用特征点提取（feature point extraction）算法（例如，角点检测（cornerdetection）算法）或基于块（block-based）的算法（例如，基于差分绝对值求和（sum of absolute difference(SAD)）的算法）来对准输入图像IMG_1和输入图像IMG_2，以产生已对准图像IMG_1’和已对准图像IMG_2’。请分别参考图7和图8。图7为根据本发明实施方式的将前景物体对准的已对准图像的示意图。图8为根据本发明实施方式的将背景物体对准的已对准图像的示意图。当图像对准单元104决定将输入图像IMG_1和输入图像IMG_2中的前景物体502对准时，得到的(resultant)已对准图像IMG_1’和已对准图像IMG_2’如图7所示。此外，当图像对准单元104决定将输入图像IMG_1和输入图像IMG_2中的背景物体504对准时，得到的已对准图像IMG_1’和已对准图像IMG_2’如图8所示。

在图像对准单元104配置为手动模式操作的情况下，图像对准单元104能够响应使用者输入USER_IN来对准输入图像IMG_1和输入图像IMG_2，其中使用者输入USER_IN选择出感兴趣的区域（region of interest）。举例来说，输入图像IMG_1和输入图像IMG_2的其中之一可以显示在设有图像处理装置100于其中的移动装置的屏幕上，并且使用者可以通过根据已显示的输入图像IMG_1/输入图像IMG_2执行感兴趣区域选择来输入使用者输入USER_IN。当使用者选择已显示的前景物体502作为感兴趣的区域时，使用者输入USER_IN可以指示图像对准单元104对准输入图像IMG_1和输入图像IMG_2中的前景物体502以获得如图7所示的得到的已对准图像IMG_1’和已对准图像IMG_2’。此外，当使用者选择已显示的背景物体504作为感兴趣的区域时，使用者输入USER_IN可以指示图像对准单元104对准输入图像IMG_1和输入图像IMG_2中的背景物体504以获得如图8所示的得到的已对准图像IMG_1’和已对准图像IMG_2’。

需要注意的是，上述的图像对准操作仅为了解释本发明，并非对本发明起限制作用。也就是说，只要能获得希望的对准图像，图像对准单元104可以采用不同的图像对准算法来对准输入图像IMG_1和输入图像IMG_2。

在已对准图像IMG_1’和已对准图像IMG_2’成功获得后，图像对准单元104可以通过估计已对准图像IMG_1’和已对准图像IMG_2’的至少一部分之间的差异来进行产生图像对准相关信息INF的操作。举例来说，如果输入图像IMG_1是将被图像处理块103的散焦单元106处理的已选取图像IMG_S，图像对准单元104可将整个已选取图像IMG_S(即，输入图像IMG_1)视为一个块，或者将已选取图像IMG_S(即，输入图像IMG_1)划分为多个块，并根据已对准图像IMG_1’和已对准图像IMG_2’计算每个块的差分绝对值求和值，其中各个块的差分绝对值求和值可以作为图像对准相关信息INF提供给散焦单元106。此外，如果输入图像IMG_2为散焦单元106处理的已选取图像IMG_S（即，输入图像IMG_2），图像对准单元104可以将整个已选取图像IMG_S（即，输入图像IMG_2）视为一个块，或将已选取图像IMG_S（即，输入图像IMG_2）划分为多个块，并根据已对准图像IMG_1’和已对准图像IMG_2’计算每个块的差分绝对值求和值，其中各个块的差分绝对值求和值可作为图像对准相关信息INF提供给散焦单元106。

散焦单元106能够提供根据图像对准相关信息INF对已选取图像IMG_S（例如，输入图像IMG_1和输入图像IMG_2中的一个）执行散焦操作来产生已处理图像IMG_P。举例来说，散焦单元106可以包括模糊滤波器，该模糊滤波器对整个已选取图像IMG_S施加模糊滤波操作以由此产生已处理图像IMG_P。在此实施方式中，图像对准相关信息INF描述为模糊核心，并且散焦单元106能够根据图像对准相关信息INF来配置模糊滤波/模糊滤波操作。由上述可知，图像对准相关信息INF可以包括已选取图像IMG_S的各个块的差分绝对值求和值。因此，散焦单元106可以参考每个块的差分绝对值求和值来控制执行模糊滤波/模糊滤波操作的每个块的模糊度。在一个实施方式中，散焦单元106执行的应用于已选取图像IMG_S的模糊滤波操作的模糊度与已对准图像IMG_1’和已对准图像IMG_2’的至少一部分之间的差异成比例。因此，当一个块具有较大差分绝对值求和值时，模糊滤波/模糊滤波操作可以较强模糊/散焦该具有较大差分绝对值求和值的块，并当一个块具有较小差分绝对值求和值时，模糊滤波/模糊滤波操作可以较弱模糊/散焦该具有较小差分绝对值求和值的块。

请参考图9和图10。图9为图1所示图像处理装置产生的已处理图像的第一实施例的示意图。图10为图1所示图像处理装置产生的已处理图像的第二实施例的示意图。当图像对准单元104对准图7所示的输入图像IMG_1和输入图像IMG_2中的前景物体502时，由于较高的相似度，前景物体502的差分绝对值求和值会比较小，而背景物体504由于较低的相似度，其差分绝对值求和值会比较大。因此，如图9所示，对于在此情况下产生的已处理图像IMG_P，前景物体502比背景物体504更清晰/更聚焦。当图像对准单元104对准图8所示的输入图像IMG_1和输入图像IMG_2中的背景物体504时，由于较高的相似度，背景物体504的差分绝对值求和值会比较小，而前景物体502由于较低的相似度，其差分绝对值求和值会比较大。因此，如图10所示，对于在此情况下产生的已处理图像IMG_P，背景物体504比前景物体502更清晰/更聚焦。通过此种方法，具有浅景深（例如，一个具有聚焦前景和散焦背景的图像，或一个具有聚焦背景和散焦前景的图像）的已处理图像IMG_P可通过后处理阶段有效产生，该后处理阶段包括图像对准操作和散焦操作。

在已处理图像IMG_P产生后，已处理图像IMG_P可以显示在设有图像处理装置100的移动装置或任意其他装置的屏幕上。因此，由于已处理图像IMG_P的特定区域是清晰/清楚的而其他区域保持模糊，使用者可以感知浅景深。此外，移动电话可以支持其他视觉效果，例如图像变换。举例来说，输入图像IMG_1和输入图像IMG_2中的一个、已处理图像IMG_P以及输入图像IMG_1和输入图像IMG_2中的另一个可以按顺序显示。

图9仅仅显示了一个更清楚/更聚焦的物体（例如，前景物体502），并且图10仅仅显示了一个更清楚/更聚焦的物体（例如，背景物体504）。然而，此仅作为解释说明之用，并非作为本发明的限制条件。在实现上，可能存在有多于一个的具有较低模糊度应用于其上的对准区域及/或物体，并且当这些对准区域及/或物体显示在移动装置的屏幕上时是清晰/清楚的。

上述实施方式中，图像处理块103具有能够提供图像对准相关信息INF给散焦单元106的图像对准单元104。然而，此仅作为解释发明之用，并非作为本发明的限制条件。也就是说，图像对准单元104是一个可选单元。只要能够通过使用两个或更多的具有不同图像内容的输入图像使得已处理图像中具有散焦视觉效果，图像处理块103可以允许具有不同的配置。举例来说，图像捕获装置在移动/旋转的同时接收单元102接收通过图像捕获装置的单一镜头连续捕获的多个输入图像，并且图像处理块103通过根据输入图像执行散焦操作来产生已处理图像，即遵循了本发明的精神。此外，接收单元102接收通过一个或多个图像捕获装置的多个镜头分别捕获的多个输入图像，图像处理装置103通过根据输入图像执行散焦操作来产生已处理图像，也遵循了本发明的精神。

虽然本发明以较佳实施方式揭露如上，然而此较佳实施方式并非用以限定本发明，本领域技术人员不脱离本发明的精神和范围内，凡依本发明申请专利范围所做的均等变化与修饰，都应属本发明的涵盖范围。

Claims (20)

1.一种图像处理方法，其特征在于，包括：

接收多个输入图像；

对该多个输入图像执行图像对准来得到图像对准相关信息；以及

根据该图像对准相关信息对从该多个输入图像选取的已选取图像执行散焦操作来产生已处理图像。

2.根据权利要求1所述的图像处理方法，其特征在于，得到该图像对准相关信息的步骤包括：

对准该多个输入图像以获得多个已对准图像；以及

估计该多个已对准图像的至少一部分之间的差异来产生该图像对准相关信息。

3.根据权利要求2所述的图像处理方法，其特征在于，该多个输入图像是自动对准的不需要使用者干预。

4.根据权利要求2所述的图像处理方法，其特征在于，该多个输入图像响应选择出感兴趣区域的使用者输入来对准。

5.根据权利要求1所述的图像处理方法，其特征在于，产生该已处理图像的步骤包括：

根据该图像对准相关信息配置模糊滤波操作；以及

对该已选取图像应用该模糊滤波操作来产生该已处理图像。

6.根据权利要求5所述的图像处理方法，其特征在于，取得该图像对准相关信息的步骤包括：

对准该多个输入图像以获得多个已对准图像；以及

估计该多个已对准图像的至少一部分之间的差异来产生该图像对准相关信息；

其中对该已选取图像应用模糊滤波操作的模糊度与该多个已对准图像的至少一部分之间的差异成比例。

7.根据权利要求1所述的图像处理方法，其特征在于，接收该输入图像的步骤包括：

在图像捕获装置移动/旋转时接收通过该图像捕获装置的单一镜头连续捕获的该多个输入图像。

8.根据权利要求1所述的图像处理方法，其特征在于，接收该输入图像的步骤包括：

接收通过一个或多个图像捕获装置的多个镜头分别捕获的该多个输入图像。

9.一种图像处理方法，其特征在于，包括：

在图像捕获装置移动/旋转时接收通过该图像捕获装置的单一镜头连续捕获的多个输入图像；以及

根据该多个输入图像执行散焦操作来产生已处理图像。

10.一种图像处理方法，其特征在于，包括：

接收通过一个或多个图像捕获装置的多个镜头分别捕获的多个输入图像；以及

根据该多个输入图像执行散焦操作来产生已处理图像。

11.一种图像处理装置，其特征在于，包括：

接收单元，接收多个输入图像；

图像对准单元，耦接于该接收单元并对该多个输入图像执行图像对准来得到图像对准相关信息；以及

散焦单元，耦接于该接收单元与该图像对准单元，该散焦单元根据该图像对准相关信息对从该多个输入图像选取的已选取图像执行散焦操作来产生已处理图像。

12.根据权利要求11所述的图像处理装置，其特征在于，该图像对准单元对准该多个输入图像以获得多个已对准图像，并估计该多个已对准图像的至少一部分之间的差异来产生该图像对准相关信息。

13.根据权利要求12所述的图像处理装置，其特征在于，该图像对准单元自动对准该多个输入图像不需要使用者干预。

14.根据权利要求12所述的图像处理装置，其特征在于，该图像对准单元响应选择出感兴趣区域的使用者输入来对准该多个输入图像。

15.根据权利要求11所述的图像处理装置，其特征在于，该散焦单元根据该图像对准相关信息配置模糊滤波操作，并对该已选取图像应用模糊滤波操作来产生该已处理图像。

16.根据权利要求15所述的图像处理装置，其特征在于，该图像对准单元对准该多个输入图像以获得多个已对准图像，并估计该多个已对准图像的至少一部分之间的差异来产生该图像对准相关信息；并且该散焦单元对应用于该已选取图像的模糊滤波操作的模糊度与该已对准图像的至少一部分之间的差异成比例。

17.根据权利要求11所述的图像处理装置，其特征在于，该接收单元在图像捕获装置移动/旋转时接收通过该图像捕获装置的单一镜头连续捕获的该多个输入图像。

18.根据权利要求11所述的图像处理装置，其特征在于，该接收单元接收通过一个或多个图像捕获装置的多个镜头分别捕获的该多个输入图像。

19.一种图像处理装置，其特征在于，包括：

接收单元，在图像捕获装置移动/旋转时接收通过该图像捕获装置的单一镜头连续捕获的多个输入图像；以及

图像处理块，根据该输入图像执行散焦操作来产生已处理图像。

20.一种图像处理装置，其特征在于，包括：

接收单元，接收通过一个或多个图像捕获装置的多个镜头分别捕获的多个输入图像；以及

图像处理块，能够根据该多个输入图像执行散焦操作来产生已处理图像。

Images