CN101583010A - 图像处理方法及图像处理*** - Google Patents

Abstract

本发明提供一种图像处理方法及图像处理***，该图像处理方法包含下列步骤：存储一图像数据，其对应一特定视角范围；于该图像数据所对应的该特定视角范围中选择多个目标物件；以及依据每一目标物件于该图像数据中所对应的一部分图像数据来产生一合成图像数据。每一部分图像数据所对应的一视角范围均小于该特定视角范围。本发明可以更有效率及更精确地于图像数据中决定出所需要的多个目标物件，并据以合成特定新的图像，更进一步而言，运用本发明实施例中所描述的技术，可以选出使用者所需要的图像数据，如此一来，不但可以减少图像对***资源的占用，更可以减少沟通上的成本。

Description

图像处理方法及图像处理***

技术领域

本发明涉及图像处理，尤其涉及一种自对应较大视角范围的图像数据中提取出对应较小视角范围的多个部分图像数据来产生一合成图像数据的图像处理方法与图像处理***。

背景技术

随着网络的发展，视频会议***广泛地利用在企业与远距教学中，不论开会地点分散世界各地皆可通过视频会议***的使用来进行有效沟通。然而，往往参与会议的人数都不只一人，若希望能在开会时同时看到所有与会者的表情、动作，由于图像提取设备(例如：网络摄像机)本身的视角问题，一般图像提取设备仅能提取一场景或仅以一个与会者为目标的图像数据。为了同时得到多个与会者为目标的图像数据以进行如面对面般有效率的视频会议，公知的作法则是分别提供每一个与会者一个网络摄像机，如此一来，便可得到以个别与会者为目标所提取到的图像数据，然而，此一作法不但造成开会时的成本，也造成传输上***资源不必要的浪费(也即需传输大量的图像数据)。因此，急需一种可同时提取多个图像数据的新型视频会议***来使与会者之间进行更有效率的沟通。

发明内容

本发明的目的之一在于提供一种自对应较大视角范围的图像数据中提取出对应较小视角范围的多个部分图像数据来产生一合成图像数据的图像处理方法与图像处理***，以解决上述问题。

根据本发明的一实施例，本发明揭示一种图像处理方法。该图像处理方法包含有：存储一图像数据，其对应一特定视角范围；于该图像数据所对应的该特定视角范围中选择多个目标物件；以及依据每一目标物件于该图像数据中所对应的一部分图像数据来产生一合成图像数据。每一部分图像数据所对应的一视角范围均小于该特定视角范围。

此外，根据本发明的一实施例，本发明还揭示一种图像处理***。该图像处理***包含有一存储装置与一处理模块。该存储装置存储一图像数据，且该图像数据对应一特定视角范围。该处理模块耦接于该存储装置，用以于该图像数据所对应的该特定视角范围中选择多个目标物件，并依据每一目标物件于该图像数据中所对应的一部分图像数据来产生一合成图像数据。每一部分图像数据所对应的一视角范围均小于该特定视角范围。

本发明可以更有效率及更精确地于图像数据中决定出所需要的多个目标物件，并据以合成特定新的图像，更进一步而言，运用本发明实施例中所描述的技术，可以选出使用者所需要的图像数据，如此一来，不但可以减少图像对***资源的占用，更可以减少沟通上的成本。

附图说明

图1为本发明图像处理***的概要示意图。

图2为本发明图像处理模块***的一实施例的功能方块示意图。

图3为图像数据、经过全景处理后的初步修正图像数据以及合成图像数据的示意图。

图4为本发明图像处理方法的一实施例的流程图。

其中，附图标记说明如下：

10、101图像处理***

12处理模块

14、105存储装置

103处理器

16、113实体图像提取设备

18、115虚拟图像提取设备

107图像数据

108初步修正图像数据

109图像控制应用程序

111合成图像数据

117第一存储单元

118第二存储单元

119第三存储单元

120第四存储单元

202使用者界面

具体实施方式

在说明书及随附的权利要求当中使用了某些词汇来指代特定的元件。所属领域中的普通技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及随附的权利要求并不以名称的差异来作为区分元件的方式，而是以元件在功能上的差异来作为区分的准则。在通篇说明书及随附的权利要求中所提及的“包含”为一开放式的用语，故应解释成“包含但不限定于”。此外，“耦接”一词在此包含任何直接及间接的电气连接手段，因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电气连接于该第二装置，或者通过其他装置或连接手段间接地电气连接至该第二装置。

请参阅图1，图1为本发明图像处理***10的概要(generalized)示意图。图像处理***10包含有一处理模块12、一存储装置14、一实体图像提取设备(physical video capturing device)16以及至少一虚拟图像提取设备(virtualvideo capturing device)18。请注意，虚拟图像提取设备的个数仅作为范例说明之用，并非用以作为本发明的限制，也即，可依据需求来适当地建立出虚拟图像提取设备，此外，虚拟图像提取设备的建立可通过任何可行的方式，例如独立的应用程序或者与作业***有关的独立机制，换言之，本发明并未局限于虚拟图像提取设备的建立方式。实体图像提取设备16会提取对应一特定视角范围的一场景(scene)以产生一图像数据D_IN，并将图像数据D_IN存储至存储装置14，接着，处理模块12便会自存储装置14所暂存的图像数据D_IN所对应的特定视角范围中选出多个目标物件，并依据每一目标物件于该图像数据中所对应的部分图像数据(每一部分图像数据所对应的视角范围均小于图像数据D_IN所对应的特定视角范围)来产生一合成图像数据D_OUT，最后，处理模块12便将合成图像数据D_OUT传递至虚拟图像提取设备18而输出至需要合成图像数据D_OUT的元件或设备。请注意，图1所示的处理模块12可由硬件、软件或者两者的搭配来加以实现，也即任何可实现处理模块12的所需功能的架构均属本发明的范畴。为了更加清楚地描述本发明的技术特征，以下通过一个由处理器执行图像控制应用程序来实现处理模块12的功能的范例来说明。请注意，随附所揭示的实施例仅作为范例说明之用，并非用以作为本发明的限制条件。

请一并参阅图2与图3，图2为依据本发明的一实施例所示出的图像处理***101的功能方块示意图，而图3则示出图像数据107、经过一全景处理后的初步修正图像数据108以及合成图像数据111的示意图。本实施例中，图像处理***101包含有一处理器103、一存储装置105、一实体图像提取设备113以及至少一虚拟图像提取设备115。请注意，虚拟图像提取设备的个数仅作为范例说明之用，并非用以作为本发明的限制，也即，可依据需求来适当地建立出虚拟图像提取设备。处理器103被利用来执行图像控制应用程序109以实现图1所示的处理模块12的功能，此外，如图2所示，存储装置105耦接于处理器103，且包含至少一第一存储单元117、一第二存储单元118、一第三存储单元119以及一第四存储单元121，用来分别存储提取自实体图像提取设备113的图像数据107、经过一全景处理后的初步修正图像数据108、图像控制应用程序109以及合成图像数据111。第一存储单元117、第二存储单元118、第三存储单元119以及第四存储单元121可由易失性存储元件(例如动态随机存取存储器)、非易失性存储元件(例如闪存或硬盘)或两者组合来加以实作，此外，第一存储单元117、第二存储单元118、第三存储单元119以及第四存储单元121可整合于同一存储元件中，也可分别独立设置于不同存储元件中，换言之，本实施例中，存储装置105泛指存储图像数据107、初步修正图像数据108、图像控制应用程序109以及合成图像数据111的存储空间。

本实施例中，合成图像数据111(如图3的图(B)所示)会被显示于一使用者界面(user interface，UI)202中，并具有四个子画面分别显示初步修正图像数据108中四个被选定的目标物件所对应的一部分图像数据，如图3所示，每一目标物件所对应的部分图像数据的视角范围均小于图像数据107(如图3的图(A)所示)所对应的原始视角范围，更进一步来说，每一部分图像数据所对应的视角范围于一对角线方向上的视角均小于图像数据107所涵盖的场景所对应的特定视角范围于该对角线方向上的视角。请注意，所选定的目标物件并非限制为图3中的四个目标物件，初步修正图像数据108的任何其它部分可依据使用者或其它条件而被选作目标物件，且在不影响本发明技术揭示之下，图3中以简单的图形来代表经过全景处理前的图像数据107中的物件、经过全景处理后的初步修正图像数据108中的物件以及合成图像数据111中的目标物件，也即，图3所示的物件的形状与大小仅作为范例说明之用，而非本发明的限制条件。此外，处理器103另执行图像控制应用程序109来将初步修正图像数据108转换为合成图像数据111以作为虚拟图像提取设备115的输出，其中初步修正图像数据108为图像数据107经过一全景处理后的图像，其细节将于后面详述。

请参考图4，图4为本发明图像处理方法的一实施例的流程图。请注意，假若可获得大致上相同的结果，则本发明图像处理方法的步骤不一定要遵照图4所示的流程来依序执行。本发明图像处理方法包含以下步骤：

步骤302：使用一实体图像提取设备来提取一场景(scene)以产生一图像数据，其中该实体图像提取设备采用一广角镜头或一鱼眼镜头以便提取到对应较大视角范围的场景；

步骤303：对该图像数据进行一全景处理以得到较适合人眼观察但仍有扭曲现象的一初步修正图像数据；

步骤304：于该初步修正图像数据所对应的该场景中选择多个目标物件；

步骤305：依据每一目标物件于该初步修正图像数据所对应的一部分图像数据来进行一反扭曲(dewarp)处理，以分别产生一子画面(处理后的部分图像数据)；

步骤306：分别调整这些子画面的参数以产生相对应的调整后的子画面；

步骤308：将该多个调整后的子画面重新组合成一合成图像数据；以及

步骤312：以该合成图像数据作为虚拟图像提取设备的输出。

下面详细说明图2所示的图像处理***101执行图4所示的方法的细节。首先，实体图像提取单元113对特定场景进行拍摄以产生一图像数据107，如步骤302，其中图像数据107被存储于第一存储单元117。本实施例中，实体图像提取单元113的镜头采用一广角镜头或一鱼眼镜头(举例来说，图3的图(A)所示出的例子是代表由鱼眼镜头所提取的图像数据)，然而，此仅作为范例说明之用，并非是本发明的限制条件。

由于广角镜头焦距短于标准镜头，视角(view angle)大于人眼，而鱼眼镜头焦距极短并且视角接近180°或等于180°的镜头，因此当采用一广角镜头或一鱼眼镜头作为实体图像提取设备113的镜头时，会造成图像数据107的几何扭曲(也即图像数据107为一几何扭曲图像)，此时处理器103所执行的图像控制应用程序109可通过对图像数据107进行一全景处理以得到较适合人眼观察但仍有扭曲现象的一初步修正图像数据108，如步骤303，并且可自动载入反扭曲参数或使用者手动调整对应于镜头型态的视角范围，以便对初步修正图像数据108所被选取的每一目标物件于初步修正图像数据108中所对应的一部分图像数据来分别进行一反扭曲(dewarp)处理，如步骤305。关于如何进行反扭曲处理的技术已为同业所知，故不在此赘述。图像控制应用程序109也可针对不同镜头摆放位置来作镜头方向的调整，然而，任一与图像处理相关的矫正方式均可被图像控制应用程序109所采用，均符合本发明的精神且落在本发明的范畴内。

此外，本实施例中，处理器103执行图像控制应用程序109以让使用者可经由使用者界面202来自初步修正图像数据108所对应的场景中选择出多个目标物件(object)，如步骤304，之后，处理器103所执行的图像控制应用程序109便会依据每一目标物件于初步修正图像数据108中所对应的一部分图像数据来分别产生一子画面(处理后的部分图像数据)以显示于图3的图(B)所示的使用者界面202的右半部。本实施例中，目标物件的个数为4，因此所产生的子画面也同时为4，此外，目标物件选择方式并不限于使用者手动指定，也可采用***自动指定的方式来决定目标物件选择操作的目标物件选择设定，举例来说，目标物件选择操作会于一触发条件满足时进行目标物件的自动选择，例如对初步修正图像数据108执行一位移检测(motion detect)来判断该触发条件是否满足，以便自初步修正图像数据108所对应的场景中自动地选出目标物件(例如，当初步修正图像数据108所对应的场景中出现移动中的物件时会满足该触发条件而自动地找出移动中的物件来作为目标物件)，或者对初步修正图像数据108进行一脸部辨识来判断该触发条件是否满足，以便自初步修正图像数据108所对应的场景中自动地选出目标物件(例如，当初步修正图像数据108所对应的场景中出现具有人脸轮廓的物件时会满足该触发条件而自动地找出场景中具有人脸轮廓的物件来作为目标物件)。请注意，这些例子并非作为本发明的限制条件，在本发明的其它实施例中，初步修正图像数据108的任何其它部分也可依据使用者或其它特定条件而被选作目标物件，而这些设计变化均属本发明的范畴。

接着，分别调整这些子画面的参数来产生相对应的调整后的子画面，并将其显示于使用者界面202的右半部，如步骤306。处理器103所执行的图像控制应用程序109提供使用者界面202以供使用者分别针对每一子画面来进行多个参数的手动调整，其中这些参数包含有：镜头型态、镜头方向、投影型态、补差点技术(interpolation)等。举例来说，处理器103执行图像控制应用程序109来进一步调整各个子画面所对应的部分图像数据的视角范围以产生一调整后的部分图像数据。请注意，分别针对每一子画面所对应的部分图像数据来进行进一步调整(例如视角范围微调)的操作并不限定是经由使用者手动指定调整的设定，也可采用***自动指定的方式来加以实作。

最后，如图3的图(B)所示，图像控制应用程序109将多个处理后的子画面(也即处理后的部分图像数据)重新组合以合成出对应一张新的画面的合成图像数据111，并将其写入至第四存储单元121中，其中合成图像数据111被显示于使用者界面202的右半部。此外，处理器103所执行的图像控制应用程序109另会将合成图像数据111作为虚拟图像提取设备115的输出。本发明的一实施例中，所选取的目标物件为一场景中所出现的人员(例如一视频会议的与会者)，而虚拟图像提取设备115可供实时通讯程序(例如：MSN或Skype)所呼叫使用，因此实时通讯程序便自虚拟图像提取设备115读取合成图像数据111并据以进行视频显示。

请注意，虽然在此实施例中，图像控制应用程序119选取4个目标物件来产生合成图像数据111，然而，在本发明另一实施例中，图像控制应用程序119也可以依据上述原理与实际状况来选取更多或更少个目标物件来产生合成图像数据111。

换言之，本发明图像处理方法与相关***由实际图像提取设备113获得图像数据107之后，会对图像数据107进行适当处理(例如全景处理、反扭曲处理、子画面参数调整等)以便产生所要的合成图像数据111，而所执行的图像处理方式与顺序可依据实际需求来加以动态设定。

此外，图4所示的流程中，进行全景处理的操作(例如步骤303)为选择性的(optional)步骤，因此，可依据实作上的考虑或使用者的需求来选择性地省略图4所示的流程中的步骤303，而修改后的流程也可同样地达到自对应较大视角范围的图像数据中提取出对应较小视角范围的多个部分图像数据来产生一合成图像数据的目的，而此一设计变化也符合本发明的精神而落于本发明的范畴之中。

综上所述，本发明提供一种自对应较大视角范围的图像数据中提取出对应较小视角范围的多个部分图像数据来产生一合成图像数据的图像处理方法与图像处理***，可以更有效率及更精确地于图像数据中决定出所需要的多个目标物件，并据以合成特定新的图像，更进一步而言，运用本发明实施例中所描述的技术，可以选出使用者所需要的图像数据，如此一来，不但可以减少图像对***资源的占用，更可以减少沟通上的成本，举例而言，在进行网络会议时，运用本发明实施例中所描述的技术，可以仅使用一个实际图像提取设备(例如具有广角镜头或鱼眼镜头的摄像机)便可于处理后的图像数据所对应的同一张图像中获得多个与会者的画面，并清楚地观察到与会者的表情以便进行更有效的沟通，也即通过本发明图像处理方式作更有效的沟通。

请注意，本发明的实施例中所描述的技术及原理可应用于各种不同的图像处理模块中，包括图像提取设备(例如网络相机)、图像显示设备(例如计算机屏幕)或其他设备，任何本领域普通技术人员只要在理解本发明所揭示的实施例的操作方式及原理之后，即有能力将本发明应用于其他相类似的技术领域当中；又，任何熟悉电子电路设计、信号处理或图像处理的人士在了解本发明实施例的运作原理之后，当可依据各种硬件电路设计或软件程序编辑的原理来实现本发明所揭示的产生虚拟图像提取设备的图像处理***及相关方法。

以上所述仅为本发明的优选实施例，凡依本发明权利要求所做的均等变化与修饰，都应落入本发明的涵盖范围内。

Claims (22)

1.一种图像处理方法，包含以下步骤：

存储一图像数据，其对应一特定视角范围；

于该图像数据所对应的该特定视角范围中选择多个目标物件；以及

依据每一目标物件于该图像数据中所对应的一部分图像数据来产生一合成图像数据，其中每一部分图像数据所对应的一视角范围均小于该特定视角范围。

2.如权利要求1所述的图像处理方法，还包含有：

通过一实体图像提取设备来提取对应该特定视角范围的一场景以产生该图像数据，其中该实体图像提取设备的镜头采用一广角镜头或一鱼眼镜头。

3.如权利要求2所述的图像处理方法，其中该图像数据对应该实体图像提取设备的镜头所造成的一几何扭曲图像，以及产生该处理后的图像数据的步骤包含有：

根据每一目标物件所对应的该部分图像数据来进行一反扭曲处理以产生一处理后的部分图像数据；以及

合成每一目标物件所对应的该处理后的部分图像数据来产生该合成图像数据。

4.如权利要求3所述的图像处理方法，其中于该图像数据所对应的该特定视角范围中选择该多个目标物件的步骤包含有：

对该图像数据进行一全景处理以得到一初步修正图像数据；以及

自该初步修正图像数据所对应的该特定视角范围中选出该多个目标物件。

5.如权利要求1所述的图像处理方法，其中产生该合成图像数据的步骤包含有：

执行一视角范围调整操作来调整至少一目标物件所对应的一部分图像数据的视角范围；以及

合成每一目标物件的该部分图像数据来产生该合成图像数据。

6.如权利要求5所述的图像处理方法，其中该视角范围调整操作的视角范围调整设定为***自动指定或使用者手动指定。

7.如权利要求1所述的图像处理方法，其中选择该多个目标物件的步骤包含有：

执行一目标物件选择操作以自该图像数据所对应的该特定视角范围中选择该多个目标物件，其中该目标物件选择操作的目标物件选择设定为***自动指定或使用者手动指定。

8.如权利要求7所述的图像处理方法，其中该目标物件选择操作的目标物件选择设定为***自动指定，以及该目标物件选择操作会于一触发条件满足时进行目标物件的自动选择。

9.如权利要求8所述的图像处理方法，其中该目标物件选择操作执行一位移检测来判断该触发条件是否满足，并于该特定视角范围中出现移动中的物件时会满足该触发条件而自动地找出移动中的物件来作为一目标物件。

10.如权利要求8所述的图像处理方法，其中该目标物件选择操作进行一脸部辨识来判断该触发条件是否满足，并于该特定视角范围中出现具有人脸轮廓的物件时满足该触发条件而自动地找出场景中具有人脸轮廓的物件来作为一目标物件。

11.如权利要求1所述的图像处理方法，其中每一部分图像数据所对应的该视角范围于一对角线方向上的视角均小于该特定视角范围于该对角线方向上的视角。

12.一种图像处理***，包含有：

一存储装置，存储一图像数据，该图像数据对应一特定视角范围；以及

一处理模块，耦接于该存储装置，用以于该图像数据所对应的该特定视角范围中选择多个目标物件，并依据每一目标物件于该图像数据中所对应的一部分图像数据来产生一合成图像数据，其中每一部分图像数据所对应的一视角范围均小于该特定视角范围。

13.如权利要求12所述的图像处理***，还包含有：

一实体图像提取设备，用以提取对应该特定视角范围的一场景以产生该图像数据，其中该实体图像提取设备的镜头采用一广角镜头或一鱼眼镜头。

14.如权利要求13所述的图像处理***，其中该图像数据对应该实体图像提取设备的镜头所造成的一几何扭曲图像，以及该处理模块根据每一目标物件所对应的该部分图像数据来进行一反扭曲处理以产生一处理后的部分图像数据，并合成每一目标物件所对应的该处理后的部分图像数据来产生该合成图像数据。

15.如权利要求12所述的图像处理***，其中该处理模块另对该图像数据进行一全景处理以得到一初步修正图像数据，以及该处理模块自该初步修正图像数据所对应的该特定视角范围中选出该多个目标物件。

16.如权利要求12所述的图像处理***，其中该处理模块另执行一视角范围调整操作来调整至少一目标物件所对应的一部分图像数据的视角范围，接着合成每一目标物件的该部分图像数据来产生该合成图像数据。

17.如权利要求16所述的图像处理***，其中该视角范围调整操作的视角范围调整设定为***自动指定或使用者手动指定。

18.如权利要求12所述的图像处理***，其中该处理模块执行一目标物件选择操作以自该图像数据所对应的该特定视角范围中选择该多个目标物件，以及该目标物件选择操作的目标物件选择设定为***自动指定或使用者手动指定。

19.如权利要求18所述的图像处理***，其中该目标物件选择操作的目标物件选择设定为***自动指定，以及该目标物件选择操作会于一触发条件满足时进行目标物件的自动选择。

20.如权利要求19所述的图像处理***，其中该目标物件选择操作执行一位移检测来判断该触发条件是否满足，并于该特定视角范围中出现移动中的物件时会满足该触发条件而自动地找出移动中的物件来作为一目标物件。

21.如权利要求19所述的图像处理***，其中该目标物件选择操作进行一脸部辨识来判断该触发条件是否满足，并于该特定视角范围中出现具有人脸轮廓的物件时满足该触发条件而自动地找出场景中具有人脸轮廓的物件来作为一目标物件。

22.如权利要求12所述的图像处理***，其中每一部分图像数据所对应的该视角范围于一对角线方向上的视角均小于该特定视角范围于该对角线方向上的视角。

Images