CN104469133A - 图像处理方法及装置 - Google Patents

Abstract

本发明提供一种图像处理方法，其包括：接收图像输入，其中，所述图像输入包括至少一源图像；接收图像选择信息；对于包括所述图像输入中的所述至少一源图像，检查所述图像选择信息，以确认所述源图像是被选择或者是被跳过；执行面向对象的图像处理操作于每一所选的源图像。本发明提供的方法及装置能够简化图像处理程序或降低功耗。本发明还提供一种图像处理装置，本发明的图像处理方法和图像处理装置能降低计算复杂度,降低功耗及/或提高人脸侦测性能。

Description

图像处理方法及装置

【技术领域】

本发明所公开的实施例涉及图像处理，并且更具体地说，涉及一种基于帧/算法选择，执行图像处理操作的方法和装置。

【背景技术】

人脸侦测是在各种应用中使用的技术。例如，数码相机可以采用人脸侦测功能查找脸的预览图像。人脸侦测的性能可能在侦测率和误报率方面进行评估，其中侦测率给出了人脸存在位置的正面的结果，误报率给出了人脸不存在的位置的正面的结果。良好的人脸侦测***应具有较高的侦测率和低误报率。传统的人脸侦测***处理每个输入帧，用于侦测包括在其中的人脸，并因此具有较高的计算复杂度。当某些输入帧由于图像质量差是不可靠的，传统的人脸侦测***将有不好的人脸侦测的结果，这会导致降低了人脸侦测性能(即，低的侦测率和高误报率)。

【发明内容】

依据本发明的示范性实施方式，基于帧/算法选择，执行图像处理操作的方法和装置，能够解决上述问题。

本发明公开一种图像处理方法，其包括：接收图像输入，其中，所述图像输入包括至少一源图像；接收图像选择信息；对于包括所述图像输入中的所述至少一源图像，检查所述图像选择信息，以确认所述源图像是被选择或者是被跳过；执行面向对象的图像处理操作于每一所选的源图像。本发明提供的方法及装置能够简化图像处理程序或降低功耗。

依据本发明的另一方面，一种图像处理方法，其包括接收图像输入，其中所述图像输入包括至少一源图像；接收算法选择信息；及对于包含于所述图像输入中的源图像，检查所述算法选择信息，以自多个不同图像处理算法中确定所选图像处理算法。基于所述所选图像处理算法，执行图像处理操作于所述源图像。

依据本发明的另一方面，一图像处理装置，其特征在于，其包括：一帧选择单元，所述帧选择单元接收在装置内的图像输入，其中，所述图像输入包括至少一源图像；所述帧选择单元还接收图像选择信息，且对于所述图像输入内的所述源图像，检查所述图像选择信息，以确定所述源图像被选择或被跳过；及图像处理单元，所述图像处理单元执行面向对象的图像处理操作于每一所选源图像。

依据本发明的另一方面，一种图像处理装置，其特征在于，其包括：图像处理单元，所述图像处理单元接收图像输入至所述图像处理装置，其中所述图像输入包括至少一源图像；且基于所选的图像处理算法执行图像处理操作于所述源图像；算法选择单元，所述算法选择单元接收算法选择信息；且对于包含于所述图像输入中的源图像，检查所述算法选择信息，以自多个不同图像处理算法中确定所选图像处理算法。

本发明的图像处理方法和图像处理装置能提高能降低计算复杂度,降低功耗及/或提高人脸侦测性能。

上述发明的目的在本领域的正常技术人员阅读本申请的优选实施例后可以毫无疑义得到，下面将结合图示对上述优选的技术方案进行详细说明。

【附图说明】

图1为依据本发明的一实施例的图像处理装置的方块示意图。

图2为基于自辅助感应器产生的图像选择信息INF_I的示例性图像处理方法的流程图。

图3为基于图像撷取装置的一处理电路产生的图像选择信息INF_I的示例性图像处理方法的流程图。

图4为基于一处理电路产生的图像选择信息INF_I的示例性图像处理方法的流程图。

图5为基于用户界面产生的图像选择信息INF_I的示例性图像处理方法的流程图。

图6为一示例性的确定一预测的对象标记的位置的示意图。

图7为依据本发明另一实施方式的图像处理装置的示意图。

图8是基于辅助感应器产生的算法选择信息INF_A的示例性图像处理方法的流程图。

图9为基于产自图像撷取装置的处理电路的所述算法选择信息INF_A的示例性图像处理方法的流程图。

图10为基于产自图像处理电路的所述算法选择信息INF_A的示例性图像处理方法的流程图。

图11为基于产自用户界面的所述算法选择信息INF_A的示例性图像处理方法的流程图。

图12为精确侦测的对象标记的位置的示意图。

【具体实施方式】

在说明书及后续的申请专利范围当中使用了某些词汇来指称特定的元件。本领域一般技术人员应可理解，制造商可能会用不同的名词來称呼同样的元件。本说明书及后续的申请专利范围并不以名称的不同来作为区别元件的方式，而是以元件在功能上的不同来作为区别的基准。在通篇说明书及后续的请求项当中所提及的「包含」为一开放式的用语，故应解释成「包含但不限定于」。此外，「耦接」一词在此是包含任何直接及间接的电气连接手段。因此，若文中描述一装置电性连接于另一装置，则代表该装置可直接连接于该另一装置，或透过其他装置或连接手段间接地连接至该另一装置。

图1为依据本发明的一实施例的图像处理装置的方块示意图。图像处理装置110可为一电子装置100的一部分，举例来说，所述电子装置可以为一数码相机、一智能手机、或者其它任何需要对象侦测/对象追踪/对象识别功能(即，面向对象的图像处理操作)的装置。除了所述图像处理装置110，所述电子装置100还包括一设置图像感应器102在其中的图像撷取装置101、一用户界面103、至少一辅助感应器104、一图像信号处理器(ISP)105、一视频解码器106、一帧率转换器107、一音/视频同步(audio/video synchronization，AV-Sync)模块108及一缓冲器109。在本实施例中，所述图像处理装置110包括一帧选择单元112、一图像处理单元114及一对象标记预测器116。需要注意的是，上述元件仅与图1所示的本发明相关。所述电子装置100被允许包含更多其它元件。此外，基于实际的设计需求/考虑，所述电子装置100被允许省略图1所示的至少一元件。

所述帧选择单元112接收存储于缓冲器109内的一图像输入IMG_IN，其中所述图像输入IMG_IN包含至少一源图像。也就是说，当所述图像输入IMG_IN携带一视频内容，包含多个连续的源图像，当携带一静态图像内容时，携带单一的源图像。在本实施例中，所述图像输入IMG_IN可为一图像感应器102、一视频解码器106、一帧率转换器107、一音/视频同步(audio/videosynchronization，AV-Sync)模块108中至少一个的一输出。所述帧选择单元112进一步接收自一用户界面103、辅助感应器104、一视频解码器106、一帧率转换器107、一音/视频同步(audio/video synchronization，AV-Sync)模块108中至少一个产生的图像选择信息INF_I。对于所述图像输入IMG_IN内的每一源图像，所述帧选择单元112检查所述图像选择信息INF_I，以确定当前源图像被选择还是被跳过。特别地，当确定所述当前源图像应被选择，则所述当前源图像包含于所述帧选择单元112产生的图像输出IMG_S中；且当确定所述当前源图像应被跳过，则所述当前源图像未包含于所述图像输出IMG_S中。换句话说，所述帧选择单元112可作为基于所述图像选择信息INF_I的图像/帧过滤器。

从所述帧选择单元112生成的所述图像输出IMG_S包括至少一个所选源图像。所述图像处理单元114接收所述图像输出IMG_S，并且执行面向对象的处理操作于每个所选源图像上。通过非限制的示例的方式，在面向对象的图像处理操作包括对象侦测、对象追踪、及对象识别中至少一个，其中通过面向对象的图像处理操作执行的所述对象侦测/追踪/识别的可以是脸、眼睛、人造物体等。作为由所述图像选择信息INF_I指示的不可靠的/冗余的源图像不包括在所述图像输出IMG_S中，所述图像处理单元114的计算复杂性是降低的、和/或所述对象的侦测/追踪/识别的结果的精确度得到了改善。所述图像处理装置110的进一步的细节，如下所述。

在一示范性实施中，所述图像选择信息INF_I可给出所述图像输入IMG_IN中每一源图像的图像质量的指示。举例来说，所述图像选择信息INF_I可自辅助感应器104产生，当所述图像输入IMG_IN由具有所述图像感应器102的图像撷取装置101产生。因此，所述图像选择信息INF_I指示源图像是可信赖的图像还是不可靠图像。请一并参考图1及图2，图2为基于自辅助感应器产生的图像选择信息INF_I的示例性图像处理方法的流程图。所述帧选择单元112逐一检查包含在图像输入IMG_IN中的源图像。在步骤202中，所述帧选择单元112接收电子装置100中的图像撷取装置101内的源图像。在所述图像选择信息INF_I是自所述辅助感应器104产生的情况下，所述辅助感应器可为陀螺仪感应器(Gyro sensor)或重力感应器(G-sensor(Accelerometer))，其可以依据如装置旋转信息或者装置移动信息(如手抖信息)等相关感应器信息来设置所述图像选择信息INF_I。因此，在步骤204中，所述帧选择单元112自所述辅助感应器104接收所述当前源图像的所述图像选择信息INF_I(即，所述当前源图像的感应器信息)。当所述装置的旋转/移动超过了一临界值TH1，所述当前源图像的图像选择信息INF_I指示自所述图像撷取装置101产生的所述当前图像源图像是不可靠图像。因此，在步骤206，所述帧选择单元112比较所述图像选择信息INF_I与所述临界值TH1，以侦测是否所述装置的旋转/移动超出了临界值TH1。当确定所述装置的旋转/移动超出了所述临界值TH1，则所述当前源图像被跳过无需包含在提供给后续的图像处理单元114的图像输出IMG_S中，且流程前往步骤202以接收所述图像输入IMG_IN的下一源图像。

替代地，所述辅助感应器104可为一光感应器，其依据相关的感应器信息，如侦测的背景光(ambient light)来设置所述图像选择信息INF_I。所述图像选择信息INF_I自所述辅助感应器104产生，当所述图像输入IMG_IN由所述图像撷取装置101产生当侦测到的背景光超过一临界值TH2，(即，因为亮度级小于临界值TH2设定的下界，而使得背景光太黑，或者因为亮度级大于临界值TH2设定的上界而使得背景光太亮)，所述当前源图像的图像选择信息INF_I指示由所述图像撷取装置产生的所述当前源图像为一不可靠图像。因此，在步骤208，所述帧选择单元112比较所述图像选择信息INF_I与所述临界值TH2，以侦测所述侦测到的背景光是否超出所述临界值TH2。当确定所述侦测到的背景光超出所述临界值TH2，所述当前源图像被跳过，而不包含在被提供至后续的图像处理单元114的所述图像输出IMG_S中，且所述流程前往步骤202以接收所述图像输入IMG_IN的下一源图像。

当所述帧选择单元112确定所述当前源图像不是一不可靠图像(步骤206-208)，所述当前源图像被传输给后续的所述图像处理单元114。因此，在步骤210，后续的所述图像处理单元114执行对象侦测、对象追踪及对象识别中至少一操作于所述当前源图像。

值得注意的是，若结果基本相同，并不要求按照图2所示的精确顺序执行步骤。另外，基于实际设计需求及考量，图2所示的步骤中的一个或者多个可以被忽略或者可以于图2所示的流程中加入额外的步骤。

如上所述，所述图像选择信息INF_I可由不同于所述辅助感应器104的元件产生。请一并参看图1及图3，图3为基于图像撷取装置的一处理电路产生的图像选择信息INF_I的示例性图像处理方法的流程图。所述帧选择单元112逐一检查所述图像输入IMG_IN中的源图像。在步骤302，所述帧选择单元112接收所述电子装置100内的一源图像。在本实施例中，所述图像输入IMG_IN由所述图像撷取装置101产生，且所述图像选择信息INF_I由所述图像撷取装置101的一处理电路产生(即，图像信号处理器105)。所述图像信号处理器105可获得模糊信息(基于任意公知的模糊预测算法计算得到的)、聚焦的统计信息、白平衡及曝光时间(由3A功能(自动曝光、自动白平衡、自动聚焦)获得)、及全局运动信息(global motion information(自电字图像稳定(electronic imagestabilization，EIS处理获得))。因此，在步骤304，所述帧选择单元112自所述图像信号处理器105接收所述当前源图像的图像选择信息INF_I。

在第一种设计中，所述图像信号处理器105依据所述模糊信息设置所述图像选择信息INF_I。当所述当前源图像为模糊时，所述当前源图像的所述图像选择信息INF_I指示自所述图像撷取装置101产生的所述当前源图像是不可靠图像。在步骤306，所述帧选择单元112检查所述图像选择信息INF_I以确定是否所述当前源图像的模糊信息大于一临界值。当确定所述当前源图像的模糊级大于所述临界值，所述帧选择单元112认为所述当前源图像为不可靠图像，所以所述当前源图像被跳过而不包含在提供给后续的所述图像处理单元114的所述图像输出IMG_S内。然后，所述流程前往步骤302以接收所述输入图像IMG_IN的下一源图像。

在第二种设计，所述图像信号处理器105依据聚焦的统计信息、白平衡、及曝光时间设置所述图像选择信息INF_I。当3A功能没有适当地工作，所述当前源图像可能未被聚焦、曝光不足或者过曝、或者有不正确的白平衡设置。在这种情况下，所述当前源图像的图像选择信息INF_I指示自所述图像撷取装置101产生的所述当前源图像为不可靠图像。在步骤308，所述帧选择单元112检查所述图像选择信息INF_I以确定是否聚焦的统计信息、白平衡及曝光时间显示所述当前源图像有不正确的3A设置。当确认所述当前源图像有不正确的聚焦、曝光时间或者白平衡，所述帧选择单元112认为所述当前图像为不可靠图像，因此所述当前图像被跳过而不包含在提供给后续的所述图像处理单元114的所述图像输出IMG_S。然后，所述流程前往步骤302以接收所述输入图像IMG_IN的下一源图像。

在第三种设计，所述图像信号处理器105依据所述全局运动信息设置所述图像选择信息INF_I。当所述当前源图像是在所示电子设备100移动(因为抖动)时撷取的，所述当前源图像的图像选择信息INF_I将指示产生于所述图像撷取装置101的所述当前源图像不可靠图像。因此，在步骤310，所述帧选择单元112检查所述图像选择信息INF_I以确定是否所述全局运动信息(如，一全局运动“手抖级别”)有非零值。当确定所述全局运动信息有非零值，则所述帧选择单元112认为所述当前源图像为不可靠图像，因此所述当前源图像被跳过而不包含在提供给后续的所述图像处理单元114的所述图像输出IMG_S，然后，所述流程前往步骤302以接收所述输入图像IMG_IN的下一源图像。

当所述帧选择单元112确定所述当前源图像非不可靠图像(步骤306、308及310)，所述当前源图像被传输至后续的所述图像处理单元114。因此，在步骤312，后续的所述图像处理单元114将执行对象侦测、对象追踪及对象识别中至少一操作于所述当前源图像。

值得注意的是，若结果基本相同，并不要求按照图3所示的精确顺序执行步骤。3另外，基于实际设计需求及考量，图3所示的步骤中的一个或者多个可以被忽略或者可以于图3所示的流程中加入额外的步骤。

请一并参看图4及图1。图4为基于一处理电路产生的图像选择信息INF_I的示例性图像处理方法的流程图。所述处理电路也产生一图像输入。所述帧选择单元112逐一检查包含于所述图像输入IMG_IN中的源图像。在步骤402，所述帧选择单元112接收电子装置100内的一源图像。在本实施例中，所述图像输入IMG_IN由处理电路产生，所述处理电路为所述视频解码器106、所述帧率转换器107及音视频同步模块(AV-Sync)中任意一个，且所述图像选择信息INF_I也由所述处理电路产生。在步骤404，所述帧选择单元112自所述处理电路接收所述当前源图像的所述图像选择信息INF_I，其中在所述处理电路产源图像时，所述图像选择信息INF_I给出所述源图像的帧特征(frame characteristic)信息。

在第一种设计，上述处理电路为所述帧率转换器107。当执行帧率转换处理时，所述帧率转换器107可获得已处理/已内插(interpolated)帧信息，且由所述已处理/已内插(interpolated)帧信息设置所述图像选择信息INF_I。假设所述帧率转换器107转换30FPS(frames per second)的图像输入为60FPS的图像输入IMG_IN，则每秒钟有30已处理/已内插帧。由所述帧率转换器107提供的所述图像选择信息INF_I因此指示一源图像是否为一已处理/已内插帧。因此，在步骤406，所述帧选择单元112检查所述图像选择信息INF_I(如，已处理/已内插帧信息)，以确定所述当前源图像是否为已处理/已内插帧。当确定所述源图像为已处理/已内插帧，则所述帧选择单元112认为所述当前源图像为不可靠图像，因此所述当前源图像被跳过而不包含在提供给后续的所述图像处理单元114的所述图像输出IMG_S，然后，所述流程前往步骤402以接收所述输入图像IMG_IN的下一源图像。

在第二种设计中，上述处理电路为视频解码器106。所述视频解码器106被配置用于解码一视频流以产生包含多个连续源图像的图像输入IMG_IN。所述视频解码器106获得一视频比特流内的每一编码帧的编码标识，且通过获得的标识信息来设置所述图像选择信息INF_I。假设所述解码器106解码一3：2下拉(pull-down)视频比特流，所述3：2下拉(pull-down)视频比特流内的所述重复帧标识可指示自解码具有指定的重复帧标识的编码帧获得的解码帧应被重复。所述图像选择信息INF_I由所述视频解码器106提供，因此指示所述源图像是否是复制自解码一具有指定重复帧标识的编码帧获得的解码帧。因此，在步骤408，所述帧选择112检查所述图像选择信息INF_I(如：重复帧标识信息)以确定是否所述当前源图像是解码一具有重复帧标识的编码帧获得的一重复帧。当确定所述当前源图像为一重复帧，所述帧选择单元112认为所述当前源图像为不可靠图像，因此所述当前源图像被跳过而不包含在提供给后续的所述图像处理单元114的所述图像输出IMG_S，然后，所述流程前往步骤402以接收所述输入图像IMG_IN的下一源图像。

在第三种设计中，上述处理电路为音视频同步模块108。所述音视频同步模块108被配置为执行音视频同步操作以产生所述图像输入IMG_IN，因此，所述图像输入的视频回放与伴随的音频比特流的所述音频回放同步。举例来说，当所述图像输入IMG_IN的视频回放引导所述伴随的音频比特流的所述音频回放，所述音视频同步模块108增加重复帧至所述图像输入IMG_IN，以允许所述音频回放能赶上所述视频回放。且设置所述图像选择信息INF_I以指示所述图像输入IMG_IN中的哪一源图像为重复帧。因此，在步骤410，所述帧选择单元112检查所述图像选择信息INF_I(如，重复帧信息)，以确定当前源图像是否是因音视频同步产生的重复帧。当确定所述当前源图像为一重复帧，所述帧选择单元112认为所述当前源图像为不可靠图像，因此所述当前源图像被跳过而不包含在提供给后续的所述图像处理单元114的所述图像输出IMG_S，然后，所述流程前往步骤402以接收所述输入图像IMG_IN的下一源图像。

当所述帧选择单元112确定所述当前源图像非不可靠图像(步骤406、408及410)，所述当前源图像被传输至后续的所述图像处理单元114。因此，在步骤412，后续的所述图像处理单元114将执行对象侦测、对象追踪及对象识别中至少一操作于所述当前源图像。

值得注意的是，若结果基本相同，并不要求按照图4所示的精确顺序执行步骤。另外，基于实际设计需求及考量，图4所示的步骤中的一个或者多个可以被忽略或者可以于图4所示的流程中加入额外的步骤。

在上述实施例的实施中，所述图像选择信息INF_I自动产生无需用户干涉/参与(user intervention)。替代地，所述图像选择信息可为用户定义模式，用户通过用户界面103手动控制设置。更具体来说，所述用户手动设置所述用户定义模式设置以启用所述帧选择单元112的一正常模式或者简化/低功耗模式。当所述帧选择单元112响应所述用户定义模式设置进入所述正常模式，所述图像输入IMG_IN中没有源图像被删选出来。当所述帧选择单元112响应所述用户设定模式设置进入简化/低功耗模式，所述帧选择单元周期性/非周期性删选所述图像输入IMG_IN的一些源图像。举例来说，若周期性跳过方案被应用，所述帧选择单元112可在每M个连续源图像跳过N个源图像，其中M和N由所述用户定义模式设置指定，且N<M。若非周期性跳过方案被应用，所述帧选择单元112可随机跳过源图像。当简化/低功耗模式被选择，所述图像处理单元的计算复杂性可被降低，这样可以避免电子设备100的热关机(降低功耗)。简化来说，无论所述图像选择信息INF_I(如用户定义模式设置)命令所述帧选择单元112应用周期性跳过方案还是非周期性跳过方案，当所述图像选择信息INF_I控制的跳过标准被满足，通过所述帧选择单元112，所述图像输入IMG_IN中的源图像被跳过。

请一并参看图1及图5。图5为基于用户界面产生的图像选择信息INF_I的示例性图像处理方法的流程图。所述帧选择单元112逐一检查所述图像输入IMG_IN包含的源图像。在步骤502，所述帧选择单元接收在电子装置100内的源图像。在本实施例中，所述图像输入IMG_IN由图像撷取装置101、视频解码器106、帧率转换器107及音视频同步模块之一产生，且所述图像选择信息INF_I由用户界面103产生。因此，在步骤504，所述帧选择单元112为当前源图像接收图像选择信息INF_I。在步骤506，所述帧选择单元112检查所述图像选择信息INF_I以确定是否当前模式为用户设定模式设置选择的简化/低功耗模式。在步骤508，当所述当前模式为用户设定模式设置选择的简化/低功耗模式，所述帧选择单元112进一步检查为周期性/非周期性跳过源图像设定的跳过标准是否被满足。当所述跳过标准被满足，所述帧选择单元112认为所述当前源图像为冗余(redundant)图像，因此，所述当前源图像被跳过而不包含在提供给后续的所述图像处理单元114的所述图像输出IMG_S，然后，所述流程前往步骤502以接收所述输入图像IMG_IN的下一源图像。

当所述帧选择单元112确定所述当前模式为用户设定模式选择的正常模式(步骤506)或者当前图像不是一冗余图像(步骤508)，所述当前源图像被传输至后续的所述图像处理单元114。因此，在步骤412，后续的所述图像处理单元114将执行对象侦测、对象追踪及对象识别中至少一操作于所述当前源图像

值得注意的是，若结果基本相同，并不要求按照图5所示的精确顺序执行步骤。另外，基于实际设计需求及考量，图5所示的步骤中的一个或者多个可以被忽略或者可以于图5所示的流程中加入额外的步骤。

如上所述，所述帧选择单元112可跳过包含于所述图像输入IMG_IN中的一些源图像(如：不可靠/冗余图像)。因此，所述不可靠/冗余图像不被后续的图像处理单元114处理以为了对象侦测/对象追踪。对于每一不可靠/冗余图像，后续的所述图像处理单元114不能在所述不可靠/冗余图像上找到对象标记。然而，当在缓冲器109内的所述图像输入IMG_IN在显示器(未显示)上显示，一对象标记需要被显示在所述显示的不可靠/冗余图像上，以指示所述侦测/追踪对象的位置。在本实施方式中，所述对象标记预测器被实施以决定并未被后续的所述图像处理单元114处理的每一不可靠/冗余图像预测的对象标记的位置。

图6为一示例性的确定一预测的对象标记的位置的示意图。如图6所示，有连续的源图像F1-F8。在本实施例中，所述帧选择单元112选择源图像F2、F4，且在源图像F2及F4之间的源F3被所述帧选择单元112跳过。所述图像处理单元114处理所述源图像F2及F4，且获得P2及P4的对象(如：人脸)的侦测的对象标记。所述对象标记预测器116可参考由面向对象的图像处理操作处理的所选源图像内一已处理对象的对象标记的显示位置来预测一跳过的源图像内的对象的对象标记的位置。举例来说，所述对象标记预测器116可基于一个或两个显示位置P2及P4，执行线性/非线性***来获得预测的对象标记显示位置P3。

如上所述，所述图像处理装置110跳过不可靠/冗余图像以减少所述图像处理单元114的计算复杂度(计算量)，及/或提高对象侦测/对象追踪/对象识别结果的精确度。在替代的设计中，一图像处理装置被配置于包含一图像处理单元，所述图像处理单元能在不同的图像处理算法(如正常算法及简化/低功耗算法)中切换。这种方式下，所述图像处理单元的计算复杂度能降低。

图7为依据本发明另一实施方式的图像处理装置的示意图。所述图像处理装置710可为电子装置700中的一部分，其中所述电子装置700可如一数码相机、智能手机或者任意其他需要对象侦测/对象追踪/对象识别功能的装置。电子装置100和700最主要的区别在于，所述图像处理装置710包含算法选择单元712、图像处理单元714及一对象标记预测器716。所述算法选择单元712接收自用户界面103、辅助感应器104、图像信号处理器105、视频解码器106、帧率转换器107及音视频同步模块108之一产生的算法选择信息INF_A。值得注意的是所述算法选择信息INF_A及所述图像选择信息INF_I可以同样的方式产生。本领域的一般技术人员在读完上述图像选择信息INF_I产生的段落后容易理解算法选择信息INF_A是如何产生的。因此，为了简洁，进一步的描述被省略。

对于包含于所述图像输入IMG_IN内的每一源图像，所述算法选择单元712检查所述算法选择信息INF_A以从多个不同的图像处理算法(如：正常算法A1及简化/低功耗算法A2)，中确定所选图像处理算法，且发送一算法选择信号SC至所述图像处理器以启用所选图像处理算法。具体来说，当确定所述当前源图像非冗余/不可靠图像且因此需使用正常算法A1进行处理，所述算法选择信号SC命令所述图像处理单元714应用所述算法A1；而当确定所述当前源图像为冗余/不可靠图像，且因此需要使用简化/低功耗算法A2处理，所述算法选择信号SC命令所述图像处理单元714以应用所述简化/低功耗算法A2。

所述图像处理单元714接收存储于所述缓冲器109内的图像输入IMG_IN，其中所述图像输入IMG_IN至少包括一源图像。换言之，所述图像输入IMG_IN当包含多个连续的源图像则携带一视频内容，或者当包含一单个的源图像则携带一静止图像内容。在本实施例中，所述图像输入IMG_IN可为至少一图像感应器102、视频解码器106、帧率转换器107及一音视频同步模块108之一的输出。对于包含于所述图像输入IMG_IN中的每一源图像，所述图像处理单元714基于所述算法选择信号SC指示的所选图像处理算法执行一图像处理于所述源图像上。以示范的方式，但不作为限制，所述图像处理操作可以为一面向对象的图像处理操作，其至少包含对象侦测、对象追踪及对象识别之一。然而，上述仅作为说明的目的，非对本发明的一种限制。

所述正常算法A1被应用处理非冗余/不可靠图像的源图像，是因为所述算法选择单元712被配置用于当所述算法选择信息INF_A指示所述源图像非冗余/不可靠图像时，确定所选图像处理算法为正常算法A1。所述简化/低功耗算法A2被应用处理为冗余/不可靠图像的源图像，是因为所述算法选择单元712被配置用于当所述算法选择信息INF_A指示所述源图像为冗余/不可靠图像时，确定所选图像处理算法为简化/低功耗算法A2。比较基于所述正常算法A1于源图像上执行的图像处理操作，基于简化/低功耗算法于同一元图像上执行的图像处理操作能减少计算量和有更低的能耗。举例来说，当所述图像处理单元执行的图像处理操作为对象侦测，所述简化/低功耗算法A2可为一快速对象侦测算法，其具有减少的对象搜寻窗口尺寸及/或减少的对象搜寻目标尺寸。具体来说，对于正常对象侦测算法，所述图像处理单元714在每一步骤中通过一个像素来移动一对象搜寻窗口。然而，对于快速对象侦测算法，所述图像处理单元在每一步骤中通过N个像素来移动所述对象搜寻窗口。另外，对于正常对象侦测算法，所述图像处理单元可循序应用四个不同的对象搜寻的目标尺寸，然而，对于所述快速对象侦测算法，所述图像处理单元714可循序应用所述四个不同的对象搜寻的目标尺寸中的两个。值得注意的是，以上仅作为说明的目的，不能作为本发明的限制。

请一并参看图7及图8。图8是基于辅助感应器产生的算法选择信息INF_A的示例性图像处理方法的流程图。所述图像处理单元714逐一处理包含在所述图像输入IMG_IN中的源图像。在步骤802，所述图像处理单元接收所述电子装置700内的源图像。在一种情况下，当所述图像输入IMG_IN产自所述图像撷取装置101，所述算法选择信息INF_A产自所述辅助感应器104，所述算法选择单元712自所述辅助感应器104接收所述当前源图像(即，所述源图像的感应器信息)的算法选择信息INF_A(步骤804)。在步骤806，所述算法选择单元712比较所述算法选择信息INF_A与所述临界值TH1以侦测所述装置的旋转/移动是否超出了临界值TH1。当确定所述装置的旋转/移动超出了临界值TH1，所述算法选择单元712产生算法选择信号SC以设置所选图像处理算法为简化/低功耗算法A2，且流程前往步骤812。

作为替代的，所述辅助感应器104可为一光感应器，可依据相关感应器信息，如侦测的背景光来设置所述算法选择信息INF_A。在步骤808，所述算法选择单元712比较所述算法选择信息INF_A与临界值TH2以侦测所述侦测的背景光是否超出了临界值TH2。当确定所述侦测的背景光超出了临界值TH2，所述算法选择单元712产生所述算法选择信号SC以设置所述所选图像处理算法为简化/低功耗算法A2，且所述流程前往步骤812。

当所述算法选择单元712确定所述当前源图像非不可靠图像(步骤806及808)，所述算法选择单元712产生所述算法选择信号SC以设置所选图像处理算法为正常算法A1，且流程前往步骤810。

在步骤812，所述图像处理单元714基于所述简化/低功耗算法A2，至少执行对象侦测、对象追踪及对象识别之一于所述当前源图像。在步骤810，所述图像处理单元714执行基于所述正常算法A1，至少执行对象侦测、对象追踪及对象识别之一于所述当前源图像。

值得注意的是，若结果基本相同，并不要求按照图8所示的精确顺序执行步骤。另外，基于实际设计需求及考量，图8所示的步骤中的一个或者多个可以被忽略或者可以于图8所示的流程中加入额外的步骤。

请一并参看图7及图9。图9为基于产自图像撷取装置的处理电路的所述算法选择信息INF_A的示例性图像处理方法的流程图。所述图像处理单元714逐一处理包含于所述图像输入IMG_IN中的源图像。在步骤902，所述图像处理单元714在所述电子设备700内接收一源图像。在本实施例中，所述图像输入IMG_IN产自所述图像撷取装置101，且所述算法选择信息INF_A产自所述图像撷取装置101的处理电路(如图像信号处理器105)在步骤904，所述算法选择单元712自所述图像信号处理器105接收当前源图像的算法选择信息INF_A。

在第一种设计中，所述图像信号处理器105依据模糊信息设置所述算法选择信息INF_A。在步骤906，所述算法选择单元712检查所述算法选择信息INF_A，以确认是否所述当前源图像的模糊信息(如：模糊级别)大于一临界值。当确定所述当前源图像的模糊级别大于所述临界值，所述算法选择单元712产生算法选择信号SC以由所述简化/低功耗算法A2设置所选图像处理算法，且流程前往步骤914。

在第二种设计中，所述图像处理器依据所述聚焦的统计信息、白平衡及曝光时间来设置所述算法选择信息INF_A。在步骤908，所述算法选择单元712检查所述算法选择信息INF_A以定是否聚焦的统计信息、白平衡及曝光时间显示当前源图像有一不正确的3A设置。当确定所述当前源图像有不正确的聚焦、曝光时间或者白平衡，所述算法选择单元712产生所述算法选择信号SC以由简化/低功耗算法A2设置所选图像处理算法，且所述流程前往步骤914。

在第三种设计中，所述图像处理器依据全局运动来设置所述算法选择信息INF_A。在步骤910，所述算法选择单元712检查所述算法选择信息INF_A，以确认是否所述全局运动信息(即：全局运动级别)有非零值。当确定所述全局运动级别有非零值，所述算法选择单元712产生算法选择信号SC以由所述简化/低功耗算法A2设置所选图像处理算法，且流程前往步骤914。

当所述算法选择单元712确定所述当前源图像为非不可靠图像(步骤906、908、910)，所述算法选择单元712产生所述算法选择信号SC以由所述正常算法A1设置所选图像处理算法，且流程前往步骤912。

在步骤914，所述图像处理单元714基于所述简化/低功耗算法A2执行对象侦测、对象追踪及对象识别至少之一于所述当前源图像。然而，在步骤912，所述图像处理单元714基于所述正常算法A1执行对象侦测、对象追踪及对象识别至少之一于所述当前源图像

值得注意的是，若结果基本相同，并不要求按照图9所示的精确顺序执行步骤。另外，基于实际设计需求及考量，图9所示的步骤中的一个或者多个可以被忽略或者可以于图9所示的流程中加入额外的步骤。

请一并参考图7及图10。图10为基于产自图像处理电路的所述算法选择信息INF_A的示例性图像处理方法的流程图，所述图像处理电路还产生一图像输入。所述图像处理单元714逐一处理包含于所述图像输入IMG_IN中的源图像。在步骤1002，所述图像处理单元714在所述电子设备700内接收一源图像。在本实施例中，所述图像输入IMG_IN自一处理电路产生，所述处理电路可以是视频解码器106、帧率转换器107及音视频同步模块108之一。且所述处理电路还产生所述算法选择信息INF_A。在步骤1004，所述算法选择单元712自所述处理电路接收所述当前源图像的所述算法选择信息INF_A。

在第一种设计中，上述处理电路为帧率转换器107。在步骤1006，所述算法选择单元712检查所述算法选择信息INF_A(即，已处理/***帧信息)以确定所述当前源图像是否为已处理/***帧。当确定所述当前源图像为已处理/***帧，所述算法选择单元712产生所述算法选择信号SC以有所述简化/低功耗算法A2设置所选图像处理算法，且所述流程前往步骤1014。

在第二种设计中，上述处理电路为视频解码器106。在步骤1008，所述算法选择单元712检查所述算法选择信息INF_A(即，重复帧标识信息)以确定所述当前源图像是否为重复帧。当确定所述当前源图像为重复帧，所述算法选择单元712产生所述算法选择信号SC以有所述简化/低功耗算法A2设置所选图像处理算法，且所述流程前往步骤1014。

在第三种设计中，上述处理电路为音视频同步模块108。在步骤1010，所述算法选择单元712检查所述算法选择信息INF_A(即，重复帧信息)以确定所述当前源图像是否为因应音视频同步产生的重复帧。当确定所述当前源图像为已处理/***帧，所述算法选择单元712产生所述算法选择信号SC以有所述简化/低功耗算法A2设置所选图像处理算法，且所述流程前往步骤1014。

当所述算法选择单元712确定所述当前源图像为非不可靠图像(步骤1006、1008、1010)，所述算法选择单元712产生所述算法选择信号SC以由所述正常算法A1设置所选图像处理算法，且流程前往步骤1012。

在步骤1014，所述图像处理单元714基于所述简化/低功耗算法A2执行对象侦测、对象追踪及对象识别至少之一于所述当前源图像。然而，在步骤1012，所述图像处理单元714基于所述正常算法A1执行对象侦测、对象追踪及对象识别至少之一于所述当前源图像。

值得注意的是，若结果基本相同，并不要求按照图10所示的精确顺序执行步骤。另外，基于实际设计需求及考量，图10所示的步骤中的一个或者多个可以被忽略或者可以于图10所示的流程中加入额外的步骤。

请一并参考图7及图11。图11为基于产自用户界面的所述算法选择信息INF_A的示例性图像处理方法的流程图。所述图像处理单元714逐一处理包含于所述图像输入IMG_IN中的源图像。在步骤1102，所述图像处理单元714在所述电子设备700内接收一源图像。在本实施例中，所述图像输入IMG_IN自图像撷取装置101、视频解码器106、帧率转换器107及音视频同步模块108之一产生。且所述算法选择信息INF_A产生自一用户界面103。。在步骤1104，所述算法选择单元712自所述处理电路接收所述当前源图像的所述算法选择信息INF_A，其中，所述算法选择信息INF_A包含一用户设定模式设置。在步骤1106，所述算法选择单元检查所述算法选择信息INF_A以确定当前模式是否是所述用户设定模式设置选择的简化/低功耗模式。当所述当前模式是用户设定模式设置选择的简化/低功耗模式，所述算法选择单元712产生算法选择信号SC，以由所述简化/低功耗算法A2设置所选图像处理算法，且所述流程前往步骤1110。当所述当前模式为所述用户设定模式设置所选的正常模式，则所述算法选择单元712产生算法选择信号SC，以由所述正常算法A1设置所选图像处理算法，且所述流程前往步骤1108。

在步骤1110，所述图像处理单元714基于所述简化/低功耗算法A2执行对象侦测、对象追踪及对象识别至少之一于所述当前源图像。然而，在步骤1108，所述图像处理单元714基于所述正常算法A1执行对象侦测、对象追踪及对象识别至少之一于所述当前源图像。

值得注意的是，若结果基本相同，并不要求按照图11所示的精确顺序执行步骤。另外，基于实际设计需求及考量，图11所示的步骤中的一个或者多个可以被忽略或者可以于图11所示的流程中加入额外的步骤。

如上所述，所述图像处理单元714可应用简化/低功耗算法A2来处理冗余/不可靠图像。然而，为所述冗余/不可靠图像寻找所述对象标记的显示位置是不准确的。在本实施例中，所述对象标记预测器716被实施以为所述冗余/不可靠图像精确寻找所述对象标记的显示位置。

图12为精确侦测的对象标记的位置的示意图。如图12所述，存在连续的源图像F1-F8。在本范例中，源图像F2、F4被使用正常算法A1进行处理，且在源图像F2、F4之间的源图像F3使用简化/低功耗算法A2进行处理。所述图像处理单元114处理所述源图像F2-F4，且获得显示位置P2、P3、P4的对象(如：人脸)的侦测的对象标记。所述对象标记预测器716可参考第一源图像内的由图像处理操作处理的对象的对象标记的至少一显示位置来精确所述第二图像内的由所述图像处理操作处理的对象的对象标记的显示位置；其中所述第一源图像和所述第二源图像基于不同的算法(如正常算法A1及简化/低功耗算法A2)的图像处理操作进行处理。。举例来说，所述对象标记预测器716可依据基于显示位置P2及P4之中的一个或者二者的线性或非线性***来精确预测对象标记的显示位置，依此获得P3’的精确的对象标记。

本发明可以以其他特定形式来实施而不背离其精神或本质特征。所描述的实施例在所有方面都被认为仅是说明性的而不是限制性的。因此，本发明的范围由所附的权利要求而不是由前面的描述来表示。在权利要求的等同含义和范围内的所有变化都是在其范围之内。

Claims (20)

1.一种图像处理方法，其包括：

接收图像输入，其中，所述图像输入包括至少一源图像；

接收图像选择信息；

对于所述图像输入中的所述至少一源图像，检查所述图像选择信息，以确认所述源图像是被选择或者是被跳过；

执行面向对象的图像处理操作于每一所选的源图像。

2.如权利要求1所述的图像处理方法，其特征在于，所述面向对象的图像处理操作包括至少一对象侦测、对象追踪及对象识别。

3.如权利要求1所述的图像处理方法，其特征在于，所述图像输入由包含图像感应器的图像撷取装置产生，而所述图像选择信息由辅助感应器产生。

4.如权利要求1所述的图像处理方法，其特征在于，所述图像输入由图像撷取装置产生，且所述图像选择信息由图像撷取装置的处理电路产生。

5.如权利要求1所述的图像方法，其特征在于，所述图像输入及所述图像选择信息均由处理电路产生，且所述处理电路为视频解码器、帧率转换器及音/视频同步模块之一。

6.如权利要求1所述的图像方法，其特征在于，所述图像选择信息为用户定义模式设置。

7.如权利要求1所述的图像处理方法，其特征在于，所述图像处理方法进一步包括：参照所选源图像中的由所述面向对象的图像处理操作处理的已处理对象的对象标记的至少一显示位置，来预测已跳过的源图像中的所述对象的对象标记的显示位置。

8.一种图像处理方法，其包括：

接收图像输入，其中所述图像输入包括至少一源图像；

接收算法选择信息；及

对于包含于所述图像输入中的源图像，检查所述算法选择信息，以自多个不同图像处理算法中确定所选图像处理算法。

基于所述所选图像处理算法，执行图像处理操作于所述源图像。

9.如权利要求8所述的图像处理方法，其特征在于，所述图像处理操作为面向对象的图像处理操作。

10.如权利要求9所述的图像处理方法，其特征在于，所述面向对象的图像处理操作包括至少一对象侦测、对象追踪及对象识别。

11.如权利要求8所述的图像处理方法，其特征在于，所述不同的图像处理算法包含第一图像处理算法及第二图像处理算法，其中相较于基于所述第一图像处理算法执行所述图像处理操作于所述源图像，基于第二图像处理算法执行所述图像处理操作于所述源图像有较少计算量或者较低的功耗。

12.如权利要求8所述的图像处理方法，其特征在于，所述图像输入由包含图像感应器的图像撷取装置产生，而所述算法选择信息由辅助感应器产生。

13.如权利要求8所述的图像处理方法，其特征在于，所述图像输入由图像撷取装置产生，且所述算法选择信息由所述图像撷取装置的图像处理模块产生。

14.如权利要求8所述的图像处理方法，其特征在于，所述图像输入及所述算法选择信息均由处理电路产生，且所述处理电路为视频解码器、帧率转换器及音/视频同步模块之一。

15.如权利要求8所述的图像处理方法，其特征在于，所述算法选择信息为用户定义模式设置。

16.如权利要求8所述的图像处理方法，其特征在于，所述图像输入包括分别基于不同的所选处理算法执行图像处理操作的第一源图像及第二源图像，且所述图像处理方法进一步包括：

参照所述第一源图像内的由所述图像处理操作处理的已处理对象的对象标记的至少一显示位置，精确所述第二源图像内的由所述图像处理操作处理的已处理对象的对象标记的显示位置。

17.一图像处理装置，其特征在于，其包括：

一帧选择单元，所述帧选择单元接收图像输入，其中，所述图像输入包括至少一源图像；所述帧选择单元还接收图像选择信息，且对于所述图像输入内的所述源图像，检查所述图像选择信息，以确定所述源图像被选择或被跳过；及

图像处理单元，所述图像处理单元执行面向对象的图像处理操作于每一所选源图像。

18.如权利要求17所述的图像处理装置，其特征在于，执行所述面向对象的图像处理操作的所述图像处理单元至少包括对象侦测模块、对象追踪模块及对象识别模块中之一。

19.一种图像处理装置，其特征在于，其包括：

图像处理单元，所述图像处理单元接收图像输入至所述图像处理装置，其中所述图像输入包括至少一源图像；且基于所选的图像处理算法执行图像处理操作于所述源图像；

算法选择单元，所述算法选择单元接收算法选择信息；且对于包含于所述图像输入中的源图像，检查所述算法选择信息，以自多个不同图像处理算法中确定所选图像处理算法。

20.如权利要求19所述的图像处理装置，其特征在于，由所述图像处理单元执行的所述图像处理操作为面向对象的图像处理操作。