CN111491101B - 图像处理器、图像处理方法、拍摄装置和电子设备 - Google Patents

Abstract

本申请公开了一种图像处理器、图像处理方法、拍摄装置和电子设备。图像处理器包括硬件抽象模块、应用程序模块和算法后处理模块。硬件抽象模块用于接收RAW图像、将RAW图像转换为YUV图像、及传输YUV图像。应用程序模块用于与硬件抽象模块连接。算法后处理模块通过应用程序模块与硬件抽象模块连接。算法后处理模块内存储有场景检测算法，算法后处理模块用于采用场景检测算法处理YUV图像以获取场景检测结果。本申请实施方式的图像处理器、图像处理方法、拍摄装置和电子设备中算法后处理模块对YUV图像进行场景检测算法处理，无需在硬件抽象模块本身的算法架构上做流程截断，大大降低场景侦测处理和硬件抽象模块的耦合度，有利于降低设计难度，降低研发成本。

Description

图像处理器、图像处理方法、拍摄装置和电子设备

技术领域

本申请涉及图像处理技术领域，更具体而言，涉及一种图像处理器、图像处理方法、拍摄装置和电子设备。

背景技术

目前，场景侦测处理是在硬件抽象模块(Hardware Abstract Layer，HAL)中处理，使得硬件抽象模块和场景侦测处理的耦合度较高，从而使得当产品的相关功能需要更改时硬件抽象模块内部流程需要做更多的适应性更改，硬件抽象模块和场景侦测处理的耦合导致设计难度大，并且耗费研发成本。

发明内容

本申请实施方式提供一种图像处理器、图像处理方法、拍摄装置和电子设备。

本申请实施方式的图像处理器包括硬件抽象模块、应用程序模块和算法后处理模块。所述硬件抽象模块用于接收RAW图像、将所述RAW图像转换为YUV图像、及传输所述YUV图像。所述应用程序模块用于与所述硬件抽象模块连接。所述算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接。所述算法后处理模块内存储有场景检测算法，所述算法后处理模块用于采用所述场景检测算法处理所述YUV图像以获取场景检测结果。

本申请实施方式的图像处理方法包括：硬件抽象模块接收RAW图像、将所述RAW图像转换为YUV图像、及将所述YUV图像传输至应用程序模块；及算法后处理模块采用场景检测算法处理所述YUV图像以获取场景检测结果。

本申请实施方式的拍摄装置包括图像处理器及图像传感器，所述图像传感器与所述图像处理器连接。所述图像处理器包括硬件抽象模块、应用程序模块和算法后处理模块。所述硬件抽象模块用于接收RAW图像、将所述RAW图像转换为YUV图像、及传输所述YUV图像。所述应用程序模块用于与所述硬件抽象模块连接。所述算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接。所述算法后处理模块内存储有场景检测算法，所述算法后处理模块用于采用所述场景检测算法处理所述YUV图像以获取场景检测结果。

本申请实施方式的电子设备包括拍摄装置及壳体，所述拍摄装置与所述壳体结合。所述拍摄装置包括图像处理器及图像传感器，所述图像传感器与所述图像处理器连接。所述图像处理器包括硬件抽象模块、应用程序模块和算法后处理模块。所述硬件抽象模块用于接收RAW图像、将所述RAW图像转换为YUV图像、及传输所述YUV图像。所述应用程序模块用于与所述硬件抽象模块连接。所述算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接。所述算法后处理模块内存储有场景检测算法，所述算法后处理模块用于采用所述场景检测算法处理所述YUV图像以获取场景检测结果。

本申请实施方式的图像处理器、图像处理方法、拍摄装置和电子设备中，硬件抽象模块不对YUV图像进行场景检测算法处理，而是算法后处理模块对YUV图像进行场景检测算法处理，使得实现场景检测算法无需在硬件抽象模块本身的算法架构上做流程截断，而是在外部实现，从而大大降低场景侦测处理和硬件抽象模块的耦合度，有利于降低设计过程的难度和设计更改的难度，降低研发成本。

本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的拍摄装置的示意图；

图2是本申请某些实施方式的电子设备的结构示意图；

图3是本申请某些实施方式的预览算法的示意图；

图4是本申请某些实施方式的场景检测算法的示意图；

图5是本申请某些实施方式的算法后处理模块与应用程序模块的通信的示意图；

图6是本申请某些实施方式的拍摄装置的示意图；

图7是本申请某些实施方式的算法后处理模块与硬件抽象模块、应用程序模块的通信的示意图；

图8是本申请某些实施方式的算法后处理模块的示意图；

图9是本申请某些实施方式的拍摄装置的示意图；

图10至图17是本申请某些实施方式的图像处理方法的流程示意图。

具体实施方式

下面详细描述本申请的实施方式，实施方式的示例在附图中示出，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

下文的公开提供了许多不同的实施方式或例子用来实现本申请的实施方式的不同结构。为了简化本申请的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。

请参阅图1和图2，本申请提供一种电子设备1000。电子设备1000包括拍摄装置100和壳体200，拍摄装置100与壳体200结合。壳体200可以作为电子设备1000的功能元件的安装载体。壳体200可以为功能元件提供防尘、防摔、防水等保护，功能元件可以是显示屏、拍摄装置100、受话器等。

请参阅图1和图2，本申请还提供一种拍摄装置100。拍摄装置100包括图像处理器10和图像传感器20。图像处理器10和图像传感器20连接。图像传感器20可以包括图像采集单元(sensor)22和RAW图像数据单元(Image Front-end，IFE)24。图像采集单元22可以用于接收光线以采集获得图像数据(RAW图像)，RAW图像数据单元24可以用于将图像采集单元22采集的图像数据传输至图像处理器10。其中，RAW图像数据单元24可以对图像采集单元22采集获得的RAW图像进行处理并输出处理后的RAW图像至图像处理器10。

请参阅图1，本申请实施方式还提供一种图像处理器10。图像处理器10包括硬件抽象模块12、应用程序模块14(APP)14和算法后处理模块16(Algo process service，APS)16。硬件抽象模块12用于接收RAW图像、将RAW图像转换为YUV图像、及传输YUV图像。应用程序模块14用于与硬件抽象模块12连接。算法后处理模块16用于通过应用程序模块14与硬件抽象模块12连接。算法后处理模块16内存储有场景检测算法，算法后处理模块16用于采用场景检测算法处理YUV图像以获取场景检测结果。

本申请实施方式的图像处理器10、图像处理方法、拍摄装置100和电子设备1000中，硬件抽象模块12不对YUV图像进行场景检测算法处理，而是算法后处理模块16对YUV图像进行场景检测算法处理，使得实现场景检测算法无需在硬件抽象模块12本身的算法架构上做流程截断，而是在外部实现，从而大大降低场景侦测处理和硬件抽象模块12的耦合度，有利于降低设计过程的难度和设计更改的难度，降低研发成本。

硬件抽象模块12用于接收RAW图像、将RAW图像转换为YUV图像、及传输RAW图像和/或YUV图像。硬件抽象模块12可以与图像传感器20连接。具体地，硬件抽象模块12可以包括与图像传感器20连接的缓存单元(buffer queue)122、RAW转RGB处理单元(Bayer ProcessSegment，BPS)124和与应用程序模块14连接的降噪及YUV后处理单元(Image ProcessEngine，IPE)126。缓存单元122用于缓存来自图像传感器20的RAW图像并通过应用程序模块14传输给算法后处理模块16。RAW转RGB处理单元124用于将来自缓存单元122的RAW图像转换为RGB图像。降噪及YUV后处理单元126用于处理RGB图像得到YUV图像并将YUV图像通过应用程序模块14传输给算法后处理模块16。硬件抽象模块12还可传输图像数据的元数据(metadata)，元数据包括3a(自动曝光控制AE、自动聚焦控制AF、自动白平衡控制AWB)信息、图片信息(例如图像宽度、高度)、曝光参数(光圈大小、快门速度和感光度光圈值)等，可以利用元数据辅助实现对RAW图像和/或YUV图像的拍照后处理(例如包括美颜处理、滤镜处理、旋转处理、水印处理、虚化处理、HDR处理、及多帧处理中的至少一种)。在一个实施例中，元数据包括感光度(ISO)信息，根据感光度信息可以辅助调节RAW图像和/或YUV图像的亮度，从而实现与调节亮度相关的拍照后处理。

由于硬件抽象模块12不对RAW图像和/或YUV图像进行拍照后处理(例如只接收RAW图像、将RAW图像转换为YUV图像、及传输RAW图像和/或YUV图像)，拍照后处理的图像处理算法无需在硬件抽象模块12本身的算法架构上做流程截断，只需在外部做兼容，设计难度减小。

在相关技术中，应用程序接口(API)将硬件抽象模块12建立成管道(pipeline)的方式，由于管道的创建需要大量的时间和内存，因此在相机启动时需要将相机对应的工作模式用到的所有管道均先创建好，而为了实现各种图像处理算法，一般需要创建大量管道(例如超过三条管道)，这会导致相机的启动需要耗费大量的时间，并且占用大量的内存。本申请实施方式的硬件抽象模块12不对RAW图像和/或YUV图像进行拍照后处理，因此，硬件抽象模块12只需建立少量(例如一条或两条)管道即可，无需建立大量的管道，从而能够节约内存，并且可以使得相机的启动速度变快。

应用程序模块14用于与硬件抽象模块12连接。应用程序模块14可以用于根据用户的输入产生控制指令并将该控制指令通过硬件抽象模块12发送给图像传感器20以对图像传感器20的工作进行相应的控制。其中，应用程序模块14可以以64比特位(bit)运行，并且拍照后处理的图像处理算法的静态数据连接库(lib)可以配置为64比特位，以提高运算速度。应用程序模块14接收硬件抽象模块12传输的RAW图像和/或YUV图像后，可以对RAW和/或YUV图像进行拍照后处理，也可以将RAW和/或YUV图像传输至算法后处理模块16并由算法后处理模块16进行拍照后处理。当然，还可以是应用程序模块14进行一些拍照后处理(例如美颜处理、滤镜处理、旋转处理、水印处理、虚化处理等)，算法后处理模块16进行另外一些拍照后处理(例如HDR处理、多帧处理等)。在本申请实施方式中，应用程序模块14将RAW和/或YUV图像传输至算法后处理模块16进行拍照后处理。

算法后处理模块16通过应用程序模块14与硬件抽象模块12连接，算法后处理模块16内至少存储有场景检测算法。算法后处理模块16还可以存储有其他图像处理算法(例如包括预览算法、美颜处理算法、滤镜处理算法、旋转处理算法、水印处理算法、虚化处理算法、HDR处理算法、及多帧处理算法等)。算法后处理模块16用于采用场景检测算法处理YUV图像以实现场景检测算法处理，并且可以用图像处理算法处理RAW图像和/或YUV图像以实现其他拍照后处理。由于对YUV图像进行场景检测算法处理和对RAW图像和/或YUV图像进行拍照后处理可由算法后处理模块16实现，从而无需在硬件抽象模块12本身的算法架构上做流程截断，只需在外部做兼容，设计难度减小。并且由于场景检测算法处理等拍照后处理由算法后处理模块16实现，因此算法后处理模块16的功能更单一、更聚焦，从而可以达到移植快，扩展新的图像处理算法或更改原有图像处理算法简单等效果。当然，若是在应用程序模块14进行场景检测算法和其他拍照后处理(例如预览算法处理、美颜处理、滤镜处理、旋转处理、水印处理、虚化处理等)，算法后处理模块16进行另外一些拍照后处理(例如HDR处理、多帧处理等)时，应用程序模块14内也可存储有场景检测算法等图像处理算法(例如包括美颜处理算法、滤镜处理算法、旋转处理算法、水印处理算法、虚化处理算法、HDR处理算法、及多帧处理算法中的至少一种)。应用程序模块14还可以用于采用图像处理算法处理RAW图像和/或YUV图像以实现场景检测算法处理等拍照后处理。由于对RAW图像和/或YUV图像进行拍照后处理由应用程序模块14与算法后处理模块16实现，从而无需在硬件抽象模块12本身的算法架构上做流程截断，只需在外部做兼容，设计难度同样也是大大减小。

在算法后处理模块16只处理YUV图像(例如图像处理算法针对YUV图像进行处理)时，硬件抽象模块12可以只传输YUV图像；在算法后处理模块16处理RAW图像和YUV图像时，硬件抽象模块12可以传输RAW图像和YUV图像。

请参阅图1和图3，在某些实施方式中，算法后处理模块16内还存储有预览算法，算法后处理模块16还用于对YUV图像执行预览算法处理、从预览算法中复制YUV图像、并将复制的YUV图像供场景检测算法处理。因此，本申请实施方式的图像处理器10、拍摄装置100和电子设备1000从预览算法处理中复制YUV图像，以方便后续算法后处理模块16对该复制的YUV图像进行场景检测算法处理。

具体地，请参阅图1和图3，预览算法的过程可以为如下。首先，获取YUV图像；然后，当场景检测算法需要运行时，将获取的YUV图像复制一份并发送到算法后处理模块16运行场景检测算法的进程中；接着，执行预览算法的核心算法；最后，封装预览算法。预览算法的核心算法可以包括：(1)将获得的YUV图像进行压缩处理；(2)向编码单元162发生压缩处理后的YUV图像；(3)接收将编码单元162发回的JPG图像(编码单元162将YUV图像转换为JPG图像)；(4)将JPG图像发送到应用程序模块14，由应用程序模块14控制该JPG图像的预览显示。

本申请实施方式的图像处理器10、拍摄装置100和电子设备1000的算法后处理模块16内可以存储有预览算法，使得本申请实施方式的图像处理器10、拍摄装置100和电子设备1000能在拍摄后获得预览图像，以在拍摄完成后，在电子设备1000的显示屏幕上的某个区域内显示预览图像，符合用户习惯，有利于提高用户的体验感，

请参阅图1和图4，在某些实施方式中，算法后处理模块16还用于接收复制的YUV图像、提取YUV图像的参数、根据参数执行场景检测算法处理以得到场景检测结果、及封装场景检测结果。

具体地，算法后处理模块16在场景检测算法的进程可以包括：接收复制的YUV图像；提取YUV图像的参数；根据参数执行场景检测算法的核心算法处理以得到场景检测结果；及封装场景检测结果并将场景检测结果发送到应用程序模块14中。算法后处理模块16接收预览算法中复制并发出的YUV图像，然后提取该YUV图像的图像参数(例如像素尺寸、图像格式等)，以便后续执行场景检测核心算法的处理。接着，执行场景检测核心算法处理，得到场景检测结果。最后，将该场景检测结果封装并发送到应用程序模块14或者硬件抽象模块12。本申请实施方式的图像处理器10、拍摄装置100和电子设备1000的算法后处理模块16包括场景检测算法，场景检测算法可以包括接收复制的YUV图像、提取YUV图像的参数、根据参数执行场景检测算法处理以得到场景检测结果、及封装场景检测结果，使得能识别拍摄图像的场景类型，有利于后续本申请实施方式的图像处理器10、拍摄装置100和电子设备1000根据场景检测结果进行其他处理。

场景检测核心算法可以包括边缘提取、模糊检测和亮度检测等。例如，场景检测核心算法可以包括提取YUV图像中的景象边缘，然后将提取出的景象边缘与数据库中的场景模型进行比对，并将比对过程中发现的相似度最高的场景模型作为场景检测的结果，也即场景的类型。场景检测结果可以包括建筑、自然风景、人像、物体和食物等。场景检测核心算法还可以包括模糊检测，例如，当检测到YUV图像中的景物模糊并且具有较长的残影的时候，判定为快速运动景物的场景。场景检测结果可以包括快速运动景物、慢速运动景物和静态景物等。场景检测核心算法还可以包括亮度检测，例如，当检测到YUV图像的像素的平均亮度超过一定阈值时，判定为室外晴天的场景；或者设定一个阈值，当YUV图像的像素的灰度值超过此阈值时，该像素判定为过曝像素，当检测到YUV图像的过曝像素超过一定数量时，判定为晴天室外的场景。场景检测结果可以包括室外晴天、室外阴天和室内暗光环境等。

在某些实施方式中，场景检测结果可以直接回调至应用程序模块14。场景检测结果直接回调至应用程序模块14，有利于减少数据传输的节点，以提高传输效率，从而能整体上提升本申请实施方式的图像处理器10、拍摄装置100和电子设备1000的处理速度。

请参阅图5，在另一些实施方式中，场景检测结果可以通过通信服务模块141回调至应用程序模块14。本申请实施方式的图像处理器10、拍摄装置100和电子设备1000可以通过在应用程序模块14中设置通信服务模块141，使得应用程序模块14中的部分接收功能封装在通信服务模块141中，有利于应用程序模块14的功能的独立封装，以提高图像处理器10工作时的稳定性。

具体地，请参阅图5，算法后处理模块16执行场景检测算法后，得到场景检测结果后，将场景检测结果封装并通过应用程序模块14的通信服务模块141回调到应用程序模块14中。

请继续参阅图5，本申请实施方式的算法后处理模块16可以对YUV图像执行预览算法处理、从预览算法中复制YUV图像、并将复制的YUV图像供场景检测算法处理。图5中，算法后处理模块16可以先开始运行预览算法，再开始运行场景检测算法，预览算法获取YUV图像后，将该YUV图像复制并发送到场景检测算法的进程中，使得场景检测算法能接收YUV图像并执行后续处理，以得到场景检测结果。本申请实施方式的图像处理器10、拍摄装置100和电子设备1000从预览算法处理中复制YUV图像进行场景检测算法处理，使得预览算法处理无需从应用程序模块14或者硬件抽象模块12获取YUV图像，能减少图像数据传送接口的个数和图像数据传输通道长度，以提高传输效率的同时，不影响场景检测算法的正常运行，因此能降低本申请实施方式的图像处理器10、拍摄装置100和电子设备1000的功耗，并且提高处理速度。

根据一般的用户习惯，每次拍摄后都需要产生预览图像，但是不必要每次拍摄都需要进行场景检测。因此，在某些实施方式中，复制YUV图像的操作可以相隔一帧或几帧YUV图像执行一次，同时场景检测也相隔一帧或几帧YUV图像运行一次。在另一些实施方式中，复制YUV图像的操作可以在特定的拍摄模式(如智能识别拍摄模式)下才运行。本申请实施方式的图像处理器10、拍摄装置100和电子设备1000中的场景检测算法可以相隔一帧或几帧YUV图像运行一次，使得能降低本申请实施方式的图像处理器10、拍摄装置100和电子设备1000的功耗，并且提高图像处理器10的处理速度。

请参阅图1和图5，在某些实施方式中，应用程序模块14用于接收从硬件抽象模块12传输来的YUV图像及将YUV图像传输至算法后处理模块16以供预览算法处理，有利于减少预览算法处理和硬件抽象模块12的耦合度，从而降低设计和设计更改的难度，进而降低研发成本。

请参阅图6和图7，在另一些实施方式中，硬件抽象模块12与算法后处理模块16直接连接，硬件抽象模块12用于将YUV图像传输至算法后处理模块16以供预览算法处理，有利于减少数据传输的节点和减短数据传输的距离，以提高传输效率，从而能整体上提升本申请实施方式的图像处理器10、拍摄装置100和电子设备1000的处理速度。

请参阅图5或图7，算法后处理模块16可以包括编码单元162，编码单元162用于将YUV图像转换为JPG图像(或者JPEG图像等)。具体地，在算法后处理模块16处理的是YUV图像时，编码单元162可以直接对YUV图像进行编码以形成JPG图像，从而提高图像的输出速度。在算法后处理模块16处理的是RAW图像时，算法后处理模块16可以将处理实现拍照后处理的RAW图像经应用程序模块14回传至硬件抽象模块12，例如回传至RAW转RGB处理单元124，RAW转RGB处理单元124可以用于将算法后处理模块16处理实现拍照后处理并经应用程序模块14回传的RAW图像转换为RGB图像，降噪及YUV后处理单元126可以将RGB图像转换为YUV图像，该YUV图像可以再次传输至算法后处理模块16的编码单元162中以将该YUV图像转换为JPG图像。在某些实施方式中，算法后处理模块16也可以将处理实现拍照后处理的RAW图像经应用程序模块14回传至缓存单元122，回传的RAW图像经过RAW转RGB处理单元124和降噪及YUV后处理单元126形成YUV图像，再传输至编码单元162以形成JPG图像。在形成JPG图像后，算法后处理模块16可以用于将JPG图像传输至存储器中保存。

请参阅图1和图5，在某些实施方式中，算法后处理模块16包括编码单元162，编码单元162可以用于将YUV图像转换为JPG图像，应用程序模块14用于根据场景检测结果对JPG图像执行第一操作。

具体地，在某些实施例中，第一操作可以包括将场景检测结果显示在图像处理器10所在的电子设备1000的显示屏上。例如，电子设备1000可以为手机，在手机拍摄一张图像，并且应用程序模块14接收到场景检测结果后，手机的屏幕上显示拍摄图像的同时显示场景检测结果，并且将拍摄图像和场景检测结果共同存储，以便用户后续对手机内的图像进行分类和整理。当场景检测结果为建筑物时，手机的屏幕上显示拍摄图像的同时显示“建筑物”，并且将拍摄图像和“建筑物”共同存储；当场景检测结果为自然风景时，手机的屏幕上显示拍摄图像的同时显示“自然风景”，并且将拍摄图像和“自然风景”共同存储；同理，场景检测结果还可以为人像、物体、文字等。本申请实施方式的电子设备1000通过对场景的检测和显示，使得用户在拍摄后能较为实时地认知到所摄物的分类信息。本申请实施方式的电子设备1000通过对场景的检测和存储，使得当用户需要从数目总量较多的图像中寻找某张图像时，用户能按照场景类别进行寻找，从而能方便用户能以更快的速度寻找到所需要的图像。

在另一些实施例中，第一操作可以包括：根据场景检测结果选择拍摄装置100的拍照模式。拍摄模式可以包括人像模式、景物模式、动物模式。拍摄装置100可以包括镜头和图像传感器20。例如，当场景检测结果为人物拍摄时，应用程序模块14控制拍摄装置100的拍照模式为人像模式。在人像模式下，镜头的对焦方式为单点对焦，有利于突出图像传感器20采集的RAW图像中的人物。当场景检测结果为景物拍摄时，应用程序模块14控制拍摄装置100的拍照模式为景物模式。在景物模式下，镜头的对焦方式为多点对焦，有利于图像传感器20采集的RAW图像成像清晰。当场景检测结果为晴天室外时，应用程序模块14控制拍摄装置100的拍照模式为晴天模式。在晴天模式下，镜头的曝光光圈较小，而晴天的拍摄环境的亮度较高，有利于图像传感器20采集到亮度更为适宜的RAW图像。当场景检测结果为阴天室外时，应用程序模块14控制拍摄装置100的拍照模式为阴天模式。在阴天模式下，镜头的曝光光圈较大，而阴天的拍摄环境的亮度较低，有利于图像传感器20采集到亮度更为适宜的RAW图像。

在再一些实施例中，第一操作可以包括：对JPG图像进行图像处理。图像处理可以包括美颜处理、磨皮处理、食物滤镜处理。例如，当场景检测结果为食物时，应用程序模块14对从算法后处理模块16接收的JPG图像进行食物滤镜处理，食物滤镜处理可以包括提高JPG图像的色彩饱和度，从而使得该JPG图像中的食物具有更好的观赏性。当场景检测结果为人像时，应用程序模块14对从算法后处理模块16接收的JPG图像进行磨皮处理，磨皮处理可以包括加大该JPG图像的部分区域的平滑度，从而使得该JPG图像中的人像具有更好的皮肤。

请参阅图6和图7，在某些实施方式中，硬件抽象模块12可以用于根据场景检测结果对YUV图像执行第二操作。在图6和图7中，硬件抽象模块12可以直接将YUV图像或RAW图像发送至算法后处理模块16，算法后处理模块16的场景检测算法的场景检测结果可以回调至硬件抽象模块12中，然后硬件抽象模块12可以根据场景检测结果对YUV图像执行第二操作。具体地，在某些实施例中，第二操作可以包括对拍摄装置100的拍摄参数的调整。例如，当场景检测结果为晴天室外时，硬件抽象模块12控制减小拍摄装置100的镜头的曝光光圈，以减少拍摄过程进光量，有利于图像传感器20采集到亮度更为适宜的RAW图像，从而有利于提高成像质量。当场景检测结果为阴天室外时，硬件抽象模块12控制增大拍摄装置100的镜头的曝光光圈，以增大拍摄过程进光量，有利于图像传感器20采集到亮度更为适宜的RAW图像，从而有利于提高成像质量。当场景检测结果为运动景物时，硬件抽象模块12控制减小拍摄装置100的镜头的快门速度，以降低拍摄过程的持续时长，从而减轻图像传感器20采集的RAW图像的模糊和残影，有利于提高成像质量。

在另一些实施例中，第二操作还可以包括对图像进行一些图像处理，例如，当场景检测结果为室内暗光环境时，硬件抽象模块12对YUV图像或RAW图像进行亮度提升的处理，以提升成像效果。

在又一些实施例中，图像传感器20可以包括陀螺仪，硬件抽象模块12可以根据陀螺仪的抖动情况和场景检测结果等向应用程序模块14发送帧数建议，例如，当陀螺仪检测到的抖动较大，并且场景检测结果为运动景物时，硬件抽象模块12向应用程序模块14发送的帧数建议可以是：建议较多帧，以更好地实现拍照后处理；当陀螺仪检测到的抖动较小时，并且场景检测结果为静态景物时，硬件抽象模块12向应用程序模块14发送的帧数建议可以是：建议较少帧，以减少数据传输量。也即是说，硬件抽象模块12向应用程序模块14建议的帧数可以与陀螺仪检测到的抖动程度正相关，并且和场景检测结果相关联，使得应用程序模块14能控制拍摄过程中图像传感器20以更合适的帧数采集图像，控制图像处理器10以更合适的帧数处理图像，有利于提高成像质量或者提高处理效率。

在再一些实施例中，图像传感器20可以包括陀螺仪，硬件抽象模块12还可以根据陀螺仪的抖动情况和场景检测结果等向应用程序模块14发送算法建议，例如，当陀螺仪检测到的抖动较大时，并且场景检测结果为运动景物时，硬件抽象模块12向应用程序模块14发送的算法建议可以是多帧处理，以根据多帧处理消除抖动；当场景检测结果检测的场景类型为人物时，硬件抽象模块12向应用程序模块14发送的算法建议可以是美颜处理，以对人物进行美颜；当场景检测结果检测的场景类型为风景时，硬件抽象模块12向应用程序模块14发送的算法建议可以是HDR处理，以形成高动态范围的风景图像。应用程序模块14根据帧数建议和算法建议向硬件抽象模块12发出数据请求，硬件抽象模块12根据该数据请求传输对应的数据至应用程序模块14，应用程序模块14再将数据传输至算法后处理模块16进行拍照后处理。本申请实施方式的图像处理器10、图像处理方法、拍摄装置100和电子设备1000中硬件抽象模块12还可以根据陀螺仪的抖动情况和场景检测结果等向应用程序模块14发送算法建议，有利于应用程序模块14以合适的算法对图像进行图像拍照后处理能有利于提高成像质量。

图像传感器20进行一次拍摄(曝光成像)后，将拍摄数据(RAW图像)传输给硬件抽象模块12，在算法后处理模块16接收到与拍摄数据对应的RAW图像和/或YUV图像后，图像传感器20能够进行下一次拍摄、或图像传感器20能够关闭、或应用程序模块14能够关闭、或应用程序模块14能够退出应用界面。由于拍照后处理由算法后处理模块16实现，因此在将拍摄数据对应的RAW图像和/或YUV图像传输给算法后处理模块16后，只需要算法后处理模块16就可实现拍照后处理，此时图像传感器20和应用程序模块14可以不参与拍照后处理，因此，图像传感器20能够关闭或执行下一次拍摄，应用程序模块14能够关闭或退出应用界面。如此，拍摄装置100能够实现快拍，并且在算法后处理模块16进行拍照后处理时可以关闭应用程序模块14或退出应用程序界面，从而在电子设备1000上进行一些其他操作(例如与拍摄装置100无关的操作，比如浏览网页、看视频、打电话等)，从而用户无需花费大量的时间等待拍照后处理的完成，便于用户使用电子设备1000。

请参阅图8，算法后处理模块16可以包括逻辑处理调用层164、算法模块接口层166和算法处理层168。逻辑处理调用层164用于与应用程序模块14通信。算法模块接口层166用于维护算法接口。算法处理层168包括至少一种图像处理算法。算法模块接口层166用于通过算法接口对算法处理层168的图像处理算法进行注册、注销、调用和回调中的至少一种操作。

逻辑处理调用层164可以包括线程队列，算法后处理模块16接收到RAW图像和/或YUV图像的拍照后处理任务后，可以将拍照后处理任务缓存在线程队列中处理，其中，线程队列可以缓存多个拍照后处理任务，如此，可以通过逻辑处理调用层164实现快拍(即快拍机制)。另外，逻辑处理调用层164也可以接收应用程序模块14发送的初始化(init)、进程(process)等指令，并将对应的指令和数据保存到线程队列中。逻辑处理调用层164根据线程队列中的任务进行具体逻辑的调用(即具体逻辑调用组合)。逻辑处理调用层164还可以将处理获得的缩略图(thumbnail)回传给应用程序模块14进行显示(即缩略图回显)。在本申请的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

算法模块接口层166用于调用算法接口，调用命令也可以保存到线程队列中，算法处理层168在接收到线程队列的调用命令时，即可解析调用命令的参数获得需要调用的图像处理算法。算法模块接口层166对图像处理算法进行注册时，可以在算法处理层168中新增一种图像处理算法；算法模块接口层166对图像处理算法进行注销时，可以删除算法处理层168中一种图像处理算法；算法模块接口层166对图像处理算法进行调用时，可以调用算法处理层168中一种图像处理算法；算法模块接口层166对图像处理算法进行回调时，可以将算法处理后的数据和状态回传给应用程序模块14。其中，可以采用统一接口实现图像处理算法的注册、注销、调用、回调等操作。算法处理层168中的每一种图像处理算法都是独立的，如此可以方便对图像处理算法实现注册、注销、调用、回调等操作。

请参阅图9，在某些实施方式中，图像处理器10还包括相机服务模块18。硬件抽象模块12通过相机服务模块18与应用程序模块14连接。相机服务模块18对RAW图像和/或YUV图像进行封装并将封装后的RAW图像和/或YUV图像传输至应用程序模块14、及将应用程序模块14回传的RAW图像传输至硬件抽象模块12。如此，通过相机服务模块18对图像进行封装，可以提高图像传输的效率，并且能够提高图像传输的安全性。在图像处理器10包括相机服务模块18时，图像处理器10中的数据(图像、元数据等)传输的路径可以进行适应性调整，即硬件抽象模块12和应用程序模块14之间传输的数据均需要通过相机服务模块18。例如，硬件抽象模块12向应用程序模块14传输RAW图像和/或YUV图像时，硬件抽象模块12先将RAW图像和/或YUV图像传输至相机服务模块18，相机服务模块18对RAW图像和/或YUV图像进行封装并将封装后的RAW图像和/或YUV图像传输至应用程序模块14。又例如，硬件抽象模块12向应用程序模块14传输元数据时，硬件抽象模块12先将元数据传输至相机服务模块18，相机服务模块18对元数据进行封装并将封装后的元数据传输至应用程序模块14。又例如，硬件抽象模块12向应用程序模块14传输帧数建议时，硬件抽象模块12先将帧数建议传输至相机服务模块18，相机服务模块18对帧数建议进行封装并将封装后的帧数建议传输至应用程序模块14。又例如，硬件抽象模块12向应用程序模块14传输算法建议时，硬件抽象模块12先将算法建议传输至相机服务模块18，相机服务模块18对算法建议进行封装并将封装后的算法建议传输至应用程序模块14。当然，在某些实施方式中，硬件抽象模块12可将感光度信息、陀螺仪的抖动情况、AR场景检测结果等传输至相机服务模块18，相机服务模块18根据感光度信息、陀螺仪的抖动情况、AR场景检测结果等获得帧数建议和/或算法建议，再将帧数建议和/或算法建议传输至应用程序模块14。

在本申请的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请的实施方式中的具体含义。

请参阅图1和图10，本申请实施方式的图像处理方法包括：

01：硬件抽象模块12接收RAW图像、将RAW图像转换为YUV图像、及将YUV图像传输至应用程序模块14；及

02：算法后处理模块16采用场景检测算法处理YUV图像以获取场景检测结果。

本发明实施方式的图像处理方法可以用于本发明实施方式的图像处理器10，或者说，本发明实施方式的图像处理方法可以由本发明实施方式的图像处理器10实现，其中，步骤01可以由硬件抽象模块12实现，步骤02可以由算法后处理模块16实现。

本申请实施方式图像处理方法中，硬件抽象模块12不对YUV图像进行场景检测算法处理，而是算法后处理模块16对YUV图像进行场景检测算法处理，使得实现场景检测算法无需在硬件抽象模块12本身的算法架构上做流程截断，而是在外部实现，从而大大降低场景侦测处理和硬件抽象模块12的耦合度，有利于降低设计过程的难度和设计更改的难度，降低研发成本。

请参阅图1和图11，在某些实施方式中，算法后处理模块16内还存储有预览算法，图像处理方法还包括：

03：算法后处理模块16对YUV图像执行预览算法处理；

04：算法后处理模块16从预览算法中复制YUV图像；

算法后处理模块16采用场景检测算法处理YUV图像以获取场景检测结果，包括：

021：算法后处理模块16采用场景检测算法处理复制的YUV图像以获取场景检测结果。

其中，步骤03、04和021可以由算法后处理模块16实现。

请参阅图1和图12，在某些实施方式中，图像处理方法还包括：

05：应用程序模块14接收从硬件抽象模块12传输来的YUV图像；

06：应用程序模块14将YUV图像传输至算法后处理模块16以供预览算法处理。

其中，步骤05和06可以由应用程序模块14实现。

请参阅图1和图13，在某些实施方式中，图像处理方法还包括：

07：硬件抽象模块12直接将YUV图像传输至算法后处理模块16以供预览算法处理。

其中，步骤07可以由硬件抽象模块12实现。

请参阅图1和图14，在某些实施方式中，算法后处理模块16采用场景检测算法处理复制的YUV图像以获取场景检测结果(021)，包括：

0211：接收复制的YUV图像；

0212：提取YUV图像的参数；

0213：根据参数执行场景检测算法处理以得到场景检测结果；及

0214：封装场景检测结果。

其中，步骤0211、0212、0213和0214可以由算法后处理模块16实现。

请参阅图1和图15，在某些实施方式中，图像处理方法还包括：

08：场景检测结果通过通信服务模块141回调至应用程序模块14。

其中，步骤08可以由算法后处理模块16实现。

请参阅图1和图16，在某些实施方式中，图像处理方法还包括：

09：算法后处理模块16将YUV图像转换为JPG图像；

010：应用程序模块14根据场景检测结果对JPG图像执行第一操作。

其中，步骤09可以由算法后处理模块16实现，步骤10可以由应用程序模块14实现。

请参阅图1和图17，在某些实施方式中，图像处理方法还包括：

011：硬件抽象模块12根据场景检测结果对YUV图像执行第二操作。

其中，步骤011可以由硬件抽象模块12实现。

上述实施方式中对图像处理器10的解释，也适用于本发明实施方式的图像处理方法，在此不再赘述。

本申请实施方式的图像处理器10、图像处理方法、拍摄装置100和电子设备1000中，硬件抽象模块12不对YUV图像进行场景检测算法处理，而是算法后处理模块16对YUV图像进行场景检测算法处理，使得实现场景检测算法无需在硬件抽象模块12本身的算法架构上做流程截断，而是在外部实现，从而大大降低场景侦测处理和硬件抽象模块12的耦合度，有利于降低设计过程的难度和设计更改的难度，降低研发成本。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理模块的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(控制方法)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“某些实施方式”等的描述意指结合所述实施方式或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施方式中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施方式中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (17)

1.一种图像处理器，其特征在于，所述图像处理器包括：

硬件抽象模块，所述硬件抽象模块用于接收RAW图像、将所述RAW图像转换为YUV图像、及传输所述YUV图像；

应用程序模块，所述应用程序模块用于与所述硬件抽象模块连接；及

算法后处理模块，所述算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接，所述算法后处理模块内存储有场景检测算法，所述算法后处理模块用于采用所述场景检测算法处理自所述硬件抽象模块传输的所述YUV图像以获取场景检测结果，及将所述场景检测结果回调至所述硬件抽象模块，以通过所述硬件抽象模块根据所述场景检测结果对所述YUV图像执行第二操作，所述第二操作包括调整进光量、调整快门速度和图像处理中的至少一种，所述场景检测结果包括场景的类型，所述场景检测算法包括边缘提取、模糊检测和亮度检测中的至少一种。

2.根据权利要求1所述的图像处理器，其特征在于，所述算法后处理模块内还存储有预览算法，所述算法后处理模块还用于对所述YUV图像执行预览算法处理、从所述预览算法中复制所述YUV图像、并将复制的所述YUV图像供所述场景检测算法处理。

3.根据权利要求2所述的图像处理器，其特征在于，所述应用程序模块用于接收从所述硬件抽象模块传输来的所述YUV图像及将所述YUV图像传输至所述算法后处理模块以供所述预览算法处理。

4.根据权利要求2所述的图像处理器，其特征在于，所述硬件抽象模块与所述算法后处理模块直接连接，所述硬件抽象模块用于将所述YUV图像传输至所述算法后处理模块以供所述预览算法处理。

5.根据权利要求2所述的图像处理器，其特征在于，所述算法后处理模块还用于接收复制的所述YUV图像、提取所述YUV图像的参数、根据所述参数执行所述场景检测算法处理以得到所述场景检测结果、及封装所述场景检测结果。

6.根据权利要求1-5任意一项所述的图像处理器，其特征在于，所述场景检测结果通过通信服务模块回调至所述应用程序模块。

7.根据权利要求6所述的图像处理器，其特征在于，所述算法后处理模块包括编码单元，所述编码单元用于将所述YUV图像转换为JPG图像，所述应用程序模块用于根据所述场景检测结果对所述JPG图像执行第一操作。

8.一种图像处理方法，其特征在于，所述图像处理方法包括：

硬件抽象模块接收RAW图像、将所述RAW图像转换为YUV图像、及将所述YUV图像传输至应用程序模块；及

算法后处理模块采用场景检测算法处理自所述硬件抽象模块传输的所述YUV图像以获取场景检测结果，及将所述场景检测结果回调至所述硬件抽象模块，以通过所述硬件抽象模块根据所述场景检测结果对所述YUV图像执行第二操作，所述第二操作包括调整进光量、调整快门速度和图像处理中的至少一种，所述场景检测结果包括场景的类型，所述场景检测算法包括边缘提取、模糊检测和亮度检测中的至少一种。

9.根据权利要求8所述的图像处理方法，其特征在于，所述算法后处理模块内还存储有预览算法，所述图像处理方法还包括：

所述算法后处理模块对所述YUV图像执行预览算法处理；

所述算法后处理模块从所述预览算法中复制所述YUV图像；

所述算法后处理模块采用场景检测算法处理所述YUV图像以获取场景检测结果，包括：所述算法后处理模块采用所述场景检测算法处理复制的所述YUV图像以获取场景检测结果。

10.根据权利要求9所述的图像处理方法，其特征在于，所述图像处理方法还包括：

所述应用程序模块接收从所述硬件抽象模块传输来的所述YUV图像；及

所述应用程序模块将所述YUV图像传输至所述算法后处理模块以供所述预览算法处理。

11.根据权利要求9所述的图像处理方法，其特征在于，所述图像处理方法还包括：

所述硬件抽象模块直接将所述YUV图像传输至所述算法后处理模块以供所述预览算法处理。

12.根据权利要求9所述的图像处理方法，其特征在于，所述算法后处理模块采用场景检测算法处理复制的所述YUV图像以获取场景检测结果，包括：

接收复制的所述YUV图像；

提取所述YUV图像的参数；

根据所述参数执行所述场景检测算法处理以得到所述场景检测结果；及

封装所述场景检测结果。

13.根据权利要求8-12任意一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：所述场景检测结果通过通信服务模块回调至所述应用程序模块。

14.根据权利要求13所述的图像处理方法，其特征在于，所述图像处理方法还包括：

所述算法后处理模块将所述YUV图像转换为JPG图像；及

所述应用程序模块根据所述场景检测结果对所述JPG图像执行第一操作。

15.根据权利要求13所述的图像处理方法，其特征在于，所述图像处理方法还包括：

所述硬件抽象模块根据所述场景检测结果对所述YUV图像执行第二操作。

16.一种拍摄装置，其特征在于，所述拍摄装置包括：

权利要求1至7中任意一项所述的图像处理器；及

图像传感器，所述图像传感器与所述图像处理器连接。

17.一种电子设备，其特征在于，所述电子设备包括权利要求16所述的拍摄装置及

壳体，所述拍摄装置与所述壳体结合。

Images