CN105554370A - 图像处理设备和图像处理方法 - Google Patents

Abstract

提供一种图像处理设备和图像处理方法。一种技术，其使得在不依赖于拍摄场景的情况下，可以获得不会产生不自然感并且强调亮星和低亮度星星之间的亮度差的自然拍摄图像。在拍摄星空的情况下，从拍摄图像中检测亮点的数量，并且根据所检测到的亮点数量，将对拍摄图像所进行的图像处理控制成至少是模糊处理或者边缘强调处理、或者既不是模糊处理也不是边缘强调处理。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种能够适当强调亮点之间的亮度差的图像处理设备、图像处理方法和存储介质，并且更具体地涉及一种适用于星空摄像的技术。

背景技术

近年来，已经对用于降低数字照相机中的噪声的技术进行了改进，并且这样使得在高灵敏度摄像时同样可以获得高质量图像。因而，向数字照相机装配这样一种功能，其中，该功能使得可以容易地进行甚至在数字照相机固定的状态下通常也难以进行的天体摄像。

在周围区域很少有光的郊区或者山区等拍摄星空的情况下，由于天空暗，因而可以拍摄从亮星到诸如暗星等的低亮度星星的范围的星星。然而，在城区或者住宅区，由于例如光污染的影响导致天空是亮的，因此难以进行使得拍摄图像包括大量星星的天体摄像。为了满足甚至在光污染的影响下的夜空下也可以拍摄大量星星的需求，提出了这样一种方法，该方法通过进行用于强调亮度高于周围区域的点的边缘的图像处理来强调低亮度星星。作为这样的星星强调处理，提出了这样一种方法，该方法自动确定用于从图像区域中识别点光源区域的二值化所用的阈值的加权量、并且通过使用所确定的加权量高精度地检测图像中所包括的亮点(参考日本特开2013-25650)。

根据上述星星强调处理，当在光污染的影响等下的明亮的地方拍摄夜空时，可以通过对亮度高于周围区域的像素进行边缘强调来强调低亮度星星。然而，当在暗的地方拍摄夜空时，由于强调所有星星，因而拍摄图像变得不自然，并且不可能从拍摄图像中的大量星星中以强调方式示出亮星。

发明内容

本发明提供这样一种技术，该技术使得可以在不依赖于拍摄场景的情况下，获得不会产生不自然感、并且强调亮星和低亮度星星之间的亮度差的自然的拍摄图像。

在本发明的第一方面，提供一种图像处理设备，其包括：亮点检测单元，用于从摄像单元所拍摄的图像中检测亮点的数量；模糊处理单元，用于对所述摄像单元所拍摄的图像进行模糊处理作为图像处理；边缘强调处理单元，用于对所述摄像单元所拍摄的图像进行边缘强调处理作为图像处理；以及控制单元，用于控制所述模糊处理单元和所述边缘强调处理单元所进行的图像处理，其中，所述控制单元根据所述亮点检测单元所检测到的亮点的数量，将对所述摄像单元所拍摄的图像所进行的图像处理控制为至少是所述模糊处理或所述边缘强调处理、或者控制为既不是所述模糊处理也不是所述边缘强调处理。

在本发明的第二方面，提供一种图像处理设备，其包括：亮点检测单元，用于从摄像单元所拍摄的图像中检测亮点的数量；边缘强调处理单元，用于对所述摄像单元所拍摄的图像进行边缘强调处理；以及控制单元，用于控制所述边缘强调处理单元所进行的图像处理，其中，所述控制单元根据所述亮点检测单元所检测到的亮点的数量来控制所述边缘强调处理单元对所述摄像单元所拍摄的图像所进行的所述边缘强调处理。

在本发明的第三方面，提供一种通过计算机进行的图像处理方法，其包括以下步骤：检测步骤，用于从图像中检测亮点的数量；对所述图像进行模糊处理作为图像处理；对所述图像进行边缘强调处理作为图像处理；以及控制步骤，用于根据所述检测步骤所检测到的亮点的数量来控制对所述图像所进行的图像处理，其中，所述控制步骤包括：根据所述检测步骤所检测到的亮点的数量，将对摄像单元所拍摄的图像进行的图像处理控制为至少是所述模糊处理或所述边缘强调处理、或者控制为既不是所述模糊处理也不是所述边缘强调处理。

在本发明的第四方面，提供一种通过计算机进行的图像处理方法，其包括以下步骤：对图像进行使用第一阈值的二值化处理和使用第二阈值的二值化处理，其中，所述第二阈值小于所述第一阈值；检测经过使用所述第一阈值的二值化处理后的图像上的亮点的数量作为第一亮点数量，以及检测经过使用所述第二阈值的二值化处理后的图像上的亮点的数量作为第二亮点数量；以及控制步骤，用于根据所述第一亮点数量和所述第二亮点数量来控制对所述图像进行的图像处理，其中，所述控制步骤包括根据所述第一亮点数量和所述第二亮点数量来控制是进行模糊处理或边缘强调处理作为图像处理、还是既不进行所述模糊处理也不进行所述边缘强调处理。

在本发明的第五方面，提供一种用于存储执行图像处理方法所用的计算机可执行程序的非暂时性计算机可读存储介质，其中，所述图像处理方法包括以下步骤：检测步骤，用于从图像中检测亮点的数量；对所述图像进行模糊处理作为图像处理；对于所述图像进行边缘强调处理作为图像处理；以及控制步骤，用于根据所述检测步骤所检测到的亮点的数量来控制对所述图像所进行的图像处理，其中，所述控制步骤包括：根据所述检测步骤所检测到的亮点的数量，将对摄像单元所拍摄的图像进行的图像处理控制为至少是所述模糊处理或所述边缘强调处理、或者控制为既不是所述模糊处理也不是所述边缘强调处理。

在本发明的第六方面，提供一种用于存储执行图像处理方法所用的计算机可执行程序的非暂时性计算机可读存储介质，其中，所述图像处理方法包括以下步骤：对图像进行使用第一阈值的二值化处理和使用第二阈值的二值化处理，其中，所述第二阈值小于所述第一阈值；检测经过使用所述第一阈值的二值化处理后的图像上的亮点的数量作为第一亮点数量，以及检测经过使用所述第二阈值的二值化处理后的图像上的亮点的数量作为第二亮点数量；以及控制步骤，用于根据所述第一亮点数量和所述第二亮点数量来控制对所述图像进行的图像处理，其中，所述控制步骤包括根据所述第一亮点数量和所述第二亮点数量来控制是进行模糊处理或边缘强调处理作为图像处理、还是既不进行所述模糊处理也不进行所述边缘强调处理。

根据本发明，可以在不依赖于拍摄场景的情况下，获得不会产生不自然感、并且强调亮星和低亮度星星之间的亮度差的自然的拍摄图像。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是作为根据本发明实施例的图像处理设备的摄像设备的示意性框图。

图2是通过图1所示的摄像设备所进行的第一摄像控制处理的流程图。

图3A和3B是用于说明在图2的处理的步骤中所进行的二值化处理的图。

图4是通过摄像设备的图像处理器所进行的、用于对拍摄的星空图像进行适当强调处理的处理的流程图。

图5是用于说明通过摄像设备的图像分割处理电路所进行的处理的示意图。

图6是通过摄像设备所进行的第二摄像控制处理的流程图。

图7A～7D是用于说明在图6的处理的步骤中所执行的、用于选择适当强调处理的处理的示意图。

图8是通过摄像设备所进行的第三摄像控制处理的流程图。

图9是示出作为被摄体的夜空的亮度和星星的亮度之间的关系的图。

图10A～10C是各自示出具有暗夜空和大量星星的星空图像的示例的图。

图11A～11C是各自示出具有亮夜空和少量星星的星空图像的示例的图。

具体实施方式

下面参考示出本发明的实施例的附图，详细说明本发明。这里，将摄像设备作为根据本发明实施例的图像处理设备来进行说明。

图1是作为根据本发明实施例的图像处理设备的、以附图标记100来表示的摄像设备的示意性框图。摄像设备100包括镜头单元110、连接器197、摄像装置114、增益放大器115、模拟-数字转换器(A/D转换器)116、时序生成电路118、图像处理器120和存储控制器122。摄像设备100还包括图像显示存储器124、数字-模拟转换器(D/A转换器)126、图像显示部128、存储器130、压缩/解压缩部132、曝光控制电路140、焦点控制电路142和变焦控制电路144。

镜头单元110包括变焦透镜111、调焦透镜112、光圈/快门单元113和连接器196。镜头单元110可拆卸地安装至摄像设备100的主体。在将镜头单元110安装至摄像设备100的主体的状态下，连接器196与设置在摄像设备100的主体上的连接器197电气连接。从***控制器150输出的控制信号通过连接器196和197分别发送给变焦透镜111、调焦透镜112和光圈/快门单元113各自的驱动单元(未示出)。因而，进行拍摄者(用户)所想要的变焦、调焦和景深调整等。镜头单元110可以具有相对于摄像设备100的主体不可拆卸的结构。

摄像装置114是诸如CCD传感器或者CMOS传感器等的图像传感器。来自被摄体的、穿过镜头单元110传输的光在摄像装置114上形成光学图像，并且摄像装置114将所形成的光学图像转换成模拟电气信号。

从摄像装置114输出的模拟电气信号被发送至增益放大器115。增益放大器115通过将所输入的模拟电气信号乘以预定增益来对信号水平进行放大，并且将放大后的模拟信号发送给模拟-数字转换器116。模拟-数字转换器116将输入的模拟电气信号转换成作为数字信号的图像数据，并且将所生成的图像数据发送至存储控制器122和图像处理器120。时序生成电路118受存储控制器122和***控制器150的控制来向摄像装置114、模拟-数字转换器116和数字-模拟转换器126提供时钟信号和控制信号。

图像处理器120对从模拟-数字转换器116输出的图像数据或者从存储控制器122输出的图像数据进行预定像素插值处理和颜色转换处理。另外，图像处理器120对拍摄图像数据进行预定运算处理，然后将运算结果供给至***控制器150。***控制器150基于从图像处理器120所获取的运算结果，向曝光控制电路140和焦点控制电路142发送用于进行TTL(通过镜头)AF(自动调焦)处理和AE(自动曝光)处理的控制信号。另外，图像处理器120对拍摄图像数据进行预定运算处理，并且基于所获得的运算结果进行TTLAWB(自动白平衡)处理。图像处理器120具有特征在于在拍摄星空时进行图像处理的结构，并且稍后对其进行详细说明。

存储控制器122控制模拟-数字转换器116、时序生成电路118、图像处理器120、图像显示存储器124、数字-模拟转换器126、存储器130和压缩/解压缩部132。从模拟-数字转换器116输出的图像数据经由图像处理器120和存储控制器122或者单独经由存储控制器122写入图像显示存储器124或者存储器130中。

图像显示存储器124中写入的显示用图像数据经由数字-模拟转换器126显示在诸如液晶显示器(LCD)或者有机EL显示器等的图像显示部128上。通过将拍摄图像数据顺序显示在图像显示部128上，可以实现所谓的电子取景器功能。

存储器130是用于存储所拍摄的静止图像和运动图像的图像数据的存储单元，并且具有用于存储预定数量的静止图像或者针对预定时间段所记录的运动图像的足够大的容量，从而使得可以向其中高速写入大量图像。另外，存储器130还可以用作***控制器150的工作区域。存储器130还发挥用于存储以下信息的存储单元的功能：焦点控制电路142相对于作为被配置成改变被摄体图像的倍率的缩放单元的变焦控制电路144的操作的相对信息。另外，存储器130还发挥图像处理器120所进行的下述各种处理操作(二值化处理、亮点检测处理、图像分割处理、边缘强调处理、模糊处理、比较光合成处理)中所使用的工作区域和存储区域的功能。压缩/解压缩部132读取存储在存储器130中的图像数据，使用例如自适应离散余弦变换(ADCT)对图像数据进行压缩或者解压缩，并且将处理后的图像数据写入存储器130中。

***控制器150控制摄像设备100的整体操作。曝光控制电路140在***控制器150的控制下，控制具有光圈功能和快门功能的快门单元113以及设置摄像灵敏度的增益放大器115。焦点控制电路142在***控制器150的控制下，控制调焦透镜112的调焦。变焦控制电路144在***控制器150的控制下，控制变焦透镜111的变焦。

摄像设备100还包括快门开关161、操作部162、显示部163、***存储器165、非易失性存储器166、电源控制器180、连接器182和184、以及电源186。另外，摄像设备100设置有接口(I/F)190和193、连接器192和194、无线通信部198、以及存储介质200，并且存储介质200包括存储部202、接口(I/F)204和连接器206。

***存储器165存储***控制器150的操作中所使用的常数和变量、以及程序等。显示部163包括用于根据利用***控制器150的程序的执行使用字符、图像、语音等向用户通知操作状态、消息等的液晶显示装置和扬声器。显示部163配置在摄像设备100的操作部162附近的拍摄者可以容易地观察到显示的一个或者多个位置处。显示部163的液晶显示装置上所显示的项包括单拍/连拍、自拍、压缩比、存储的像素数量、存储的图像数量、可拍摄图像的剩余数量、快门速度、光圈值、曝光校正、红眼减轻、微距拍摄、蜂鸣器设置和电池剩余电量等。非易失性存储器166例如是用于以电可擦除、可记录方式存储数据的闪存ROM，并且存储摄像设备100的各种设置信息等。

操作部162包括用于向***控制器150输入各种操作指示的按钮和开关。在半按下快门按钮(未示出)时，快门开关161的快门开关SW1接通，从而指示***控制器150开始包括AF处理、AE处理和AWB处理的拍摄准备操作。在完全按下快门按钮时，快门开关161的快门开关SW2接通，从而指示***控制器150进行从利用摄像装置114的摄像操作到拍摄图像的图像数据的存储的一系列处理操作。

操作部162还包括菜单按钮、设置按钮、微距按钮、多画面再现页更改按钮、闪光灯设置按钮、单拍/连拍/自拍转换按钮和设置在图像显示部128上的触摸面板。另外，操作部162包括用于设置拍摄模式(自动模式、程序模式、天体(星空)拍摄模式、夜景模式、儿童拍摄模式、烟火拍摄模式等)的拨盘和用于改变菜单上所显示的项或者图像的按钮(用于在上下左右方向上改变项或者图像的四向按钮)。

电源控制器180包括电池检测电路、DC-DC转换器和在要被供应电力的块之间切换所使用的切换电路。另外，电源控制器180检测是否连接了电源(诸如是否安装了电池等)、电池的种类、电池的剩余电量和电源电压，并且基于检测结果和来自***控制器150的指示来控制DC-DC转换器，以在所需时间段内向包括存储介质200的各组件提供所需电压。例如，电源186包括诸如碱性电池或者锂电池等的一次电池，或者诸如镍镉电池、镍氢电池或者Li电池等的二次电池，以及AC适配器。电源控制器180和电源186经由连接器182和184连接。

使用接口190和连接器192以使得能够在存储介质200和***控制器150之间进行通信，并且使用符合所要连接的存储介质200的标准的接口和连接器。接口193和连接器194被配置成用于与其它装置进行连接和通信。其它装置直接或者经由通信线缆连接至连接器194，并且在所连接的其它装置和***控制器150之间进行通信。无线通信部198在摄像设备100内部连接至接口193，并且使得能够与其它装置进行无线通信。存储介质200包括作为例如半导体存储器或者磁盘的存储部202、用于使得能够与摄像设备100通信的接口204和用于与摄像设备100连接的连接器206。

接着详细说明图像处理器120的结构的特征。图像处理器120包括强调处理判断电路306、边缘强调处理电路303、模糊处理电路304和比较光合成电路305，其中，强调处理判断电路306包括二值化处理电路300、亮点检测电路301和图像分割处理电路302。

二值化处理电路300使用指定阈值水平对整个拍摄图像或者该图像的部分区域进行二值化。亮点检测电路301从整个拍摄图像或者该图像的部分区域中，检测诸如点光源等的亮点的数量，其中，各亮点是具有预定数量以下的各自具有预定值以上的亮度值的像素的被摄体。图像分割处理电路302将整个拍摄图像或者该图像的部分区域分割成具有预定大小或者不同大小的多个图像区域，并且针对各分割后的图像区域(以下称为“分割区域”)进行图像的裁切。边缘强调处理电路303对整个拍摄图像或者通过图像分割处理电路302所裁切的图像的部分区域进行边缘强调处理。模糊处理电路304对整个拍摄图像或者通过图像分割处理电路302所裁切的图像的部分区域进行用于获得软焦点效应的模糊处理。比较光合成电路305进行比较光合成，其中在该比较光合成中，将多个拍摄图像上各个相应位置处的像素的像素水平进行相互比较以仅选择具有最高水平的像素，并且将这样针对各位置所选择的像素合成为一个图像。

下面说明对于通过使用摄像设备100拍摄星空所获得的拍摄图像(以下称为“星空图像”)所进行的图像处理。首先说明夜空的亮度和星星的亮度之间的关系。

图9是示出夜空的亮度和星星的亮度之间的关系的图。通常以等级数来表示星星的亮度，并且例如，五个等级的变化相当于亮度变化为100倍。也就是说，一个等级的变化相当于亮度变化为100的五次方根的因子。另一方面，在以段数表示用于拍摄的曝光的情况下，例如，五个段数的变化相当于亮度变化为32倍，因此，一个段数的变化相当于亮度变化为2的一次幂的因子。

在图9中，通过对数-对数标尺表示夜空的亮度和星星的亮度之间的关系，并且可以通过表示正比例关系的直线来表示。这说明：在以适当曝光进行拍摄的情况下，随着夜空的亮度变低，可以拍摄到的星星的等级数增加。也就是说，这表示：当夜空亮时，亮度低的星星被天空的亮度掩蔽，并且变得不明显。也就是说，当拍摄亮的夜空时，少量的星星被拍摄到，而当拍摄暗的夜空时，通过增加曝光，可以拍摄到包括低亮度的星星的大量的星星。为此，通过根据星空的拍摄图像中所包括的星星的数量进行星星强调处理，变得可以容易地拍摄到自然且有冲击力的图像，在该图像中，强调了亮的星星和低亮度星星之间的亮度差。将参考图10A～10C和图11A～11C说明具体示例。

图10A～10C是各自示出包括暗的夜空和大量星星的星空图像的示例的图。在图10A～10C中，以明暗反转的方式示出这些图像。也就是说，纸张的具有背景颜色的部分表现暗部分，并且黑色点表现亮部分。

图10A所示带有标题“未处理”的图像是参考示例，其示出在不进行特殊图像处理的情况下通过正常拍摄所获得的星空图像，即，在不进行用于拍摄包括低亮度星星的大量星星的强调处理的情况下通过拍摄夜空所获得的星空图像。在图10A所示的星空图像中，亮星被诸如暗星等的亮度低的周围星星掩蔽，并且变得不明显。

图10C所示的带有标题“边缘强调处理后”的图像是用于本实施例的参考示例，其示出通过使用边缘强调处理电路303对图10A所示的星空图像进行边缘强调处理所获得的星空图像。通过边缘强调处理甚至对于诸如暗星等的低亮度星星进行了强调，从而大多数星星被明亮地拍摄，因此使得该图像变成不自然的图像，其中在该图像中，难以区分原本的亮星和低亮度星星。

图10B所示的带有标题“模糊处理后”的图像是根据本实施例的图像处理的示例，其示出通过使用模糊处理电路304对图10A所示的星空图像进行模糊处理所获得的星空图像。通过进行模糊处理，各亮星被广泛扩展、且变得明显，并且使得低亮度星星模糊且使其更不明显。通过这样进行模糊处理，可以获得自然且具有冲击力的星空图像，其中在该星空图像中，强调了亮星和低亮度星星之间的亮度差。

图11A～11C是各自示出包括亮的夜空和少量星星的星空图像的示例的图。另外，在图11A～11C中，类似于图10A～10C，以明暗反转的方式示出这些图像。

图11A所示的带有标题“未处理”的图像是用于本实施例的参考示例，其示出在不进行特殊图像处理的情况下通过正常拍摄所获得的星空图像，即，在不进行强调处理的情况下通过拍摄夜空所获得的、包括很少亮星的星空图像。图11A所示的星空图像包括非常少的低亮度星星，并且是散布着少量大体具有相同亮度的亮星的给人印象不深的星空图像。

图11C所示的带有标题“模糊处理后”的图像是用于本实施例的参考示例，其示出通过使用模糊处理电路304对图11A所示的星空图像进行模糊处理所获得的星空图像。通过进行模糊处理，使得在图11A所示的图像中显现得小的低亮度星星变得模糊并且不明显，结果，该图像整体变成星星的数量减少的、给人印象不深的星空图像。

图11B所示的带有标题“边缘强调处理后”的图像是根据本实施例的图像处理的示例，其示出通过使用边缘强调处理电路303对图11A所示的星空图像进行边缘强调处理所获得的星空图像。通过进行边缘强调处理，对掩蔽在夜空下的低亮度的星星(在图11A所示的星空图像中，难以在视觉上识别这些星星)进行强调和清晰显示，并且甚至在诸如市区等的具有很多光污染的地方进行拍摄时，也会在没有任何不自然感的情况下拍摄到大量的星星。

在本实施例中，如参考图10A～10C和图11A～11C所述，根据夜空的亮度和星星的数量，自动确定对星空图像要进行的强调处理，从而可以获得如图10B和11B所示的星空图像，其中在这些星空图像中，在毫无不自然感的情况下，以强调方式自然地表现亮星和低亮度星星的数量、以及亮星和低亮度星星之间的亮度差。

下面说明通过摄像设备100所进行的第一摄像控制处理。在操作部162中设置了天体(星空)拍摄模式的情况下，执行通过摄像设备100所进行的第一摄像控制处理。强调处理判断电路306根据从所拍摄的星空图像中所检测到的亮点的数量，判断是否要对星空图像进行星星强调处理。

图2是通过摄像设备100所进行的第一摄像控制处理的流程图，并且示出通过强调处理判断电路306所进行的、用于判断是否要进行星星强调处理的处理的概况。在图2中的第一摄像控制处理中，通过***控制器150将存储在***存储器165中的程序装载到存储器130中来实现步骤S201和S202。在***控制器150的控制下，通过包括强调处理判断电路306的图像处理器120将存储在图像处理器120内固有的存储器(未示出)中的程序装载到作为工作区域的存储器130中来实现步骤S203～S206。注意，通过根据本发明实施例的图像处理方法的示例来进行步骤S203～S206中的处理操作。

在步骤S201，***控制器150经由操作部162接收摄像开始指示，从而开始测光。此后，在步骤S202，***控制器150基于步骤S201中的测光结果，确定适当曝光值，并且进行摄像操作。然后，在步骤S203，为了检测星星的亮点，强调处理判断电路306使得二值化处理电路300使用作为预定亮度水平所预先设置的阈值A进行二值化处理，用于根据亮度水平是否不低于阈值A来对步骤S202所拍摄的星空图像中的各点进行二值化。

图3A和3B是用于说明步骤S203所进行的二值化处理的图，并且示出在亮夜空的情况下和暗夜空的情况下利用适当曝光所拍摄的夜空的各自图像中亮度不低于阈值A的亮点的检测的示例。图3A示出在拍摄暗夜空时所进行的二值化处理的示例。当利用适当曝光拍摄暗夜空时，星星的曝光量增大，并且甚至将低亮度星星也拍摄为亮度水平充分高的亮点。因此，在该二值化处理中，甚至将低亮度星星也检测为亮度不低于阈值A的亮点。图3B示出在拍摄亮夜空时所进行的二值化处理的示例。当利用适当曝光拍摄亮夜空时，对于星星的曝光量不足，并且甚至将亮星拍摄为亮度水平低的点。因此，在该二值化处理中，不会将低亮度星星检测为亮度不低于阈值A的亮点。

根据以上所述，在对亮度不低于阈值A的亮点的数量进行计数时，从暗夜空的星空图像中所检测到的亮点的数量大于从亮夜空的星空图像中所检测到的亮点的数量。因此，在步骤S203，二值化处理电路300通过使用预定亮度阈值A对拍摄图像进行二值化，并且在随后的步骤S204，通过亮点检测电路301来检测画面中的亮点，从而可以根据亮点的数量来判断对于拍摄图像是否应当进行星星强调处理。

再次参考图2，在步骤S204，强调处理判断电路306使得亮点检测电路301从步骤S203经过二值化处理后的图像数据中对亮点进行计数。然后，在步骤S205，强调处理判断电路306判断在步骤S204所检测到的亮点的数量是否不大于适用于星星强调处理的预定值i。如果亮点的数量不大于预定值I(步骤S205为“是”)，则强调处理判断电路306进入步骤S206。另一方面，如果强调处理判断电路306判断为亮点的数量大于预定值I(步骤S205为“否”)，则在不进行星星强调处理的情况下终止该处理。在步骤S206，强调处理判断电路306确定对在步骤S202所获得的星空图像执行星星强调处理，并且图像处理器120执行星星强调处理，随后终止该处理。

基于参考图3A和3B给出的说明，更详细地说明参考图2所述的通过摄像设备100所进行的第一摄像控制处理。图4是包括通过图像处理器120所进行的用于基于所拍摄的星空图像进行适当强调处理的处理的第一摄像控制处理的流程图。步骤S401和S402与图2的处理的步骤S201和S202相同，因此省略对其的说明。在步骤S403，强调处理判断电路306使得图像分割处理电路302进行用于将在步骤S402所拍摄的星空图像分割成多个区域的图像分割处理。

图5是用于说明通过图像分割处理电路302进行的用于将星空图像分割成多个区域并且检测包括最大数量的亮点的分割区域的处理的示意图。通过将星空图像分割成多个区域、之后检测各分割区域中的亮点的数量，可以把握星空图像中的星空区域并且基于所检测到的亮点的数量来估计分割区域中的星星的密度。

在步骤S403之后的步骤S404，为了从各分割区域中分别检测星星的亮点，强调处理判断电路306使得二值化处理电路300使用作为预定亮度水平所预先设置的阈值A对星空图像进行二值化处理。在随后的步骤S405，强调处理判断电路306使得亮点检测电路301从在步骤S404经过二值化处理后的各分割区域中检测亮点的数量。

在步骤S406，强调处理判断电路306检测步骤S405所检测到的多个分割区域中所包括的亮点的数量中的最大值m。在随后的步骤S407，强调处理判断电路306判断亮点的数量的最大值m是否不小于适用于模糊处理的预定值h(第一预定值)。如果m≥h成立(步骤S407为“是”)，则强调处理判断电路306进入步骤S408，然而，如果m<h成立(步骤S407为“否”)，则强调处理判断电路306进入步骤S409。

在步骤S408，图像处理器120的模糊处理电路304对在步骤S402所获得的星空图像进行模糊处理，随后终止该处理。在步骤S409，强调处理判断电路306判断亮点的数量的最大值m是否不大于适用于边缘强调处理的预定值i。如果m≤i成立(步骤S409为“是”)，则强调处理判断电路306进入步骤S410，然而，如果m>i成立(步骤S409为“否”)，则在不进行星星强调处理的情况下终止该处理。注意，预定值i和h具有关系i<h。在步骤S410，图像处理器120的边缘强调处理电路303对在步骤S402所获得的星空图像进行边缘强调处理，随后终止该处理。

在本实施例中，作为在该判断中所使用的亮点的数量，使用亮点的数量的最大值m以减少对于难以发现星星的亮夜空的分割区域中的亮点的数量的影响。然而，这不是限制性的，而且可以使用多个分割区域中的亮点的数量的平均值，或者可以使用诸如中间值等的任何其它合适的代表值。另外，可以通过用户指定或者通过诸如画面上半部分中的分割区域的检测或平均亮度不高于阈值的分割区域的检测等的自动检测来缩减作为要确定亮点数量的区域的候选的区域，然后可以从缩减后的候选中确定平均值。另外，在本实施例中，尽管根据亮点的密度选择性地控制是进行模糊处理还是进行边缘强调处理、或者既不进行模糊处理也不进行边缘强调处理，但是这不是限制性的，并且可以根据亮点的密度(分割区域中亮点的数量)在不进行用于强调星星(亮点强调)的模糊处理的情况下，仅控制是否进行边缘强调处理，或者相反地，可以在不进行边缘强调处理的情况下，仅控制是否进行模糊处理。

下面接着说明通过摄像设备100所进行的第二摄像控制处理。在操作部162中设置了天体(星空)拍摄模式时，通过摄像设备100进行第二摄像控制处理。在通过摄像设备100进行的第二摄像控制处理中，为了根据拍摄条件适当进行不同的星星强调处理，使用适用于各强调处理的阈值对拍摄图像进行二值化，并且基于从使用该阈值二值化后的图像中所检测到的亮点的数量来进行适当强调处理。

图6是通过摄像设备100所进行的第二摄像控制处理的流程图。步骤S601～S603与图4的处理的步骤S401～S403相同，因此省略对其的说明。在步骤S604，强调处理判断电路306使得二值化处理电路300使用作为适用于模糊处理的二值化所用的亮度水平的阈值B来对步骤S603所生成的各分割区域进行二值化处理。在步骤S605，强调处理判断电路306使得亮点检测电路301检测各分割区域中的亮点的数量。在步骤S606，强调处理判断电路306检测步骤S605所检测到的多个分割区域中所包括的亮点的数量的最大值M。

在步骤S607，强调处理判断电路306判断步骤S606所检测到的最大值M是否不小于适用于模糊处理的预定值j。如果M≥j成立(步骤S607为“是”)，则强调处理判断电路306进入步骤S608，然而，如果M<j成立(步骤S607为“否”)，则强调处理判断电路306进入步骤S609。在步骤S608，图像处理器120的模糊处理电路304对在步骤S602所获得的星空图像进行模糊处理，随后终止该处理。

图7A和7B是用于说明步骤S604～S608的示意图。模糊处理适用于参考图10A～10C所述的当拍摄暗夜空时拍摄图像中包括范围从低亮度星星到亮星的大量星星的情况。因此，阈值B被设置成这样的值，该值可以防止步骤S605所检测的亮点的数量中包括低亮度星星。如果这样所检测到的亮点的数量不小于适用于模糊处理的预定值j，则对星空区域中的所有亮点进行用于降低亮度并且同时扩大像素的相应区域的模糊处理，从而使得如图7B中通过阴影区域所示，随着亮点越亮，该亮点的轮廓越向周围区域扩展。通过进行该模糊处理，随着亮点越亮，该亮点越显现出大的扩展，这样使得即使在星空图像中包括作为亮点的大量星星的情况下，也使亮星明显。

再次参考图6，在步骤S609，强调处理判断电路306使用作为适用于边缘强调处理的二值化所用的亮度水平的阈值C来对步骤S603所生成的各分割区域进行二值化处理。在步骤S610，强调处理判断电路306使得亮点检测电路301检测各分割区域中的亮点的数量。在步骤S611，强调处理判断电路306检测步骤S610所检测的分割区域中所包括的亮点的数量的最大值N。

在步骤S612，强调处理判断电路306判断在步骤S611所检测到的最大值N是否不大于适用于边缘强调处理的预定值k。如果N≤k成立(步骤S612为“是”)，则强调处理判断电路306进入步骤S613，然而，如果N>k成立(步骤S612为“否”)，则终止该处理。也就是说，如果使用阈值B所检测到的亮点的数量小于适用于模糊处理的预定值j、并且同时使用阈值C所检测到的亮点的数量大于适用于边缘强调处理的预定值k，则不对步骤S602所获得的星空图像进行强调处理。在步骤S613，图像处理器120的边缘强调处理电路303对步骤S602所获得的星空图像进行边缘强调处理，随后终止该处理。

图7C和7D是用于说明步骤S609～S613的示意图。边缘强调处理适用于参考图11A所述的当拍摄亮夜空时拍摄图像中包括亮星但是包括非常少的低亮度星星的情况。在这种情况下，在步骤S605所检测到的亮点的数量较少，因此对于步骤S607的问题的答案为否定的(“否”)，因而处理进入步骤S609。如图7C所示，将阈值C设置成将使得低亮度星星也包括在步骤S610所检测到的亮点的数量中的值。也就是说，将步骤S604所使用的阈值B和步骤S609所使用的阈值C设置成具有关系“阈值B>阈值C”。如果所检测到的亮点的数量不大于适用于边缘强调处理的预定值，则如图7D中通过阴影区域所示，对于星空区域中的所有亮点进行用于增加亮度并且同时缩小像素的相应区域的处理。这样使得可以强调由于自身的低亮度而被掩蔽的亮点。

如以上参考图4和图7A～7D所述，在拍摄星空时，摄像设备100自动判断对所拍摄的星空图像所要进行的强调处理的类型。这样使得与夜空的亮度和拍摄图像的构图无关地，可以容易地拍摄到强调亮星和低亮度星星之间的亮度差的自然且具有冲击力的星空图像。

通过摄像设备100所进行的第二摄像控制处理中所述的用于判断星星强调处理的方法是在星空图像中天空(夜空)的亮度均匀的区域中非常有效的一种技术。另一方面，在星空图像包括诸如月亮、街灯和街景等的风景的情况下，假定夜空的亮度不是均匀的。然而，即使在夜空的亮度不是均匀的情况下，也可以通过针对各分割区域计算平均亮度、并且针对各分割区域使用适用于强调处理的亮度的阈值进行二值化，来提高星星强调处理判断的精度。

另外，通过根据夜空的亮度和具有不低于预定值的亮度值的星星的数量来设置判断处理的更加详细的条件，可以自动确定强调处理的强调程度。例如，可以进行以下配置：在亮点的数量小于第一预定值的情况下，进行与亮点的数量大于第一预定值的情况相比更强的边缘强调处理，并且在亮点的数量大于比第一预定值更大的第二预定值的情况下，进行与亮点的数量小于第二预定值的情况相比更强的模糊处理。另外，尽管作为用于检测亮点的数量的方法，使用的是使用预定阈值对星空图像进行二值化的处理，但是这不是限制性的，并且可以使用用于从星空图像中检测亮点的众所周知的方法来检测亮点。

另外，在通过摄像设备100所进行的摄像控制处理中，尽管对于各星星强调处理使用预定阈值来进行二值化处理，但是可以在使用多个阈值将星空图像转化成多值图像之后，确定所要采用的星星强调处理方法。另外，在通过摄像设备100所进行的第二摄像控制处理中，尽管在进行AE处理之后进行摄像操作以利用适当曝光进行拍摄，但是考虑下面的场景：例如，由于曝光校正而利用与摄像设备100所确定的适当曝光不同的曝光水平来进行拍摄。在这种情况下，仅需要根据校正后的曝光来改变用于对图像进行二值化的阈值。

在通过摄像设备100所进行的第二摄像控制处理中，对于所拍摄的星空图像自动确定星星强调处理，并且进行所确定的处理。然而，这不是限制性的，而且可以使得拍摄者能够在将所拍摄的星空图像存储在存储介质200中时判断是否实际进行所确定的星星强调处理。另外，可以将进行了所确定的星星强调处理后的图像文件和没有进行所确定的星星强调处理的图像文件两者存储在存储介质200中。

接着，说明通过摄像设备100所进行的第三摄像控制处理。在操作部162中设置了天体(星空)拍摄模式时，通过摄像设备100进行第三摄像控制处理。在通过摄像设备100所进行的第三摄像控制处理中，拍摄并合成多个星空图像，从而生成一个静止图像，因而拍摄到星星的轨迹。

图8是通过摄像设备100所进行的第三摄像控制处理的流程图。步骤S801与图2的处理的步骤S201相同，因此省略对其的说明。在步骤S802，***控制器150基于在步骤S801的测光结果，确定用于拍摄星空的适当曝光水平，并且拍摄第一图像。然后，在步骤S803，强调处理判断电路306以按照摄像设备100所进行的上述第二摄像控制处理的方式，判断对于步骤S802所获得的星空图像所要采用的星星强调处理方法。在步骤S804，图像处理器120根据在步骤S803所确定的星星强调处理方法进行星星强调处理。

另一方面，在执行步骤S802之后，在步骤S802a，***控制器150拍摄第二图像。注意，对于包括用于拍摄第二图像及随后的图像的下述步骤S802b～S802n的所有摄像操作所设置的曝光条件与对于用于拍摄第一图像的摄像操作所设置的曝光条件相同。步骤S802a所拍摄的第二星空图像经过与步骤S804对第一星空图像所进行的处理相同的星星强调处理。另外，在步骤S805a，比较光合成电路305对经过了星星强调处理的第一图像和第二图像进行比较光合成。

对于预定n-1个星空图像进行步骤S802a、S804和S805a的一系列处理操作。也就是说，在步骤S802a之后的步骤S802b，***控制器150拍摄第三图像。然后，步骤S802b所拍摄的第三星空图像经过了与步骤S804对第一星空图像所进行的处理相同的星星强调处理。然后，在步骤S805b，比较光合成电路305对步骤S805a所生成的图像和经过了星星强调处理的第三图像进行比较光合成。

在对第n-1星空图像进行相同处理之后，在步骤S802n，***控制器150拍摄作为最后一个星空图像的第n图像。然后，步骤S802n所拍摄的第n星空图像经过了与步骤S804对第一星空图像所进行的处理相同的星星强调处理。另外，在步骤S805n，比较光合成电路305对通过基于经过了星星强调处理的直到第n-1图像的这些图像的比较光合成所生成的图像和经过了星星强调处理的第n图像进行比较光合成，随后终止该处理。

在通过摄像设备100所进行的第三摄像控制处理中，当将运动亮点合成为一个图像中的轨迹时，可以以均匀宽度和亮度适当进行强调处理。在本说明书中，尽管说明了拍摄图像的数量n实际上等于或者大于4的情况，但是该数字n仅需要是等于或者大于2的整数。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

例如，尽管本实施例所述的摄像设备100是具有代表性的数字静态照相机，但是根据本发明的摄像设备不局限于此，并且可以是具有照相机功能、即用于使用摄像装置获取图像的摄像功能的各种电子装置。例如，摄像设备100可以是具有照相机功能的便携式通信终端(诸如移动电话和智能手机等)、具有照相机功能的便携式计算机(平板终端)或者具有照相机功能的便携式游戏播放器。另外，可以将配置成进行摄像的摄像单元和配置成对通过摄像单元所拍摄的图像进行图像处理的图像处理单元分开设置，并且可以以通过有线通信或者无线通信来进行数据通信的方式来将这些单元连接。

另外，还可以通过例如不具有照相机功能的计算机来执行根据本发明的图像处理方法。另外，根据本发明的图像处理方法并非必须在拍摄过程中实时执行，并且还可以使用存储在预定存储介质中的拍摄图像的RAW数据稍后执行。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

本申请要求2014年10月22日提交的日本专利申请2014-215434的优先权，其全部内容通过引用包含于此。

Claims (16)

1.一种图像处理设备，其特征在于，包括：

亮点检测单元，用于从摄像单元所拍摄的图像中检测亮点的数量；

模糊处理单元，用于对所述摄像单元所拍摄的图像进行模糊处理作为图像处理；

边缘强调处理单元，用于对所述摄像单元所拍摄的图像进行边缘强调处理作为图像处理；以及

控制单元，用于控制所述模糊处理单元和所述边缘强调处理单元所进行的图像处理，

其中，所述控制单元根据所述亮点检测单元所检测到的亮点的数量，将对所述摄像单元所拍摄的图像所进行的图像处理控制为至少是所述模糊处理或所述边缘强调处理、或者控制为既不是所述模糊处理也不是所述边缘强调处理。

2.根据权利要求1所述的图像处理设备，其中，在所述亮点的数量不小于第一预定值的情况下，所述控制单元控制图像处理，从而对所述摄像单元所拍摄的图像进行所述模糊处理。

3.根据权利要求1所述的图像处理设备，其中，在所述亮点的数量不大于第二预定值的情况下，所述控制单元控制图像处理，从而对所述摄像单元所拍摄的图像进行所述边缘强调处理。

4.根据权利要求1所述的图像处理设备，其中，所述控制单元控制对所述摄像单元所拍摄的图像所进行的图像处理，从而：在所述亮点的数量不小于第一预定值的情况下，进行所述模糊处理；在所述亮点的数量不大于第二预定值的情况下，进行所述边缘强调处理；以及在所述亮点的数量小于所述第一预定值、并且大于所述第二预定值的情况下，既不进行所述模糊处理也不进行所述边缘强调处理。

5.根据权利要求1所述的图像处理设备，其中，所述亮点检测单元从通过对所述摄像单元所拍摄的图像进行分割所生成的多个图像区域的各图像区域中检测所述亮点的数量。

6.根据权利要求1所述的图像处理设备，其中，还包括二值化单元，所述二值化单元用于使用预定阈值对所述摄像单元所拍摄的图像进行二值化，

其中，所述亮点检测单元从所述二值化单元二值化后的图像中检测所述亮点的数量。

7.根据权利要求6所述的图像处理设备，其中，还包括分割单元，所述分割单元用于将所述摄像单元所拍摄的图像分割成多个图像区域，

其中，针对所述分割单元分割后的多个图像区域中的各图像区域，所述二值化单元使用所述预定阈值进行二值化处理，

所述亮点检测单元识别从经过所述二值化处理后的多个图像区域中的各图像区域中所检测到的亮点的数量的最大值，以及

所述控制单元基于所述亮点的数量的最大值来控制图像处理。

8.根据权利要求1所述的图像处理设备，其中，所述亮点是与各自具有不小于预定值的亮度值的像素值相关联的图像。

9.根据权利要求1所述的图像处理设备，其中，所述亮点的数量是所述图像中每单位区域的亮点的数量。

10.根据权利要求1所述的图像处理设备，其中，还包括合成单元，所述合成单元用于将所述摄像单元所拍摄的多个图像中各个相应位置处的像素的像素水平相互进行比较以仅选择具有最高水平的像素，并且将如此选择的像素合成为一个图像，

其中，所述控制单元进行控制，以对所述摄像单元所拍摄的第二图像和随后的图像进行与对所述摄像单元所拍摄的第一图像所进行的图像处理相同的图像处理，以及

所述合成单元将经过图像处理后的所述第一图像与经过与对所述第一图像所进行的图像处理相同的图像处理后的所述第二图像和随后的图像进行合成。

11.一种图像处理设备，其特征在于，包括：

亮点检测单元，用于从摄像单元所拍摄的图像中检测亮点的数量；

边缘强调处理单元，用于对所述摄像单元所拍摄的图像进行边缘强调处理；以及

控制单元，用于控制所述边缘强调处理单元所进行的图像处理，

其中，所述控制单元根据所述亮点检测单元所检测到的亮点的数量来控制所述边缘强调处理单元对所述摄像单元所拍摄的图像所进行的所述边缘强调处理。

12.根据权利要求11所述的图像处理设备，其中，在所述亮点的数量小于第一预定值的情况下，所述控制单元进行与所述亮点的数量大于所述第一预定值的情况相比更强的所述边缘强调处理。

13.根据权利要求12所述的图像处理设备，其中，还包括模糊处理单元，所述模糊处理单元用于对所述摄像单元所拍摄的图像进行模糊处理，

其中，在所述亮点的数量大于第二预定值的情况下，所述控制单元对所述摄像单元所拍摄的图像进行与所述亮点的数量小于所述第二预定值的情况相比更强的所述模糊处理。

14.根据权利要求13所述的图像处理设备，其中，所述第二预定值大于所述第一预定值。

15.一种图像处理方法，其能够通过计算机来进行，其特征在于，包括以下步骤：

检测步骤，用于从图像中检测亮点的数量；

对所述图像进行模糊处理作为图像处理；

对所述图像进行边缘强调处理作为图像处理；以及

控制步骤，用于根据所述检测步骤所检测到的亮点的数量来控制对所述图像所进行的图像处理，

其中，所述控制步骤包括：根据所述检测步骤所检测到的亮点的数量，将对摄像单元所拍摄的图像进行的图像处理控制为至少是所述模糊处理或所述边缘强调处理、或者控制为既不是所述模糊处理也不是所述边缘强调处理。

16.一种图像处理方法，其能够通过计算机来进行，其特征在于，包括以下步骤：

对图像进行使用第一阈值的二值化处理和使用第二阈值的二值化处理，其中，所述第二阈值小于所述第一阈值；

检测经过使用所述第一阈值的二值化处理后的图像上的亮点的数量作为第一亮点数量，以及检测经过使用所述第二阈值的二值化处理后的图像上的亮点的数量作为第二亮点数量；以及

控制步骤，用于根据所述第一亮点数量和所述第二亮点数量来控制对所述图像进行的图像处理，

其中，所述控制步骤包括根据所述第一亮点数量和所述第二亮点数量来控制是进行模糊处理或边缘强调处理作为图像处理、还是既不进行所述模糊处理也不进行所述边缘强调处理。