具体实施方式
在以下描述中,本发明的优选实施例以通常作为软件程序而实施的方面进行说明。本领域技术人员将容易认可,该软件的等效内容也可以用硬件来构造。因为图像处理算法和***是众所周知的,因此本说明书尤其针对形成根据本发明的***和方法的一部分的算法和***或者与根据本发明的***和方法更直接协作的算法和***。文中没有具体示出或说明的该算法和***的其它方面、以及用于生成及处理此处所涉及的图像信号的硬件或软件可以从本领域中已知的此类***、算法、部件和元件中选择。以下材料中给出根据本发明所述的***,可用于实施本发明的且文中没有具体示出、提出或描述的软件是本领域的常用技术。
此外,如文中所述的,用于执行本发明方法的计算机程序可存储在计算机可读存储介质中,该计算机可读存储介质例如可以包括:磁性存储介质,诸如磁盘(诸如硬盘驱动器或软盘)或磁带;光学存储介质,诸如光盘、光学磁带或机器可读条形码;固态电子存储装置,诸如随机存取存储器(RAM)或只读存储器(ROM);或者用于存储计算机程序的任何其它物理装置或介质,所述计算机程序具有用于控制一个或多个计算机来实施根据本发明的方法的指令。
由于采用成像装置和用于信号捕捉和处理、以及显示的相关电路的数字照相机是众所周知的,因此本说明书尤其针对形成根据本发明方法和装置的一部分的元件,或者与根据本发明的方法和装置更直接协作的元件。文中没有具体示出或描述的元件从本领域的已知元件中选择。待描述的实施例的某些方面以软件的形式提供。以下材料中给出根据本发明所示和所述的***,可用于实施本发明的且文中没有具体示出、描述或提到的软件是本领域中的常用技术。
本发明包括文中所述实施例的组合。引用“特定实施例”等等涉及至少出现在本发明的一个实施例中的特征。各个引用“实施例”或“特定实施例”等等不一定涉及相同实施例,然而除非明确指出或者本领域技术人员能容易看出,该实施例不相互排斥。涉及方法等的单数或复数的使用不是限制性的。应该注意,除非上下文中另有说明或要求,本公开中所使用的词“或”为非排他的意思。
数字照相机的以下描述将为本领域技术人员所述熟悉。显然,存在可能的并被选择来减小成本、增加特征或者改善照相机性能的该实施例的很多变型。
图1示出了包括数字照相机10数字拍摄***的框图。优选地,数字照相机10为便携电池操作装置,其足够小以便于在捕捉和查看图像时由用户手持。数字照相机10生成使用图像存储器30作为数字图像文件存储的数字图像。如文中所使用的短语“数字图像”或“数字图像文件”涉及任何数字图像文件,诸如数字静止图像或数字视频文件。
在一些实施例中,数字照相机10同时捕捉运动视频图像和静止图像。数字照相机10还可以包括其它功能,包括但不限于数字音乐播放器(例如,MP3播放器)、移动电话、GPS接收机、或可编程数字助理(PDA)的功能。
数字照相机10包括具有可调孔径和可调快门6的变焦透镜4。变焦透镜4由变焦和聚焦电动机驱动器8来控制。变焦透镜4将来自场景(未示出)的光聚焦在图像传感器14上,例如单片彩色CCD或CMOS图像传感器上。在其它实施例中,可以使用具有可变或固定焦距的固定焦距透镜。
图像传感器14的输出通过模拟信号处理器(ASP)和模数(A/D)转换器16转换成数字形式,并且暂时存储在缓冲存储器18中。随后,存储在缓冲存储器18中的图像数据利用存储在固件存储器28中的嵌入式软件程序(如,固件),通过处理器20来操作。在一些实施例中,软件程序利用只读存储器(ROM)永久地存储在固件存储器28中。在另外的实施例中,固件存储器28可以通过使用例如快闪可擦可编程只读存储器来修改。在该实施例中,外部装置可以利用有线接口38或无线调制解调器50来更新存储在固件存储器28中的软件程序。在该实施例中,固件存储器28还可以用于存储图像传感器校准数据、在照相机关闭时必须被保存的用户设定选择和其它数据。在一些实施例中,处理器20包括程序存储器(未示出),并且存储在固件存储器28中的软件程序在被处理器20执行之前复制到程序存储器中。
应该理解,处理器20的功能可以利用单个可编程处理器或利用包括一个或多个数字信号处理(DSP)装置的多个可编程处理器来提供。可选地,处理器20可以通过定制电路(如,通过为用在数字照相机中而专门设计的一个或多个定制集成电路(IC))或者通过可编程处理器和定制电路的组合来提供。应该理解,处理器20与图1所示的一些或全部的不同部件之间的连接器可以利用共同的数据总线来实现。例如,在一些实施例中,处理器20、缓冲存储器18、图像存储器30和固件存储器28之间的连接可以利用共同的数据总线来进行。
接着,可以利用图像存储器30来存储已处理图像。应该理解,图像存储器30可以是本领域技术人员熟知的任何形式的存储器,包括但不限于,可移动快闪存储卡、内部快闪存储芯片、磁存储器或光学存储器。在一些实施例中,图像存储器30可以同时包括内部快闪存储芯片和可移动快闪存储卡(诸如安全数字(SD)卡)的标准接口。可选地,可以使用不同的存储卡形式,诸如微型SD卡、压缩闪存(CF)卡、多媒体卡(MMC)、xD卡或记忆棒。
图像传感器14受定时发生器12控制,该定时发生器12产生各种时钟信号以选择行和像素并且使ASP和A/D转换器16的操作同步。图像传感器14可以具有例如12.4兆像素(4088×3040像素)以便提供大约4000×3000像素的静止图像文件。为了提供彩色图像,图像传感器通常与滤色器阵列重叠,这提供具有包括不同颜色像素的像素阵列的图像传感器。不同颜色像素可以按很多不同图案进行布置。作为一个实例,不同的颜色像素可以利用熟知的拜耳滤色器阵列来布置,如拜耳的题为“Color imaging array”的共同转让美国专利3,971,065中所述,其公开通过引用并入本文。作为第二实例,不同颜色像素可以如2007年7月28日提交的Compton和Hamilton的题为“Image sensor with improved light sensitivity”的共同转让美国专利申请第美国专利申请公开2007/0024931号所述布置,该公开通过引用并入本文。这些实例不是限制性的,可以使用很多其它彩色图案。
应该理解,图像传感器14、定时发生器12和ASP和A/D转换器16可以是分别加工的集成电路,或者如CMOS图像传感器的通常做法,可以将它们加工成单个集成电路。在一些实施例中,该单个集成电路可以执行如图1所示的一些其它功能,包括由处理器20提供的一些功能。
图像传感器14在第一模式中由定时发生器12启动以提供低分辨率传感器图像数据的运动时序时是有效的,所述低分辨率传感器图像数据在捕捉视频图像时以及在预览待捕捉的静止图像时使用,以便组合图像。该预览模式传感器图像数据可以作为具有例如1280×720像素的HD分辨率图像数据或者作为具有例如640×480像素的VGA分辨率图像数据,或者使用与图像传感器分辨率相比具有明显更少的数据列和数据行的其它分辨率来提供。
预览模式传感器图像数据可以通过将具有相同颜色的相邻像素的值合并或者通过删除一些像素值、或者通过合并一些彩色像素值同时删除其它彩色像素值来提供。预览模式图像数据可以如Parulski等人的题为“Electronic camera for initiatingcapture of still images while previewing motion images”的共同转让美国专利6,292,218中所述来进行处理,该专利通过引用并入本文。
图像传感器14在第二模式中由定时发生器12启动以提供高分辨率静止图像数据时是有效的。该最终模式传感器图像数据作为高分辨率输出图像数据来提供,对于具有高照度等级的场景该高分辨率输出图像数据包括图像传感器的所有像素,并且可以是例如具有4000×3000像素的12兆像素的最终图像数据。在更低的照度等级上,最终传感器图像数据可以通过将一定量的相似颜色像素“分装”在图像传感器上来提供,以便增加信号等级,进而增加传感器的“ISO速度”。
变焦和聚焦电动机驱动器8由处理器20所提供的控制信号来控制,以提供适当的焦距设定并且将场景聚焦在图像传感器14上。图像传感器14的曝光等级通过控制可调孔径和可调快门6的光圈值和曝光时间、图像传感器14经由定时发生器12的曝光期、以及ASP和A/D转换器16的增益(即,ISO速度)设定来控制。处理器20还对能够照亮场景的闪光灯2进行控制。
可选辅助传感器42可以用于感测与场景或观察环境有关的信息。例如,辅助传感器42可以为用于测量场景的照度等级以便设定适当的曝光等级的光传感器。可选地,辅助传感器42可以是用于特征化观察环境的环境传感器,在所述观察环境中在图像显示器32上观察图像。本领域技术人员可以认可,也可以使用很多其它类型的辅助传感器42。
处理器20生成暂时存储在显示存储器36中且在图像显示器32上显示的菜单和低分辨率彩色图像。图像显示器32通常为有源矩阵彩色液晶显示器(LCD),但可以使用其它类型的显示器,诸如有机发光二极管(OLED)显示器。视频接口44将视频输出信号从数字照相机10提供至视频显示器46,诸如平板HDTV显示器。在预览模式或视频模式中,来自缓冲存储器18的数字图像数据由处理器20处理以形成通常作为彩色图像而显示在图像显示器32上的一系列运动预览图像。在查看模式中,显示在图像显示器32上的图像利用来自于存储在图像存储器30中的数字图像文件的图像数据来生成。
显示在彩色LCD图像显示器32上的图形用户界面响应于由用户控制机构34所提供的用户输入来控制。用户控制机构34用于选择各种照相机模式,诸如视频捕捉模式、静止捕捉模式和查看模式。用户控制机构34还用于打开照相机,控制变焦透镜,并且启动拍照处理。用户控制机构34通常包括按钮、摇臂开关、操纵杆或旋转拨号盘的某种组合。在一些实施例中,一些用户控制机构34利用覆盖在图像显示器32上端触摸屏来提供。在其它实施例中,可以使用额外的状态显示器或图像显示器。连接至处理器20的音频编解码器22从麦克风24接收音频信号,并且将音频信号提供给扬声器26。这些部件可以随视频序列或静止图像一起记录或回放音轨。如果数字照相机10为多功能装置,诸如照相机和移动电话的组合,则麦克风24和扬声器26可用于电话交谈。
在一些实施例中,扬声器26可用作用户界面的一部分,例如以提供表示已按下用户控制机构或者已选择特定模式的各种音响信号。在一些实施例中,麦克风24、音频编解码器22和处理器20可用于提供声音识别,以使用户能够利用声音命令而非用户控制机构34来向处理器20提供用户输入。扬声器26还可以用于通知用户呼入电话。这可以利用存储在固件存储器28中的标准电话铃音或者利用从无线网络58下载的且存储在图像存储器30中的定制电话铃音来进行。另外,振动装置(未示出)可以用来提供呼入电话的无声(如,不可听闻)的通知。
处理器20还对来自图像传感器14的图像数据提供额外的处理,以便产生渲染的sRGB图像数据,该sRGB图像数据被压缩并且存储在图像存储器30中的“完整的”图像文件内,诸如众所周知的Exif-JPEG图像文件。
数字照相机10可以经由有线接口38连接至接口/充电器48,该接口/充电器48连接至计算机40,计算机40可以是家或办公室内的台式计算机或便携式计算机。有线接口38可以遵循例如众所周知的USB 2.0接口规定。接口/充电器48可以将电源经由有线接口38提供至数字照相机10中的一组可再充电电池(未示出)。
数字照相机10可以包括在射频带52上与无线网络58连接的无线调制解调器50。无线调制解调器50可以使用各种无线接口协议,诸如众所周知的蓝牙无线接口或众所周知的802.11无线接口。计算机40可以将图像经由因特网70上传至照片服务提供商72,诸如柯达易享图库。其它装置(未示出)可以访问由照片服务提供商72存储的图像。
在可选实施例中,无线调制解调器50通过射频(如,无线)链接与诸如3GSM网络的移动电话网络(未示出)来通信,所述移动电话网络与因特网70连接以便从数字照相机10上传数字图像文件。这些数字图像文件可以提供给计算机40或照片服务提供商72。
图2是示出可由数字照相机10中的处理器20(图1)执行以便对来自图像传感器14由ASP和A/D转换器16输出的彩色传感器数据100100进行处理的图像处理操作的流程图。在一些实施例中,由处理器20使用来处理特定数字图像的彩色传感器数据100的处理参数通过不同的用户设定175来确定,所述用户设定可以响应于显示在图像显示器32上的菜单经由用户控制机构34来选择。
由ASP和A/D转换器16进行过数字转换的彩色传感器数据100通过传感器噪声降低步骤105来处理,以减小图像传感器14的噪声。在一些实施例中,该处理可以利用Gindele等人的题为“Noise cleaning and interpolating sparsely populatedcolor digital image using a variable noise cleaning kernel”的共同转让美国专利6,934,056(该公开通过引用并入本文)中所描述的方法来执行。噪声降低等级可以响应于ISO设定110来调整,以便以更高的ISO曝光指数设定来执行更多过滤。
然后,彩色图像数据通过反马赛克步骤115来处理,以便在每一个像素位置提供红色、绿色和蓝色(RGB)图像数据值。用于执行反马赛克步骤115的算法通常被称为滤色器阵列(CFA)内插算法或者“去拜耳(deBayering)”算法。在本发明的一个实施例中,反马赛克步骤115可以使用Adams等人的题为“Adaptivecolor plane interpolation in single sensor color electronic camera”的共同转让美国专利5,652,621(该公开通过引用并入本文)中所描述的亮度CFA内插方法。反马赛克步骤115还可以使用Cok的题为“Signal processing method and apparatus forproducing interpolated chrominance values in a sampled color image signal”的共同转让美国专利4,642,678(该公开通过引用并入本文)中所描述的色度CFA内插方法。
在一些实施例中,用户可以在不同的像素分辨率模式之间进行选择,以便数字照相机能够产生更小尺寸的图像。可以提供多个像素分辨率,如Parulski等人的题为“Single sensor color camera with user selectable image record size”的共同转让美国专利5,493,335中所述,该公开通过引用并入本文。在一些实施例中,用户可以将分辨率模式设定120选择为原尺寸(如,3,000×2,000像素),中等尺寸(如,1,500×1000像素)或小尺寸(750×500像素)。
彩色图像数据在颜色校正步骤125中进行颜色校正。在一些实施例中,颜色校正利用3×3线性空间颜色校正矩阵来提供,如Parulski等人的题为“Method andapparatus for improving the color rendition of hardcopy images from electroniccameras”的共同转让美国专利5,189,511中所述,该公开通过引用并入本文。在一些实施例中,不同的用户可选彩色模式可以通过将不同的颜色矩阵系数存储在数字照相机10的固件存储器28中来提供。例如,可以提供四种不同的彩色模式,以便使用彩色模式设定130来选择以下颜色校正矩阵中的一个:
设定1(标准颜色再现)
设定2(饱和颜色再现)
设定3(不饱和颜色再现)
设定4(单色)
在其它实施例中,三维查找表可以用于执行颜色校正步骤125。
彩色图像数据同样由色调比例校正步骤135处理。在一些实施例中,色调比例校正步骤135可以利用一维查找表来执行,如前文引用的美国专利No.5,189,511中所述。在一些实施例中,多个色调比例校正查找表存储在数字照相机10的固件存储器28中。这些可以包括提供“标准”色调比例校正曲线、高“对比度”色调比例校正曲线和“低对比度”色调比例校正曲线的查找表。处理器20使用用户选择对比度设定140来确定在执行色调比例校正步骤135时使用哪一个色调比例校正查找表。
彩色图像数据还由图像清晰化步骤145来处理。在一些实施例中,这可以利用Hamilton等人的题为“Edge enhancing colored digital images”的共同转让美国专利6,192,162中所描述的方法来提供,该公开通过引用并入本文。在一些实施例中,用户可以在包括“标准清晰化”设定、“高清晰化”设定和“低清晰化”设定的不同清晰化设定之间进行选择。在该实例中,处理器20响应于由数字照相机10的用户所选择的清晰化设定150来使用三个不同的边缘强化乘数值其中之一,例如“高清晰化”为2.0,“标准清晰化”为1.0,并且“低清晰化”等级为0.5。
彩色图像数据还由图像压缩步骤155来处理。在一些实施例中,图像压缩步骤155可以利用Daly等人的题为“Adaptive block transform image coding method andapparatus”的共同转让美国专利4,774,574中所描述的方法来提供,该公开通过引用并入本文。在一些实施例中,用户可以在不同的压缩设定之间进行选择。这可以通过将多个量化表,例如三个不同的表,存储在数字照相机10的固件存储器28中来实现。这些表为待存储在数字照相机10的图像存储器30中的被压缩数字图像文件180提供不同的品质等级和平均文件尺寸。处理器20使用用户选择压缩模式设定160来选择特定量化表,以用于特定图像的图像压缩步骤155。
压缩彩色图像数据利用文件格式化步骤165来存储在数字图像文件180中。图像文件可以包括各种元数据170。元数据170是与数字图像有关的任意类型的信息,诸如捕捉图像的照相机型号、图像尺寸、捕捉图像的日期和时间、以及各种照相机设定,诸如透镜焦距、透镜的曝光时间和光圈值、以及照相机闪光灯是否发光。在优选实施例中,所有的元数据170利用众所周知的Exif-JPEG静止图像文件格式中的标准标记进行存储。
下面,参考图3描述本发明,图3概述了根据本发明优选实施例在不利条件下以提高的可见度来进行预览显示的方法。捕捉输入数字图像框200使用数字照相机10来捕捉输入数字图像205。在一些实施例中,输入数字图像205为提供运动视频序列或视频“剪辑”的一系列数字图像。在其它实施例中,输入数字图像205为被捕捉且显示在图像显示器32(图1)上以便组合待捕捉的静止图像的一系列预览图像,随后捕捉高分辨率静止图像。
特征化观察环境步骤215用于利用来自环境传感器210的输入来特征化观察环境。在本发明的优选实施例中,环境传感器210用于提供观察环境中的光级指示,在所述观察环境中用户将观察图像显示器32(图1)。在一个实施例中,环境传感器210可以是设置在图像显示器32附近且对入射在图像显示器32上的光级进行测量的辅助传感器42。在可选实施例中,在图像捕捉处理期间用于确定场景亮度级和相应曝光值(EV)的场景感测装置可用作环境传感器210,所述相应曝光值(EV)在捕捉输入数字图像205的处理期间使用。该方法利用以下事实,即被拍摄的场景的亮度级通常与落在图像显示器32上的周围光级密切相关。一般,数字照相机的图像传感器14(图1)用作场景感测装置。可选地,辅助传感器42可以用作场景感测装置。
下面,选择显示颜色变换步骤220用于响应于被特征化的观察环境从一组可用的颜色变换225中选择显示颜色变换230。在优选实施例中,在确定观察环境中的照度等级低于阈值照度等级的情形下,选择显示颜色变换步骤220选择具有标准色貌的默认显示颜色变换。在照度超过阈值照度等级的情形下,选择替代的增强显示颜色变换以便在不利的高眩光观察条件下提供提高的图像可见度。
在一个实施例中,增强显示颜色变换相对于默认显示颜色变换来增加图像对比度。利用更高级图像对比度所创建的预览图像在高眩光观察条件下具有提高的图像可见度。即使该变换可能由于其过大的对比度而没有产生“赏心悦目”的图像,但它们将产生使用户能更容易地辨别对象在预览图像中的位置的图像,因此能够使用户更准确地组合出期望图像。增强显示颜色变换还可以用于调整其它图像属性,诸如图像亮度和图像色度。增强显示颜色变换换可以调整这些图像属性中的任一个,或者可选地可以调整图像属性的组合。例如,增强显示颜色变换可以相对于默认显示颜色变换来增加图像对比度和图像色度。
在可选实施例中,增强显示颜色变换可以应用各种特殊效果来产生具有提高的图像可见度的图像。例如,增强显示颜色变换可用于生成高对比度灰度级数字图像。
在一些实施例中,可以响应于被特征化的观察环境来选择多个增强显示颜色变换。例如,当观察环境中的被检测照度等级增加时,可以选择具有逐渐增加的颜色增强的显示颜色变换230:对于具有中等照度等级的观察环境,可以选择具有中等的对比度和色度增加的显示颜色变换230;对于具有高照度等级的观察环境,可以选择具有大的对比度和色度增加的显示颜色变换230;以及对于具有极高照度等级的观察环境,可以选择产生高对比度灰度级数字图像的显示颜色变换230。
形成预览图像步骤235用于通过将被选显示颜色变换230应用于输入数字图像205来形成预览图像240。然后,使用显示预览图像步骤245来在数字照相机10(图1)的图像显示器32(图1)上显示预览图像240。
通常,默认显示颜色变换将设计成,在理想观察条件下使用时产生高品质预览图像。在检测到不利观察条件时由选择显示颜色变换步骤220所选择的增强显示颜色变换如果用在理想观察条件下则通常将产生不期望的结果,由此不适于在这些条件下使用它们。然而,当利用增强显示颜色变换形成预览图像240时,当在不利的观察条件下观察它们时,它们相对于默认显示颜色变换具有提高的图像可见度。与在理想观察环境下观察默认预览图像时相比,在不利的高眩光观察条件下观察增强预览图像时,它们的图像品质通常仍比较低。然而,相对于在相同的观察条件下观察默认预览图像的情形,在不利观察条件下,它们将具有提高的图像可见度。该提高的图像可见度在很多情形下对于用户来说可能是很关键的优势。例如,在捕捉静止图像之前的组合图像处理期间或者在捕捉视频剪辑期间用户观察预览图像时,增强预览图像使用户能够更好地捕捉场景中的期望区域。
一般不希望将所选显示颜色变换230将应用于存储在数字图像收集265中以便后续使用的数字图像的版本。因此,提供分离的处理路径,以便产生存储在数字图像收集265中的输出图像。处理和压缩数字图像步骤250用于对输入数字图像205进行处理以生成被压缩数字图像255。
处理和压缩数字图像步骤250一般包括应用具有颜色处理和图像压缩的多个图像处理操作。颜色处理一般涉及应用输出颜色变换248。在一个实施例中,输出颜色变换可以与默认显示颜色变换相同,所述默认显示颜色变换用于形成在理想观察条件下使用的预览图像240。这适于以下情形,即当图像显示器32(图1)具有类似于标准视频显示器(如,设计成观察标准sRGB图像的视频显示器)的特性时。在其它实施例中,在输入数字图像已处于被压缩数字图像255的期望颜色空间中的情形下,输出颜色变换248可以是空变换。
在优选实施例中,处理和压缩数字图像步骤250包括JPEG压缩步骤,该步骤用于以众所周知的JPEG格式来产生压缩数字图像255。接着,存储被压缩数字图像步骤260用于将被压缩数字图像255存储在数字图像收集265中。
在本发明的可选实施例中,可选的调节显示亮度步骤275用于响应于被特征化的观察环境来调节图像显示器32(图1)的亮度。例如,在低亮度观察环境中,调节显示亮度步骤275可以设定图像显示器32使用低亮度级,以减轻可由观察过度亮的显示器而造成的视疲劳。接着,在高亮度观察环境中,调节显示亮度步骤275可以设定图像显示器32使用高亮度级,以助于克服观察高等级闪光时的影响。按照这种方式的显示亮度的调节与显示颜色变换230的选择一起来提供预览图像240的提高的图像可见度。
利用调节显示亮度步骤275来调节显示亮度的机制是用在数字照相机10(图1)中的这类图像显示器32(图1)的功能。LCD图像显示器是一种常见的图像显示器32。LCD图像显示器一般包括背光,该背光用于提供之后由LCD像素调制的光。在该情形下,调节显示亮度步骤275可以通过例如调节占空比(duty cycle)参数来调节背光的光级。OLED图像显示器也用在数字照相机中。在该情形中,调节显示亮度步骤275可用于直接修改OLED像素的最大亮度。
在本发明的一个实施例中,选择显示颜色变换步骤220还响应于可选的用户可选观察模式270。在该情形中,与数字照相机10(图1)的用户界面有关的用户控制机构34(图1)可由用户使用来选择用户可选观察模式270。例如,当用户希望基于被特征化的观察环境来自动选择显示颜色变换230时可以选择一个用户可选观察模式270。当用户希望关闭该特征并且总是使用默认显示颜色变换时,可以选择另一个用户可选观察模式270。当用户希望总是使用增强预览颜色变换时,可以选择第三个用户可选观察模式270。
用户可选观察模式270还可以用来在增强显示颜色变换具有多个增加等级的模式之间进行选择,或者使用不同的颜色增强风格。例如,一个用户可能喜欢增加对比度的增强显示颜色变换,而另一个用户可能喜欢产生灰度级预览图像的增强显示颜色变换。
在可选实施例中,选择显示颜色变换步骤220可用来响应于用户可选观察模式270来人工地选择显示颜色变换230,而不需要使用来自环境传感器210的任何输入。这在用户想要保持完全控制或用户不喜欢利用自动选择显示颜色变换所获得的结果的情形下可能是有用的。在一个实施例中,用户界面控制机构,诸如数字照相机背面的按钮,可用来人工地指定是否使用具有增强的对比度和色度的显示颜色变换230。例如,当按钮没有按下时,使用默认装置颜色变换。但当用户处于高眩光观察环境中时,用户可以按下按钮以选择增强显示颜色变换。
除了捕捉数字图像以外,通常数字照相机还用来在查看模式下预先查看存储在作为数字图像收集265(图3)的一部分的图像存储器30(图1)中的被捕捉数字图像。图4示出了描述在数字照相机10用在图像查看模式中时可利用本发明方法的方式的流程图。解压缩数字图像步骤280用于对来自数字图像收集265的被解压缩数字图像285进行解压缩。对于结合图3所述的图像预览模式,特征化观察环境步骤215用于响应于来自环境传感器210的信号来特征化观察环境。接着,选择显示颜色变换步骤220从一组可用颜色变换225中选择显示颜色变换230。接着,形成查看图像步骤290用于将显示颜色变换230应用于被解压缩数字图像285,从而形成查看图像292。接着,显示查看图像步骤294用于在图像显示器32(图1)上显示查看图像292。如上所述,调节显示亮度步骤275可选地可用于响应于被特征化观察环境来调节图像显示器32的亮度。可选地,选择显示颜色变换步骤220可选地响应于用户可选观察模式270。
图5是示出与本发明有关的数字照相机300的特征的示意图。数字照相机300具有用于初始化图像捕捉的图像捕捉按钮315、以及可用于根据本发明方法来显示预览图像240(图3)和查看图像292(图4)的图像显示器305。图像显示器305还可以用于显示各种用户界面元件,诸如菜单和按钮。在优选实施例中,图像显示器305为具有触摸感应覆盖件的LCD显示屏,所述触摸感应覆盖件能够通过触摸图像显示器305来使用户与用户界面交互。存在很多为本领域技术人员所熟知的形成触摸屏覆盖件的方法。在本发明的一个实施例中,触摸感应覆盖件使用电容式触摸屏技术。根据本发明可使用的其它类型的触摸屏包括那些使用电阻技术、红外技术或表面声波技术的触摸屏。在一些实施例中,可以提供各种用户界面元件,诸如按钮、操纵杆和拨号盘(未示出),以便与用户界面元件进行交互。
被显示数字图像310被示出,其可以是根据前面参考图3和图4所述的方法而形成的预览图像240或查看图像292。辅助环境传感器320示出为紧邻图像显示器305以便测量从一个或多个光源325落在图像显示器305上的周围光330的中照度等级。光源325可以是太阳或某种其它光源。在很多观察环境中,多个光源均对落在图像显示器305上的周围光330起作用。如上所述,本发明的一些实施例使用图像传感器14(图1)作为环境传感器,而非示出在该构造中的分离的辅助环境传感器320。
在本发明的一些实施例中,预览图像240(图3)响应于用户部分按下图像捕捉按钮315而显示在图像显示器305上。当部分按下图像捕捉按钮315时,通过继续捕捉新的输入数字图像205(图3)并且利用所选显示颜色变换230(图3)对它们进行处理以确定被更新预览图像240来实时地更新被显示预览图像。这样,用户能够调节图像组合直到达到期望的图像组合。
接着,当用户完全按下图像捕捉按钮315时,将输入数字图像205记录在处理器可存取的存储器中。被记录数字图像可以由用于产生最新预览图像240的相同输入数字图像205形成,或者可选地,新输入数字图像205可以响应于用户完全按下图像捕捉按钮315来捕捉并记录。
在一些实施例中,在完全按下图像捕捉按钮315并且已经记录输入数字图像205之后,在允许用户查看被捕捉数字图像的时期内在图像显示器305上自动显示被记录数字图像。用户可以通过与用户界面适当地交互来选择执行诸如删除或标记被捕捉数字图像的动作。被显示数字图像可以被认为是查看图像292(图4)。在一些实施例中,响应于来自环境传感器210的信号利用被选显示颜色变换230对查看图像292进行处理。在其它实施例中,查看图像292可以显示在图像显示器305上,而没有使用显示颜色变换230。可选地,通过提供用户可选观察模式,可为用户提供是否应用显示颜色变换230的选择。
当将本发明方法应用于数字视频照相机或在视频捕捉模式下使用的数字静止照相机时,连续更新预览图像240以为用户提供正被捕捉并存储在数字视频文件中的数字视频图像的指示。数字视频文件是一种数字图像收集265。在一些实施例中,更新预览图像240以显示被捕捉数字视频的每一帧。在其它实施例中,仅仅帧的子集用于形成预览图像240。例如,可以仅对每两帧数字视频来形成预览图像240。
在本发明的一个实施例中,可用的颜色变换225的集合包括具有不同对比度和色度特性的颜色变换。存出已为本领域技术人员所熟知的用于调节数字图像的对比度的很多方法。根据本发明的可用于增加数字图像的对比度的一种方法是,在输入数字图像205中提取代码值子集,并且将它们扩展成填满图像显示器305的代码值范围。该操作在数学上可由以下等式表示:
CVout=Clip(mCVin+b,0,255) (5)
其中CVin是输入数字图像205的代码值,CVout是对比度增加的数字图像的代码值,m是与图像对比度有关的斜率参数,b是与图像亮度有关的偏移参数,并且Clip(x,0,255)是将值裁剪到0至255的范围内的函数。在该实例中,假定图像显示器305接收0至255范围内的代码值,尽管本领域技术人员清楚等式(5)可以推广以使用任何显示代码值范围。
等式(5)中的斜率参数m和偏移参数b可以与输入代码值子集有关,该输入代码值子集利用以下等式扩展成填满图像显示器305的代码值范围:
b =-m·Min (7)
其中Min和Max分别是输入代码值子集中的最小输入代码值和最大输入代码值。
存在已为本领域技术人员所熟知的调节数字图像的色度的很多方法。根据本发明的可用于增加数字图像色度的一种方法是,对输入数字图像205中的代码值应用矩阵变换。一种该矩阵变换由以下等式给出:
其中Rin、Gin和Bin分别为输入数字图像205的像素的红色、绿色和蓝色代码值,Rout、Gout和Bout为色度增强数字图像的相应像素的红色、绿色和蓝色代码值,并且MC是色度矩阵。根据本发明可使用的一种形式的色度矩阵由下式给出:
其中K1和K2为矩阵系数。在本发明一个实施例中,利用以下等式,矩阵系数可以与饱和参数S相关:
K1=1+2S/3 (10)
K2=-S/3 (11)
注意,如等式(5)中明确示出的裁剪步骤隐含地示出在等式(8)以及以下等式所描述的变换中,以保持被变换代码值不超过被变换代码值的允许范围。
第三种颜色变换为灰度级转换变换,其将颜色输入数字图像205转换成灰度级(单色)数字图像。存在很多种已为本领域技术人员所熟知的灰度级转换变换。根据本发明的可使用的一种形式的灰度级转换变换由以下等式表示:
其中MG为灰度级转换矩阵。对红色、绿色和蓝色颜色通道进行同等加权的灰度级转换矩阵的一个实例由下式给出:
对颜色通道进行不同的加权的可选灰度级转换矩阵由等式(4)给出。
由选择显示颜色变换步骤220选择的颜色变换225的集合可以包括将两个或更多个颜色变化组合在一起的颜色变换,诸如已经在上文中描述的对比度增加、色度增加和灰度级转换变换。例如,所选的显示颜色变换230可以包括对比度增加和色度增加。通常,可以通过将相应单个颜色变换的等式组合起来形成组合颜色变换。例如,以下等式可用于将对比度增加颜色变换和色度增加颜色变换组合起来:
类似地,以下等式可用于将灰度级转换颜色变换与对比度增加颜色变换组合起来:
在本发明的一个实施例中,选择显示颜色变换步骤220根据由特征化观察环境步骤215提供的曝光值(EV)并且基于用户可选观察模式270,在包括三个不同颜色变换的颜色变换225的集合之间进行选择。下表简要说明了三个颜色变换:
表1
变换# |
Min |
Max |
S |
灰度级 |
1 |
0 |
255 |
0 |
否 |
2 |
55 |
233 |
2 |
否 |
3 |
139 |
141 |
N/A |
是 |
变换1是没有增加对比度或色度并且没有使图像转变成灰度级表征的默认颜色变换。该颜色变换基本上为空变换,并且使输入数字图像没有改变。如果选择该颜色变换,则甚至没必要将颜色变换应用于输入数字图像230,因为预览图像240等效于输入数字图像230。变换2为施予中等对比度增加和中等色度增加的颜色变换。变换3是施予大对比度增加并且使图像转变为灰度级表征的颜色变换。
可以提供允许用户在三个用户可选观察模式270之间进行选择的用户界面。在第一用户可选观察模式270中,总是选择变换1,以便总是应用默认颜色变换,而与来自环境传感器210的信号无关。
在第二用户可选观察模式270中,选择显示颜色变换步骤220根据被测EV值在变换1和变换2之间进行选择。表2示出了由用于选择显示颜色变换230的选择显示颜色变换步骤220使用的示范EV范围。在该模式中,为通常对应于不利的高闪光观察条件的高EV值选择包括对比度增加和色度增加进而具有提高的图像可见度的显示颜色变换230。
表2
在第三用户可选观察模式270中,选择显示颜色变换步骤220根据被测EV值在变换1和变换3之间进行选择。表3示出了由用于选择显示颜色变换230的选择显示颜色变换步骤220使用的示范EV范围。在该模式中,为通常对应于不利的高闪光观察条件的高EV值选择具有提高的图像可见度的高对比度灰度级变换。
表3
在一些实施例中,可以利用一系列一维查找表和矩阵变换来执行显示颜色变换230。例如,可以利用将输入代码值变换为对比度增加代码值的一维查找表来执行对比度增加变换。该查找表的实例示出在图6A、图6B和图6C中。图6A示出了对应于表1中的变换1、未提供对比度增加的第一对比度查找表400。图6B示出了对应于表1中的变换2、提供中等对比度增加的第二对比度查找表410。图6C示出了对应于表1中的变换3、提供大的增加的第三对比度查找表420。色度增加变换和灰度级转换变换可以利用如等式(8)和(12)所示的3×3矩阵变换来执行。
在其他实施例中,显示颜色变换230可以利用本领域技术人员所熟知的其它颜色变换类型来执行。例如,显示颜色变换230可以利用三维查找表或者通过直接估算诸如等式(5)中所给出的线性对比度增加函数的数学等式来执行。
在本发明的可选实施例中,可用颜色变换225的集合连续改变由一个或多个变换参数限定的颜色变换的集合,所述变换参数在函数关系上与被特征化的观察环境有关。例如,函数关系可关于用于等式(5)至(7)所限定的对比度变换中的Min和Max参数和用于等式(10)至(11)所限定的色度增加变换中的饱和参数S,而限定为由环境传感器210确定的EV值。如此,当观察眩光增加时,对比度和色度可以连续地增加,以便为预览和查看图像提供提高的可见度。
类似地,调节显示亮度步骤275也可以根据EV值来调节图像显示器32的亮度。图7示出了根据由环境传感器210所确定的EV等级来调节显示亮度的显示亮度调节函数430的实例。在一个实施例中,LCD显示器的显示亮度通过调节显示器背光的占空比来进行调节。
部件列表
2 闪光灯
4 变焦透镜
6 可调孔径和可调快门
8 变焦和聚焦电动机驱动器
10 数字照相机
12 定时发生器
14 图像传感器
16 ASP和A/D转换器
18 缓冲存储器
20 处理器
22 音频编解码器
24 麦克风
26 扬声器
28 固件存储器
30 图像存储器
32 图像显示器
34 用户控制机构
36 显示存储器
38 有线接口
40 计算机
42 辅助传感器
44 视频接口
46 视频显示器
48 接口/充电器
50 无线调制解调器
52 射频带
58 无线网络
70 因特网
72 照片服务提供商
100 颜色传感器数据
105 传感器噪声降低步骤
110 ISO设定
115 反马赛克步骤
120 分辨率模式设定
125 颜色校正步骤
130 颜色模式设定
135 色调比例校正步骤
140 对比度设定
145 图像清晰化步骤
150 清晰化设定
155 图像压缩步骤
160 压缩模式设定
165 文件格式化步骤
170 元数据
175 用户设定
180 数字图像文件
200 捕捉输入数字图像步骤
205 输入数字图像
210 环境传感器
215 特征化观察环境步骤
220 选择显示颜色变换步骤
225 颜色变换
230 显示颜色变换
235 形成预览图像步骤
240 预览图像
245 显示预览图像步骤
248 输出颜色变换
250 处理和压缩数字图像步骤
255 被压缩数字图像
260 存储被压缩数字图像步骤
265 数字图像收集
270 用户可选观察模式
275 调节显示亮度步骤
280 解压缩数字图像步骤
285 被解压缩数字图像
290 形成查看图像步骤
292 查看图像
294 显示查看图像步骤
300 数字照相机
305 图像显示器
310 被显示数字图像
315 图像捕捉按钮
320 辅助环境传感器
325 光源
330 周围光
400 第一对比度查找表
410 第二对比度查找表
420 第三对比度查找表
430 显示亮度调节功能。