CN1756269A

CN1756269A - 配备数字图像采集模块的移动通信终端和采集数字图像的方法

Info

Publication number: CN1756269A
Application number: CNA2005100004037A
Authority: CN
Inventors: 闵东郁
Original assignee: Curitel Communications Inc
Current assignee: Pantech Co Ltd
Priority date: 2004-10-01
Filing date: 2005-01-07
Publication date: 2006-04-05
Also published as: KR20060029476A; KR100706383B1

Abstract

公开了一种配备了数字图像捕获模块的移动通信终端和一种捕获数字图像的方法。所述移动通信终端包括：用于采集数字图像数据的相机模块；用于存储采集的数字图像数据的存储单元；用于显示采集的数字图像数据的显示单元；以及控制单元，用于计算预定时间内采集的帧的平均亮度值，通过对除了具有很大平均亮度偏差的帧之外的所有帧的平均亮度值进行平均而计算图像的亮度值，并且以定期时间间隔发送控制指令到相机模块从而在图像亮度值的基础上控制曝光时间。所述方法包括步骤：将图像采集单元捕获的模拟图像信号转换为数字图像数据；基于数字图像数据计算图像的亮度值；以及根据计算出的亮度值控制图像采集单元的曝光时间。

Description

配备数字图像采集模块的移动通信终端和采集数字图像的方法

相关申请

本申请要求于2004年10月1日在韩国知识产权局提交的韩国专利申请No.2004-78442和2004-78443的优先权，其中公开内容作为参考而完整地结合于此。

技术领域

本发明涉及一种移动通信终端，并且尤其涉及一种具有采集数字图像功能的移动通信终端和一种采集数字图像的方法。

背景技术

一般来说，数码相机将图像采集单元捕捉到的图像信号转化为数字数据，存储该数字数据并且显示所存储的数字数据。所述图像采集单元输出与光学信号或光强成比例的信号，从而目标对象的亮度被反映在采集图像中。当目标对象的亮度过高或过低时，所采集的图像的质量可能会恶化。

为了解决上述问题，数码相机包括附加的检测周围环境亮度的照度传感器。因此，数码相机基于所检测到的亮度而自动调整其光圈，从而改善图像质量。然而，添加附加照度传感器使得配置紧凑型数码相机或者配备数码相机模块的移动通信终端很困难。

发明内容

本发明提供了一种配备数码相机模块的移动通信终端，具有基于目标对象的亮度自动调整采集模式而不使用附件组件的功能，以及一种保持稳定亮度的采集数字图像的方法。

根据本发明一个方面，提供了一种移动通信终端，包括：用于采集数字图像数据的相机模块；用于存储所采集的数字图像数据的存储单元；用于显示所采集的数字图像数据的显示单元；以及控制模块，用于计算在预定时间中采集的帧的平均亮度值，并且对除了具有很大平均亮度偏差的帧之外的所有帧的平均亮度值进行平均而计算图像的亮度值，并且以定期间隔向相机模块发送控制指令用于在图像的亮度值的基础上控制曝光时间。

从控制模块输出的控制指令可以是与每秒帧数关联的数据。

所述移动通信终端可以进一步包括用于处理从相机模块输出的数字图像数据的信号处理模块，将处理后的数字图像数据存储在存储单元中，并且将处理后的或者从存储单元读取的数字图像数据输出到显示单元。

信号处理模块可以进一步包括色彩转换器，用于转换数字图像数据的色彩分量值，并且所述控制模块可以包括：亮度计算器，用于从数字图像数据计算目标对象的亮度值；曝光控制器，用于在亮度计算器计算的亮度值的基础上确定图像采集单元的曝光时间，并且发送曝光时间控制指令到相机模块；以及色彩转换控制器，用于在亮度计算器计算的亮度值的基础上控制色彩转换器的色彩转换方案。

色彩转换器可以根据色彩转换控制器的控制指令选择任何一个转换表，并且以选择的转换表为操作依据，至少对输入信号中的U和V信号进行映射操作。

控制模块可以包括：亮度计算器，用于通过计算预定时间内采集的帧的平均亮度值并且对除了具有很大平均亮度偏差的帧之外的所有帧的平均亮度值进行平均而计算图像的亮度值；以及曝光控制器，用于以定期时间间隔向相机模块发送控制指令从而在图像的亮度值的基础上控制曝光时间。

亮度计算器可以通过对预定时间内除了具有比前一帧平均亮度值高出一个预定值的帧之外的所有帧的平均亮度值进行平均而计算图像的亮度值。

亮度计算器可以通过计算预定时间内采集的帧的平均亮度值的平均值，并且对除了与计算出的帧的平均亮度值的平均值相比较有很大偏差的帧之外的所有帧的平均亮度值进行平均而计算图像的亮度值。

控制模块可以通过串行总线控制相机模块的工作。

根据本发明另一个方面，提供了一种利用图像采集单元捕捉图像的方法，包括步骤：a)将图像采集单元捕获的模拟图像信号转换为数字图像数据；b)根据数字图像数据计算图像的亮度值；以及c)根据计算出的亮度值而控制图像采集单元的曝光时间。

步骤b)可以包括步骤：b1)计算在预定时间内采集的图像帧的平均亮度值；以及b2)并且通过对除了相比于参考值具有很大平均亮度偏差的帧之外的所有帧的平均亮度值进行平均而计算图像的亮度值。

步骤b2)可以包括步骤：通过对预定时间内除了具有比前一帧平均亮度值高出一个预定值的平均亮度值的帧之外的所有帧的平均亮度值进行平均而计算图像的亮度值。

步骤b2)可以包括步骤：计算预定时间内采集的帧的平均亮度值的平均值；以及通过对除了相比于计算出的帧的平均亮度值的平均值有很大偏差的帧之外的所有帧的平均亮度值进行平均而计算图像的亮度值。

所述方法可以进一步包括步骤：d)根据计算出的图像亮度值而对数字图像数据的色彩进行映射操作。

步骤d)可以包括步骤：选择任何一个转换表并且以选择的转换表为操作依据，至少对数字图像数据中的U和V信号进行映射操作。

步骤c)可以包括控制图像采集单元的每秒帧数的步骤。

附图说明

本发明的上述和其他特性和优点可以通过参考附图而对其示例实施例的详细描述而更明白，其中：

图1是显示根据本发明一个实施例的移动通信终端的结构图；以及

图2是显示根据本发明一个实施例的移动通信终端中捕捉图像的方法的流程图。

具体实施方式

现在参考附图对根据本发明的示例实施例进行详细描述。

图1是显示根据本发明一个实施例的移动通信终端的结构图。所述移动通信终端包括用于采集数字图像数据的相机模块500，用于存储数字图像数据的存储单元290，用于显示数字图像数据的显示单元270，以及用于在数字图像数据基础上计算目标对象的亮度值，并且基于计算出的亮度值而输出控制信号以调整相机模块500的曝光时间的控制模块100。显示单元270除了显示数字图像之外还显示菜单和操作状态信息。液晶显示器(LCD)是显示单元270的一个示例。

移动通信终端还包括键盘250，用于从天线上发送的RF信号中提取语音和数据信号的射频(RF)模块230，以及用于通过麦克风或者扬声器把从RF模块230接收的语音通信信号输入/输出的语音输入/输出(I/O)电路210。

包括天线和RF电路的RF模块230与基站进行通信。在本说明书中，RF模块230解释为可用于将来出现的移动通信方案中，以及现有的移动通信方案中的模块，例如CDMA、TDMA、PDC以及GSM。语音I/O电路210将数字语音数据转换为模拟语音信号或者反之而行，并且包括附加电路，例如本领域公知的音频放大器或者滤波器。

RF模块230中的基带处理电路和话机控制模块100被集成到商业可用的单块芯片上，通常称为移动站调制解调器(MSM)芯片。这样的集成电路(IC)芯片包括用于处理通信服务的专用硬件，数字信号处理器，以及通用微处理器。

相机模块500将通过镜头***接收的光学信号转换为电信号，并且输出该电信号。信号处理模块300处理从相机模块500输出的图像信号，并且将处理后的图像信号输出到显示单元270或者将图像信号存储到存储单元290，例如内置或可拆卸flash存储器，或者硬盘。

根据本发明一个优选实施例，控制信号在控制模块100、信号处理模块300以及相机模块500之间通过串行总线交换，所述串行总线在本发明一个实施例中为I²C总线。所述I²C总线也称为“Inter-IC总线”，是由Philips电子公司开发的双线双向的串行总线，提供串行数据线和串行时钟线接口从而在设备之间交换信息。

根据本发明另一个优选实施例，相机模块500包括镜头***590；图像采集单元510；用于将图像采集单元510捕捉的模拟图像信号转换为数字图像数据的转换器530；以及用于根据来自控制模块100的控制指令而输出控制信号到图像采集单元510的图像采集控制器550。镜头***590有一个或多个小型透镜组成，聚焦并提供光线到图像采集单元510。

图像采集单元510，典型地由互补金属氧化半导体(CMOS)或者电荷耦合器件(CCD)图像传感器构成，是用于对每个像素将光信号转换为电信号并且以同步时钟顺序地输出转换后的电信号的公知元件。光电荷充电时间对应于传统胶卷型相机中的胶卷曝光时间。上述光电荷充电时间由图像采集控制器550中产生的时钟的频率和占空比控制。

根据本发明另一个优选实施例，图像采集单元510的曝光时间基于帧速调整。例如，以每秒30帧的帧速输出图像数据的可行的曝光时间比以每秒20帧的帧速输出图像数据的可行曝光时间短。

转换器530将与图像采集单元510输出的图像的亮度成比例的电流或电压信号流转换为数字数据流，该数字数据流随后转换为YUV格式。

图像采集控制器550根据从I²C总线接收到的外部指令而控制相机模块500的总体工作。根据本发明另一个优选实施例，图像采集控制器550根据从控制模块100内包含的曝光控制器150接收到的曝光时间控制指令而通过输出控制信号到图像采集单元510来控制图像采集设备的曝光时间。相机模块500中的图像采集控制器550可以实现为微处理器或者简单数字逻辑电路。图像采集控制器550提供驱动时钟给图像采集设备用于捕获图像数据。图像采集单元510输出的用于控制曝光时间的控制指令可以为所述驱动时钟。例如，图像采集设备中每个像素的光电荷收集时间(即曝光时间)可以由驱动时钟控制。转换器530同步于驱动时钟执行数据转换。

控制模块100包括通信处理器110用于控制语音和数据通信。根据本发明另一个优选实施例，控制模块100包括亮度计算器130和曝光控制器150。

亮度计算器130通过由转换器530转换后的图像数据而计算亮度值。根据本发明另一个优选实施例，目标对象的亮度值是通过对与单帧关联的图像数据的亮度值进行平均而获得的。根据本发明另一个优选实施例，目标对象的亮度值是通过对预定时间间隔内除了具有很大平均亮度偏差的帧之外的帧的平均亮度值进行平均而获得的。上述亮度计算方法将在下面描述。

曝光控制器150在由亮度计算器130计算出的亮度值的基础上确定图像采集单元510的曝光时间，并且输出曝光时间控制指令到图像采集控制器550。

目标对象的亮度值划分为预定数量的组以方便控制。根据本发明一个实施例，假设通过对亮度值进行平均而计算出的目标对象的亮度值表示为“Y”，该亮度值被划分到三个互相之间不同控制的组中。所述三个组如下：

Y：0～34(0～5勒克斯)→黑夜模式，

Y：35～88(6～120勒克斯)→夜晚模式，

Y：89～255(超过120勒克斯)→白昼模式

根据本发明另一个优选实施例，曝光控制器150产生的控制信号为与每秒帧数相关联的数据。更详细地，如果曝光控制器150检测到的“Y”值指示为黑夜模式，曝光控制器150输出控制信号以增加图像采集单元510的曝光时间，由此减少了每秒采集的帧数。因此，每帧的曝光时间增加从而图像采集单元510可以接收足够的光线。

举例来说，在黑夜模式的情况下，帧速减少到每秒10帧以增加曝光时间。在夜晚模式情况下，帧速限制在大约每秒20帧以获得适当的曝光时间。在白昼模式情况下，帧速设定为正常帧速，即每秒30帧。因此，可以确保足够的曝光时间从而即使在光照条件很差时仍能获得优良清晰的图像。

按照这种方式，捕获图像的亮度被检测并且待捕获图像的亮度在所检测的亮度的基础上被控制。因此，曝光时间被自动控制而不需要使用附加照度传感器来检测捕获图像的亮度。

信号处理模块300接收并处理来自相机模块500的YUV格式图像数据并且将经过信号处理后的YUV图像数据存储到存储单元290中。信号处理模块300将经过信号处理后的图像数据直接输出到显示单元270，或者从存储单元290将经过信号处理后的图像数据输出到显示单元270。根据本发明另一个优选实施例，信号处理模块300包括图像处理器321和图像输出单元323。

图像处理器321对接收自转换器530的图像数据进行图像增强处理，压缩并存储该图像数据到存储单元290中或者对存储在存储单元290中的图像数据进行解压缩。

图像输出单元323将图像处理器321或者存储单元290输出的图像数据转换为适合于显示单元270的格式，缓冲并输出转换后的数据。

根据本发明另一个优选实施例，信号处理模块300进一步包括色彩转换器325，并且控制器310进一步包括色彩转换控制器170。色彩转换器325在色彩转换控制器170的控制下对在转换器530中转换为数字图像数据并且从转换器530输出的YUV格式图像数据中的U和V色彩分量进行转换。

色彩转换控制器170根据由亮度计算器130计算的亮度值而控制色彩转换器325的U、V映射操作。通过增加的曝光时间来增加黑暗环境中捕获图像的亮度可能会使图像的色彩质量变坏。根据本发明另一个优选实施例，色彩转换器325具有参考各种模式的最佳U、V转换表，并且使用在色彩转换控制器170的控制下选定的转换表进行U、V数据的映射操作。根据本发明另一个优选实施例，色彩转换控制器170以和曝光控制器150相同的算法工作。在此情况下，色彩转换控制器170和曝光控制器150可以集成到单个单元中。根据本发明另一个优选实施例，色彩转换控制器170可以提供比曝光控制器150更丰富的模式。

转换表可以使用实验方法进行计算。更详细地，转换表通过肉眼观察色彩值而获得，在每种模式的亮度值被校正的同时色彩值也被校正。也就是说，根据本发明的移动通信终端同时控制捕获图像的色彩和亮度以获得合适的亮度和色彩。

图2是显示根据本发明一个实施例的移动通信终端中捕捉图像的方法的流程图。所述方法包括步骤：将图像采集单元510捕获的模拟图像信号转换为数字图像数据(S110和S130)，基于数字图像数据计算所需图像的亮度值(S150、S170、S190和S210)，以及基于所述亮度值控制图像采集单元510的曝光时间(S230和S250)。

图像采集单元510通过镜头***590聚焦，把光信号转换为电模拟图像信号(步骤S110)。所述模拟图像信号经过放大和预滤波处理，然后在转换器530中转换为数字图像数据(步骤S130)。转换后的数字图像数据划分为亮度数据和色差数据，然后以Y、U、V的4∶2∶2的比率转换为YUV信号(步骤S150)。

根据本发明另一个优选实施例，计算所需图像的亮度值的步骤包括步骤：计算在预定时间间隔内每个图像帧的平均亮度值(步骤S170)以及对除了相比于预定参考值具有很大平均亮度偏差的帧之外的所有帧的平均亮度值进行平均(步骤S190和S210)。

因此，可以避免频繁改变图像采集模式，以及避免图像采集模式改变为与真实境况不符。也就是说，在基于输入图像亮度调整曝光时间的情况下，在各个模式之间的边界区域附近可能会从一种模式改变到另一种模式。例如，当根据白昼模式改变到夜晚模式的边界值88处读出的亮度值将模式设置为夜晚模式并且曝光时间随之增加时，输入图像的亮度值被增加，从而模式返回到白昼模式。实验显示边界值在范围为82到88的亮度值中确定。类似地，当在夜晚模式改变到黑夜模式的边界值34处将模式设置为黑夜模式并且曝光时间随之增加时，输入图像的亮度值被增加，从而模式返回到夜晚模式。实验显示边界值在范围为29到34的亮度值中确定。上述模式转换可能由于其他情况而发生。例如，当目标对象很黑时，即使背景明亮，但是模式转换可能由于很低的平均亮度值而频繁发生。另外，当相机焦距迅速改变时，模式改变可能会由于目标对象的偏差而频繁发生。上述模式的频繁转换显著降低了图像质量。下面将描述的根据本发明的图像采集方法可以解决上述问题。

根据本发明另一个优选实施例，亮度计算器130计算预定时间内各帧的平均亮度值，并且对除了与平均后亮度值相比具有很大平均亮度偏差的帧之外的所有帧的平均亮度值进行平均，并确定为图像的亮度。更详细地，亮度计算器130计算与预定时间‘T’(例如1秒)内产生的各个帧(例如30帧)相关联的平均亮度值。T的值通过实验方法计算，是改变图像采集模式的单位时间。帧的平均亮度值通过对组成单帧的所有像素的亮度值进行平均而获得(步骤S170)。对于平均亮度与参考值相比具有很大偏差的亮度值被舍弃(步骤S190)。参考值是通过对预定时间T内产生的帧的平均亮度值进行平均而获得的值。也就是说，显著偏离参考值的值被排除。例如，在夜晚模式的情况下，相对于参考值偏离6或更大的平均亮度值被舍弃。

根据本发明另一个优选实施例，通过对预定时间内除了具有比前一帧平均亮度值高出一个预定值的平均亮度值的帧之外的所有帧的平均亮度值进行平均而确定图像的亮度。更详细地，各帧的平均亮度值被顺序存储。当前帧的平均亮度值与前一帧的平均亮度值相比较。如果两个平均亮度值之间的差异大于等于预定值，当前帧的平均亮度值被舍弃。例如，如果当前模式为夜晚模式，具有相对于前一帧的平均值偏离6或更大的平均亮度值的帧被舍弃。对于预定时间内产生的多个帧(例如每秒30帧)重复上述操作。

随后，计算没有舍弃的各帧的平均亮度值的平均值(步骤S210)。基于计算出的平均值，图片采集模式被确定为白昼模式、夜晚模式和黑夜模式中的一种(步骤S230)。

假设Y₄-Y₃＝8，Y₁₀-Y₉＝11，Y_n+1-Y_n≤6，并且Y＝(Y₁+Y₂+…+Y₃₀)/28＝85(即除了Y₄和Y₁₀值之外的平均值)，控制器将图片采集模式设置为夜晚模式。

在图片采集模式如上所述被确定之后，根据所述图片采集模式调整曝光值(步骤S250)。根据本发明另一个优选实施例，曝光值通过每秒帧数控制。曝光控制器150根据各个图片采集模式确定每秒帧数。例如，黑夜模式中为每秒20帧，夜晚模式中为每秒30帧，白昼模式中为每秒40帧。随后，根据确定的图片采集模式控制色彩值(步骤S270)。通过根据图片采集模式选择映射表并且根据选择的映射表映射U、V值而控制色彩值。

从上面描述可以看到，根据本发明的一种移动通信终端检测捕获图像的亮度值，并且根据检测到的亮度值自动调整曝光值。因此，不需要使用检测捕获图像亮度的附加照度传感器，从而减少了部件，降低了生产成本，并且改善了图像质量。

根据本发明的移动通信终端根据捕获图像的亮度适当地转换捕获图像的色彩。

而且，所述移动通信终端适当地控制图像采集单元的曝光时间，从而保证了稳定的图像质量。

尽管参考示例实施例对本发明进行了描述，但是本领域技术人员应该明白，可以对其进行各种形式上和细节上的改变而不背离由所附权利要求书所限定的本发明的范围。

Claims

1.一种移动通信终端，包括：

相机模块，用于采集数字图像数据；

存储单元，用于存储采集的数字图像数据；

显示单元，用于显示采集的数字图像数据；以及

控制模块，用于计算预定时间内采集的帧的平均亮度值，通过对除了具有很大平均亮度偏差的帧之外的所有帧的平均亮度值进行平均而计算图像的亮度值，并且以定期时间间隔发送控制指令到相机模块用于在所述图像亮度值的基础上控制曝光时间。

2.根据权利要求1所述的移动通信终端，其中所述控制模块输出的控制指令是与每秒帧数相关联的数据。

3.根据权利要求1所述的移动通信终端，其进一步包括信号处理模块，用于处理从所述相机模块输出的数字图像数据，将处理后的数字图像数据存储到所述存储单元中，并且将处理后的或者从所述存储单元读取的数字图像数据输出到所述显示单元。

4.根据权利要求3所述的移动通信终端，

其中所述信号处理模块进一步包括色彩转换器，用于转换数字图像数据的色彩分量值，以及

所述控制模块包括：

亮度计算器，用于从数字图像数据计算目标对象的亮度值；

曝光控制器，用于在所述亮度计算器计算出的亮度值的基础上确定图像采集单元的曝光时间，并且发送曝光时间控制指令到所述相机模块；以及

色彩转换控制器，用于在所述亮度计算器计算出的亮度值的基础上控制所述色彩转换器的色彩转换方案。

5.根据权利要求4所述的移动通信终端，其中所述色彩转换器根据所述色彩转换控制器的控制指令选择任何一个转换表，并且以选择的转换表为操作依据，至少对输入信号中的U和V信号进行映射操作。

6.根据权利要求1所述的移动通信终端，其中所述控制模块包括：

亮度计算器，用于通过计算预定时间内采集的帧的平均亮度值并且对除了具有很大平均亮度偏差的帧之外的所有帧的平均亮度值进行平均而计算图像的亮度值；以及

曝光控制器，用于以定期间隔发送控制指令到所述相机模块从而在所述图像亮度值的基础上控制曝光时间。

7.根据权利要求6所述的移动通信终端，其中所述亮度计算器通过对预定时间内除了具有比前一帧的平均亮度值高出一个预定值的帧之外的所有帧的平均亮度值进行平均而计算图像的亮度值。

8.根据权利要求7所述的移动通信终端，其进一步包括信号处理模块，用于处理从所述相机模块输出的数字图像数据，将处理后的数字图像数据存储到所述存储单元，并且将处理后的或者从所述存储单元读取的数字图像数据输出到所述显示单元。

9.根据权利要求8所述的移动通信终端，

所述控制模块包括：

亮度计算器，用于从数字图像数据计算目标对象的亮度值；

10.根据权利要求9所述的移动通信终端，其中所述色彩转换器根据所述色彩转换控制器的控制指令选择任何一个转换表，并且以选择的转换表为操作依据，至少对输入信号中的U和V信号进行映射操作。

11.根据权利要求6所述的移动通信终端，其中所述亮度计算器通过计算预定时间内采集的帧的平均亮度值的平均值，并且对除了与计算出的所有帧的平均亮度值的平均值相比有很大偏差的帧之外的所有帧的平均亮度值进行平均而计算图像的亮度值。

12.根据权利要求6所述的移动通信终端，其中所述控制模块使用串行总线控制所述相机模块的工作。

13.一种使用图像采集单元捕捉图像的方法，包括步骤：

a)将所述图像采集单元捕捉的模拟图像信号转换为数字图像数据；

b)基于所述数字图像数据计算图像的亮度值；以及

c)根据计算出的亮度值控制所述图像采集单元的曝光时间。

14.根据权利要求13所述的方法，其中所述步骤b)包括步骤：

b1)计算预定时间内采集的图像帧的平均亮度值；以及

b2)通过对除了与参考值相比具有很大平均亮度偏差的帧之外的所有帧的平均亮度值进行平均而计算图像的亮度值。

15.根据权利要求14所述的方法，其中所述步骤b2)包括通过对预定时间内除了具有比前一帧的平均亮度值高出一个预定值的帧之外的所有帧的平均亮度值进行平均而计算图像的亮度值的步骤。

16.根据权利要求14所述的方法，其中所述步骤b2)包括步骤：

计算预定时间内采集的帧的平均亮度值的平均值；以及

通过对除了与计算出的所有帧的平均亮度值的平均值相比有很大偏差的帧之外的所有帧的平均亮度值进行平均而计算图像的亮度值。

17.根据权利要求14所述的方法，其进一步包括步骤d)根据计算出的图像亮度值进行数字图像数据的色彩映射操作。

18.根据权利要求17所述的方法，其中所述步骤d)包括选择任何一个转换表并且以选择的转换表为操作依据，至少对数字图像数据中的U和V信号进行映射操作的步骤。

19.根据权利要求17所述的方法，其中所述步骤c)包括控制所述图像采集单元的每秒帧数的步骤。

20.根据权利要求18所述的方法，其中所述步骤c)包括控制所述图像采集单元的每秒帧数的步骤。