CN101326816B - 摄像设备和电子变焦方法 - Google Patents

摄像设备和电子变焦方法 Download PDF

Info

Publication number
CN101326816B
CN101326816B CN2007800005925A CN200780000592A CN101326816B CN 101326816 B CN101326816 B CN 101326816B CN 2007800005925 A CN2007800005925 A CN 2007800005925A CN 200780000592 A CN200780000592 A CN 200780000592A CN 101326816 B CN101326816 B CN 101326816B
Authority
CN
China
Prior art keywords
magnification ratio
electronic zoom
zoom magnification
picture
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800005925A
Other languages
English (en)
Other versions
CN101326816A (zh
Inventor
黑泽和幸
中山仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN101326816A publication Critical patent/CN101326816A/zh
Application granted granted Critical
Publication of CN101326816B publication Critical patent/CN101326816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

基于电子变焦放大率将所拍摄图像信号的读取模式选择性地设定为“3×3像素相加模式”、“2×2像素相加模式”或“全部像素模式”中的一个，以便执行电子变焦处理，并获得具有适合于该电子变焦放大率的像素数(像素尺寸)的图像信号。在比切换读取模式的边界放大率更低和更高的两个预设变焦放大率范围中执行锐化处理和柔化处理。两个处理的处理程度在边界放大率上达到最大值。即使当在两个预设变焦放大率范围中，在直接从所拍摄图像信号获得的图像的图像质量变化时，在两个变焦放大率范围中低于边界放大率且与其紧邻的范围中所获得的图像质量可以被设定为更接近于在两个变焦放大率范围中高于边界放大率且与其紧邻的范围中所获得的图像质量，无需考虑电子变焦放大率的变化方向，且不会引起不自然的感觉。

Description

摄像设备和电子变焦方法
技术领域
本发明涉及一种摄像设备和电子变焦方法，其能够用于具有电子变焦功能的数码相机。
背景技术
传统上，具有电子变焦功能的摄像设备，例如数码相机，具有以下技术，用于获取与变焦放大率相对应的区域的局部图像。为了从图像传感器(例如电荷耦合器件(CCD))中读出图像信号，除了正常读取模式之外，还预备了像素稀疏(pixel-thinning)模式和像素相加(pixel-addition)模式作为读取模式。在像素相加模式中，用于像素相加的像素数是变化的。通过依据电子变焦放大率对读取模式进行切换来获得包含与变焦放大率相对应的像素数(像素尺寸)的图像信号。从基于所获得的图像信号的图像中提取预设区域的局部图像。随后，将所提取的图像按比例调整。例如在日本专利申请公开特许公报No.2004-172845、日本专利申请公开特许公报No.2005-191867、日本专利申请公开特许公报No.2004-72278、日本专利申请公开特许公报No.2004-96611中说明了用于获取与变焦放大率的设定相对应的区域的局部图像的技术。
然而，在切换读取模式时，图像质量不连续地变化。图像质量的变化是由以下因素引起的：例如，用于像素相加的像素数的变化、像素稀疏率的变化、或者放大率或缩小率的变化。因此，在提取和按比例调整处理之后的图像质量在切换读取模式的变焦放大率处变化很大。
发明内容
本发明的一个目的是提供一种摄像设备和电子变焦方法，用于通过在改变变焦放大率的同时消除在图像质量上的较大变化，来改进电子变焦质量。
根据本发明的一个实施例，一种摄像设备，包括：
图像拍摄装置，用于输出包含多个像素的所拍摄图像信号；
放大率设定装置，用于设定电子变焦放大率；
模式设定装置，用于根据所述电子变焦放大率，设定多个读取模式中的一个，所述多个读取模式在包含在所述所拍摄图像信号中的像素数量上有所不同；
电子变焦装置，用于基于所述电子变焦放大率，对所述所拍摄图像信号执行电子变焦处理；以及
图像质量调整装置，用于在由所述模式设定装置设定了所述多个读取模式中的一个时，基于所述电子变焦放大率，对所述所拍摄图像信号执行图像质量调整。
根据本发明的另一个实施例，一种电子变焦方法，用于包含图像拍摄装置的摄像设备，所述图像拍摄装置输出包含多个像素的所拍摄图像信号，所述方法包括：
设定电子变焦放大率；
根据所述电子变焦放大率，设定多个读取模式中的一个，所述多个读取模式在包含在所述所拍摄图像信号中的像素数量上有所不同；
基于所述电子变焦放大率，对所述所拍摄图像信号执行电子变焦处理；以及
在设定了所述多个读取模式中的一个时，基于所述电子变焦放大率，对所述所拍摄图像信号执行图像质量调整。
根据本发明的另一个实施例，一种计算机程序，用于包含图像拍摄装置的摄像设备，所述图像拍摄装置输出包含多个像素的所拍摄图像信号，所述计算机程序包括：
第一计算机可读取程序装置，用于设定电子变焦放大率；
第二计算机可读取程序装置，用于根据所述电子变焦放大率，设定多个读取模式中的一个，所述多个读取模式在包含在所述所拍摄图像信号中的像素数量上有所不同；
第三计算机可读取程序装置，用于基于所述电子变焦放大率，对所述所拍摄图像信号执行电子变焦处理；以及
第四计算机可读取程序装置，用于在设定了所述多个读取模式中的一个时，基于所述电子变焦放大率，对所述所拍摄图像信号执行图像质量调整。
附图说明
附图包含在说明书中并组成了说明书一部分，示出了本发明的多个实施例，并与以上给出的概述和以下给出的对实施例的详细说明一起用来解释本发明的原理，其中：
图1是示出根据本发明实施例的数码相机的电子结构的框图；
图2是示出用于在运动图像拍摄模式中的电子变焦控制处理的设定表的概念图；
图3A和3B是示出CCD图像传感器中2×2像素相加模式的图像信号读取方法的示意图；
图4A和4B是示出CCD图像传感器中3×3像素相加模式的图像信号读取方法的示意图；
图5A是部分示出由在2×2像素相加模式中读出的图像信号构成的拜耳(Bayer)数据的概念图；
图5B是部分示出由在3×3像素相加模式中读出的图像信号构成的拜耳数据的概念图；
图6是由CPU13执行的电子变焦控制处理的流程图；
图7是示出在运动图像拍摄模式的电子变焦控制处理中存储图像的实例的视图；
图8是示出在切换读取模式处的变焦放大率附近的图像的模糊程度的图；
图9A和9B是用于示意性示出在切换读取模式处的变焦放大率附近的图像质量变化的抑制效果的视图；
图10是示出运动图像拍摄模式的电子变焦控制处理中存储图像的另一个实例的视图；
图11是示出运动图像拍摄模式的电子变焦控制处理中存储图像的再另一个实例的视图；以及
图12A和12B是分别示出在锐化处理(图12A)和柔化处理(图12B)的程度上的变化的图。
具体实施方式
现在将参考附图来说明根据本发明的摄像设备的一个实施例。图1是根据本实施例的数码相机的示意性框图。数码相机具有静态图像拍摄功能和运动图像拍摄功能。以下是数码相机的结构。
数码相机包括相机机身1和存储介质20。存储介质20是可移动存储器，连接到相机机身1。相机机身1包括光学***2和CCD图像传感器3。光学***2配备了变焦透镜和聚焦透镜。CCD图像传感器3充当图像拍摄元件。时序发生器7在CPU13的控制下产生水平和垂直驱动信号。响应于所产生的驱动信号对CCD图像传感器3进行驱动，其对物体的光学图像执行光电转换，并输出转换后的图像信号。在本实施例中，CCD图像传感器3的有效像素数被设定为2,880×2,160(水平×垂直)。此外，作为CCD图像传感器3的驱动模式，即作为从CCD图像传感器3读取图像信号的读取模式，预备了三类读取模式，例如“全部像素模式”、“2×2像素相加模式”和“3×3像素相加模式”(稍后说明)。
相关双采样(CDS)电路4对从CCD图像传感器3输出的图像信号执行相关双采样处理。模数转换电路5将由CDS电路4所处理的图像数据转换为数字图像信号。数字图像信号被传递给数字信号处理器(DSP)6。DSP6执行对数字图像信号执行图像处理，例如消隐脉冲钳位(pedestal clamp)处理。DSP6中的亮度/色差矩阵电路通过YUV转换将数字图像信号转换为亮度(Y)信号和色差(UV)信号。
而且，DSP6在CPU13的控制下执行多种图像处理，例如自动白平衡处理。具体而言，当运行电子变焦功能时，DSP6充当根据本实施例的图像质量调整器，并按照需要执行锐化处理(第一图像质量调整)或柔化处理(第二图像质量调整)。锐化处理是用于对图像中相对于相邻像素在颜色或亮度上存在很大差别(等级差别)的部分(例如边缘或轮廓线)进行加重的处理。柔化处理是用于通过减小图像中具有较大差别的部分上的颜色和亮度中的变化(等级差别)来减小图像对比度的处理。锐化和柔化处理都在像素单元中执行，该单元包含预设数量的像素。依据在目标像素与相邻像素之间亮度值的差值，通过增大或减小像素单元中的目标像素的亮度值来执行锐化或柔化处理。
从DSP6输出的YUV数据的每一帧都经由数据总线21传递，并随后存储在内部存储器14中，例如同步动态随机存取存储器(SDRAM)。存储在内部存储器14中的YUV数据帧可以由CPU13读出。在读出YUV数据时，如果有必要，就通过仅从YUV数据中提取与预设图像区域相对应的数据来执行提取处理。
根据预设图像尺寸，从内部存储器14读出的YUV数据按需要在缩放电路8中依比例缩放。显示控制器11将缩放后的YUV数据转换为视频信号。液晶显示器(LCD)12将视频信号显示为过程图像(through image)。
在缩放电路8中的放大或缩小图像尺寸的缩放处理是基于预设缩放算法而执行的，例如几何内插法(如零阶内插、一阶内插、三阶内插或射影法)。
在静态图像拍摄模式中，数据压缩/解压模块9基于JPEG格式等，压缩和编码从内部存储器14读出的YUV数据帧。压缩的YUV数据在内部存储器14中转换为文件格式。该文件格式的数据通过介质控制器10作为静态图像数据(静态图像文件)存储在存储介质20中。在运动图像拍摄模式中，将YUV数据帧顺序地提供给数据压缩/解压模块9，由预设运动图像记录格式(例如运动-JPEG或MPEG)的编解码器进行压缩和编码。最后，YUV数据帧通过介质控制器10传递给存储介质20，存储为运动图像文件。
在回放模式中，数据压缩/解压模块9对从存储介质20读出的静态图像或运动图像的数据进行解压。解压的数据在内部存储器14中的用于图像数据的工作区中展开，作为静态图像数据或运动图像帧数据。
麦克风16容纳在相机机身1中。在拍摄带有音频输入的运动图像时，麦克风16拾取音频输入。音频处理模块15将该音频输入转换为数字信号。数字化的音频信号被压缩并且作为音频数据发送至内部存储器14。发送至内部存储器14的音频数据与运动图像文件一起存储在存储介质20中。而且，在播放该运动图像时，音频处理模块15解码从内部存储器14发送的音频数据，并将解码后的音频数据转换为模拟音频信号。将该模拟音频信号从容纳在相机机身1中的内部扬声器17输出。
按键输入模块18包括操作键，例如电源键、模式切换键、菜单键、快门键和变焦键。模式切换键用于在静态图像拍摄模式、运动图像拍摄模式和回放模式之间进行模式切换。按键输入模块18向CPU13输出与用户的按键操作相对应的按键输入信号。当拍摄运动图像时，快门键还起到记录开始/结束按钮的作用。
由透镜驱动器22根据来自CPU13的指令产生透镜驱动信号。根据所产生的驱动信号来驱动光学***2中的聚焦透镜和变焦透镜。基于CPU13的自动聚焦(AF)控制来将聚焦透镜驱动到聚焦位置。变焦透镜被驱动到与用户的变焦键操作相对应的变焦位置。
以上的模块由CPU13控制。CPU13控制以上模块所需的程序和各种数据存储在程序存储器19中。程序存储器19是可重写非易失性存储器，例如电可擦除可编程只读存储器(EEPROM)或闪存。程序存储器19存储与由用户进行设定或更新的、与数码相机的***或功能有关的另一个设定数据。CPU13基于程序和按键输入信号，控制以上模块。
而且，程序存储器19存储配置为如图2所示的设定表100的数据。设定表100用于电子变焦控制处理。为各个期望图像尺寸预备了多个设定表100。即，为运动图像拍摄模式中多种可记录尺寸分别预备了设定表100。而且，为LCD12能够在运动图像拍摄模式中或静态图像拍摄模式的待机状态中显示为过程图像的多种图像尺寸，分别预备了设定表100。
每个设定表100都包括电子变焦放大率(无需光学变焦而实现的变焦放大率)100a，和与该变焦放大率相对应的设定项目，例如读取模式100b，提取尺寸100c，缩放系数100d以及图像质量调整100e。
当选择了其中一个期望图像尺寸时，根据所选的期望图像尺寸读出一个设定表100。当用户设定了电子变焦放大率时，CPU13从所读出的设定表100中检测与所设定的电子变焦放大率100a相对应的项目100b到100e的设定数据。CPU13基于检测到的设定数据，执行电子变焦控制处理。
当检测到且设定了与电子变焦放大率100a相对应的读取模式(CCD图像传感器3的驱动模式)100b的设定数据时，就采用所设定的读取模式100b驱动CCD图像传感器3，并从CCD图像传感器3读出图像信号(拜耳数据)。从基于所读出图像信号的图像中，提取与提取尺寸100c的设定数据相对应的区域的局部图像。依据缩放系数(放大率或缩小率)100d的设定数据来按比例缩放所提取的图像，以提供具有所需像素数的图像。在图像质量调整100e的设定数据的基础上，执行图像质量调整处理。以水平和垂直方向上的像素数来表示提取尺寸，该像素数是通过将基于图像信号的图像的水平和垂直方向上的像素数乘以电子变焦放大率的倒数而获得的。
当期望图像尺寸是640×480像素时，使用图2所示的设定表100。多级电子变焦放大率被设定于1×到4.5×之间。4.5×的电子变焦放大率是不引起图像质量恶化的最大放大率。
读取模式100b可以设定为三类读取模式，包括全部像素模式、2×2像素相加模式、以及3×3像素相加模式。3×3像素相加模式被设定在1×到1.5×电子变焦放大率之间，2×2像素相加模式被设定在1.5×到2.25×之间，全部像素模式被设定在2.25×到4.5×之间。
在所述全部像素模式中，利用普通帧读取处理从CCD图像传感器3中读出全部有效像素的信号电荷。在所述2×2像素相加模式中，在水平和垂直方向上的两个像素用于像素相加，且将来自这四个像素的信号电荷相加，作为与一个像素相对应的信号输出。在所述3×3像素相加模式中，在水平和垂直方向上的三个像素用于像素相加，且将来自这9个像素的信号电荷读出，作为与一个像素相对应的信号。
以下将说明在2×2像素相加模式和3×3像素相加模式中的图像信号读取方法。图3A、3B、4A和4B是CCD图像传感器3的示意图。
如图所示，CCD图像传感器3包括用作像素的大量光接收元件(由图中的R、G、B表明)、垂直转移单元33、水平转移单元31和输出电路32。垂直转移单元33由CCD的垂直列构成，并垂直转移来自像素(光接收元件)的信号电荷。水平转移单元31由CCD的水平行构成，并水平转移从垂直转移单元33输出的信号电荷。
在2×2像素相加模式的第一场(field)(奇数场)中，如图3A所示，将从奇数行上的像素提取的信号电荷转移到垂直转移单元33。在垂直转移单元33中执行垂直相加，以使得来自两个像素的信号电荷被加在一起。这两个像素位于一列中相邻的奇数行上。就是说，将来自一列中相同颜色分量的两个像素的信号电荷垂直加在一起，以产生垂直相加信号。通过垂直转移单元33将垂直相加信号垂直转移到水平转移单元31。
在水平转移单元31中，将垂直相加信号加在一起(水平相加)。对从每隔一个垂直转移单元33(例如奇数列或偶数列)所发送的相同颜色分量的垂直相加信号执行水平相加。由水平相加构成的2×2像素相加信号从输出电路32输出。
对剩余的列和奇数行顺序地执行垂直和水平相加。
在2×2像素相加模式的第二场(偶数场)中，如图3B所示，将从偶数行上的像素提取的信号电荷转移到垂直转移单元33。在垂直转移单元33中执行垂直相加，以使得来自两个像素的信号电荷被加在一起。这两个像素位于一列中相邻的偶数行上。就是说，将来自相同颜色分量的两个像素的信号电荷垂直加在一起，以产生垂直相加信号。通过垂直转移单元33将垂直相加信号发送到水平转移单元31。
在水平转移单元31中，将垂直相加信号加在一起(水平相加)。对在从每隔一个垂直转移单元33(例如奇数列或偶数列)所发送的相同颜色分量的垂直相加信号执行水平相加。由水平相加构成的2×2像素相加信号从输出电路32输出。
对剩余的列和偶数行顺序地执行垂直和水平相加。将由垂直和水平相加构成的信号从输出电路32顺序输出。
图3A和3B是示出CCD图像传感器3的局部结构的示意图。由r1到r4表示的行是四个相邻的行。注意行r1和r3是奇数行。由c1到c4表示的列是任意选择的四个相邻的列。
在图3A所示的奇数场中，对在奇数行r1和r3中的红色分量的信号电荷，按如下执行垂直相加：
将位于(r1，c1)和(r3，c1)的像素的信号电荷加在一起，以产生垂直相加信号R1；以及
将位于(r1，c3)和(r3，c3)的像素的信号电荷加在一起，以产生垂直相加信号R3。
将垂直相加信号R1和R3发送到水平转移单元31。信号R得自于R1和R3的水平相加。将信号R从输出电路32输出。
对在奇数行r1和r3中的绿色分量的信号电荷，按如下执行垂直相加：
将位于(r1，c2)和(r3，c2)的像素的信号电荷加在一起，以产生垂直相加信号G2；并且
将位于(r1，c4)和(r3，c4)的像素的信号电荷加在一起，以产生垂直相加信号G4。
将垂直相加信号G2和G4加在一起(水平相加)，以产生信号G。将信号G从输出电路32输出。
类似的，对于剩余奇数行和列执行垂直和水平相加。将垂直和水平相加的结果从输出电路32输出。
在图3B所示的偶数场中，对在偶数行r2和r4中的绿色分量的信号电荷，按如下执行垂直相加：
将位于(r2，c1)和(r4，c1)的像素的信号电荷加在一起，以产生垂直相加信号G1；并且
将位于(r2，c3)和(r4，c3)的像素的信号电荷加在一起，以产生垂直相加信号G3。
将垂直相加信号G1和G3发送到水平转移单元31。由G1和G3的水平相加获得信号G’。将信号G’从输出电路32输出。
对在偶数行r2和r4中的蓝色分量的信号电荷，按如下执行垂直相加：
将位于(r2，c2)和(r4，c2)的像素的信号电荷加在一起，以产生垂直相加信号B2；并且
将位于(r2，c4)和(r4，c4)的像素的信号电荷加在一起，以产生垂直相加信号B4。
将垂直相加信号B2和B4加在一起(水平相加)，以产生信号B。将信号B从输出电路32输出。
对在剩余偶数行和列中的像素的信号电荷顺序地执行垂直和水平相加。将从垂直和水平相加产生的信号从输出电路32顺序输出。
图5A是示出采用2×2像素相加模式从4×4像素空间中读出的拜耳数据的概念图。
通过对从位于(r1，c1)、(r1，c3)、(r3，c1)和(r3，c3)的红色分量像素所提取的信号电荷的垂直和水平相加，来获得信号R。将信号R作为与位于(r2，c2)的像素相对应的信号而读出。
类似的，从位于(r1，c2)、(r1，c4)、(r3，c2)和(r3，c4)的绿色分量像素的信号电荷获得信号G。将信号G作为与位于(r2，c3)的像素相对应的信号而读出。
信号G’得自于位于(r2，c1)、(r2，c3)、(r4，c1)和(r4，c3)的绿色分量像素的信号电荷。将信号G’作为与位于(r3，c2)的像素相对应的信号而读出。
从位于(r2，c2)、(r2，c4)、(r4，c2)和(r4，c4)的蓝色分量像素的信号电荷获得信号B。将信号B作为与位于(r3，c3)的像素相对应的信号而读出。
如上所述，通过将水平和垂直方向中的像素数减半，来从4×4像素数据产生2×2像素的拜耳数据。拜耳数据包含4×4像素数据的信息。
当像素数增加时，以2×2像素相加模式读出所拍摄图像信号，能够类似地减小像素数。
在CCD图像传感器3的有效像素数是2880×2160像素，且以2×2像素相加模式读出所拍摄图像数据的情况下，获得1440×1080像素的拜耳数据。
在3×3像素相加模式的第一场(奇数场)中，如图4A所示，将从奇数行上的像素提取的信号电荷转移到垂直转移单元33。在垂直转移单元33中执行垂直相加，以使得来自三个像素的信号电荷被加在一起。这三个像素位于三个相邻的奇数行上。就是说，将来自一列中相同颜色分量的三个像素的信号电荷垂直加在一起，以产生垂直相加信号。通过垂直转移单元33将垂直相加信号垂直转移到水平转移单元31。
在水平转移单元31中，将垂直相加信号加在一起(水平相加)。对从每隔一个垂直转移单元33(例如奇数列或偶数列)所发送的相同颜色分量的垂直相加信号执行水平相加。由水平相加构成的3×3像素相加信号从输出电路32输出。
对剩余的列和奇数行顺序地执行垂直和水平相加。将垂直和水平相加的结果从输出电路32顺序输出。
在3×3像素相加模式的第二场(偶数场)中，如图4B所示，将从偶数行上的像素提取的信号电荷转移到垂直转移单元33。在垂直转移单元33中执行垂直相加，以使得来自三个像素的信号电荷被加在一起。这三个像素位于一列中相邻的偶数行上。就是说，将来自相同颜色分量的三个像素的信号电荷垂直加在一起，以产生垂直相加信号。通过垂直转移单元33将垂直相加信号发送到水平转移单元31。
在水平转移单元31中，将垂直相加信号加在一起(水平相加)。对从每隔一个垂直转移单元33(例如奇数列或偶数列)所发送的相同颜色分量的垂直相加信号执行水平相加。由水平相加构成的3×3像素相加信号从输出电路32输出。
图4A和4B是示出CCD图像传感器3的局部结构的示意图。由r1到r6表示的行是6个相邻的行。注意行r1、r3和r5是奇数行。由c1到c6表示的列是任意选择的6个相邻的列。
在图4A所示的奇数场中，对在奇数行r1、r3和r5中的红色分量的信号电荷，按如下执行垂直相加：
将位于(r1，c1)、(r3，c1)和(r5，c1)的像素的信号电荷加在一起，以产生垂直相加信号R1；
将位于(r1，c3)、(r3，c3)和(r5，c3)的像素的信号电荷加在一起，以产生垂直相加信号R3；并且
将位于(r1，c5)、(r3，c5)和(r5，c5)的像素的信号电荷加在一起，以产生垂直相加信号R5。
将垂直相加信号R1、R3和R5发送到水平转移单元31。信号R得自于R1、R3和R5的水平相加。信号R从输出电路32输出。
对在奇数行r1、r3和r5中的绿色分量的信号电荷，按如下执行垂直相加：
将位于(r1，c2)、(r3，c2)和(r5，c2)的像素的信号电荷加在一起，以产生垂直相加信号G2；
将位于(r1，c4)、(r3，c4)和(r5，c4)的像素的信号电荷加在一起，以产生垂直相加信号G4；并且
将位于(r1，c6)、(r3，c6)和(r5，c6)的像素的信号电荷加在一起，以产生垂直相加信号G6。
将垂直相加信号G2、G4和G6加在一起(水平相加)，以产生信号G。信号G从输出电路32输出。
类似的，对于剩余的奇数行和列顺序地执行垂直和水平相加。垂直和水平相加的结果从输出电路32输出。
在图4B中所示的偶数场中，对在偶数行r2、r4和r6中绿色分量的信号电荷，按如下执行垂直相加：
将位于(r2，c1)、(r4，c1)和(r6，c1)的像素的信号电荷加在一起，以产生垂直相加信号G1；
将位于(r2，c3)、(r4，c3)和(r6，c3)的像素的信号电荷加在一起，以产生垂直相加信号G3；及
将位于(r2，c5)、(r4，c5)和(r6，c5)的像素的信号电荷加在一起，以产生垂直相加信号G5。
将垂直相加信号G1、G3和G5发送到水平转移单元31。由G1、G3和G5的水平相加获得信号G’。信号G’从输出电路32输出。
对在偶数行r2、r4和r6中的蓝色分量的信号电荷，按如下执行垂直相加：
将位于(r2，c2)、(r4，c2)和(r6，c2)的像素的信号电荷加在一起，以产生垂直相加信号B2；
将位于(r2，c4)、(r4，c4)和(r6，c4)的像素的信号电荷加在一起，以产生垂直相加信号B4；并且
将位于(r2，c6)、(r4，c6)和(r6，c6)的像素的信号电荷加在一起，以产生垂直相加信号B6。
将垂直相加信号B2、B4和B6加在一起(水平相加)，以产生信号B。信号B从输出电路32输出。
对在剩余偶数行和列中的像素的信号电荷顺序地执行垂直和水平相加。将由垂直和水平相加产生的信号顺序地从输出电路32输出。
图5B是示出以3×3像素相加模式从6×6像素空间中读出的拜耳数据的概念图。
通过对从位于(r1，c1)、(r1，c3)、(r1，c5)、(r3，c1)、(r3，c3)、(r3，c5)、(r5，c1)、(r5，c3)和(r5，c5)的红色分量像素所提取的信号电荷的垂直和水平相加，来获得信号R。将信号R作为与位于(r3，c3)的像素相对应的信号而读出。即，以3×3像素相加模式将来自9个像素的信号电荷作为与一个像素相对应的信号而读出。
因此，通过将6×6像素数据的像素数在水平和垂直上减小到三分之一，能够获得2×2像素的拜耳数据。
当像素数增加时，以3×3像素相加模式读出所拍摄图像信号，能够类似地减小像素数。
在CCD图像传感器3的有效像素数是2880×2160像素，且以3×3像素相加模式读出所拍摄图像数据的情况下，能够获得960×720像素的拜耳数据。
在以2×2像素相加模式和3×3像素相加模式读出图像信号时，可以采用另一种特定方式。
在设定表100中的图像质量调整100e存储了与变焦放大率相对应的锐化或柔化处理的程度。在与图2所示的640×480像素的期望图像尺寸相对应的设定表100中，电子变焦放大率100a的值从1×到4.5×变动(放大)。在1.5×的电子变焦放大率(边界放大率)上，图像信号的读取模式从3×3像素相加模式切换到2×2像素相加模式。在2.25×的边界放大率上，读取模式从2×2像素相加模式切换到全部像素模式。在低于边界放大率的预设放大率范围中，执行锐化处理。锐化处理的程度随变焦放大率而逐渐增大。在边界放大率上，锐化处理的程度达到最大值。当变焦放大率达到边界放大率时，图像质量调整从锐化处理切换到柔化处理。在高于边界放大率的预设放大范围中执行柔化处理。柔化处理的程度在边界放大率上设定为最大值。而且由柔化处理所产生的在边界放大率上的图像质量(模糊程度)应等于由锐化处理所造成的在边界放大率上的图像质量(模糊程度)。柔化处理的程度随着变焦放大率的增大而逐渐减小。
接下来，将解释具有以上根据本实施例的结构的数码相机的操作。图6是示出在运动或静态图像拍摄模式中由CPU13所执行的电子变焦控制处理的流程图。当电子变焦放大率被设定在电子变焦范围之内时，执行该电子变焦控制处理。所述电子变焦范围指示高于仅通过驱动光学***2的变焦透镜所能够实现的最大光学变焦放大率的放大率范围。当用户操作变焦键(在步骤S1为“YES”)，CPU13改变电子变焦放大率的设定(步骤S2)。
通过参考与预先准备的期望图像尺寸相对应设定表100(图2)，依据变化后的电子变焦放大率，读出各个设定项目100b到100e的设定值(设定内容)(步骤S3)。
基于所读出的设定值执行以下处理。
基于读取模式100b的设定值来切换从CCD图像传感器3读取所拍摄图像信号(拜耳数据)的读取模式(步骤S4)。
依据图像质量调整100e的设定，通过锐化处理或柔化处理来调整所拍摄图像数据的图像质量(步骤S5)。
从经过图像质量调整的图像数据中提取与提取尺寸100c的设定相对应的区域(步骤S6)。步骤S6的提取处理被称为“修整(trimming)”。
缩放电路8依据缩放系数100d的设定，放大或缩小所提取的图像区域(步骤S7)。
借助于以上的电子变焦控制处理能够获得期望图像尺寸的图像数据。
此后，每次操作变焦键时，即每次改变电子变焦放大率时，就重复执行步骤S2到S7的处理。另外，当电子变焦放大率保持不变时，设定项目100b到100e的设定值保持与未改变的电子变焦放大率相对应的设定。对运动图像或过程图像重复执行基于设定值的处理。
(1)期望图像尺寸是“640×480”像素的情况：
图7是示出基于图2所示的设定表100的电子变焦控制处理的具体内容的视图。图2所示的设定表100与640×480像素的期望图像尺寸相对应。在本实例中，假定用户在运动图像拍摄模式中将电子变焦放大率从1×改变为4.5×(最大放大率)。
当电子变焦放大率被初始设定为1×时，图像信号的读取模式被设定为3×3像素相加模式。包含在所拍摄图像数据的一个帧中的像素数被设定为“960×720”，用于在内部存储器14中的存储。将960×720像素的YUV数据按比例缩放，变为具有期望图像尺寸(640×480像素)的存储图像(帧图像)。
在1×到1.5×(边界放大率)的电子变焦放大率范围内，响应于电子变焦放大率的增大(放大)，随着从YUV数据进行提取的提取尺寸逐渐减小，缩放系数逐渐增大(缩小率的逐渐减小)。通过执行提取处理和缩小处理能够获得640×480像素的期望图像尺寸。
当从以3×3像素相加模式读出的960×720像素的所拍摄图像数据中提取640×480像素的区域时，所提取的区域与1.5×电子变焦放大率的图像相对应。在1.5×的电子变焦放大率上，缩小处理不是必需的。1.5×的电子变焦放大率被设定为边界放大率。由于在1.5×的电子变焦放大率上的缩放系数是100％，因此能够仅通过执行提取处理来获得640×480像素的期望图像尺寸。
当电子变焦放大率达到1.5×(边界放大率)时，图像信号的读取模式被切换到2×2像素相加模式。包含在所拍摄图像数据的一个帧中的像素数被设定为“1440×1080”，用于在内部存储器14中的存储。
在1.5×到2.25×的电子变焦放大率范围内，响应于电子变焦放大率的增大，随着从YUV数据进行提取的提取尺寸逐渐减小，缩放系数逐渐增大(缩小率的逐渐减小)。通过执行提取处理和缩小处理能够获得具有640×480像素的期望图像尺寸的存储图像。
当从以2×2像素相加模式读出的1440×1080像素的所拍摄图像数据中提取640×480像素的区域时，所提取的区域与没有进行缩小处理的2.25×电子变焦放大率的图像相对应。2.25×的电子放大率被设定为边界放大率。由于在2.25×的电子变焦放大率上的缩放系数是100％，因此能够仅通过执行提取处理来获得640×480像素的期望图像尺寸。
当电子变焦放大率达到2.25×(边界放大率)时，图像信号的读取模式被切换到全部像素模式。包含在所拍摄图像数据的一个帧中的像素数被设定为“2880×2160”，用于在内部存储器14中的存储。
在2.25×到4.5×的电子变焦放大率范围内，响应于电子变焦放大率的增大，随着从YUV数据进行提取的提取尺寸逐渐减小，缩放系数逐渐增大(缩小率的逐渐减小)。通过执行提取处理和缩小处理能够获得具有640×480像素的期望图像尺寸的存储图像。由于在4.5×的电子变焦放大率(即最大放大率)上的缩放系数是100％，因此能够无需缩放处理而仅通过执行提取处理来获得640×480像素的期望图像尺寸。
此外，与以上提取处理和缩小处理并行地执行锐化处理或柔化处理，作为图像质量调整。
当电子变焦放大率被增大时(放大)，图像质量调整的内容在边界放大率(1.5×和2.25×)上从锐化处理变为柔化处理。在预设的较低放大率范围A中执行锐化处理，较低放大率范围A位于与边界放大率相比的较低放大率一侧(参考图8)。在较低放大率范围A中，锐化处理的处理程度随电子变焦放大率而逐渐增大，并在边界放大率上终止于最大程度。在相对于边界放大率的较高放大率一侧上的预设的较高放大率范围B内，执行柔化处理(参考图8)。在较高放大率范围B中，柔化处理的处理程度在边界放大率上设定为最大值。随后，柔化处理的处理程度随电子变焦放大率的增大而逐渐减小。
图8是示出所拍摄图像上的模糊程度的示意图。就是说，图8是示出在较低放大率范围A和较高放大率范围B中存储图像的模糊程度上的变化的图。图8中的实线指示根据本实施例的模糊程度。虚线指示没有执行图像质量调整(锐化处理或柔化处理)情况下的模糊程度。
如图8中虚线所示，在边界放大率上的模糊程度是不连续的。就是说，对图像信号的读取模式进行切换引起了所拍摄图像质量的相当大的变化。切换读取模式导致了用于像素相加的像素数的变化。图像质量的变化是由于用于像素相加的像素数的变化而造成的。用于像素相加的像素数的增大通过使边缘部分黯淡(extinguish)或降低对比度，而导致了模糊程度升高。以上在图像质量中的显著变化不能通过仅借助于执行提取处理和缩小处理而提供的电子变焦控制来消除。
然而，在根据本实施例的上述实例中，边界放大率(1.5×和2.25×)分割了图像质量调整的内容。即在较低放大率范围A中执行锐化处理(第一图像质量调整处理)，在较高放大率范围B中执行柔化处理(第二图像质量调整处理)。锐化处理和柔化处理的处理程度在边界放大率上被设定为最大值。就是说，在位于边界放大率两侧的预设放大率范围中执行相反类型的图像质量调整，且其处理程度在边界放大率上设定为最大值。从而，模糊程度在边界放大率上连续地变化(如图8中实线所示)。因此，通过消除由切换图像信号的读取模式所引起的图像质量的较大变化，能够进一步提高电子变焦功能的质量。
即使当电子变焦放大率从较高放大率侧变为较低放大率侧时，也能够实现模糊程度借以在边界放大率上连续的电子变焦功能。
图9A和9B是示出与图7所示实例中的2.25×的电子变焦放大率(边界放大率)相对应的所拍摄图像模糊程度的示意图。图9所示的原始图像201指示通过从以2×2像素相加模式读出的所拍摄图像中提取640×480像素而获得的图像。存储图像202表示从经最大程度的锐化处理的原始图像201中获得的图像。图9B中的原始图像301示出了通过以“全部像素模式”读出的所拍摄图像中提取“1260×960”像素并将提取区域缩小50％而获得的图像。存储图像302表示从经最大程度的柔化处理的原始图像301中获得的图像。
当相互比较原始图像201和301时，在其图像质量之间辨认出较大差别。然而，在经过图像质量调整的存储图像202和302之间不会辨认出较大差别。
上述效果不限于运动图像拍摄模式中的运动图像拍摄。当基于与运动图像拍摄模式和静态图像拍摄模式中的过程图像的尺寸相对应的设定表100，通过执行图6所示的电子变焦控制处理，在待机状态中在LCD12上显示过程图像时，也能够获得上述效果。
图6所示的电子变焦控制处理不仅能够在待机状态中执行，还能够在静态图像拍摄模式中拍摄静态图像时执行。可以依据与存储图像的尺寸(除了最大尺寸之外)相对应的预备的设定表之一来执行该电子变焦控制处理，存储图像的尺寸可以预先设定。
当期望图像尺寸被设定为640×480像素时，通过提取处理和缩小处理的组合来获得640×480像素的图像。然而，会存在期望图像尺寸是通过提取处理和稍后所述的放大处理的组合来获得的情况。(2)期望图像尺寸是“960×720”像素的情况：
以下参考图10来说明在期望图像尺寸被设定为960×720像素的电子变焦控制处理的具体内容。为了执行该电子变焦控制处理，用于本实例的设定表(未示出)存储了与图2所示设定表100不同的设定数据。在本实例中，切换图像信号的读取模式时的电子变焦放大率(边界放大率)被设定为1.5×和3×。
如图10所示，当电子变焦放大率是1×时，所拍摄图像信号的读取模式被设定为3×3像素相加模式。包含在所拍摄图像数据的一个帧中的像素数被设定为“960×720”，用于在内部存储器14中的存储。由于期望图像尺寸是960×720像素，就不必在1×上执行提取处理和放大处理。读出的YUV数据被存储为存储图像(帧图像)。
在1×与1.5×之间的电子变焦放大率范围内，响应于电子变焦放大率的增大，随着从YUV数据进行提取的提取尺寸逐渐减小，缩放系数(放大率)逐渐增大。通过执行提取处理和放大处理能够获得960×720像素的期望图像尺寸。
当从以2×2像素相加模式读出的1,440×1,080像素的拍摄图像数据中提取960×720像素的区域时，所提取的区域与1.5×电子变焦放大率的图像相对应。放大处理在1.5×的电子变焦放大率不是必需的。1.5×的电子变焦放大率被设定为边界放大率。
当电子变焦放大率达到1.5×(边界放大率)时，图像信号的读取模式从3×3像素相加模式切换到2×2像素相加模式。包含在所拍摄图像数据的一个帧中的像素数被设定为“1,440×1,080”，用于在内部存储器14中的存储。由于提取尺寸被设定为960×720像素，且缩放系数在1.5×的电子变焦放大率上被设定为100％，因此能够仅通过提取处理获得960×720像素的期望图像尺寸。
在1.5×到3×之间的电子变焦放大率范围内，响应于电子变焦放大率的增大，随着从YUV数据进行提取的提取尺寸逐渐减小，缩放系数(放大率)逐渐增大。通过执行提取处理和放大处理能够获得960×720像素的期望图像尺寸。
当从以全部像素模式读出的2,880×2,160像素的拍摄图像数据中提取960×720像素的区域时，所提取的区域与3×电子变焦放大率的图像相对应。放大处理在3×的电子变焦放大率不是必需的。3×的电子变焦放大率被设定为边界放大率。
当电子变焦放大率达到3×(边界放大率)时，图像信号的读取模式从2×2像素相加模式切换到全部像素模式。包含在所拍摄图像数据的一个帧中的像素数被设定为“2,80×2,160”，用于在内部存储器14中的存储。由于提取尺寸被设定为960×720像素，且缩放系数在3×的电子变焦放大率上被设定为100％，能够仅通过提取处理来获得960×720像素的期望图像尺寸。
当电子变焦放大率的设定高于3×时，随着从YUV数据进行提取的提取尺寸逐渐减小，缩放系数(放大率)逐渐增大。能够通过执行提取处理和放大处理来获得960×720像素的期望图像尺寸。
此外，与以上提取处理和缩小处理并行地执行锐化处理或柔化处理，作为图像质量调整。
当电子变焦放大率被增大时(放大)，图像质量调整的内容在边界放大率(1.5×和3×)上从锐化处理变为柔化处理。在预设的较低放大率范围中执行锐化处理，所述较低放大率范围位于与边界放大率相比的较低放大率一侧。在该较低放大率范围中，锐化处理的处理程度随电子变焦放大率而逐渐增大，并在边界放大率上终止于最大程度。在相对于边界放大率的较高放大率一侧的预设的较高放大率范围内，执行柔化处理。在该较高放大率范围中，柔化处理的处理程度在边界放大率上设定为最大值。随后，柔化处理的处理程度随电子变焦放大率的增大而逐渐减小(参考图8)。
当切换图像信号的读取模式时，所拍摄图像的质量不可避免地被改变。而且，由于在较低放大率范围内通过放大处理来获得期望图像尺寸所需的像素数，因此降低了图像质量。
然而，在本实例中，边界放大率(1.5×和3×)分割了图像质量调整的内容。即，在较低放大率范围中执行锐化处理，在较高放大率范围中执行柔化处理。锐化处理和柔化处理的处理程度在边界放大率上设定为最大值。就是说，在位于边界放大率两侧的预设放大率范围中，图像质量连续变化，而没有显著的间隙。从而，模糊程度在边界放大率上连续地变化，如图8中实线所示。
即使是当电子变焦放大率从较高放大率一侧变为较低放大率一侧时，也能够实现模糊程度借以在边界放大率上连续的电子变焦功能。
(3)期望图像尺寸是“800×600”像素的情况：
以下参考图11来解释图像尺寸被设定为“800×600”像素的电子变焦控制处理的具体内容。为了执行该电子变焦控制处理，用于本实例的设定表(未示出)存储了与图2所示设定表100不同的设定数据。在本实例中，切换图像信号的读取模式时的电子变焦放大率(边界放大率)被设定为1.6×和2.6×。
如图11所示，当电子变焦放大率是1×时，所拍摄图像信号的读取模式被设定为3×3像素相加模式。包含在所拍摄图像数据的一个帧中的像素数被设定为“960×720”，用于在内部存储器14中的存储。仅仅对YUV数据执行缩小处理，以获得期望图像尺寸(800×600像素)。
在1×到1.2×之间的电子变焦放大率范围内，响应于电子变焦放大率的增大，随着从YUV数据进行提取的提取尺寸逐渐减小，缩放系数(缩小率的逐渐减小)逐渐增大。能够通过执行提取处理和缩小处理来获得800×600像素的期望图像尺寸。
当从以3×3像素相加模式读出的960×720像素的拍摄图像数据中提取800×600像素的区域时，所提取的区域与1.2×电子变焦放大率的图像相对应。缩放处理(放大或缩小)在1.2×的电子变焦放大率上不是必需的。由于在1.2×的电子变焦放大率上缩放系数是100％，因此可以仅通过提取处理来获得800×600像素的期望图像尺寸。
在1.2×到1.6×之间的电子变焦放大率范围内，响应于电子变焦放大率的增大，随着从YUV数据进行提取的提取尺寸逐渐减小，缩放系数(放大率)逐渐增大。能够通过执行提取处理和放大处理来获得800×600像素的期望图像尺寸。
当电子变焦放大率达到1.6×(边界放大率)时，图像信号的读取模式从3×3像素相加模式切换到2×2像素相加模式。包含在所拍摄图像数据的一个帧中的像素数被设定为“1,440×1,080”，用于在内部存储器14中的存储。
在1.6×到1.8×之间的电子变焦放大率范围内，响应于电子变焦放大率的增大，随着从YUV数据进行提取的提取尺寸逐渐减小，缩放系数(缩小率的逐渐减小)逐渐增大。能够通过提取处理和缩小处理来提供800×600像素的期望图像尺寸。
当电子变焦放大率达到1.8×时，缩放系数达到100％。仅通过提取处理来提供800×600像素的期望图像尺寸。缩小处理在1.8×的电子变焦放大率上不是必需的。
在1.8×到2.6×之间的电子变焦放大率范围内，响应于电子变焦放大率的增大，随着从YUV数据进行提取的提取尺寸逐渐减小，缩放系数(放大率)逐渐增大。能够通过执行提取处理和放大处理来获得800×600像素的期望图像尺寸。
当电子变焦放大率达到2.6×(边界放大率)时，图像信号的读取模式从2×2像素相加模式切换到全部像素模式。包含在所拍摄图像数据的一个帧中的像素数被设定为“2,880×2,160”，用于在内部存储器14中的存储。
在2.6×到3.6×之间的电子变焦放大率范围内，响应于电子变焦放大率的增大，随着从YUV数据进行提取的提取尺寸逐渐减小，缩放系数逐渐增大(缩小率的逐渐减小)。能够通过提取处理和缩小处理来提供800×600像素的期望图像尺寸。
当电子变焦放大率达到3.6×时，缩放系数达到100％。仅通过提取处理来获得800×600像素的期望图像尺寸。缩小处理在3.6×的电子变焦放大率上不是必需的。
当电子变焦放大率的设定高于3.6×时，响应于电子变焦放大率的增大，随着从YUV数据进行提取的提取尺寸逐渐减小，缩放系数(放大率)逐渐增大。能够通过提取处理和放大处理来获得800×600像素的期望图像尺寸。
此外，与以上提取处理和缩小处理并行地执行锐化处理或柔化处理，作为图像质量调整。
当电子变焦放大率被增大时(放大)，图像质量调整的内容在边界放大率(1.6×和2.6×)上从锐化处理变为柔化处理。在预设的较低放大率范围中执行锐化处理，所述较低放大率范围位于与边界放大率相比的较低放大率一侧。在该较低放大率范围中，锐化处理的处理程度随电子变焦放大率而逐渐增大，并在边界放大率上终止于最大程度。在相对于边界放大率的较高放大率一侧的预设的较高放大率范围内，执行柔化处理。在该较高放大率范围中，柔化处理的处理程度在边界放大率上被设定为最大值。随后，柔化处理的处理程度随电子变焦放大率的增大而逐渐减小(参考图8)。
当切换图像信号的读取模式时，所拍摄图像的质量不可避免的被改变。而且，由于在较低放大率范围内通过放大处理来获得期望图像尺寸所需的像素数，因此降低了图像质量。
然而，在本实例中，边界放大率(1.6×和2.6×)分割了图像质量调整的内容。即，在较低放大率范围中执行锐化处理，在较高放大率范围中执行柔化处理。锐化处理和柔化处理的处理程度在边界放大率上设定为最大值。就是说，在位于该边界放大率两侧的预设放大率范围中图像质量连续变化，而没有显著的间隙。从而，模糊程度在边界放大率上连续地变化，如图8中实线所示。
即使是当电子变焦放大率从较高放大率一侧变为较低放大率一侧时，也能够实现模糊程度借以在边界放大率上连续的电子变焦功能。
在本实施例中，对在相对于边界放大率的较低放大率一侧上的预设范围中执行锐化处理，在相对于边界放大率的较高放大率一侧上的预设范围中执行柔化处理的情况给出了说明。然而，图像质量调整并不限于以上的情况。可以按如下执行图像质量调整。就是说，如图12A所示，可以仅在相对于边界放大率的较低放大率一侧上的范围中执行锐化处理。或者，如图12B所示，可以仅在相对于边界放大率的较高放大率一侧上的范围中执行柔化处理。
在图12A和12B所示的情况下，可以执行电子变焦控制处理，以使得模糊程度在边界放大率上是连续的。由于模糊程度在边界放大率上是连续的，因此即使当电子变焦放大率从较低放大率一侧变到较高放大率一侧时，或者当电子变焦放大率从较高放大率一侧变到较低放大率一侧时，也能够执行图像质量调整而不会在模糊程度上引起显著的间隙。因此，通过消除由所拍摄图像信号的读取模式的切换所引起的图像质量上的较大变化，能够改善电子变焦控制处理的质量。此外，能够使得在边界放大率附近处理程度骤变。
在本实施例中，给出的解释是关于锐化处理和柔化处理的处理程度根据电子变焦放大率的变化而分阶段变化的情况的。然而，只要两个图像质量调整的处理程度能够在边界放大率上设定为最大值，处理程度的一个阶段就可以与电子变焦放大率的几个阶段相对应。当配置为电子变焦放大率以无级方式(stepless fashion)(或以用户不能识别的阶段)变化时，锐化处理或柔化处理的程度就能够以无级方式变化。执行锐化处理或柔化处理的范围不限于紧邻着所述边界放大率的较低或较高范围。除了1×和最大电子变焦放大率之外，可以通过在其中设定了统一读取模式的电子变焦放大率范围来执行锐化处理或柔化处理。
切换所拍摄图像信号的读取模式导致了图像质量的变化，例如模糊程度上的变化。在本实施例中，在位于边界放大率两侧的预设放大率范围中执行锐化处理和柔化处理的图像质量调整。执行锐化处理和柔化处理，来抑制主要由于边缘部分的丢失或对比度的减小所引起的模糊程度上的变化。然而，图像质量调整并不限于以上情况。就是说，可以通过在位于边界放大率两侧的预设放大率范围中执行除锐化和柔化处理之外的预设图像质量调整，来抑制除模糊程度之外的图像质量变化。当图像质量调整的处理程度在边界放大率上被设定为最大值时，图像质量可连续地变化。通过消除由于电子变焦放大率被改变所引起的图像质量上的较大变化，改善了电子变焦控制处理的质量。
在本实施例中，在同一边界放大率上执行与不同读取模式相对应的两类处理。然而，可以在边界放大率上执行单一的处理。例如，可以在边界放大率上一直执行与在其中用于像素相加的像素数较小的读取模式相对应的处理。或者，可以按如下来执行电子变焦控制。就是说，当在放大操作中电子变焦放大率达到边界放大率时，执行与在其中用于像素相加的像素数较小的读取模式相对应的处理，当在缩小操作中电子变焦放大率达到边界放大率时，执行与在其中用于像素相加的像素数较大的读取模式相对应的处理。
在本实施例中，预备了三类所拍摄图像信号的读取模式，包括“全部像素模式”、“2×2像素相加模式”和“3×3像素相加模式”，并根据电子变焦放大率来设定读取模式。然而，可以预备四类或更多类所拍摄图像信号的读取模式。此外，像素相加不限于以上情况。5×5像素相加，在水平或垂直方向上的2或3像素相加等都能够执行。此外，作为所拍摄图像信号的读取模式(CCD图像传感器3的驱动模式)，可以预备一个或多个像素稀疏模式。像素稀疏模式在像素稀疏率上发生变化。而且，像素相加模式和像素稀疏模式都可以作为图像信号的读取模式来提供，可以适当地将像素稀疏模式设定为与电子变焦放大率相对应的读取模式。
在根据本实施例的电子变焦控制处理中，从设定表100中检测与电子变焦放大率相对应的读取模式、提取尺寸、缩放系数(放大率和缩小率)和图像质量调整的设定内容。然而，可以基于预设条件运算或算数运算来获取设定内容。
此外，对经过YUV转换并临时存储在内部存储器14中的图像数据(YUV数据)，执行用于从所拍摄图像中提取预设提取尺寸的图像区域的提取处理。然而，可以对在YUV转换之前的图像信号(拜耳数据)执行提取处理。
当为了读出所拍摄图像信号而执行像素相加时(在图像传感器之内或之外)，图像传感器不限于CCD图像传感器，而可以是另一种图像传感器，例如互补金属氧化物半导体(CMOS)传感器。当图像传感器被配置为如同在CMOS传感器中一样选择性地读出预设像素的电荷信号时，能够在读出所拍摄图像信号时执行以上的提取处理。
以上解释了在提取处理之前执行锐化处理和柔化处理的结构。然而，可以提供这样的结构：使得对通过提取处理而获取的图像数据执行图像质量调整处理。此外，在本实施例中，解释了在放大处理或缩小处理之前执行锐化处理和柔化处理的结构。然而，可以提供这样的结构：其中，在放大处理或缩小处理之后对图像数据执行以上的图像质量调整处理。
在本实施例中，解释了本发明用于数码相机的情况。但本发明可以被用于其他具有电子变焦功能的摄像设备，例如数码摄像机、具有相机功能的移动电话终端、具有相机功能的个人数字助理(PDA)等。摄像设备可以并不总是具有光学变焦功能。

Claims (18)

1.一种摄像设备，包括：
图像拍摄装置，用于输出包含多个像素的所拍摄图像信号；
放大率设定装置，用于设定电子变焦放大率；
电子变焦装置，用于基于所述电子变焦放大率，对所述所拍摄图像信号执行电子变焦处理；
模式设定装置，用于根据所述电子变焦放大率，设定多个读取模式中的一个，所述多个读取模式在包含在所述所拍摄图像信号中的像素数量上有所不同；以及
图像质量调整装置，用于在由所述模式设定装置设定了所述多个读取模式中的一个时，基于所述电子变焦放大率，对所述所拍摄图像信号执行图像质量调整，其中
所述模式设定装置包括模式切换装置，用于当所述电子变焦放大率达到一预设电子变焦放大率时，切换所述读取模式，以及
在由所述模式设定装置设定了所述多个读取模式中的一个时，随着所述电子变焦放大率接近所述预设电子变焦放大率，所述图像质量调整装置逐渐增大所述图像质量调整的处理程度。
2.根据权利要求1的摄像设备，其中
随着所述电子变焦放大率从比所述预设电子变焦放大率更小的电子变焦放大率开始接近所述预设电子变焦放大率，所述图像质量调整装置逐渐增大所述图像质量调整的处理程度。
3.根据权利要求2的摄像设备，其中
所述图像质量调整包括锐化处理。
4.根据权利要求1的摄像设备，其中
随着所述电子变焦放大率从比所述预设电子变焦放大率更大的电子变焦放大率开始接近所述预设电子变焦放大率，所述图像质量调整装置逐渐增大所述图像质量调整的处理程度。
5.根据权利要求4的摄像设备，其中
所述图像质量调整包括柔化处理。
6.根据权利要求1的摄像设备，其中
所述图像质量调整装置包括：
第一图像质量调整装置，用于随着所述电子变焦放大率从比所述预设电子变焦放大率更小的电子变焦放大率开始接近所述预设电子变焦放大率，逐渐增大第一图像质量调整的处理程度；以及
第二图像质量调整装置，用于随着所述电子变焦放大率从比所述预设电子变焦放大率更大的电子变焦放大率开始接近所述预设电子变焦放大率，逐渐增大第二图像质量调整的处理程度。
7.根据权利要求6的摄像设备，其中
所述第一图像质量调整是锐化处理，所述第二图像质量调整是柔化处理。
8.根据权利要求1的摄像设备，还包括
控制装置，用于控制所述图像质量调整装置是否基于所述电子变焦放大率执行所述图像质量调整。
9.根据权利要求1的摄像设备，其中
所述图像质量调整包括锐化处理。
10.根据权利要求1的摄像设备，其中
所述图像质量调整包括柔化处理。
11.根据权利要求1的摄像设备，其中
所述电子变焦装置包括修整装置，用于基于所述电子变焦放大率，对所述所拍摄图像信号执行修整处理。
12.根据权利要求1的摄像设备，其中
所述电子变焦装置包括缩小装置，用于基于所述电子变焦放大率，对所述所拍摄图像信号执行缩小处理。
13.根据权利要求1的摄像设备，其中
所述电子变焦装置包括放大装置，用于基于所述电子变焦放大率，对所述所拍摄图像信号执行放大处理。
14.根据权利要求1的摄像设备，其中
所述电子变焦装置包括缩放装置，用于基于所述电子变焦放大率，对所述所拍摄图像信号执行缩小处理和放大处理。
15.根据权利要求1的摄像设备，其中
所述多个读取模式包括像素相加读取模式。
16.根据权利要求1的摄像设备，其中
所述多个读取模式包括多个像素相加读取模式，所述多个像素相加读取模式在用于像素相加的像素数上有所不同，并且
所述模式设定装置设定所述多个读取模式中的一个，以便在所述电子变焦放大率被所述放大率设定装置设定为较大时，将用于所述像素相加的像素数设定为较小。
17.根据权利要求1的摄像设备，其中
所述多个读取模式包括像素稀疏模式。
18.一种电子变焦方法，用于包含图像拍摄装置的摄像设备，所述图像拍摄装置输出包含多个像素的所拍摄图像信号，所述方法包括：
设定电子变焦放大率；
根据所述电子变焦放大率，设定多个读取模式中的一个，所述多个读取模式在包含在所述所拍摄图像信号中的像素数量上有所不同；
基于所述电子变焦放大率，对所述所拍摄图像信号执行电子变焦处理；以及
在设定了所述多个读取模式中的一个时，基于所述电子变焦放大率，对所述所拍摄图像信号执行图像质量调整，其中
当所述电子变焦放大率达到一预设电子变焦放大率时，切换所述读取模式，以及
在设定了所述多个读取模式中的一个时，随着所述电子变焦放大率接近所述预设电子变焦放大率，逐渐增大所述图像质量调整的处理程度。
CN2007800005925A 2006-04-21 2007-04-19 摄像设备和电子变焦方法 Active CN101326816B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006118507A JP4655991B2 (ja) 2006-04-21 2006-04-21 撮像装置及び電子ズーム方法と、プログラム
JP118507/2006 2006-04-21
PCT/JP2007/058998 WO2007123261A1 (en) 2006-04-21 2007-04-19 Image capturing apparatus and electronic zoom method

Publications (2)

Publication Number Publication Date
CN101326816A CN101326816A (zh) 2008-12-17
CN101326816B true CN101326816B (zh) 2010-11-03

Family

ID=38353760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800005925A Active CN101326816B (zh) 2006-04-21 2007-04-19 摄像设备和电子变焦方法

Country Status (7)

Country Link
US (1) US7733389B2 (zh)
JP (1) JP4655991B2 (zh)
KR (1) KR100917088B1 (zh)
CN (1) CN101326816B (zh)
HK (1) HK1123914A1 (zh)
TW (1) TWI339985B (zh)
WO (1) WO2007123261A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4433981B2 (ja) 2004-10-29 2010-03-17 ソニー株式会社 撮像方法および撮像装置
JP4569441B2 (ja) * 2005-10-26 2010-10-27 カシオ計算機株式会社 コード読取装置及びプログラム
KR20090013101A (ko) * 2007-07-31 2009-02-04 가부시키가이샤 니콘 촬상 장치
JP5171287B2 (ja) * 2008-01-26 2013-03-27 三洋電機株式会社 データ処理装置
US8808164B2 (en) 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US8155479B2 (en) 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
JP5284013B2 (ja) 2008-09-01 2013-09-11 キヤノン株式会社 撮像装置およびその制御方法、プログラム
JP5202225B2 (ja) * 2008-10-17 2013-06-05 キヤノン株式会社 撮像装置およびその制御方法
KR20100064533A (ko) * 2008-12-05 2010-06-15 삼성전자주식회사 카메라를 이용한 문자 크기 자동 조절 장치 및 방법
FR2940840B1 (fr) * 2009-01-07 2012-06-01 Michel Henri Hilaire Mazier Procede de recadrage-image en cours d'enregistrement video, sans interruption de l'image et du son grace au pre-parametrage des cadrages selon l'echelle des plans filmiques
JP5101544B2 (ja) * 2009-02-13 2012-12-19 富士通株式会社 撮影装置、撮影方法、撮影プログラム及び携帯端末装置
US8330832B2 (en) 2009-06-23 2012-12-11 Research In Motion Limited Adjustment of sharpness during digital zoom in digital photography
US10178406B2 (en) 2009-11-06 2019-01-08 Qualcomm Incorporated Control of video encoding based on one or more video capture parameters
US20110292997A1 (en) * 2009-11-06 2011-12-01 Qualcomm Incorporated Control of video encoding based on image capture parameters
JP2011114788A (ja) * 2009-11-30 2011-06-09 Sanyo Electric Co Ltd 撮像装置、および、撮像方法
JP2012160864A (ja) * 2011-01-31 2012-08-23 Sanyo Electric Co Ltd 撮像装置
US8462231B2 (en) 2011-03-14 2013-06-11 Mark E. Nusbaum Digital camera with real-time picture identification functionality
JP5953187B2 (ja) * 2011-10-11 2016-07-20 オリンパス株式会社 合焦制御装置、内視鏡システム及び合焦制御方法
US9265186B2 (en) 2011-11-10 2016-02-16 Delaware Capital Formation, Inc. Camera system for aligning components of a PCB
FR3016989B1 (fr) 2014-01-29 2016-01-15 St Microelectronics Grenoble 2 Procede de transformation combinee de l'echelle et du rapport d'aspect d'une image
US20170139308A1 (en) * 2014-07-03 2017-05-18 Sony Corporation Filter control device, filter controlling method, and imaging device
JPWO2016006440A1 (ja) * 2014-07-08 2017-05-25 ソニー株式会社 フィルタ制御装置およびフィルタ制御方法、ならびに撮像装置
US9717417B2 (en) 2014-10-29 2017-08-01 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
EP3212057B1 (en) 2014-10-29 2021-12-01 Spectral MD, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
US9445007B1 (en) 2015-02-25 2016-09-13 Qualcomm Incorporated Digital zoom methods and systems
DE102016220757A1 (de) * 2016-10-21 2018-04-26 Texmag Gmbh Vertriebsgesellschaft Verfahren und Vorrichtung zur Materialbahnbeobachtung und Materialbahninspektion
CN106657780B (zh) * 2016-12-16 2020-06-02 北京小米移动软件有限公司 图像预览方法和装置
WO2018160963A1 (en) 2017-03-02 2018-09-07 Spectral Md, Inc. Machine learning systems and techniques for multispectral amputation site analysis
US10740884B2 (en) 2018-12-14 2020-08-11 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
KR20210099126A (ko) 2018-12-14 2021-08-11 스펙트랄 엠디, 인크. 고정밀도 다중-애퍼쳐 스펙트럼 이미징을 위한 시스템 및 방법
JP7261883B2 (ja) 2018-12-14 2023-04-20 スペクトラル エムディー，インコーポレイテッド 創傷の評価、治癒予測および治療のための機械学習システム
US10783632B2 (en) 2018-12-14 2020-09-22 Spectral Md, Inc. Machine learning systems and method for assessment, healing prediction, and treatment of wounds
CN113132614B (zh) * 2019-12-31 2023-09-01 中兴通讯股份有限公司 一种摄像头光学变焦电子装置、方法、单元及存储器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5838371A (en) * 1993-03-05 1998-11-17 Canon Kabushiki Kaisha Image pickup apparatus with interpolation and edge enhancement of pickup signal varying with zoom magnification
CN1717929A (zh) * 2002-11-25 2006-01-04 卡西欧计算机株式会社 图像信号产生单元、数码相机以及图像信号产生方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06261238A (ja) * 1993-03-05 1994-09-16 Canon Inc 撮像装置
JP4378804B2 (ja) * 1999-09-10 2009-12-09 ソニー株式会社 撮像装置
JP2004172845A (ja) * 2002-11-19 2004-06-17 Canon Inc 撮像装置
JP2004072278A (ja) * 2002-08-02 2004-03-04 Canon Inc 撮像装置およびその制御方法
JP2004096611A (ja) * 2002-09-03 2004-03-25 Matsushita Electric Ind Co Ltd 撮像装置
JP4266807B2 (ja) * 2003-12-25 2009-05-20 オリンパス株式会社 撮像装置及び電子ズーミング方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5838371A (en) * 1993-03-05 1998-11-17 Canon Kabushiki Kaisha Image pickup apparatus with interpolation and edge enhancement of pickup signal varying with zoom magnification
CN1717929A (zh) * 2002-11-25 2006-01-04 卡西欧计算机株式会社 图像信号产生单元、数码相机以及图像信号产生方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CN 1717929 A,全文.

Also Published As

Publication number Publication date
WO2007123261A1 (en) 2007-11-01
US20070257996A1 (en) 2007-11-08
JP4655991B2 (ja) 2011-03-23
JP2007295129A (ja) 2007-11-08
KR20080016657A (ko) 2008-02-21
KR100917088B1 (ko) 2009-09-15
CN101326816A (zh) 2008-12-17
US7733389B2 (en) 2010-06-08
HK1123914A1 (en) 2009-06-26
TWI339985B (en) 2011-04-01
TW200746808A (en) 2007-12-16

Similar Documents

Publication Publication Date Title
CN101326816B (zh) 摄像设备和电子变焦方法
JP3995595B2 (ja) 携帯電話用の最適化されたカメラセンサ構造
JP5845464B2 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
JP5231529B2 (ja) ビデオカメラ
US7768553B2 (en) Photographing apparatus, display control method, and program
JP4943721B2 (ja) 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置
CN101616263B (zh) 摄像装置
US7408139B2 (en) Video image capture device
JP2009284309A (ja) 撮像装置、表示制御プログラム及び表示制御方法
JP3733828B2 (ja) 電子カメラ
JP2007124542A (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2006054519A (ja) 撮像装置
JP2004172845A (ja) 撮像装置
JP6702792B2 (ja) 画像処理装置およびその制御方法
CN112422782B (zh) 显示控制设备及其控制方法和计算机可读存储介质
JP2003259161A (ja) 撮像装置および撮像方法
JP2011109548A (ja) 撮像装置
JP5397048B2 (ja) デジタルカメラ、及びその撮影感度設定方法とプログラム
JP4816129B2 (ja) 画像処理装置及び撮像装置
JP2006041867A (ja) 画像処理方法および画像処理装置並びに撮像装置およびタイミング制御装置
JP4997745B2 (ja) 撮像装置及び撮像方法
JP6087720B2 (ja) 撮像装置及びその制御方法
JP4181655B2 (ja) 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
JP4752652B2 (ja) 撮像装置、撮像画像表示方法、及び、プログラム
JP2021118394A (ja) 画像処理装置、画像処理装置の制御方法、プログラムおよび記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1123914

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1123914

Country of ref document: HK