CN101305617B - 图像信号处理设备 - Google Patents

图像信号处理设备 Download PDF

Info

Publication number
CN101305617B
CN101305617B CN2006800419714A CN200680041971A CN101305617B CN 101305617 B CN101305617 B CN 101305617B CN 2006800419714 A CN2006800419714 A CN 2006800419714A CN 200680041971 A CN200680041971 A CN 200680041971A CN 101305617 B CN101305617 B CN 101305617B
Authority
CN
China
Prior art keywords
picture
code
size
circuit
setting value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800419714A
Other languages
English (en)
Other versions
CN101305617A (zh
Inventor
石井芳季
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101305617A publication Critical patent/CN101305617A/zh
Application granted granted Critical
Publication of CN101305617B publication Critical patent/CN101305617B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明的目的在于，即使在以提高的增益拍摄的图像的S/N比低时，也能够在尽可能抑制诸如由平滑导致的残像和分辨率降低的不利影响时有效率地降低由噪声引起的亮度闪烁。一种图像信号处理设备，包括：执行图像信号的平滑处理的平滑电路124，对所述图像信号压缩编码的压缩编码电路112、113，能够对所述压缩编码电路设置各图片类型的代码量的设置电路126以及根据从照相机102获取的增益设置值通过控制改变平滑处理的强度和各图片类型的代码量分配比的控制单元116。

Description

图像信号处理设备
技术领域
本发明涉及一种用于处理所拍摄的图像信号的图像信号处理设备，更具体地，本发明涉及对于在使用图片内和图片间预测的压缩方案中提高照相机增益时发生的闪烁进行抑制的处理。
背景技术
近来，能够在硬盘或DVD（数字通用盘）内记录运动图像数据的记录器正在发展起来，并正在取代用于记录TV节目的常规VCR。这些记录器通过使用诸如MPEG（Moving PictureExperts Group，运动图像专家组）2的有效率的编码压缩数据，从而能够将大量的运动图像数据记录到单张盘上。
由MPEG2代表的有效率的运动图像编码一般使用包括帧内和帧间预测的多个不同图片类型执行压缩编码。更具体地，只有预定间隔的帧使用用于帧内编码的图片类型。由于后续的帧具有高图像数据相关性，预定间隔的帧之间的帧使用用于帧间预测的图片类型，从而提高了运动图像数据的压缩效率。
图17是示出常规图像信号处理设备的框图。附图标记1702表示照相机单元；1701表示包括光学镜头***和诸如CCD（电荷耦合装置）的光电转换单元的的照相机。由照相机1701拍摄的模拟运动图像信号经过拍摄图像信号处理电路1703的诸如A/D转换、像素插值、颜色转换和γ转换的处理。照相机控制电路1725基于例如拍摄图像的亮度执行照相机1701的诸如曝光控制的处理。如果将在照相机单元1702的运动图像拍摄模式下以低于预定值的快门速度拍摄暗像(dark image)，则照相机控制电路1725提高拍摄图像信号处理电路1703的放大器增益，而不降低快门速度，从而避免残像（afterimage）。
拍摄图像信号处理电路1703将其输出作为待编码的图像数据提供给帧重排电路（rearranging circuit）1709。帧重排电路1709按照编码顺序对帧进行重新排列。作为例子，在MPEG2编码中，按照适于编码的顺序对帧进行重新排列。例如，应当在对先前帧和后继帧编码之后对用作双向预测帧的B-图片进行编码，因此，将B-图片向后移动。
对于I-图片而言，差分电路1710将图像数据本身输出至DCT电路1711。对于P-图片和B-图片而言，差分电路1710计算图像数据和预测的图像之间的差值，并根据开关1723的选择将该差值输出至DCT电路1711。DCT电路1711将图像数据转换为DCT系数。量化电路1712使用预定量化标度（quantization scale）Q量化DCT系数。当Q值改变时，量化后的系数值将发生极大改变。因此，所生成的代码量发生改变。
例如，变长编码电路1713对从量化电路1712输出的量化系数进行熵编码（entropy-encode），并将其作为编码的数据输出。缓冲器1714暂时保存所生成的编码的数据，以控制编码比例。以预定的比例读取存储在缓冲器1714中的编码的数据，并将其作为压缩编码的数据从端子1715输出。
与此同时，由量化电路1712量化的系数数据经过反量化电路1717的反量化并经过反DCT电路1718的反DCT，以获得预测的图像数据。对于I-图片而言，加电路1719将反DCT后的数据直接保存在视频存储器1720中。对于P-图片和B-图片而言，加电路1719将预测的图像加到P-图片和B-图片上，并将其作为局部解码的图像数据存储在视频存储器1720中。运动补偿预测电路1721将保存在视频存储器1720中的局部解码的图像数据与输入图像数据进行比较。对于P-图片而言，生成具有沿前向的运动补偿的预测的图像数据，并将该预测的图像数据提供给上述差分电路1710。对于B-图片而言，生成具有双向运动补偿的预测的图像数据，并将该预测的图像数据提供给上述差分电路1710。运动补偿预测电路1721还将所生成的图像数据作为用于后续局部解码的预测的图像提供给加电路1719。
比例控制电路1727使用诸如从缓冲器1714获得的过去生成的代码量和缓冲器填充因数（fill factor）的信息执行对待编码的图片的代码量分配控制，以实现目标编码比例。此时，比例控制电路1727通过基于分配给各图片类型的代码量确定量化标度Q来控制量化电路1712。量化后生成的代码量在I-图片、P-图片和B-图片之间不同。因此，量化标度Q通常根据图片类型改变。例如，已知为MPEG2-TM（测试模型）的编码方案设置对应于各图片类型的量化标度。
与在上述照相机单元1702中一样，常规摄像机根据所拍摄图像的亮度执行照相机1701的曝光控制。在正常亮度范围内，摄像机一般主要通过结合F数和快门速度保持适当的曝光。然而，摄像机可以在全光圈的暗场景中提高增益。通常，由于图像中混入了随机噪声成分，以提高的增益拍摄的图像具有低S/N比。在这种情况下，如果使用诸如上述使用多个不同图片类型的MPEG2的编码，则编码之后由噪声成分生成的亮度峰值根据图片类型而改变。已知这种改变被称为再现的运动图像中的亮度闪烁，从而导致视觉障碍。
在这些情况下，已做出了通过改善与增益提高同步的滤波电路的特性来消除提高增益时产生的随机噪声的专利提案（例如，WO97/05745）。
图16示出用于说明再现模式下产生亮度闪烁的原因的图a～c，其中，亮度闪烁在提高上述常规配置中使用的照相机的增益时产生。图16的图a示出来自I-图片的再现信号。通过帧内编码在某种程度上保持叠加在平的图像信号上的噪声成分的亮度峰值。这还因为I-图片的分配代码量通常大于其它图片类型的分配代码量。
图16的图b示出来自P-图片和B-图片的再现信号。在以提高的增益拍摄的图像中，由于随机噪声成分，帧之间的相关性低。因此，在普通编码中，由于P-图片和B-图片的帧间差异信息的增加而使编码图像信号劣化。噪声峰值下降，从而产生亮度峰值差异，这与图16的图a中的I-图片不同。因此，如图16的图c所示，在运动图像的再现中产生源自噪声的亮度闪烁。
用于消除在提高增益时产生的随机噪声的常规方法，即，如WO 97/05745中的改变滤波器特性的方法是在低S/N比情况下降低编码失真的通常方法中的一种，可以预期其能够起到部分作用。然而，为了使用滤波器单独彻底消除上述亮度闪烁，滤波器的强度必需足够高。然而，这样将使分辨率显著降低，并在原始图像中导致诸如残像的严重的不利效果。TV节目图像有时可能含有有意添加的噪声，以基于噪声的粒度产生类似胶片的效果。在这种情况下，不可能使用滤波器均匀地消除噪声。必需尽可能抑制噪声成分本身的消除。即，WO 97/05745中的发明并不足以在保持图像质量的同时有效率地降低上述亮度闪烁。
发明内容
为解决上述现有技术未解决的问题研制了本发明，本发明的目的在于，在以提高的增益拍摄的图像的S/N比低时，在尽可能抑制诸如由平滑引起的残像和分辨率降低的不利影响的同时，有效率地降低由噪声引起的亮度闪烁。本发明的另一目的在于，即使在拍摄含有为了获得图像效果而有意添加的噪声的图像的过程中，也有可能在充分使用噪声的效果的同时降低亮度闪烁。
根据实施例之一的本发明的一个方面涉及一种图像信号处理设备，其用于将图像信号中包含的图片划分为多个图片类型，并对所述图像信号进行压缩编码，所述图像信号处理设备包括：获取单元，用于获取所述图像信号的增益设置值；压缩编码单元，用于对所述图像信号执行压缩编码；代码量比设置电路，用于改变要分配给各图片类型的代码量比；闪烁抑制控制电路，用于根据所述获取单元获取的所述增益设置值控制所述代码量比设置电路；以及比例控制电路，用于根据从缓冲器中获得的过去生成的代码量和缓冲器填充因数以及所述代码量比设置电路的设置值执行各图片类型的代码量分配控制，以改变要分配给一个图片类型的代码量和要分配给其它各图片类型的代码量之间的分配比，所述缓冲器暂时保存所述压缩编码单元所生成的编码数据；其中，所述图片类型为I-图片、P-图片和B-图片，当所述增益设置值大于预定值时，所述比例控制电路提高要分配给P-图片和B-图片的代码量相对于要分配给I-图片的代码量的分配比。
根据实施例之一的本发明的另一方面涉及一种图像信号处理设备，其用于将图像信号中包含的图片划分为多个图片类型，并对所述图像信号进行压缩编码，所述图像信号处理设备包括：获取单元，用于获取所述图像信号的增益设置值；平滑单元，用于执行所述图像信号的平滑处理；压缩编码单元，其被设置在所述平滑单元的后续级上，用于对所述图像信号执行压缩编码；调整单元，其能够调整要分配给所述压缩编码单元中各图片类型的代码量；以及控制单元，用于进行控制，以根据所述获取单元获取的所述增益设置值改变所述平滑单元的平滑处理的强度和由所述调整单元调整的各图片类型的代码量的分配比。
根据实施例之一的本发明的又一方面涉及一种图像信号处理设备，其用于将图像信号中包含的图片划分为多个图片类型，并对所述图像信号进行压缩编码，所述图像信号处理设备包括：获取单元，用于获取所述图像信号的增益调整的增益设置值和所述图像信号的锐度调整的锐度设置值；平滑单元，用于执行所述图像信号的平滑处理；压缩编码单元，其被设置在所述平滑单元的后续级上，用于对所述图像信号执行压缩编码；代码量比设置电路，用于改变要分配给各图片类型的代码量比；闪烁抑制控制电路，用于根据由所述获取单元获取的所述增益设置值和所述锐度设置值控制所述代码量比设置电路及所述平滑单元，以改变所述平滑单元的平滑处理的强度；以及比例控制电路，用于根据从缓冲器中获得的过去生成的代码量和缓冲器填充因数以及所述代码量比设置电路的设置值执行各图片类型的代码量分配控制，以改变要分配给一个图片类型的代码量和要分配给其他各图片类型的代码量之间的分配比，所述缓冲器暂时保存所述压缩编码单元所生成的编码数据，其中，所述图片类型为I-图片、P-图片和B-图片；当所述增益设置值大于由所述锐度设置值定义的预定值时，所述比例控制电路提高要分配给P-图片和B-图片的代码量相对于要分配给I-图片的代码量的分配比，当所述增益设置值大于由所述锐度设置值定义的预定值时，所述平滑单元执行所述图像信号的平滑处理。
根据实施例之一的本发明的又一方面涉及一种图像信号处理设备，其用于将图像信号中包含的图片划分为多个图片类型，并对所述图像信号进行压缩编码，所述图像信号处理设备包括：获取单元，用于获取所述图像信号的增益设置值；平滑单元，用于执行所述图像信号的平滑处理；压缩编码单元，其被设置在所述平滑单元的后续级上，用于对所述图像信号执行压缩编码；调整单元，其能够调整分配给所述压缩编码单元中的各图片类型的代码量；以及指定单元，用于指定所述压缩编码单元的压缩编码的目标比特率；以及控制单元，用于进行控制，以根据所述获取单元获取的所述增益设置值和所述指定单元指定的所述目标比特率改变所述平滑单元的平滑处理的强度和由所述调整单元调整的各图片类型的代码量的分配比。
根据实施例之一的本发明的又一方面涉及一种图像信号处理设备的控制方法，所述图像信号处理设备用于将图像信号中包含的图片划分为多个图片类型，并对所述图像信号进行压缩编码，所述控制方法包括以下步骤：获取所述图像信号的增益设置值；根据所述增益设置值控制代码量比设置电路，以改变要分配给各图片类型的代码量比；根据过去生成的代码量和缓冲器填充因数以及所述代码量比设置电路的设置值执行各图片类型的代码量分配控制，以设置各图片类型的代码量的分配比；以及根据所设置的比对所述图像信号进行压缩编码；其中，所述图片类型为I-图片、P-图片和B-图片，当所述增益设置值大于预定值时，提高要分配给P-图片和B-图片的代码量相对于要分配给I-图片的代码量的分配比。
通过下文（参考附图）对示范性实施例的说明，本发明的其它特征将变得显而易见。
附图说明
图1是根据第一实施例的数字摄像机的框图；
图2示出用于示出根据第一实施例的分配代码量控制的例子的图；
图3示出用于示出根据第一实施例的分配代码量控制的另一例子的图；
图4示出用于示出根据第一实施例的平滑强度控制的例子的图；
图5示出用于示出根据第一实施例的平滑强度控制的另一例子的图；
图6示出用于示出平滑电路的结构示例的框图；
图7是根据第二实施例的数字摄像机的框图；
图8示出用于示出根据第二实施例的分配代码量控制的例子的图；
图9示出用于示出根据第二实施例的分配代码量控制的另一例子的图；
图10示出用于示出根据第二实施例的平滑强度控制的例子的图；
图11示出用于示出根据第二实施例的平滑强度控制的另一例子的图；
图12是根据第三实施例的数字摄像机的框图；
图13示出用于示出根据第三实施例的分配代码量控制的例子的图；
图14示出用于示出根据第三实施例的分配代码量控制的另一例子的图；
图15示出用于说明根据本发明的亮度闪烁降低效果的图；
图16示出用于说明亮度闪烁的原因的图；以及
图17是示出常规图像信号处理设备的配置的框图。
具体实施方式
在下文中将参考示出本发明实施例的附图充分地说明本发明。然而，可以通过多种不同的形式实现本发明，而不应限于此处阐述的实施例构建本发明；相反，提供这些实施例表明该公开将是完整的、彻底的，并且将本发明的范围充分地传达给本领域技术人员。全文中类似的附图标记表示类似的部件。
以下将参考附图详细说明本发明的实施例。
将以能够通过采用图片内预测和图片间预测的压缩方案对照相机拍摄的图像信号进行编码，并输出编码的数据的数字摄像机为例说明本发明的图像信号处理设备的实施例。图片包括场图像和帧图像。在下述说明中，图片是指帧图像。
第一实施例
图1是示出作为第一实施例的、根据本发明的图像信号处理设备的实施例的数字摄像机的框图。附图标记102表示照相机单元；101表示包括镜头光学***和诸如CCD的光电转换单元的照相机。照相机101所拍摄的模拟运动图像信号通过拍摄图像信号处理电路103经过诸如A/D转换、像素插值、颜色转换和γ转换的处理。
照相机控制电路125基于例如所拍摄图像的亮度执行照相机101的诸如曝光控制的处理。如果将在照相机单元102的运动图像拍摄模式下以低于预定值的快门速度拍摄暗像，则如上所述，照相机控制电路125将进行控制以提高拍摄图像信号处理电路103的放大器增益，而不降低快门速度，从而防止产生残像。用于商业使用的照相机设备通常具有使用户任意切换照相机增益的功能。在照相机单元102具有该功能时，照相机控制电路125进行控制以使拍摄图像信号处理电路103具有与从操作单元（未示出）输入的用户设置值相对应的固定放大器增益。
拍摄图像信号处理电路103将其输出作为来自照相机单元102的图像信号提供给平滑电路124。平滑电路124包括限制图像信号的空间频带的可变频带专用滤波器、执行各像素的时间平滑的可变时间滤波器或其组合。在下文中将详细说明平滑电路124。
将来自平滑电路124的输出作为待编码的图像数据提供给帧重排电路109。帧重排电路109按照编码顺序对帧进行重新排列。例如，在MPEG2编码中，按照适于编码的顺序对帧进行重新排列。例如，应当在先前帧和后继帧的编码之后对用作双向预测帧的B-图片编码，因此，将其向后移动。
对于I-图片而言，差分电路110将图像数据本身输出至DCT电路111。对于P-图片和B-图片而言，差分电路110通过选择开关123计算该图像数据和预测的图像之间的差值，并将该差值输出至DCT电路111。DCT电路111将该图像数据转换为DCT系数。量化电路112使用预定的量化标度Q量化该DCT系数。当Q值改变时，量化后的系数值将发生极大改变。因而，所生成的代码量将发生改变。
变长编码电路113对从量化电路112输出的量化系数进行例如熵编码，并将其作为编码的数据输出。缓冲器114暂时存储所生成的编码的数据，以控制编码比例。以预定的比例读取存储在缓冲器114中的编码的数据，并将其作为压缩编码的数据从端子115输出。有可能将输出的压缩编码的数据有效率地记录在诸如磁带、盘或半导体存储器的记录介质上，或者通过使用网络或交换信道有效率地传输压缩编码的数据。
另一方面，通过量化电路112量化的系数数据经过反量化电路117进行反量化，并经过反DCT电路118进行反DCT，以获得预测的图像数据。对于I-图片而言，加电路119将反DCT后的数据直接存储在视频存储器120中。对于P-图片和B-图片而言，加电路119将预测的图像加到P-图片和B-图片上，并将其作为局部解码的图像数据存储在视频存储器120中。运动补偿预测电路121将存储在视频存储器120内的局部解码的图像数据与输入图像数据进行比较。对于P-图片而言，生成具有沿前向的运动补偿的预测的图像数据，并将其提供给上述差分电路110。对于B-图片而言，生成具有双向运动补偿的预测的图像数据，并将其提供给上述差分电路110。运动补偿预测电路121还将所生成的图像数据作为用于后续局部解码的预测的图像提供给加电路119。
比例控制电路127根据诸如从缓冲器114获得的过去生成的代码量和缓冲器填充因数以及代码量比设置电路126（将在下文说明）的设置值的信息执行对待编码的图片的代码量分配控制，以实现目标编码比例。此时，比例控制电路127通过基于分配给各图片类型的代码量确定量化标度Q来控制量化电路112。量化后生成的代码量在I-图片、P-图片和B-图片之间不同。因此，量化标度Q根据图片类型改变。例如，在计算代码量分配时，设置P-和B-图片的量化标度Q与I-图片的量化标度Q的比，从而设置与各图片类型相对应的量化标度Q。
作为本实施例的特性特征的闪烁抑制控制电路116根据由照相机控制电路125提供的照相机增益设置值控制平滑电路124的平滑处理和代码量比设置电路126。闪烁抑制控制电路116控制代码量比设置电路126，以改变要分配给各图片类型的代码量比，从而在提高增益时抑制亮度闪烁。
图2示出用以说明通过照相机增益控制代码量的分配比的图a和b。图2的图a示出用于代码量的分配比的控制的量化标度比控制。如上所述，由比例控制电路127通过代码量分配控制设置P-和B-图片的量化标度与I-图片的量化标度Q的比，从而控制分配给各图片类型的代码量比。L201表示根据照相机增益的B-图片的量化标度比的改变。当照相机增益超过+6dB时，B-图片的量化标度比降低。结果，B-图片的生成的代码量比增大。L202表示根据照相机增益的P-图片的量化标度比的改变。当照相机增益超过+6dB时，P-图片的量化标度比降低。结果，P-图片的生成的代码量比增大。
图2的图b示出如下状态：分配代码量比随着图2的图a中的根据照相机增益的量化标度比控制而改变。L203表示B-图片的分配代码量比。当照相机增益超过+6dB时，分配代码量比根据图2的图a中的量化标度比的改变L201而增大。L204表示P-图片的分配代码量比。当照相机增益超过+6dB时，分配代码量比根据图2的图a中的量化标度比的改变L202而增大。为了使总代码生成量在照相机增益超过+6dB之前和之后尽可能相等，可以在分配给P-和B-图片的代码量增大时，分配给I-图片较小的代码量。
在图2所示的例子中，照相机增益具有预定阈值，从而分两个步骤控制量化标度比。还可以使得量化标度比与照相机增益成比例地改变。图3示出与照相机增益成比例改变的代码量的分配比的控制的例子。图3的图a示出用于控制代码量的分配比的量化标度比控制。L301表示根据照相机增益的B-图片的量化标度比的改变。当照相机增益超过+6dB时，B-图片的量化标度比根据照相机增益而降低。结果，B-图片的生成的代码量比增大。L302表示根据照相机增益的P-图片的量化标度比的改变。当照相机增益超过+6dB时，P-图片的量化标度比根据照相机增益而降低。结果，P-图片的生成的代码量比增大。
图3的图b示出如下状态：分配代码量比随着图3的图a中的根据照相机增益的量化标度比控制而改变。L303表示B-图片的分配代码量比。当照相机增益超过+6dB时，分配代码量比根据图3的图a中的量化标度比的改变L301而增大。L304表示P-图片的分配代码量比。当照相机增益超过+6dB时，分配代码量比根据图3的图a中的量化标度比的改变L302而增大。
如上所述，在本实施例中，P-和B-图片的分配代码量比随着照相机增益的增大而增大。这使得能够在对P-和B-图片编码时，在提高增益时抑制噪声成分的峰值的损失。该配置能够在再现编码图像数据时降低亮度闪烁。
在本实施例中，闪烁抑制控制电路116控制上述平滑电路124的空间或时间平滑或者空间和时间平滑。在将用于控制平滑处理的配置与上述用于控制代码量分配的配置相结合时，可以预期能够取得增效的效果。
在平滑控制的详细配置中，平滑电路124以对应于照相机增益的强度执行平滑，以抑制噪声成分本身的峰值，并降低因I-图片的噪声成分而导致的亮度峰值。这使得能够降低在对P-和B-图片编码时由噪声的亮度峰值的降低导致的差异。结果，能够抑制图片之间的亮度闪烁。另外，该平滑处理还抑制向P-和B-图片的噪声成分输入。其还通过提高代码量分配比抑制取决于编码的噪声的亮度峰值的降低。
图6的电路a示出平滑电路124的详细例子，平滑电路124通过限制空间频带的可变频带空间滤波器实现平滑电路。一维或二维空间滤波器（SPF）电路602空间平滑提供给端子601的图像信号。空间滤波器的平滑强度表示空间滤波器的通带特性。图6的电路a中所示的可变频带空间滤波器使系数设置电路604向参考像素设置滤波器的加权系数，以获得预定的通带特性，从而改变通带特性，即平滑强度。端子603是平滑强度控制输入端子。端子605输出经过了平滑处理的图像信号。
图4的图a示出根据照相机增益的平滑强度控制的例子。当照相机增益超过+6dB时，执行平滑处理。图4的图b示出对应于图4的图a中的平滑强度的改变的空间滤波器的频带特性。L401表示在不执行平滑处理时获得的频带特性。该特性对应于图4的图a中的小于+6dB的区域。L402表示在执行平滑处理时获得的频带特性。该特性对应于图4的图a中的大于等于+6dB的区域。在空间平滑处理中，通过限制通带的高频侧执行平滑。频带变窄，则平滑强度增大。
在图4所示的例子中，照相机增益具有预定阈值，从而分两个步骤改变平滑特性（在一个模式下通过整个频带）。还可以使平滑强度与照相机增益成比例改变。图5的图a示出平滑强度控制与照相机增益成比例改变的例子。当照相机增益超过+6dB时，平滑强度根据照相机增益增大直到预定上限。图5的图b示出对应于图5的图a中的平滑强度的改变的空间滤波器的频带特性。当照相机增益为+6dB～+12dB时，空间滤波器的通带根据照相机增益逐渐变窄。
执行各像素的时间平滑的可变时间滤波器可以独立应用于本实施例的平滑处理。也可以与上述空间滤波器一起使用。
图6的电路b示出平滑电路124的具体例子，平滑电路124通过执行各像素的时间平滑的可变时间滤波器实现平滑电路。已知该电路为递归滤波器。减电路607计算提供给端子606的图像信号的各像素与先前帧的对应像素之间的差。系数乘电路610将该差值与预定系数相乘。加电路611将该结果加到先前帧的像素上。如果系数为1，则输出端子623输出与输入相同的值且平滑强度为0。如果系数小于1，则在当前帧和先前帧之间执行由IIR滤波器实现的平滑。平滑强度根据该系数改变。端子608是平滑强度控制输入端子。系数设置电路609设置对应于输入平滑强度的系数。帧存储器612保持将用于处理后继帧的处理过的图像信号。
图15示出用以说明在再现本实施例中生成的编码的数据时、根据照相机增益的提高的亮度闪烁降低效果的图a～c。图15的图a示出来自I-图片的再现信号。平滑电路抑制叠加在平的图像信号上的噪声成分的亮度峰值，从而使得峰值比图16的图a中的峰值低。还可以通过在向P-和B-图片分配较大代码量时向I-图片分配较小代码量来抑制I-图片内的噪声成分的亮度峰值。图15的图b示出来自P-图片和B-图片的再现信号。平滑抑制噪声峰值。另外，由于分配代码量比增大，因而在编码时在不过度降低的情况下再现噪声的亮度峰值。因此，降低了图15的图a和b之间的亮度峰值差。即使在再现运动图像时，由噪声引起的亮度峰值闪烁也会降低，这从图15的图c中显然可以看出。
如上所述，在本实施例中，根据照相机增益共同控制各图片类型的分配代码量比和图像信号平滑强度。这样使得能够在最小化例如由平滑处理导致的分辨率下降或残像的不利影响时有效率地降低噪声闪烁。即使在将用于商业使用的照相机设备用于包含噪声作为拍摄效果的拍摄时，也能够在充分利用噪声的效果时降低闪烁。
第二实施例
图7是示出作为第二实施例的、根据本发明的图像信号处理设备的另一实施例的数字摄像机的框图。附图标记702表示照相机单元；701表示包括镜头光学***和诸如CCD的光电转换单元的照相机。照相机701所拍摄的模拟运动图像信号通过拍摄图像信号处理电路703经过诸如A/D转换、像素插值、颜色转换和γ转换的处理。拍摄图像信号处理电路703还通过向原始图像信号添加由图像信号的高频分量生成的光圈校正信号来执行控制分辨率的锐度控制处理。
照相机控制电路725基于例如拍摄图像的亮度执行照相机701的诸如曝光控制的处理。与在第一实施例中一样，照相机控制电路725根据需要控制拍摄图像信号处理电路703的放大器增益。照相机控制电路725还控制拍摄图像信号处理电路703的锐度控制处理，以调整图像信号的分辨率。或者由用户将锐度设置到预定范围内，或者由照相机控制电路725根据拍摄状况自动控制锐度。
拍摄图像信号处理电路703将其输出作为来自照相机单元702的图像信号提供给平滑电路724。平滑电路724包括限制图像信号的空间频带的可变频带专用滤波器、执行各像素的时间平滑的可变时间滤波器或其组合。在第一实施例中已经详细说明了平滑电路724，因而这里将省略对其的重复说明。
将来自平滑电路724的输出作为待编码的图像数据提供给帧重排电路709。帧重排电路709按照编码顺序对帧进行重新排列。
对于I-图片而言，差分电路710将图像数据本身输出至DCT电路711。对于P-图片和B-图片而言，差分电路710通过选择开关723计算该图像数据和预测的图像之间的差值，并将该差值输出至DCT电路711。DCT电路711将该图像数据转换为DCT系数。量化电路712使用预定的量化标度Q量化该DCT系数。
变长编码电路713对从量化电路712输出的量化系数进行例如熵编码，并将其作为编码的数据输出。缓冲器714暂时存储所生成的编码的数据，以控制编码比例。以预定的比例读取存储在缓冲器714中的编码的数据，并将其作为压缩编码的数据从端子715输出。可以将输出的压缩编码的数据有效率地记录在诸如磁带、盘或半导体存储器的记录介质上，或者使用网络或交换信道有效率地传输压缩编码的数据。
另一方面，通过量化电路712量化的系数数据经过反量化电路717进行反量化，经过反DCT电路718进行反DCT，以获得预测的图像数据。对于I-图片而言，加电路719将反DCT后的数据直接存储在视频存储器720中。对于P-图片和B-图片而言，加电路719将预测的图像加到P-图片和B-图片上，并将其作为局部解码的图像数据存储在视频存储器720中。运动补偿预测电路721将存储在视频存储器720内的局部解码的图像数据与输入图像数据进行比较。对于P-图片而言，生成具有沿前向的运动补偿的预测的图像数据，并将其提供给上述差分电路710。对于B-图片而言，生成具有双向运动补偿的预测的图像数据，并将其提供给上述差分电路710。运动补偿预测电路721还将所生成的图像数据作为用于后续局部解码的预测的图像提供给加电路719。
比例控制电路727根据诸如从缓冲器714获得的过去生成的代码量和缓冲器填充因数以及代码量比设置电路726（将在下文说明）的设置值的信息执行对待编码的图片的代码量分配控制，以实现目标编码比例。此时，比例控制电路727通过基于分配给各图片类型的代码量判断量化标度Q来控制量化电路712。量化后的生成代码量在I-图片、P-图片和B-图片之间不同。因此，量化标度Q根据图片类型而改变。
作为本实施例的特性特征的闪烁抑制控制电路716根据由照相机控制电路725提供的照相机增益设置值和锐度设置值控制平滑电路724的平滑处理和代码量比设置电路726。闪烁抑制控制电路716控制代码量比设置电路726，以改变分配给各图片类型的代码量比，从而在提高增益时抑制亮度闪烁。
图8示出用以说明由照相机增益和锐度设置控制代码量的分配比的图a和b。图8的图a示出用于控制代码量的分配比的量化标度比控制。为了方便说明，图8的图a仅示出B-图片的控制特性。符号a、b、c表示与锐度设置强度（高、中、低）一致的、根据照相机增益的B-图片的量化标度比的改变。量化标度的改变的阈值在a、b和c之间不同。当照相机增益超过+3、+6和+9dB时，B-图片的量化标度比降低。结果，B-图片的生成的代码量比增大。通常，当锐度设置高时，作为高频分量的噪声成分的峰值也增强，因而由噪声生成的亮度峰值增大。因而，在本实施例中，根据锐度强度改变对应于照相机增益的量化标度比改变的阈值。如果锐度高，则量化标度比将从低照相机增益降低。
图8的图b示出如下状态：分配代码量比随着图8的图a中的根据照相机增益和锐度设置的量化标度比控制而改变。如图8的图a中所示，a、b、c表示与锐度设置强度（高、中、低）一致的、根据照相机增益的B-图片的分配代码量比的改变。
在图8所示的例子中，照相机增益具有预定阈值，从而分两个步骤控制量化标度比。还可以使量化标度比与照相机增益成比例地改变。
图9示出根据锐度设置的与照相机增益成比例的代码量的分配比的控制。图9的图a示出用于控制代码量的分配比的量化标度比控制。为了方便说明，图9的图a仅示出B-图片的控制特性。符号a、b、c表示与锐度设置强度（高、中、低）一致的、根据照相机增益的B-图片的量化标度比的改变。量化标度的改变的阈值在a、b和c之间不同。当照相机增益超过+3、+6和+9dB时，B-图片的量化标度比根据照相机增益降低。结果，B-图片的生成的代码量比增大。此外，量化标度的改变的斜率在在a、b和c之间不同。锐度越高，随着增益的提高量化标度比下降得越快。在本实施例中，根据锐度强度改变对应于照相机增益的量化标度比改变的阈值。此外，还根据锐度强度改变量化标度比下降速率。如果锐度高，则量化标度比将从低照相机增益降低。
图9的图b示出如下状态：分配代码量比随着图9的图a中的根据锐度设置的与照相机增益成比例的量化标度比控制而改变。如图9的图a中所示，符号a、b、c表示与锐度设置强度（高、中、低）一致的、根据照相机增益的B-图片的分配代码量比的改变。
如上所述，在本实施例中，P-和B-图片的分配代码量比根据照相机增益和锐度设置而增大。其允许在对P-和B-图片编码时，随着增益的提高抑制噪声成分的峰值的损失。该配置能够在再现编码图像数据时降低亮度闪烁。
在本实施例中，闪烁抑制控制电路716控制上述平滑电路724的空间或时间平滑或者空间和时间平滑。在将控制平滑处理的配置与上述控制代码量分配的配置相结合时，可以预期能够取得增效的效果。
在平滑控制的详细配置中，平滑电路724以对应于照相机增益和锐度设置的强度执行平滑，以抑制噪声成分本身的峰值，并降低因I-图片的噪声成分而导致的亮度峰值。这样做能够降低在对P-和B-图片编码时噪声的亮度峰值的降低导致的差异。因此，能够抑制图片之间的亮度闪烁。此外，该平滑处理还抑制向P-和B-图片的噪声成分输入。其还通过增大代码量分配比抑制取决于编码的噪声的亮度峰值的降低。
图10的图a示出根据照相机增益和锐度设置的平滑强度控制的例子。符号a、b、c表示与锐度设置强度（高、中、低）一致的、根据照相机增益的平滑强度。平滑强度的改变的阈值在在a、b和c之间不同。当照相机增益超过+3、+6和+9dB时，执行平滑处理。
图10的图b示出对应于图10的图a中的平滑强度的改变的空间滤波器的频带特性。L1001表示在不执行平滑处理时获得的频带特性。该特性对应于图10的图a中的没有平滑处理（平滑强度：0）的区域。L1002表示在执行平滑处理时获得的频带特性。该特性对应于图10的图a中的平滑处理有效的区域。
在图10所示的例子中，照相机增益具有预定阈值，从而分两个步骤改变平滑特性（在一个模式下通过整个频带）。还可能使平滑强度与照相机增益成比例改变。图11的图a示出根据锐度设置与照相机增益成比例的平滑强度控制。符号a、b、c表示与锐度设置强度（高、中、低）一致的、根据照相机增益的平滑强度。平滑强度的改变的阈值在在a、b和c之间不同。在照相机增益超过+3、+6和+9dB时，平滑强度根据照相机增益而增大至预定上限。增大的斜率根据锐度设置发生改变。如果锐度设置高，则即使在低照相机增益下，平滑强度也高。图11的图b示出对应于图11的图a中的平滑强度的改变的空间滤波器的频带特性。当照相机增益为+6dB～+12dB时，空间滤波器的通带根据照相机增益逐渐变窄。
如上所述，在本实施例中，根据照相机增益和锐度设置共同控制各图片类型的分配代码量比和图像信号平滑强度。这样使得在最小化例如由平滑导致的分辨率下降或残像的不利影响时有效率地降低噪声闪烁。即使在将用于商业使用的照相机设备用于包含噪声作为拍摄效果的拍摄时，也能够在充分使用噪声的效果的同时降低闪烁。
第三实施例
图12是示出作为第三实施例的根据本发明的图像信号处理设备的又一实施例的数字摄像机的框图。附图标记1202表示照相机单元；1201表示包括镜头光学***和诸如CCD的光电转换单元的照相机。照相机1201所拍摄的模拟运动图像信号通过拍摄图像信号处理电路1203经过诸如A/D转换、像素插值、颜色转换和γ转换的处理。
照相机控制电路1205基于例如拍摄图像的亮度执行照相机1201的诸如曝光控制的处理。与在第一实施例中一样，照相机控制电路1205根据需要控制拍摄图像信号处理电路1203的放大器增益。
拍摄图像信号处理电路1203将其输出作为来自照相机单元1202的图像信号提供给平滑电路1224。平滑电路1224包括限制图像信号的空间频带的可变频带专用滤波器、执行各像素的时间平滑的可变时间滤波器或其组合。在第一实施例中详细说明了平滑电路1224，因此这里将省略对其的重复说明。
将来自平滑电路1224的输出作为待编码的图像数据提供给帧重排电路1209。帧重排电路1209按照编码顺序对帧进行重新排列。
对于I-图片而言，差分电路1210将图像数据本身输出至DCT电路1211。对于P-图片和B-图片而言，差分电路1210计算图像数据和预测的图像之间的差值，并通过选择开关1223将该差值输出至DCT电路1211。DCT电路1211将该图像数据转换为DCT系数。量化电路1212使用预定量化标度Q量化该DCT系数。
变长编码电路1213对从量化电路1212输出的量化系数进行例如熵编码，并将其作为编码的数据输出。缓冲器1214暂时存储所生成的编码的数据，以控制编码比例。以预定的比例读取存储在缓冲器1214中的编码的数据，并将其作为压缩编码的数据从端子1215输出。可以将输出的压缩编码的数据有效率地记录在诸如磁带、盘或半导体存储器的记录介质上，或者使用网络或交换信道有效率地传输压缩编码的数据。
另一方面，由量化电路1212量化的系数数据经过反量化电路1211进行反量化并经过反DCT电路1218进行反D CT，以获得预测的图像数据。对于I-图片而言，加电路1219将反DCT后的数据直接存储在视频存储器1220中。对于P-图片和B-图片而言，加电路1219将预测的图像加到P-图片和B-图片上，并将其作为局部解码的图像数据存储在视频存储器1220中。运动补偿预测电路1221将存储在视频存储器1220内的局部解码的图像数据与输入图像数据进行比较。对于P-图片而言，生成具有沿前向的运动补偿的预测的图像数据，并将其提供给上述差分电路1210。对于B-图片而言，生成具有双向运动补偿的预测的图像数据，并将其提供给上述差分电路1210。运动补偿预测电路1221还将所生成的图像数据作为用于后续局部解码的预测的图像提供给加电路1219。
目标比特率设置电路1228根据例如用户的编码方式选择指令计算目标比特率，并将信息提供给比例控制电路1227和闪烁抑制控制电路1216。
比例控制电路1227根据诸如从缓冲器1214获得的过去生成的代码量和缓冲器填充因数、来自上述目标比特率设置电路1228的信息以及代码量比设置电路1226（将在下文说明）的设置值的信息执行待编码的图片的代码量分配控制，以实现目标编码比例。此时，比例控制电路1227通过基于分配给各图片类型的代码量确定量化标度Q来控制量化电路1212。量化后的生成代码量在I-图片、P-图片和B-图片之间不同。因此，量化标度Q根据图片类型改变。
作为本实施例的特性特征的闪烁抑制控制电路1216根据从照相机控制电路1205提供的照相机增益设置值和由上述目标比特率设置电路1228提供的目标比特率值来控制平滑电路1224的平滑处理和代码量比设置电路1226。闪烁抑制控制电路1216控制代码量比设置电路1226，以改变分配给各图片类型的代码量比，从而在提高增益时抑制亮度闪烁。
图13示出用以说明由照相机增益和目标比特率值控制代码量的分配比的图a和b。图13的图a示出用于控制代码量的分配比的量化标度比控制。为了方便说明，图13的图a仅示出B-图片的控制特性。符号a、b、c表示与目标比特率（低、中、高）一致的、根据照相机增益的B-图片的量化标度比的变化。量化标度的改变的阈值在a、b和c之间不同。当照相机增益超过+3、+6和+9dB时，B-图片的量化标度比降低。结果，B-图片的生成的代码量比增大。通常，目标比特率越低，在对P-图片和B-图片编码时由噪声成分引起的亮度峰值的下降越大。因此，亮度闪烁轻易变得显著。因而，在本实施例中，根据目标比特率改变对应于照相机增益的量化标度比改变的阈值。如果目标比特率低，则量化标度比将从低照相机增益降低。
图13的图b示出如下状态：分配代码量比随着图13的图a中的根据照相机增益和目标比特率值的量化标度比控制而改变。像图13的图a一样，符号a、b、c表示与目标比特率（低、中、高）一致的、根据照相机增益的B-图片的分配代码量比的改变。
在图13所示的例子中，照相机增益具有预定阈值，从而分两个步骤控制量化标度比。还可以使量化标度比与照相机增益按比例地改变。
图14示出根据目标比特率值、与照相机增益成比例的代码量的分配比的控制。图14的图a示出用于控制代码量的分配比的量化标度比控制。为了方便说明，图14的图a仅示出B-图片的控制特性。符号a、b、c表示与目标比特率（高、中、低）一致的、根据照相机增益的B-图片的量化标度比的变化。量化标度的改变的阈值在a、b和c之间不同。当照相机增益超过+3、+6和+9dB时，B-图片的量化标度比根据照相机增益降低。结果，B-图片的生成的代码量比增大。另外，量化标度的改变的斜率在a、b和c之间不同。目标比特率越低，随着增益的提高量化标度比下降得越快。在本实施例中，根据目标比特率改变对应于照相机增益的量化标度比改变的阈值。另外，还根据目标比特率改变量化标度比下降速率。如果目标比特率低，则量化标度比将从低照相机增益降低。
图14的图b示出如下状态：分配代码量比随着图14的图a中的根据目标比特率值、与照相机增益成比例的量化标度比控制而改变。像图14的图a中一样，符号a、b、c表示与目标比特率（低、中、高）一致的、根据照相机增益的B-图片的分配代码量比的改变。
如上所述，在本实施例中，P-和B-图片的分配代码量比随着照相机增益的增大而增大。这使得在对P和B-图片编码时，随着增益的提高抑制噪声成分的峰值的损失。该配置能够在再现编码图像数据时降低亮度闪烁。
在本实施例中，闪烁抑制控制电路1216控制上述平滑电路1224的空间或时间平滑或者空间和时间平滑。在将控制平滑处理的配置与上述控制代码量分配的配置相结合时，可以预期能够取得增效效果。
在平滑控制的详细配置中，平滑电路1224以对应于照相机增益和目标比特率值的强度执行平滑，以抑制噪声成分本身的峰值，并降低因I-图片的噪声成分而导致的亮度峰值。这使得能够降低在对P-和B-图片编码时由噪声的亮度峰值的降低导致的差异。结果，能够抑制图片之间的亮度闪烁。另外，平滑处理还抑制向P-和B-图片的噪声成分输入。其还通过提高代码量分配比抑制取决于编码的噪声的亮度峰值的降低。
根据照相机增益和目标比特率值的平滑强度控制的内容与参考图10和11说明的根据照相机增益和锐度设置的平滑控制的内容相同，因此将省略对其的说明。
如上所述，在本实施例中，根据照相机增益和目标比特率值共同控制各图片类型的分配代码量比和图像信号平滑强度。这样使得在最小化例如由平滑导致的分辨率下降或残像的不利影响时有效率地降低噪声闪烁。即使在将用于商业使用的照相机设备用于包含噪声作为拍摄效果的拍摄时，也能够在充分利用噪声的效果时降低闪烁。
如上所述根据本发明，根据照相机增益共同控制各图片类型的分配代码量比和图像信号平滑强度。这使得即使在以提高的增益拍摄的图像的S/N比低时，也能够在最小化例如分辨率的降低或由平滑导致的残像的不利影响时，有效率地降低由噪声导致的亮度闪烁。另外，即使在拍摄含有为了获得拍摄效果而有意添加的噪声的图像时，也有可能在充分利用噪声的效果时降低亮度闪烁。
其它实施例
可以通过使计算机的CPU（中央处理单元）从存储器读取实现各处理的功能的程序并执行该程序来实现上述实施例的照相机控制电路、闪烁抑制控制电路、代码量比设置电路和比例控制电路的处理的功能。
CPU访问的存储器的例子为诸如HDD、光盘和闪存的非易失存储器、诸如CD-ROM的只读记录介质、除RAM的易失存储器以及由其组合构成的计算机可读/可写记录介质。
可以将用于实现上述实施例的照相机控制电路、闪烁抑制控制电路、代码量比设置电路和比例控制电路的处理的功能的程序记录到计算机可读记录介质上，从而使得计算机***能够加载并执行记录在记录介质上的程序，以完成所述处理。“计算机***”包括OS和诸如***装置的硬件。具体地说，在将从存储介质读取的程序写入到插在计算机中的功能扩展板或连接至计算机的功能扩展单元的存储器内，并且功能扩展板或功能扩展单元的CPU在该程序的指令的基础上部分或全部执行实际处理时，可以实现上述实施例的功能。
“计算机可读记录介质”是指包括诸如CD-ROM或DVD的光盘和半导体存储卡的便携式介质或者诸如包含在计算机***内的硬盘的存储装置。“计算机可读记录介质”还包括在通过诸如因特网的网络或者诸如电话线的通信线路传输程序时将该程序保存预定时间的装置，例如，起着服务器或客户端作用的计算***中的易失存储器（RAM）。
可以通过传输介质或传输介质中的传输波将所述程序从将其存储在存储装置内的计算机***传输至其它计算机***。传输程序的“传输介质”是指具有传输信息的功能的介质，例如，诸如因特网的网络（通信网络）或诸如电话线的通信线路。
所述程序可以实现一些上述功能。所述程序可以是通过将上述功能与已经记录的程序相结合实现的所谓的差异文件（差异程序）。
诸如记录所述程序的计算机可读记录介质的程序产品也可作为本发明的实施例应用。本发明涵盖了程序、记录介质、传输介质和程序产品。
已参考附图详细说明了本发明的实施例。具体配置不限于这些实施例，还包括不背离本发明的精神和范围的设计。
尽管已经参考典型实施例说明了本发明，但应当理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以涵盖所有的此类修改、等同结构和功能。
本申请要求2005年11月9日提交的日本专利申请2005-324784的优先权，在此通过引用将其全文并入与此。

Claims (17)

1.一种图像信号处理设备，其用于将图像信号中包含的图片划分为多个图片类型，并对所述图像信号进行压缩编码，所述图像信号处理设备包括：
获取单元，用于获取所述图像信号的增益设置值；
压缩编码单元，用于对所述图像信号执行压缩编码；
代码量比设置电路，用于改变要分配给各图片类型的代码量比；
闪烁抑制控制电路，用于根据所述获取单元获取的所述增益设置值控制所述代码量比设置电路；以及
比例控制电路，用于根据从缓冲器中获得的过去生成的代码量和缓冲器填充因数以及所述代码量比设置电路的设置值执行各图片类型的代码量分配控制，以改变要分配给一个图片类型的代码量和要分配给其它各图片类型的代码量之间的分配比，所述缓冲器暂时保存所述压缩编码单元所生成的编码数据；
其中，所述图片类型为I-图片、P-图片和B-图片，当所述增益设置值大于预定值时，所述比例控制电路提高要分配给P-图片和B-图片的代码量相对于要分配给I-图片的代码量的分配比。
2.根据权利要求1所述的图像信号处理设备，其特征在于，还包括用于执行所述图像信号的平滑处理的平滑单元，
其中，所述压缩编码单元被设置在所述平滑单元的后续级上，以及所述闪烁抑制控制电路根据所述获取单元获取的所述增益设置值控制所述平滑单元，从而改变所述平滑单元的平滑处理的强度，
其中，当所述增益设置值大于预定值时，所述平滑单元执行平滑处理。
3.根据权利要求1所述的图像信号处理设备，其特征在于，所述比例控制电路改变要分配给P-图片和B-图片的代码量与要分配给I-图片的代码量的分配比，所述分配比与所述增益设置值成比例改变。
4.根据权利要求1或2所述的图像信号处理设备，其特征在于，通过改变I-图片的量化标度表示值与P-图片和B-图片的量化标度表示值的比，来改变所述分配比。
5.根据权利要求2所述的图像信号处理设备，其特征在于，所述平滑单元执行空间平滑处理、时间平滑处理、或所述空间平滑处理和所述时间平滑处理。
6.根据权利要求1或2所述的图像信号处理设备，其特征在于，还包括用于通过拍摄生成所述图像信号的照相机单元，所述照相机单元具有用于执行所生成的图像信号的增益调整并输出所述增益设置值的配置，
其中，所述获取单元获取从所述照相机单元输出的所述增益设置值。
7.根据权利要求1所述的图像信号处理设备，其特征在于，还包括用于指定所述压缩编码单元的压缩编码的目标比特率的指定单元，
其中，所述闪烁抑制控制电路根据所述增益设置值和所述指定单元指定的所述目标比特率控制所述代码量比设置电路，所述比例控制电路根据所述过去生成的代码量和缓冲器填充因数、所述目标比特率以及所述代码量比设置电路的设置值执行各图片类型的代码量分配控制，并通过改变I-图片的量化标度表示值与P-图片和B-图片的量化标度表示值的量化标度比来改变所述分配比，
其中，所述比例控制电路根据所述目标比特率改变对应于所述增益设置值的量化标度比改变的阈值，如果所述目标比特率较低，则所述量化标度比将从较低的所述增益设置值降低。
8.根据权利要求1所述的图像信号处理设备，其特征在于，还包括用于执行所述图像信号的平滑处理的平滑单元以及用于指定所述压缩编码单元的压缩编码的目标比特率的指定单元，
其中，所述压缩编码单元被设置在所述平滑单元的后续级上，以及所述闪烁抑制控制电路根据所述增益设置值和所述指定单元指定的所述目标比特率控制所述平滑单元，从而改变所述平滑处理的强度；
其中，当所述增益设置值大于由所述目标比特率定义的预定值时，所述平滑单元执行所述图像信号的平滑处理。
9.根据权利要求1或2所述的图像信号处理设备，其特征在于，所述获取单元从照相机单元获取所述图像信号的所述增益设置值，所述图像信号由所述照相机单元生成。
10.一种图像信号处理设备，其用于将图像信号中包含的图片划分为多个图片类型，并对所述图像信号进行压缩编码，所述图像信号处理设备包括：
获取单元，用于获取所述图像信号的增益调整的增益设置值和所述图像信号的锐度调整的锐度设置值；
平滑单元，用于执行所述图像信号的平滑处理；
压缩编码单元，其被设置在所述平滑单元的后续级上，用于对所述图像信号执行压缩编码；
代码量比设置电路，用于改变要分配给各图片类型的代码量比；
闪烁抑制控制电路，用于根据由所述获取单元获取的所述增益设置值和所述锐度设置值控制所述代码量比设置电路及所述平滑单元，以改变所述平滑单元的平滑处理的强度；以及
比例控制电路，用于根据从缓冲器中获得的过去生成的代码量和缓冲器填充因数以及所述代码量比设置电路的设置值执行各图片类型的代码量分配控制，以改变要分配给一个图片类型的代码量和要分配给其它各图片类型的代码量之间的分配比，所述缓冲器暂时保存所述压缩编码单元所生成的编码数据；
其中，所述图片类型为I-图片、P-图片和B-图片，当所述增益设置值大于由所述锐度设置值定义的预定值时，所述比例控制电路提高要分配给P-图片和B-图片的代码量相对于要分配给I-图片的代码量的分配比，
当所述增益设置值大于由所述锐度设置值定义的预定值时，所述平滑单元执行所述图像信号的平滑处理。
11.根据权利要求10所述的图像信号处理设备，其特征在于，所述比例控制电路改变要分配给P-图片和B-图片的代码量与要分配给I-图片的代码量的分配比，所述分配比以由所述锐度设置值定义的比例与所述增益设置值成比例改变。
12.根据权利要求10所述的图像信号处理设备，其特征在于，通过改变将I-图片的量化标度表示值与P-图片和B-图片的量化标度表示值的比来改变所述分配比。
13.根据权利要求10所述的图像信号处理设备，其特征在于，所述平滑单元执行空间平滑处理、时间平滑处理、或所述空间平滑处理和所述时间平滑处理。
14.根据权利要求10所述的图像信号处理设备，其特征在于，所述闪烁抑制控制电路提高平滑处理的强度，所述平滑处理的强度以所述锐度设置值定义的比例与所述增益设置值成比例改变。
15.根据权利要求10所述的图像信号处理设备，其特征在于，还包括用于通过拍摄生成所述图像信号的照相机单元，所述照相机单元具有用于执行所生成的图像信号的增益调整和锐度调整，并输出所述增益设置值和所述锐度设置值的配置，
其中，所述获取单元获取从所述照相机单元输出的所述增益设置值和所述锐度设置值。
16.根据权利要求10所述的图像信号处理设备，其特征在于，所述获取单元从照相机单元获取所述增益设置值和所述锐度设置值，所述图像信号由所述照相机单元生成。
17.一种图像信号处理设备的控制方法，所述图像信号处理设备用于将图像信号中包含的图片划分为多个图片类型，并对所述图像信号进行压缩编码，所述控制方法包括以下步骤：
获取所述图像信号的增益设置值；
根据所述增益设置值控制代码量比设置电路，以改变要分配给各图片类型的代码量比；
根据过去生成的代码量和缓冲器填充因数以及所述代码量比设置电路的设置值执行各图片类型的代码量分配控制，以设置各图片类型的代码量的分配比；以及
根据所设置的比对所述图像信号进行压缩编码；
其中，所述图片类型为I-图片、P-图片和B-图片，
当所述增益设置值大于预定值时，提高要分配给P-图片和B-图片的代码量相对于要分配给I-图片的代码量的分配比。
CN2006800419714A 2005-11-09 2006-11-08 图像信号处理设备 Expired - Fee Related CN101305617B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005324784A JP4794987B2 (ja) 2005-11-09 2005-11-09 映像信号処理装置
JP324784/2005 2005-11-09
PCT/JP2006/322690 WO2007055389A2 (en) 2005-11-09 2006-11-08 Image signal processing apparatus

Publications (2)

Publication Number Publication Date
CN101305617A CN101305617A (zh) 2008-11-12
CN101305617B true CN101305617B (zh) 2013-02-20

Family

ID=37906920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800419714A Expired - Fee Related CN101305617B (zh) 2005-11-09 2006-11-08 图像信号处理设备

Country Status (5)

Country Link
US (2) US8229004B2 (zh)
EP (1) EP1949705B1 (zh)
JP (1) JP4794987B2 (zh)
CN (1) CN101305617B (zh)
WO (1) WO2007055389A2 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4794987B2 (ja) 2005-11-09 2011-10-19 キヤノン株式会社 映像信号処理装置
JP4936557B2 (ja) * 2008-01-24 2012-05-23 キヤノン株式会社 符号化装置
JP5081729B2 (ja) * 2008-06-03 2012-11-28 株式会社日立国際電気 画像符号化装置
JP5136470B2 (ja) * 2009-03-06 2013-02-06 富士通株式会社 動画像符号化装置及び動画像符号化方法
JP2011029954A (ja) * 2009-07-27 2011-02-10 Sony Corp 画像符号化装置と画像符号化方法
JP5762026B2 (ja) * 2011-02-01 2015-08-12 キヤノン株式会社 画像処理装置
JP2012227955A (ja) * 2012-07-12 2012-11-15 Hitachi Kokusai Electric Inc 画像符号化装置
US9215411B2 (en) 2014-02-03 2015-12-15 Google Inc. Enhancing video conferences
US9635212B2 (en) * 2014-05-30 2017-04-25 Apple Inc. Dynamic compression ratio selection
JP6381380B2 (ja) * 2014-09-08 2018-08-29 キヤノン株式会社 撮像装置、制御方法及びそのプログラム
EP3300363B1 (en) * 2015-12-15 2018-08-29 Axis AB A bit rate controller and a method for limiting output bit rate
EP3379830B1 (en) * 2017-03-24 2020-05-13 Axis AB A method, a video encoder, and a video camera for encoding a video stream
EP3557872A1 (en) * 2018-04-16 2019-10-23 InterDigital VC Holdings, Inc. Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity
CN111200734B (zh) 2018-11-19 2022-03-11 浙江宇视科技有限公司 视频编码方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1150740A (zh) * 1995-08-28 1997-05-28 三星电子株式会社 图象信号编码装置及编码方法
US5926224A (en) * 1995-07-31 1999-07-20 Sony Corporation Imaging, system, video processing apparatus, encoding apparatus, encoding method, and method of removing random noise
CN1237311A (zh) * 1997-07-08 1999-12-01 索尼公司 视频数据编码装置、编码方法、传送装置和记录介质
JP2001028753A (ja) * 1999-07-13 2001-01-30 Victor Co Of Japan Ltd 動画像符号化装置及びその方法
CN1373611A (zh) * 2001-02-28 2002-10-09 株式会社东芝 运动图像编码装置以及运动图像编码方法
JP2003023637A (ja) * 2001-07-06 2003-01-24 Sony Corp 画像符号化方法および画像符号化装置
CN1465192A (zh) * 2001-06-07 2003-12-31 索尼公司 和摄像机组合的视频记录/再现装置及其记录控制方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69026143T2 (de) 1989-06-07 1996-08-22 Canon Kk Kodefehler korrigierende Vorhersage-Decodiervorrichtung
EP0858074B1 (en) 1989-07-13 2001-10-17 Canon Kabushiki Kaisha Encoding device and decoding device suitable for dubbing
US6718122B1 (en) 1991-01-18 2004-04-06 Canon Kabushiki Kaisha Image processing apparatus
US6219157B1 (en) 1992-06-18 2001-04-17 Canon Kabushiki Kaisha Image coding apparatus
EP0604230B1 (en) 1992-12-24 1999-03-10 Canon Kabushiki Kaisha Image signal reproducing apparatus
JPH08181987A (ja) 1994-12-22 1996-07-12 Canon Inc 符号化装置
JP3767007B2 (ja) * 1996-03-27 2006-04-19 ソニー株式会社 符号化装置および符号化方法
US6690410B1 (en) * 1999-06-09 2004-02-10 Olympus Optical Co., Ltd. Image processing unit with expandable image signal processing capability and endoscopic imaging system
JP4208342B2 (ja) * 1999-05-14 2009-01-14 キヤノン株式会社 画像記録装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2001313906A (ja) * 2000-04-27 2001-11-09 Hitachi Ltd デジタルカメラ
US6895050B2 (en) * 2001-04-19 2005-05-17 Jungwoo Lee Apparatus and method for allocating bits temporaly between frames in a coding system
JP4072347B2 (ja) * 2002-01-18 2008-04-09 キヤノン株式会社 画像処理装置
US7570390B2 (en) * 2003-01-09 2009-08-04 Sony Corporation Image processing device and method
JP4759360B2 (ja) * 2005-10-07 2011-08-31 キヤノン株式会社 画像処理装置
JP4423214B2 (ja) * 2005-02-23 2010-03-03 キヤノン株式会社 画像処理装置
US8634458B2 (en) 2005-02-23 2014-01-21 Canon Kabushiki Kaisha Image processing apparatus
JP4794987B2 (ja) 2005-11-09 2011-10-19 キヤノン株式会社 映像信号処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5926224A (en) * 1995-07-31 1999-07-20 Sony Corporation Imaging, system, video processing apparatus, encoding apparatus, encoding method, and method of removing random noise
CN1150740A (zh) * 1995-08-28 1997-05-28 三星电子株式会社 图象信号编码装置及编码方法
CN1237311A (zh) * 1997-07-08 1999-12-01 索尼公司 视频数据编码装置、编码方法、传送装置和记录介质
JP2001028753A (ja) * 1999-07-13 2001-01-30 Victor Co Of Japan Ltd 動画像符号化装置及びその方法
CN1373611A (zh) * 2001-02-28 2002-10-09 株式会社东芝 运动图像编码装置以及运动图像编码方法
CN1465192A (zh) * 2001-06-07 2003-12-31 索尼公司 和摄像机组合的视频记录/再现装置及其记录控制方法
JP2003023637A (ja) * 2001-07-06 2003-01-24 Sony Corp 画像符号化方法および画像符号化装置

Also Published As

Publication number Publication date
JP4794987B2 (ja) 2011-10-19
US8229004B2 (en) 2012-07-24
US20120262598A1 (en) 2012-10-18
WO2007055389A3 (en) 2007-12-06
WO2007055389A2 (en) 2007-05-18
EP1949705B1 (en) 2014-06-04
JP2007134880A (ja) 2007-05-31
US20090096883A1 (en) 2009-04-16
CN101305617A (zh) 2008-11-12
WO2007055389B1 (en) 2008-02-07
EP1949705A2 (en) 2008-07-30

Similar Documents

Publication Publication Date Title
CN101305617B (zh) 图像信号处理设备
US5291282A (en) Image data coding apparatus and method capable of controlling amount of codes
US8634458B2 (en) Image processing apparatus
WO2021244341A1 (zh) 图像编码方法及装置、电子设备及计算机可读存储介质
US8013910B2 (en) Imaging apparatus, imaging circuit and imaging method
CN101371589B (zh) 用以提高视频编码器性能的自适应滤波方法及***
KR101241971B1 (ko) 화상 신호 처리장치, 카메라 시스템, 및 화상 신호처리방법
KR0183688B1 (ko) 영상부호화방법 및 장치
US8611426B2 (en) Image-sensing apparatus
US20170118491A1 (en) Coding method and decoding processing method
KR20070027605A (ko) 화상 압축 처리 장치, 화상 압축 처리 방법 및 화상 압축처리 프로그램
JP2018101863A (ja) 画像処理装置、画像処理方法及びプログラム
KR20060109828A (ko) 화상 신호 처리 장치, 카메라 시스템, 및 화상 신호 처리방법
JP2018101866A (ja) 画像処理装置、画像処理方法及びプログラム
JP2018101867A (ja) 画像処理装置、画像処理方法及びプログラム
US10003801B2 (en) Image capturing apparatus that encodes and method of controlling the same
JP4724639B2 (ja) 撮像装置
KR100921063B1 (ko) 화상 처리 장치 및 방법, 화상 처리 프로그램을 기록한 기록 매체, 양자화 제어 장치 및 방법, 및 양자화 제어 프로그램을 기록한 기록 매체
JP2018088652A (ja) 撮像装置、画像処理方法、及び、プログラム
JPWO2002080575A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
US10951891B2 (en) Coding apparatus capable of recording raw image, control method therefor, and storage medium storing control program therefor
JP2001313906A (ja) デジタルカメラ
JP7256629B2 (ja) 画像符号化装置及びその制御方法及びプログラム
JP3128336B2 (ja) 動画像符号化装置
JP4626644B2 (ja) 符号化装置、符号化方法、プログラム、及び、撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130220

Termination date: 20161108

CF01 Termination of patent right due to non-payment of annual fee