CN101690171B - 摄像装置、集成电路及摄像方法 - Google Patents

摄像装置、集成电路及摄像方法 Download PDF

Info

Publication number
CN101690171B
CN101690171B CN200880023966XA CN200880023966A CN101690171B CN 101690171 B CN101690171 B CN 101690171B CN 200880023966X A CN200880023966X A CN 200880023966XA CN 200880023966 A CN200880023966 A CN 200880023966A CN 101690171 B CN101690171 B CN 101690171B
Authority
CN
China
Prior art keywords
frame
brightness
reference frame
mentioned
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200880023966XA
Other languages
English (en)
Other versions
CN101690171A (zh
Inventor
渊上龙司
渊上郁雄
木村智生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101690171A publication Critical patent/CN101690171A/zh
Application granted granted Critical
Publication of CN101690171B publication Critical patent/CN101690171B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

一种摄像装置、集成电路及摄像方法，帧亮度检测部(15)检测每个帧的帧亮度值，闪烁波谱检测部(16)根据512帧的帧亮度值检测频率100Hz、200Hz、300Hz等的波谱值，亮度推测部(17)根据这些波谱值推测光源的亮度推测值。编码部(18)使用光源的亮度推测值的倒数进行参照帧的决定并且将该倒数用作评价函数的系数而进行运动矢量的检测，使用运动矢量的检测结果进行图像帧的编码。

Description

摄像装置、集成电路及摄像方法
技术领域
本发明涉及在有闪烁(flicker)的环境下高速摄影的图像的编码技术。
背景技术
在动态图像编码中，在MPEG(Moving Picture Experts Group：运动图像专家组)方式等中，在运动估计中作为评价函数使用例如称作宏块(macroblock)的特定尺寸的矩形区域中的亮度的绝对值差。例如，在宏块的尺寸是l×m的情况下，绝对值差SAD用下述的式(1)表示。
[式1]
SAD ( n ′ , x ′ , y ′ )
= Σ i = 0 l Σ j = 0 m | f n ( x + i , y + j ) - f n - n ′ ( x + x ′ + i , y + y ′ + j ) | . . . ( 1 )
其中，||是表示绝对值的符号。此外，fn(x，y)是帧号码n的图像帧(编码对象的图像帧)中的坐标(x，y)的亮度值，fn-n’(x，y)是帧号码n-n′的图像帧(参照帧)中的坐标(x，y)的亮度值。
在运动估计中，搜索绝对值差SAD为最小的n′、x′、y′的组合，进行参照帧的决定及运动矢量的检测。另外，有如MPEG-4AVC(H.264)那样能够某种程度上任意地指定n′的方式、及如MPEG-4 Simple Profile那样将n′固定为1的方式等。
如果在帧号码n的图像帧和帧号码n-n′的图像帧中摄像时的光源的亮度值不同，则由式(1)求出的绝对值差与原本的物体的运动无关，偶然在亮度值接近的地方成为最小值，压缩率降低。
作为荧光灯闪烁除去技术，提出了根据由摄像机构拍摄的图像进行二阶以上的波谱分析、修正图像的技术(例如参照专利文献1)，使用图10对其概要进行说明。
在摄像装置100中，对于用由CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)图像传感器构成的摄像部101拍摄的图像，亮度检测部102以线单位进行亮度的测量。闪烁波谱检测部103利用傅里叶变换分析亮度值的频率成分，进行荧光灯闪烁的成分的提取，进行荧光灯闪烁的波形的推测。接着，亮度修正系数产生部104基于推测出的荧光灯闪烁的波形产生亮度修正系数，以抵消荧光灯闪烁的成分，增益调节部105基于亮度修正系数进行所拍摄的图像的增益调节，修正亮度。摄像装置100虽然不是以高速度摄影为对象的装置，但通过考虑CMOS图像传感器的每个像素的摄像定时的偏差，预测闪烁波谱直到较高的频率成分，能够进行更正确的亮度修正。
此外，作为考虑到图像帧间的光源的亮度变化的动态图像编码技术，提出了将参照帧亮度修正以使其与编码对象的图像帧的亮度值相同后进行运动估计的技术(例如参照专利文献2)，利用图11对其概要进行说明。
在摄像装置200中，由摄像部201拍摄的图像被记录到输入图像帧记录部202中。增益检测部208检测记录在输入图像帧记录部02中的图像帧与记录在参照图像帧记录部207中的参照帧之间的亮度差，增益调节部209基于亮度差进行参照帧的亮度修正。运动估计部203在图像帧与亮度修正后的参照帧之间进行运动估计，编码部204将运动估计的结果得到的信号编码，将编码数据储存到记录部205中。此外，解码部206将编码数据解码，将通过解码得到的参照帧记录到参照图像帧记录部207中。摄像装置200即使在图像帧的亮度值因荧光灯闪烁等的影响而变化的情况下，也能够维持较高的压缩率。
另外，作为表示有关动态图像编码的并行化的技术水准的技术，有使编码部并行动作的技术(例如参照专利文献3)，使用图12对其概要进行说明。在摄像装置300中，由摄像部301拍摄的图像被分配部302以帧单位分配给编码部303、304、305，由编码部303、304、305编码。从编码部303、304、305输出的编码数据被合成部306合并而储存到记录部307中。该技术由于编码的处理速度提高，所以对于高速度摄影那样的要求较高编码运算能力的用途是有用的。
专利文献1：日本特开2004-222228号公报(第33页，图4)
专利文献2：日本特开2001-231045号公报(第10页，图1)
专利文献3：日本特开2007-202026号公报(第14页，图1)
但是，在高速度摄影中，有摄影的帧速率比荧光灯闪烁的频率高的情况，在此情况下，荧光灯闪烁的亮度变化没有被卷积(convolve)就被拍摄。因此，在如荧光灯闪烁除去技术那样实施了增益调节的情况下，会在图像帧间较大地发生增益调节带来的S/N比的变化，按照每个图像帧而不同的S/N比使动态图像编码效率变差。
此外，在考虑到上述图像帧间的光源的亮度的动态图像编码技术中，由于在图像帧间进行亮度修正，所以不能判断亮度差是来源于图像本来的变化、还是来源于荧光灯闪烁，在没有荧光灯闪烁、图像本来的变化带来的亮度差较大的情况下，压缩率反而下降。
发明内容
所以，本发明的目的是提供一种在拍摄了荧光灯闪烁的影像中也能够高效率地编码，并且在没有荧光灯闪烁的环境中也能够维持以往那样的压缩率的摄像装置、集成电路及摄像方法。
为了达到上述目的，本发明的摄像装置具备：摄像机构；检测机构，检测光源的闪烁的时间波形；推测机构，基于上述检测机构的检测结果，推测由上述摄像机构拍摄的图像帧的摄像时的光源的亮度；决定机构，基于由上述推测机构推测的光源的亮度推测值，决定在上述图像帧的编码中使用的编码参数；以及编码机构，基于由上述决定机构决定的编码参数，对上述图像帧进行编码。
此外，本发明的集成电路具备：检测机构，检测光源的闪烁的时间波形；推测机构，基于上述检测机构的检测结果，推测由摄像机构拍摄的图像帧的摄像时的光源的亮度；决定机构，基于由上述推测机构推测的光源的亮度推测值，决定在上述图像帧的编码中使用的编码参数；以及编码机构，基于由上述决定机构决定的编码参数，对上述图像帧进行编码。
进而，本发明的摄像方法具备：摄像步骤；检测步骤，检测光源的闪烁的时间波形；推测步骤，基于上述检测步骤的检测结果，推测上述摄像步骤中拍摄的图像帧的摄像时的光源的亮度；决定步骤，基于上述推测步骤中推测的光源的亮度推测值，决定在上述图像帧的编码中使用的编码参数；以及编码步骤，基于上述决定步骤中决定的编码参数，对上述图像帧进行编码。
根据上述摄像装置、集成电路及摄像方法中的每一个，检测光源的闪烁的时间波形，推测图像帧的摄像时(即：拍摄时)的光源的亮度，基于光源的亮度推测值进行编码参数的决定，基于决定的编码参数进行图像帧的编码。因此，即使是拍摄了荧光灯闪烁的影像也能够效率良好地编码，并且在没有荧光灯闪烁的环境中也能够维持以往那样的压缩率。
在上述摄像装置中，也可以是，上述编码参数是在运动估计中使用的参照帧；上述编码机构在上述图像帧与由上述决定机构决定为编码参数的参照帧之间进行运动矢量的检测而进行上述图像帧的编码。
由此，根据光源的亮度推测值进行参照帧的决定，所以能够按照光源的亮度的变化而使用适当的帧作为参照帧。
在上述摄像装置中，也可以是，上述决定机构从作为参照帧的候补的多个候补参照帧之中，将亮度推测值最接近于上述图像帧的摄像时的光源的亮度推测值的候补参照帧决定为参照帧。
由此，使用亮度推测值接近于图像帧的摄像时的光源的亮度推测值的候补参照帧作为参照帧，所以能够实现画质的提高。
在上述摄像装置中，也可以是，上述决定机构从多个候补参照帧之中，将光源的亮度推测值最大的候补参照帧决定为参照帧。
由此，通过使用S/N比高的候补参照帧作为参照帧，能够实现编码效率的提高。
在上述摄像装置中，也可以是，上述编码参数是运动估计中使用的评价函数的、分别相对于上述图像帧及参照帧的用来修正亮度值的系数；上述编码机构使用由上述决定机构决定为编码参数的分别相对于上述图像帧及上述参照帧的上述系数，进行运动估计，从而进行上述图像帧的编码。
由此，基于光源的亮度推测值决定评价函数的系数，所以即使有光源的亮度的变化也能够精度良好地进行运动矢量的检测。
在上述摄像装置中，也可以是，上述编码机构具备：多个副编码机构，并行地进行编码；分配机构，基于由上述决定机构决定的编码参数将上述图像帧向上述多个副编码机构的某个进行输出；上述决定机构从多个上述副编码机构之中，决定进行上述图像帧的编码的副编码机构，作为编码参数。
由此，即使在有光源的亮度的变化的状况下也能够效率良好地并行进行编码。
附图说明
图1是第1实施方式的摄像装置的结构图。
图2是图1的编码部的结构图。
图3是表示图1的摄像装置进行的图像处理的步骤的流程图。
图4是第2实施方式的摄像装置的结构图。
图5是图4的编码部的结构图。
图6是表示图4的摄像装置进行的图像处理的步骤的流程图。
图7是第3实施方式的摄像装置的结构图。
图8是图7的编码部的结构图。
图9是表示图7的摄像装置进行的图像处理的顺序的流程图。
图10是以往的具有闪烁除去功能的摄像装置的结构图。
图11是以往的具有考虑到图像帧间的光源的亮度变化的动态图像编码的功能的摄像装置的结构图。
图12是以往的并行执行动态图像编码的摄像装置的结构图。
标号说明
1摄像装置
2CCD照相机模块
3图像处理单元
4DRAM
5存储卡
6输入帧存储区域
7a～7d参照帧存储区域
11处理器
12DRAM控制部
13存储卡控制部
14图像输入部
15帧亮度检测部
16闪烁波谱检测部
17亮度推测部
18编码部
19内部总线
31运动估计部
32差分部
33DCT部
34量化部
35可变长度编码部
36逆量化部
37IDCT部
具体实施方式
以下，参照附图对本发明的实施方式进行说明。其中，本文件文本中的“编码参数”是指在进行编码处理时能够设定或选择的事项。另外，增益调节等的图像修正处理是使编码对象的图像实质地变化的处理，使编码对象的图像实质地变化的图像修正参数不包含在本文件文本中的“编码参数”中。
《第1实施方式》
以下，参照附图对本发明的第1实施方式进行说明。其中，在本实施方式中，编码参数是在运动估计中使用的参照帧、以及在运动估计中使用的后述的式(2)的评价函数中的系数Gn、Gn-n’。另外，在第1到第3的各实施方式中，摄像装置的使用地域是电源频率50Hz的地域和电源频率60Hz的地域这两个地域。
<摄像装置的结构>
参照图1对本实施方式的摄像装置的结构进行说明。图1是本实施方式的摄像装置的结构图。
摄像装置1具备CCD(Charge Coupled Device：电荷耦合器件)照相机模块2、图像处理单元3、DRAM(Dynamic Random Access Memory：动态随机存取存储器)4、和存储卡5。摄像装置1具有高速度摄影功能等，以设定的帧速率进行摄影。另外，有对摄像装置1设定的帧速率比荧光灯闪烁的频率高的情况。
CCD照相机模块2将有关所拍摄的图像的8位的亮度值(Y)及色相值(Cb、Cr)的数据交替地向图像处理单元3的后述的图像输入部14输出。
图像处理单元3是用来将从CCD照相机模块2输入的图像进行编码的单元，其详细情况在后面叙述。
在DRAM4的输入帧存储区域6中，通过图像处理单元3的图像输入部14保存着构成由CCD照相机模块2拍摄的图像的各图像帧的亮度值(Y)及色相值(Cb、Cr)的数据。此外，在DRAM4的参照帧存储区域7a～7d中，作为参照帧的候补而保存着在图像处理单元3进行的图像帧的编码时得到的图像帧。另外，将保存在参照帧存储区域7a～7d中的图像帧称作“候补参照帧”。其中，在本实施方式中，如后所述，将4个候补参照帧各1帧地保存到参照帧存储区域7a～7d中。
在存储卡5中，保存着通过图像处理单元3进行的图像编码而得到的编码数据。
[图像处理单元3的结构]
图像处理单元3如图1所示，具备处理器11、DRAM控制部12、存储卡控制部13、图像输入部14、帧亮度检测部15、闪烁波谱检测部16、亮度推测部17、编码部18、和内部总线19。处理器11、DRAM控制部12、存储卡控制部13、图像输入部14及编码部18分别连接在内部总线19上。
处理器11例如经由内部总线19控制图像处理单元3内的各部的启动。DRAM控制部12进行向DRAM4的数据写入、从DRAM4的数据读出。存储卡控制部13进行向存储卡5的数据写入、从存储卡5的数据读出。
图像输入部14将从CCD照相机模块2输入的亮度值(Y)的数据向帧亮度检测部15输出，并且将从CCD照相机模块2输入的亮度值(Y)的数据及色相值(Cb、Cr)的数据经由内部总线19向DRAM控制部12输出。由该亮度值(Y)的数据及色相值(Cb、Cr)的数据构成的图像帧被DRAM控制部12保存到输入帧存储区域6中。
帧亮度检测部15具有32位的计数器。帧亮度检测部15以帧为单位，利用计数器累计1帧内的像素的亮度值，将累计的结果得到的值(以下称作“帧亮度值”)向闪烁波谱检测部16输出。
闪烁波谱检测部16具有512个用来保存从帧亮度检测部15输入的帧亮度值的32位的缓存，能够存储512帧的帧亮度值。
如果从帧亮度检测部15对闪烁波谱检测部16输入新的帧亮度值，则闪烁波谱检测部16将保存在缓存中的最旧(最早)的帧亮度值替换为输入的新的帧亮度值。并且，闪烁波谱检测部16将保存在512个缓存中的帧亮度值以时间序列采样512个，执行高速傅里叶变换(以下称作“FFT”)而求出512个32位的波谱值。
接着，闪烁波谱检测部16为了判断是有来源于电源频率50Hz的荧光灯闪烁的成分、还是有来源于电源频率60Hz荧光灯闪烁的成分而进行以下的处理。
闪烁波谱检测部16将100Hz的波谱值与120Hz的波谱值进行比较。
在100Hz的波谱值比120Hz的波谱值大的情况下，闪烁波谱检测部16将100Hz的波谱值与阈值比较，在100Hz的波谱值超过阈值的情况下判断为有来源于电源频率50Hz的荧光灯闪烁的成分，在不超过的情况下判断为没有荧光灯的闪烁的成分。
另一方面，在100Hz的波谱值不比120Hz的波谱值大的情况下，闪烁波谱检测部16将120Hz的波谱值与阈值比较，在120Hz的波谱值超过阈值的情况下判断为有来源于电源频率60Hz的荧光灯闪烁的成分，在不超过的情况下判断为没有荧光灯闪烁的成分。
闪烁波谱检测部16将求出的波谱值和表示判断结果的闪烁信息向亮度推测部17输出。
其中，优选的是，例如考虑到因传感器不同而特性不同的情况，预先在有荧光灯闪烁的环境和没有荧光灯闪烁的环境的各个环境中进行摄像，利用其摄像结果决定上述阈值。
亮度推测部17根据从闪烁波谱检测部16输入的闪烁信息的内容进行下述处理，推测图像帧的摄像时(即：拍摄时)的光源的亮度。
在闪烁信息表示有来源于电源频率50Hz的荧光灯闪烁的成分的情况下，亮度推测部17从由闪烁波谱检测部16输入的波谱值之中，取出100Hz的倍数的100Hz、200Hz、300Hz、……的各频率的波谱值。并且，亮度推测部17利用取出的各频率的波谱值进行逆傅里叶变换(以下称作“IFFT”)，求出512帧的亮度值，将求出的亮度值作为光源的亮度推测值向编码部18的后述的运动估计部31输出。
此外，在闪烁信息表示有来源于电源频率60Hz的荧光灯闪烁的成分的情况下，亮度推测部17从由闪烁波谱检测部16输入的波谱值之中，取出120Hz的倍数的120Hz、240Hz、360Hz、……的各频率的波谱值。并且，亮度推测部17利用取出的各频率的波谱值执行IFFT，求出512帧的亮度值，将求出的亮度值作为光源的亮度推测值向编码部18的运动估计部31输出。
通过进行上述处理，能够将与荧光灯闪烁无关的频率成分除外，仅推测来源于512帧的各个帧的荧光灯闪烁的亮度变化。
进而，在闪烁信息表示没有荧光灯闪烁的成分的情况下，亮度推测部17将预先设定的固定值作为光源的亮度推测值向编码部18的运动估计部31输出。
另外，由于荧光灯闪烁具有周期性，所以可以预想到连续的图像帧表现出同样的模式(pattern：图案)，所以既可以对每个图像帧进行FFT运算及IFFT运算，也可以以一定间隔间断地进行FFT运算及IFFT运算。
编码部18是利用从亮度推测部17输入的光源的亮度推测值进行由CCD照相机模块2拍摄的、存储在输入帧存储区域6中的图像帧的编码的部件。另外，在本实施方式中，假设编码部18进行遵循MPEG-4AVC的动态图像编码。
(编码部18的结构)
参照图2对图1的编码部18进行说明。图2是图1的编码部18的结构图。另外，在图2中，为了图的简略化，将处于编码部18与DRAM4之间的内部总线19及DRAM控制部12省略，将处于编码部18与存储卡5之间的内部总线19及存储卡控制部13省略。
编码部18具备运动估计部31、差分部32、DCT部33、量化部34、可变长度编码部35、逆量化部36、和IDCT部37。
其中，在MPEG-4AVC的动态图像编码中，可以使用不同的图像帧作为参照帧。所以，在本实施方式中，构成为总是将过去的4帧的候补参照帧以环形缓存(ring buffer)状储存到参照帧存储区域7a～7d中、能够将它们用作参照帧的结构。另外，在环形缓存构造的情况下，如果从编码的开始起对帧号码进行计数，则能够根据帧号码唯一地确定存储器位置。
以下，为了便于说明，以编码部18将编码已完成到了帧号码n-1的图像帧、对帧号码n的图像帧进行编码的情况为例进行叙述。
将存储在输入帧存储区域6中的帧号码n的图像帧通过DRAM控制部12读出，经由内部总线19输入到运动估计部31及差分部32中。
运动估计部31计算从亮度推测部17输入的帧号码n的图像帧的摄像时的亮度的亮度推测值Yn的倒数，将亮度推测值Yn的倒数1/Yn作为帧号码n的图像帧的亮度修正系数Gn储存。其中，运动估计部31在帧号码n-i(i＝1，2，3，4)的图像帧的编码时，通过计算帧号码n-i的图像帧的摄像时的亮度推测值Yn-i的倒数来计算帧号码n-i的图像帧的亮度修正系数Gn-i(＝1/Yn-i)，储存计算出的亮度修正系数Gn-i。另外，该亮度修正系数Gn-i是帧号码n-i(i＝1，2，3，4)的候补参照帧的亮度修正系数。
接着，运动估计部31从保存在参照帧存储区域7a～7d中的过去4帧的候补参照帧之中，将亮度修正系数最接近于亮度修正系数Gn的候补参照帧决定为参照帧。并且，运动估计部31经由内部总线19及DRAM控制部12从参照帧存储区域7a～7d取得被决定为参照帧的候补参照帧。以下，为了便于说明，设被决定为参照帧的候补参照帧是帧号码n-n′的候补参照帧，将帧号码n-n′的候补参照帧的亮度修正系数记载为Gn-n’。
再接着，运动估计部31对于矩形区域的尺寸是l×m的各宏块，通过使用被决定为参照帧的帧号码n-n′的候补参照帧来搜索下述式(2)的绝对值差SAD为最小的x′及y′，从而进行运动矢量的检测。并且，运动估计部31使用检测到的运动矢量进行运动补偿，将通过运动补偿得到的预测信号向差分部32输出。
[式2]
SAD ( n &prime; , x &prime; , y &prime; )
= &Sigma; i = 0 l &Sigma; j = 0 m | f n ( x + i , y + j ) &times; G n - f n - n &prime; ( x + x &prime; + i , y + y &prime; + j ) &times; G n - n &prime; | . . . ( 2 )
其中，||是表示绝对值的符号。此外，fn(x，y)是作为编码的对象的帧号码n的图像帧的坐标(x，y)的亮度值，fn-n’(x，y)是被决定为参照帧的帧号码n-n′的候补参照帧的坐标(x，y)的亮度值。
差分部32从帧号码n的图像帧的图像减去从运动估计部31输入的预测信号，生成残差信号。DCT部33通过将从差分部32输入的残差信号进行离散余弦变换(以下称作“DCT”)而生成DCT系数。量化部34通过对从DCT部33输入的DCT系数进行量化而计算量化值。可变长度编码部35通过对从量化部34输入的量化值进行可变长度编码而生成有关帧号码n的图像帧的编码数据，将生成的编码数据经由内部总线19及存储卡控制部13保存到存储卡5中。
逆量化部36通过对从量化部34输入的量化值进行逆量化而计算逆量化值，IDCT部37将从逆量化部36输入的逆量化值进行逆离散余弦变换(以下称作“IDCT”)。通过这些处理将帧号码n的图像帧解码。IDCT部37将解码后的帧号码n的图像帧作为帧号码n的候补参照帧，经由内部总线19及DRAM控制部12保存到保存着最旧的帧号码的候补参照帧(这里是帧号码n-4的候补参照帧)的参照帧存储区域中。由此，在帧号码n+1的图像帧的编码时，在参照帧存储区域7a～7d中保存着帧号码n-3～n的4帧的候补参照帧。
<摄像装置1的动作>
以下，参照图3对图1的摄像装置1的动作进行说明。图3是表示图1的摄像装置1的图像处理的顺序的流程图，表示对1个图像帧的处理的流程。
由CCD照相机模块2进行图像的摄像，将拍摄到的图像的亮度值(Y)的数据通过图像输入部14输入到帧亮度检测部15中，将构成该图像的图像帧的、亮度值(Y)及色相值(Cb、Cr)的数据通过图像输入部14经由内部总线19及DRAM控制部12保存到输入帧存储区域6中(步骤S1)。
帧亮度检测部15以帧为单位累计1帧内的像素的亮度值，计算帧亮度值(步骤S2)。闪烁波谱检测部16利用由帧亮度检测部15计算出的512帧的帧亮度值求出512个波谱值(步骤S3)。闪烁波谱检测部16基于计算出的波谱值，判断是有来源于电源频率50Hz的荧光灯闪烁的成分、还是有来源于电源频率60Hz的荧光灯闪烁的成分、还是没有荧光灯闪烁的成分(步骤S4)。
在判断为有来源于电源频率50Hz的荧光灯闪烁的成分的情况下(S4：电源50Hz)，亮度推测部17利用由闪烁波谱检测部16求出的100Hz、200Hz、300Hz……的波谱值，计算512帧的各图像帧的摄像时的光源的亮度推测值(步骤S5)。此外，在判断为有来源于电源频率60Hz的荧光灯闪烁的成分的情况下(S4：电源60Hz)，亮度推测部17利用由闪烁波谱检测部16求出的120Hz、240Hz、360Hz……的波谱值计算512帧的各图像帧的摄像时的光源的亮度推测值(步骤S6)。此外，在判断为没有荧光灯闪烁的成分的情况下(S4：无)，亮度推测部17将固定值决定为图像帧的摄像时的光源的亮度推测值(步骤S7)。
将编码对象的图像帧从输入帧存储区域6经由DRAM控制部12及内部总线19输入到运动估计部31及差分部32中。运动估计部31根据由亮度推测部17计算或决定的编码对象的图像帧的亮度推测值如上述那样求出该图像帧的亮度修正系数并储存。并且，运动估计部31从存储在参照帧存储区域7a～7d中的过去4帧的候补参照帧之中，将亮度修正系数最接近于编码对象的图像帧的亮度修正系数的候补参照帧决定为参照帧(步骤S8)。另外，在过去4帧的各图像帧的编码时计算并储存了各图像帧的亮度修正系数，使用该储存的各亮度修正系数作为过去4帧的各候补参照帧的亮度修正系数。
接着，运动估计部31经由内部总线19及DRAM控制部12从参照帧存储区域7a～7d取得被决定为参照帧的候补参照帧，通过使用所取得的候补参照帧搜索上述式(2)的绝对值差SAD为最小的x′及y′，来进行运动矢量的检测(步骤S9)。
运动估计部31基于检测到的运动矢量进行运动补偿，生成预测信号。并且，差分部32从编码对象的图像帧的图像减去预测信号而生成残差信号，DCT部33、量化部34及可变长度编码部35根据残差信号生成编码数据，可变长度编码部35将所生成的编码数据经由内部总线19及存储卡控制部13保存到存储卡5中。此外，逆量化部36及IDCT部37根据从量化部34输出的量化值将编码对象的图像帧解码，IDCT部37将解码后的图像帧作为候补参照帧、经由内部总线19及DRAM控制部12保存到保存着最旧的帧号码的候补参照帧的参照帧存储区域中(步骤S10)。
根据上述实施方式，根据512帧的图像帧的帧亮度值进行荧光灯闪烁的成分的分析，推测光源的亮度，所以能够得到光源的亮度的较高的推测精度。
在运动估计中，将亮度推测值最接近于编码对象的图像帧的摄像时的光源的亮度推测值的、候补参照帧决定为参照帧，进而，一边将编码对象的图像帧、与被决定为参照帧的候补参照帧之间的亮度差进行系数修正，一边进行运动矢量的检测。由此，能够减轻起因于摄影时的光源的亮度变化的运动矢量的误估计，并且进行效率良好的编码。
由于不将图像帧本身进行亮度修正地进行图像帧的编码，所以在高速度摄影的情况下，编码数据能够包括荧光灯闪烁的现象自身的信息，在以荧光灯闪烁的现象自身为摄像对象的用途中也能够使用。
由于不需要如使用图11说明的以往技术那样将增益值包含在编码数据中，所以能够使其具有与其他编码器的互换性。
《第2实施方式》
以下，参照附图对本发明的第2实施方式进行说明。其中，在本实施方式中，编码参数是在运动估计中使用的参照帧。
第1实施方式的编码部18将过去4帧的候补参照帧中的、亮度修正系数最接近于编码对象的图像帧的亮度修正系数的候补参照帧决定为参照帧，进行使用没有修正的亮度值及亮度修正系数的运动矢量的检测。相对于此，本实施方式的编码部18a将过去4帧的候补参照帧中的亮度修正系数最小的候补参照帧决定为参照帧，进行使用执行了修正的亮度值的运动矢量的检测。
<摄像装置的结构>
参照图4对本实施方式的摄像装置的结构进行说明。图4是本实施方式的摄像装置的结构图。其中，在本实施方式中，对于与第1实施方式的结构要素实质上相同的结构要素赋予相同的标号，由于能够采用其说明，所以在本实施方式中省略其说明。
摄像装置1a具备CCD照相机模块2、图像处理单元3a、DRAM4、和存储卡5。
图像处理单元3a是用来将从CCD照相机模块2输入的图像编码的单元，以下，对图像处理单元3a进行说明。
[图像处理单元3a的结构]
图像处理单元3a如图4所示，具备处理器11、DRAM控制部12、存储卡控制部13、图像输入部14、帧亮度检测部15、闪烁波谱检测部16、亮度推测部17、增益调节部51、编码部18a、和内部总线19。处理器11、DRAM控制部12、存储卡控制部13、增益调节部51及编码部18a分别连接在内部总线19上。另外，图像输入部14将亮度值(Y)的数据向帧亮度检测部15输出，将图像的亮度值(Y)及色相值(Cb、Cr)的数据向增益调节部51输出。此外，亮度推测部17将图像帧的摄像时的光源的亮度推测值向增益调节部51及编码部18a的后述的运动估计部31a输出。
为了便于增益调节部51的说明，以帧号码n的图像帧为对象进行说明，但增益调节部51在帧号码n以外的帧号码的图像帧的情况下也执行同样的处理。增益调节部51计算从亮度推测部17输入的帧号码n的图像帧的亮度推测值Yn的倒数，将计算出的亮度推测值Yn的倒数1/Yn乘以从图像输入部14输入的构成帧号码n的图像帧的亮度值(Y)，来修正亮度值(Y)。并且，增益调节部51将构成帧号码n的图像帧的实施了亮度修正的亮度值(Y)及色相值(Cb、Cr)经由内部总线19向DRAM控制部12输出。通过DRAM控制部12将构成帧号码n的图像帧的实施了亮度修正的亮度值(Y)及色相值(Cb、Cr)保存到输入帧存储区域6中。这样，在本实施方式中存储在输入帧存储区域6中的图像帧与第1实施方式不同，是将亮度值(Y)进行了亮度修正的图像帧。
编码部18a利用从亮度推测部17输入的光源的亮度推测值，进行由CCD照相机模块2拍摄的、存储在输入帧存储区域6中的图像帧的编码。另外，在本实施方式中，假设编码部18a进行遵循MPEG-4AVC的动态图像编码。
(编码部18a的结构)
参照图5对图4的编码部18a进行说明。图5是图4的编码部18a的结构图。另外，在图5中，为了图的简略化，将处于编码部18a与DRAM4之间的内部总线19及DRAM控制部12省略，将处于编码部18a与存储卡5之间的内部总线19及存储卡控制部13省略。
编码部18a具备运动估计部31a、差分部32、DCT部33、量化部34、可变长度编码部35、逆量化部36、和IDCT部37。其中，在本实施方式中，也与第1实施方式同样，构成了总是将过去的4帧的候补参照帧以环形缓存状储存到参照帧存储区域7a～7d中、能够将它们用作参照帧的结构。
以下，为了便于说明，以编码部18a将编码完成到了帧号码n-1的图像帧、对帧号码n的图像帧进行编码的情况为例进行叙述。
运动估计部31a计算从亮度推测部17输入的帧号码n的图像帧的摄像时的亮度推测值Yn的倒数，将亮度推测值Yn的倒数1/Yn作为帧号码n的图像帧的亮度修正系数Gn储存。其中，运动估计部31a在帧号码n-i(i＝1，2，3，4)的图像帧的编码时，通过计算帧号码n-i的图像帧的摄像时的亮度推测值Yn-i的倒数来计算帧号码n-i的图像帧的亮度修正系数Gn-i(＝1/Yn-i)，储存计算出的亮度修正系数Gn-i。另外，该亮度修正系数Gn-i是帧号码n-i(i＝1，2，3，4)的候补参照帧的亮度修正系数。
接着，运动估计部31a从保存在参照帧存储区域7a～7d中的过去4帧的候补参照帧之中，将亮度修正系数最小的候补参照帧决定为参照帧。并且，运动估计部31a经由内部总线19及DRAM控制部12从参照帧存储区域7a～7d取得被决定为参照帧的候补参照帧。以下，为了便于说明，设被决定为参照帧的候补参照帧是帧号码n-n′的候补参照帧。
再接着，运动估计部31a对于矩形区域的尺寸是l×m的各宏块，通过使用被决定为参照帧的帧号码n-n′的候补参照帧来搜索下述式(3)的绝对值差SAD为最小的x′及y′，从而进行运动矢量的检测。并且，运动估计部31a使用检测到的运动矢量进行运动补偿，将通过运动补偿得到的预测信号向差分部32输出。
[式3]
SAD ( n &prime; , x &prime; , y &prime; )
= &Sigma; i = 0 l &Sigma; j = 0 m | f n ( x + i , y + j ) - f n - n &prime; ( x + x &prime; + i , y + y &prime; + j ) | . . . ( 3 )
其中，||是表示绝对值的符号。此外，fn(x，y)是作为编码对象的帧号码n的图像帧的坐标(x，y)的亮度值，fn-n’(x，y)是被决定为参照帧的帧号码n-n′的候补参照帧的坐标(x，y)的亮度值。
另外，基于由增益调节部51实施了亮度修正这一情况，作为评价函数而使用与以往例同样的函数。
<摄像装置1a的动作>
以下，参照图6对图4的摄像装置1a的动作进行说明。图6是表示图4的摄像装置1a的图像处理的步骤的流程图，表示对1个图像帧的处理的流程。
由CCD照相机模块2进行图像的摄像，将拍摄到的图像的亮度值(Y)的数据通过图像输入部14输入到帧亮度检测部15中，将构成该图像的图像帧的亮度值(Y)及色相值(Cb、Cr)的数据输入到增益调节部51中(步骤S31)。
帧亮度检测部15进行与步骤S2实质上相同的处理(步骤S32)，闪烁波谱检测部16进行与步骤S3实质上相同的处理(步骤S33)。接着，亮度推测部17进行与步骤S4～S7实质上相同的处理(步骤S34～S37)。增益调节部51计算由亮度推测部17计算或决定的亮度推测值的倒数，对从图像输入部14输入的相同的帧号码的图像帧的亮度值(Y)乘以所计算出的亮度推测值的倒数，修正亮度值(Y)。接着，增益调节部51将实施了亮度修正的亮度值(Y)及色相值(Cb、Cr)作为该帧号码的图像帧的数据，经由内部总线19及DRAM控制部12保存到输入帧存储区域6中(步骤S38)。
将编码对象的图像帧从输入帧存储区域6经由DRAM控制部12及内部总线19输入到运动估计部31a及差分部32中。运动估计部31a根据由亮度推测部17计算或决定的编码对象的图像帧的亮度推测值，如上述那样求出该图像帧的亮度修正系数并储存。并且，运动估计部31a从过去4帧的候补参照帧之中，将最小的亮度修正系数的候补参照帧决定为参照帧(步骤S39)。另外，在过去4帧的各图像帧的编码时计算并储存了各图像帧的亮度修正系数，使用该储存的各亮度修正系数作为过去4帧的各候补参照帧的亮度修正系数。
接着，运动估计部31a经由内部总线19及DRAM控制部12从参照帧存储区域7a～7d取得被决定为参照帧的候补参照帧，通过使用所取得的候补参照帧来搜索上述式(3)的绝对值差SAD为最小的x′及y′，从而进行运动矢量的检测(步骤S40)。
运动估计部31a基于检测到的运动矢量进行运动补偿，生成预测信号。并且，差分部32、DCT部33、量化部34及可变长度编码部35进行编码处理，逆量化部36及IDCT部37进行解码处理(步骤S41)。
根据上述实施方式，由于被用作参照帧的候补参照帧是摄影时的光源的亮度最高的帧、即S/N比为最高的高品质的帧，所以能够进行效率良好的编码。
《第3实施方式》
以下，参照附图对本发明的第3实施方式进行说明。其中，在本实施方式中，编码参数是进行编码对象的图像帧的编码的编码部。
第1及第2实施方式的摄像装置1、1a使用1个编码部进行编码，相对于此，第3实施方式的摄像装置1b使用3个编码部并行地进行编码。
<摄像装置的结构>
参照图7对本实施方式的摄像装置的结构进行说明。图7是本实施方式的摄像装置的结构图。其中，在本实施方式中，对于与第1实施方式的结构要素实质上相同的结构要素赋予相同的标号，由于能够采用其说明，所以在本实施方式中省略其说明。
摄像装置1b具备CCD照相机模块2、图像处理单元3b、DRAM4b、和存储卡5。
在DRAM4b中，有分别对应于图像处理单元3b内的编码部72、73、74的参照帧存储区域72a、73a、74a，在参照帧存储区域72a、73a、74a中分别存储有1帧的参照帧。
图像处理单元3b是用来将从CCD照相机模块2输入的图像编码的单元，以下，对图像处理单元3b进行说明。
[图像处理单元3b的结构]
图像处理单元3b如图7所示，具备处理器11、DRAM控制部12、存储卡控制部13、图像输入部14、帧亮度检测部15、闪烁波谱检测部16、亮度推测部17、分配部71、编码部72、73、74、合成部75和内部总线19。处理器11、DRAM控制部12、存储卡控制部13、图像输入部14、分配部71、编码部72、73、74及合成部75分别连接在内部总线19上。另外，亮度推测部17将光源的亮度推测值向分配部71输出。
分配部71对于各个编码部72～74，储存着在当前时刻正在执行编码的图像帧的摄像时的光源的亮度推测值，如果在当前时刻没有执行编码则储存着最近编码的图像帧的摄像时的光源的亮度推测值。
从亮度推测部17对分配部71输入编码对象的图像帧的摄像时的亮度推测值。分配部71将没有执行编码处理的编码部72～74中的、最近编码的图像帧的摄像时的光源的亮度推测值最接近于编码对象的图像帧的摄像时的光源的亮度推测值的编码部，决定为对编码对象的图像帧进行编码的编码部。并且，分配部71经由内部总线19及DRAM控制部12从输入帧存储区域6取得编码对象的图像帧，将取得的编码对象的图像帧及该编码对象的图像帧的摄像时的光源的亮度推测值，向所决定的编码部输出。并且，分配部71将对应于所决定的编码部而储存的光源的亮度推测值更新为编码对象的图像帧的摄像时的光源的亮度推测值。
编码部72、73、74分别是进行由CCD照相机模块2拍摄的、从分配部71输入的图像帧的编码、并将编码数据向合成部75输出的部件，其详细情况在后面叙述。另外，在本实施方式中，编码部72、73、74进行遵循MPEG-4AVC的动态图像编码。
合成部75将从编码部72、73、74输入的编码数据按照帧号码的顺序连结(concatenate)为一个编码数据，将所连结的编码数据经由内部总线19向存储卡控制部13输出。将该连结后的编码数据通过存储卡控制部13保存到存储卡15中。
(编码部72、73、74的结构)
参照图8对图7的编码部72进行说明。图8是图7的编码部72的结构图。另外，在图8中，为了图的简略化，将处于编码部72与DRAM4之间的内部总线19及DRAM控制部12省略。其中，在本实施方式中，作为编码部73、74，设为采用与编码部72实质上相同的结构及进行相同动作的编码部，在此情况下，由于能够采用编码部72的说明，所以在本实施方式中省略编码部73、74的说明。
编码部72具备运动估计部31b、差分部32、DCT部33、量化部34、可变长度编码部35、逆量化部36、和IDCT部37。
以下，设编码部72此后进行编码的图像帧的帧号码为n、设编码部72最近进行了编码的图像帧的帧号码为n-n′。
运动估计部31b推测从分配部71输入的帧号码n的图像帧的摄像时的光源的亮度推测值Yn的倒数，将亮度推测值Yn的倒数1/Yn作为帧号码n的图像帧的亮度修正系数Gn储存。另外，运动估计部31b在对帧号码n-n′的图像帧进行编码时，通过计算帧号码n-n′的图像帧的摄像时的亮度推测值Yn-i的倒数来计算帧号码n-n′的亮度修正系数Gn-n’(＝1/Yn-n’)，储存计算出的亮度修正系数Gn-n’。另外，该亮度修正系数Gn-n’是帧号码n-n′的参照帧的亮度修正系数。
接着，运动估计部31b经由DRAM控制部12及内部总线19从参照帧存储区域72a取得帧号码n-n′的参照帧。接着，运动估计部31b对于矩形区域的尺寸是l×m的各宏块，通过使用所取得的帧号码n-n′的参照帧来搜索上述式(2)的绝对值差SAD为最小的x′及y′，从而进行运动矢量的检测。并且，运动估计部31b使用检测到的运动矢量进行运动补偿，将通过运动补偿得到的预测信号向差分部32输出。
另外，在本实施方式中，可变长度编码部35将编码数据向合成部35输出，IDCT部37将解码后的帧号码n的图像帧作为参照帧保存到参照帧存储区域72a中。
<摄像装置1b的动作>
以下，参照图9对图7的摄像装置1b的动作进行说明。图9是表示图7的摄像装置1b进行的图像处理的步骤的流程图，表示对1个图像帧的处理的流程。
CCD照相机模块2及图像输入部14进行与步骤S1实质上相同的处理(步骤S51)。
帧亮度检测部15进行与步骤S2实质上相同的处理(步骤S52)，闪烁波谱检测部16进行与步骤S3实质上相同的处理(步骤S53)。接着，亮度推测部17进行与步骤S4～S7实质上相同的处理(步骤S54～S57)。
分配部71如上述那样，从编码部72～74之中决定要进行图像帧的编码的编码部(步骤S58)。并且，分配部71经由内部总线19及DRAM控制部12从输入帧存储区域6取得编码对象的图像帧，将取得的编码对象的图像帧及该编码对象的图像帧的摄像时的光源的亮度推测值，向所决定的编码部输出(步骤S59)。另外，此时，分配部71将对应于所决定的编码部而储存的光源的亮度推测值，更新为编码对象的图像帧的摄像时的光源的亮度推测值。
在步骤S58中决定的编码部中，运动估计部31b根据从分配部71输入的编码对象的图像帧的亮度推测值，如上述那样求出该图像帧的亮度修正系数并储存。接着，运动估计部31b通过使用存储在参照帧存储区域中的参照帧来搜索上述式(2)的绝对值差SAD为最小的x′及y′，从而进行运动矢量的检测(步骤S60)。另外，参照帧的亮度修正系数在成为该参照帧的基础的图像帧的编码时被计算并被储存。
运动估计部31b基于检测到的运动矢量进行运动补偿，生成预测信号。并且，差分部32、DCT部33、量化部34及可变长度编码部35进行编码处理，可变长度编码部35将编码数据向合成部75输出，合成部75将输入的编码数据连结，经由内部总线19及存储卡控制部13保存到存储卡5中。此外，逆量化部36及IDCT部37进行解码处理，IDCT部37将解码后的图像帧作为参照帧经由内部总线19及DRAM控制部12保存到对应于自身的编码部的参照帧存储区域中(步骤S61)。
根据上述实施方式，将进行了亮度推测值最接近于编码对象的图像帧的摄像时的光源的亮度推测值的图像帧的编码的编码部，决定为进行编码对象的图像帧的编码的编码部，而且一边将编码对象的图像帧与参照帧的亮度差系数修正一边进行运动矢量的检测。由此，能够实现编码部的并行化带来的编码的处理速度的提高，并且能够在减少起因于摄影时的光源的亮度的变化的运动矢量的误估计的同时、进行效率良好的编码。
《补充》
本发明并不限于上述实施方式，例如也可以是以下这样。
(1)在上述第1及第3各实施方式中，运动矢量检测部31、31b在运动矢量的检测中使用式(2)的评价函数。但是，在运动矢量的检测中使用的评价函数并不限于上述式(2)，例如也可以使用下述式(4)、(5)的评价函数。
[式4]
SAD ( n &prime; , x &prime; , y &prime; )
= &Sigma; i = 0 l &Sigma; j = 0 m | f n ( x + i , y + j ) &times; G n - f n - n &prime; ( x + x &prime; + i , y + y &prime; + j ) &times; G n - n &prime; | 2 . . . ( 4 )
[式5]
SAD ( n &prime; , x &prime; , y &prime; )
= &Sigma; i = 0 l &Sigma; j = 0 m { f n ( x + i , y + j ) &times; G n - f n - n &prime; ( x + x &prime; + i , y + y &prime; + j ) &times; G n - n &prime; } . . . ( 5 )
此外，在上述第2实施方式中，运动矢量检测部31a在运动矢量的检测中使用式(3)的评价函数。但是，在运动矢量的检测中使用的评价函数并不限于上述式(3)，例如也可以使用下述式(6)、(7)的评价函数。
[式6]
SAD ( n &prime; , x &prime; , y &prime; )
= &Sigma; i = 0 l &Sigma; j = 0 m | f n ( x + i , y + j ) - f n - n &prime; ( x + x &prime; + i , y + y &prime; + j ) | 2 . . . ( 6 )
[式7]
SAD ( n &prime; , x &prime; , y &prime; )
= &Sigma; i = 0 l &Sigma; j = 0 m { f n ( x + i , y + j ) - f n - n &prime; ( x + x &prime; + i , y + y &prime; + j ) } . . . ( 7 )
(2)在上述第1至第3各实施方式中，为了判断荧光灯闪烁的成分的有无，闪烁波谱检测部16使用100Hz的波谱值及120Hz的波谱值，但并不限于此。例如，闪烁波谱检测部16也可以为了进行来源于电源频率50Hz的荧光灯闪烁的有无的判断而使用其2倍的频率(100Hz)的倍数(除了1倍以外)的频率(200Hz、300Hz、……)成分的波谱值。此外，闪烁波谱检测部16也可以为了进行来源于电源频率60Hz的荧光灯闪烁的有无的判断而使用其2倍的频率(120Hz)的倍数(除了1倍以外)的频率(240Hz、360Hz、……)成分的波谱值。
(3)在上述第1及第2各实施方式中，候补参照帧是过去4帧的图像帧，但并不限于此，候补参照帧也可以是过去N(N＝2，3，5，6，……)帧的图像帧。
此外，在上述第3实施方式中，编码部的数量是3个，但并不限于此，例如编码部的数量也可以是N(N＝2，4，5，……)。
(4)在上述第1及第2各实施方式中，在参照帧的决定中使用亮度修正系数，但并不限于此，例如也可以使用帧亮度值进行参照帧的决定。在此情况下，在第1实施方式中，运动估计部31只要从过去4帧的候补参照帧之中，将帧亮度值最接近于编码对象的图像帧的摄像时的帧亮度值的候补参照帧决定为参照帧就可以。此外，在第2实施方式中，运动估计部31a只要从过去4帧的候补参照帧之中将帧亮度值最大的候补参照帧决定为参照帧就可以。
此外，在上述第3实施方式中，分配部71使用图像帧的摄像时的光源的亮度推测值决定编码对象的图像帧的分配目的地，但并不限于此，例如分配部71也可以在编码对象的图像帧的分配目的地的决定中，使用图像帧的摄像时的光源的亮度推测值的倒数。
(5)作为上述第3实施方式的编码部72、73、74，也可以使用在第1及第2实施方式中说明的编码部18、18a，也可以使用其他的一般结构的编码部。此外，编码部72、73、74也可以使用不包含亮度修正系数的评价函数(例如式(3)、(6)、(7))作为评价函数。
(6)在上述第1至第3各实施方式中，设编码部18、18a、72、73、74为进行遵循MPEG-4 AVC的动态图像编码的结构，但并不限于此，只要是使用过去的图像帧作为参照帧的动态图像编码就可以，方式没有限制。
(7)在上述第1至第3各实施方式中，由帧亮度检测部15、闪烁波谱检测部16及亮度推测部17推测摄影时的光源的亮度，但并不限于此，例如也可以在摄像装置中设置照度传感器，通过照度传感器推测光源的亮度。
(8)在上述第1至第3各实施方式中，在闪烁的波谱值的检测中使用FFT，但并不限于此，只要是能够检测闪烁的波谱值的手段就可以。
(9)在上述第1实施方式中，使用对应于帧亮度值的亮度修正系数，进行参照帧的决定及运动矢量的检测这两者，但并不限于此，也可以仅在参照帧的决定及运动矢量的检测的任意一方中使用对应于帧亮度值的亮度修正系数。其中，在不使用亮度修正系数的一方中，通过将亮度修正系数看作固定值的1，能够采用以往的通常的编码技术。在仅在任意一方中使用亮度修正系数的情况下，与在两者中使用亮度修正系数的情况相比，虽然编码效率下降，但能够实现成本的削减。
(10)在上述第1至第3各实施方式中，使用亮度值(Y)及色相值(Cb、Cr)，但并不限于此，例如只要是包含RGB数据或拜耳(Bayer)数据等与亮度有关的数据的值，可以原样或通过实施规定的变换而适用第1至第3各实施方式的方法。
(11)在上述第1至第3各实施方式中，以CCD照相机模块2进行亮度值(Y)的计算为前提进行了说明，但并不限于此，例如也可以与一般的摄像装置同样，图像输入部14进行亮度值(Y)的计算。在此情况下，虽然图像输入部14较难对应于多种图像传感器，但能够实现成本的削减。
(12)在上述第1至第3各实施方式中，使用CCD照相机模块2，但并不限于此，也可以代替CCD照相机模块2而使用例如CMOS图像传感器等其他摄像器件。
(13)也可以在上述第1至第3各实施方式中说明的摄像装置1、1a、1b中设置用来对执行在各实施方式中说明的编码处理的模式、和执行其他编码处理(例如通常的编码处理)的模式进行切换的机构，以及用户用来选择模式的模式选择按钮。
此外，也可以在摄像装置1、1a、1b中设置用来根据摄影的帧速率来对执行在各实施方式中说明的编码处理的模式、和执行其他编码处理(例如通常的编码处理)的模式进行切换的机构。
(14)上述第1至第3各实施方式等的结构典型地也可以实现为作为集成电路的LSI(Large Scale Integration：大规模集成电路)。它们既可以单独地单芯片化，也可以包含各实施方式的所有结构或一部分结构而单芯片化。
这里设为LSI，但根据集成度的差异，也有称作IC(Integrated Circuit：集成电路)、***LSI、超级(super)LSI、超大规模(ultra)LSI的情况。
此外，集成电路化的方法并不限于LSI，但也可以由专用电路或通用处理器实现。也可以使用在LSI制造后能够编程的FPGA(Field ProgrammableGate Array：现场可编程门阵列)、或能够再构成LSI内部的电路单元的连接及设定的可重构处理器。
进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能块的集成化。有可能是生物技术的应用等。
工业实用性
本发明能够在具有荧光灯闪烁的波谱检测功能、并进行动态图像编码的摄像装置中使用，特别是在具有高速度摄影功能的数字摄像机或数字照相机等的影像设备等的摄像装置中具有实用性。此外，还能够在面向这些摄像装置的LSI等的用途中应用。

Claims (5)

1.一种摄像装置，其特征在于，具备：
摄像机构；
检测机构，检测光源的闪烁的波谱；
推测机构，基于上述检测机构的检测结果，推测由上述摄像机构拍摄的图像帧的摄像时的光源的亮度；
决定机构，基于由上述推测机构推测的光源的亮度推测值，从多个候补参照帧之中决定参照帧；以及
编码机构，基于由上述决定机构决定的参照帧，对编码对象的图像帧进行编码。
2.如权利要求1所述的摄像装置，其特征在于，
上述决定机构从作为参照帧的候补的多个候补参照帧之中，将亮度推测值最接近于上述编码对象的图像帧的摄像时的光源的亮度推测值的候补参照帧，决定为参照帧。
3.如权利要求1所述的摄像装置，其特征在于，
上述决定机构从多个候补参照帧之中，将光源的亮度推测值最大的候补参照帧，决定为参照帧。
4.一种集成电路，其特征在于，具备：
检测机构，检测光源的闪烁的波谱；
推测机构，基于上述检测机构的检测结果，推测由摄像机构拍摄的图像帧的摄像时的光源的亮度；
决定机构，基于由上述推测机构推测的光源的亮度推测值，从多个候补参照帧之中决定参照帧；以及
编码机构，基于由上述决定机构决定的参照帧，对编码对象的图像帧进行编码。
5.一种摄像方法，其特征在于，具备：
摄像步骤；
检测步骤，检测光源的闪烁的波谱；
推测步骤，基于上述检测步骤的检测结果，推测上述摄像步骤中拍摄的图像帧的摄像时的光源的亮度；
决定步骤，基于上述推测步骤中推测的光源的亮度推测值，从多个候补参照帧之中决定参照帧；以及
编码步骤，基于上述决定步骤中决定的参照帧，对编码对象的图像帧进行编码。
CN200880023966XA 2008-02-04 2008-10-23 摄像装置、集成电路及摄像方法 Expired - Fee Related CN101690171B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008023594 2008-02-04
JP023594/2008 2008-02-04
PCT/JP2008/002998 WO2009098741A1 (ja) 2008-02-04 2008-10-23 撮像装置、集積回路及び撮像方法

Publications (2)

Publication Number Publication Date
CN101690171A CN101690171A (zh) 2010-03-31
CN101690171B true CN101690171B (zh) 2012-07-25

Family

ID=40951830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880023966XA Expired - Fee Related CN101690171B (zh) 2008-02-04 2008-10-23 摄像装置、集成电路及摄像方法

Country Status (4)

Country Link
US (1) US8144213B2 (zh)
JP (1) JP4814380B2 (zh)
CN (1) CN101690171B (zh)
WO (1) WO2009098741A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5427577B2 (ja) * 2009-12-04 2014-02-26 パナソニック株式会社 表示制御装置及び表示画像形成方法
US8542292B2 (en) * 2011-02-04 2013-09-24 Panasonic Corporation Flicker correction device, flicker correction method and flicker correction program
JP5998862B2 (ja) * 2012-11-09 2016-09-28 株式会社ソシオネクスト 動画像処理装置
US20140321541A1 (en) * 2013-04-30 2014-10-30 Motorola Solutions, Inc. Method and apparatus for capturing an image
CN104301617B (zh) * 2013-07-19 2017-09-22 富士通株式会社 闪烁检测方法和闪烁检测设备
US10368105B2 (en) * 2015-06-09 2019-07-30 Microsoft Technology Licensing, Llc Metadata describing nominal lighting conditions of a reference viewing environment for video playback
JP6827801B2 (ja) 2016-12-26 2021-02-10 キヤノン株式会社 撮像装置および制御方法
US11196940B2 (en) * 2018-10-10 2021-12-07 Johnson Controls Tyco IP Holdings LLP Systems and methods of eliminating video flicker caused by LED duty cycling to maintain brightness and control power consumption
CN111741290B (zh) * 2020-04-24 2022-03-29 展讯通信（上海）有限公司 图像频闪检测方法及装置、存储介质、终端
WO2022110159A1 (zh) * 2020-11-30 2022-06-02 深圳市大疆创新科技有限公司 定位方法、装置、可移动平台、地标及地标阵列

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1692653A (zh) * 2002-11-22 2005-11-02 株式会社东芝 活动图像编码/解码方法和设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04309076A (ja) 1991-04-05 1992-10-30 Fuji Xerox Co Ltd フリッカー低減方法および装置
JP2938412B2 (ja) 1996-09-03 1999-08-23 日本電信電話株式会社 動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体および動画像の符号化データを記録した記録媒体
US6266370B1 (en) 1996-09-03 2001-07-24 Nippon Telegraph And Telephone Corporation Brightness-variation compensation method and coding/decoding apparatus for moving pictures
JP2001231045A (ja) 2000-02-15 2001-08-24 Nec Corp 動画像符号化および復号化装置
JP4423889B2 (ja) 2002-11-18 2010-03-03 ソニー株式会社 フリッカ低減方法、撮像装置およびフリッカ低減回路
JP2006121585A (ja) 2004-10-25 2006-05-11 Olympus Corp 動きベクトル検出装置
US7924923B2 (en) * 2004-11-30 2011-04-12 Humax Co., Ltd. Motion estimation and compensation method and device adaptive to change in illumination
JP4389883B2 (ja) 2006-01-30 2009-12-24 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム、符号化方法のプログラムを記録した記録媒体
JP4227168B2 (ja) 2006-12-04 2009-02-18 株式会社東芝 動画像符号化方法及び装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1692653A (zh) * 2002-11-22 2005-11-02 株式会社东芝 活动图像编码/解码方法和设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JP特开2001-231045A 2001.08.24
JP特开2004-222228A 2004.08.05
JP特开平10-136385A 1998.05.22
JP特开平4-309076A 1992.10.30

Also Published As

Publication number Publication date
CN101690171A (zh) 2010-03-31
JPWO2009098741A1 (ja) 2011-05-26
US8144213B2 (en) 2012-03-27
WO2009098741A1 (ja) 2009-08-13
US20100157093A1 (en) 2010-06-24
JP4814380B2 (ja) 2011-11-16

Similar Documents

Publication Publication Date Title
CN101690171B (zh) 摄像装置、集成电路及摄像方法
CN100421455C (zh) 一种视频电子防抖的方法
US7499491B2 (en) Apparatus for adaptive multiple-dimentional signal sequences encoding/decoding
JP5453304B2 (ja) 適応探索範囲を用いた動き推定
JP4358436B2 (ja) ビデオ情報を符号化する方法および装置
Chang et al. A compressed domain scheme for classifying block edge patterns
CA2797569C (en) Method and device for video predictive encoding
EP2528320B1 (en) Image processing device, imaging device, program, and image processing method
CN101990761B (zh) 运动图像编码设备和运动图像编码方法
US7333035B2 (en) Data encoding apparatus, data decoding apparatus, data encoding method, data decoding method, and recording medium recorded with program
CN106464852B (zh) 具有高动态范围传感器机制的视频处理***及其操作方法
KR20090063120A (ko) 결합 이미지를 생성하는 방법 및 장치
RU2004133542A (ru) Способ кодирования движущегося изображения
JP2009147807A (ja) 画像処理装置
EP1608180A1 (en) Method and apparatus for sub-pixel motion estimation which reduces bit precision
US9113170B2 (en) Motion vector decision apparatus, motion vector decision method and computer readable storage medium
CN102036067A (zh) 运动图像编码设备及其控制方法
CN104380710A (zh) 闪烁减少装置、拍摄装置以及闪烁减少方法
EP1472881B1 (en) Unit for and method of estimating a current motion vector
CN101873495B (zh) 场景转换检测装置以及影像记录装置
CN101742310A (zh) 运动矢量检测装置、运动矢量处理方法和程序
US7715639B2 (en) Data encoding apparatus, data decoding apparatus, data encoding method, data decoding method, and recording medium recorded with program
CN103139563A (zh) 编码和重构像素块的方法以及相应设备
CN103002279B (zh) 编码并重构像素块的方法及其对应设备
JP2018191136A (ja) 符号化装置、符号化方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141011

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20141011

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120725

Termination date: 20161023