CN1922868A - 摄像装置、摄像方法 - Google Patents

摄像装置、摄像方法 Download PDF

Info

Publication number
CN1922868A
CN1922868A CNA2005800060016A CN200580006001A CN1922868A CN 1922868 A CN1922868 A CN 1922868A CN A2005800060016 A CNA2005800060016 A CN A2005800060016A CN 200580006001 A CN200580006001 A CN 200580006001A CN 1922868 A CN1922868 A CN 1922868A
Authority
CN
China
Prior art keywords
mentioned
row
unit
pixel
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005800060016A
Other languages
English (en)
Inventor
佐佐木善满
今村邦博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1922868A publication Critical patent/CN1922868A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Input (AREA)

Abstract

本发明的摄像装置包括：MOS型受光传感器(12)，具有由排列成多行的多个像素部组成的受光面；运算部(17)，在读出行的每个水平周期检测受光面的映像的水平移动量、垂直移动量；水平驱动部(13)，按照检测出的水平移动量对每行决定应作为行的起始像素的起始位置；以及校正部(10)，根据决定出的像素位置，来进行垂直校正。

Description

摄像装置、摄像方法
技术领域
本发明涉及采用了固体摄像元件的摄像装置，特别涉及摄像装置中的手抖动校正。
背景技术
以往，作为摄像装置，已知有电视摄像机(Video camera)、监视摄像机、工业用摄像机等。近年来，便携式电话机及个人数字代理(PDA)等也日益普及，市场强烈希望这些小型便携设备也具备以进行摄像为目的的摄像功能。
作为小型便携设备的使用形态，手提移动、在手持的状态下进行摄像的情况较多。在此情况下，成问题的是手抖动。所谓手抖动，是指在手持来进行摄像时，由于手颤抖，而摄像也上下左右小幅度颤抖。校正该手抖动对小型便携设备很重要。
在将CCD传感器作为摄像元件的摄像装置中进行手抖动校正的情况下的结构示于图1。
该摄像装置包括：CCD传感器61，像素数比图像的像素数大；A/D变换器62，将来自CCD传感器61的模拟信号67变换为数字信号68；信号处理部63，由数字信号68生成YUV输出；存储器64，存储YUV输出68；以及存储器控制部65，将来自移动检测电路66的水平移动量73及垂直移动量72作为输入来读出存储器64中记录的YUV输出70，作为数字输出71。
从CCD传感器61读出的模拟信号67由A/D变换器62变换为数字信号68。信号处理部63由该数字信号68来生成YUV输出69，向存储器64中写入拍摄到的图像。接着，存储器控制部65从存储器64内的图像中切下应输出的像素数的图像，并作为数字输出71来输出。摄像装置重复此来进行摄像。在由于手抖动等而使传感器移动了的情况下，拍摄到从前一帧图像沿水平、垂直方向移动了的图像，这就是手抖动。此时的校正的过程示于图2。移动检测电路66以帧为周期来检测水平移动量73、垂直移动量72。在该图中，假设摄像尺寸a1中的上次的输出图像帧f1中的被摄体P1在本次的摄像中偏移到了被摄体P2的位置。在此情况下，存储器控制部71将从前一帧f1偏移了水平移动量的位置设定为输出图像f2的水平读出开始位置，同时将从前一帧f1偏移了垂直移动量的位置设定为垂直读出位置。通过从该位置读出输出图像f2而实现了手抖动校正。
能够进行这种校正，是因为CCD传感器在每个垂直周期打开快门。即，在1帧图像内的所有像素间，存储时间、读出期间没有时间差，不发生1帧内的图像失真。由于在1帧内不发生图像失真，所以能够校正帧间的图像的偏移，即在帧间进行手抖动校正。
除了这种校正之外，还提出了光学校正方式。通过按帧周期来监视来自移动检测电路的水平移动距离、垂直移动距离，按照移动距离来移动透镜，使成像到传感器上的位置固定，而实现了手抖动校正(例如参照专利文献1)。
虽然实现了这种手抖动校正，但是要将CCD传感器导入到小型便携设备则有难点。CCD传感器的电源为多电源驱动。即，需要+15V、+9V、-9V等正负多个电源；相反，MOS型传感器能够进行2.8V单一驱动，能够比CCD降低功耗。此外，由于电源结构比CCD传感器简单，所以电源电路数很少即可，适合小型便携设备。因此，小型便携设备选择MOS型传感器的情况增加。
专利文献1：(日本)特开2000-147586号公报。
然而，根据现有的手抖动校正技术，有不能校正MOS型传感器产生的1帧内的图像失真的问题。
图3A、图3B示出MOS型传感器和CCD传感器的快门的差异。MOS型传感器如图3A所示，对每行打开快门，对每1行依次进行读出。CCD传感器如图3B所示，对所有像素同时打开快门，对垂直CCD进行读出。
因此，MOS型传感器对每个水平行产生了时间差，所以在沿水平方向移动了传感器的情况下摄像沿斜向产生失真(参照被摄体P13、P14)；而在上下方向移动的情况下，摄像上下伸缩而产生图像失真。CCD传感器不产生这种图像失真。这样，对于MOS传感器，用现有的手抖动校正不能校正帧内的图像失真。
发明内容
因此，本发明的目的在于提供以很少的电路规模来校正MOS型传感器产生的帧内的图像失真的摄像装置。
为了解决上述课题，本发明的摄像装置包括：MOS型传感器，具有由排列成多行的多个像素部组成的受光面；检测单元，检测从上述MOS型传感器中按照水平周期读出的每个上述行的映像中的、与至少2行对应的映像的水平移动量；决定单元，按照上述水平移动量来决定上述多行中的至少1行的应作为行中的起始像素的起始位置；以及水平校正单元，根据决定出的起始位置来生成校正图像。
这里，上述检测单元可以检测与上述多行中的所有相邻2行对应的映像的上述水平移动量。此外，上述决定单元可以按照上述水平移动量，来决定上述至少2行中的至少1行的上述起始位置。再者，上述决定单元可以按照上述水平移动量，来决定上述相邻2行中的后读出的行的上述起始位置。
根据该结构，能够校正MOS型传感器产生的帧内的图像失真特别是水平方向的失真。而且能够用电路规模、元件个数少的结构来实现校正。
这里，上述检测单元可以包括：加速度传感器，根据本摄像装置的移动来检测加速度；和计算单元，根据检测出的加速度来计算上述水平移动量。
根据该结构，能够用已有的角速度传感器等加速度传感器来简单地检测水平移动量。
这里，可以采用下述结构：上述加速度传感器在每1个水平期间检测上述加速度，上述计算单元计算1个水平期间中的水平移动量；上述水平校正单元包括：读出单元，从决定单元决定出的起始位置起，从上述MOS型传感器中读出与水平像素数相应数量的像素信号。
根据该结构，能够从决定起始位置起读出与图像所需的水平像素数相应的像素信号，能够与行读出同时进行水平方向的校正。
这里，可以采用下述结构：上述决定单元将上述起始位置决定到子像素位置；上述水平校正单元还包括：水平内插单元，对由读出单元读出的行内的像素串，通过像素内插来校正到上述子像素位置。
根据该结构，除了以水平方向的像素间距为单位来校正起始位置之外，还能够以子像素单位来进行校正。
这里，可以采用下述结构：上述摄像装置还包括：存储单元，存储来自MOS型摄像传感器的帧图像；上述水平校正单元对上述存储单元中存储的帧图像，校正上述起始位置。
根据该结构，由于向存储单元中暂时存储了帧图像后进行校正，所以能够采用已有的MOS型传感器。
这里，可以采用下述结构：上述检测单元还检测上述映像的垂直移动量；上述摄像装置还包括：垂直校正单元，按照检测出的垂直移动量，来校正摄像单元拍摄到的图像的垂直方向的伸缩失真。
根据该结构，不仅能够校正帧内的水平方向的图像失真，还能够校正沿垂直方向伸缩的图像失真。
这里，可以采用下述结构：上述垂直校正单元包括：行缓冲器，保持从上述MOS型传感器中读出的多行像素信号；决定单元，按照由检测单元检测出的垂直移动量，对每行决定校正行位置；以及垂直内插单元，用行缓冲器中保持的行的像素信号、和从上述MOS型传感器中读出的像素信号，通过行间的像素内插来计算校正行位置上的像素信号。
根据该结构，无需包括存储1帧图像的存储器，只要包括保持3行左右的多行的行缓冲器以供作业用即可，能够用更少的电路规模来实现水平方向及垂直方向的帧内图像失真。
这里，可以采用下述结构：上述检测单元还检测存储单元中存储的2个帧图像间的位置偏移量；上述水平校正单元及垂直移动单元按照上述位置偏移量来校正帧间校正。
根据该结构，通过将加上了水平方向的位置偏移量的值用作水平移动量，将加上了垂直方向的位置偏移量的值用作垂直移动量，能够在帧内的校正处理中也同时校正帧间的位置偏移。
发明效果
根据本发明的摄像装置，能够用电路规模、元件个数少的结构来实现现有MOS型传感器的缺点——帧内的图像失真校正。
此外，不用增加元件个数，就能够构成可同时实现图像失真校正和手抖动校正的摄像装置。
此外，即使采用现有型的MOS型传感器，也能够与图像失真校正同时实现手抖动校正。
附图说明
图1是在将CCD传感器作为摄像元件的摄像装置中进行手抖动校正的情况下的结构图。
图2是现有技术的手抖动校正的过程的说明图。
图3A是MOS型传感器的快门动作的说明图。
图3B是CCD传感器的快门动作的说明图。
图4是本发明实施方式1的MOS型摄像装置的结构的框图。
图5A是水平校正的说明图。
图5B是垂直校正的说明图。
图6是水平用角速度传感器、垂直用角速度传感器以及受光面之间的位置关系的图。
图7A是水平移动量的计算方法的说明图。
图7B是垂直移动量的计算方法的说明图。
图8是1帧图像的摄像中的图像失真的校正处理的流程图。
图9A是应作为行内的起点的像素的起始位置的说明图。
图9B是应作为行内的起点的像素的起始位置的说明图。
图10A示出以子像素单位的像素位置校正处理的说明图。
图10B示出校正部中的进行线性内插的电路例。
图11是垂直校正处理的详细流程图。
图12A示出垂直校正处理的说明图。
图12B示出垂直校正处理的说明图。
图13A示出垂直校正处理的说明图。
图13B示出垂直校正处理的说明图。
图14A是对黑白图像进行的垂直校正处理的说明图。
图14B是对黑白图像进行的垂直校正处理的说明图。
图14C是对黑白图像进行的垂直校正处理的说明图。
图15A是对彩色图像进行的垂直校正处理的说明图。
图15B是对彩色图像进行的垂直校正处理的说明图。
图15C是对彩色图像进行的垂直校正处理的说明图。
图16是本发明实施方式2的摄像装置的结构的框图。
图17(a)～(c)是帧内校正处理及帧间校正处理的说明图。
具体实施方式
(实施方式1)
<摄像装置的结构>
图4是本发明实施方式1的MOS型摄像装置的结构的框图。该摄像装置包括校正部10、受光面12、水平驱动部13、垂直驱动部14、A/D变换器15、信号处理部16、运算部17、角速度传感器18以及角速度传感器19。
校正部10进行校正1帧内产生的水平方向的图像失真的水平校正和校正垂直方向的图像失真的垂直校正。用图5A、图5B来说明图像失真的校正。
图5A是水平校正的说明图。如该图上部所示，帧图像f10的图像尺寸小于受光面12的摄像区域m1。被摄体P13本来是长方体，但是由于本摄像装置在摄像时向左移动，所以倾斜而产生了水平方向的图像失真(参照图3A)。如图5A中部的帧图像f10a所示，校正部10及水平驱动部13为了消除水平方向的图像失真，按照水平移动量对每行调整应作为行的起始像素的起始位置，从调整后的起始位置起读出与水平像素数相应的像素信号。此时，水平驱动部13以像素单位来调整起始位置，进而校正部10通过进行像素间内插而以比像素小的子像素单位来调整起始位置。其结果是，如图5A下部所示，帧图像f10b被校正了水平方向的图像失真。
图5B是垂直校正的说明图。如图5B上部所示，由于本摄像装置在摄像时向上移动，所以被摄体P11产生了垂直方向伸长了的图像失真(参照图3A)。如图5B中部的帧图像f20a所示，校正部10具有保持多个行(例如3行左右)的像素值的行缓冲器，为了消除垂直方向的图像失真，按照垂直移动量用下方比帧图像f20长的帧图像f20a沿垂直方向校正行位置。即，由帧图像f20的摄像图像，通过行间的像素内插，来校正行位置及行数，使其变为与帧f20相同的行数。其结果是，如图5B下部所示，帧图像f20b被校正了垂直方向的图像失真。
受光面12、水平驱动部13、垂直驱动部14构成MOS型图像传感器。受光面12具有图5A、图5B所示的摄像区域m1。水平驱动部13从帧图像f10a、f20a的行中同时读出与水平像素数相应的像素信号，将各像素信号作为模拟信号20来依次输出。此时，水平驱动部13按照从运算部17输出的水平移动量，以像素单位来调整各行中的读出起始位置。垂直驱动部14在每个水平周期选择帧图像f10a、f20a的1行。此时，垂直驱动部14按照从运算部17输出的水平移动量，来调整要选择的行数。
A/D变换器15将水平驱动部13的驱动及水平校正过的模拟信号20变换为数字信号21，将数字信号21输出到校正部10。
信号处理部16由用RGB来表现的数字信号21来生成YUV输出信号22。
角速度传感器18如图6所示，被设置在受光面12的垂直方向的中心线上，检测受光面12的水平方向的角加速度。角速度传感器19如图6所示，被设置在受光面12的水平方向的中心线上，检测受光面12的垂直方向的角加速度。也可以采用用加速度传感器来取代角加速度传感器18、19的结构。
运算部17根据从角速度传感器18及角速度传感器19输出的角速度，在每个水平周期计算水平方向及垂直方向的移动量。
图7A是运算部17中的水平移动量的计算方法的说明图。如图7A所示，假设受光面12和透镜101被配置成相隔透镜101的焦距f。运算部17通过在1个水平周期的期间内对由角加速度传感器18检测出的角加速度ωx进行积分来计算旋转角Θx。进而，运算部17计算受光面12的映像在1个水平周期中的水平移动量f·tan(Θx)。图7B是运算部17中的垂直移动量计算方法的说明图。与图7A同样，运算部17计算1个水平周期中的垂直移动量f·tan(Θy)。
<校正处理>
图8是示出1帧图像的摄像中的图像失真的校正处理的流程图。在该图中，循环1(S501～S510)示出读出第i行(以下称为行i)时的水平校正及垂直校正。首先，运算部17检测1个水平周期中的水平移动量Mhi及垂直移动量Mvi(S502、S503)。其中，在帧图像的第一行(行1)中，水平移动量及垂直移动量是0。此外，水平移动量Mhi及垂直移动量Mvi以像素间距或行距为单位。即，如果水平移动量Mhi是1.00，则表示移动了1个像素间距；如果是0.75，则表示移动了3/4个像素间距。如果垂直移动量是0.5，则表示移动了1/2个行距。
接着，水平驱动部13根据水平移动量Mhi来决定行i的读出开始位置(起始位置)(S504)。
帧图像是黑白的情况下的水平驱动部13决定的起始位置的说明图示于图9A。水平驱动部13将第一水平行1的起始位置设为某个固定的位置S0。将水平行2的读出开始位置S1决定为从S0移位了水平移动量M1的位置(S1＝S0+M1)。这里，M1是水平移动量Mh1的整数部分，将向左移动作为正。同样，重复应输出的行数次来决定起始位置S2、S3…。以下，将以上的读出方法称为水平移位读出。在水平移位读出中进行像素单位(以像素间距为单位)的水平校正。
此外，帧图像是彩色的情况下的水平驱动部13决定的起始位置的说明图示于图9B。在黑白的情况下将移位量设为最小1个像素，而在彩色的情况下，由于在后级生成YUV信号时需要水平2个像素、垂直2个像素的4个像素，所以移位量的最小单位为2个像素(YUV信号中的1个像素)，这一点不同。在图9B中示出了RGB的情况，但是在补色滤色镜及其他滤色镜的情况下也同样。
接着，水平驱动部13从决定出的起始位置起，从行i读出与帧图像的水平像素数相应的像素信号(S505)。读出的像素信号经A/D变换器5保持到校正部10内的行缓冲器中。校正部10对行缓冲器中保持的1行(帧图像的一行)像素信号，根据水平移动量Mhi的小数部分来进行比像素间距小的子像素单位的像素位置校正处理(S506)。图10A示出子像素单位的像素位置校正处理的说明图。在图10A中设水平移动量Mhi的小数部分为α。像素P1、P2…表示行缓冲器中保持的像素。此外，设校正后的像素为Q1、Q2…。在此情况下，校正部10判断像素Q1的位置是像素P1-Q1和Q1-P2的距离比为α比(1-α)的位置。进而，校正部10通过将该距离比的反比作为权重在像素P1和P2之间进行线性内插来计算像素Q1的值。即，计算像素Q1＝(1-α)·P1+α·P2。对像素Q2、Q3…也同样。图10B示出校正部10中的进行线性内插的电路例。这样，校正部10以子像素单位来校正水平方向的像素位置。校正后的行i的各像素值Qj(j为1至水平像素数)被保持到行缓冲器中。
此后，校正部10按照垂直移动量Mvi，来进行校正垂直方向的伸缩的垂直校正处理(S508)。具体地说，校正部10用行缓冲器中保持的行(i-1)或行(i+1)的像素信号Qj、和行i的像素信号Qj，通过行间的像素内插来计算与垂直移动量Mvi相应的行位置上的像素信号。
图12A示出垂直校正处理的说明图。在图12A中，横向对应于图像的垂直方向，白圈表示行1、2、…的各起始像素Q1(称为原像素)。黑圈(带阴影的圆圈)表示垂直校正后的行位置上的内插后的像素(称为内插像素)。在该图中示出了Mv1为-0.25的情况(读出行1后直至读出行2时向下移动了1/4个像素的情况)。在此情况下，原像素行1和行2的行距是1，而内插后的行1和行2的行距变为5/4。在此情况下，校正部10判断应内插的行2的行位置是原像素的行2和行3间距离比为1/4比3/4的位置。进而，校正部10通过将距离比的反比作为加权系数在原像素行2和原像素行3之间对应的像素之间进行线性内插，来计算内插行2的各像素值。如图12A所示，此情况下的加权系数为3/4和1/4。这样，在摄像装置向下移动了的情况下，伸长图像，以便消除缩小的垂直图像失真。此外，图12B是Mv1为-1/n的情况下的说明图。在此情况下，原像素行2和原像素行3间线性内插所用的加权系数为1/n和(1-1/n)。
图13A示出了Mv1为+0.25的情况(读出行1后直至读出行2时向上移动了1/4个像素的情况)。图13A与图12A相比，不同点在于在原像素行1和原像素行2间进行线性内插。其结果是，在摄像装置向上移动了的情况下，缩小图像，以便消除伸长的垂直图像失真。图13B是Mv1为+1/n的情况下的说明图。此情况下的加权系数为1/n和(1-1/n)。
最后，校正部10及垂直驱动部14校正循环1的循环次数。例如，在内插行数比原像素行数增加了1的情况下，将循环次数减1；在内插行数比原像素行数减少了1的情况下，将循环次数加1；在读出行已到达最后一行的情况下结束循环1。由此，校正部10进行水平行的读出处理，直至内插后的行数到达帧图像所需的内插行数，或者直至水平行的读出到达摄像区域的最后一行。
<垂直校正处理>
图11是垂直校正处理的详细流程图。如该图所示，首先，校正部10由来自运算部17的Mvi，来计算直至行i的累计垂直移动量(S801)，计算内插行的位置及内插行在原像素的行间的距离比(S802)，将距离比的反比作为加权系数来进行计算(S803)。例如，在图12A的情况下，内插行2的位置为5/4，距离比为3/4比1/4，加权系数为1/4和3/4。在图13A的情况下，内插行2的位置为3/4，距离比为3/4比1/4，加权系数为1/4和3/4。
此后，校正部10用循环2(S804～809)通过原像素行间的像素内插来生成内插行。即，从位于内插行位置最近前面的原像素行中读出像素值Qj(S805)，从位于内插行位置最近后面的原像素行中读出像素值Qj(S806)，用加权系数通过线性内插来计算像素值(S807)。这样，校正部10能够校正摄像装置的上下移动造成的垂直图像失真。
图14A是对黑白图像进行的垂直校正处理的说明图。设从第1水平行到第2水平行的垂直移动量为m1，从第2水平行到第3水平行的垂直移动量为m2，…(将向上的移动量作为正)。
在垂直移动量为正的情况下图像向下方伸长，所以如图14B所示读出的原像素总行数多于内插行数。而在为负的情况下图像缩小，所以如图14C所示生成了比原像素行的数目多的内插行。
图15A是对彩色图像进行的垂直校正处理的说明图。这里示出RGB彩色传感器的情况。第1行、第3行…由R、G构成，第2行、第4行…由B、G构成。即，奇数行由R、G，偶数行由B、G构成。由此，如图15B、图15C所示，通过在奇数行之间及偶数行之间进行上述垂直校正处理，来校正垂直方向的图像失真。
这里描述了从2行中进行变焦读出的方法，但是只要是满足用于生成YUV信号的条件的变焦读出，则可以是任何方法。
如上所述，根据本发明实施方式1的摄像装置，通过对帧内的图像失真执行水平方向的图像失真的校正和垂直方向的图像失真的校正，能够实现图像失真校正。而且，水平方向和垂直方向都能够以比像素间距小的间距来校正像素位置及行位置。
此外，校正部10只要具有3行左右的行缓冲器即可，所以无需包括用于在其后的处理中进行校正的帧存储器，所以能够构成电路规模小的摄像装置。即，摄像装置无需用于校正的帧存储器，能够用电路规模、元件个数少的结构来实现现有MOS型传感器的缺点——帧内的图像失真校正。
再者，传感器的输出像素数未读出传感器的所有像素，所以能够削减信号处理部的电路。由此，能够应用于便携式电话机、PDA等小型便携设备。
其中，校正部10进行了图像失真校正的像素值由YUV信号处理部变为YUV信号。YUV信号被输出到未图示的信号处理部，例如JPEG电路等。
此外，在上述实施方式中，校正部10对从A/D变换器15输出的数字像素值进行了校正处理，但是也可以采用对A/D变换器15的输入端的模拟数据进行校正处理的结构。
(实施方式2)
图16是本发明实施方式2的摄像装置的结构的框图。该摄像装置对与图4所示的摄像装置相同的构件要素附以相同的标号，所以省略说明相同点，以下以不同点为中心来进行说明。
受光面42、水平驱动部43、垂直驱动部44可以与现有的MOS型传感器相同。
存储器47是保持1枚帧图像并且具有帧内校正处理及帧间校正处理用工作区的存储器。从信号处理部16输出的帧图像存在水平方向及垂直方向的图像失真。
校正部48以存储器47中保持的帧图像为对象，进行帧内校正处理和帧间校正处理。作为帧内校正处理，校正部48以存储器47中保持的帧图像为对象，进行实施方式1所示的水平校正处理及垂直校正处理。因此，校正部48在图8所示的校正处理中，以存储器47的帧图像为对象来执行像素单位的水平校正处理(水平移位读出)、子像素单位的水平校正处理、垂直校正处理(图11)。例如，校正部48按照上述水平移动量对每行决定上述起始位置，并根据决定出的起始位置来重新配置存储器47中保持的帧图像。作为该重新配置，校正部48除了像素单位的水平校正之外，还进行子像素单位的水平校正。此后，校正部48按照垂直移动量对每行决定内插行位置，通过对帧图像进行行间的像素内插来计算校正行位置上的像素信号，保存到存储器47中。
由此，校正帧内的图像失真。除此之外，作为帧间校正处理，校正部48进行帧间的手抖动校正。
图17是校正部48进行的帧内校正处理及帧间校正处理的说明图。在该图(a)中同时产生了帧内的图像失真、和帧间的手抖动造成的图像的位置偏移。即，由于摄像装置向左上移动，所以图像中的被摄体P30产生斜向失真和伸长失真，从最近前面的帧图像f10产生了位置偏移。图(b)是帧内校正处理及帧间校正处理的说明图。作为帧内校正处理，校正部48进行图8所示的水平校正处理(像素单位和子像素单位)及垂直校正处理；进而，作为帧间校正处理而进行位置校正。位置校正是对1个垂直周期中的水平方向的位置偏移量及垂直方向的位置偏移量，校正帧图像的位置，以便消除该位置偏移。其结果是，如图(c)所示，能够得到不仅校正了帧内的图像失真、而且校正了帧间的位置偏移的帧图像f2。
校正部48无需与帧内校正分别来进行帧间校正，能够同时进行。即，通过将加上水平方向的位置偏移量的值用作水平移动量，将加上垂直方向的位置偏移量的值用作垂直移动量，能够在帧内的校正处理中也同时校正帧间的位置偏移。
其中，不管存储器47中保持的帧图像是Y:U:V＝4:4:4的YUV信号，还是Y:U:V＝4:2:2或Y:U:V＝4:2:0，都只要计算以显示时的1个像素为单位的水平移动量及垂直移动量，进行像素单位及子像素单位的像素位置及行位置的校正即可。这样，不管存储器47中保持的帧图像的YUV的格式如何，校正部47都能够进行帧内校正及帧间校正。此外，存储器47中保持的帧图像当然也可以是RGB方式。
如上所述，根据本实施方式的摄像装置，从传感器中读出与总像素数相应的像素信号，存储到存储器中后，通过改变从存储器中读出的方法，能够校正帧内的图像失真同时校正帧间的位置偏移。
而且，用一般的MOS型传感器也能够与图像失真校正同时实现手抖动校正。
此外，不增加元件个数，就能够构成可同时实现图像失真校正和手抖动校正的摄像装置。
再者，能够实现采用了已有的角速度传感器的、能进行图像失真校正及手抖动校正的摄像装置。
其中，在上述实施方式中，运算部17对所有行检测了水平移动量，但是无需对像素部12的所有行进行检测，也可以如下所述。
第1，在隔行扫描图像的情况下，运算部17在奇数场中对像素部12的每个奇数行检测水平移动量，在偶数场中对每个偶数行检测水平移动量即可。
第2，也可以采用下述结构：运算部17对2行至多行中的每规定数N个行检测水平移动量，校正部10校正该N行的各起始位置。
第3，也可以使运算部17检测所有行中的例如每隔5行相邻的2行的水平移动量，校正部10校正该2行的起始位置，通过预测为移动恒定，来校正该2行后续的3行的起始位置。
其中，在本实施方式中，用角速度传感器17、18来检测水平移动量及垂直移动量，但是也可以采用通过分析帧图像来检测移动的结构。
产业上的可利用性
本发明适合包括具有由排列成多行的多个像素部组成的受光面的MOS型传感器的摄像装置，例如适合电视摄像机、监视摄像机、工业用摄像机、带摄像机的便携式电话机及个人数字代理(PDA)等小型便携设备。

Claims (32)

1.一种摄像装置，其特征在于，包括：
MOS型传感器，具有由排列成多行的多个像素部组成的受光面；
检测单元，检测从上述MOS型传感器中按照水平周期读出的每个上述行的映像中的、与至少2行对应的映像的水平移动量；
决定单元，按照上述水平移动量来决定上述多行中的至少1行的应作为行中的起始像素的起始位置；以及
水平校正单元，根据决定出的起始位置来生成校正图像。
2.如权利要求1所述的摄像装置，其特征在于，上述检测单元检测与上述多行中的所有相邻2行对应的映像的上述水平移动量。
3.如权利要求1所述的摄像装置，其特征在于，上述决定单元按照上述水平移动量，来决定上述至少2行中的至少1行的上述起始位置。
4.如权利要求2所述的摄像装置，其特征在于，上述决定单元按照上述水平移动量，来决定上述相邻2行中的后读出的行的上述起始位置。
5.如权利要求1所述的摄像装置，其特征在于，上述检测单元包括：
加速度传感器，根据本摄像装置的移动来检测加速度；和
计算单元，根据检测出的加速度来计算上述水平移动量。
6.如权利要求5所述的摄像装置，其特征在于，
上述加速度传感器在每1个水平期间检测上述加速度，上述计算单元计算1个水平期间中的水平移动量；
上述水平校正单元包括：读出单元，从由决定单元决定的起始位置起，从上述MOS型传感器中读出与水平像素数相应数量的像素信号。
7.如权利要求1或5所述的摄像装置，其特征在于，
上述决定单元按照最近前面读出的行的起始位置、和从读出时刻起的上述水平移动量，来决定读出对象行的起始位置。
8.如权利要求6所述的摄像装置，其特征在于，
上述决定单元将上述起始位置决定到子像素位置；
上述水平校正单元还包括：水平内插单元，对由读出单元读出的行内的像素串，通过像素内插来校正到上述子像素位置。
9.如权利要求1或5所述的摄像装置，其特征在于，
上述摄像装置还包括：存储单元，存储来自MOS型摄像传感器的帧图像；
上述水平校正单元对上述存储单元中存储的帧图像，校正上述起始位置。
10.如权利要求9所述的摄像装置，其特征在于，
上述决定单元在子像素位置中决定上述起始位置；
上述水平校正单元对上述帧图像，通过像素内插来校正到上述子像素位置。
11.如权利要求1所述的摄像装置，其特征在于，
上述检测单元还检测上述映像的垂直移动量；
上述摄像装置还包括：垂直校正单元，按照检测出的垂直移动量，来校正摄像单元拍摄到的图像的垂直方向的伸缩失真。
12.如权利要求11所述的摄像装置，其特征在于，上述垂直校正单元包括：
行缓冲器，保持从上述MOS型传感器中读出的多行像素信号；
决定单元，按照由检测单元检测出的垂直移动量，对每行决定校正行位置；以及
垂直内插单元，用行缓冲器中保持的行的像素信号、和从上述MOS型传感器中读出的像素信号，通过行间的像素内插来计算校正行位置上的像素信号。
13.如权利要求12所述的摄像装置，其特征在于，
上述垂直内插单元用与由上述决定单元决定的校正行位置最近的上下2行的像素信号来进行像素内插。
14.如权利要求13所述的摄像装置，其特征在于，
上述摄像装置还包括：存储单元，存储来自MOS型摄像传感器的帧图像；
上述水平校正单元及垂直校正单元对上述存储单元中存储的帧图像，校正上述起始位置。
15.如权利要求14所述的摄像装置，其特征在于，
上述检测单元还检测上述映像的垂直移动量；
上述水平校正单元包括：
决定单元，按照上述水平移动量对每行决定上述起始位置；和
重新配置单元，根据所决定的起始位置来重新配置存储单元中存储的帧图像；
上述垂直校正单元包括：
决定单元，按照上述垂直移动量对每行决定校正行位置；和
垂直内插单元，对由重新配置单元重新配置了的帧图像，通过行间的像素内插来计算内插行位置上的像素信号。
16.如权利要求15所述的摄像装置，其特征在于，
上述检测单元还检测存储单元中存储的2个帧间的位置偏移量；
上述水平移动单元及垂直移动单元按照上述位置偏移量来校正帧间的位置偏移。
17.一种摄像方法，用于具有MOS型传感器的摄像装置，该MOS型传感器具有由排列成多行的多个像素部组成的受光面，其特征在于，包括：
检测步骤，检测从上述MOS型传感器中按照水平周期读出的每个上述行的映像中的、与至少2行对应的映像的水平移动量；
决定步骤，按照上述水平移动量来决定上述多行中的至少1行的应作为行中的起始像素的起始位置；以及
读出步骤，根据决定出的起始位置来进行行读出。
18.如权利要求17所述的摄像方法，其特征在于，在上述检测步骤中，检测与上述多行中的所有相邻2行对应的映像的上述水平移动量。
19.如权利要求17所述的摄像方法，其特征在于，在上述决定步骤中，按照上述水平移动量，来决定上述至少2行中的至少1行的上述起始位置。
20.如权利要求18所述的摄像方法，其特征在于，在上述决定步骤中，按照上述水平移动量，来决定上述相邻2行中的后读出的行的上述起始位置。
21.如权利要求17所述的摄像方法，其特征在于，在上述检测步骤中，具有：
用加速度传感器，根据本摄像装置的移动来检测加速度的步骤；和
计算步骤，根据检测出的加速度来计算上述水平移动量。
22.如权利要求21所述的摄像方法，其特征在于，
上述加速度传感器在每1个水平期间检测上述加速度，上述计算步骤计算1个水平期间中的水平移动量；
在上述水平校正步骤中，具有：读出步骤，从由决定步骤决定的起始位置起，从上述MOS型传感器中读出与水平像素数相应数量的像素信号。
23.如权利要求17或21所述的摄像方法，其特征在于，
在上述决定步骤中，按照最近前面读出的行的起始位置、和从读出时刻起的上述水平移动量，来决定读出对象行的起始位置。
24.如权利要求22所述的摄像方法，其特征在于，
在上述决定步骤中，将上述起始位置决定到子像素位置；
在上述水平校正步骤中，还具有：水平内插步骤，对由读出步骤读出的行内的像素串，通过像素内插来校正到上述子像素位置。
25.如权利要求17或21所述的摄像方法，其特征在于，
上述摄像装置还具有：保存步骤，将来自MOS型摄像传感器的帧图像保存到存储器中；
在上述水平校正步骤中，对存储器中存储的帧图像，校正上述起始位置。
26.如权利要求25所述的摄像方法，其特征在于，
在上述决定步骤中，在子像素位置中决定上述起始位置；
在上述水平校正步骤中，对上述帧图像，通过像素内插来校正到上述子像素位置。
27.如权利要求17所述的摄像方法，其特征在于，
在上述检测步骤中，还检测上述映像的垂直移动量；
上述摄像装置还具有：垂直校正步骤，按照检测出的垂直移动量，来校正由摄像步骤拍摄到的图像的垂直方向的伸缩失真。
28.如权利要求27所述的摄像方法，其特征在于，在上述垂直校正步骤中，具有：
决定步骤，按照由检测步骤检测出的垂直移动量，对每行决定校正行位置；以及
垂直内插步骤，利用在保持从上述MOS型传感器中读出的多行像素信号的行缓冲器中被保持的行的像素信号、和从上述MOS型传感器中读出的像素信号，通过行间的像素内插来计算校正行位置上的像素信号。
29.如权利要求28所述的摄像方法，其特征在于，
在上述垂直内插步骤中，用与由上述决定步骤决定的校正行位置最近的上下2行的像素信号来进行像素内插。
30.如权利要求29所述的摄像方法，其特征在于，
上述摄像装置还具有：保存步骤，将来自MOS型摄像传感器的帧图像保存到存储器中；
在上述水平校正步骤及垂直校正步骤中，对上述存储器中存储的帧图像，校正上述起始位置。
31.如权利要求30所述的摄像方法，其特征在于，
在上述检测步骤中，还检测上述映像的垂直移动量；
在上述水平校正步骤中，具有：
决定步骤，按照上述水平移动量对每行决定上述起始位置；和
重新配置步骤，根据所决定的起始位置来重新配置上述存储器中存储的帧图像；
在上述垂直校正步骤中，具有：
决定步骤，按照上述垂直移动量来对每行决定校正行位置；和
垂直内插步骤，对重新配置了的帧图像，通过行间的像素内插来计算内插行位置上的像素信号。
32.如权利要求31所述的摄像方法，其特征在于，
在上述检测步骤中，还检测在存储步骤中存储的2个帧间的位置偏移量；
在上述水平移动步骤及垂直移动步骤中，按照上述位置偏移量来校正帧间的位置偏移。
CNA2005800060016A 2004-02-25 2005-02-21 摄像装置、摄像方法 Pending CN1922868A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP049574/2004 2004-02-25
JP2004049574A JP2005244440A (ja) 2004-02-25 2004-02-25 撮像装置、撮像方法

Publications (1)

Publication Number Publication Date
CN1922868A true CN1922868A (zh) 2007-02-28

Family

ID=34879551

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005800060016A Pending CN1922868A (zh) 2004-02-25 2005-02-21 摄像装置、摄像方法

Country Status (4)

Country Link
US (1) US20070160355A1 (zh)
JP (1) JP2005244440A (zh)
CN (1) CN1922868A (zh)
WO (1) WO2005081517A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101888474A (zh) * 2009-05-14 2010-11-17 索尼公司 视频信号处理单元和显示单元
CN101902573A (zh) * 2009-05-25 2010-12-01 索尼公司 成像设备以及抖动校正方法
CN101996543A (zh) * 2009-08-25 2011-03-30 日本麦可罗尼克斯股份有限公司 缺陷像素地址检测方法以及检测装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4834406B2 (ja) * 2006-01-16 2011-12-14 Ｈｏｙａ株式会社 撮像装置
JP2007264074A (ja) * 2006-03-27 2007-10-11 Canon Inc 撮影装置及びその制御方法
US8035691B2 (en) * 2006-08-01 2011-10-11 Pelco, Inc. Method and apparatus for compensating for movement of a video surveillance camera
JP5036482B2 (ja) 2007-10-19 2012-09-26 シリコン ヒフェ ベー．フェー． 画像処理装置及び画像処理方法、画像処理プログラム
JP4994288B2 (ja) * 2008-04-02 2012-08-08 三菱電機株式会社 監視カメラシステム
US8248541B2 (en) * 2009-07-02 2012-08-21 Microvision, Inc. Phased locked resonant scanning display projection

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0810907B2 (ja) * 1987-11-02 1996-01-31 株式会社日立製作所 信号処理装置
US5012270A (en) * 1988-03-10 1991-04-30 Canon Kabushiki Kaisha Image shake detecting device
JPH0377483A (ja) * 1989-08-19 1991-04-03 Hitachi Ltd 画振れ防止カメラ
JP3758205B2 (ja) * 1995-06-07 2006-03-22 ソニー株式会社 固体撮像装置及びこれを用いたビデオカメラ、並びにｘ‐ｙアドレス型固体撮像装置の駆動方法
DE19942900B4 (de) * 1998-09-08 2004-01-22 Ricoh Company, Ltd. Vorrichtung zur Korrektur von Bildfehlern, die durch ein Kameraverwackeln hervorgerufen werden
TW439285B (en) * 1998-11-30 2001-06-07 Toshiba Corp Solid-state imaging device
US6351319B1 (en) * 1998-12-18 2002-02-26 Xerox Corporation System and apparatus for single subpixel elimination with local error compensation in an high addressable error diffusion process
JP2000350101A (ja) * 1999-03-31 2000-12-15 Toshiba Corp 固体撮像装置及び画像情報取得装置
JP4473363B2 (ja) * 1999-05-26 2010-06-02 富士フイルム株式会社 手振れ補正装置およびその補正方法
JP2001358999A (ja) * 2000-06-12 2001-12-26 Sharp Corp 画像入力装置
US7042507B2 (en) * 2000-07-05 2006-05-09 Minolta Co., Ltd. Digital camera, pixel data read-out control apparatus and method, blur-detection apparatus and method
WO2002037837A1 (en) * 2000-10-30 2002-05-10 Simon Fraser University Active pixel sensor with built in self-repair and redundancy
US6963365B2 (en) * 2001-02-28 2005-11-08 Hewlett-Packard Development Company, L.P. System and method for removal of digital image vertical distortion
JP4270947B2 (ja) * 2003-06-04 2009-06-03 Ｈｏｙａ株式会社 画像歪み補正機能付き撮像装置
US7525526B2 (en) * 2003-10-28 2009-04-28 Samsung Electronics Co., Ltd. System and method for performing image reconstruction and subpixel rendering to effect scaling for multi-mode display

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101888474A (zh) * 2009-05-14 2010-11-17 索尼公司 视频信号处理单元和显示单元
CN101902573A (zh) * 2009-05-25 2010-12-01 索尼公司 成像设备以及抖动校正方法
CN101996543A (zh) * 2009-08-25 2011-03-30 日本麦可罗尼克斯股份有限公司 缺陷像素地址检测方法以及检测装置
CN101996543B (zh) * 2009-08-25 2013-06-19 日本麦可罗尼克斯股份有限公司 缺陷像素地址检测方法以及检测装置

Also Published As

Publication number Publication date
JP2005244440A (ja) 2005-09-08
US20070160355A1 (en) 2007-07-12
WO2005081517A1 (ja) 2005-09-01

Similar Documents

Publication Publication Date Title
CN1922868A (zh) 摄像装置、摄像方法
JP5794705B2 (ja) 撮像装置、その制御方法及びプログラム
US7340160B2 (en) Imaging apparatus
JP5740465B2 (ja) 撮像装置及び欠陥画素補正方法
CN1897649A (zh) 图像处理装置和方法、记录介质和程序
CN1808557A (zh) 图像显示方法、图像拍摄方法以及图像合成方法
CN1734307A (zh) 用于图像拍摄设备的***和方法
CN1744673A (zh) 一种视频电子防抖的装置
US20080174683A1 (en) Image processing apparatus, method, program, and recording medium
US20060087707A1 (en) Image taking apparatus
CN1744674A (zh) 一种视频电子防抖的方法
KR101215966B1 (ko) 촬상 센서, 그 구동방법 및 촬상장치
JP2007135056A (ja) 画像処理装置および方法、並びにプログラム
CA2534947A1 (en) Camera and method for optically capturing a screen
JP2016058876A (ja) 撮像装置及びその制御方法、及び撮像システム
JP2012039177A (ja) 撮像装置
CN1471310A (zh) 摄像装置
CN1921566A (zh) 图像摄取设备及图像摄取方法
JP4167200B2 (ja) 信号処理装置、信号処理方法及びデジタルカメラ
JP4270947B2 (ja) 画像歪み補正機能付き撮像装置
JP2004363857A (ja) 画像歪み補正機能付き撮像装置
JP2007306506A (ja) 撮像装置
JP2005210164A (ja) 欠陥画素補正装置
US20160028957A1 (en) Imaging device, a control method for transmitting picture signals, and a program
JP2005210164A5 (zh)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication