CN1897649A - 图像处理装置和方法、记录介质和程序 - Google Patents

图像处理装置和方法、记录介质和程序 Download PDF

Info

Publication number
CN1897649A
CN1897649A CNA2006100938385A CN200610093838A CN1897649A CN 1897649 A CN1897649 A CN 1897649A CN A2006100938385 A CNA2006100938385 A CN A2006100938385A CN 200610093838 A CN200610093838 A CN 200610093838A CN 1897649 A CN1897649 A CN 1897649A
Authority
CN
China
Prior art keywords
image
line
correcting value
vibratory output
subject image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006100938385A
Other languages
English (en)
Other versions
CN100425058C (zh
Inventor
稻叶靖二郎
田中健二
木下雅也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1897649A publication Critical patent/CN1897649A/zh
Application granted granted Critical
Publication of CN100425058C publication Critical patent/CN100425058C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种图像处理装置和方法、记录介质和程序，能够校正在成像期间施加的摄像机抖动。获取离散摄像机抖动数量数据，并且从离散摄像机抖动数量数据对于每条线内插摄像机抖动数量数据。通过这个内插，从对于每条线准备的摄像机抖动量计算每条线的摄像机抖动校正量。按照所述摄像机抖动校正量，确定像素数据读取位置，并且按照所确定的读取位置来读出像素数据。当在要读出的位置的像素是在两个像素上的位置的像素时，从多个像素数据产生(内插)位于要读出的位置的像素的像素数据。因此，校正摄像机抖动的影响。本发明可以被应用到摄像机。

Description

图像处理装置和方法、记录介质和程序
本申请为以下专利申请的分案申请：国际申请日为2004年1月21日，申请号为200480002671.6，发明名称为《图像处理装置和方法、记录介质和程序》。
技术领域
本发明涉及图像处理装置和方法、记录介质和程序，具体涉及用于通过便携成像装置而减小在拍摄中的摄像机抖动的影响的图像处理装置和方法、记录介质和程序。
背景技术
便携摄像机正在得到普遍使用。在普通的摄像机中使用的固态成像装置包括以CCD(电荷耦合器件)传感器为代表的电荷传送固态成像装置和以CMOS(互补金属氧化物半导体)传感器为代表的X-Y寻址固态成像装置。
CMOS传感器具有比CCD传感器低的功耗。而且，CMOS传感器被单个低压电源驱动，并且容易与***电路集成。因此，正在考虑将CMOS传感器并入诸如摄像机的图像处理装置。
但是，难于使用CMOS传感器来作为诸如摄像机的图像处理装置的成像装置而记录高质量的运动图像或静止图像。原因之一是：所捕获的图像由于摄像机抖动而失真。对于已经被用作图像处理装置的成像装置的CCD传感器，根据在一个场或一个帧中获得的摄像机抖动信息而计算的单个值被用作执行减少摄像机抖动的影响的处理所需要的校正量。因为所有像素的曝光时间是一致的，因此图像不失真。因此，可以使用所述单个值来校正由摄像机抖动引起的移位。
另一方面，CMOS传感器按照下面的机制来捕获主体的图像和处理所捕获的图像。所述图像由于摄像机抖动而失真。所述失真可能由于下面的原因引起。
在诸如CCD传感器的电荷传送固态成像装置中，所有像素同时被曝光，以便可以读出像素数据。在诸如CMOS传感器的X-Y寻址固态成像装置中，每个像素读出数据，或者每条线依序读出数据。在固态成像装置中，当每个像素依序读出数据的时候，在一条线中的像素之间的读出时间之间的差比线之间的要小，可忽略。在下面的说明中，如图1所示，将考虑在线之间的读出时间的差。
例如，现在说明CMOS传感器。所述传感器具有这样的结构，如图1所示，其中，所有像素的读出时间是1/60秒，并且每个帧包括线1-N。参见图2，时间t1是曝光线1的起点，事件t2是其结束点。时间t3是曝光线2的结束点。事件t4是曝光线3的结束点。
时间t2和时间t3之间的差对应于时间差Δt。时间t3和时间t4之间的差也对应于时间差Δt。换句话说，对于曝光时间，每条线出现时间差。因此，在这种情况下，在一个帧中顶线1和底线N之间的时间差大约是对应于曝光时间的1/60秒。当在读出一个帧中底线N的曝光时间相对于顶线1的曝光时间延迟的条件下给出摄像机抖动的时候，不幸的是，由于在线之间的曝光时间的差而导致主体的图像失真。
现在参照图3和图4来说明主体的捕获图像失真的问题。图3和4示出了在帧的中心一个固定长方形被捕获作为主体的情况的示例。图3的中间图示出了不失真的正常图像，所述图像是通过经由没有摄像机抖动的图像处理装置来拍摄主体而被获得的。所述主体被捕获为长方形。
图3的右图示出了由于在拍摄主体中图像处理装置的右向移动而失真的图像。类似地，图3的左图示出了由于在拍摄主体中图像处理装置的左向移动而失真的图像。
图4的中间图示出了不失真的正常图像，所述图像是通过经由没有摄像机抖动的图像处理装置拍摄主体而被获得的。所述主体被捕获为长方形。图4的上图示出了由于在拍摄主体中图像处理装置的上移而垂直扩展的图像。图4的下图示出了由于在拍摄主体中图像处理装置的下移而垂直收缩的图像。
如上所述，在CMOS传感器中，每条线的曝光时间移位(即成像时间被延迟)。如果使用从在一个场或一个帧中获得的摄像机抖动信息计算的单个值来校正由摄像机抖动引起的移位，则不能完全地消除摄像机抖动的影响。不幸的是，要提供给用户的图像可能失真。
为了校正由摄像机抖动引起的图像失真，提出了一种图像处理装置，用于改变每条线的读出位置以便校正在水平方向上的移位，并且改变在垂直方向上要读取的线的位置以便校正在垂直方向上的移位(参见例如日本未审查专利申请出版物第2001-358999号)。
按照在日本未审查专利申请出版物第2001-358999号中公开的方法，假定在构成帧的每条线获得摄像机抖动信息。不利的是，难于以用于检测摄像机抖动的传感器的采样频率的形式来获得每条线的摄像机抖动信息。
另外，按照在日本未审查专利申请出版物第2001-358999号中公开的方法，不幸的是，以像素为单位来校正由摄像机抖动引起的移位。
传统的图像处理装置必须暂时存储所捕获的图像的图像数据。因此，传统的图像处理装置需要具有能够存储至少一个帧的数据的容量的存储器。因此，不能降低所述存储器的容量。
发明内容
本发明考虑到上述情况而被作出，并且本发明的一个目的是根据在一个场或一个帧中获得的摄像机抖动信息来每条线产生一个校正量，以高精度地校正由摄像机抖动引起的移位。本发明的另一个目的是根据摄像机抖动信息来确定像素内插的系数，以产生用于内插的像素数据，由此更高精度地校正由摄像机抖动引起的移位。本发明的另一个目的是短时间执行摄像机抖动检测以降低用于存储图像数据的存储器的容量。
本发明提供了一种图像处理装置，处理通过成像部件拍摄的被摄体图像，其特征在于，该装置包括：成像部件，通过被排列在水平方向或者垂直方向的多个成像元件拍摄被摄体图像；图像显示部件，显示所述被摄体图像；存储部件，存储由所述成像部件拍摄的所述被摄体图像；输出部件，输出与被施加到所述图像处理装置的振动有关的振动检测信息；变换部件，将所述振动检测信息变换为表示被施加到所述图像处理装置的振幅的大小的振动量；计算部件，根据所述振动量，计算用于降低所述振动对所述被摄体图像的影响的校正量；内插部件，根据基于拍摄了存储在所述存储部件中的被摄体图像的第一线时的第一振动量而计算出的第一校正量、基于拍摄第二线时的第二振动量而计算出的第二校正量和基于拍摄第三线时的第三振动量而计算出的第三校正量，对位于所述第一线、所述第二线和所述第三线之间的每个线的校正量进行内插；以及控制部件，根据所述第一校正量、所述第二校正量、所述第三校正量和由所述内插部件内插的所述每个线的校正量，校正被存储在所述存储部件中的被摄体图像，并进行将校正后的被摄体图像输出到所述图像显示部件的控制。
本发明还提供一种图像处理方法，是包括：通过被排列在水平方向或者垂直方向的多个成像元件拍摄被摄体图像的成像部件；显示所述被摄体图像的图像显示部件；以及存储由所述成像部件拍摄的所述被摄体图像的存储部件的图像处理装置的图像处理方法，其特征在于，该方法包括：输出步骤，输出与被施加到所述图像处理装置的振动有关的振动检测信息；变换步骤，将所述振动检测信息变换为表示被施加到所述图像处理装置的振幅的大小的振动量；计算步骤，根据所述振动量，计算用于降低所述振动对所述被摄体图像的影响的校正量；以及内插步骤，根据基于拍摄存储在所述存储部件中的被摄体图像的第一线时的第一振动量而计算出的第一校正量、基于拍摄第二线时的第二振动量而计算出的第二校正量和基于拍摄第三线时的第三振动量而计算出的第三校正量，对位于所述第一线、所述第二线和所述第三线之间的每个线的校正量进行内插，根据所述第一校正量、所述第二校正量、所述第三校正量和由所述内插步骤的处理中被内插的所述每个线的校正量，校正被存储在所述存储部件中的被摄体图像，并将校正后的被摄体图像输出到所述图像显示部件。
本发明还提供一种记录有程序的记录介质，该程序是控制具有：通过被排列在水平方向或者垂直方向的多个成像元件拍摄被摄体图像的成像部件；显示所述被摄体图像的图像显示部件；以及存储由所述成像部件拍摄的所述被摄体图像的存储部件的图像处理装置的计算机可读取的程序，其特征在于，该程序包括：输出步骤，输出与被施加到所述图像处理装置的振动有关的振动检测信息；变换步骤，将所述振动检测信息变换为表示被施加到所述图像处理装置的振幅的大小的振动量；计算步骤，根据所述振动量，计算用于降低所述振动对所述被摄体图像的影响的校正量；以及内插步骤，根据基于拍摄存储在所述存储部件中的被摄体图像的第一线时的第一振动量而计算出的第一校正量、基于拍摄第二线时的第二振动量而计算出的第二校正量和基于拍摄第三线时的第三振动量而计算出的第三校正量，对位于所述第一线、所述第二线和所述第三线之间的每个线的校正量进行内插，根据所述第一校正量、所述第二校正量、所述第三校正量和由所述内插步骤的处理中被内插的所述每个线的校正量，校正被存储在所述存储部件中的被摄体图像，并将校正后的被摄体图像输出到所述图像显示部件。
本发明还提供一种程序，该程序是控制具有：通过被排列在水平方向或者垂直方向的多个成像元件拍摄被摄体图像的成像部件；显示所述被摄体图像的图像显示部件；以及存储由所述成像部件拍摄的所述被摄体图像的存储部件的图像处理装置的计算机可读取的程序，其特征在于，该程序包括：输出步骤，输出与被施加到所述图像处理装置的振动有关的振动检测信息；变换步骤，将所述振动检测信息变换为表示被施加到所述图像处理装置的振幅的大小的振动量；计算步骤，根据所述振动量，计算用于降低所述振动对所述被摄体图像的影响的校正量；以及内插步骤，根据基于拍摄存储在所述存储部件中的被摄体图像的第一线时的第一振动量而计算出的第一校正量、基于拍摄第二线时的第二振动量而计算出的第二校正量和基于拍摄第三线时的第三振动量而计算出的第三校正量，对位于所述第一线、所述第二线和所述第三线之间的每个线的校正量进行内插，根据所述第一校正量、所述第二校正量、所述第三校正量和由所述内插步骤的处理中被内插的所述每个线的校正量，校正被存储在所述存储部件中的被摄体图像，并将校正后的被摄体图像输出到所述图像显示部件。
本发明还提供一种图像处理装置，其特征在于，该装置包括：成像部件，通过被排列在水平方向或者垂直方向的多个成像元件拍摄被摄体图像；图像显示部件，显示所述被摄体图像；存储部件，存储由所述成像部件拍摄的所述被摄体图像；输出部件，输出与被施加到所述图像处理装置的振动有关的振动检测信息；变换部件，将所述振动检测信息变换为表示被施加到所述图像处理装置的振幅的大小的振动量；内插部件，根据拍摄了存储在所述存储部件中的被摄体图像的第一线时的第一振动量、拍摄了第二线时的第二振动量和拍摄了第三线时的第三振动量，对位于所述第一线、所述第二线和所述第三线之间的每条线的振动量进行内插；计算部件，根据所述第一振动量、第二振动量、所述第三振动量和由所述内插部件内插的振动量，对每条线计算用于降低所述振动对所述被摄体图像的影响的校正量；以及控制部件，进行根据由所述计算部件计算的所述每条线的校正量，对存储在所述存储部件中的被摄体图像进行校正，将校正后的被摄体图像输出到所述图像显示部件的控制。
本发明还提供一种图像处理方法，是包括：通过被排列在水平方向或者垂直方向的多个成像元件拍摄被摄体图像的成像部件；显示所述被摄体图像的图像显示部件；以及存储由所述成像部件拍摄的所述被摄体图像的存储部件的图像处理装置的图像处理方法，其特征在于，该方法包括：输出步骤，输出与被施加到所述图像处理装置的振动有关的振动检测信息；变换步骤，将所述振动检测信息变换为表示被施加到所述图像处理装置的振幅的大小的振动量；内插步骤，根据拍摄了存储在所述存储部件中的被摄体图像的第一线时的第一振动量、拍摄了第二线时的第二振动量和拍摄了第三线时的第三振动量，对位于所述第一线、所述第二线和所述第三线之间的每条线的振动量进行内插；计算步骤，根据所述第一振动量、第二振动量、所述第三振动量和由所述内插步骤内插的振动量，对每条线计算用于降低所述振动对所述被摄体图像的影响的校正量，根据由所述计算步骤的处理计算的所述每条线的校正量，对存储在所述存储部件中的被摄体图像进行校正，将校正后的被摄体图像输出到所述图像显示部件。
本发明还提供一种记录有程序的记录介质，该程序是控制具有：通过被排列在水平方向或者垂直方向的多个成像元件拍摄被摄体图像的成像部件；显示所述被摄体图像的图像显示部件；以及存储由所述成像部件拍摄的所述被摄体图像的存储部件的图像处理装置的计算机可读取的程序，其特征在于，该程序包括：输出步骤，输出与被施加到所述图像处理装置的振动有关的振动检测信息；变换步骤，将所述振动检测信息变换为表示被施加到所述图像处理装置的振幅的大小的振动量；内插步骤，根据拍摄了存储在所述存储部件中的被摄体图像的第一线时的第一振动量、拍摄了第二线时的第二振动量和拍摄了第三线时的第三振动量，对位于所述第一线、所述第二线和所述第三线之间的每条线的振动量进行内插；计算步骤，根据所述第一振动量、第二振动量、所述第三振动量和由所述内插步骤内插的振动量，对每条线计算用于降低所述振动对所述被摄体图像的影响的校正量，根据由所述计算步骤的处理计算的所述每条线的校正量，对存储在所述存储部件中的被摄体图像进行校正，将校正后的被摄体图像输出到所述图像显示部件。
本发明还提供一种程序，该程序是控制具有：通过被排列在水平方向或者垂直方向的多个成像元件拍摄被摄体图像的成像部件；显示所述被摄体图像的图像显示部件；以及存储由所述成像部件拍摄的所述被摄体图像的存储部件的图像处理装置的计算机可读取的程序，其特征在于，该程序包括：输出步骤，输出与被施加到所述图像处理装置的振动有关的振动检测信息；变换步骤，将所述振动检测信息变换为表示被施加到所述图像处理装置的振幅的大小的振动量；内插步骤，根据拍摄了存储在所述存储部件中的被摄体图像的第一线时的第一振动量、拍摄了第二线时的第二振动量和拍摄了第三线时的第三振动量，对位于所述第一线、所述第二线和所述第三线之间的每条线的振动量进行内插；计算步骤，根据所述第一振动量、第二振动量、所述第三振动量和由所述内插步骤内插的振动量，对每条线计算用于降低所述振动对所述被摄体图像的影响的校正量，根据由所述计算步骤的处理计算的所述每条线的校正量，对存储在所述存储部件中的被摄体图像进行校正，将校正后的被摄体图像输出到所述图像显示部件。
按照本发明，根据与给定振动相关联的信息，通过计算和内插在构成帧的每条线获得用于校正以抵消振动所需要的校正量。
附图说明
图1是说明从X-Y寻址成像装置读出图像数据的图；
图2是说明在线之间的读出的差的图。
图3包括说明由摄像机移动而引起的主体图像的失真的图。
图4包括说明由摄像机移动而引起的主体图像的失真的图。
图5是按照本发明的一个实施例的图像处理装置的结构的方框图。
图6是说明移位的图。
图7是说明由摄像机抖动引起的主体图像的失真的图。
图8是说明图像处理装置的操作的流程图。
图9A是说明移位的内插的图。
图9B是说明移位的内插的图。
图9C是说明移位的内插的图。
图10A是说明校正量的图。
图10B是说明校正量的图。
图10C是说明校正量的图。
图11是说明读取位置的图。
图12是说明读出的图。
图13A是说明像素内插的图。
图13B是说明像素内插的图。
图14是说明读出的图。
图15A是说明像素内插的图。
图15B是说明像素内插的图。
图16是说明包括内插的像素的图像的图。
图17是说明图像处理装置的另一种操作的流程图。
图18A是说明像素读出的图。
图18B是说明像素读出的图。
图18C是说明像素读出的图。
图18D是说明像素读出的图。
图19是说明计算移位所需要的信息的时序图。
图20是说明计算移位所需要的信息的图。
图21是说明移位的预测的图。
图22是说明介质的图。
具体实施方式
现在参照附图来说明本发明的一个实施例。图5是按照本发明的一个实施例的图像处理装置的结构的方框图。图像处理装置10包括成像装置11，它是例如X-Y寻址固态成像装置(诸如COMS图像传感器)。由成像装置11捕获的主体的图像的数据被提供到AFE(模拟前端)12。
AFE 12将所提供的图像数据转换为数字图像数据，然后将结果产生的数据提供到信号处理单元13。信号处理单元13从所提供的图像数据计算亮度信号和色差信号，然后向图像内插单元14提供所计算的信号。
虽然被提供到图像内插单元14的图像数据对应于由成像装置11捕获的主体的图像的数据段，但是不是由成像装置11捕获的图像的所有数据段被提供到图像内插单元14。仅仅在由TG(定时产生器)15产生的定时被读取的数据段被提供到图像内插单元14。
被提供到图像内插单元14的数据在存储器控制器16的控制下被暂时存储在存储器17中。另一方面，按照存储器控制器16的指令来读取在存储器17中存储的数据，然后将其提供到图像内插单元14。在图像内插单元14中，所提供的数据进行下面详细描述的内插处理，用于校正由摄像机抖动引起的移位。结果产生的数据从图像内插单元14被输出到记录介质(未示出)或显示器(未示出)，以便记录或显示数据。
作为被提供到图像处理装置10的振动，用户摄像机抖动将被描述为一个示例。即使当除了摄像机抖动之外的振动被给出时，本发明也可以被应用到那个情况。
图像内插单元14、定时产生器15和存储器控制器16根据由校正计算单元19计算的校正量来控制相应的操作，所述校正量是根据由摄像机抖动检测单元18获得的移位而被获得的。
摄像机抖动检测单元18检测在拍摄中被提供到图像处理装置10的摄像机抖动。使用诸如角速度传感器的传感器的方法或基于图像处理的无传感器的摄像机抖动检测方法被用于摄像机抖动检测。例如，当摄像机抖动检测单元18包括角速度传感器时，角速度传感器向校正计算单元19提供用于指示在平摇(yawing)方向中的角速度的数据和用于指示俯仰(pitching)方向中的角速度的数据。
根据由摄像机抖动引起的所检测的移位，校正计算单元19计算用于指示用于校正由摄像机抖动引起的移位的校正量的数据。换句话说，校正计算单元19使用所提供的数据来对于每条线计算用于指示像素数量的校正量，图像通过移动所述校正量而降低给定的摄像机抖动的影响。
如上参照图1和2所述，在诸如COMS图像传感器的固态成像装置中每条线依序读取图像数据。因此，每条线计算校正量。
必须计算每条线的校正量。当获得指示移位的数据时的定时依赖于摄像机抖动检测单元18的采用频率。不总是每条线提供用于指示用于计算校正量所需要的移位的数据。
假定摄像机抖动检测单元18的采样频率与由成像装置11捕获的图像的每条线的数据读取频率不同。为了获得每条线的校正量，必须在根据从摄像机抖动检测单元18提供的用于指示移位的数据而不执行计算的同时、通过任何方式来内插摄像机抖动检测单元18的采样点的数据，以获得校正量。
假定摄像机抖动检测单元18的采用频率匹配由成像装置11捕获的图像的每条线的数据读取频率，但是频率不同相。为了获得每条线的校正量，必须在摄像机抖动检测单元18的采样点之间内插用于指示校正量的数据。
现在说明用于指示校正量的数据的内插。举例而言，假定在读出100条线的同时执行三次摄像机抖动检测(当从摄像机抖动检测单元18向校正计算单元19提供指示移位的数据时的定时)。为了方便说明，假定可以在图6所示的每条线1’、50’、100’获得由摄像机抖动检测单元18检测的移位。作为在说明中的基准线的线1是构成所捕获的图像的线之一。
参见图6，在读取线1’中的移位对应于像素P1，在读取线50’中的移位对应于像素P2，在读取线100’中的移位对应于像素P3。
移位是通过经由校正计算单元19将从摄像机抖动检测单元18提供的信息转换为以像素为单位的值而获得的值。由校正计算单元19获得的移位包括一个像素的小部分。在随后的处理步骤中，可以通过一个像素或更小来校正移位。
移位P1-P3表示与在预定定时获得的基准移位相关联的差。所述预定定时是例如仅仅在捕获图像开始后。参见图6，在所述基准和线1’之间发生右向移动。其后，在线1’和50’之间发生右向移动。然后，在线50’和100’之间发生左向移动。
例如，假定将固定长方形捕获为主体。当引起图6的移位的摄像机抖动被提供到图像处理装置10的时候，图7所示的图像被捕获(被提供到用户)，除非数据被校正。由摄像机抖动引起的移位被校正，以便校正失真图像，并且最后将所述长方形作为长方形图像提供给用户。
在本实施例中，使用诸如CMOS图像传感器的X-Y寻址固态成像装置来作为成像装置11的示例(图5)。假定诸如CCD图像传感器的电荷传送固态成像装置被用作成像装置11，则使用单个值来校正在一个帧中每条线的由摄像机抖动引起的图像失真。按照本发明的***可以被应用到那个情况(在一个帧中使用同一值)。
为了校正每条线的移位，必须获取每条线的校正量。但是，再次参见图6，仅仅获取线1’、50’、100’的移位。为什么获取离散数据的原因是所述获取依赖于摄像机抖动检测单元18的摄像机抖动检测定时(采样频率)。在这种情况下，不获得线2’到49’的移位和线51’到99’的移位。因此，必须通过内插来获得相应线的移位，以便执行校正处理。
现在参照图8的流程图来说明校正计算单元19的内插处理(校正计算处理)。在步骤S11中，校正计算单元19获取用于指示由摄像机抖动检测单元18检测的移位的数据(用于计算移位的摄像机抖动信息)。
如上所述，校正计算单元19获取在线1’到100’中的三个移位。在步骤S12中，根据所述三个移位来计算在线2’到99’(排除线50’)中的移位。现在参照图9A-9C来说明所述计算。参照图9A。例如，关于线1’的移位被用于线2’到40’，关于线50’的移位被用于线41’到60’，关于线100’的移位被用于线61’到99’。换句话说，可以使用一种方法，将关于一条线的移位应用于在前的和随后的线以执行内插。
参见图9B，可以使用线性函数来获得所述移位。在图9B的示例中，按照线性函数根据关于线1’和50’的两个移位来计算关于线2’到49’的移位。按照线性函数根据关于线50’和100’的两个移位来获得关于线51’到99’的移位。
另外，参见图9C，可以使用不是线性函数的另一个函数来计算移位。图9C中所示的一个示例是基本上类似的如图9B所示的示例。除了使用非线性函数的函数。一般，不在相同方向以相同速度以相同幅度而发生摄像机抖动。因此，如果使用具有恒定变化率的线性函数执行内插，则可能发生误差。为了以较高的精度更适当地执行内插(校正)，优选地使用表示如图9C所示的曲线的函数。
通过校正计算单元19的通过量来确定使用图9A-9C所示的哪种方法来计算校正量。当校正计算单元19包括微计算机时，可以按照微计算机的通过量而使用图9A-9C的任何一种方法来计算(内插)校正量。
具体上，如果校正计算单元19的通过量低，则可以按照图9A所示的具有小计算量的方法来计算(内插)校正量。当校正计算单元19的通过量较高时，可以按照图9C所示的具有较大计算量的方法来计算(内插)校正量。
如上所述，在根据离散移位每条线获得移位后，在准备S13计算校正量。校正量是以像素为单位的指示所校正的对应移位如何抵消移位(减小摄像机抖动的影响)的值。
例如，如图6所示，线1’的移位对应于像素P1。为了抵消对应于像素P1的移位，可以将具有相同绝对值和不同符号的数量、即像素-P1计算为校正量。
图10A-10C是示出由校正计算单元19计算的校正量的图。图10A示出了当校正计算单元19按照参照图9A所述的方法内插移位时计算的校正量。图10B示出了当校正计算单元19按照参照图9AB所述的方法内插移位时计算的校正量。图10C示出了当校正计算单元19按照参照图9C所述的方法内插移位时计算的校正量。
如上所述，在计算校正量后，在步骤S14确定读取位置(图8)。在确定读取位置后，如果两个像素位于那个位置，则在步骤S15通过内插而获得新的像素。现在说明在步骤S14的读取位置的确定和在步骤S15的像素内插。为了方便说明，下面一起说明步骤S14和S15。通过校正计算单元19来执行步骤S14和在前的步骤(图5)，通过图像内插单元14来执行步骤S15。
参见图11，左部分示出了由校正计算单元19计算的水平方向上的校正量的图。右方部分示出了当未校正在捕获长方形主体时给出的摄像机抖动时获得的图像A的示例。中间部分示出了在右部分中示出的图像的放大部分。
图像A的所述部分包括10条线20’-29’。要读取的像素b位于线23’。每条线计算校正量。根据用于指示对应线的校正的数据、即多少像素用于移位读取位置来确定在每条线中的读出开始位置。
绘制读出开始位置以形成在图11的中间部分所示的读取开始线b。在图11的中间部分的读取开始线b是线性的。但是，它不总是线性的。在一些情况下，预定线的读出开始位置可能偏离其他线的读出开始位置。为了图解而示出了读取开始线b。它不是被形成为校正计算单元19的处理的结果的线或执行所述处理所需要的线。
参见图12，当沿着读取开始线b开始读出时，发现将与作为长方形的一侧的一段的部分相对应的图像校正为无失真图像，如图12的下部所示。
按照本实施例，可以校正对应于一个像素或更小的移位。当注意垂直方向和水平方向的任何一个时，要读取的像素b可以位于一个像素或两个像素中。首先，将说明其中注意水平方向的情况。图13A示出了其中像素b位于一个像素中的示例。在图13A的情况下，像素G3的像素数据被读出作为像素b的像素数据。
图13B示出了其中像素b位于两个或更多的像素中的示例。参见图13B，像素b位于像素G2和G3上。在这种情况下，根据相邻像素来产生像素b的数据，并且结果产生的数据被读取作为像素b的像素数据。
现在参照图13B来说明根据相邻像素来产生像素b的数据的情况。当像素b位于像素G2和G3上的时候，使用像素G2和像素G3的像素数据来产生像素b的像素数据。在这种情况下，将像素G2的像素数据乘以像素G2的总面积和与像素b重叠的面积的比率，并且将像素G3的像素数据乘以像素G3的总面积和与像素b的重叠面积的比率，由此产生像素b的像素数据。
例如，假定像素G2的像素数据是数据D2，像素G3的像素数据是数据D3，并且像素G2的总面积和与像素b的重叠面积的比率是Kb(0＜Kb＜1)。通过下面的表达式来计算像素b的像素数据：像素b的像素数据＝D2×Kb+D3×(1-Kb)。
如上所述，可以通过将像素b重叠的每个像素的数据乘以重叠比率来产生要读取的像素b的像素数据。或者，除了重叠像素的数据之外，还可以根据像素b不重叠的像素的数据来产生像素b的像素数据。
参见图13B。例如，使用像素G1-G4来产生像素b的像素数据。在这种情况下，将像素G1-G4的像素数据段(D1-D4)乘以从重叠像素G2的像素b的比率唯一获得的相应系数(K1-K4)。相加结果产生的值。换句话说，根据下面的表达式来计算：
像素b的数据＝D1×K1+D2×K2+D3×K3+D4×K4。
图像内插单元14或校正计算单元19在与重叠像素G2的像素b的比率(即在校正包括对应于一个像素的一部分的像素段的情况下对应于一个像素的一部分的值(例如当所计算的校正量是1.5像素时是0.5))相关联的表格中存储系数K1-K4。可以从所述表格读取系数。
如上所述，当使用多个像素来产生像素b的像素数据时，可以较高精度地校正由摄像机抖动引起的移位。如果像素b位于一个像素，则可以根据相邻像素的像素数据段来产生其像素数据。
以那个方式，执行确定水平读取位置的处理和必要时内插(产生)要读取的像素数据的处理。现在说明确定垂直读取位置的处理和必要时内插(产生)要读取的像素的数据的处理。垂直方向的处理基本上类似于关于水平方向的上述处理。
参见图14，左部分包括示出了由校正计算单元19计算的垂直方向中的校正量的图。图14的右部分示出了当未校正向上的摄像机移动的影响时通过捕获长方形主体而获得的图像A的示例，所述长方形图像被拉长。图14的中间部分示出了在右部分中图像的放大的部分a的图。
图像A的部分a包括七条线20’-26’。要读取的像素b位于线23’内。在图14的中间部分，向其中在没有摄像机抖动的情况下捕获主体时定位图像的线(以下在适当时称为原始线)分配附图标号。为了方便说明，形成在线之间的间隙。在图14的示例中，因为原始线不与所捕获的图像的线重合，因此，在线之间的间隙中包括图像。
在上述的水平方向的移位校正中。在一条线中的读取开始位置被移位以校正移位。在垂直方向的移位校正中，选择线本身来校正移位。换句话说，以下述方式来校正在垂直方向中的移位：将用于指示多少像素被用于向上或向下移位所捕获的线的数据计算为校正量以获得没有摄像机抖动下捕获的原始图像，并且根据校正量来执行读出。
类似于在水平方向的移位校正量，在垂直方向中，要读取的像素b可以位于图15A所示的一个像素(线)中或图15B所示的多个像素(线)中。关于用于当像素b位于多个像素上时产生像素b的像素数据的手段，因为可以以类似于在参照图13B所述的水平方向中的移位校正的方式使用系数来计算像素数据，因此将省略所述手段的说明。
在执行上述内插(校正)后，所捕获的图像的线匹配原始线，如图16的左部所示。结果，如图16的右部所示，校正所捕获的图像，以便作为矩形的一侧的一段的一部分位于原始线上。如上所述，即使当在捕获图像中给出垂直摄像机抖动的时候，也可以减少摄像机抖动的影响，并且可以向用户提供结果产生的图像。
如上所述，按照本实施例，执行在水平方向中的移位校正和在垂直方向上的移位校正(图8的步骤S14和S15)。
在上述的本实施例中，在步骤S12内插所述移位，并且在步骤S13计算校正量。换句话说，内插由摄像机抖动检测单元18获得的离散数据段以每条线产生移位。其后，每条线计算校正量。
也可以按照图17所示的流程图来校正摄像机抖动的效果。在步骤S21中，从摄像机抖动检测单元18获得移位。在步骤S22，通过校正计算单元19来计算移位的校正量。在步骤S23中，内插所计算的校正量以每条线产生校正量。
换句话说，根据由摄像机抖动检测单元18获得的离散数据段来计算离散校正量。摄像机抖动校正量被内插以获得每条线的校正量。如上所述，当计算校正量和然后内插校正量时，可以获得与内插移位和然后使用通过内插的移位来计算校正量的情况一样的优点。
因为步骤S24和下面的步骤与步骤S14和下面的步骤相同，因此将省略其说明。对于步骤S22和S23，因为基本处理——例如使用线性函数或非线性函数来计算校正量——与上述的图8的流程图中相同，因此省略其说明。
如上所述，校正计算单元19计算校正量。如图5所示，向图像内插单元14、定时产生器15和存储器控制器16提供每个校正量。现在说明通过相应的分量基于校正量的像素读出。参见图18A，举例而言，将读取开始位置R0设置为在像素G1中的预定位置。现在说明这个示例。
在这种情况下，定时产生器15控制从成像装置11向AFE 12提供的像素数据的读出。以像素为单位来执行通过定时产生器15的像素数据读出的控制，其数量是一个像素的整数倍。于是，从图18B所示的读取开始位置R1开始读出。在这种情况下，读取开始位置R1对应于像素G1的首部。因此，像素G1的像素数据段和后面的像素被提供到图18C所示的AFE 12和随后的部件。
换句话说，在定时产生器15的控制下执行粗略的移位校正。
随后，图像内插单元14和存储器控制器16以一个像素的一部分来校正移位。首先，图18C所示的像素数据在存储器控制器16的控制下通过图像内插单元14被依序存储在存储器17中。存储器控制器16在必要时读取在存储器17中存储的像素数据，并且向图像内插单元14提供所读取的数据。
将说明在存储器控制器16的控制下的读出和图像内插单元14的处理。在这种情况下，如图18D的上部所示，从位于像素G1的中间的读取开始位置R2读取像素数据。但是，不能从所述像素的中部读取数据。因此，如图18D的下部所示，制造(内插)而不是读出像素G1’、G2’、…的像素数据段，然后产生它们。
执行已经参照图13A、B和15A、B上述的内插处理，以便将每个像素数据乘以系数等。在水平和垂直方向产生(内插)像素。按照所述处理，执行精细的移位校正。需要用于存储像素数据的存储器17来精细校正。也需要存储器控制器16来控制对于存储器17的写入和读取。因此，本装置具有图5所示的结构。
在图5的示例中，从信号处理单元13输出的像素数据(图像数据)在存储器控制器16的控制下通过图像内插单元14被存储在存储器17中。按照所述结构，在通过图像内插单元14的上述像素内插之前(当从信号处理单元13向存储器控制器16提供数据时)，图像的分辨率被转换，并且可以将具有所转换的分辨率的图像进行摄像机抖动校正。
换句话说，图像内插单元14可以转换输入数据的分辨率或内插输出数据的像素。如上所述，当图像内插单元14可以处理要存储在存储器17中的像素数据(图像数据)和所存储的像素数据时，可以实现处理变化。
在上述的实施例中，已经作为示例说明了图像处理装置10包括定时产生器15的情况。定时产生器15不总是移位校正所需要的。本发明可以被应用到图像处理装置10不包括定时产生器15的情况。
当图像处理装置10不包括定时产生器15时，可以通过图像内插单元14和存储器控制器16来执行上述的像素内插(读出和产生)。当基于由校正计算单元19计算的校正的读取开始位置对应于在图18A中的读取开始位置R0的时候，可以从像素G1开始图18D所示的像素数据产生而不使用通过定时产生器15的粗略校正。换句话说，可以通过图像内插单元14和存储器控制器16来执行粗略校正和精细校正。
在上述实施例中，没有说明存储器17的容量。例如，如果存储器17可以存储一个图像的数据，则存储器17具有足够的容量。如下所述，即使当存储器17具有不能存储一个图像的数据的容量时，只要处理校正量，则可以执行移位校正处理。换句话说，如果存储器17的容量小，则可以高精度地执行上述的移位校正处理。
现在说明在水平方向中的移位校正。所述说明将基于假设：图像处理装置10包括摄像机抖动检测单元18(图5)，用于如图19所示八次检测在一个场或一个帧中的摄像机抖动信息。当曝光时间被如图19设置时，可以根据信息段a1-a6来计算线1的摄像机抖动信息。在这种情况下，假定设置了上述条件。
如上所述，按照本实施例，使用涉及预定线的数据段来内插(计算)用于校正由给定的摄像机抖动引起的移位的校正量，以提供每条线的校正量。再次参见图9B，当通过内插获得移位或校正量时，不能不使用关于两条线1’和50’的摄像机抖动信息段来获得关于线2’-49’的移位或其校正量。
但是，参见图19，当信息段a1-a6被用作线1(例如线1’)的摄像机抖动信息段、即当使用可以在对应线的曝光时间获得的摄像机抖动信息段(在这种情况下是六个段)的时候，在获取下一个信息a7之前不能计算下一个移位。在这种情况下，一旦读取线i(例如线50’)就获得信息a7。
因此，在使用六个摄像机抖动信息段来计算移位的情况下，不能对于在线1和i之间的线2至(i-1)(例如线2’-49’)执行内插处理，直到获得在线i中的数据a7。换句话说，按照如上所述的摄像机抖动检测，当读取在预定位置的线时，不获得线的摄像机抖动信息。不幸的是，不能通过移位校正来确定读取像素数据的位置。因此，必须在图像数据被暂时存储在存储器17中并且计算校正后执行读取操作(和内插处理)。
但是，按照本实施例，根据信息段a2-a5来计算关于线1的移位。换句话说，从摄像机抖动信息消除在两端的信息段，所述摄像机抖动信息段可以在曝光时间被获得，并且从四个中间信息段计算移位。
如上所述，在使用中间信息段(时间序列信息段的中间信息段和在前和随后的信息段)计算移位的情况下，在线1的曝光时间过去后，计算线i的移位所需要的信息段a3-a6已经被检测(获得)。因此，可以在当线1的曝光时间过去时的时间计算关于线i的移位。因此，可以在当线1的曝光时间过去时的时间基于关于线1的移位和关于线i的移位来获得(计算)关于线2-(i-1)的每个的移位。
因此，如果图像数据不暂时被存储在存储器17以便计算移位，则可以计算移位和校正量。因此，即使当图像数据不被存储在存储器17的时候，也可以执行在水平方向的移位校正。
如果使用中间信息段a3和a4来计算关于线1的移位、即如果使用仅仅两个中间信息段来获得线1的移位，则可以在当获得线1的移位时的时间(线1的曝光时间过去)来计算线i到j的移位。
在这种情况下，根据很少的信息来产生线1的移位。当使用其他线(例如相对于线1的线i和j)的移位、即多条线的移位来另外对每条线校正移位时，可以高精度地计算线1的移位。因此，可以高精度地获得校正量。
随后，将说明在垂直方向上的移位校正。因为垂直移位校正与上述的水平移位校正基本上类似，因此现在说明其间的差。将再次参照图19来说明垂直移位校正。类似于上述的水平移位校正，使用例如信息段a2-a5来计算关于第一线(线1)的移位。在第一线的曝光时间过去后，用于计算线i的移位所需的信息段a3-a6已经被检测(获得)。
于是，图像处理装置10不必向在上述的水平移位校正的情况下那样包括具有用于存储一个图像的容量的存储器17。如果存储器17具有小容量，则可以高精度地执行应用了本发明的移位校正。
但是，垂直移位校正不同于水平移位校正之处在于：需要参照图14和15如上所述处理多条线。因此，图像处理装置10必须包括具有用于存储与内插移位和像素所需像素(例如十条线)相对应的像素(图像)数据的容量的存储器17。
如上所述，虽然图像处理装置10需要包括存储器17，但是存储器17具有用于存储一个图像的容量或更小容量。可以降低存储器17的容量。因此，可以将除了存储用于移位校正的图像数据所需要的容量之外的、存储器17的容量来用于另一个处理。或者，降低存储器17的容量，由此减少存储器17的成本。
如上所述，摄像机抖动检测单元18(图5)根据短时间获得的信息段来计算移位(校正量)，由此降低存储器17的容量。在上述的实施例中，为了容易说明，在一个场或一个帧中检测八个摄像机抖动信息段。在本发明的应用中，不限制摄像机抖动检测次数。本发明可以被应用到具有任何摄像机抖动检测次数的移位校正。
在通过使用X-Y寻址固态成像装置的成像装置捕获的图像中，仅仅在曝光时间过去后才读取每个像素的图像信息。当如上所述使用其中可以降低存储器17的容量的方法时，可能出现下列问题：如果曝光时间降低(快门速度提高、即满足摄像机抖动检测间隔＞曝光时间的一半的关系式)，则在一些情况下，在读取像素信息的定时不检测下一次的移位。
现在参照图20来说明所述问题。在第一区域中，每条线的曝光中心位于关于摄像机抖动检测的信息段a4和a5之间。此时，需要根据信息段a4和a5来内插移位。但是，当读取在第一区域中的每条线时，未检测关于摄像机抖动的信息段a5。于是，不能通过在第一区域的内插而获得移位。
在第二区域中，每条线的读取时间是在信息段a5的检测时间后。因为每条线的曝光的中间位于关于摄像机抖动检测的信息段a4和a5之间，并且已经检测了关于摄像机抖动的信息段a4和a5，因此可以根据作为信息段a4和a5的摄像机抖动信息通过内插来获得每条线的移位。
在第三区域中，每条线的曝光的中心位于信息段a5的检测时间之后，即在摄像机抖动信息段a5和信息段a6之间。需要根据信息段a5和a6通过内插来获得每条线的移位。但是，当读取在第三区域中的每条线时，未检测关于摄像机抖动的信息段a6。因此，不能在第三区域中通过内插而获得移位。
如上所述，当满足所述条件(摄像机抖动检测间隔)＞(曝光时间的一半)时，可能出现其中不能通过内插获得每条线的移位的一些区域。
当提高用于摄像机抖动检测的采样频率时，降低摄像机抖动检测间隔，以便可以防止上述问题。但是，计算复杂度和通信复杂度提高，导致***负荷增加。
作为用于降低***负荷和解决上述问题的手段，使用预测移位。参见图21，例如，为了计算移位F1，使用过去的移位P1和P2，根据移位P1和P2来获得直线1，并且计算移位F1来作为在直线1的扩展上的一个点。
所述方法是一个示例。用于预测的过去的摄像机抖动数据段的数量和预测算法不受限。
按照上述的实施例，在通过内插执行获得帧的上端或下端附近的移位(校正量)的处理中，可以使用在前的和随后的场或帧的移位数据段来进行用于内插的计算。因此，可以高精度地计算用于校正移位的校正量。因此，可以高精度地校正移位。
在上述实施例中，还没有详细说明要捕获的图像。静止图像或运动图像可以被用作要捕获的图像。换句话说，本发明可以被应用到用于捕获静止图像的摄像机和用于捕获运动图像的摄像机。
如上所述，按照本发明，可以获得校正移位的数据，通过内插小数量关于摄像机抖动的检测数据获得构成图像的每条线。另外，内插像素数据以便校正一个像素或更小的移位。因此，可以以一个像素或更小的精度来校正每条线的图像的失真，所述失真是由被提供到诸如使用X-Y寻址固态成像装置的摄像机——例如CMOS图像传感器——的图像处理装置的摄像机抖动引起的。
而且，按照本发明，可以降低用于存储所捕获的图像的图像数据的存储器17的容量。自然地，除了诸如CMOS图像传感器之类的的X-Y寻址固态成像装置的摄像机之外，本发明还可以被应用到使用诸如CCD图像传感器的电荷传送固态成像装置的摄像机。
可以通过具有相应功能的硬件来执行校正摄像机抖动的上述处理。也可以软件来执行所述处理。当通过软件来执行—系列处理步骤时，使用其中在专用硬件中安装了包括所述软件的程序的计算机。或者，从在例如通用计算机上的记录介质安装所述程序，在所述计算机上安装了各种程序以执行各种功能。
为了说明记录介质，现在简要说明使用记录介质的个人计算机。图22示出了通用个人计算机的内部结构。个人计算机的CPU(中央处理单元)201按照在ROM(只读存储器)202中存储的程序来执行各种处理。通过CPU 201执行各种处理所需要的数据和程序被适当地存储在RAM(随机存取存储器)203中。包括键盘和/或鼠标的输入单元206连接到输入-输出接口205，它向CPU 201输出信号，所述信号被提供到输入单元206。包括显示器和/或扬声器的输出单元207连接到输入-输出接口205。
而且，包括硬盘的存储单元208和用于通过诸如因特网的网络对于另一个装置发送和接收数据的通信单元209连接到输入-输出接口205。驱动器210用于向/从诸如磁盘221、光盘222、磁光盘223和半导体存储器224的记录媒体写入和读出数据。
如图22所示，记录介质包括封装介质，其中记录了程序，并且它独立地从个人计算机被分发以向用户提供程序，所述封装介质诸如磁盘231(包括软盘)、光盘232(包括CD-ROM(致密盘-只读存储器)或DVD(数字多用途盘))、磁光盘233(包括MD(微型盘)(注册商标))或半导体存储器234。或者，记录介质包括在被提供给用户的计算机中内置的、其中存储了程序的硬盘，所述硬盘包括ROM 202或存储单元208。
在本说明书中，描述通过介质提供的程序的步骤不仅包括要在时序基础上以所述顺序执行的处理，而且包括不总是在时序基础上被执行而是同时或独立地被执行的处理。
产业上的应用
按照本发明，可以校正由在图像捕获中给出的摄像机抖动引起的移位。
按照本发明，可以高精度地校正移位。
按照本发明，可以校正一个像素或更小的移位。
按照本发明，可以减少用于存储用于校正由摄像机抖动引起的移位所需要的图像数据的存储器的容量。
按照本发明，即使当降低曝光时间时，也可以降低用于存储校正移位所需要的图形数据的存储器的容量。

Claims (18)

1、一种图像处理装置，处理通过成像部件拍摄的被摄体图像，其特征在于，该装置包括：
成像部件，通过被排列在水平方向或者垂直方向的多个成像元件拍摄被摄体图像；
图像显示部件，显示所述被摄体图像；
存储部件，存储由所述成像部件拍摄的所述被摄体图像；
输出部件，输出与被施加到所述图像处理装置的振动有关的振动检测信息；
变换部件，将所述振动检测信息变换为表示被施加到所述图像处理装置的振幅的大小的振动量；
计算部件，根据所述振动量，计算用于降低所述振动对所述被摄体图像的影响的校正量；
内插部件，根据基于拍摄了存储在所述存储部件中的被摄体图像的第一线时的第一振动量而计算出的第一校正量、基于拍摄第二线时的第二振动量而计算出的第二校正量和基于拍摄第三线时的第三振动量而计算出的第三校正量，对位于所述第一线、所述第二线和所述第三线之间的每个线的校正量进行内插；以及
控制部件，根据所述第一校正量、所述第二校正量、所述第三校正量和由所述内插部件内插的所述每个线的校正量，校正被存储在所述存储部件中的被摄体图像，并进行将校正后的被摄体图像输出到所述图像显示部件的控制。
2、如权利要求1所述的图像处理装置，其特征在于，
所述控制部件在水平方向的所述校正中，通过改变所述线内的读出开始位置来进行校正，和/或在垂直方向的所述校正中，通过所述线自身的选择来进行校正。
3、如权利要求1所述的图像处理装置，其特征在于，
所述内插部件的校正量的内插用直线地或曲线地变化的函数来进行。
4、如权利要求1所述的图像处理装置，其特征在于，
所述控制部件以小于等于1像素单位的精度来进行像素内插。
5、如权利要求1所述的图像处理装置，其特征在于，
所述存储部件不是存储一张所述被摄体图像，而是存储用于降低所述振动对所述被摄体图像的影响的校正所需要的被摄体图像区域。
6、如权利要求1所述的图像处理装置，其特征在于，
该图像处理装置被组装到计算机中。
7、一种图像处理方法，是包括：
通过被排列在水平方向或者垂直方向的多个成像元件拍摄被摄体图像的成像部件；
显示所述被摄体图像的图像显示部件；以及
存储由所述成像部件拍摄的所述被摄体图像的存储部件的图像处理装置的图像处理方法，其特征在于，该方法包括：
输出步骤，输出与被施加到所述图像处理装置的振动有关的振动检测信息；
变换步骤，将所述振动检测信息变换为表示被施加到所述图像处理装置的振幅的大小的振动量；
计算步骤，根据所述振动量，计算用于降低所述振动对所述被摄体图像的影响的校正量；以及
内插步骤，根据基于拍摄存储在所述存储部件中的被摄体图像的第一线时的第一振动量而计算出的第一校正量、基于拍摄第二线时的第二振动量而计算出的第二校正量和基于拍摄第三线时的第三振动量而计算出的第三校正量，对位于所述第一线、所述第二线和所述第三线之间的每个线的校正量进行内插，
根据所述第一校正量、所述第二校正量、所述第三校正量和由所述内插步骤的处理中被内插的所述每个线的校正量，校正被存储在所述存储部件中的被摄体图像，并将校正后的被摄体图像输出到所述图像显示部件。
8、一种记录有程序的记录介质，该程序是控制具有：通过被排列在水平方向或者垂直方向的多个成像元件拍摄被摄体图像的成像部件；
显示所述被摄体图像的图像显示部件；以及
存储由所述成像部件拍摄的所述被摄体图像的存储部件的图像处理装置的计算机可读取的程序，其特征在于，该程序包括：
输出步骤，输出与被施加到所述图像处理装置的振动有关的振动检测信息；
变换步骤，将所述振动检测信息变换为表示被施加到所述图像处理装置的振幅的大小的振动量；
计算步骤，根据所述振动量，计算用于降低所述振动对所述被摄体图像的影响的校正量；以及
内插步骤，根据基于拍摄存储在所述存储部件中的被摄体图像的第一线时的第一振动量而计算出的第一校正量、基于拍摄第二线时的第二振动量而计算出的第二校正量和基于拍摄第三线时的第三振动量而计算出的第三校正量，对位于所述第一线、所述第二线和所述第三线之间的每个线的校正量进行内插，
根据所述第一校正量、所述第二校正量、所述第三校正量和由所述内插步骤的处理中被内插的所述每个线的校正量，校正被存储在所述存储部件中的被摄体图像，并将校正后的被摄体图像输出到所述图像显示部件。
9、一种程序，该程序是控制具有：通过被排列在水平方向或者垂直方向的多个成像元件拍摄被摄体图像的成像部件；
显示所述被摄体图像的图像显示部件；以及
存储由所述成像部件拍摄的所述被摄体图像的存储部件的图像处理装置的计算机可读取的程序，其特征在于，该程序包括：
输出步骤，输出与被施加到所述图像处理装置的振动有关的振动检测信息；
变换步骤，将所述振动检测信息变换为表示被施加到所述图像处理装置的振幅的大小的振动量；
计算步骤，根据所述振动量，计算用于降低所述振动对所述被摄体图像的影响的校正量；以及
内插步骤，根据基于拍摄存储在所述存储部件中的被摄体图像的第一线时的第一振动量而计算出的第一校正量、基于拍摄第二线时的第二振动量而计算出的第二校正量和基于拍摄第三线时的第三振动量而计算出的第三校正量，对位于所述第一线、所述第二线和所述第三线之间的每个线的校正量进行内插，
根据所述第一校正量、所述第二校正量、所述第三校正量和由所述内插步骤的处理中被内插的所述每个线的校正量，校正被存储在所述存储部件中的被摄体图像，并将校正后的被摄体图像输出到所述图像显示部件。
10、一种图像处理装置，其特征在于，该装置包括：
成像部件，通过被排列在水平方向或者垂直方向的多个成像元件拍摄被摄体图像；
图像显示部件，显示所述被摄体图像；
存储部件，存储由所述成像部件拍摄的所述被摄体图像；
输出部件，输出与被施加到所述图像处理装置的振动有关的振动检测信息；
变换部件，将所述振动检测信息变换为表示被施加到所述图像处理装置的振幅的大小的振动量；
内插部件，根据拍摄了存储在所述存储部件中的被摄体图像的第一线时的第一振动量、拍摄了第二线时的第二振动量和拍摄了第三线时的第三振动量，对位于所述第一线、所述第二线和所述第三线之间的每条线的振动量进行内插；
计算部件，根据所述第一振动量、第二振动量、所述第三振动量和由所述内插部件内插的振动量，对每条线计算用于降低所述振动对所述被摄体图像的影响的校正量；以及
控制部件，进行根据由所述计算部件计算的所述每条线的校正量，对存储在所述存储部件中的被摄体图像进行校正，将校正后的被摄体图像输出到所述图像显示部件的控制。
11、如权利要求10所述的图像处理装置，其特征在于，
所述控制部件在水平方向的所述校正中，通过改变所述线内的读出开始位置来进行校正，和/或在垂直方向的所述校正中，通过所述线自身的选择来进行校正。
12、如权利要求10所述的图像处理装置，其特征在于，
所述内插部件的校正量的内插用直线地或曲线地变化的函数来进行。
13、如权利要求10所述的图像处理装置，其特征在于，
所述控制部件以小于等于1像素单位的精度来进行像素内插。
14、如权利要求10所述的图像处理装置，其特征在于，
所述存储部件不是存储一张所述被摄体图像，而是仅存储用于降低所述振动对所述被摄体图像的影响的校正所需要的被摄体图像区域。
15、如权利要求10所述的图像处理装置，其特征在于，
该图像处理装置被组装到计算机中。
16、一种图像处理方法，是包括：
通过被排列在水平方向或者垂直方向的多个成像元件拍摄被摄体图像的成像部件；
显示所述被摄体图像的图像显示部件；以及
存储由所述成像部件拍摄的所述被摄体图像的存储部件的图像处理装置的图像处理方法，其特征在于，该方法包括：
输出步骤，输出与被施加到所述图像处理装置的振动有关的振动检测信息；
变换步骤，将所述振动检测信息变换为表示被施加到所述图像处理装置的振幅的大小的振动量；
内插步骤，根据拍摄了存储在所述存储部件中的被摄体图像的第一线时的第一振动量、拍摄了第二线时的第二振动量和拍摄了第三线时的第三振动量，对位于所述第一线、所述第二线和所述第三线之间的每条线的振动量进行内插；
计算步骤，根据所述第一振动量、第二振动量、所述第三振动量和由所述内插步骤内插的振动量，对每条线计算用于降低所述振动对所述被摄体图像的影响的校正量，
根据由所述计算步骤的处理计算的所述每条线的校正量，对存储在所述存储部件中的被摄体图像进行校正，将校正后的被摄体图像输出到所述图像显示部件。
17、一种记录有程序的记录介质，该程序是控制具有：通过被排列在水平方向或者垂直方向的多个成像元件拍摄被摄体图像的成像部件；
显示所述被摄体图像的图像显示部件；以及
存储由所述成像部件拍摄的所述被摄体图像的存储部件的图像处理装置的计算机可读取的程序，其特征在于，该程序包括：
输出步骤，输出与被施加到所述图像处理装置的振动有关的振动检测信息；
变换步骤，将所述振动检测信息变换为表示被施加到所述图像处理装置的振幅的大小的振动量；
内插步骤，根据拍摄了存储在所述存储部件中的被摄体图像的第一线时的第一振动量、拍摄了第二线时的第二振动量和拍摄了第三线时的第三振动量，对位于所述第一线、所述第二线和所述第三线之间的每条线的振动量进行内插；
计算步骤，根据所述第一振动量、第二振动量、所述第三振动量和由所述内插步骤内插的振动量，对每条线计算用于降低所述振动对所述被摄体图像的影响的校正量，
根据由所述计算步骤的处理计算的所述每条线的校正量，对存储在所述存储部件中的被摄体图像进行校正，将校正后的被摄体图像输出到所述图像显示部件。
18、一种程序，该程序是控制具有：通过被排列在水平方向或者垂直方向的多个成像元件拍摄被摄体图像的成像部件；
显示所述被摄体图像的图像显示部件；以及
存储由所述成像部件拍摄的所述被摄体图像的存储部件的图像处理装置的计算机可读取的程序，其特征在于，该程序包括：
输出步骤，输出与被施加到所述图像处理装置的振动有关的振动检测信息；
变换步骤，将所述振动检测信息变换为表示被施加到所述图像处理装置的振幅的大小的振动量；
内插步骤，根据拍摄了存储在所述存储部件中的被摄体图像的第一线时的第一振动量、拍摄了第二线时的第二振动量和拍摄了第三线时的第三振动量，对位于所述第一线、所述第二线和所述第三线之间的每条线的振动量进行内插；
计算步骤，根据所述第一振动量、第二振动量、所述第三振动量和由所述内插步骤内插的振动量，对每条线计算用于降低所述振动对所述被摄体图像的影响的校正量，
根据由所述计算步骤的处理计算的所述每条线的校正量，对存储在所述存储部件中的被摄体图像进行校正，将校正后的被摄体图像输出到所述图像显示部件。
CNB2006100938385A 2003-01-22 2004-01-21 图像处理装置和方法 Expired - Fee Related CN100425058C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003013685A JP3925415B2 (ja) 2003-01-22 2003-01-22 画像処理装置および方法、記録媒体、並びにプログラム
JP013685/03 2003-01-22

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800026716A Division CN100380935C (zh) 2003-01-22 2004-01-21 图像处理装置和方法

Publications (2)

Publication Number Publication Date
CN1897649A true CN1897649A (zh) 2007-01-17
CN100425058C CN100425058C (zh) 2008-10-08

Family

ID=32767365

Family Applications (4)

Application Number Title Priority Date Filing Date
CNB2006100938385A Expired - Fee Related CN100425058C (zh) 2003-01-22 2004-01-21 图像处理装置和方法
CNB200610093839XA Expired - Fee Related CN100456809C (zh) 2003-01-22 2004-01-21 图像处理装置和方法
CN200610093840A Expired - Fee Related CN100589527C (zh) 2003-01-22 2004-01-21 图像处理装置和方法
CNB2004800026716A Expired - Fee Related CN100380935C (zh) 2003-01-22 2004-01-21 图像处理装置和方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
CNB200610093839XA Expired - Fee Related CN100456809C (zh) 2003-01-22 2004-01-21 图像处理装置和方法
CN200610093840A Expired - Fee Related CN100589527C (zh) 2003-01-22 2004-01-21 图像处理装置和方法
CNB2004800026716A Expired - Fee Related CN100380935C (zh) 2003-01-22 2004-01-21 图像处理装置和方法

Country Status (6)

Country Link
US (2) US7750942B2 (zh)
EP (2) EP2302906A3 (zh)
JP (1) JP3925415B2 (zh)
KR (2) KR100994877B1 (zh)
CN (4) CN100425058C (zh)
WO (1) WO2004066619A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107786810A (zh) * 2016-08-26 2018-03-09 佳能株式会社 图像处理设备、图像处理方法、摄像设备和存储介质
CN110057790A (zh) * 2018-01-19 2019-07-26 徕卡仪器（新加坡）有限公司 用于荧光强度归一化的方法

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8063940B2 (en) * 2004-05-10 2011-11-22 Hewlett-Packard Development Company, L.P. Image-stabilization systems and methods
JP4389779B2 (ja) * 2004-12-27 2009-12-24 ソニー株式会社 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置
JP4586534B2 (ja) * 2004-12-28 2010-11-24 セイコーエプソン株式会社 撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法
JP4390068B2 (ja) 2004-12-28 2009-12-24 ソニー株式会社 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置
JP4310645B2 (ja) 2004-12-28 2009-08-12 ソニー株式会社 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置
JP4665541B2 (ja) * 2005-02-08 2011-04-06 セイコーエプソン株式会社 撮像装置および手ブレ補正方法
JP4873523B2 (ja) * 2005-05-16 2012-02-08 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2007004020A (ja) 2005-06-27 2007-01-11 Sony Corp ズームレンズ及び撮像装置
JP4549260B2 (ja) * 2005-08-25 2010-09-22 キヤノン株式会社 記録再生装置、記録再生方法、及びコンピュータプログラム
JP4662835B2 (ja) * 2005-10-13 2011-03-30 Ｈｏｙａ株式会社 撮像装置
JP2007121650A (ja) * 2005-10-27 2007-05-17 Sony Corp ズームレンズ及び撮像装置
JP4926450B2 (ja) * 2005-11-01 2012-05-09 日東光学株式会社 画像処理装置
JP4320658B2 (ja) * 2005-12-27 2009-08-26 ソニー株式会社 撮像装置、制御方法、並びにプログラム
JP4340915B2 (ja) 2006-02-01 2009-10-07 ソニー株式会社 撮像画像信号の歪み補正方法、撮像画像信号の歪み補正装置、撮像方法および撮像装置
JP2007264074A (ja) * 2006-03-27 2007-10-11 Canon Inc 撮影装置及びその制御方法
US8226236B2 (en) * 2006-05-18 2012-07-24 University Of Rochester Method and apparatus for imaging in an eye
US7830565B2 (en) * 2006-06-27 2010-11-09 Motorola, Inc. Image capture device with rolling band shutter
JP4886492B2 (ja) * 2006-12-06 2012-02-29 キヤノン株式会社 撮像装置及び撮像システム
US8223235B2 (en) * 2007-12-13 2012-07-17 Motorola Mobility, Inc. Digital imager with dual rolling shutters
US8698908B2 (en) * 2008-02-11 2014-04-15 Nvidia Corporation Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera
JP5127731B2 (ja) * 2009-01-19 2013-01-23 三洋電機株式会社 ビデオカメラ
JP4518197B2 (ja) 2008-06-20 2010-08-04 ソニー株式会社 撮像装置、及び像振れ補正方法並びにプログラム
JP2010028607A (ja) * 2008-07-23 2010-02-04 Sanyo Electric Co Ltd 画像処理装置、撮像装置及び画像処理方法
JP2010166512A (ja) 2009-01-19 2010-07-29 Sanyo Electric Co Ltd 撮像装置
WO2010104969A1 (en) * 2009-03-11 2010-09-16 Zoran Corporation Estimation of point spread functions from motion-blurred images
JP5343736B2 (ja) * 2009-06-30 2013-11-13 株式会社ニコン デジタルカメラ
JP5487770B2 (ja) * 2009-07-21 2014-05-07 ソニー株式会社 固体撮像装置
JP4853746B2 (ja) * 2009-11-18 2012-01-11 ソニー株式会社 撮像装置、画像処理装置および方法、記録媒体、並びにプログラム
KR101605129B1 (ko) 2009-11-26 2016-03-21 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법 및 이를 기록한 기록 매체
JP5548552B2 (ja) * 2010-08-03 2014-07-16 キヤノン株式会社 撮像装置
JP5616210B2 (ja) * 2010-12-09 2014-10-29 株式会社ミツトヨ 形状測定システム及び形状測定方法
US8797414B2 (en) * 2010-12-23 2014-08-05 Samsung Electronics Co., Ltd. Digital image stabilization device
TW201230805A (en) * 2011-01-04 2012-07-16 Aptos Technology Inc Video playback apparatus and method
JP5984574B2 (ja) 2012-08-14 2016-09-06 キヤノン株式会社 撮像システム及びその制御方法、撮像装置
JP2014220622A (ja) * 2013-05-07 2014-11-20 オリンパス株式会社 撮影機器、撮影支援方法、表示装置及び表示方法
JP2014220639A (ja) * 2013-05-08 2014-11-20 ソニー株式会社 撮像装置および撮像方法
JP2015000288A (ja) 2013-06-18 2015-01-05 キヤノン株式会社 被検体情報取得装置およびその制御方法ならびに音響信号取得装置およびその制御方法
JP6198567B2 (ja) * 2013-10-21 2017-09-20 ソニーセミコンダクタソリューションズ株式会社 イメージセンサおよびその動作方法、並びに電子機器
US10148964B2 (en) * 2016-11-03 2018-12-04 Ujet, Inc. Image quality management
CN108568599B (zh) * 2017-03-10 2020-03-03 香港中文大学 用于激光划刻太阳能板的***和方法及太阳能板
US10587816B1 (en) 2019-01-04 2020-03-10 Gopro, Inc. High dynamic range processing based on angular rate measurements

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05145832A (ja) * 1991-11-20 1993-06-11 Sony Corp 撮像装置
EP0611125B1 (en) * 1993-02-12 2000-11-22 Sony Corporation Electronic zoom control and image stabilization
FR2721282B1 (fr) * 1994-06-21 1996-12-27 Moulage Automatique Sa Perfectionnement à un procédé de fabrication d'un dispositif de bouchage et machine pour sa mise en Óoeuvre.
JP3758205B2 (ja) * 1995-06-07 2006-03-22 ソニー株式会社 固体撮像装置及びこれを用いたビデオカメラ、並びにｘ‐ｙアドレス型固体撮像装置の駆動方法
JP3838665B2 (ja) * 1995-08-11 2006-10-25 株式会社 東芝 Ｍｏｓ型固体撮像装置
US5835138A (en) * 1995-08-30 1998-11-10 Sony Corporation Image signal processing apparatus and recording/reproducing apparatus
US5930530A (en) * 1995-09-06 1999-07-27 Nikon Corporation Vibration reduction device
KR100188116B1 (ko) * 1995-12-28 1999-06-01 김광호 손떨림 영상 안정화 회로
TW439285B (en) * 1998-11-30 2001-06-07 Toshiba Corp Solid-state imaging device
JP2000244797A (ja) * 1999-02-23 2000-09-08 Sony Corp 画像信号処理装置および方法
JP2000350101A (ja) * 1999-03-31 2000-12-15 Toshiba Corp 固体撮像装置及び画像情報取得装置
JP2001201777A (ja) * 2000-01-14 2001-07-27 Minolta Co Ltd ぶれ補正装置及び該ぶれ補正装置を含む光学機器
JP2001358999A (ja) * 2000-06-12 2001-12-26 Sharp Corp 画像入力装置
JP4511766B2 (ja) * 2000-07-10 2010-07-28 株式会社リコー 撮影装置および撮影装置における振れ補正方法
JP2003319252A (ja) * 2002-04-26 2003-11-07 Minolta Co Ltd デジタルカメラ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107786810A (zh) * 2016-08-26 2018-03-09 佳能株式会社 图像处理设备、图像处理方法、摄像设备和存储介质
CN110057790A (zh) * 2018-01-19 2019-07-26 徕卡仪器（新加坡）有限公司 用于荧光强度归一化的方法

Also Published As

Publication number Publication date
US7750942B2 (en) 2010-07-06
CN1742483A (zh) 2006-03-01
JP3925415B2 (ja) 2007-06-06
CN100380935C (zh) 2008-04-09
EP1587311A4 (en) 2009-12-02
EP2302906A2 (en) 2011-03-30
CN1988601A (zh) 2007-06-27
KR20050091787A (ko) 2005-09-15
KR20100063829A (ko) 2010-06-11
US20100177200A1 (en) 2010-07-15
US20060072018A1 (en) 2006-04-06
EP1587311A1 (en) 2005-10-19
EP2302906A3 (en) 2013-09-18
CN101056361A (zh) 2007-10-17
US8081225B2 (en) 2011-12-20
CN100456809C (zh) 2009-01-28
KR101016517B1 (ko) 2011-02-24
KR100994877B1 (ko) 2010-11-16
WO2004066619A1 (ja) 2004-08-05
JP2004266322A (ja) 2004-09-24
CN100425058C (zh) 2008-10-08
CN100589527C (zh) 2010-02-10

Similar Documents

Publication Publication Date Title
CN1897649A (zh) 图像处理装置和方法、记录介质和程序
CN1173553C (zh) 成像设备
CN1835565A (zh) 图像捕获装置、图像传感器和图像捕获处理方法
CN1941918A (zh) 摄像装置以及摄像方法
CN1770829A (zh) 固态图像拾取元件的信号处理设备和方法及图像拾取设备
CN1878246A (zh) 图像处理装置和图像拍摄装置
CN1684499A (zh) 图像处理装置、图像处理方法及其程序和记录介质
CN1798263A (zh) 摄像装置和控制方法
CN1929561A (zh) 图像捕获设备和图像捕获方法
CN101031032A (zh) 图像拾取设备、曝光控制方法、及计算机程序
CN1835556A (zh) 像素插值装置及照相机装置
CN1867047A (zh) 图像处理设备和方法及程序
CN1641467A (zh) 拍摄装置和方法、监视***、程序和记录介质
CN1728784A (zh) 物理信息获取方法、物理信息获取设备和半导体器件
CN1750601A (zh) 图像传感设备和及其控制方法
CN101057493A (zh) 图像传感器
CN1277403C (zh) 成像设备
CN1992816A (zh) 图像显示装置和方法、以及程序
CN1744675A (zh) 图像输入装置
CN101047796A (zh) 成像设备和用于该成像设备的方法
CN1917616A (zh) 摄影装置
CN1754383A (zh) 电视摄像机
CN1471310A (zh) 摄像装置
CN1678027A (zh) 噪声减低装置和噪声减低方法以及摄像装置
CN1694506A (zh) 箝位电平调节设备，电子照相机，和图像处理设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081008

Termination date: 20160121

EXPY Termination of patent right or utility model