CN101411180B - 静态图像采集装置和静态图像采集方法、以及图像晃动校正装置 - Google Patents

静态图像采集装置和静态图像采集方法、以及图像晃动校正装置 Download PDF

Info

Publication number
CN101411180B
CN101411180B CN200780009816.9A CN200780009816A CN101411180B CN 101411180 B CN101411180 B CN 101411180B CN 200780009816 A CN200780009816 A CN 200780009816A CN 101411180 B CN101411180 B CN 101411180B
Authority
CN
China
Prior art keywords
mentioned
shake
image
still image
constantly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200780009816.9A
Other languages
English (en)
Other versions
CN101411180A (zh
Inventor
大竹与志知
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Publication of CN101411180A publication Critical patent/CN101411180A/zh
Application granted granted Critical
Publication of CN101411180B publication Critical patent/CN101411180B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/686Vibration or motion blur correction performed by mechanical compensation with a variable apex prism
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007Movement of one or more optical elements for control of motion blur
    • G03B2205/003Movement of one or more optical elements for control of motion blur by a prism with variable angle or the like

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本发明的静态图像采集装置具备:检测在摄像装置上产生的水平或垂直抖动的抖动检测部(5);使光向任意方向折射的光折射机构(10A、10B);控制由光折射机构所引起的上述光的折射方向的抖动控制机构(6A);检测光折射机构(10A、10B)的控制量的控制量检测机构(8A、8B);从检测到的控制量算出水平方向或垂直方向的抖动角的抖动角算出机构(6B);基于已算出的水平方向或垂直方向的抖动角的绝对值成为零或极小值的时刻来确定静态图像的采集基准时刻的采集基准时刻确定机构(6C);以及将与紧跟确定了的采集基准时刻之后对应的抖动校正图像作为静态图像进行采集的静态图处理部(25)。

Description

静态图像采集装置和静态图像采集方法、以及图像晃动校正装置
技术领域
本发明涉及从对图像的晃动进行校正并拍摄得到的图像在由色像差引起的像偏移为最少的时刻进行静态图的采集的静态图像采集装置和静态图像采集方法、以及具有非光学地校正色像差的功能的图像晃动校正装置。
背景技术
作为校正拍摄图像的晃动的图像晃动校正装置,历来已知有在相机主体上装备了拍摄时校正图像的晃动的功能的这种装置。在专利文献1(日本特开平9-51469号公报)中,作为该图像晃动校正的一种方法提出有利用了棱镜的方式。
用于该方式的活动棱镜具有在将两片玻璃板用特殊薄膜制成的伸缩自如的皮腔连接的两片玻璃板之间注入了具有光折射率与该玻璃板大致相同的液体的构造。而且,该活动棱镜设置在CCD图像传感器和将被摄体从设置于摄像机主体前面的物镜导向CCD图像传感器的透镜单元的物镜之间的位置,使各玻璃板对于摄像机主体的纵向或横向的倾角变化而校正图像晃动。
然而,在如专利文献1所记载的图像晃动校正装置那样使用折射元件来校正图像晃动的装置,由于利用光学折射率来进行图像晃动校正,因此,光学像因随光的波长而不同的光学折射率而产生色像差。由此,由于已拍摄的图像具有按色偏移而劣化(以下称为像偏移)的倾向,因此,不能以鲜明的图像对用户提供已拍摄的图像。
于是,可考虑光学地校正该色像差的方案。然而,就通常的透镜而言,相对于以光轴为中心呈放射状地产生色像差,若使用利用棱镜来校正图像晃动的装置,则与光轴无关地沿一个方向产生色像差,并且由于该方向随时间变化并成为反方向,因此,如通常的透镜那样光学地校正色像差是困难的。
另外,作为从已拍摄的图像采集静态图像的静态图像采集装置,一般已知有在紧跟由用户接收了静态图像采集信号后,从已拍摄的图像中采集静态图像的装置。
然而,在利用上述的通常的静态图像采集装置从使用专利文献1所记载的图像晃动校正装置进行了校正的图像中采集静态图的场合,由于入射光的折射角随图像晃动的校正量的增大而变大,因而像偏移也因所采集的静态图像的色像差而随之增大。
因此,在如上所述的通常的静态图像采集装置中,若在图像晃动的校正量为最大时接收静态图采集信号,则像偏移因所采集的图像的色像差而成为最大,无法采集鲜明的静态图。
于是,在专利文献2(日本专利3548308号公报)中,提出有设置了动态图像摄像时的角位移的阈值,并在成为阈值以下的场合可采集静态图像的摄像装置。
然而,专利文献2所记载的摄像装置,由于对动态图像摄像时的角位移设置了阈值,并在成为阈值以下的场合进行静态图像的采集,因此,在进行校正动作时,总是难以采集因色像差而引起的像偏移最少的静态图像。另外,即便做成对该装置可设定阈值的结构,若所设定的阈值过低,则校正量的极小值也满足不了阈值,从而有可能导致无法采集静态图像的不良结果。在这种场合,设定该阈值非常困难,总是无法将因色像差而引起的像偏移抑制到最小限度。
发明内容
本发明就是鉴于上述问题而提出的,其目的在于提供:
(1)在从已拍摄的图像中采集静态图像时,将因色像差而引起的像偏移抑制到最小限度的静态图像采集装置和静态图像采集方法;以及
(2)搭载了非光学地校正因色像差而引起的像偏移的功能的图像晃动校正装置。
为了达到上述目的,本发明的静态图像采集装置的第一特征的要点是,在对源于利用摄像元件将从光学透镜入射的光所产生的被摄体像转换为电信号而得到图像的摄像装置的抖动引起的上述图像的的晃动进行校正,并从已校正的抖动校正图像采集静态图像的静态图像采集装置中,其具备:
检测在上述摄像装置所产生的水平或垂直抖动的抖动检测部;
配置在入射到上述摄像元件为止的光路上,使上述光向任意方向折射的光折射机构;
以抵消由上述抖动检测部检测到的抖动的方式控制由光折射机构所引起的上述光的折射方向的抖动控制机构;
检测通过上述抖动控制机构控制的上述光折射机构的控制量的控制量检测机构;
从通过上述控制量检测机构检测到的控制量算出水平方向或垂直方向的抖动角的抖动角算出机构;
在接收到要求静态图像采集的要求信号时,基于由上述抖动角算出机构算出的水平方向或垂直方向的抖动角的绝对值成为零或极小值的时刻来确定静态图像的采集基准时刻的采集基准时刻确定机构;以及
在紧跟由上述采集基准时刻确定机构确定了的采集基准时刻之后,将从上述摄像元件读出的抖动校正图像作为静态图像进行采集的静态图处理部。
本发明的静态图像采集装置的第二特征的要点是,在对源于利用摄像元件将从光学透镜入射的光所产生的被摄体像转换为电信号而得到图像的摄像装置的抖动引起的上述图像的的晃动进行校正,并从已校正的抖动校正图像采集静态图像的静态图像采集装置中,其具备:
检测在上述摄像装置所产生的水平或垂直抖动的抖动检测部;
从通过上述抖动检测部检测到的抖动算出水平方向或垂直方向的抖动角的抖动角算出机构;
在接收到静态图像采集的要求信号时,基于由上述抖动角算出机构算出的水平方向或垂直方向的抖动角的绝对值成为零或极小值的时刻来确定静态图像的采集基准时刻的采集基准时刻确定机构;以及
在紧跟由上述采集基准时刻确定机构确定了的采集基准时刻之后,将从上述摄像元件读出的抖动校正图像作为静态图像进行采集的静态图处理部。
本发明的静态图像采集装置的第三特征的要点是,在对源于利用摄像元件将从光学透镜入射的光所产生的被摄体像转换为电信号而得到图像的摄像装置的抖动引起的上述图像的的晃动进行校正,并从已校正的抖动校正图像采集静态图像的静态图像采集装置中,其具备:
检测在上述摄像装置所产生的水平或垂直抖动的抖动检测部;
配置在入射到上述摄像元件为止的光路上,使上述光向任意方向折射的光折射机构;
以抵消由上述抖动检测部检测到的抖动的方式控制由光折射机构所引起的上述光的折射方向的抖动控制机构;
检测通过上述抖动控制机构控制的上述光折射机构的控制量的控制量检测机构;
从通过上述控制量检测机构检测到的控制量算出水平方向或垂直方向的抖动角的抖动角算出机构;
在预定的规定时间内,使从上述摄像元件读出的多个抖动校正图像和特定该多个抖动校正图像各自的拍摄时期的信息以及由上述抖动角算出机构算出的水平方向或垂直方向的抖动角相对应地存储在存储部的存储机构;
在接收到静态图像采集的要求信号时,将由上述抖动角算出机构算出的水平方向或垂直方向的抖动角的绝对值成为零或极小值的第一时刻、或者存储在上述存储部中的水平方向或垂直方向的抖动角的绝对值成为零或极小值的第二时刻确定为静态图像的采集基准时刻的采集基准时刻确定机构;以及
在将上述第二时刻确定为静态图像的采集基准时刻的场合,在紧跟由上述采集基准时刻确定机构确定了的采集基准时刻之后或者刚好之前,将从上述摄像元件读出并存储在上述存储部中的抖动校正图像作为静态图像进行采集的静态图处理部。
本发明的静态图像采集装置的第四特征的要点是,在对源于利用摄像元件将从光学透镜入射的光所产生的被摄体像转换为电信号而得到图像的摄像装置的抖动引起的上述图像的的晃动进行校正,并从已校正的抖动校正图像采集静态图像的静态图像采集装置中,其具备:
检测在上述摄像装置所产生的水平或垂直抖动的抖动检测部;
配置在入射到上述摄像元件为止的光路上,使上述光向任意方向折射的光折射机构;
以抵消由上述抖动检测部检测到的抖动的方式控制由光折射机构所引起的上述光的折射方向的抖动控制机构;
检测通过上述抖动控制机构控制的上述光折射机构的控制量的控制量检测机构;
从通过上述控制量检测机构检测到的控制量算出水平方向或垂直方向的抖动角的抖动角算出机构;
在紧跟由上述抖动角算出机构算出的水平方向或垂直方向的抖动角为零之后,使从上述摄像元件读出的抖动校正图像和特定该多个抖动校正图像各自的拍摄时期的信息相对应地存储在存储部的存储机构;
在接收到静态图像采集的要求信号时,将由上述抖动角算出机构算出的水平方向或垂直方向的抖动角的绝对值成为零或极小值的第一时刻、或者存储在上述存储部中的水平方向或垂直方向的抖动角成为零的最新的第二时刻确定为静态图像的采集基准时刻的采集基准时刻确定机构;以及
在将上述第二时刻确定为静态图像的采集基准时刻的场合,在紧跟由上述采集基准时刻确定机构确定了的采集基准时刻之后,将从上述摄像元件读出并存储在上述存储部中的抖动校正图像作为静态图像进行采集的静态图处理部。
本发明的静态图像采集装置的第五特征的要点是,在从将源于利用摄像元件将从光学透镜入射的光所产生的被摄体像转换为电信号而得到图像的摄像装置的抖动引起的上述图像的晃动用与该晃动对应的校正量进行了校正的抖动校正图像采集静态图像的静态图像采集装置中,其具备:
基于上述抖动校正量的绝对值成为零或极小值的时刻,确定静态图像的采集基准时刻的采集基准时刻确定机构;以及
在紧跟由上述采集基准时刻确定机构确定了的采集基准时刻之后,将从上述摄像元件读出的抖动校正图像作为静态图像进行采集的静态图处理部。
为了解决上述目的,本发明的图像晃动校正装置的第一特征的要点是,在对源于利用摄像元件将从光学透镜入射的摄像光转换为电信号而得到图像的摄影器材的摄影中的抖动引起的摄影图像的晃动进行校正的图像晃动校正装置中,其具备:
检测上述摄影器材产生的抖动的抖动检测机构;
配置在上述光学透镜的入射侧,使入射到上述光学透镜的光的折射方向改变的一对可动折射元件;
使上述可动折射元件绕各自的光轴转动的两个转动机构;
以抵消用上述抖动检测机构检测到的抖动的方式控制上述两个转动机构的转动控制机构;
检测上述可动折射元件的转动量的转动量检测机构;
将上述所得到的图像的图像数据分离成三种原色的图像的分色机构;
将通过上述分色机构分离的各色图像伴随转动输出时,从利用上述转动量检测机构检测到的转动量算出各色图像的输出位置的像偏移量的像偏移量算出机构;以及
通过上述像偏移量算出机构对上述各色图像间的相对像偏移进行校正的色像差校正机构。
本发明的图像晃动校正装置的第二特征的要点是,在对源于利用摄像元件将从光学透镜入射的摄像光转换为电信号而得到图像的摄影器材的摄影中的抖动引起的摄影图像的晃动进行校正的图像晃动校正装置中,其具备:
将上述所得到的图像的图像数据分离成三种原色的图像的分色机构;
使由上述分色机构分离的各色图像重合,将所重合的色图像向上下左右各错开一个像素,合计每个像素的输出值的差分,并确定使所合计的差分值合计为最小的各色图像的位置的像偏移量算出机构;以及
基于由上述像偏移量算出机构确定了的各色图像的位置对上述各色图像的输出位置进行校正的色像差校正机构。
附图说明
图1是表示本发明实施方式的静态图像采集装置的构成的框图。
图2是表示图1所示的静态图像采集装置的校正部的简图,图2(a)是概略正视图,图2(b)是概略侧视图。
图3是校正部的构成图,图3(a)是正视图,图3(b)是从图2(a)所示的B方向观察的剖视图,图3(c)是从图2(a)所示的A方向观察的剖视图。
图4是图3所示的校正部所具有的固定棱镜的立体图。
图5是图3所示的校正部所具有的执行元件和传感器的配置图,图5(a)是概略侧视图,图5(b)是可动棱镜10A的执行元件和传感器的配置图,图5(c)是可动棱镜10B的执行元件和传感器的配置图。
图6是对由棱镜引起的被摄体像的移动进行说明的图,图6(a)是说明由棱镜引起的光的折射的图,图6(b)是在图6(a)中从正面方向观察到棱镜的图。
图7是表示可动棱镜不旋转场合的像位移矢量的图。
图8是对可动棱镜旋转了的场合的被摄体像的移动进行说明的图,图8(a)是表示可动棱镜旋转了的场合的像位移矢量的图,图8(b)是读取了图8(a)所示的像位移矢量的变化量的图。
图9是表示被摄体像(被摄体)的平行移动的方式的图,图9(a)是被摄体像移动到第二象限的图,图9(b)是被摄体像移动到第一象限的图,图9(c)是被摄体像移动到第三象限的图,图9(d)是被摄体像移动到第四象限的图。
图10是说明换算焦距和位移量的图,图10(a)是说明换算焦距的图,图10(b)是说明位移量的图。
图11是对抖动校正进行说明的图,图11(a)是说明由抖动引起的被摄体像的移动的图,图11(b)是说明对由抖动引起的被摄体像的移动的抖动校正的图。
图12是表示在棱镜不在光轴上的场合,利用摄像元件在黑色背景上用白色拍摄了“A”文字的像的图。
图13是表示在棱镜位于光轴上的场合,利用摄像元件在黑色背景上用白色拍摄了“A”文字的像的图。
图14是表示抖动角成为零的场合的抖动角曲线的说明图。
图15是表示抖动角的绝对值为极小值的场合的抖动角曲线的说明图。
图16是表示本发明实施方式的静态图像采集装置的处理流程的图。
图17是表示水平方向及垂直方向的抖动相位差为零的场合的抖动角曲线的说明图。
图18是表示垂直方向的抖动角的相位比水平方向的抖动角的相位向负方向偏移了45度的场合的抖动角曲线的说明图。
图19是表示抖动角在预定的采集限制时间不为零或极小值的场合的抖动角曲线的说明图。
图20是表示图1的透镜***的图。
图21是表示图1所示的校正部和透镜***的另外配置关系的图,图21(a)是在透镜***内配置了校正部的图,图21(b)是在透镜***的后方配置了校正部的图。
图22是表示作为本实施方式的校正部的另外构成而没有固定棱镜的校正部的图,图22(a)是正视图,图22(b)是俯视图,图22(c)是侧视图。
图23是表示作为本实施方式的校正部的另外构成而具备两片固定棱镜的校正部的图,图23(a)是正视图,图23(b)是俯视图,图23(c)是侧视图。
图24是表示本实施方式的棱镜的另外构成的图,图24(a)是表示单体棱镜的图,图24(b)是表示复合棱镜的图,图24(c)是表示具有棱镜效果的平行板的图。
图25是表示本发明实施方式的图像晃动校正装置的构成的框图。
图26是表示图25所示的图像晃动校正装置的校正部的简图,图图26(a)是概略正视图,图图26(b)是概略侧视图。
图27是图26所示的校正部的构成图,图27(a)是正视图,图27(b)是从图26(a)所示的B方向观察的剖视图,图27(c)是从图26(a)所示的A方向观察的剖视图。
图28是图27所示的校正部所具有的固定棱镜的立体图。
图29是图27所示的校正部所具有的执行元件和传感器的配置图,图29(a)是概略侧视图,图29(b)是可动棱镜60A的执行元件和传感器的配置图,图29(c)是可动棱镜60B的执行元件和传感器的配置图。
图30是对由棱镜引起的被摄体像的移动进行说明的图,图30(a)是说明由棱镜引起的光的折射的图,图30(b)是在图30(a)中从正面方向观察了棱镜的图。
图31是表示可动棱镜不旋转场合的像位移矢量的图。
图32是对可动棱镜旋转了的场合的被摄体像的移动进行说明的图,图32(a)是表示可动棱镜旋转了的场合的像位移矢量的图,图32(b)是读取了图32(a)所示的像位移矢量的变化量的图。
图33是表示被摄体像(被摄体)的平行移动的方式的图,图33(a)是被摄体像移动到第二象限的图,图33(b)是被摄体像移动到第一象限的图,图33(c)是被摄体像移动到第三象限的图,图33(d)是被摄体像移动到第四象限的图。
图34是说明换算焦距和位移量的图,图34(a)是说明换算焦距的图,图34(b)是说明位移量的图。
图35是对抖动校正进行说明的图,图35(a)是对由抖动引起的被摄体像的移动进行说明的图,图35(b)是说明对由抖动引起的被摄体像的移动的抖动校正的图。
图36是表示在棱镜不在光轴上的场合,利用摄像元件在黑色背景上用白色拍摄了“A”文字的像的图。
图37是表示在棱镜位于光轴上的场合,利用摄像元件在黑色背景上用白色拍摄了“A”文字的像的图。
图38是表示校正作为本实施方式的图像晃动校正装置的因色像差而引起的像偏移的处理流程的图。
图39是表示产生了因色像差而引起的像偏移的场合的RGB输出图像的一例的图。
图40表示三板式的本发明的图像晃动校正装置的一个实施方式。
图41(a)是表示像素排列的地址的图,图41(b)是放大了没有因色像差而引起的像偏移的场合的图像的一部分的图,图41(c)是表示图41(b)的场合的信号输出的图。
图42是表示本实施方式的图像晃动校正装置的色像差校正的处理顺序的色像差校正处理流程。
图43(a)是表示放大了有因色像差而引起的像偏移的场合的白色短形被摄体图像的一部分的一例的图,图43(b)~图43(d)是表示R、G、B各自的输出图像的一例的图。图43(e)~图43(h)是分别表示与图43(a)~图43(d)对应的信号输出的一例的图。
图44(a)是表示R、G、B输出图像的一例的差分的图。图44(b)是表示R、G输出图像的一例的差分的图。图44(c)是表示G、B输出图像的一例的差分的图。
图45(a)是表示将R输出图像向右错开一个像素时的R输出图像的一例的图。图45(b)是表示将B输出图像向左错开一个像素时的B输出图像的一例的图。图45(c)及图45(d)是表示与图45(a)及图45(b)对应的信号输出的一例的图。
图46(a)是表示将R、B输出图像向左右各错开一个像素时的R、G、B输出图像的一例的差分的图。图46(b)是表示R、G输出图像的一例的差分的图。图46(c)是表示G、B输出图像图的一例的差分的图。图46(d)~图46(f)是分别表示与图46(a)~图46(c)对应的信号输出的一例的图。
图47是表示图25的透镜***的图。
图48是表示图25所示的校正部和透镜***的另外配置关系的图,图48(a)是在透镜***内配置了校正部的图,图48(b)是在透镜***的后方配置了校正部的图。
图49是表示作为本实施方式的校正部的另外构成而没有固定棱镜的校正部的图,图49(a)是正视图,图49(b)是俯视图,图49(c)是侧视图。
图50是表示作为本实施方式的校正部的另外构成而具备两片固定棱镜的校正部的图,图50(a)是正视图,图50(b)是俯视图,图50(c)是侧视图。
图51是表示本实施方式的棱镜的另外构成的图,图51(a)是表示单体棱镜的图,图51(b)是表示复合棱镜的图,图51(c)是表示具有棱镜效果的平行板的图。
具体实施方式
以下,参照附图对本发明的实施方式进行说明。
首先,说明静态图像采集装置。
首先,说明静态图像采集装置的实施方式。在本实施方式中,将使用棱镜校正抖动,并在从该校正了抖动的图像中采集静态图像时,以将由棱镜的色像差产生的像偏移抑制到最小限度的静态图像采集装置作为例子进行说明。
图1是表示本发明实施方式的静态图像采集装置的一个实施方式的框图。本发明的静态图像采集装置例如设置在作为摄像装置的摄像机1内。
本实施方式的摄像机1包括:具备固定棱镜和以光轴1a为旋转中心可独立地旋转的一对可动棱镜的校正部2;拍摄被摄体的透镜***3;使从透镜***3入射的光成像并将所成像的被摄体像转换成电信号的CCD部13;具备CDS功能、AGC功能以及A/D转换功能的前处理用IC部19;对来自前处理用IC部19的输入信号实施各种数字处理的相机DSP部20;使校正部2内的一对可动棱镜分别独立旋转的执行元件4A、4B;根据由抖动等引起的摄像机1的角速度等检测抖动并输出抖动信号的抖动检测部5;具有根据来自抖动检测部5的抖动信号发送控制信号以控制执行元件4A、4B旋转从而抵消抖动的转动控制部6A和从利用传感器8A、8B检测到的可动棱镜的转动量算出抖动角的抖动角算出部6B以及确定图像的采集基准时刻的采集基准时刻确定部6C的CPU6;根据来自CPU6的转动控制部6A的控制信号驱动执行元件4A、4B的电动机驱动电子电路(MDE)7;检测校正部2内的一对可动棱镜的旋转状态的传感器8A、8B;存储拍摄图像等的存储部24;采集静态图像的静态图处理部25以及外部操作***26。
本实施方式的静态图像采集装置虽做成包括校正部2和CPU6的结构,但只要至少包括转动控制部6A和抖动角算出部6B以及采集基准时刻确定部6C即可。
图2是表示图1所示静态图像采集装置的校正部2的简图,图2(a)是概略正视图,图2(b)是概略侧视图。图3是校正部2的构成图,图3(a)是正视图,图3(b)是从图2(a)所示的B方向观察的剖视图,图3(c)是从图2(a)所示的A方向观察的剖视图。图4是校正部2所具有的固定棱镜的立体图。
如图2所示,校正部2配设在透镜***3和覆盖该透镜***3的正面的罩部1b之间,如图3(a)~图3(b)所示,校正部2具备固定设置的固定棱镜9和以光轴为旋转中心可旋转的一对可动棱镜10A、10B。
如图4所示,固定棱镜9是形成有对光轴1a垂直的面即第一面9a和相对于第一面9a具有微小的斜度角度且相向的平面即第二面9b,且由丙烯酸等制成的棱镜。可动棱镜10A、10B也具有同样的形状、材质。
图5是校正部2所具有的执行元件和传感器的配置图,图5(a)是概略侧视图,图5(b)是可动棱镜10A的执行元件和传感器的配置图,图5(c)是可动棱镜10B的执行元件和传感器的配置图。
执行元件和传感器安装在校正部2。并且,如图5(b)、图5(c)所示,执行元件4A和传感器8A用于可动棱镜10A,执行元件4B和传感器8B用于可动棱镜10B。
执行元件4A、4B根据来自CPU6的转动控制部6A的控制信号使可动棱镜10A、10B转动。执行元件4A、4B由负荷转矩较小的小型脉冲电动机、小型线性电动机、小型超声波电动机等构成。
传感器8A、8B由小型光断续器、MR元件、霍尔元件等构成,检测可动棱镜10A、10B的旋转状态并向CPU6输出旋转状态的信息。
在作为传感器8A、8B使用小型光断续器的场合,与脉冲电动机组合使用,以可动棱镜10A、10B的外周侧为掩蔽物,并在该掩蔽物上分别设置孔10a、10b。孔10a、10b设置成当可动棱镜10A、10B处于初始位置时来到传感器8A、8B的位置。
小型光断续器具备红外线发光二极管和光电晶体管,设置成可动棱镜10A、10B配置在红外线发光二极管和光电晶体管之间。
小型光断续器通过在电源为接通时使可动棱镜10A、10B旋转,用光电晶体管接受通过了孔10a、10b的红外线发光二极管的光来检测原点位置。可动棱镜10A、10B的旋转状态的信息,通过以在原点位置的脉冲为零来对旋转时的脉冲数进行计数而得到。
另外,在作为传感器8A、8B使用MR元件或霍尔元件的场合,在可动棱镜10A、10B上分别安装磁性体来代替设置孔10a、10b。
MR元件或霍尔元件,通过检测与可动棱镜10A、10B的旋转一起旋转的磁性体所产生的磁场的变化来检测旋转状态的信息。
在本实施方式的静态图像采集装置中,通过使可动棱镜10A、10B旋转来抵消由抖动检测部5检测到的抖动,从而校正由抖动引起的图像晃动,并检测该可动棱镜10A、10B的旋转角,从检测到的旋转角算出抖动角,将与抖动角刚为零或者最小后所对应的图像作为静态图像进行采集。
因此,下面在对抖动校正的处理进行说明后,再对静态图像采集处理进行说明。
首先,说明抖动校正。
在本实施方式的静态图像采集装置中,通过使可动棱镜10A、10B旋转来抵消由抖动检测部5检测到的抖动,从而校正由抖动引起的图像晃动。
图6是对由棱镜引起的被摄体像的移动进行说明的图,图6(a)是说明由棱镜引起的光的折射的图,图6(b)是图6(a)中从正面方向(a方向)观察了棱镜的图。在图6(b)中,将图6(a)所示的棱镜11仅旋转了α。如图6(a)、图6(b)所示,入射的光由棱镜11以折射角i′折射,其结果,被摄体A的像朝向P点方向位移(平行移动)到A′。
在图6(a)、图6(b)中,“i”是棱镜11的棱镜角(光的入射角),“L”是棱镜长度,“δ”是棱镜高度,“δ1”是最薄部分的棱镜高度,“N”是折射率,“i′”是光的折射角,“θ”是像位移角(偏向角),“α”是棱镜旋转角,“Lα”是棱镜转动量,“vectore”是像位移方向的单位矢量,“vectorθ”是像位移矢量。此外,下标“vector”代表矢量。此外,在图6~图11中,用黑体字表示这些矢量以代替下标“vector”。这里,
vectorθ=θvectore              (式1)。
如图6(a)所示,在棱镜角(入射角)i和折射角i′以及像位移角(偏向角)θ之间,(式2)成立。
θ=i′-i                      (式2)
再有,根据斯涅尔定律,(式3)成立。
sini′=Nsini                 (式3)
这里,若假定棱镜角i小,由于(式3)可与以下(式4)近似,
i′=Ni                        (式4)
因此,若将(式4)代入(式2),则为(式5)。
θ=(N-1)i                       (式5)
另外,根据图6(b),棱镜转动量Lα和棱镜旋转角α之间,
Lα=(L/2)α                      (式6),
即,以下(式7)成立。
α=(2/L)Lα                       (式7)
另外,
δ=Ltani+δ1                   (式8)
即,以下(式9)成立。
L=(δ-δ1)tani                 (式9)
图7是表示校正部2内的可动棱镜10A、10B未旋转的场合(初始状态)的像位移矢量的图。
在图7中,vectorθ1vectorθ2vectorθ3分别是由固定棱镜9、可动棱镜10A、10B引起的像位移矢量。如图7所示,以使vectorθ1抵消vectorθ2vectorθ3的合成矢量的方式设定固定棱镜9、可动棱镜10A、10B的位置。由此,由于用固定棱镜9、可动棱镜10A、10B三片可与平行平板等价,因而使校正部2的入射角与出射角相同,被摄体的像不移动。
图8是对可动棱镜10A、10B旋转了的场合的被摄体像的移动进行说明的图,图8(a)是表示可动棱镜旋转了的场合的像位移矢量的图,图8(b)是读取了图8(a)所示的像位移矢量的变化量的图。
在图8中,将可动棱镜10A、10B各自仅旋转了α1、α2时的像位移矢量分别设定为vectorθ2′、vectorθ3。这里,将图8(a)所示的旋转方向设定为α1、α2的正(+)方向。另外,设为:
vectorθavectorθ2′-vectorθ2             (式10)
vectorθbvectorθ3′-vectorθ3             (式11)。
这样一来,如图8(b)所示,被摄体A的像则平行移动到A′。此时,其像位移矢量为vectorθaavectorθb的合成矢量,则为:
vectorθ=vectorθa+vectorθb=(θx,θY)         (式12)。
此时,根据图8(a)、图8(b),(式13)、(式14)成立。
θx=θ2sinα13(1-cosα2)          (式13)
θY=θ3sinα22(1-cosα1)          (式14)
这里,θ2表示vectorθ2的标量,θ3表示vectorθ3的标量。
这里,考虑以α1、α2为成分的矢量vectorα=(α1,α2)。若将(式13)及(式14)对α1、α2求解,则得出:
α1=±cos—1(C/D)+α1 *             (式15)
α2=±cos—1{[(θx3)-θ2sinα1]/θ3}         (式16)。
其中,
C=[A2+B22 23 2]/2θ2                                 (式17)
D=(A2+B2)1/2                                          (式18)
α1 *=±cos—1(A/D)(选择B的符号)                        (式19)
A=(θx2)                                             (式20)
B=(θY3)                                             (式21)。
这里,在α1的符号为-的场合,α2的符号选择θY的符号,α1的符号为+的场合,α2的符号选择+。
图9是表示被摄体像(被摄体)的平行移动的方式的图,图9(a)是被摄体像移动到第二象限的图,图9(b)是被摄体像移动到第一象限的图,图9(c)是被摄体像移动到第三象限的图,图9(d)是被摄体像移动到第四象限的图。
如图9(b)所示,在被摄体像移动到第一象限时,由于θx>0,且θY>0,因此,α1>0,且α2>0。另外,如图9(a)所示,在被摄体像移动到第二象限时,由于θx<0,θY>0,因此,α1<0,且α2>0。另外,如图9(c)所示,在被摄体像移动到第三象限时,由于θx<0,且θY<0,因此,α1<0,且α2<0。另外,如图9(d)所示,在被摄体像移动到第四象限时,由于θx>0,且θY<0,因此,α1>0,且α2<0。
图10是说明换算焦距和位移量的图,图10(a)是说明换算焦距的图,图10(b)是说明位移量的图。
在图10(a)中,SF是从被摄体A到透镜***3的第一主点的距离,f是透镜***3的焦距。此时,换算焦距fm是从透镜***3的第二主点到使被摄体像14A成像的CCD部13的距离,以(式22)、(式23)表示。
fm=f+SB              (式22)
SB=f2/SF             (式23)
下面,如图10(b)所示,被摄体像14A通过***校正部2而向被摄体像14A′移动,将该像位移角设定为θ,则位移量S用(式24)表示。
S=fmtanθ             (式24)
图11是对于抖动校正进行说明的图,图11(a)是说明由抖动引起的被摄体像的移动的图,图11(b)是说明对由抖动引起的被摄体像的移动的抖动校正的图。
如图11(a)所示,若透镜***3相对于摄像机等的主体向上方向旋转(沿图11的顺时针方向旋转),则被摄体A相对地向下方向旋转(沿图11的逆时针方向旋转)。
因此,被摄体像14A偏移到被摄体像14A′并从CCD部3突出。这里,vectorθ*是抖动角矢量,若设抖动角为θ*、抖动方向的单位矢量为vectore *(=-vectore),则为:
vectorθ*=θ* vectore*               (式25)
下面,如图11(b)所示,若在透镜***3的前方***校正部2,在由校正部2引起的像位移矢量vectorθ和抖动角矢量vectorθ*满足(式26)的抖动校正条件时,
vectorθ=-vectorθ*                     (式26)
被摄体像14A′移动到被摄体像14A的位置而校正抖动。
下面,说明本实施方式的静态图像采集装置的动作。
传感器8A、8B检测可动棱镜10A、10B的旋转状态并将旋转状态的信息向CPU6的转动控制部6A输出。
抖动检测部5检测由抖动引起的摄像机1的晃动,并将它作为抖动信号向CPU6的转动控制部6A输出。在CPU6的转动控制部6A基于该抖动信号,根据式(27)计算表示抖动的大小及方向的抖动角矢量vectorθ*
vectorθ=(θx *,θY *)          式(27)
这里,根据(式26),则为:
x,θY)=(-θx *,-θY *)          式(28)
而且,CPU6的转动控制部6A基于(式15)~(式21)算出矢量vectorα,向电动机驱动电子电路7输出控制信号,使得可动棱镜10A、10B旋转角成为α1、α2
电动机驱动电子电路7按照来自CPU6的转动控制部6A的控制信号驱动执行元件4A、4B,执行元件4A、4B使可动棱镜10A、10B旋转成旋转角为α1、α2
这样,本实施方式的静态图像采集装置,通过以抵消由抖动检测部5检测到的抖动的方式使可动棱镜10A、10B旋转来校正由抖动引起的图像晃动。
下面,说明静态图像采集处理。
其次,对来自如上所述那样校正了的被摄体像的静态图像采集处理说明如下。
如上所述,通过使可动棱镜10A、10B旋转,可校正由抖动引起的图像晃动,但由于利用通过棱镜的光学折射率来进行图像晃动校正,因此,因随光的各种波长而不同的光学折射率而在被摄体像上产生色像差。
图12表示棱镜不在光轴上的场合,不通过棱镜,利用具备了RGB的各滤色器的摄像元件在黑色背景上拍摄了白色“A”文字的像;图13表示棱镜配置在光轴上的场合,利用摄像元件并通过棱镜在黑色背景上拍摄了白色“A”文字的像。但在图面上使黑白反转。
在图12的场合,像为白色,“A”清晰可见,而在图13的场合,由于光因棱镜而折射时,折射率随光的波长而不同,因此,错开显现R、G、B的三种像。这就是因色像差引起的像偏移。
为抵消抖动所必要的图像晃动校正量越大,即抖动角越大,则因该色像差引起的像偏移就越大。
于是,本实施方式的静态图像采集装置,通过检测校正动作的可动棱镜10A、10B的旋转角,从检测到的旋转角算出抖动角,在抖动角刚为零或最小后立即将所对应的图像作为静态图像采集,从而可将因色像差产生的像偏移抑制到最小限度。
具体来讲,静态图像采集装置从利用传感器8A及8B检测到的校正动作的可动棱镜10A、10B旋转角α10、α20,算出水平及垂直方向的抖动角,并在接收到来自用户的按钮操作或外部的指示等静态图像采集的要求信号时,将该水平方向或垂直方向的抖动角的绝对值为零或极小值的时刻确定为静态图像的采集基准时刻,并将在采集基准时刻后立刻从摄像元件读出的抖动校正图像作为静态图像从相机DSP部20采集。
图14是表示包含抖动角成为零的场合的抖动角曲线的说明图。
从图14可知,抖动角曲线301因用户的抖动而随时间变化(例如,抖动)。另一方面,如图14中的累积处理303所示,为了将抖动校正的图像向CCD部13累积,需要一定的时间,因此,可读出所累积的图像信息并采集静态图像的时刻为各累积处理后、即图中的各累积处理303的双箭头的右端。
另外,图14所示PA1表示接收到静态图像采集的要求信号的时刻,PA2表示静态图像的采集基准时刻,PA3表示作为静态图像的采集时刻。
在图14中,在PA1时刻,CPU6的采集基准时刻确定部6C接收外部操作***26的通过用户操作的静态图像采集的要求信号。接收它后,采集基准时刻确定部6C开始判定抖动角的绝对值是否为零或极小值的动作。
在图14中,CPU6的采集基准时刻确定部6C在PA2时刻,检测抖动角成为零。此时,采集基准时刻确定部6C将抖动角成为零的时刻确定为静态图像的采集基准时刻,并在PA2之后的立即累积处理后即PA3时刻,静态图处理部25将抖动校正图像作为静态图像从相机DSP部20采集。
采集基准时刻确定部6C连续地或按每个规定的时间间隔采集作为抖动校正量的抖动角的信息,并检测抖动角的绝对值为零或极小值的时刻。
在按每个规定的时间间隔采集的场合,基于其抖动角的信息求出抖动角的绝对值为零或极小值的时刻,并将该时刻之后或之前的采集时刻设定为采集基准时刻。
图15是表示抖动角的绝对值为极小值的场合的抖动角曲线的说明图。
图15所示PB1表示接收到静态图像采集的要求信号的时刻,PB2表示静态图像的采集基准时刻,PB3表示作为静态图像的采集时刻。
在图15中,在PB1时刻,CPU6的采集基准时刻确定部6C接收外部操作***26的通过用户操作要求静态图像的采集的要求信号。接收它后,采集基准时刻确定部6C开始进行抖动角的绝对值是否为零或极小值的判定。
在图15中,CPU6的采集基准时刻确定部6C在PB2时刻,检测抖动角的绝对值为极小值。此时,采集基准时刻确定部6C将抖动角的绝对值为极小值的时刻确定为静态图像的采集基准时刻,并在PB2之后的立即累积处理后即PB3时刻,静态图处理部25将抖动校正图像作为静态图像从相机DSP部20采集。
其次,对本实施方式的静态图像采集装置的处理流程,参照图16的流程说明如下。
首先,CPU6的抖动角算出部6B接收由传感器8A及8B检测到的可动棱镜10A、10B的旋转角α10、α20(步骤S201)。
接着,CPU6的抖动角算出部6B用(式29)、(式30)算出像位移矢量vectorθ=(θx,θY)。
θx=θ2sinα10-(1-cosα203           (式29)
θY=θ3sinα20-(1-cosα102           (式30)。
其中,θ2、θ3是可动棱镜10A、10B各自的像位移角。
而且,CPU6的抖动角算出部6B使用作为像位移矢量vectorθ的成分的θx,θY,并根据(式31)算出表示该抖动大小及方向的抖动角矢量vectorθ*=(θx *,θY *)(步骤S203)。
x *,θY *)=(-θx,-θY)             (式31)
接着,CPU6的采集基准时刻确定部6C在通过外部操作***26所受到的用户的按钮操作等而接收到静态图像采集的要求信号时(步骤S205),将与由CPU6的抖动角算出部6B算出的水平方向或垂直方向的抖动角的绝对值为零或极小值的抖动角对应的时刻确定为静态图像的采集基准时刻(步骤S207、S209)。
此外,CPU6的采集基准时刻确定部6C,由于通过水平方向或垂直方向的任意一个抖动角来确定静态图像的采集基准时刻,因此,有必要预先设定将抖动角的水平方向或垂直方向的哪一个优先确定为静态图像的采集基准时刻。
例如,考虑到由于画面横向较长而在横向侧周边光学透镜的水平析像度降低,在将画面水平方向的抖动角设定为采集基准或要优先画面的垂直方向的对比度的场合,将画面垂直方向的抖动角设定为采集基准。
接着,静态图处理部25接收由CPU6的采集基准时刻确定部6C确定的采集基准时刻,并将与紧跟其后的读出时刻对应的抖动校正图像即由CPU6的转动控制部6A控制并拍摄的图像作为静态图像从相机DSP部20采集(步骤S211)。
由此,本实施方式的静态图像采集装置在从校正了图像的晃动的图像中采集静态图像时,能够采集紧跟抖动角最小的时刻之后的静态图像、即因色像差产生的像偏移最小的静态图像,能够向用户提供鲜明的静态图像。
此外,本实施方式的静态图像采集装置作为光折射机构虽然使用可动棱镜10A、10B,检测该可动棱镜10A、10B的旋转角,并从检测到的旋转角算出抖动角,但作为其它的光折射方式,也可以采用例如使棱镜倾斜或使透镜位移等公知方式。
而且,在使棱镜倾斜的方式的场合,也可使对摄影器材的纵向或横向任意一方的各个不同方向的倾角改变,从而也能校正图像晃动,检测该棱镜的倾角(控制量),并从检测到的倾角算出抖动角。
下面,说明本实施方式的变型例。
变型例1
本实施方式的静态图像采集装置,通过检测可动棱镜10A、10B的旋转角,从检测到的旋转角算出抖动角,并将抖动角成为零或者最小后立即读出的图像作为静态图像采集,从而将因色像差产生的像偏移抑制到最小限度。
在变型例1中,为了简化装置,从由抖动检测部5检测到的抖动直接算出水平及垂直方向的抖动角。
具体来讲,抖动检测部5检测像位移角,抖动角算出部6B经由CPU6的转动控制部6A接收该像位移角,从该接收到的像位移角根据(式30)算出抖动角。
其后,采集基准时刻确定部6C在通过外部操作***26所受到的用户的按钮操作等而接收到静态图像采集的要求信号时,将与由抖动角算出部6B算出的抖动角的绝对值为零或极小值的抖动角对应的时刻确定为静态图像的采集基准时刻,并将与紧跟由采集基准时刻确定部6C确定的采集基准时刻之后的时刻对应的抖动校正图像、即由CPU6的转动控制部6A控制并拍摄的图像作为静态图像采集。
由此,从由抖动检测部5检测到的像位移角可直接算出抖动角,因此,作为光折射机构可使用通用的光折射构造,能够简化静态图像采集装置的结构。
变型例2
本实施方式的静态图像采集装置,虽然将紧跟抖动角成为零或最小之后读出的图像作为静态图像从相机DSP部20直接采集,但在变型例2中,可从存储在存储部24的图像中选择并采集静态图像。
具体来讲,该变型例2的静态图像采集装置,在存储部24中预先对应地存储以下信息:预定的规定时间份的抖动校正图像和特定拍摄时刻的信息以及由CPU6的抖动角算出部6B算出的水平及垂直方向的抖动角。
而且,CPU6的采集基准时刻确定部6C在通过外部操作***26所受到的用户的按钮操作等而接收到静态图像采集的要求信号时,将由CPU6的抖动角算出部6B算出的水平方向或垂直方向的抖动角的绝对值为零或极小值的时刻、或者存储在存储部24的水平方向或垂直方向的抖动角的绝对值为零或极小值的时刻确定为静态图像的采集基准时刻。
其后,静态图处理部25将与紧跟由CPU6的采集基准时刻确定部6C确定的采集基准时刻之后的时刻对应的图像作为静态图像从相机DSP部20或存储部24采集。
由此,能够采集包括紧靠接收静态图像采集的要求信号以前的抖动角的绝对值为零或最小的时刻的静态图像,能够采集抖动角更小的时刻的静态图像、即因色像差而产生的像偏移最小的静态图像。
此外,有必要预先设定将抖动校正图像向存储部24存储的时间,例如,若将该存储的时间设定为1秒,则从用户进行外部操作***26的按钮操作的1秒钟之前将被读出的多个抖动校正图像存储到存储部24中。因此,该设定时间的长度最好设定为,对用户来说,进行了外部操作***26的按钮操作时的图像和作为静态图采集的图像的差异不会带来不协调的感觉的程度。
变型例3
本实施方式的静态图像采集装置,虽然将与紧跟抖动角成为零或最小之后对应的图像作为静态图像从相机DSP部20直接采集,但在变型例3中,可从预先存储了抖动角成为零的抖动校正图像的存储部24采集静态图像。
具体来讲,静态图像采集装置,在存储部24预先对应地存储了以下信息:由CPU6的抖动角算出部6B算出的水平方向或垂直方向的抖动角成为零后立即被读出的抖动校正图像和特定拍摄时刻的信息。
而且,CPU6的采集基准时刻确定部6C接收到静态图像采集的要求信号时,将由抖动角算出部6B算出的水平方向或垂直方向的抖动角的绝对值为零或极小值的时刻、或者存储在存储部24的水平方向或垂直方向的抖动角成为零的最新时刻确定为静态图像的采集基准时刻。
其后,静态图处理部25将包括与紧跟由采集基准时刻确定部6C确定的采集基准时刻之后的时刻对应的抖动角成为零的时刻而累积并读出的抖动校正图像作为静态图像从数字处理部20或存储部24采集。
由此,即使在接收静态图像采集的要求信号以前抖动角成为零的场合,也能采集包括该时刻而累积并读出的静态图像,能够采集抖动角更小的时刻的静态图像、即因色像差产生的像偏移最小的静态图像。
变型例4
本实施方式的静态图像采集装置,虽然将与紧跟水平方向或垂直方向的抖动角中预定的任意一方为零或最小之后对应的图像作为静态图像采集,但在变型例4中,在接收到采集要求信号后,将水平或垂直方向的抖动角中到成为零或最小之后立即读出的图像作为静态图像采集。
具体来讲,CPU6的抖动角算出部6B算出水平方向及垂直方向的两者的抖动角,CPU6的静态图像采集部6C将与水平方向及垂直方向的抖动角中首先成为零或极小值的抖动角对应的时刻确定为静态图像采集基准时刻。
图17表示水平方向及垂直方向的抖动相位差为零的场合的抖动角曲线。
从图17可知,水平方向及垂直方向的抖动角曲线可按照可动棱镜10A、10B的旋转角独立地描绘。而且,CPU6的采集基准时刻确定部6C将与水平方向及垂直方向的抖动角中首先成为零或极小值的抖动角对应的时刻确定为静态图像采集基准时刻。
在图17中,由于水平方向及垂直方向的抖动未产生相位差,因此,若设通过外部操作***26所受到的用户的按钮操作等而接收到静态图像采集的要求信号的时刻为图17中的T2,则水平方向及垂直方向的抖动角成为零的时刻均为T5时刻。因此,在图17所示的场合,无论水平方向、垂直方向的任意一个优先确定为采集基准时刻都具有同样的效果。
另一方面,产生了水平方向、垂直方向的相位差的场合,通过将任何一方优先确定采集基准时刻,可以更快地采集抖动角小的时刻的静态图像,即因色像差产生的像偏移最小的静态图像。
图18表示作为一例垂直方向的相位相对于图17向负方向偏移了45度的场合的抖动角曲线。
从图18可知,若设通过外部操作***26所受到的用户的按钮操作等而接收到静态图像采集的要求信号的时刻为图18中的T2时,则垂直方向的抖动角成为零的时刻是T4时刻,对此,水平方向的抖动角的绝对值成为极小的时刻是T5时刻。在这种场合,由于水平方向或垂直方向的抖动角中首先成为零或最小的是垂直方向,因此,垂直方向的抖动角优先,并将垂直方向的抖动角的绝对值成为了零的时刻、即T4时刻确定为静态图像采集基准时刻。
由此,由于按照相机的抖动自动地设定水平及垂直方向中的任意一方,因而能够更快地采集抖动角小的时刻的静态图像、即因色像差产生的像偏移最小的静态图像。
变型例5
本实施方式的静态图像采集装置,虽然将与紧跟抖动角成为零或最小之后对应的图像作为静态图像从相机DSP部20直接采集,但在变型例5中,在经过了规定的时间时,将该之后确定为采集基准时刻。
具体来讲,在由CPU6的抖动角算出部6B算出的抖动角在预定的采集限制时间不成为零或极小值的场合,CPU6的静态图像采集部6C将该采集限制时间结束时刻确定为静态图像采集基准时刻。
图19是表示抖动角在预定的采集限制时间不成为零或极小值的场合的抖动角曲线的说明图。
图19所示的PC1表示接收到静态图像采集的要求信号的时刻,PC2表示静态图像的采集基准时刻,PC3表示作为静态图像采集的时刻。
在图19中,在PC1时刻,CPU6的采集基准时刻确定部6C接收外部操作***26的通过用户操作的静态图像采集要求信号。于是,采集基准时刻确定部6C判定抖动角的绝对值是否为零或极小值。但在图19中,在PC2时刻,通过CPU6的抖动角算出部6B算出的抖动角的绝对值不会成为零或极小值,而经过了采集限制时间。
于是,采集基准时刻确定部6C将PC2时刻确定为静态图像采集基准时刻,并在读出时刻即PC3时刻,静态图处理部25将抖动校正图像作为静态图像从相机DSP部20采集。
由此,在规定的时间内,在抖动角不成为零或极小值的场合,也可以确定为静态图像采集基准时刻,能够采集静态图像。
另外,有必要预先设定该采集限制时间,例如,若将采集限制时间设定为1秒,则在用户进行按钮操作后的1秒钟内抖动角的绝对值不成为零或极小值的场合,将用户进行了按钮操作的1秒钟后确定为静态图像采集基准时刻。因此,该采集限制时间的长度最好设定为,进行了外部操作***26的按钮操作时的图像和作为静态图采集的图像的差异对用户不会带来不协调的感觉的程度。
变型例6
在图1所示的本实施方式的摄像机1中,虽然透镜***3作为一个部件描绘的,但也可以作为多片透镜组构成。图20是表示图1的透镜***3的图。图21是表示图1所示的校正部2和透镜***3的另外的配置关系的图,图21(a)是在透镜***3内配置了校正部2的图,图21(b)是在透镜***3的后方配置了校正部2的图。
透镜***3具备第一~第四透镜组3a~3d。虽然在图1中省略了图示,但在透镜***3的后方设置抑制干扰(伪信号)的光学低通滤波器16和使被摄体成像的CCD部13。
在图1中,虽然将校正部2如图20所示配置在透镜***3的前方,但也可以如图21(a)所示配置在透镜***3的内部,另外,也可以如图21(b)所示配置在透镜***3的后方。因此,由于在使光束在透镜***3中通过或通过后的的较窄的部位设置校正部2,因而可使校正部2小型化。
另外,就校正部2而言,如图3所示,虽然说明了具备固定棱镜9、可动棱镜10A、10B的结构,但也可以去除固定棱镜9,另外,也可以做成增加了一片固定棱镜的结构。
图22是表示作为校正部2的另外构成而没有固定棱镜的校正部的图,图22(a)是正视图,图22(b)是俯视图,图22(c)是侧视图。另外,图23是表示作为校正部2的另外构成而具备两片固定棱镜的校正部的图,图23(a)是正视图,图23(b)是俯视图,图23(c)是侧视图。
在图23的场合,各棱镜的位置调节成初始状态的校正部2的入射角和出射角相同。至于其它动作,无论是图22、图23的哪一种场合均与上述实施方式相同,可得到同样的效果。
此外,在图22的场合,由于做成仅具备两片可动棱镜10A、10B的结构,因而从图8(b)可知,虽然在初始状态下像仅偏移像位移角θ,但这与图像晃动校正无直接关系。
但是在去除了固定棱镜9的图22的场合,与图3、图23的场合相比,因色像差引起的像偏移变大。即、在图3、图23的场合,虽构成为通过固定棱镜9使得校正部2的入射角和出射角在初始状态下相同,但这是为了将图像晃动校正时的由棱镜作用引起的色像差的影响抑制到最小限度,从而降低因色像差引起的像偏移的校正。
与此相比,在图22的场合,由于去除了固定棱镜9,因而在初始状态下入射角和出射角不相同。因此,与图3、图23的场合相比,因色像差引起的像偏移变大,成为必要的因色像差引起的像偏移的校正量增变大。与此相反,图22所示的无固定棱镜的结构,可使校正部2的光轴方向的长度变短从而实现小型化。
另外,也可以选择均衡地兼顾得到因色像差引起的像偏移的校正量得到抑制和小型化这两方面的效果。也可以调节固定棱镜9的棱镜角,使得因色像差引起的像偏移的校正量不比图22的场合大,与图3及图23的场合相比使校正部2小型化,也就是说,使得因色像差引起的像偏移量处于图22的场合和图3及图23的场合之间。由此,可以取得因色像差引起的像偏移的校正得到抑制和校正部2的小型化的平衡。
另外,图3、图22及图23所示的实施方式的各棱镜既可以做成单体,也可以做成复合棱镜。另外,也可以做成具有棱镜效果的平行板。图24是表示本实施方式的棱镜的另外构成的图,图24(a)是表示单体棱镜的图,图24(b)是表示复合棱镜的图,图24(c)是表示具有棱镜效果的平行板的图。
例如,可动棱镜10A可以做成将如图24(b)所示的具有微小角度的两片棱镜10Aa、10Ab进行了贴合的复合棱镜。若做成复合棱镜,则可增大棱镜单体的角度,可以很容易地制作用单体棱镜难以实现的微小角度的棱镜。
另外,如图24(c)所示,也可以代替各棱镜使用折射率N为例如从N=1.5变化到N=1.4且具有棱镜效果的平行板17。棱镜虽需要进行倾角的生产管理,但若是平行板17,则可以很容易地加工。
下面,说明图像晃动校正装置。
下面,说明图像晃动校正装置的实施方式。在本实施方式中,将非光学地校正由棱镜的色像差产生的像偏移的图像晃动校正装置作为例子进行说明。
图25是表示本发明的图像晃动校正装置的一个实施方式的框图。本发明的静态图像晃动校正装置设置在例如众所周知的摄像机51内。
本实施方式的图像晃动校正装置包括:具备以光轴51a为中心可独立地转动的一对可动棱镜和固定棱镜的校正部52;拍摄被摄体的透镜***53;使从透镜***53入射的光成像并将已成像的被摄体像转换成电信号的CCD部63;具备CDS功能、AGC功能以及A/D转换功能的前处理用IC部69;具备将来自前处理用IC部69的输入信号分离为RGB色的RGB分离部70A和进行因信号的色像差引起的像偏移的校正处理的色像差校正部70B的相机DSP部70;使校正部52内的一对可动棱镜分别绕光轴转动的执行元件54A、54B;检测由抖动等引起的摄像机51的晃动并输出抖动信号的抖动检测部55;具有根据来自抖动检测部55的抖动信号发送控制信号以控制执行元件54A、54B从而抵消抖动的转动控制部56A和从利用传感器58A、58B检测到的可动棱镜的转动量算出因色像差而产生的各分色图像的位置坐标的像偏移量的像偏移量算出部56B的CPU56;根据来自CPU56的转动控制部56A的控制信号驱动执行元件54A、54B的电动机驱动电子电路(MDE)57;以及检测校正部52内的一对可动棱镜的旋转状态的传感器58A、58B。
图26是表示图25所示的图像晃动校正装置的校正部52的简图,图26(a)是概略正视图,图26(b)是概略侧视图。图27是校正部52的构成图,图27(a)是正视图,图27(b)是从图26(a)所示的B方向观察的剖视图,图27(c)是从图26(a)所示的A方向观察的剖视图。图28是校正部52所具有的固定棱镜的立体图。
如图26所示,校正部52配设在透镜***53和覆盖该透镜***53的正面的罩部51b之间,如图27(a)~图27(c)所示,校正部52具备固定设置的固定棱镜59和以光轴为旋转中心可转动的一对可动棱镜60A、60B。
如图28所示,固定棱镜59是形成有对光轴51a垂直的面即第一面59a和相对于第一面59a具有微小的斜度角度且相向的平面即第二面59b,且由丙烯酸等制成的棱镜。可动棱镜60A、60B也是同样的形状、材质。
图29是校正部52所具有的执行元件和传感器的配置图,图29(a)是概略侧视图,图29(b)是可动棱镜60A的执行元件和传感器的配置图,图29(c)是可动棱镜60B的执行元件和传感器的配置图。
执行元件和传感器安装在校正部52上。如图29(b)、图29(c)所示,执行元件54A和传感器58A用于可动棱镜60A,执行元件54B和传感器58B用于可动棱镜60B。
执行元件54A、54B根据来自CPU56的转动控制部56A的控制信号使可动棱镜60A、60B转动。执行元件54A、54B由小型脉冲电动机、小型线性电动机、小型超声波电动机等构成,负荷转矩较小。
传感器58A、58B由小型光断续器、MR元件、霍尔元件等构成,检测可动棱镜60A、60B的旋转状态并向CPU56的转动控制部56A输出旋转状态的信息。
在作为传感器58A、58B使用小型光断续器的场合,与脉冲电动机组合使用,将可动棱镜60A、60B的外周作为掩蔽物,并在该掩蔽物上分别设置孔60a、60b。孔60a、60b设置成当可动棱镜60A、60B处于初始位置时来到传感器58A、58B的位置。
小型光断续器具备红外线发光二极管和光电晶体管,设置成可动棱镜60A、60B配置在红外线发光二极管和光电晶体管之间。
小型光断续器通过在电源接通时使可动棱镜60A、60B转动,用光电晶体管接受通过了孔60a、60b的红外线发光二极管的光来检测原点位置。可动棱镜60A、60B的旋转状态的信息,通过以在原点位置的脉冲为零对旋转时的脉冲数进行计数而得到。
另外,在作为传感器8A、8B使用MR元件或霍尔元件的场合,在可动棱镜60A、60B上分别安装磁性体来代替设置孔60a、60b。
MR元件或霍尔元件,通过检测与可动棱镜60A、60B的旋转一起旋转的磁性体引起的磁场的变化来检测旋转状态的信息。
在本实施方式的图像晃动校正装置中,通过以抵消用抖动检测部55检测到的抖动的方式使可动棱镜60A、60B转动来校正由抖动引起的图像晃动,并检测该可动棱镜60A、60B的旋转角,利用所检测到的旋转角来校正因色像差产生的图像偏移。
因此,下面,在对抖动校正的处理进行说明后,再对色像差校正的处理进行说明。
首先,说明抖动校正。
在本实施方式的图像晃动校正装置中,通过以抵消用抖动检测部55检测到的抖动的方式使可动棱镜60A、60B转动来校正由抖动引起的图像晃动。
图30是对由棱镜引起的被摄体像的移动进行说明的图,图30(a)是说明由棱镜引起的光的折射的图,图30(b)是图30(a)中从正面方向(a方向)观察了棱镜的图。图30(b)中仅使图30(a)所示的棱镜61旋转了α角。如图30(a)、图30(b)所示,入射的光由棱镜11以折射角i′折射,被摄体A的像位移到A′(平行移动)。
在图30(a)、图30(b)中,“i”是棱镜11的棱镜角(光的入射角),“L”是棱镜长度,“δ”是棱镜高度,“δ1”是最薄部分的棱镜高度,“i′”是光的折射角,“N”是折射率,“θ”是像位移角(偏向角),“α”是棱镜旋转角,“Lα”是棱镜转动量,“vectore”是像位移方向的单位矢量,“vectorθ”是像位移矢量。此外,下标“vector”代表矢量。此外,在图30~图35中,将这些矢量用黑体字表示以代替下标“vector”。这里,以(式32)表示。
vectorθ=θvectore                (式32)
如图30(a)所示,在棱镜角(入射角)i和折射角i′以及像位移角(偏向角)θ之间,(式33)成立。
θ=i′-i                            (式33)
再有,根据斯涅尔定律,(式34)成立。
sini′=Nsini                       (式34)
这里,若假定棱镜角i较小,由于(式33)可与(式35)近似,因此,若将(式35)代入(式33),则为(式36)。
i′=Ni                    (式35)
θ=(N-1)i                  (式36)
另外,根据图30(b),棱镜转动量Lα和棱镜旋转角α之间,具有(式37)的关系,
Lα=(L/2)α                        (式37),
即,(式38)成立。
α=(2/L)Lα                        (式38)
另外,由(式39),即(式40)成立。
8=Ltani+δ1                       (式39)
L=(δ-δ1)tani                     (式40)
图31是表示校正部52内的可动棱镜60A、60B不旋转的场合(初始状态)的像位移矢量的图。
在图31中,vectorθ1vectorθ2vectorθ3分别是由固定棱镜59、可动棱镜60A、60B引起的像位移矢量。如图31所示,以使vectorθ1抵消vectorθ2vectorθ3的合成矢量的方式设定固定棱镜59、可动棱镜60A、60B的位置。由此,由于用三片固定棱镜59、可动棱镜60A、60B可与平行平板等价,因而校正部52的入射角与出射角相同,被摄体的像不移动。
图32是对可动棱镜60A、60B旋转了的场合的被摄体像的移动进行说明的图,图32(a)是表示可动棱镜旋转了的场合的像位移矢量的图,图32(b)是读取了图32(a)所示的像位移矢量的变化量的图。
在图32(a)中,将可动棱镜60A、60B各自仅旋转了α1、α2时的像位移矢量分别设定为vectorθ2′、vectorθ3′。此外,将图32(a)所示的旋转方向设定为α1、α2的正(+)方向。另外,设定为:
vectorθavectorθ2′-vectorθ2           (式41)
vectorθbvectorθ3′-vectorθ3           (式42)。
于是,如图32(b)所示,被摄体A的像则平行移动到A′。此时,其像位移矢量为vectorθaavectorθb的合成矢量vectorθ,则为:
vectorθ=vectorθa+vectorθb=(θx,θY)         (式43)。
此时,根据图32(a)、图32(b),(式44)、(式45)成立。
θx=θ2sinα13(1-cosα2)              (式44)
θY=θ3sinα22(1-cosα1)              (式45)
这里,θ2表示vectorθ2的标量,θ3表示vectorθ3的标量。
这里,考虑以α1、α2为成分的矢量vectorα=(α1,α2)。若将(式44)及(式45)对α1、α2求解,则得到(式46)、(式47)。
α1=±cos-1(C/D)+α1 *                        (式46)
α2=±cos-1{[(θx3)-θ2sinα1]/θ3}            (式47)
其中,
C=[A2+B22 23 2]/2θ2                        (式48)
D=(A2+B2)1/2                                 (式49)
α1 *=±cos-1(A/D)(选择B的符号)               (式50)
A=(θY2)                                    (式51)
B=(θX3)                                     (式52)。
这里,在α1的符号为-的场合,α2的符号选择θY的符号,α1的符号为+的场合,α2的符号选择+。
图33是表示被摄体像(被摄体)的平行移动的方式的图,图33(a)是被摄体像移动到第二象限的图,图33(b)是被摄体像移动到第一象限的图,图33(c)是被摄体像移动到第三象限的图,图33(d)是被摄体像移动到第四象限的图。
如图33(b)所示,在被摄体像移动到第一象限时,由于θx>0,且θY>0,因此,α1>0,且α2>0。另外,如图33(a)所示,在被摄体像移动到第二象限时,由于θx<0,且θY>0,因此,α1<0,且α2>0。另外,如图33(c)所示,在被摄体像移动到第三象限时,由于θx<0,且θY<0,因此,α1<0,且α2<0。另外,如图33(d)所示,在被摄体像移动到第四象限时,由于θx>0,且θY<0,因此,α1>0,且α2<0。
图34是说明换算焦距和位移量的图,图34(a)是说明换算焦距的图,图34(b)是说明位移量的图。
在图34(a)中,SF是从被摄体A到透镜***53的第一主点的距离,f是透镜***53的焦距。此时,换算焦距fm是从透镜***53的第二主点到使被摄体像64A成像的CCD部63的距离,以(式53)、(式54)表示。
fm=f+SB                     (式53)
SB=f2/SF                    (式54)
下面,如图34(b)所示,通过***校正部52而使被摄体像64A移动到被摄体像64A′,若设该像位移角为θ,则位移量S以(式55)表示。
S=fmtanθ                            (式55)
图35是对抖动校正进行说明的图,图35(a)是对由抖动引起的被摄体像的移动进行说明的图,图35(b)是说明对由抖动引起的被摄体像的移动的抖动校正的图。
如图35(a)所示,若透镜***53相对于摄像机等的主体向上方向旋转(沿图35的顺时针方向旋转),则被摄体A相对地向下方向旋转(沿图35的逆时针方向旋转)。因此,被摄体像64A偏移到被摄体像64A′并从CCD部63突出。这里,vectorθ*是抖动角矢量,若设抖动角为θ*、抖动方向的单位矢量为vectore*(=-vectore),则为:
vectorθ*=θ* vectore*                (式56)。
其次,如图35(b)所示,若在透镜***53的前方***校正部52,则在由校正部52引起的像位移矢量vectorθ和抖动角矢量vectorθ*满足(式57)的抖动校正条件时,
vectorθ=-vectorθ*                     (式57)
被摄体像64A′移动到被摄体像64A的位置,从而校正抖动。
下面,说明本实施方式的图像晃动校正装置的动作。
传感器58A、58B检测可动棱镜60A、60B的旋转状态,并将旋转状态的信息向CPU56的转动控制部56A输出。
抖动检测部55检测由抖动引起的摄像机51的晃动,并将它作为抖动信号向CPU56的转动控制部56A输出。在CPU56的转动控制部56A基于该抖动信号,并根据(式58)计算表示抖动的大小以及方向的抖动角矢量vectorθ*
vectorθ*=(θx *,θY *)                 (式58)
这里,根据(式57),则为:
x,θY)=(-θx *,-θY *)            (式59)
而且,CPU56的转动控制部56A基于(式46)~(式52)算出矢量vectorα,并向电动机驱动电子电路57输出控制信号,以控制可动棱镜60A、60B使其旋转角成为α1、α2
电动机驱动电子电路57按照来自CPU56的转动控制部56A的控制信号驱动执行元件54A、54B,执行元件54A、54B则使可动棱镜60A、60B转动以使其旋转角成为α1、α2
这样,本实施方式的图像晃动校正装置,通过以抵消由抖动检测部55检测到的抖动的方式使可动棱镜60A、60B转动来校正由抖动引起的图像晃动。
下面,说明对因色像差引起的像偏移的校正。
其次,对如上所述那样校正了抖动的被摄体像的因色像差引起的像偏移的校正说明如下。
如上所述,通过使可动棱镜60A、60B转动虽然可以校正由抖动引起的图像晃动,但由于利用通过棱镜的光学折射率来进行图像晃动校正,因此,因随光的各种波长而不同的光学折射率,在被摄体像上产生色像差。
图36表示棱镜不在光轴上的场合,不通过棱镜,利用具备了RGB的各滤色器的摄像元件在黑色背景上拍摄了白色“A”文字的像,图37表示在棱镜配置在光轴上的场合,利用摄像元件并通过棱镜在黑色背景上拍摄了白色“A”文字的像。但在图面上黑白反转。
在图36的场合,像为白色,“A”清晰可见,而在图37的场合,由于光因棱镜而折射时,折射率随光的波长而不同,因此,错开显现R、G、B三种像。这就是因色像差引起的像偏移。
这样,由于由棱镜产生的色像差不是如通常的透镜那样以光轴为中心呈放射状地产生,而是沿一个方向产生色像差,因此,可以对该因色像差引起的像偏移进行非光学的校正。
于是,本实施方式的图像晃动校正装置,通过进行以下所示的非光学的校正处理来校正因色像差引起的像偏移。
具体来讲,图像晃动校正装置按分色校正了图像晃动的图像,从利用传感器58A及58B检测到的可动棱镜60A、60B的旋转角α10、α20算出因色像差产生的各分色图像的位置坐标的像偏移量,并以消除所算出的像偏移量的方式进行校正。
下面,对图25所示的本实施方式的图像晃动校正装置中的进行因色像差引起的像偏移的校正的部位进行说明。
如图25所示,如上所述那样校正了抖动的被摄体像通过透镜***53而在CCD部63的光电转换面(未图示)成像。在CCD部63的光电转换面前配置有滤光器(未图示),CCD部63在光电转换面将被摄体像转换为电信号。
已转换为电信号的被摄体像的信号输入到前处理用IC部69。前处理用IC部69具有CDS、AGC、A/D转换功能,利用CDS功能消除信号的干扰,利用AGC功能放大信号,并进行A/D转换。
相机DSP部70的RGB分离部70A将从前处理用IC部69输入的被摄体像的信号分色为R(红色)、G(绿色)、B(蓝色)。而且,相机DSP部70的色像差校正部70B基于利用CPU56的像偏移量算出部56B算出的像偏移量,对已分色为RGB的信号的由色像差引起的像偏移进行校正。
其次,对由该色像差引起的像偏移的校正处理说明如下。
图38表示校正本实施方式的图像晃动校正装置的因色像差引起的像偏移的处理流程。
首先,CPU56的像偏移量算出部56B接收利用传感器58A、58B检测到的可动棱镜60A、60B的旋转角α10、α20,并利用图表或计算等算出旋转角(步骤S701)。
接着,CPU56的像偏移量算出部56B将可动棱镜60A的R、G、B输出各自的像位移角θaR、θaG、θaB分别根据(式60)、(式61)、(式62)算出(步骤S703)。
θaR=-(1-NaR)ia        (式60)
θaG=-(1-NaG)ia        (式61)
θaB=-(1-NaB)ia        (式62)
其中,NaR、NaG、NaB表示R、G、B输出各自的可动棱镜60A的折射率,ia表示可动棱镜60A的顶角。
同样地、若NbR、NbG、NbB为R、G、B输出各自的可动棱镜60B的折射率,ib为可动棱镜10B的顶角,则可以对可动棱镜60B,根据(式63)、(式64)、(式65)分别算出R、G、B输出各自的像位移角θbR、θbG、θbB
θbR=-(1-NbR)ib        (式63)
θbG=-(1-NbG)ib        (式64)
θbB=-(1-NbB)ib        (式65)。
接着,CPU56的像偏移量算出部56B,从在步骤S701所接收的可动棱镜60A、60B的旋转角α10、α20和在步骤S703算出的R输出的像位移角,作为结合了可动棱镜60A、60B的复合棱镜,根据(式66)、(式67)算出R输出的像位移角的x、y成分(θxR,θyR)(步骤S705)。
θxR=θaRsinα10-(1-cosα20bR        (式66)
θyR=θbRsinα20-(1-cosα10aR        (式67)
同样地、对于G、B输出的像位移角的x、y成分(θxG,θyG)、(θxB,θyB)也利用(式66)、(式67)算出。
接着,CPU56的像偏移量算出部56B,从在步骤S705算出的R输出的像位移角的x、y成分(θxR,θyR)根据(式68)、(式69)算出像位移量的x、y(SxR,SyR)(步骤S707)。
SxR=fm*tanθxR         (式68)
SyR=fm*tanθyR         (式69)
同样地、对于G、B输出的像位移量的x、y成分(SxG,SyG)、(SxB,SyB)也利用(式68)、(式69)算出。
这里,在本实施方式的图像晃动校正装置中,以G输出为相对基准,进行将R、B输出校正到G输出的位置的处理。
因此,CPU56的像偏移量算出部56B从在步骤S707算出的像位移量的x、y成分,并以G的像位移量为基准,根据(式70)、(式71)算出R、B像位移量的偏移程度(步骤S709)。
ΔSR=(SxR-SxG,SyR-SyG)           (式70)
ΔSB=(SxB-SxG,SyB-SyG)           (式71)
接着,色像差校正部70B以消除通过像偏移量算出部56B并经步骤S709算出的像偏移量ΔSR、ΔSB的方式校正分色图像。具体来讲,对于R输出,若设像偏移量ΔSR的成分为(ΔSxR,ΔSyR),则通过将从色像差校正前的R输出的位置坐标(SxR,SyR)仅减去了(ΔSxR,ΔSyR)的值作为校正后的R的位置坐标来重新替换来进行校正。即、若设校正后的R、B输出的位置坐标为(newSxR,newSyR)、(newSxB,newSyB),则这些坐标表示为:
(newSxR,newSyR)=(SxR-ΔSxR,SyR-ΔSyR)          (式72)
(newSxB,newSyB)=(SxB-ΔSxB,SyB-ΔSyB)          (式73)
由此,色像差校正部70B通过确定R、B输出的位置坐标,并相对地校正R、B的位置,从而能够校正因色像差产生的像偏移,用户能够更加鲜明地看到已拍摄的图像。
位置校正通过在设置于DSP70内的第一存储器部分内首先存储图像,接着在第二存储器部分施加校正来进行。另外,也可以通过使R、G、B的各信号延迟来进行校正。
下面,说明本实施方式的变型例。
变型例1
本实施方式的图像晃动校正装置,虽然以算出因色像差产生的RGB输出图像的像偏移量,并在摄像元件的每个元件上以实时地消除像偏移的方式进行校正,但为了简化电路,在变型例1中,其特征为,以画面单位对该因色像差而产生的像偏移进行校正。
例如,由于可动棱镜60A、60B的旋转角α10、α20随时间而变化,因此,每隔某一定时间以画面单位对因色像差引起的像偏移进行校正。此时,可动棱镜60A、60B的旋转角α10、α20使用一定时间内的平均值。
由此,在例如抖动周期为8Hz且画面频率为60Hz的场合,由于画面频率抖动周期足够大,因此,对于因色像差引起的像偏移的校正,其误差小,可得到充分的校正效果。
变型例2
本实施方式的图像晃动校正装置,虽然以从可动棱镜60A、60B的旋转角α10、α20算出因色像差产生的RGB输出图像的位置坐标的像偏移量ΔSR、ΔSB,并以消除所算出的像偏移量的方式进行校正,但实际上,因装置误差等的影响,有时在所算出的像偏移量和实际像偏移量之间产生误差。
因此,在变型例2中加进装置误差等来确定像偏移量。
具体来讲,若设加进了误差的像偏移量为ΔSRk、ΔSBk,则设定误差修正系数KR、KB用来补偿加进了该误差的像偏移量和所算出的像偏移量ΔSR、ΔSB之间的误差。该误差修正系数KR、KB基于进行了实际拍摄试验的实验数据等算出。而且,使用该误差修正系数KR、KB并利用根据(式74)、(式75)算出的新的像偏移量ΔSRk、ΔSBk来代替所算出的像偏移量ΔSR、ΔSB进行色像差校正
ΔSRk=KB*ΔSR          (式74)
ΔSBk=KB*ΔSB          (式75)
再有,也可以使该误差修正系数KR、KB可变,并利用用户输入的KR、KB算出新的像偏移量ΔSRk、ΔSBk,以此进行色像差校正。
变型例3
本实施方式的图像晃动校正装置,以从可动棱镜60A、60B的旋转角α10、α20算出因色像差产生的RGB输出图像的位置坐标的像偏移量,并消除所算出的像偏移量的方式进行校正,因此,如图39所示,在画面的周围部分出现只输出RGB输出的一部分的区域。
因此,相机DSP部70的色像差校正部70B将输出有R、G、B的全部的共同区域切取出来,在共同区域的图像的尺寸不满足输出到画面上时所需的大小的场合,将共同区域的图像放大到输出画面的大小,并删除共同区域以外的部分的数据。
另外,相机DSP部70的色像差校正部70B也可以做成,将输出有R、G、B的全部的共同区域切取出来,对于其它区域,从R、G、B输出中的所输出的至少一个输出生成黑白画面,并以该黑白画面补全共同区域的周边画面。
采用这些方法,在校正量小且共同区域的图像的尺寸在输出到画面时超过必要的大小的场合是有效的。
变型例4
本实施方式的图像晃动校正装置,如图25所示的CCD部63那样,由于以具有一个CCD受光部的单板式为例,因此,在相机DSP部70的RGB分离部70A中,有必要将从前处理用IC部69输入的被摄体像的信号分色为R、G、B输出信号。
于是,在变型例4中采用利用R、G、B各自专用的CCD部进行分色的三板式。
图40是表示采用了这种三板式的变型例4的框图。
图40的三板式的图像晃动校正装置,利用透镜***63将被摄体像分离为R、G、B三种光线,并在各自的CCD部63R、CCD部63G、CCD部63B的光电转换面上成像。为了防止其它色的光线入射,在光电转换面的前面配置有R、G、B的滤色器(未图示)。而且,在CCD部63R、CCD部63G、CCD部63B的光电转换面将所成像的R、G、B各自的被摄体像转换为电信号。再有,已转换的电信号经由A/D转换部71R、71G、71B、图像存储器72R、72G、72B发送到相机DSP部70的色像差校正部70B。
相机DSP部70的色像差校正部70B基于由CPU56的像偏移量算出部56B算出的像偏移量对因色像差引起的像偏移进行校正。
另外,按照分色方式有从校正了色像差的R、G、B输出生成亮度信号的情况和与R、G、B输出无关地生成亮度信号的情况。
于是,在与R、G、B输出无关地生成亮度信号的场合,通过在进行了R、G、B输出的色像差校正之后,将已进行色校正的R、G、B输出信息加进亮度信号,从而能够实现析像度的提高。
例如,利用校正了色像差的R、G、B输出生成亮度信号,并以一定比率与原亮度信号合成。
变型例5
本实施方式的图像晃动校正装置,虽然按色分离校正了图像晃动的图像的图像数据,从利用传感器58A及58B检测到的可动棱镜60A、60B的旋转角α10、α20算出因色像差产生的RGB输出图像的位置坐标的像偏移量,并以消除所算出的像偏移量的方式进行校正,但在变型例5中,从输出的图像直接进行校正处理。
具体来讲,CPU56的像偏移量算出部56B根据利用RGB分离部70A分离的RGB输出图像数据来叠合输出的RGB输出图像,将所叠合的RGB输出图像向上下左右各错开一个像素,合计每个像素的输出值的差分,确定所合计的差分值合计为最小的RGB输出图像的位置,色像差校正部70B基于已确定的位置进行像偏移校正。
图41(a)表示像素排列的地址。以从1到5的四边形表现的一个一个像素按水平垂直的二维排列,图中的像素(m,n)表示m行的第n个地址。
图41(b)表示放大了不存在因色像差引起的像偏移的场合的图像的一部分的图,图41(c)表示该场合的信号输出。
如图41(b)所示,不存在因色像差引起的像偏移的场合,所有像素的R、G、B输出值都一致。
下面,按照图42的色像差校正处理流程说明色像差校正的处理顺序。
首先,由于CPU56的像偏移量算出部56B以G输出图像为基准朝向画面将R、B输出图像向左右方向各错开一个像素并算出差分值合计,因此,将R、B输出图像位置设定在基准位置(步骤S801)。这里,基准位置是指因色像差引起的像偏移在校正之前的R、B输出图像的左右方向上的位置。
通过从该左右方向的基准位置将R、B输出图像向左右方向各错开一个像素并算出到R、B输出图像两端的差分值合计,即便在后述的上下方向上将R、B输出图像各错开一个像素的场合,也能在其上下位置上算出左右方向的所有差分值合计。
即、通过用算出自步骤S801到S819的向上下方向错开的场合的差分值合计的循环处理来进行算出自所包含的步骤S803到S817的向左右方向错开的场合的差分值合计的循环处理,从而能够算出将R、B输出图像移动到上下左右两端时的所有差分值合计。
接着,CPU56的像偏移量算出部56B设定算出差分值合计的行(步骤S803)。设定的行既可以是固定行,也可以能让用户设定任意行。
接着,CPU56的像偏移量算出部56B从步骤S805到S809算出差分值合计。
关于该处理,基于图43所示的具体例子进行说明。
图43(a)表示放大了存在因色像差引起的像偏移的场合的白色短形被摄体图像的一部分的图。
图43(b)~图43(d)表示R、G、B各自的输出图像。若以图43(c)所示的G输出图像为基准,则由于色像差使得图43(b)所示的R输出图像向左方向各错开两个像素,图43(d)所示的B输出图像向右方向各错开两个像素。
从图43(e)到图43(h)的图表示分别与从图43(a)到图43(d)对应的信号输出。
这样,在因色像差而产生像偏移的场合,只有在图43(a)所示的中央部分即由坐标(5,4)到坐标(6,7)所包围的区域均输出有R、G、B输出,对于其它区域,例如在由坐标(3,4)到坐标(4,7)所包围的区域只输出有R、G、B输出的一部分。
于是,CPU56的像偏移量算出部56B算出与该只输出有R、G、B输出的一部分的区域的数相当的差分值合计(步骤S805~S809)。
因此,首先CPU56的像偏移量算出部56B算出R输出和G输出中的任意一方所输出的部分即RG差分值(步骤S805)。
图44(a)是表示R、G、B输出图像的差分的图。图44(b)是表示R、G输出图像的差分的图。图44(c)是表示G、B输出图像的差分的图。
从图44(b)可知,CPU56的像偏移量算出部56B将每一行的RG差分值以“4”个像素算出。
接着,CPU56的像偏移量算出部56B算出B输出图像和G输出图像中的任意一方所输出的部分即BG差分值(步骤S807)。具体来讲,如图44(c)所示,若将B输出和G输出中的任意一方所输出的部分设为BG差分值,则每一行的BG差分值为“4”个像素。
而且,CPU56的像偏移量算出部56B将在步骤S805求出的每一行的RG差分值和在步骤S807求出的每一行的BG差分值的合计作为每一行的差分值合计算出(步骤S809)。
在图44(a)中,CPU56的像偏移量算出部56B将每一行的差分值合计以4+4=“8”个像素算出。
接着,CPU56的像偏移量算出部56B从存储部74读出差分值合计(步骤S811)。
此时,在所读出的差分值合计为零(null)值,或者所读出的差分值合计不是零(null)值且在步骤S809算出的差分值合计的值小于所读出的差分值合计的值的场合,则将在步骤S809算出的差分值合计向存储部74存储(步骤S813、S815)。
由此,可求出差分值合计的最小值。
接着,CPU56的像偏移量算出部56B,以G输出图像为基准,将R输出图像向右方向错开一个像素,将B输出图像向左方向错开一个像素(步骤S817)。
图45(a)及图45(b)表示将R、B输出图像向左右各错开一个像素时的R、B各自的输出图像,图45(c)及图45(d)表示分别与图45(a)及图45(b)对应的信号输出。
另外,图46(a)是表示将R、B输出图像向左右各错开一个像素时的R、G、B输出图像的差分的图。图46(b)表示R、G输出图像的差分,图46(c)表示G、B输出图像图的差分。
CPU56的像偏移量算出部56B如图45(a)及图45(b)所示,在将R、B输出图像向左右各错开一个像素后,从图46(a)、图46(b)、图46(c)算出差分值合计(步骤S805~S809)。
从图46(b)可知,CPU56的像偏移量算出部56B将每一行的RG差分值以“2”个像素算出(步骤S805)。
其次,从图46(c)可知,CPU56的像偏移量算出部56B将每一行的BG差分值以“2”个像素算出(步骤S807)。
而且,CPU56的像偏移量算出部56B合计在步骤S805求出的每一行的RG差分值和在步骤S807求出的每一行的BG差分值。在图46(a)的例子中,每一行的差分值合计为2+2=“4”个像素(步骤S809)。
而且,CPU56的像偏移量算出部56B对所算出的差分值合计和从存储器读出的差分值合计进行比较(步骤S813)。在图46(a)的场合,由于所算出的差分值合计“4”个像素小于从存储部74读出的差分值合计“8”个像素,因此,将所算出的差分值合计“4”个像素替换到存储部74(步骤S815)。
这样,CPU56的像偏移量算出部56B将R、G、B输出图像向左右各错开一个像素,并合计每个像素的输出值的差分。
再有,CPU56的像偏移量算出部56B在R、G、B输出图像的位置到达了左右两端时,在将R、G、B输出图像上下各错开一个像素后,同样地将R、B、G输出图像各错开一个像素到左右两端,并合计每个像素的输出值的差分。
这样,通过算出差分值合计,可算出使R、B输出图像移动到上下左右两端时的所有差分值合计,并求出其最小值。
而且,CPU56的像偏移量算出部56B在使R、B输出图像移动到上下左右两端时,将存储在存储部74的差分值合计作为最小值,而确定与该差分值合计的最小值对应的R、B输出图像的位置(步骤S821、S823),色像差校正部70B基于确定了的位置进行因色像差引起的像偏移的校正。
如上所述,通过从输出的图像直接进行因色像差引起的像偏移的校正,使得用户能够更鲜明地看到已拍摄的图像。
变型例6
在图25所示的本实施方式的图像晃动校正装置中,透镜***53虽作为一个部件进行描绘,但实际上以多片透镜组构成。
图47是表示图25的透镜***53的图。图48是表示图25所示的校正部52和透镜***53的另外配置关系的图,图48(a)是在透镜***内配置了校正部的图,图48(b)是在透镜***的后方配置了校正部的图。
透镜***53具备第一~第四透镜组53a~53d。虽然在图25中省略了图示,但在透镜***53的后方设置抑制干扰(伪信号)的光学低通滤波器66和使被摄体成像的CCD部63。
在图25中,将校正部52如图47所示配置在透镜***53的前方,但既可以如图48(a)所示配置在透镜***53的内部,另外,也可以如图48(b)所示配置在透镜***53的后方。由此,由于将校正部52设置在通过透镜***53的光束的狭窄的部位,因而可使校正部52小型化。
另外,在本实施方式的图像晃动校正装置中,如图27所示,校正部52虽是具备固定棱镜59、可动棱镜60A、60B的结构,但也可以去除固定棱镜59,另外,也可以做成增加了一片固定棱镜的结构。
图49是表示作为校正部52的另外构成而没有固定棱镜的校正部的图,图49(a)是正视图,图49(b)是俯视图,图49(c)是侧视图。另外,图50是表示作为校正部52的另外构成而具备两片固定棱镜的校正部的图,图50(a)是正视图,图50(b)是俯视图,图50(c)是侧视图。
在图50的场合,各棱镜的位置调节成使初始状态的校正部52的入射角和出射角相同。至于其它动作,无论是图49、图50的哪一种场合均与上述实施方式相同,并可得到同样的效果。
此外,在图49的场合,由于做成仅具备两片可动棱镜60A、60B的结构,因而从图32(b)可知,在初始状态下像仅偏移像位移角θ,但这与图像晃动校正无直接关系。
但是,图49的场合与图27、图50的场合相比,因色像差引起的像偏移变大。在图27、图50的场合,虽其构成为通过固定棱镜59使得校正部52的入射角和出射角在初始状态下相同,但这是为了将图像晃动校正时的由棱镜作用所引起的色像差的影响抑制到最小限度,从而减少对因色像差引起的像偏移的校正。与此相比,在图49的场合,由于去除了固定棱镜59,因而在初始状态下入射角和出射角不相同。因此,与图27、图50的场合相比,因色像差引起的像偏移变大,因色像差引起的像偏移的校正量增大。与此相反,在图49所示的无固定棱镜的结构中,可使校正部52的光轴方向的长度变短而实现小型化。
另外,也可选择抑制因色像差引起的像偏移的校正量和小型化的中间状况。也可以调节固定棱镜59的棱镜角,使得因色像差引起的像偏移的校正量不比图49的场合大,使校正部52比图27、图50的场合更小型化,也就是说,使得因色像差引起的像偏移量处于图49的场合和图27及图50的场合之间。由此,可实现因色像差引起的像偏移的校正的抑制和校正部52的小型化之间的平衡。
另外,图27、图49及图50所示的实施方式的各棱镜既可以做成单体,也可以做成复合棱镜。另外,也可以做成具有棱镜效果的平行板。图51是表示本实施方式的棱镜的另外构成的图,图51(a)是表示单体棱镜的图,图51(b)是表示复合棱镜的图,图51(c)是表示具有棱镜效果的平行板的图。
例如,可以将可动棱镜60A做成如图51(b)所示的具有微小角度的两片棱镜60Aa、60Ab进行了贴合的复合棱镜。若做成复合棱镜,则可增大棱镜单体的角度,可以很容易地制作用单体棱镜难以做到的微小角的棱镜。
另外,如图51(c)所示,也可以使用折射率N从例如N=1.5变化到N=1.4且具有棱镜效果的平行板17来代替各棱镜。棱镜需要进行倾角的生产管理,若是平行板17,则可容易加工。
从以上的说明中可知,根据本发明的静态图像采集装置,在校正图像的晃动并从已拍摄的图像中采集静态图像时,能够将因色像差产生的像偏移抑制到最小限度,能够向用户提供鲜明的静态图像。另外,根据本发明的图像晃动校正装置,能够对由折射元件的色像差产生的像偏移进行非光学地校正,从而使用户能够更鲜明地看到已拍摄的图像。

Claims (8)

1.一种静态图像采集装置,其对源于利用摄像元件将从光学透镜入射的光所产生的被摄体像转换为电信号而得到图像的摄像装置的抖动引起的上述图像的的晃动进行校正,并从已校正的抖动校正图像采集静态图像,其特征在于,具备:
检测在上述摄像装置所产生的水平或垂直抖动的抖动检测部;
配置在入射到上述摄像元件为止的光路上,使上述光向任意方向折射的光折射机构;
以抵消由上述抖动检测部检测到的抖动的方式控制由光折射机构所引起的上述光的折射方向的抖动控制机构;
检测通过上述抖动控制机构控制的上述光折射机构的控制量的控制量检测机构;
从通过上述控制量检测机构检测到的控制量算出水平方向或垂直方向的抖动角的抖动角算出机构;
使在预定的规定时间内从上述摄像元件读出的多个抖动校正图像和特定该多个抖动校正图像各自的拍摄时期的信息以及由上述抖动角算出机构算出的水平方向或垂直方向的抖动角相对应地存储在存储部的存储机构;
在接收到静态图像采集的要求信号时,将由上述抖动角算出机构算出的水平方向或垂直方向的抖动角的绝对值成为零或极小值的第一时刻、或者存储在上述存储部中的水平方向或垂直方向的抖动角的绝对值成为零或极小值的第二时刻确定为静态图像的采集基准时刻的采集基准时刻确定机构;以及
在将上述第二时刻确定为静态图像的采集基准时刻的场合,将在紧跟由上述采集基准时刻确定机构确定了的采集基准时刻之后或者刚好之前从上述摄像元件读出并存储在上述存储部中的抖动校正图像作为静态图像进行采集的静态图处理部。
2.一种静态图像采集装置,其对源于利用摄像元件将从光学透镜入射的光所产生的被摄体像转换为电信号而得到图像的摄像装置的抖动引起的上述图像的的晃动进行校正,并从已校正的抖动校正图像采集静态图像,其特征在于,具备:
检测在上述摄像装置所产生的水平或垂直抖动的抖动检测部;
配置在入射到上述摄像元件为止的光路上,使上述光向任意方向折射的光折射机构;
以抵消由上述抖动检测部检测到的抖动的方式控制由光折射机构所引起的上述光的折射方向的抖动控制机构;
检测通过上述抖动控制机构控制的上述光折射机构的控制量的控制量检测机构;
从通过上述控制量检测机构检测到的控制量算出水平方向或垂直方向的抖动角的抖动角算出机构;
使在紧跟由上述抖动角算出机构算出的水平方向或垂直方向的抖动角为零之后从上述摄像元件读出的抖动校正图像和特定该多个抖动校正图像各自的拍摄时期的信息相对应地存储在存储部的存储机构;
在接收到静态图像采集的要求信号时,将由上述抖动角算出机构算出的水平方向或垂直方向的抖动角的绝对值成为零或极小值的第一时刻、或者存储在上述存储部中的水平方向或垂直方向的抖动角成为零的最新的第二时刻确定为静态图像的采集基准时刻的采集基准时刻确定机构;以及
在将上述第二时刻确定为静态图像的采集基准时刻的场合,将在紧跟由上述采集基准时刻确定机构确定了的采集基准时刻之后从上述摄像元件读出并存储在上述存储部中的抖动校正图像作为静态图像进行采集的静态图处理部。
3.根据权利要求1或2所述的静态图像采集装置,其特征在于,
上述采集基准时刻确定机构,基于与由上述抖动角算出机构算出的水平或垂直方向的抖动角、或者存储在上述存储部的水平方向或垂直方向的抖动角中的抖动角的绝对值首先成为零或极小值的抖动角对应的时刻,确定静态图像的采集基准时刻。
4.根据权利要求1或2所述的静态图像采集装置,其特征在于,
上述采集基准时刻确定机构,由上述抖动角算出机构算出的抖动角、或者存储在上述存储部中的水平方向或垂直方向的抖动角在预定的采集限制时间内不成为零或极小值的场合,将该采集限制时间结束时刻确定为静态图像的采集基准时刻。
5.一种静态图像采集方法,其对源于利用摄像元件将从光学透镜入射的光所产生的被摄体像转换为电信号而得到图像的摄像装置的抖动引起的上述图像的的晃动进行校正,并从已校正的抖动校正图像采集静态图像,其特征在于,包括以下步骤:
检测在上述摄像装置所产生的水平或垂直抖动的抖动检测步骤;
以抵消由上述抖动检测步骤检测到的抖动的方式控制由配置在入射到上述摄像元件为止的光路上的光折射机构所引起的上述光的折射方向的抖动控制步骤;
检测由上述抖动控制步骤控制的上述光折射机构的控制量的控制量检测步骤;
从由上述控制量检测步骤检测到的控制量算出水平方向或垂直方向的抖动角的抖动角算出步骤;
使在预定的规定时间内从上述摄像元件读出的多个抖动校正图像和特定该多个抖动校正图像各自的拍摄时期的信息以及由上述抖动角算出步骤算出的水平方向或垂直方向的抖动角相对应地存储在存储部的存储步骤;
在接收到静态图像采集的要求信号时,将由上述抖动角算出步骤算出的水平方向或垂直方向的抖动角的绝对值成为零或极小值的第一时刻、或者存储在上述存储部中的水平方向或垂直方向的抖动角的绝对值成为零或极小值的第二时刻确定为静态图像的采集基准时刻的采集基准时刻确定步骤;以及
在将上述第二时刻确定为静态图像的采集基准时刻的场合,在紧跟由上述采集基准时刻确定步骤确定了的采集基准时刻之后或者刚好之前从上述摄像元件读出并存储在上述存储部的抖动校正图像作为静态图像进行采集的静态图处理步骤。
6.一种静态图像采集方法,其对源于利用摄像元件将从光学透镜入射的光所产生的被摄体像转换为电信号而得到图像的摄像装置的抖动引起的上述图像的的晃动进行校正,并从已校正的抖动校正图像采集静态图像,其特征在于,包括以下步骤:
检测在上述摄像装置所产生的水平或垂直抖动的抖动检测步骤;
以抵消由上述抖动检测步骤检测到的抖动的方式控制由配置在入射到上述摄像元件为止的光路上的光折射机构所引起的上述光的折射方向的抖动控制步骤;
检测由上述抖动控制步骤控制的上述光折射机构的控制量的控制量检测步骤;
从由上述控制量检测步骤检测到的控制量算出水平方向或垂直方向的抖动角的抖动角算出步骤;
使在紧跟由上述抖动角算出步骤算出的水平方向或垂直方向的抖动角为零之后从上述摄像元件读出的抖动校正图像和特定该多个抖动校正图像各自的拍摄时期的信息相对应地存储在存储部的存储步骤;
在接收到静态图像采集的要求信号时,将由上述抖动角算出步骤算出的水平方向或垂直方向的抖动角的绝对值成为零或极小值的第一时刻、或者存储在上述存储部中的水平方向或垂直方向的抖动角成为零的最新的第二时刻确定为静态图像的采集基准时刻的采集基准时刻确定步骤;以及
在将上述第二时刻确定为静态图像的采集基准时刻的场合,将在紧跟由上述采集基准时刻确定步骤确定了的采集基准时刻之后从上述摄像元件读出并存储在上述存储部中的抖动校正图像作为静态图像进行采集的静态图处理步骤。
7.根据权利要求5或6所述的静态图像采集方法,其特征在于,
上述采集基准时刻确定步骤,基于与由上述抖动角算出步骤算出的水平或垂直方向的抖动角、或者存储在上述存储部中的水平方向或垂直方向的抖动角中的抖动角的绝对值首先成为零或极小值的抖动角对应的时刻来确定静态图像的采集基准时刻。
8.根据权利要求5或6所述的静态图像采集方法,其特征在于,
上述采集基准时刻确定步骤,在由上述抖动角算出步骤算出的抖动角、或者存储在上述存储部中的水平方向或垂直方向的抖动角在预定的采集限制时间内不成为零或极小值的场合,将该采集限制时间结束时刻确定为静态图像的采集基准时刻。
CN200780009816.9A 2006-03-22 2007-03-22 静态图像采集装置和静态图像采集方法、以及图像晃动校正装置 Expired - Fee Related CN101411180B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2006079747 2006-03-22
JP079747/2006 2006-03-22
JP094815/2006 2006-03-30
JP2006094815 2006-03-30
PCT/JP2007/055900 WO2007116636A1 (ja) 2006-03-22 2007-03-22 静止画像取り込み装置及び静止画像取り込み方法、並びに画像揺れ補正装置

Publications (2)

Publication Number Publication Date
CN101411180A CN101411180A (zh) 2009-04-15
CN101411180B true CN101411180B (zh) 2011-05-18

Family

ID=38580937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780009816.9A Expired - Fee Related CN101411180B (zh) 2006-03-22 2007-03-22 静态图像采集装置和静态图像采集方法、以及图像晃动校正装置

Country Status (5)

Country Link
US (1) US8139149B2 (zh)
EP (1) EP2023610A4 (zh)
JP (1) JP4893737B2 (zh)
CN (1) CN101411180B (zh)
WO (1) WO2007116636A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8390724B2 (en) * 2009-11-05 2013-03-05 Panasonic Corporation Image capturing device and network camera system
CN102103301B (zh) * 2009-12-17 2014-03-05 深圳富泰宏精密工业有限公司 拍照装置及方法
JP5505135B2 (ja) * 2010-06-30 2014-05-28 ソニー株式会社 画像処理装置、画像処理方法、および、プログラム
JP5249377B2 (ja) * 2011-03-22 2013-07-31 キヤノン株式会社 撮像装置、及びその制御方法、プログラム
JP6561000B2 (ja) * 2016-03-09 2019-08-14 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2019145956A (ja) 2018-02-19 2019-08-29 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
CN114593672B (zh) * 2022-02-17 2023-06-23 阿尔法森紧固科技(常州)有限公司 一种铆钉紧固度检测装置及其使用方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000019576A (ja) * 1998-07-03 2000-01-21 Sony Corp 静止画撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3135379B2 (ja) * 1992-09-08 2001-02-13 キヤノン株式会社 像ブレ補正装置
JPH0832864A (ja) * 1994-07-12 1996-02-02 Canon Inc 撮像装置
JP3728608B2 (ja) 1995-04-28 2005-12-21 株式会社ニコン ブレ補正光学装置
JPH0951469A (ja) 1995-05-31 1997-02-18 Sony Corp 撮像装置及び画像揺れの補正方法
JP3548308B2 (ja) 1995-12-25 2004-07-28 キヤノン株式会社 撮像装置
US5790490A (en) * 1996-05-10 1998-08-04 Olympus Optical Co., Ltd. Anti-shake camera
JP4086332B2 (ja) * 1996-07-26 2008-05-14 キヤノン株式会社 電子スチルカメラ
US6930708B1 (en) * 1998-11-30 2005-08-16 Ricoh Company, Ltd. Apparatus and system for correction based upon detecting a camera shaking
JP2000338533A (ja) * 1999-05-28 2000-12-08 Olympus Optical Co Ltd 手ぶれ補正装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000019576A (ja) * 1998-07-03 2000-01-21 Sony Corp 静止画撮像装置

Also Published As

Publication number Publication date
CN101411180A (zh) 2009-04-15
JPWO2007116636A1 (ja) 2009-08-20
US8139149B2 (en) 2012-03-20
WO2007116636A1 (ja) 2007-10-18
US20100220200A1 (en) 2010-09-02
EP2023610A1 (en) 2009-02-11
JP4893737B2 (ja) 2012-03-07
EP2023610A4 (en) 2010-09-22

Similar Documents

Publication Publication Date Title
CN101411180B (zh) 静态图像采集装置和静态图像采集方法、以及图像晃动校正装置
US10708492B2 (en) Array camera configurations incorporating constituent array cameras and constituent cameras
CN102883093B (zh) 摄像装置以及摄像元件
US8730373B2 (en) Image forming apparatus
CN100504452C (zh) 光学设备和光束分离器
US8786676B2 (en) Imaging device for generating stereoscopic image
CN102227665B (zh) 固态摄像元件和摄像设备
US9282312B2 (en) Single-eye stereoscopic imaging device, correction method thereof, and recording medium thereof
EP3054335B1 (en) Focus adjustment device, imaging device and focus adjustment method
CN106973206A (zh) 摄像模组摄像处理方法、装置和终端设备
CN106921823B (zh) 图像传感器、摄像模组和终端设备
CN102801929A (zh) 图像传感器和摄像设备
CN102472882B (zh) 进行自动调焦控制的摄像设备以及摄像设备的控制方法
US10699378B2 (en) Apparatus and method for acquiring image
CN105430257A (zh) 控制设备和控制方法
CN103842877A (zh) 成像装置和合焦参数值计算方法
JP2013037296A (ja) 撮像装置及び撮像素子
JP6748529B2 (ja) 撮像素子及び撮像装置
JP2019036921A (ja) 画像処理装置および画像処理方法
JP2006080838A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: JVC KENWOOD CORPORATION

Free format text: FORMER OWNER: VICTORY CO. LTD.

Effective date: 20140310

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140310

Address after: Kanagawa

Patentee after: JVC Kenwood Corp.

Address before: Kanagawa

Patentee before: Victory Co., Ltd.

C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110518

Termination date: 20140322