CN107079092A - 摄像装置、摄像方法、处理程序 - Google Patents

摄像装置、摄像方法、处理程序 Download PDF

Info

Publication number
CN107079092A
CN107079092A CN201580050221.2A CN201580050221A CN107079092A CN 107079092 A CN107079092 A CN 107079092A CN 201580050221 A CN201580050221 A CN 201580050221A CN 107079092 A CN107079092 A CN 107079092A
Authority
CN
China
Prior art keywords
mentioned
pixel
exposure
shift
photographing element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580050221.2A
Other languages
English (en)
Inventor
味户刚幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107079092A publication Critical patent/CN107079092A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48Increasing resolution by shifting the sensor relative to the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

摄像装置具有:VCM(23),其以使帧期间的移动量为像素间距的非整数倍的方式使摄像元件(22)与光束的相对位置移动;微型计算机(45)其使摄像元件(22)在相对位置移动过程中进行多次曝光来获取多个图像数据;以及合成处理部(31),其根据所获取的多个图像数据生成高分辨率的合成画像数据,VCM(23)在多次曝光的各次曝光中,使曝光中的相对位置的移动为相同的移动方向且相同的移动量。

Description

摄像装置、摄像方法、处理程序
技术领域
本发明涉及通过进行像素偏移而生成高分辨率的合成图像数据的摄像装置、摄像方法、处理程序。
背景技术
以往提出了如下技术:对以像素间距的非整数倍的移动量进行像素偏移而获取到的多个图像数据进行合成,而生成高分辨率的合成图像数据。
例如,在日本特开平6-225317号公报中记载了如下技术:通过使拜耳排列的摄像元件向水平方向、垂直方向、或倾斜方向偏移0.5像素或1像素来进行四次或八次摄影,并对所获得的4张或8张图像进行合成从而生成在水平方向和垂直方向上具有两倍的分辨率的图像。
通过合成这样的多个帧的图像来获得1张高分辨率图像的技术以在拍摄多个帧的图像的期间被摄体不移动为前提。因此,以往,以当一个像素偏移位置上的曝光结束之后,进行图像的读取,当图像的读取结束之后,进行向下一个像素偏移位置的移位(也称作对像素偏移进行“移位”),当移位结束之后开始下一次曝光的顺序进行摄影。在这种情况下,像素偏移摄影所需的摄影时间表示为:
(曝光时间+图像读取时间+像素偏移时间)×摄影张数。
然而,由于若摄影时间变长则因风或其他原因而导致被摄体移动的概率变高,因此要想提高摄影的成功率,需要尽可能缩短摄影时间。
无法缩短上述的摄影时间内的曝光时间。因此,如果能够缩短图像获得读取时间和像素偏移时间,则导致摄影时间的缩短,但图像获得读取时间依赖于摄像元件的性能,像素偏移时间依赖于像素偏移机构的性能,要想缩短这些时间,需要高成本,会导致消耗电力的增大、设备的大型化。
在考虑成本等的情况下,如果无法缩短曝光时间、图像读取时间、以及像素偏移时间中的任一种单体的时间,则要考虑通过将两个以上并行地进行来缩短摄影时间。
首先,如果像素位置不同则能够并行地进行曝光和图像读取(即能够并行地进行某个像素位置上的曝光和其他像素位置上的读取),但在相同的像素位置的情况下基本上无法进行。
并且,在并行地进行曝光和像素偏移的情况下,由于在曝光过程中移动了光学像,因此像变模糊。因此,因用于获得高分辨率图像的像素偏移为像模糊的原因而不成为高分辨率是本末倒置的、不优选。
另一方面,在全局快门摄影中,能够以时间上与曝光不重叠的方式并行地进行图像读取和像素偏移。然而,由于像素偏移不是以一个像素单位进行而是所有像素同时移位,因此在电子卷帘快门摄影中,当以与曝光期间不重复的方式进行像素偏移时,必须在一帧中的最后行的曝光结束之后进行像素偏移,并在下一帧中的最初行的曝光开始之前结束像素偏移来使移位位置稳定。在这种情况下,例如当关注最初行进行考虑时有曝光期间,之后到最后行的曝光结束为止有等待的帧读出期间,再之后有像素偏移期间,其结果是,实质上无法缩短摄影时间。
本发明就是鉴于上述情况而完成的,其目的在于,提供能够确保合成图像数据的高分辨率并且缩短用于合成的多个图像数据的摄影时间的摄像装置、摄像方法、处理程序。
发明内容
用于解决课题的手段
本发明的某个方式的摄像装置具有:摄像元件,其由多个像素以规定的像素间距二维状排列而成;像素偏移部,其以使帧期间的移动量为上述像素间距的非整数倍的方式,使上述摄像元件与被上述摄像元件接受的光束在上述二维状排列的方向上的相对位置移动;摄像控制部,其使上述摄像元件在上述相对位置的移动过程中进行多次曝光来获取多个帧的图像数据;以及图像合成部,其对上述摄像控制部所获取的上述多个帧的图像数据进行合成,生成比从上述摄像元件获得的图像数据更高分辨率的合成图像数据,上述像素偏移部在上述多次曝光的各次曝光中,使曝光中的上述相对位置的移动为相同的移动方向且相同的移动量。
本发明的某个方式的摄像方法具有:像素偏移步骤,以使帧期间的移动量为像素间距的非整数倍的方式,使多个像素以规定的上述像素间距二维状排列而成的摄像元件与被上述摄像元件接受的光束在上述二维状排列的方向上的相对位置移动;摄像控制步骤,使上述摄像元件在上述相对位置的移动过程中进行多次曝光来获取多个帧的图像数据;以及图像合成步骤,对在上述摄像控制步骤所获取的上述多个帧的图像数据进行合成,生成比从上述摄像元件获得的图像数据更高分辨率的合成图像数据,上述像素偏移步骤是如下步骤:在上述多次曝光的各次曝光中,使曝光中的上述相对位置的移动为相同的移动方向且相同的移动量。
本发明的某个方式的处理程序用于使计算机执行以下步骤:像素偏移步骤,以使帧期间的移动量为像素间距的非整数倍的方式,使多个像素以规定的上述像素间距二维状排列而成的摄像元件与被上述摄像元件接受的光束在上述二维状排列的方向上的相对位置移动;摄像控制步骤,使上述摄像元件在上述相对位置移动过程中进行多次曝光来获取多个帧的图像数据;以及图像合成步骤,对在上述摄像控制步骤所获取的上述多个帧的图像数据进行合成,而生成比从上述摄像元件获得的图像数据更高分辨率的合成图像数据,所述处理程序的特征在于,上述像素偏移步骤是如下步骤:在上述多次曝光的每一次中,使曝光中的上述相对位置的移动为相同的移动方向且相同的移动量。
附图说明
图1是示出本发明的实施方式一的数码相机的结构的框图。
图2是示出上述实施方式一的合成处理部的结构的框图。
图3是示出在上述实施方式一中通过拍摄而获得的8张拜耳图像中的R、Gr、Gb、B的基本的像素配置的图。
图4是示出在上述实施方式一中由像素配置部从图3所示的像素配置的8张拜耳图像中获得的R像素配置的图。
图5是示出在上述实施方式一中由像素配置部从图3所示的像素配置的8张拜耳图像中获得的Gr像素配置的图。
图6是示出在上述实施方式一中由像素配置部从图3所示的像素配置的8张拜耳图像中获得的Gb像素配置的图。
图7是示出在上述实施方式一中由像素配置部从图3所示的像素配置的8张拜耳图像中获得的B像素配置的图。
图8是示出上述实施方式一的频带增强部的结构的框图。
图9是示出在上述实施方式一中与Tv值对应的频带增强参数α的变化的例子的线图。
图10是示出上述实施方式一的数码相机的主处理的流程的流程图。
图11是示出上述实施方式一的数码相机的摄影处理的流程的流程图。
图12是示出在上述实施方式一中在曝光时间比图像读取时间短时的摄像元件的摄像定时和音圈马达(VCM)对摄像元件在x方向和y方向上的驱动定时的线图。
图13是示出在上述实施方式一中在曝光时间比图像读取时间短时在图像中最初读出的行的各帧中的像素曝光位置的图。
图14是示出在上述实施方式一中在曝光时间比图像读取时间短时在图像中最后读出的行的各帧中的像素曝光位置的图。
图15是示出在上述实施方式一中在曝光时间与图像读取时间相等时的摄像元件的摄像定时和音圈马达(VCM)对摄像元件在x方向和y方向上的驱动定时的线图。
图16是示出在上述实施方式一中在曝光时间与图像读取时间相等时在图像中最初读出的行的各帧中的像素曝光位置的图。
图17是示出在上述实施方式一中在曝光时间与图像读取时间相等时在图像中最后读出的行的各帧中的像素曝光位置的图。
图18是示出在上述实施方式一中在曝光时间比图像读取时间长时的摄像元件的摄像定时和音圈马达(VCM)对摄像元件在x方向和y方向上的驱动定时的线图。
图19是示出在上述实施方式一中在曝光时间比图像读取时间长时在图像中最初读出的行的各帧中的像素曝光位置的图。
图20是示出在上述实施方式一中在曝光时间比图像读取时间长时在图像中最后读出的行的各帧中的像素曝光位置的图。
图21是示出本发明的实施方式二的数码相机的摄影处理的流程的流程图。
图22是示出本发明的实施方式三的数码相机的结构的框图。
具体实施方式
下面,参照附图对本发明的实施方式进行说明。
【实施方式一】
图1至图20示出本发明的实施方式一,图1是示出数码相机的结构的框图。本实施方式将摄像装置应用于数码相机。
该数码相机构成为将更换式镜头1和照相机主体2连接成能够经由接口(I/F)3进行通信。
更换式镜头1例如经由镜头安装部可装卸自由地安装于照相机主体2,接口3由形成于镜头安装部的电接点(设置于更换式镜头1侧的电接点和设置于照相机主体2侧的电接点)等构成。这样,更换式镜头1能够经由接口3与照相机主体2进行通信。
更换式镜头1具有镜头11、光圈12、驱动器13、闪存14、以及微型计算机15。
镜头11是用于将被摄体的光学像成像于照相机主体2的后述的摄像元件22上的摄影光学***。
光圈12是控制通过镜头11的光束的通过范围的光学光圈。
驱动器13根据来自微型计算机15的指令,驱动镜头11进行聚焦位置的调整,在镜头11是电动变焦镜头等的情况下再进行焦距的变更。此外,驱动器13根据来自微型计算机15的指令,驱动光圈12使开口直径变化。因该光圈12的驱动,而被摄体的光学像的明亮度发生变化,模糊的大小等也发生变化。另外,在后述的像素偏移超分辨率摄影模式中一边进行像素偏移一边获取多张图像数据的情况下,从获取最初的图像之前的时刻到获取最后的图像之后的时刻光圈12不被驱动而被维持。
闪存14是存储由微型计算机15执行的处理程序、有关更换式镜头1的各种信息的存储介质。
微型计算机15是所谓的镜头侧计算机,且该微型计算机15与驱动器13、闪存14、以及接口3连接。而且,微型计算机15经由接口3与后述的作为主体侧计算机的微型计算机45通信,接受来自微型计算机45的指令,进行存储在闪存14中的信息的读出/写入,来控制驱动器13。并且,微型计算机15将有关该更换式镜头1的各种信息发送到微型计算机45。
接口3将更换式镜头1的微型计算机15和照相机主体2的微型计算机45连接成能够双向通信。
接下来,照相机主体2具有机械快门21、摄像元件22、音圈马达(VCM)23、模拟处理部24、模拟/数字转换部(A/D转换部)25、总线26、SDRAM 27、AF处理部28、AE处理部29、姿势检测部30、合成处理部31、图像处理部32、JPEG处理部36、监视器驱动器37、监视器38、霍尔元件39、存储器接口(存储器I/F)41、记录介质42、操作部43、闪存44、以及微型计算机45。
机械快门21控制来自镜头11的光束到达摄像元件22的时间,且该机械快门21例如为使快门帘幕运行的结构的机械快门。该机械快门21通过微型计算机45的指令而被驱动,来控制光束到达摄像元件22的时间。在仅用机械快门21规定曝光开始和曝光结束的情况下,该光束的到达时间为摄像元件22对被摄体的曝光时间。另外,在后述的像素偏移超分辨率摄影模式中一边进行像素偏移一边获取多张图像数据的情况下,在从获取最初的图像之前的时刻到获取了最后的图像之后的时刻,机械快门21被维持在打开的状态。
摄像元件22具有以规定的像素间距(参照图13等所示的像素间距P)排列成二维形状的多个像素,且该摄像元件22根据作为摄像控制部的微型计算机45的控制,对经由镜头11和光圈12成像的被摄体的光学像进行光电转换而生成模拟图像信号。该摄像元件22按照规定的读出顺序(例如滚动读出(或光栅扫描)的顺序)读出所拍摄的图像数据。
本实施方式的摄像元件22例如构成为在垂直方向和水平方向上排列的多个像素的前面配置有原色拜耳排列的彩色滤镜的单板式的摄像元件。另外,摄像元件22当然不限于单板式的摄像元件,例如也可以是在基板厚度方向上分离颜色成分那样的层叠式的摄像元件。
音圈马达(VCM)23是使摄像元件22与被摄像元件22接受的光束在二维形状的像素排列方向的相对位置位移的位移部,且是以帧期间的移动量为像素间距的非整数倍(例如半像素间距单位)的方式使相对位置移动的像素偏移部。此时,音圈马达(VCM)23在为了在像素偏移超分辨率摄影模式中获取多个帧的图像数据而进行的多次曝光的每一次中,使曝光中的相对位置的移动为相同的移动方向且相同的移动量(因此,为相同的平均移动速度)。音圈马达(VCM)23的具体的结构为:例如通过磁力使摄像元件22浮在空中并控制磁力,从而在与镜头11的光轴垂直的面内移动摄像元件22的位置。
另外,在这里作为像素偏移部而举音圈马达(VCM)23为例,但并不限于此,可以使用可以进行像素偏移的其他适当的机构。
模拟处理部24对从摄像元件22读出的模拟图像信号在降低了复位噪声等的基础上进行波形整形,还进行增益提升以成为目标明亮度。
A/D转换部25将从模拟处理部24输出的模拟图像信号转换为数字图像信号(以后称作图像数据)。
总线26是用于将在数码相机内的某个地方产生的各种数据和控制信号传输到数码相机内的其他地方的传输路径。本实施方式的总线26与音圈马达(VCM)23、A/D转换部25、SDRAM 27、AF处理部28、AE处理部29、姿势检测部30、合成处理部31、图像处理部32、JPEG处理部36、监视器驱动器37、霍尔元件39、存储器I/F 41、以及微型计算机45连接。
从A/D转换部25输出的图像数据(下面适当称作RAW图像数据)经由总线26传输,且该图像数据暂时存储在SDRAM 27中。
SDRAM 27是暂时存储上述的RAW图像数据、或在合成处理部31、图像处理部32、JPEG处理部36等中处理的图像数据等各种数据的存储部。
AF处理部28从RAW图像数据中提取高频成分的信号,通过AF(自动聚焦)累积处理来获取对焦评价值。这里获取的对焦评价值用于镜头11的AF驱动。另外,AF当然不限定于这样的对比度AF,例如也可以使用专用的AF传感器(或摄像元件22上的AF用像素)来进行相位差AF。
AE处理部29根据RAW图像数据来计算被摄体亮度。这里计算出的被摄体亮度用于自动曝光(AE)控制,即光圈12的控制、机械快门21的控制、摄像元件22的曝光定时控制(或所谓的元件快门的控制)等。另外,作为用于计算被摄体亮度的数据,这里使用RAW图像数据,但也可以取而代之,使用在数码相机中设置专用的测光传感器而获得的数据。
姿势检测部30构成为具有重力传感器等,检测相对于摄像装置的重力方向。该检测结果用于摄影时的数码相机的姿势(例如相对于重力方向画面为横长的标准位置或为纵长的纵位置等)的判定等。
合成处理部31是图像合成部,该图像合成部通过作为摄像控制部的微型计算机45的控制,驱动音圈马达(VCM)23使摄像元件22移动,对拍摄而获取的多个帧的图像数据进行合成,生成比从摄像元件22获得的图像数据更高分辨率的合成图像数据(适当称作超分辨率图像)。
图像处理部32对RAW图像数据或合成处理部31所生成的合成图像数据进行各种图像处理,且该图像处理部32包含同步化处理部33、边缘增强处理部34、以及噪声降低处理部35。
同步化处理部33通过根据周边像素插值并求出关注像素中不存在的颜色成分,来进行从每一像素仅存在RGB成分内的一种颜色成分的拜耳排列的图像数据转换为所有像素都具有RGB的三色成分的图像数据的同步化处理。
边缘增强处理部34对图像数据进行边缘增强处理。
噪声降低处理部35通过对图像数据进行与空间频率对应的核化处理等来进行噪声降低处理。
这样,在由图像处理部32进行各种处理后的图像数据再次存储在SDRAM 27中。
JPEG处理部36在记录图像数据时从SDRAM 27读出图像数据,并按照JPEG压缩方式对读出的图像数据进行压缩,使压缩的图像数据暂时存储在SDRAM 27中,这样,存储在SDRAM 27中的压缩后的图像数据由微型计算机45附加构成文件所需的标头而被整合成记录用的数据。而且,根据微型计算机45的控制,将被整合的记录用的数据经由存储器I/F 41而记录于记录介质42中。
并且,JPEG处理部36也进行读出的图像数据的解压缩。即,在进行记录完毕图像的再现的情况下,根据微型计算机45的控制,例如经由存储器I/F 41从记录介质42读出JPEG文件,并使其暂时存储在SDRAM 27中。JPEG处理部36读出存储在SDRAM 27中的JPEG图像数据,并按照JPEG解压缩方式对读出的JPEG图像数据进行解压缩,使解压缩后的图像数据存储在SDRAM 27中。
监视器驱动器37读出存储在SDRAM 27中的图像数据,并将读出的图像数据转换为影像信号,通过驱动控制监视器38使监视器38显示基于影像信号的图像。在通过该监视器驱动器37而进行的图像显示中包含有以短时间显示刚刚拍摄到的图像数据的浏览显示、记录于记录介质42中的JPEG文件的再现显示、以及实时取景显示等。
监视器38通过上述那样的监视器驱动器37的驱动控制来显示图像并且显示涉及该数码相机的各种信息。
霍尔元件39是按时间序列对通过音圈马达(VCM)23而移动的摄像元件22的摄影动作中的上述的相对位置进行检测的位置检测部。这里作为位置检测部而使用霍尔元件39,但当然不限定于霍尔元件39。
如上所述,存储器I/F 41进行图像数据向记录介质42的写入和来自记录介质42的图像数据的读出。
记录介质42非易失地存储图像数据,且该记录介质42例如由能够相对照相机主体2装卸的存储卡等构成。但是,记录介质42并不限定于存储卡,可以是盘状的记录介质,也可以是其他任意的记录介质。因此,记录介质42在数码相机中不必是固有的结构。
操作部43用于摄影者进行针对该数码相机的各种操作输入,且操作部43包含用于接通/断开数码相机的电源的电源按钮、由用于指示图像的摄影开始的构成为例如具有1st(第一)释放开关和2nd(第二)释放开关的两段式操作按钮组成的释放按钮、用于进行记录图像的再现的再现按钮、用于进行数码相机的设定等的菜单按钮、用于项目的选择操作的十字键和用于选择项目的确定操作的OK按钮等操作按钮等。
这里,在摄影者能够使用菜单按钮、十字键、OK按钮等来设定的项目中,包含有摄影模式(普通摄影模式、像素偏移超分辨率摄影模式等)、记录模式(JPEG记录模式、RAW+JPEG记录模式等)等。当对该操作部43进行操作时,与操作内容对应的信号被输出到微型计算机45。
闪存44是非易失地存储由微型计算机45执行的处理程序、涉及该数码相机的各种信息的存储介质。这里,作为闪存44所存储的信息,例如可举出用于边缘增强处理的参数、用于噪声降低处理的参数、或者用于后述的频带增强部54的频带增强处理的频带提取滤波器fb、频带增强参数α等数码相机的动作所需的各种参数、像素偏移超分辨率摄影模式中的像素偏移的大小、方向、顺序等信息、以及用于特定数码相机的制造编号等作为几个例子。由微型计算机45读取该闪存44所存储的信息。
微型计算机45控制照相机主体2内的各部并且经由接口3将指令发送给微型计算机15来控制更换式镜头1,且该微型计算机45是统一控制该数码相机的控制部。当由用户从操作部43进行操作输入时,微型计算机45按照存储在闪存44中的处理程序,从闪存44中读取处理所需的参数,执行与操作内容对应的各种序列。
而且,微型计算机45也作为摄像控制部而发挥功能,该摄像控制部一边控制上述的音圈马达(VCM)23进行上述的移动相对位置的像素偏移,一边在相对位置移动过程中控制摄像元件22进行多次曝光,来获取多个帧的图像数据。
并且,微型计算机45也作为像素偏移移动设定部而发挥功能,该像素偏移移动设定部设定基于作为像素偏移部的音圈马达(VCM)23的光束与摄像元件22的相对位置的移动方法。
接下来,图2是示出合成处理部31的结构的框图。
合成处理部31具有像素配置部51、像素插值部52、平均化部53、频带增强部54、以及拜耳图像提取部55。
像素配置部51将在像素偏移超分辨率摄影模式中获取的8张拜耳图像分别分离成R成分、Gr成分(位于与R成分同一行的G成分)、Gb成分(位于与B成分同一行的G成分)、B成分,并根据像素偏移位置配置该8张拜耳图像。
这里,图3是示出通过拍摄而获得的8张拜耳图像中的R、Gr、Gb、B的基本的像素配置的图,图4是示出由像素配置部51从图3所示的像素配置的8张拜耳图像中获得的R像素配置的图,图5是示出由像素配置部51从图3所示的像素配置的8张拜耳图像中获得的Gr像素配置的图,图6是示出由像素配置部51从图3所示的像素配置的8张拜耳图像中获得的Gb像素配置的图,图7是示出由像素配置部51从图3所示的像素配置的8张拜耳图像中获得的B像素配置的图。
这里,在图3~图7所示的各色成分R、Gr、Gb、B中,(x,y)表示摄像元件22的水平方向(x方向)和垂直方向(y方向)的像素位置,附在右上方的1~8内的任意数字表示是8张拜耳图像内的第几张图像。
像素配置部51从反复图3所示那样的基本的像素配置而构成的8张拜耳图像中提取R成分,之后根据参照图12~图20而说明的摄像元件22的像素偏移路径重新配置,而生成图4所示那样的在4×4像素排列中排列有八个R成分的像素配置的R合成图像。同样地,像素配置部51从8张拜耳图像中分别提取Gr、Gb、B成分,根据像素偏移路径重新配置,而分别生成图5、图6、图7各自所示那样的像素配置的Gr合成图像、Gb合成图像、B合成图像。
像素插值部52根据周边的R成分对图4中缺失的R成分进行插值,根据周边的Gr成分对图5中缺失的Gr成分进行插值,根据周边的Gb成分对图6中缺失的Gb成分进行插值,根据周边的B成分对图7中缺失的B成分进行插值。
平均化部53在对应的像素位置彼此例如通过将像素插值部52进行插值后的Gr合成图像和Gb合成图像相加除以2来平均化。通过该平均化能够降低噪声从而实现高画质化。
频带增强部54对合成图像数据增强曝光中的与上述的相对位置的移动方向(该移动方向像下述详细说明的那样,在八次曝光的每一次中都是相同的)相同的方向的频率成分。即,频带增强部54对像素插值部52进行插值后的R合成图像和B合成图像、以及从平均化部53输出的被平均化的GrGb合成图像(G合成图像)中的与像素偏移方向相同的方向的频率成分像之后参照图8而说明的那样进行频带增强。被该频带增强部54进行频带增强后的图像被作为RGB合成图像输出,并且/或者由拜耳图像提取部55进行处理而作为拜耳合成图像输出。这里,在输出RGB合成图像的情况下,能够省略同步化处理部33的处理。
并且,拜耳图像提取部55从被频带增强部54进行频带增强后的三板的R合成图像、B合成图像、以及GrGb合成图像中,提取单板的拜耳排列超分辨率图像并作为拜耳合成图像输出。
而且,通过这样的合成处理,在像素偏移超分辨率摄影模式中,可以获得水平方向上两倍且垂直方向上两倍的分辨率的超分辨率图像。
接下来,图8是示出频带增强部54的结构的框图。
在该图8所示的结构例中,频带增强部54具有滤波运算部61、乘法部62、以及加法部63。
滤波运算部61分别对从像素插值部52输入的R合成图像、B合成图像、以及从平均化部53输入的平均化后的GrGb合成图像提取以关注像素位置为中心的例如3×3像素的像素块,并对所提取的3×3像素例如使图8所示那样的由三行三列的矩阵组成的频带提取滤波器fb发挥作用,来提取关注像素位置的特定方向的频带成分。
这里,图8所示的频带提取滤波器fb为提取从左上到右下的倾斜方向的频带成分的滤波器的例子。而且,通过使该频带提取滤波器fb作用而提取的频带成分是与像素偏移方向相同的方向的频率成分。因此,频带提取滤波器fb根据拍摄8张拜耳图像时的像素偏移方向使用不同的滤波器。例如,在像素偏移方向是从右上朝向左下的方向的情况下,使用提取从右上到左下的倾斜方向的频带成分的滤波器,这样的滤波器是由右上成分为-1、中央成分为2、左下成分为-1、且除此之外的成分为0那样的三行三列的矩阵组成的等。
乘法部62对滤波运算部61所提取的关注像素位置的频率成分通过与频带增强参数α相乘来调整频带增强度。
加法部63通过将从乘法部62输出的调整后的关注像素位置的频率成分与原来的关注像素的像素数据相加来进行频带增强,并输出频带增强结果。
通过例如一边按光栅扫描的顺序使关注像素位置移动一边对所有的像素位置进行这样的处理来结束频带增强处理。
接着,图9是示出与Tv值对应的频带增强参数α的变化的例子的线图。
本实施方式同步地(即并行地)进行像素偏移和曝光,此时产生的像模糊像之后参照图12~图20而说明的那样,根据曝光时间Texp而发生变化。具体而言,当一帧的曝光时间Texp与来自摄像元件22的图像读取时间Tc相等时像模糊为最大,当曝光时间Texp比图像读取时间Tc短时像模糊减少,反之,即使曝光时间Texp比图像读取时间Tc长,像模糊也减少。因此,在像模糊大时将频带增强参数α设定为较大的值,在像模糊小时将频带增强参数α设定为较小的值。
即,若将与图像读取时间Tc对应的顶点(APEX)***的Tv值设为TvC,则像图9所示那样,频带增强参数α设定为:在Tv<TvC时随着Tv值(与曝光时间Texp对应的Tv值)的增加而单调增加,当Tv=TvC时取最大值,在TvC<Tv时随着Tv值的增加而单调减小。另外,图9的Tvmin、Tvmax与快门速度中的最长秒时对应,Tvmax与快门速度中的最短秒时对应。
这样,频带增强部54在一帧的曝光时间Texp与来自摄像元件22的图像读取时间Tc相等时以使频带增强的增强度为最大的方式根据曝光时间Texp来变更增强度。
接下来,图10是示出数码相机的主处理的流程的流程图。根据微型计算机45的控制来进行该图10所示的处理。
当对操作部43的电源按钮进行接通操作使数码相机的电源接通时开始该主处理,首先进行数码相机的初始化(步骤S1)。
接下来,微型计算机45对是否操作了操作部43的再现按钮进行判定(步骤S2)。
这里,在操作了再现按钮的情况下,进行再现/编辑处理(步骤S3)。该再现/编辑处理是如下处理:显示记录于记录介质42中的文件的一览,等待来自用户的选择操作,再现所选择确定的文件、或者编辑所选择的图像。
在步骤S2中判断为未操作再现按钮或者进行了步骤S3的处理的情况下,判定是否操作了操作部43的菜单按钮而选择了有关数码相机的照相机设定(步骤S4)。
这里,在选择照相机设定的情况下,将变更照相机设定的菜单显示于监视器38上,等待由操作部43进行变更照相机设定的用户操作。这里,作为照相机设定的几个例子,可举出上述那样的摄影模式和记录模式等,但并不限于此,其中,
摄影模式:普通摄影模式、像素偏移超分辨率摄影模式
记录模式:JPEG记录模式、RAW+JPEG记录模式。
而且,在进行了用户操作的情况下,根据操作内容进行照相机设定(步骤S5)。
在步骤S4中未选择照相机设定或者进行了步骤S5的处理的情况下,对释放按钮是否从断开转移到第一释放接通的状态进行判定(步骤S6),其中,该第一释放接通的状态是第一阶段的按压状态(所谓的半按状态)。
这里,在转移到第一释放接通的状态的情况下,在该转移的定时,由AE处理部29进行用于拍摄图像的自动曝光(AE)控制并且由AF处理部28进行自动对焦控制(AF)(步骤S7)。由此,在按压了第一释放按钮以后进行所谓的AE锁定和AF锁定。
而且,对是否对电源按钮进行断开操作进行判定(步骤S8),在未进行断开操作的情况下,返回到步骤S2并反复进行上述那样的处理。
并且,在上述的步骤S6中未转移到第一释放接通的状态的情况下,对释放按钮是否成为第二释放接通的状态(所谓的全按状态)进行判定(步骤S9),其中,该第二释放接通的状态是第二阶段的按压状态。
这里,在未成为第二释放接通的状态的情况下,使机械快门21成为打开状态,由AE处理部29进行实时取景用的自动曝光(AE)控制,进行基于电子快门的一帧(或者一场等)的图像摄影(步骤S10)。
对这样拍摄的图像进行例如省略了对记录图像进行的图像处理中的几个后的基本图像处理(步骤S11),将被基本图像处理后的帧图像显示于监视器38作为实时取景的一帧(步骤S12)。
然后,转移到上述的步骤S8的处理对是否对电源按钮进行断开操作进行判定,在未进行断开操作的情况下,返回到步骤S2反复进行上述那样的处理。
另一方面,在上述的步骤S9中在成为第二释放接通的状态的情况下,执行之后参照图11而说明的摄影处理(步骤S13)。
接着,对是否设定了RAW记录模式进行判定(步骤S14),在设定的情况下将RAW图像作为文件记录于记录介质42中(步骤S15)。
在步骤S14中未设定RAW记录模式或者进行了步骤S15的处理的情况下,由图像处理部32对通过拍摄而获得的图像进行图像处理(步骤S16)。
然后,对被图像处理后的图像进行JPEG压缩并附加标头,从而作为JPEG文件记录于记录介质42中(步骤S17)。
在进行了该步骤S17的处理之后,转移到上述的步骤S8的处理,对是否对电源按钮进行断开操作进行判定。
这样,在步骤S8中对电源按钮进行断开操作的情况下,结束该主处理。
图11是示出数码相机的摄影处理的流程的流程图。
当开始该处理时,对摄影模式是否被设定为像素偏移超分辨率摄影模式进行判定(步骤S21)。
这里,在未设定为像素偏移超分辨率摄影模式的情况下,驱动光圈12打开机械快门21,由摄像元件22进行曝光,进行拍摄1张图像的普通的摄影处理(步骤S22)。
并且,在设定为像素偏移超分辨率摄影模式的情况下,设定基于音圈马达(VCM)23的摄像元件22的移动方向、移动速度、摄像元件22对各图像的摄像定时等(步骤S23)。
并且,如上所述,将机械快门21维持在打开的状态,将光圈12的开口直径维持为一定,通过音圈马达(VCM)23开始摄像元件22的移动(步骤S24)。
而且,在所设定的摄像定时,由摄像元件22进行曝光并读取曝光的图像的摄影动作进行规定次数,在本实施方式中例如是八次(步骤S25)。
在规定次数的摄影结束之后,通过停止音圈马达(VCM)23来结束摄像元件22的移动(步骤S26)。
而且,由合成处理部31对通过拍摄而获得的8张图像进行合成处理而生成1张超分辨率图像(步骤S27)。
在步骤S27或上述的步骤S22的处理结束之后,从该处理返回到图2所示的处理。
接下来,参照图12~图14,对曝光时间Texp比图像读取时间Tc短时的对像素的曝光进行说明。图12是示出曝光时间Texp比图像读取时间Tc短时的摄像元件22的摄像定时和音圈马达(VCM)23对摄像元件22在x方向和y方向上的驱动定时的线图,图13是示出在曝光时间Texp比图像读取时间Tc短时在图像中最初读出的行的各帧中的像素曝光位置的图,图14是示出在曝光时间Texp比图像读取时间Tc短时在图像中最后读出的行的各帧中的像素曝光位置的图。
在本实施方式中,摄像元件22像上述那样进行电子卷帘快门摄影,曝光开始是按行偏移定时而依次进行的,经过曝光时间Texp后的像素的读出也同样地按行偏移定时而依次进行。这里,从最初的行的曝光开始时刻到最后的行的曝光开始时刻的时间是图像读取时间Tc。并且,由于在最后的行刚被曝光开始之后开始曝光下一帧的最初的行,因此该图像读取时间Tc也为帧期间。而且,在图12~图14中像上述那样示出Texp<Tc的例子。
通过反复进行八次这样的摄影来依次获取第一帧F1~第八帧F8的各图像。
此时,在本实施方式中,连续地使音圈马达(VCM)23动作进行像素偏移。因此,在本实施方式中,同步进行像素偏移和曝光,并且,像素偏移和图像读取也同步进行。
但是,若将像素偏移与曝光同步进行,则图像变模糊。因此,在本实施方式中,通过将与曝光同步进行的像素偏移仅限定在特定的一个方向从而在该方向以外的方向上不产生模糊,并且,由频带增强部54对图像中的与像素偏移的方向相同的方向的频率成分像上述那样进行频带增强,来减少图像的模糊。
这里,在摄像元件22上在水平方向(例如图13所示的x方向)和垂直方向(例如图13所示的y方向(另外,在图12~图20中将下方向作为y轴的正方向))上排列的像素组中,与曝光同步进行的像素偏移的方向如下。即,像素偏移方向(在本实施方式中是摄像元件22的移动方向)是从左上到右下倾斜45°的方向【(1,1)方向】、从右上到左下倾斜45°的方向【(-1,1)方向】、从右下到左上倾斜45°的方向【(-1,-1)方向】、从左下到右上倾斜45°的方向【(1,-1)方向】中的任意一个。另外,这里为了设想正方形像素而设为倾斜45°,例如在矩形像素的情况下为对角线的方向。
并且,像素偏移的速度是每图像读取时间Tc内在x、y各方向上的移动量为像素间距P的一半P/2即可,像素偏移的速度为上述的像素偏移方向向量(1,1)、(-1,1)、(-1,-1)、(1,-1)乘以P/(2Tc)。因此,像素偏移的速度的大小(速率)是P/(√2×Tc)。由此,在像素偏移方向例如为(1,1)的情况下,第二帧F2相对于第一帧F1,像素的曝光位置仅移动了(P/2,P/2)。
并且,要想获得图4~图7所示那样的合成后的马赛克状的像素排列,必须使像素偏移方向在与像素偏移方向垂直的方向上移位P/√2的大小。因此,在本实施方式中,将第一帧F1~第八帧F8分成由第一帧F1~第四帧F4组成的第一组和由第五帧F5~第八帧F8组成的第二组,在第一组与第二组之间,使像素偏移方向在与像素偏移方向垂直的方向上移位P/√2的大小。这种方法由于在与像素偏移方向垂直的方向上移位1次即可,因此具有能够使从第一帧F1到第八帧F8的整个摄影时间最短的优点。
具体而言,在图12~图14所示那样的像素偏移方向为(1,1)的情况下,在第五帧F5曝光开始紧前的图像读取时间Tc中使摄像元件22的位置向(-1,1)方向移位了(-P/2,P/2),然后,从第五帧F5曝光开始时刻起一边再次向(1,1)方向进行像素偏移一边拍摄第二组的各帧。
当进行这样的像素偏移时,摄像元件22向图13和图14的虚线箭头的方向移动。
在图12~图14所示的情况下,由于曝光时间Texp比图像读取时间Tc短,因此各帧的像素的曝光位置被明确地分离,从而能够表示为图13和图14所示那样的例如点状的黑圈。
首先,第一帧F1中的像素的曝光位置为图13和图14的例如左上所示的黑圈的位置。而且,像素的曝光位置按照从第二帧F2到第四帧F4依次转移而逐步向右下移动(P/2,P/2)。然后,在向第五帧转移之前,像素的曝光位置移位(-P/2,P/2),在第五帧F5~第八帧F8中曝光位置再逐步向右下移动(P/2,P/2)。
此时,如图12的摄像定时所示,由于读出行的下端是帧期间内最初曝光的,而读出行的上端是帧期间内最后曝光的,因此像素的曝光位置相差(P/2,P/2)。因此,即使图13的虚线箭头所示的摄像元件22的移动路径和图14的虚线箭头所示的摄像元件22的移动路径相同,移动路径上的像素的曝光位置在图13所示的读出行的下端和图14所示的读出行的上端沿虚线箭头的方向也相差(P/2,P/2)。
但是,任意像素中的帧间的相对的曝光位置的关系相同。即,在任意像素中(即,不依赖于是哪个读出行)如下情况都成立:第二~第四帧F2~F4、第六~第八帧F6~F8相对于第一~第三帧F1~F3、第五~第七帧F5~F7,像素的曝光位置分别移动了(P/2,P/2),第五帧F5相对于第四帧F4,像素的曝光位置移动了(P/2,3P/2)。
接下来,参照图15~图17,说明曝光时间Texp与图像读取时间Tc相等时的对像素的曝光。图15是示出曝光时间Texp与图像读取时间Tc相等时的摄像元件22的摄像定时和音圈马达(VCM)23对摄像元件22在x方向和y方向上的驱动定时的线图,图16是示出在曝光时间Texp与图像读取时间Tc相等时在图像中最初读出的行的各帧中的像素曝光位置的图,图17是示出在曝光时间Texp与图像读取时间Tc相等时在图像中最后读出的行的各帧中的像素曝光位置的图。
首先,音圈马达(VCM)23对摄像元件22在x方向和y方向上的驱动定时与图12所示的情况相同。
并且,摄像元件22的摄像定时除了曝光时间Texp与图像读取时间Tc不相等以外,与图12所示的情况相同。
另一方面,由于曝光时间Texp与图像读取时间Tc相等,因此相邻的帧中的像素的曝光位置彼此接触而连续,从而能够表示为图16和图17所示那样的沿表示摄像元件22的移动路径的虚线箭头的方向的长度P/√2的例如线状的黑长圈。
其他方面与图12~图14的情况基本相同。
接着,参照图18~图20说明曝光时间Texp比图像读取时间Tc长时的对像素的曝光。图18是示出曝光时间Texp比图像读取时间Tc长时的摄像元件22的摄像定时和音圈马达(VCM)23对摄像元件22在x方向和y方向上的驱动定时的线图,图19是示出在曝光时间Texp比图像读取时间Tc长时在图像中最初读出的行的各帧中的像素曝光位置的图,图20是示出在曝光时间Texp比图像读取时间Tc长时在图像中最后读出的行的各帧中的像素曝光位置的图。
这里,在图18~图20中示出Texp=2×Tc的例子。
此时,关于音圈马达(VCM)23对摄像元件22在x方向和y方向上的驱动定时,在上述的像素偏移速度(P/(2Tc),P/(2Tc))的情况下,在经过曝光时间Texp的一半的时刻像素的曝光位置移动了(P/2,P/2)。因此,在曝光时间Texp的剩余的一半(更一般地说,在剩余的(Texp-Tc)期间)中不使摄像元件22移动而将其维持在固定位置上。
即,作为像素偏移移动设定部的微型计算机45设定相对位置的移动方法,使得在一帧的曝光时间Texp比来自摄像元件22的图像读取时间Tc长时,在曝光中产生停止移动的期间。
在由第一帧F1~第四帧F4组成的第一组和由第五帧F5~第八帧F8组成的第二组的曝光期间中分别进行这样的驱动。另一方面,在第一组与第二组之间使像素偏移方向在与像素偏移方向垂直的方向上移位P/√2的大小,这与前面说明的情况相同。
而且,在这种情况下,相邻的帧中的像素的曝光位置彼此接触而连续,从而能够表示为沿表示摄像元件22的移动路径的虚线箭头的方向的长度P/√2的例如线状的黑长圈,这与图16和图17所示的情况相同。但是,由于在用黑长圈表示的曝光路径的终端像上述那样在(Texp-Tc)的期间维持曝光位置,因此该终端部分的曝光量比用黑长圈表示的曝光路径的其他部分大。
其他方面与图12~图14或者图15~图17的情况基本相同。
分别对图12~图14所示那样的Texp<Tc时、图15~图17所示那样的Texp=Tc时、图18~图20所示那样的Texp>Tc时进行比较可知,当Texp<Tc时曝光位置集中在与曝光时间Texp的长度对应的特定位置,当Texp>Tc时曝光位置集中在用黑长圈表示的曝光路径的终端位置,而当Texp=Tc时曝光位置均匀地分散在用黑长圈表示的曝光路径上。
因此,可知在图像中产生的像模糊的程度当Texp<Tc时随着曝光时间Texp增加而增加,当Texp=Tc时为最大,当Texp>Tc时随着曝光时间Texp增加而减小。
要想根据这样的曝光时间Texp相对于图像读取时间Tc的长度来适当校正大小变化的像模糊,像上述的图9所示那样使频带增强参数α变化。
即,当Texp<Tc时,由于曝光位置几乎未移动因此使频带增强滤波器的强度比较弱,当Texp=Tc时,由于曝光位置均匀地分散因此增强了频带增强滤波器的强度,当Texp>Tc时,由于在停止移动的曝光位置上集中地进行曝光因此使频带增强滤波器的强度比较弱等。
根据这样的实施方式一,由于在光束与摄像元件22的相对位置移动过程中获取进行曝光的图像数据,因此能够缩短用于合成的多个图像数据的摄影时间。而且,由于曝光中的相对位置的移动为相同的移动方向且相同的移动量,因此能够确保至少在与移动方向不同的方向上的合成图像数据的高分辨率。尤其是在曝光时间Texp与图像读取时间Tc不同的情况下,由于移动方向的像模糊的影响也较小,因此即使不进行移动方向的频带增强也能够进行高分辨率化。
并且,由于频带增强部54针对合成图像数据对曝光中的与相对位置的移动方向相同的方向的频率成分进行增强,因此降低了移动方向的像模糊的影响,从而能够获得清晰度更高,高分辨率化的图像。
此时,由于频带增强部54根据曝光时间Texp来变更增强度,使得当曝光时间Texp与图像读取时间Tc相等时频带增强的增强度为最大,因此能够适当降低移动方向的像模糊的影响。
而且,由于设定相对位置的移动方法,使得当曝光时间Texp比图像读取时间Tc长时,在曝光中产生停止移动的期间,因此不仅能够将一帧期间中的相对位置的移动量维持为一定而不依赖于曝光时间Texp的长短,并且,能够抑制曝光量均匀地分散在曝光路径上从而使曝光量集中在移动停止位置上,即,能够减少像模糊。
【实施方式二】
图21示出本发明的实施方式二,是示出数码相机的摄影处理的流程的流程图。
在该实施方式二中,对与上述的实施方式一相同的部分标注相同的标号等而适当省略其说明,主要仅对不同点进行说明。
由于音圈马达(VCM)23对摄像元件22的驱动是机械的,因此受到作用于摄像元件22的重力的影响。因此,本实施方式考虑了重力的方向来控制像素偏移方向。
即,当开始图21所示的摄影处理时,首先进行上述的步骤S21的处理,在该步骤S21中判定为设定为像素偏移超分辨率摄影模式的情况下,微型计算机45从姿势检测部30获取相对于摄像元件22的重力方向的信息,对数码相机的姿势进行检测(步骤S31)。
而且,作为像素偏移移动设定部的微型计算机45根据姿势检测部30所检测的重力方向,设定相对位置的移动方法、即基于音圈马达(VCM)23的摄像元件22的移动方向和移动速度、摄像元件22对各图像的摄像定时等(步骤S23A)。
此时,微型计算机45设定相对位置的移动方法,使得相对位置的移动方向为具有重力方向的正分量的方向。
具体而言,例如在重力方向为+y方向的情况下将像素偏移方向设为向量(1,1)或(-1,1)的方向,在重力方向为-y方向的情况下将像素偏移方向设为向量(1,-1)或向量(-1,-1)的方向,在重力方向为+x方向的情况下将像素偏移方向设为向量(1,1)或(1,-1)的方向,在重力方向为-x方向的情况下将像素偏移方向设为向量(-1,-1)或(-1,1)的方向等。总之,只要以具有与重力方向相同的方向的分量的方式设定像素偏移方向即可。
其他的处理与上述的实施方式一的图11所示的处理相同。
根据这样的实施方式二,实现了与上述的实施方式一几乎相同的效果,并且由于设定相对位置的移动方法,使得相对位置的移动方向为具有重力方向的正分量的方向,因此能够降低音圈马达(VCM)23的负载和消耗电力。
【实施方式三】
图22示出本发明的实施方式三,是示出数码相机的结构的框图。
在该实施方式三中,对与上述的实施方式一、二相同的部分标注相同的标号等而适当省略其说明,主要仅对不同点进行说明。
在上述的实施方式一的图1所示的结构例中,通过音圈马达(VCM)23使摄像元件22在与镜头11的光轴垂直的面内移动来进行像素偏移,但本实施方式中,在更换式镜头1内设置光轴移位光学元件16,通过使该光轴移位光学元件16移动来进行像素偏移。
即,在更换式镜头1内不仅设置有上述的镜头11、光圈12、闪存14、以及微型计算机15,还设置有光轴移位光学元件16、音圈马达(VCM)23、以及霍尔元件39,本实施方式的驱动器13A除了上述的驱动器13的功能之外,还根据霍尔元件39的检测结果来进行音圈马达(VCM)23的驱动控制。
这里,光轴移位光学元件16使从镜头11朝向摄像元件22的光束的光轴移位,例如能够广泛采用通过将规定折射率且规定厚度的光学板相对于光轴非垂直地倾斜来使光轴移位并通过调整倾斜的角度来控制移位量的方式、或者通过用2张光学板夹着规定折射率的液体而使其呈蛇腹状地(以入射侧的光学板与出射侧的光学板不平行的状态)移动来校正光轴的方式等各种方式(也可以兼用作所谓的光学式抖动校正机构)。
并且,音圈马达(VCM)23根据驱动器13A的控制,驱动光轴移位光学元件16使光轴移位。
并且,霍尔元件39检测光轴移位光学元件16的驱动位置。
这样,驱动器13A根据更换式镜头1内的微型计算机15的控制,进一步根据照相机主体2内的微型计算机45的控制,参照霍尔元件39的检测结果,驱动音圈马达(VCM)23来控制光轴移位光学元件16对光轴的移位方向和移位量。
另外,可以采用组合实施方式一或实施方式二的结构与该实施方式三的结构,使摄像元件22和光轴移位光学元件16这两方移动来进行像素偏移的结构。在这种情况下,设置移动摄像元件22的音圈马达(VCM)23、移动光轴移位光学元件16的音圈马达(VCM)23,并且设置检测摄像元件22的位置的霍尔元件39、检测光轴移位光学元件16的位置的霍尔元件39。
根据这样的实施方式三,在使光学***移动进行像素偏移的情况下,或者在使摄像元件22和光学***移动进行像素偏移的情况下,都能够实现与上述的实施方式一,二几乎相同的效果。
另外,上述的各部可以构成为电路。而且,如果任意的电路都能够实现相同的功能,则可以安装成单个电路,也可以安装成组合了多个电路而成的电路。并且,任意的电路并不限于构成为用于实现作为目的的功能的专用电路,也可以是通过使通用电路执行处理程序来实现作为目的的功能的结构。
并且,前面主要对摄像装置进行了说明,但也可以是进行与摄像装置相同的处理的摄像方法,也可以是用于使计算机执行摄像方法的处理程序、能够由计算机读取,记录该处理程序的非暂时的记录介质等。
而且,本发明不限定于上述实施方式本身,可以在实施阶段中在不脱离其主旨的范围内对构成要素进行变形来具体化。并且,通过上述实施方式所公开的多个构成要素的适当组合,可以形成各种发明的方式。例如,也可以从实施方式所示的所有构成要素中删除几个构成要素。并且,也可以适当组合不同的实施方式的构成要素。这样,当然可以在不脱离发明的主旨的范围内进行各种变形和应用。
本申请是以2014年11月4日在日本申请的特愿2014-224417号作为优先权主张的基础而申请的,上述的公开内容被引用于本申请说明书、权利要求书以及附图。

Claims (7)

1.一种摄像装置,其特征在于,该摄像装置具有:
摄像元件,其由多个像素以规定的像素间距二维状排列而成;
像素偏移部,其以使帧期间的移动量为上述像素间距的非整数倍的方式,使上述摄像元件与被上述摄像元件接受的光束在上述二维状排列的方向上的相对位置移动;
摄像控制部,其使上述摄像元件在上述相对位置的移动过程中进行多次曝光来获取多个帧的图像数据;以及
图像合成部,其对上述摄像控制部所获取的上述多个帧的图像数据进行合成,生成比从上述摄像元件获得的图像数据更高分辨率的合成图像数据,
上述像素偏移部在上述多次曝光的各次曝光中,使曝光中的上述相对位置的移动为相同的移动方向且相同的移动量。
2.根据权利要求1所述的摄像装置,其特征在于,
上述图像合成部具有频带增强部,该频带增强部针对上述合成图像数据,对上述曝光中的与上述相对位置的移动方向相同的方向的频率成分进行增强。
3.根据权利要求2所述的摄像装置,其特征在于,
上述频带增强部根据一帧的曝光时间来变更上述频带增强的增强度,使得在该曝光时间与从上述摄像元件读取图像的图像读取时间相等时,该增强度最大。
4.根据权利要求1所述的摄像装置,其特征在于,
该摄像装置还具有像素偏移移动设定部,该像素偏移移动设定部设定上述像素偏移部所执行的上述相对位置的移动方法,
上述像素偏移移动设定部设定上述相对位置的移动方法,使得在一帧的曝光时间比从上述摄像元件读取图像的图像读取时间长时,在上述曝光中产生停止移动的期间。
5.根据权利要求1所述的摄像装置,其特征在于,该摄像装置还具有:
像素偏移移动设定部,其设定上述像素偏移部所执行的上述相对位置的移动方法;以及
姿势检测部,其检测相对于摄像装置的重力方向
上述像素偏移移动设定部设定该相对位置的移动方法,使得上述相对位置的移动方向成为具有上述姿势检测部所检测到的重力方向的正分量的方向。
6.一种摄像方法,其特征在于,该摄像方法具有:
像素偏移步骤,以使帧期间的移动量为像素间距的非整数倍的方式,使多个像素以规定的上述像素间距二维状排列而成的摄像元件与被上述摄像元件接受的光束在上述二维状排列的方向上的相对位置移动;
摄像控制步骤,使上述摄像元件在上述相对位置的移动过程中进行多次曝光来获取多个帧的图像数据;以及
图像合成步骤,对在上述摄像控制步骤所获取的上述多个帧的图像数据进行合成,生成比从上述摄像元件获得的图像数据更高分辨率的合成图像数据,
上述像素偏移步骤是如下步骤:在上述多次曝光的各次曝光中,使曝光中的上述相对位置的移动为相同的移动方向且相同的移动量。
7.一种处理程序,所述处理程序用于使计算机执行以下步骤:
像素偏移步骤,以使帧期间的移动量为像素间距的非整数倍的方式,使多个像素以规定的上述像素间距二维状排列而成的摄像元件与被上述摄像元件接受的光束在上述二维状排列的方向上的相对位置移动;
摄像控制步骤,使上述摄像元件在上述相对位置移动过程中进行多次曝光来获取多个帧的图像数据;以及
图像合成步骤,对在上述摄像控制步骤所获取的上述多个帧的图像数据进行合成,而生成比从上述摄像元件获得的图像数据更高分辨率的合成图像数据,
所述处理程序的特征在于,
上述像素偏移步骤是如下步骤:在上述多次曝光的每一次中,使曝光中的上述相对位置的移动为相同的移动方向且相同的移动量。
CN201580050221.2A 2014-11-04 2015-03-25 摄像装置、摄像方法、处理程序 Pending CN107079092A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-224417 2014-11-04
JP2014224417A JP5893712B1 (ja) 2014-11-04 2014-11-04 撮像装置、撮像方法、処理プログラム
PCT/JP2015/059177 WO2016072102A1 (ja) 2014-11-04 2015-03-25 撮像装置、撮像方法、処理プログラム

Publications (1)

Publication Number Publication Date
CN107079092A true CN107079092A (zh) 2017-08-18

Family

ID=55541245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580050221.2A Pending CN107079092A (zh) 2014-11-04 2015-03-25 摄像装置、摄像方法、处理程序

Country Status (5)

Country Link
US (1) US10187594B2 (zh)
EP (1) EP3217646A4 (zh)
JP (1) JP5893712B1 (zh)
CN (1) CN107079092A (zh)
WO (1) WO2016072102A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112020853A (zh) * 2018-02-23 2020-12-01 Lg伊诺特有限公司 摄像机模块及其超分辨率图像处理方法
CN112135065A (zh) * 2020-11-19 2020-12-25 深圳市汇顶科技股份有限公司 指纹检测的方法、指纹检测装置和电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160141572A (ko) * 2015-06-01 2016-12-09 삼성전자주식회사 이미지를 촬영하는 전자 장치 및 방법
JP6750847B2 (ja) * 2016-03-18 2020-09-02 キヤノン株式会社 画像処理装置およびその制御方法並びにプログラム
JP2019191258A (ja) * 2018-04-19 2019-10-31 オリンパス株式会社 撮像装置、撮像プログラム、撮像方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6243136B1 (en) * 1996-10-14 2001-06-05 Ricoh Company, Ltd. Image input device and image input system which controls timing of successive imaging operations
JP2002118775A (ja) * 2000-10-05 2002-04-19 Oki Electric Ind Co Ltd 監視カメラ装置
CN103404126A (zh) * 2011-05-31 2013-11-20 奥林巴斯映像株式会社 摄像装置、摄像方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2635917B2 (ja) 1992-09-11 1997-07-30 株式会社東芝 電子スチルカメラ
WO1997017811A1 (fr) * 1995-11-10 1997-05-15 Techno Media Co., Ltd. Procede et dispositif pour la prise de vue d'image fixe en couleur
US6429895B1 (en) * 1996-12-27 2002-08-06 Canon Kabushiki Kaisha Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function
JP3530696B2 (ja) * 1996-12-27 2004-05-24 キヤノン株式会社 撮像装置
JP3762049B2 (ja) * 1997-06-27 2006-03-29 キヤノン株式会社 撮像装置及び撮像方法及びその撮像方法を記録した記録媒体
IL126165A0 (en) * 1998-09-10 1999-05-09 Scitex Corp Ltd Apparatus for the orthogonal movement of a ccd sensor
US6686956B1 (en) * 1999-08-31 2004-02-03 International Business Machines Corporation Increased resolution digital capture device
JP2001136541A (ja) * 1999-11-02 2001-05-18 Ricoh Co Ltd 撮像装置
JP3990103B2 (ja) * 2000-10-06 2007-10-10 株式会社リコー 画像処理装置、及び画像処理方法
JP2002218328A (ja) * 2001-01-19 2002-08-02 Ricoh Co Ltd 画像入力装置、画像入力方法、およびその方法を実行するためのプログラムを格納したことを特徴とするコンピュータが読み取り可能な記録媒体
JP4311668B2 (ja) 2004-11-15 2009-08-12 オリンパス株式会社 撮像装置と撮像システムおよび画像の撮影方法
JP4529804B2 (ja) * 2005-06-08 2010-08-25 株式会社ニコン 画素ずらし画像の生成機能を有する電子カメラおよび撮像方法
JP6080505B2 (ja) * 2012-11-06 2017-02-15 キヤノン株式会社 像振れ補正装置およびその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6243136B1 (en) * 1996-10-14 2001-06-05 Ricoh Company, Ltd. Image input device and image input system which controls timing of successive imaging operations
JP2002118775A (ja) * 2000-10-05 2002-04-19 Oki Electric Ind Co Ltd 監視カメラ装置
CN103404126A (zh) * 2011-05-31 2013-11-20 奥林巴斯映像株式会社 摄像装置、摄像方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112020853A (zh) * 2018-02-23 2020-12-01 Lg伊诺特有限公司 摄像机模块及其超分辨率图像处理方法
US11425303B2 (en) 2018-02-23 2022-08-23 Lg Innotek Co., Ltd. Camera module and super resolution image processing method thereof
US11770626B2 (en) 2018-02-23 2023-09-26 Lg Innotek Co., Ltd. Camera module and super resolution image processing method thereof
CN112135065A (zh) * 2020-11-19 2020-12-25 深圳市汇顶科技股份有限公司 指纹检测的方法、指纹检测装置和电子设备
CN112135065B (zh) * 2020-11-19 2021-04-27 深圳市汇顶科技股份有限公司 指纹检测的方法、指纹检测装置和电子设备

Also Published As

Publication number Publication date
JP2016092577A (ja) 2016-05-23
WO2016072102A1 (ja) 2016-05-12
US10187594B2 (en) 2019-01-22
JP5893712B1 (ja) 2016-03-23
EP3217646A1 (en) 2017-09-13
EP3217646A4 (en) 2018-07-11
US20170208264A1 (en) 2017-07-20

Similar Documents

Publication Publication Date Title
CN106257912B (zh) 摄像装置、摄像方法
TWI661727B (zh) 控制裝置、控制方法及電子機器
JP4524717B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
TWI378714B (zh)
EP3217647B1 (en) Imaging device, imaging method and processing program
JP4730553B2 (ja) 撮影装置及び露出制御方法
TWI514847B (zh) 影像處理裝置、影像處理方法、及記錄媒體
CN105100594A (zh) 摄像装置和摄像方法
CN101662586A (zh) 可显示实时预览图像的摄像装置
EP2882183B1 (en) Electronic apparatus and method of controlling the same
CN103491310B (zh) 图像捕获装置及其控制方法
JP2008028959A (ja) 撮影装置及び画像表示制御方法
CN107079092A (zh) 摄像装置、摄像方法、处理程序
JP5009880B2 (ja) 撮像装置及び撮像方法
JP2002112095A (ja) デジタルスチルカメラ
CN102263894B (zh) 拍摄装置
JP5256947B2 (ja) 撮像装置、撮像方法およびその方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006261929A (ja) 撮像装置
JP5138521B2 (ja) 撮像装置及び撮像方法
JP7142507B2 (ja) 画像処理装置および画像処理方法、ならびに撮像装置
JP5105139B2 (ja) 撮像装置および表示方法、並びにプログラム
JP2014060578A (ja) 撮像装置
JP2019029778A (ja) 撮像装置、および画像処理装置、画像処理方法
JP2006340100A (ja) 撮影装置
JP5123010B2 (ja) 撮像装置、撮像方法及び撮像装置が備えるコンピュータに撮像方法を実行させるためのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170818

WD01 Invention patent application deemed withdrawn after publication