CN114175611A - 成像设备和成像方法 - Google Patents

成像设备和成像方法 Download PDF

Info

Publication number
CN114175611A
CN114175611A CN202080052233.XA CN202080052233A CN114175611A CN 114175611 A CN114175611 A CN 114175611A CN 202080052233 A CN202080052233 A CN 202080052233A CN 114175611 A CN114175611 A CN 114175611A
Authority
CN
China
Prior art keywords
image
image data
time
speed
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080052233.XA
Other languages
English (en)
Inventor
野原史则
田中达也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114175611A publication Critical patent/CN114175611A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及能够在高速连续成像中缩短成像间隔的图像拍摄设备和图像拍摄方法。如果选择了高速连续图像拍摄,用于临时存储从图像传感器传送过来的图像数据且然后将所述图像数据传送到主存储器的临时存储器在暂停向主存储器传送图像数据的状态下顺序地存储从图像传感器以预定速度传送过来的多组图像数据。临时存储器然后以低于所述预定速度的速度将存储的所述多组图像数据顺序地传送到主存储器。该操作能够应用于图像拍摄设备。

Description

成像设备和成像方法
技术领域
本公开涉及成像设备和成像方法,并且特别是涉及能够在高速连续成像中缩短成像间隔的成像设备和成像方法。
背景技术
已经提出了一种在成像设备中包括保持图像数据的存储器单元(下文中称为传感器内堆叠存储器)并以高速将图像数据从成像设备写入传感器内堆叠存储器从而减少焦平面失真并实现低功耗的技术(参见专利文献1)。
引用列表
专利文献
专利文献1:日本专利No.6308129
发明内容
本发明要解决的问题
但是,在专利文献1中描述的技术中,每次拍摄一条图像数据时,都有必要执行对传感器内堆叠存储器的写入以及从传感器内堆叠存储器向外部信号处理引擎的传送。因此,到传感器内堆叠存储器的写入速度和到外部信号处理引擎的传送速度(传感器和外部设备的I/F速度)是速率限制,并且对于缩短成像间隔(拍摄的图像的时间间隔)存在限制。
本公开是鉴于这种情况而做出的,特别是可以缩短高速连续成像中的成像间隔。
问题的解决方案
根据本公开的一个方面的成像设备是一种成像设备,包括:传感器单元,被配置为拍摄图像并将拍摄的图像作为图像数据传送;以及临时存储器,被配置为临时存储从传感器单元传送的图像数据且然后将图像数据传送到主存储器,其中,在指示高速连续成像的情况下,临时存储器在停止向主存储器传送图像数据的状态下顺序地存储以预定速度从传感器单元传送的多条图像数据,然后以低于所述预定速度的速度将多条存储的图像数据顺序地传送到主存储器。
根据本公开的一个方面的成像方法是一种成像设备的成像方法,该成像设备包括:传感器单元,被配置为拍摄图像并将拍摄的图像作为图像数据传送;以及临时存储器,被配置为临时存储从传感器单元传送的图像数据且然后将图像数据传送到主存储器,该成像方法包括:通过临时存储器,在指示高速连续成像的情况下,在停止向主存储器传送图像数据的状态下顺序地存储以预定速度从传感器单元传送的多条图像数据,然后以低于所述预定速度的速度将多条存储的图像数据顺序地传送到主存储器。
在本公开的一个方面,提供了一种成像设备,其中拍摄图像并将拍摄的图像作为图像数据传送,在图像数据被临时存储之后将图像数据传送到主存储器,在指示高速连续成像的情况下,在停止向主存储器传送图像数据的状态下,顺序地存储以预定速度传送的多条图像数据,然后以低于所述预定速度的速度将多条存储的图像数据顺序地传送到主存储器。
附图说明
图1是用于描述本公开的概要的图。
图2是用于描述本公开的成像设备的第一实施例的配置示例的框图。
图3是用于描述正常连续成像的操作示例的时序图。
图4是用于描述以不同曝光时间连续拍摄图像的高速连续成像的操作示例的时序图。
图5是用于描述以相同曝光时间连续拍摄图像的高速连续成像的操作示例的时序图。
图6是用于描述当配置环形缓冲器时高速连续成像的操作示例的时序图。
图7是用于描述当切换正常连续成像和高速连续成像时的操作示例的时序图。
图8是用于描述本公开的成像设备的第一实施例的修改的框图。
图9是用于描述本公开的成像设备的第二实施例的配置示例的框图。
图10是用于描述在实现以相同曝光时间连续拍摄图像的高速连续成像的同时显示实时取景图像的操作示例的时序图。
图11是用于描述在实现以不同曝光时间连续拍摄图像的高速连续成像的同时显示实时取景图像的操作示例的时序图。
图12是用于描述在当配置环形缓冲器时实现高速连续成像的同时显示实时取景图像的操作示例的时序图。
图13是用于描述在切换正常连续成像和高速连续成像的同时显示实时取景图像的操作示例的时序图。
图14是用于描述本公开的成像设备的第二实施例的修改的框图。
图15是用于描述通用个人计算机的配置示例的图。
具体实施方式
下面将参考附图详细描述本公开的优选实施例。注意的是,在本说明书和附图中,具有基本相同功能配置的配置元件的冗余描述通过提供相同符号而被省略。
在下文中,将描述用于执行本技术的模式。将按以下次序给出描述。
1.本公开的概要
2.第一实施例
3.第一实施例的修改
4.第二实施例
5.第二实施例的修改
6.通过软件执行的示例
<<1.本公开的概要>>
本发明可以缩短高速连续成像中的成像间隔。
首先,将描述本公开的概要。
作为一般配置,成像设备包括:包括布置在阵列中的像素的图像传感器、存储由图像传感器拍摄的图像数据的主存储器,以及在将图像数据传送到主存储器的前一阶段以高速临时存储一个图像的图像数据的临时高速存储器。
例如,在成像设备中连续成像的情况下,成像设备的操作如图1的上部的时序图中所示。
即,当在时间t0操作连续成像按钮(未示出)等时,控制成像设备的软件识别用于连续成像的指令。
当软件在时间t1指示连续成像时,从时间t1至t2,图像传感器对图像C1进行曝光并生成与曝光对应的像素信号。
当图像C1的曝光在时间t2结束时,从时间t2至t3,图像传感器对通过曝光获得的第一图像C1的像素信号执行模数转换(AD转换)并将像素信号作为包括数字信号的图像数据输出。
同时,从时间t2至t3,临时高速存储器顺序地存储包括从图像传感器输出的数字信号的图像C1的图像数据。
从时间t3至t5,临时高速存储器将存储的第一图像C1的图像数据传送到主存储器。
在此,在传送图像C1的图像数据的同时,从时间t4至t5,图像传感器对图像C2进行曝光并根据曝光生成像素信号。
当图像C2的曝光在时间t5结束时,从时间t5至t6,图像传感器对通过曝光获得的图像C2的像素信号执行AD转换并且将像素信号作为包括数字信号的图像数据输出。
同时,从时间t5至t6,临时高速存储器顺序地存储包括从图像传感器输出的数字信号的图像C2的图像数据。
从时间t6至t8,临时高速存储器将存储的第二图像数据传送到主存储器。
即,图像C1从时间t1至t5被曝光并作为图像数据被传送到主存储器,并且图像C2从时间t4至t8被曝光并作为图像数据被传送到主存储器。
类似地,图像C3的图像数据从时间t7至t11被曝光并作为图像数据被传送到主存储器,图像C4的图像数据从时间t10至t14被曝光并作为图像数据被传送到主存储器,并且图像C5的图像数据从时间t13至t17被曝光并作为图像数据被传送到主存储器。
即,由于设置了临时高速存储器并且由图像传感器拍摄的图像数据被高速临时存储,因此可以从前一图像的图像数据到主存储器的传送完成之前的定时开始下一图像的曝光。
因此,由于设置了临时高速存储器,与具有其中将图像数据直接从图像传感器传送到主存储器的配置的成像设备相比,可以缩短连续图像的成像间隔。
注意的是,在图1的上部,传感器同步、图像传感器的曝光和模数转换定时、临时高速存储器的存储定时、主存储器的存储定时、成像触发的定时和软件处理的定时从顶部示出。
但是,在执行图1上部所示的操作的情况下,由于从图像传感器到临时高速存储器的传送速度和从临时高速存储器到主存储器的传送速度的速率限制,无法缩短成像间隔。
因此,在本公开中,设置了能够存储多个图像的图像数据的临时高速存储器,并且在指示高速连续成像的情况下,临时高速存储器连续接收来自图像传感器的传送并且在可存储数量的图像数据的情况下存储图像数据,并在此期间停止从临时高速存储器向主存储器的传送。
然后,在完成从图像传感器到临时高速存储器的传送之后,将存储在临时高速存储器中的多条图像数据顺序地传送到主存储器。
更具体而言,如图1下部的时序图中所示,当在时间t0操作连续成像按钮(未示出)等时,控制成像设备的软件识别出连续成像的指令。
当软件在时间t1指示连续成像时,图像传感器从时间t1至t2对图像C1进行曝光并生成与曝光对应的像素信号。
当图像C1的曝光在时间t2结束时,图像传感器从时间t2至t3对通过曝光获得的图像C1的像素信号执行AD转换并将像素信号作为包括数字信号的图像数据输出。
同时,临时高速存储器存储包括从时间t2至t3从图像传感器输出的数字信号的图像C1的图像数据。
而且,图像传感器从时间t2至t3对图像C2进行曝光并根据曝光生成像素信号。
当图像C2的曝光在时间t3结束时,图像传感器从时间t3至t4对通过曝光获得的图像C2的像素信号执行模数转换并将像素信号作为包括数字信号的图像数据输出。
同时,从时间t3至t4,临时高速存储器存储包括从图像传感器输出的数字信号的图像C2的图像数据。
即,图像C1从时间t1至t2曝光,图像C1的图像数据经过AD转换并存储在临时高速存储器中,而图像C2从时间t2至t3曝光,并且图像C2的图像数据经过AD转换并存储在临时高速存储器中,而图像C3从时间t3至t4曝光。
类似地,图像C3的图像数据经过AD转换并存储在临时高速存储器中,而图像C4从时间t4至t5曝光,图像C4的图像数据经过AD转换并存储在临时高速存储器中,而图像C5从时间t5至t6曝光,并且图像C5的图像数据从时间t6至t7经过AD转换并存储在临时高速存储器中。
然后,图像C1的图像数据从时间t7至t8从临时高速存储器传送到主存储器,并且图像C2的图像数据从时间t8至t9从临时高速存储器传送到主存储器。
此外,图像C3的图像数据从时间t9至t10从临时高速存储器传送到主存储器,图像C4的图像数据从时间t10至t11从临时高速存储器传送到主存储器,并且图像C5的图像数据从时间t11至t12从临时高速存储器传送到主存储器。
注意的是,图1下部的时序图图示了可以将五个图像的图像数据存储在临时高速存储器中的情况的操作示例。
即,根据本公开的操作,如图1下部的时序图中所示,可以通过临时高速存储器可存储图像的数量将图像拍摄间隔缩短至基本为零。
<<2.第一实施例>>
<本公开的成像设备的第一实施例的配置示例>
接下来,将参考图2描述本公开的成像设备的第一实施例的配置示例。
图2中的成像设备11包括操作单元31、信息处理单元32、图像传感器33和外部接口(I/F)34。
操作单元31包括由操作成像设备11的用户操作的物理按钮、键、拨盘等,或者在显示单元64等接受触摸操作的情况下接受所显示按钮的触摸操作的机构,并将根据用户操作的操作信号输出到信息处理单元32。
更具体而言,操作单元31包括当指示单次成像、正常连续成像或高速连续成像中的任一个时***作的成像触发器51,以及切换成像触发器51的单次成像、正常连续成像和高速连续成像的操作模式中的任一个的模式切换单元52。当通过成像触发器51的一次操作指示单次成像以拍摄一个图像时,用户通过模式切换单元52将操作模式切换到单次成像并且操作成像触发器51以指示单次成像。类似地,当指示正常连续成像时,用户通过模式切换单元52将操作模式切换到正常连续成像并且操作成像触发器51以指示正常连续成像。而且,当指示高速连续成像时,用户通过模式切换单元52将操作模式切换到高速连续成像并且操作成像触发器51以指示高速连续成像。注意的是,下面将详细描述正常连续成像和高速连续成像。
信息处理单元32包括例如微型计算机等,并且控制成像设备11的整个操作并且基于来自操作单元31的操作信号执行图像传感器33的操作以及对由图像传感器33拍摄的图像数据的信号处理和显示。
更具体而言,信息处理单元32包括控制单元61、信号处理单元62、主存储器63和显示单元64。
控制单元61控制信息处理单元32的整个操作,并且包括图像传感器控制单元81、信号处理控制单元82、显示控制单元83和存储器控制器84。
图像传感器控制单元81基于来自操作单元31的操作信号供应与图像传感器33中曝光的开始和结束的定时以及诸如AD转换之类的各种类型的处理相关的控制信号。
信号处理控制单元82控制信号处理单元62对经由外部I/F 34从图像传感器33供应的图像数据执行诸如去马赛克处理和增益调整之类的信号处理,并将图像数据输出到主存储器63进行存储。
显示控制单元83控制显示单元64读取并显示存储在主存储器63中的图像数据。
存储器控制器84控制主存储器63存储经由外部I/F 34和信号处理单元62从图像传感器33供应的图像数据。
信号处理单元62由信号处理控制单元82控制,将诸如去马赛克处理和增益调整之类的信号处理应用于经由外部I/F 34从图像传感器33供应的图像数据,并将经处理的图像数据输出到主存储器63。
主存储器63由控制单元61的存储器控制器84控制,存储经由外部I/F 34和信号处理单元62从图像传感器33供应的图像数据,并将存储的图像数据输出到显示器单元64以显示图像数据。
此外,主存储器63由存储器控制器84控制,并且在必要时将图像数据存储在外部存储介质(未示出)中。
显示单元64包括液晶显示器(LCD)或有机电致发光(EL),并且由显示控制单元83控制以显示存储在主存储器63中的图像数据。
图像传感器33根据入射光生成高清晰图像的像素信号,对像素信号执行模数(AD)转换,然后经由外部I/F 34将像素信号输出到信息处理单元32作为包括高清晰度图像的数字信号的图像数据。
更具体而言,图像传感器33包括传感器单元91和临时高速存储器92。
传感器单元91生成与以布置在阵列中的像素为单位接收的光量对应的像素信号,执行AD转换,并将像素信号作为包括数字信号的高清晰图像的图像数据输出到临时高速存储器92以供存储。
临时高速存储器92包括例如形成为以堆叠状态与传感器单元91集成的结构的存储器,以高速获取并存储从传感器单元91供应的高清晰图像的图像数据,并且经由外部I/F34和信息处理单元32的信号处理单元62将存储的图像数据传送到主存储器63。
此外,临时高速存储器92被配置为能够存储至少两个或更多个图像的多条图像数据。
即,图像数据从传感器单元91传送到临时高速存储器92的传送速度高于图像数据经由外部I/F 34和信息处理单元32的信号处理单元62从临时高速存储器92传送到主存储器63的传送速度。
因此,与没有设置临时高速存储器92的情况相比,能够以更高的速度从传感器单元91输出通过在传感器单元91中曝光获得的图像数据(拍摄的图像数据),因此有可能缩短连续成像中的成像间隔。
而且,由于临时高速存储器92可以存储多条图像数据,因此在指示连续成像的情况下,传感器单元91重复当预定时间的曝光结束时与向临时高速存储器92传送拍摄的图像数据同时地对下一个图像执行曝光、并且当预定时间的曝光再次结束时与向临时高速存储器92传送拍摄的下一个图像数据同时地对再下一个图像执行曝光的操作。
在操作期间,临时高速存储器92不将图像数据传送到主存储器63,而是在传感器单元91中连续接收图像数据的传送并存储多条图像数据。
然后,临时高速存储器92在连续成像结束的定时将多条图像数据顺序地传送到主存储器63。
利用这种配置,可以使连续成像中的成像间隔基本为零。
<正常连续成像的操作示例>
接下来,将参考图3的时序图描述当临时高速存储器92只能存储图像数据的一个图像时的连续成像的操作示例。
注意的是,在下文中,当临时高速存储器92只能存储图像数据的一个图像时的连续成像也被称为正常连续成像。相反,当临时高速存储器92可以存储多条图像数据时的连续成像也被称为高速连续成像。
此外,在图3中,将描述在对三个图像C11至C13执行正常连续成像的情况下的操作示例,并且假设用户操作模式切换单元52以将操作模式设定为正常连续成像并且操作成像触发器51以指示正常连续成像。
而且,图3从顶部示出了传感器同步定时、图像传感器33中的曝光和AD转换的定时、临时高速存储器92中的操作定时、主存储器63的操作定时和临时高速存储器中的使用状态图像。
首先,当操作单元31的模式切换单元52***作以将操作模式设定为正常连续成像并且成像触发器51***作以指示正常连续成像时,在传感器同步信号中的时间t101,图像传感器控制单元81供应用于指示图像传感器33执行连续成像的控制信号。
响应于该信号,从时间t101至t102,图像传感器33的传感器单元91执行曝光时间Te的曝光,拍摄图像C11,并生成根据入射光的量的图像信号。
当曝光在时间t102结束时,传感器单元91从时间t102至t121对图像C11的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t102至t121,临时高速存储器92存储从传感器单元91传送的一个图像C11的图像数据。
从时间t103至t105,临时高速存储器92经由外部I/F 34和信息处理单元32的信号处理单元62将图像C11的图像数据传送到主存储器63。
在将图像C11的图像数据从临时高速存储器92向主存储器63传送的处理期间,从时间t104至t105,传感器单元91执行曝光时间Te的曝光,拍摄图像C12,并生成根据入射光的量的图像信号。
当曝光在时间t105结束时,传感器单元91从时间t105至t122对图像C12的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t105至t122,临时高速存储器92丢弃图像C11的图像数据并存储从传感器单元91传送的一个图像C12的图像数据。
从时间t106至t108,临时高速存储器92经由外部I/F 34和信息处理单元32的信号处理单元62将图像C12的图像数据传送到主存储器63。
在将图像C12的图像数据从临时高速存储器92向主存储器63传送的处理期间,从时间t107至t108,传感器单元91执行曝光时间Te的曝光,拍摄图像C13,并生成根据入射光的量的图像信号。
当曝光在时间t108结束时,传感器单元91从时间t108至t123对图像C13的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t108至t123,临时高速存储器92丢弃图像C12的图像数据并存储从传感器单元91传送的一个图像C13的图像数据。
从时间t109至t111,临时高速存储器92经由外部I/F 34和信息处理单元32的信号处理单元62将图像C11的图像数据传送到主存储器63。
即,临时高速存储器92从时间t102至t105存储图像C11的图像数据,从时间t105至t108存储图像C12的图像数据,以及从时间t108至t111存储图像C13的图像数据。
由此,将图像C11的图像数据从临时高速存储器92传送到主存储器63的处理和图像C12的曝光从时间t104至105被同时执行,以及将图像C12的图像数据从临时高速存储器92传送到主存储器63的处理和图像C13的曝光从时间t107至107被同时执行。
因此,当模式切换单元52将操作模式设定为正常连续成像时,可以通过在成像触发器51***作的同时执行不同图像的曝光和向主存储器63的传送来缩短成像间隔。
但是,在临时高速存储器92中可以存储的图像数据是一个图像的情况下,直到临时高速存储器92中存储的图像数据被传送到主存储器63为止,不能存储新的图像数据。
即,图像数据从传感器单元91到临时高速存储器92的传送速度以及图像数据从临时高速存储器92到主存储器63的传送速度变成成像间隔的速率限制。
因此,在本公开中,可以存储在临时高速存储器92中的图像数据的容量被设定为多个图像,并且在图像数据到主存储器63的传送被停止的状态下从传感器单元91供应的图像数据通过多个图像被连续存储,直到图像数据的多个图像被存储在临时高速存储器92中为止。然后,在完成从传感器单元91到临时高速存储器92的传送之后,将存储在临时高速存储器92中的图像数据的多个图像顺序地传送到主存储器63。
利用这种处理,图像数据从传感器单元91到临时高速存储器92的传送速度以及图像数据从临时高速存储器92到主存储器63的传送速度不再是成像间隔的速率限制。
可以多达可存储在临时高速存储器92中的图像数量而使以高速连续拍摄的图像的成像间隔基本为零。即使对于高速物体,也可以缩短成像间隔并且可以适当地拍摄图像。
<当以高速连续拍摄具有不同曝光时间的图像时的操作示例>
接下来,将参考图4的时序图描述与本公开的成像设备11对应的临时高速存储器92可以存储图像数据的多个图像并连续拍摄具有不同曝光时间的图像的高速连续成像的操作示例。
注意的是,在图4中,假设三个图像的图像数据可以存储在临时高速存储器92中,并且将描述以不同的曝光时间高速连续拍摄三个图像C21至C23的情况的操作。而且,在临时高速存储器92中,在可以存储三个图像的图像数据的状态下的高速连续成像是操作模式切换单元52以将操作模式设定为高速连续成像并且操作成像触发器51的情况的处理。
而且,图4从顶部图示了传感器同步定时、图像传感器33中的曝光和AD转换的定时、临时高速存储器92中的操作定时、主存储器63的操作定时和临时高速存储器中的三个图像的使用状态图像。
首先,当操作操作单元31的模式切换单元52以将操作模式设定为高速连续成像并且操作成像触发器51以指示高速连续成像时,图像传感器控制单元81供应用于指示图像传感器33在传感器同步信号中的时间t131执行高速连续成像的控制信号。
响应于该信号,从时间t131至t132,传感器单元91执行曝光时间Te1的曝光,拍摄图像C21,并生成根据入射光的量的图像信号。
当曝光在时间t132结束时,传感器单元91从时间t132至t141对图像C21的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t132至t141,临时高速存储器92存储从传感器单元91传送的一个图像C21的图像数据。
而且,并行地,从时间t132至t133,传感器单元91执行曝光时间Te2的曝光,拍摄图像C22,并生成根据入射光的量的图像信号。
当曝光在时间t133结束时,传感器单元91从时间t133至t142对图像C22的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t133至t142,临时高速存储器92存储从传感器单元91传送的一个图像C22的图像数据。
即,在时间t133及之后,将两个图像C21、C22的图像数据存储在临时高速存储器92中。
而且,并行地,从时间t133至t134,传感器单元91执行曝光时间Te3的曝光,拍摄图像C23,并生成根据入射光的量的图像信号。
当曝光在时间t134结束时,传感器单元91从时间t134至t135对图像C23的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t134至t135,临时高速存储器92存储从传感器单元91传送的一个图像C23的图像数据。
即,在时间t134及之后,将三个图像C21至C23的图像数据存储在临时高速存储器92中。
当图像C23的图像数据在时间t135被传送到临时高速存储器92时,临时高速存储器92从时间t135至t136经由外部I/F 34和信息处理单元32的信号处理单元62将图像C21的图像数据传送到主存储器63。
接下来,从时间t136至t137,临时高速存储器92经由外部I/F34和信息处理单元32的信号处理单元62将图像C22的图像数据传送到主存储器63。
而且,从时间t137至t138,临时高速存储器92经由外部I/F 34和信息处理单元32的信号处理单元62将图像C23的图像数据传送到主存储器63。
即,在一系列处理中,临时高速存储器92从时间t132至t136存储图像C21的图像数据、从时间t133至t137存储图像C22的图像数据以及从时间t134至t138存储图像C21的图像数据。
换句话说,当指示高速连续成像时,可以存储在临时高速存储器92中的三个图像C21至C23的图像数据从时间t131至t135被存储,该时间紧接在指令之后给出。然后,此后,从时间t135至t138,图像C21至C23的图像数据被顺序地传送到主存储器63。
通过以上处理,图像C21至C23的成像间隔变得基本为零,并且三个图像数据被存储在临时高速存储器92中,然后被传送到主存储器63。
即,在成像间隔变得基本为0之前,可以通过临时高速存储器92中可以存储的图像的数量缩短成像间隔。
注意的是,临时高速存储器92中可存储的图像数据的数量可以是三以外的任何数量,即,两个或更多个,只要该数量是物理上可存储的数量即可。
<当以高速连续拍摄具有相同曝光时间的图像时的操作示例>
在以上描述中,已经描述了其中要以高速连续拍摄的图像的曝光时间在曝光时间Te1至Te3方面彼此不同的示例,但是图像可以具有相同的曝光时间。
在此,将参考图5的时序图描述当与本公开的成像设备11对应的临时高速存储器92可以存储图像数据的多个图像并且以高速连续拍摄具有相同曝光时间的图像时的操作示例。
注意的是,在图5中,假设三个图像的图像数据可以存储在临时高速存储器92中,并且将描述以高速连续拍摄具有相同曝光时间的三个图像C31至C33的情况的操作示例。
首先,当操作操作单元31的模式切换单元52以将操作模式设定为高速连续成像并且操作成像触发器51以指示高速连续成像时,图像传感器控制单元81供应用于指示图像传感器33在传感器同步信号中的时间t151执行高速连续成像的控制信号。
响应于该信号,从时间t151至t152,传感器单元91执行曝光时间Te11的曝光,拍摄图像C31,并生成根据入射光的量的图像信号。
当曝光在时间t152结束时,传感器单元91从时间t152至t153对图像C31的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t152至t153,临时高速存储器92存储从传感器单元91传送的一个图像C31的图像数据。
而且,并行地,从时间t152至t153,传感器单元91执行曝光时间Te11的曝光,拍摄图像C32,并生成根据入射光的量的图像信号。
当曝光在时间t153结束时,传感器单元91从时间t153至t154对图像C32的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t153至t154,临时高速存储器92存储从传感器单元91传送的一个图像C32的图像数据。
即,在时间t153及之后,将两个图像C31、C32的图像数据存储在临时高速存储器92中。
而且,并行地,从时间t153至t154,传感器单元91执行曝光时间Te11的曝光,拍摄图像C33,并生成根据入射光的量的图像信号。
当曝光在时间t154结束时,传感器单元91从时间t154至t161对图像C33的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t154至t161,临时高速存储器92存储从传感器单元91传送的一个图像C33的图像数据。
即,在时间t154及之后,将三个图像C31至C33的图像数据存储在临时高速存储器92中。
当图像C23的图像数据在时间t161被传送到临时高速存储器92时,临时高速存储器92从时间t155至t156经由外部I/F 34和信息处理单元32的信号处理单元62将图像C31的图像数据传送到主存储器63。
接下来,从时间t156至t157,临时高速存储器92经由外部I/F34和信息处理单元32的信号处理单元62将图像C32的图像数据传送到主存储器63。
而且,从时间t157至t158,临时高速存储器92经由外部I/F 34和信息处理单元32的信号处理单元62将图像C33的图像数据传送到主存储器63。
此时,临时高速存储器92从时间t152至t156存储图像C31的图像数据、从时间t153至t157存储图像C32的图像数据以及从时间t154至t158存储图像C33的图像数据。
即,从时间t154至t156,三个图像C31至C33的图像数据被存储在临时高速存储器92中,并且之后被顺序地传送到主存储器63。
通过以上处理,图像C31至C33的成像间隔变得基本为零,并且将三个图像数据存储在临时高速存储器92中,然后顺序地传送到主存储器63。
即,在成像间隔变得基本为0之前,可以通过临时高速存储器92中可以存储的图像的数量缩短成像间隔。
<当通过临时高速存储器配置环形缓冲器时高速连续成像的操作示例>
在上面的描述中,已经描述了一个示例,其中在指示高速连续成像的情况下,从传感器单元91获取可存储数量的图像的图像数据并存储在临时高速存储器92中,然后将存储在临时高速存储器92中的多个图像的图像数据顺序地传送到主存储器63。
但是,可以由临时高速存储器92配置环形缓冲器,并且只要高速连续成像被连续地指示,就可以重复按照从最旧的图像数据起的顺序用最新的图像数据覆写图像数据的处理,使得仅存储最近的图像数据,并且在高速连续成像结束之后,可以将存储在临时高速存储器92中的多条最近的图像数据传送到主存储器63。
在此,将参考图6的时序图描述环形缓冲器由临时高速存储器92配置的情况下的高速连续成像的操作示例。
注意的是,假设在临时高速存储器92中可以存储三个图像的图像数据,并且对于更多图像的图像数据,重复用最新的图像数据顺序地覆写最旧的图像数据的处理。
此外,在这个操作示例中,将描述以高速连续拍摄六个图像C51至C56的示例。
而且,图6从顶部图示了传感器同步定时、图像传感器33中的曝光和AD转换的定时、临时高速存储器92中的操作定时、主存储器63的操作定时、临时高速存储器中的三个图像的使用状态图像、成像触发器51***作(起动触发器)的定时以及控制单元61中的软件处理定时。
即,当操作操作单元31的模式切换单元52以将操作模式设定为高速连续成像并且操作成像触发器51以指示高速连续成像时,信息处理单元32的控制单元61的软件处理在传感器同步信号中的时间t171开始,并且图像传感器控制单元81在时间t172供应用于指示图像传感器33执行高速连续成像的控制信号。
响应于该信号,从时间t172至t173,传感器单元91执行曝光时间Te21的曝光,拍摄图像C51,并生成根据入射光的量的图像信号。
当曝光在时间t173结束时,传感器单元91从时间t173至t174对图像C51的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t173至t174,临时高速存储器92存储从传感器单元91传送的一个图像C51的图像数据。
而且,并行地,从时间t173至t174,传感器单元91执行曝光时间Te21的曝光,拍摄图像C52,并生成根据入射光的量的图像信号。
当曝光在时间t174结束时,传感器单元91从时间t174至t175对图像C52的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t174至t175,临时高速存储器92存储从传感器单元91传送的一个图像C52的图像数据。
即,在时间t173及之后,将两个图像C51和C52的图像数据存储在临时高速存储器92中。
而且,并行地,从时间t174至t175,传感器单元91执行曝光时间Te21的曝光,拍摄图像C53,并生成根据入射光的量的图像信号。
当曝光在时间t175结束时,传感器单元91从时间t175至t176对图像C53的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t175至t176,临时高速存储器92存储从传感器单元91传送的一个图像C53的图像数据。
即,在时间t175及之后,将三个图像C51至C53的图像数据存储在临时高速存储器92中。
而且,并行地,从时间t175至t176,传感器单元91执行曝光时间Te21的曝光,拍摄图像C54,并生成根据入射光的量的图像信号。
当曝光在时间t176结束时,传感器单元91从时间t176至t177对图像C54的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t176至t177,当获取从传感器单元91传送的一个图像C54的图像数据时,临时高速存储器92用图像C54的图像数据覆写作为最旧的图像数据的图像C51的图像数据并存储该图像数据,因为临时高速存储器已经存储了三个图像的图像数据。
即,在时间t176及之后,将三个图像C52至C54的图像数据存储在临时高速存储器92中。
而且,并行地,从时间t176至t177,传感器单元91执行曝光时间Te21的曝光,拍摄图像C55,并生成根据入射光的量的图像信号。
当曝光在时间t177结束时,传感器单元91从时间t177至t178对图像C55的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t177至t178,当获取从传感器单元91传送的一个图像C55的图像数据时,临时高速存储器92用图像C55的图像数据覆写作为最旧的图像数据的图像C52的图像数据并存储该图像数据,因为临时高速存储器已经存储了三个图像的图像数据。
即,在时间t177及之后,将三个图像C53至C55的图像数据存储在临时高速存储器92中。
而且,并行地,从时间t177至t178,传感器单元91执行曝光时间Te21的曝光,拍摄图像C56,并生成根据入射光的量的图像信号。
在此,在时间t191,假设成像触发器51的操作被取消,并且高速连续成像的指令停止。
响应于这个指令,在时间t192,控制单元61的图像传感器控制单元81通过软件处理指示图像传感器33停止当前曝光图像C56和后续图像的高速连续成像。
当曝光在时间t178结束时,传感器单元91从时间t178至t193对图像C56的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t178至t193,当获取从传感器单元91传送的一个图像C56的图像数据时,临时高速存储器92用图像C56的图像数据覆写作为最旧的图像数据的图像C53的图像数据并存储该图像数据,因为临时高速存储器已经存储了三个图像的图像数据。
即,在时间t178及之后,将三个图像C54至C56的图像数据存储在临时高速存储器92中。
此外,响应于在时间t192停止连续成像的指令,传感器单元91在时间t179及之后不执行曝光。
此外,从时间t179至t180,临时高速存储器92响应于在时间t192停止连续成像的指令而经由外部I/F 34和信息处理单元32的信号处理单元62将作为最旧图像数据的图像C54的存储的图像数据传送到主存储器63。
接下来,从时间t180至t181,临时高速存储器92经由外部I/F34和信息处理单元32的信号处理单元62将作为最旧图像数据的图像C55的存储的图像数据传送到主存储器63。
而且,从时间t181至t182,临时高速存储器92经由外部I/F 34和信息处理单元32的信号处理单元62将图像C56的存储的图像数据传送到主存储器63。
即,在一系列处理中,临时高速存储器92从时间t173至t174存储图像C51的图像数据、从时间t174至t175存储图像C52的图像数据以及从时间t175至t176存储图像C53的图像数据。
而且,在临时高速存储器92中,从时间t176至t177,图像C51的图像数据的存储区域被图像C54的图像数据覆写。
此外,从时间t177至t178,图像C52的图像数据的存储区域被图像数据C55的图像数据覆写,并且从时间t178至t193,图像C53的图像数据的存储区域被图像数据C56的图像数据覆写。
然后,当在时间t172指示连续成像的停止时,在那个定时存储在临时高速存储器92中的三个图像C54至C56的图像数据被顺序地传送到主存储器63。
即,图像C54的图像数据从时间t179至t180被传送到主存储器63,图像C55的图像数据从时间t180至t181被传送到主存储器63,并且图像C56的图像数据从时间t181至t182被传送到主存储器63。
通过上述处理,只要高速连续成像的指令状态继续,最近的三个图像的图像数据就以成像间隔基本为零的状态存储在临时高速存储器92中,直到指示高速连续成像的结束。然后,当指示高速连续成像的结束时,将在该定时存储的三个图像数据(即,在指示高速连续成像的结束的定时最近的三个图像数据)传送到主存储器63。
即,在图6中,当操作模式切换单元52且操作模式是高速连续成像时,操作成像触发器51并且图像C51至C56在成像间隔基本为零的状态下顺序地存储在主存储器63中,此时,在指示高速连续成像的从时间t171至178,存储最近的三条图像数据。
然后,将在高速连续成像结束的定时存储在临时高速存储器92中的C54至C56的三个图像数据顺序地传送到主存储器63。
因此,通过可以存储在临时高速存储器92中的图像的数量,可以将成像间隔缩短,直到成像间隔变得基本为0,并且临时高速存储器92用作环形缓冲器并且只要指示高速连续成像,就可以存储与可存储在临时高速存储器92中的图像的数量一样多的最新图像数据。
然后,可以在指示高速连续成像的停止的定时将存储在临时高速存储器92中的图像数据顺序地传送到主存储器63。
<当切换和使用正常连续成像和高速连续成像时的操作示例>
在上文中,已经描述了其中临时高速存储器92用作环形缓冲器的示例。在临时高速存储器92用作环形缓冲器的情况下,要传送到主存储器63的图像数据只是在指示高速连续成像的结束的定时可存储在临时高速存储器92中的数量的最近图像数据。
即,在通过高速连续成像指令拍摄的图像的数量大于临时高速存储器92中可存储的图像的数量的情况下,高速连续成像开始的定时附近的图像数据被后续的图像数据覆写并基本被擦除,并且不传送到主存储器63。
因此,可以切换并使用两种类型的连续成像:正常连续成像和高速连续成像。
在切换正常连续成像和高速连续成像时,当操作模式切换单元52以将操作模式设定为正常连续成像时,当操作成像触发器51时输出指示正常连续成像的操作信号,并且当操作模式切换单元52以将操作模式设定为高速连续成像时,当操作成像触发器51时输出用于高速连续成像的操作信号。即,在操作成像触发器51以切换操作模式的状态下操作模式切换单元52,从而切换正常连续成像和高速连续成像。
在此,将参考图7的时序图描述当切换和使用正常连续成像和高速连续成像时的操作示例。
首先,当操作操作单元31的模式切换单元52以将操作模式设定为正常连续成像并且操作成像触发器51以指示正常连续成像时,图像传感器控制单元81在传感器同步信号中的时间t211供应用于指示图像传感器33执行正常连续成像的控制信号。
响应于该信号,从时间t211至t212,传感器单元91执行曝光时间Te31的曝光,拍摄图像C61,并生成根据入射光的量的图像信号。
当曝光在时间t212结束时,传感器单元91从时间t212至t231对图像C61的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t212至t231,临时高速存储器92存储从传感器单元91传送的一个图像C61的图像数据。
从时间t213至t215,临时高速存储器92经由外部I/F 34和信息处理单元32的信号处理单元62将图像C61的图像数据传送到主存储器63。
在将图像C61的图像数据从临时高速存储器92传送到主存储器63的处理期间,从时间t214至t215,传感器单元91执行曝光时间Te31的曝光,拍摄图像C62,并生成根据入射光的量的图像信号。
当曝光在时间t215结束时,传感器单元91从时间t215至t232对图像C62的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t215至t232,临时高速存储器92存储从传感器单元91传送的一个图像C62的图像数据。
从时间t216至t218,临时高速存储器92经由外部I/F 34和信息处理单元32的信号处理单元62将图像C62的图像数据传送到主存储器63。
在将图像C62的图像数据从临时高速存储器92传送到主存储器63的处理期间,从时间t217至t218,传感器单元91执行曝光时间Te31的曝光,拍摄图像C63,并生成根据入射光的量的图像信号。
在此,在时间t233,假设在操作成像触发器51的状态下操作模式切换单元52,并且操作模式从正常连续成像切换到高速连续成像,使得连续成像的指令从正常连续成像切换到高速连续成像。
图像传感器控制单元81指示图像传感器33执行高速连续成像。因此,在完成图像C63的成像和到临时高速存储器92的传送之后,图像传感器33使用临时高速存储器92作为环形缓冲器来执行高速连续成像。
当曝光在时间t218结束时,传感器单元91从时间t218至t219对图像C63的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t218至t219,临时高速存储器92存储从传感器单元91传送的一个图像C63的图像数据。
而且,并行地,从时间t218至t219,传感器单元91执行曝光时间Te32的曝光,拍摄图像C64,并生成根据入射光的量的图像信号。
当曝光在时间t219结束时,传感器单元91从时间t219至t220对图像C64的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t219至t220,当获取从传感器单元91传送的一个图像C64的图像数据时,临时高速存储器92存储图像C64的图像数据。
即,在时间t219或之后,临时高速存储器92存储两个图像C63和C64的图像数据。
而且,并行地,从时间t219至t220,传感器单元91执行曝光时间Te32的曝光,拍摄图像C65,并生成根据入射光的量的图像信号。
当曝光在时间t220结束时,传感器单元91从时间t220至t221对图像C65的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t220至t221,当获取从传感器单元91传送的一个图像C65的图像数据时,临时高速存储器92存储图像C65的图像数据。
即,在时间t220或之后,临时高速存储器92存储三个图像C63至C65的图像数据。
而且,并行地,从时间t220至t221,传感器单元91执行曝光时间Te32的曝光,拍摄图像C66,并生成根据入射光的量的图像信号。
在此,在时间t234,假定成像触发器51的操作被取消,并且正常连续成像和高速连续成像的指令停止。
响应于这个指令,在时间t234,控制单元61的图像传感器控制单元81通过软件处理指示图像传感器33停止当前曝光图像C66和后续图像的连续成像。
当曝光在时间t221结束时,传感器单元91从时间t221至t234对图像C66的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,在时间t221至t235,临时高速存储器92获取从传感器单元91传送的一个图像C66的图像数据,临时高速存储器覆写作为最旧的图像数据的图像C63的图像数据,即,删除图像C63的图像数据并存储图像C66的图像数据,因为临时高速存储器已经存储了三个图像的图像数据。
即,在时间t221及之后,在临时高速存储器92中存储三个图像C64至C66的图像数据。
此外,传感器单元91响应于在时间t234停止连续成像的指令而在时间t221及之后不执行曝光。
而且,从时间t222至t223,临时高速存储器92响应于时间t234的停止连续成像的指令而经由外部I/F 34和信息处理单元32的信号处理单元62将作为最旧图像数据的图像C64的存储图像数据传送到主存储器63。
接下来,从时间t223至t224,临时高速存储器92经由外部I/F34和信息处理单元32的信号处理单元62将作为最旧图像数据的图像C65的存储图像数据传送到主存储器63。
而且,从时间t224至t225,临时高速存储器92经由外部I/F 34和信息处理单元32的信号处理单元62将图像C66的存储的图像数据传送到主存储器63。
即,在一系列处理中,图像C61从时间t211至t212被传感器单元91拍摄,图像C61的图像数据从时间t212至t213被传送到临时高速存储器92,并且图像C61的图像数据从时间t213至t215被传送到主存储器63。
此外,图像C62从时间t214至t215被传感器单元91拍摄,图像C62的图像数据从时间t215至t216被传送到临时高速存储器92,并且图像C62的图像数据从时间t216至t218被传送到主存储器63。
而且,从时间t217至t218拍摄图像C63并将正常连续成像改变为高速连续成像,并且从时间t218至t219将图像C63的图像数据存储在临时高速存储器92中。
此外,从时间t218至t219拍摄图像C64,并且从时间t219至t220将图像C64的图像数据存储在临时高速存储器92中。此时,临时高速存储器92存储图像C63和C64的图像数据。
而且,从时间t219至t220拍摄图像C65,并且从时间t219至t220将图像C65的图像数据存储在临时高速存储器92中。此时,临时高速存储器92存储图像C63至C65的图像数据。
此外,从时间t220至t221拍摄图像C66,并且从时间t220至t221将图像C66的图像数据存储在临时高速存储器92中。此时,在临时高速存储器92中,图像C66的图像数据被存储在图像C63的存储区域中,并且图像C64至C66的图像数据被存储。
然后,当在时间t234指示连续成像的停止时,在那个定时存储在临时高速存储器92中的三个图像C64至C66的图像数据被顺序地传送到主存储器63。
即,临时高速存储器92中的图像C64的图像数据从时间t222至t223被传送到主存储器63,临时高速存储器92中的图像C65的图像数据从时间t223至t224被传送到主存储器63,并且临时高速存储器92中的图像C66的图像数据从时间t224至t225被传送到主存储器63。
通过上述处理,只要继续正常连续成像的指令的状态,就重复拍摄图像的处理、临时高速存储器92存储拍摄的图像数据的一个图像、然后将图像数据传送到主存储器63的处理。因此,由于从传感器单元91到临时高速存储器92的传送速度和从临时高速存储器92到主存储器63的传送速度的速率限制,成像间隔受到限制,但是可以将拍摄的图像数据可靠地传送到主存储器,直到指示正常连续成像的结束。
此外,只要高速连续成像的指令的状态持续,最近三个图像的图像数据就以成像间隔基本为零的状态存储在临时高速存储器92中,直到指示高速连续成像的结束,并且当指示连续成像的结束时,在那个定时存储的三个图像数据(即,当指示连续成像结束时的定时的最近三个图像数据)被传送到主存储器63。
因此,通过切换并使用正常高速成像和高速正常成像,有可能切换并使用将图像数据可靠地传送到主存储器63的成像(尽管由于基于传送速度的速率限制,对于成像间隔存在限制)、以及缩短成像间隔直到成像间隔基本上变为0的成像(尽管对于要记录的图像数据存在限制)。
<<3.第一实施例的修改>>
在上文中,已经描述了其中传感器单元91和临时高速存储器92被堆叠并集成在图像传感器33中从而能够以高速传送图像数据的配置的示例。但是,传感器单元91和临时高速存储器92可以分开配置而不是集成在一起,只要图像数据可以在传感器单元91和临时高速存储器92之间以高速传送即可。
例如,如图8中的成像设备11所示,可以在图像传感器33的外部设置临时高速存储器112来代替临时高速存储器92,并且传感器单元91和图像传感器33中的临时高速存储器112可以通过高速I/F 111连接。
注意的是,在图8的成像设备11中,除了具有相似功能的临时高速存储器112经由高速I/F 111连接到传感器单元91来代替临时高速存储器92之外,实质功能是相似的,因此将省略对其的描述。
此外,图8中的成像设备11的操作示例也与图2中的成像设备11的操作示例相似,因此省略对其的描述。
<<4.第二实施例>>
<本公开的成像设备的第二实施例的配置示例>
在上文中,已经描述了仅将包括由图像传感器33拍摄的高清晰图像的图像数据传送到信息处理单元32的示例。但是,图像传感器33可以生成并输出包括高清晰图像和通过稀疏化像素数据获得的缩小图像(低分辨率图像)的图像数据,并将缩小图像(低分辨率图像)显示为实时取景图像。
在此,将参考图9描述其中图像传感器33生成并输出包括高清晰图像和通过稀疏化像素数据获得的缩小图像(低分辨率图像)的图像数据并显示缩小图像(低分辨率图像)作为实时取景图像的成像设备的第二实施例的配置示例。
注意的是,在图9中的成像设备11的配置中,具有与图2中的成像设备11相同功能的配置用相同的符号表示并且适当地省略对配置的描述。
即,图9中的成像设备11与图2中的成像设备11的不同之处在于设置图像传感器131而不是图像传感器33。
图像传感器131的功能基本上与图像传感器33的功能相似,但不同之处在于生成并输出通过稀疏化像素获得的低分辨率缩小图像的图像数据以及高清晰图像的图像数据。
更具体而言,图像传感器131包括传感器单元141和临时高速存储器92。
传感器单元141具有与传感器单元91的功能相似的基本功能,但拍摄图像作为高清晰图像,生成拍摄的高清晰图像的图像数据,并将图像数据传送到临时高速存储器92,并生成包括通过降低拍摄的高清晰图像的分辨率而获得的图像的缩小图像的图像数据,并经由外部I/F 34将图像数据输出到信息处理单元32的信号处理单元62。
信号处理单元62以与上述处理相似的方式处理高清晰图像数据,并且对缩小图像的图像数据进一步应用预定处理,然后将经处理的图像数据传送并存储在主存储器63中。
显示控制单元83控制显示单元64读取存储在主存储器63中的缩小图像的图像数据并将图像数据显示为实时取景图像。
<在执行具有相同曝光时间的图像的高速连续成像的同时显示实时取景图像时的操作示例>
接下来,将参考图10的时序图描述当与根据本公开的图9的成像设备11对应的临时高速存储器92在以高速连续拍摄具有相同曝光时间的图像的同时显示实时取景图像时的操作。
注意的是,图10的时序图是当如参考图5的时序图所描述的那样在执行以高速连续拍摄具有相同曝光时间的图像的操作的同时进一步显示实时取景图像时的操作示例。
此外,图10从顶部图示了传感器同步定时、图像传感器131中的高清晰图像的曝光和AD转换的定时、临时高速存储器92中的操作定时、主存储器63的操作定时,缩小图像的传送定时、当显示实时取景图像时的显示同步的定时,以及临时高速存储器中三个图像的使用状态图像。
首先,当操作操作单元31的模式切换单元52以将操作模式切换为高速连续成像并且操作成像触发器51以指示高速连续成像时,图像传感器控制单元81在传感器同步信号中的时间t321供应用于指示图像传感器131执行连续成像的控制信号。
响应于该信号,从时间t321至t322,传感器单元141执行曝光时间Te51的曝光,拍摄包括高清晰图像的图像C101,并生成根据入射光的量的图像信号。
当曝光在时间t322结束时,传感器单元141从时间t322至t323对图像C101的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t322至t323,临时高速存储器92存储从传感器单元141传送的一个图像C101的图像数据。
此时,传感器单元141对通过稀疏化图像C101获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F 34和信号处理单元62将图像信号传送到主存储器63作为包括数字信号的缩小图像的图像数据。
而且,并行地,从时间t322至t323,传感器单元141执行曝光时间Te51的曝光,拍摄包括高清晰图像的图像C102,并生成根据入射光的量的图像信号。
当曝光在时间t323结束时,传感器单元141从时间t323至t324对图像C102的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t323至t324,临时高速存储器92存储从传感器单元141传送的一个图像C102的图像数据。
此时,传感器单元141对通过稀疏化图像C102获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F 34和信号处理单元62将图像信号传送到主存储器63作为包括数字信号的缩小图像的图像数据。
即,在时间t323及之后,将两个图像C101和C102的图像数据存储在临时高速存储器92中。
而且,并行地,从时间t323至t324,传感器单元141执行曝光时间Te51的曝光,拍摄包括高清晰图像的图像C103,并生成根据入射光的量的图像信号。
当曝光在时间t324结束时,传感器单元141从时间t324至t341对图像C103的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t324至t341,临时高速存储器92存储从传感器单元91传送的一个图像C103的图像数据。
此时,传感器单元141对通过稀疏化图像C103获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F 34和信号处理单元62将图像信号传送到主存储器63作为包括数字信号的缩小图像的图像数据。
即,在时间t324及之后,将三个图像C101至C103的图像数据存储在临时高速存储器92中。
而且,并行地,从时间t324至t325,传感器单元141执行曝光时间Te52的曝光,拍摄包括高清晰图像的图像L101,并生成根据入射光的量的图像信号。
当曝光在时间t325结束时,从时间t325至t342,传感器单元141对通过稀疏化包括高清晰图像的图像L101获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F34和信号处理单元62将图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
此外,并行地,从时间t325至t326,传感器单元141执行曝光时间Te52的曝光,拍摄包括高清晰图像的图像L102,并生成根据入射光的量的图像信号。
当曝光在时间t326结束时,从时间t326至t343,传感器单元141对通过稀疏化包括高清晰图像的图像L102获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
而且,从时间t325至t327,临时高速存储器92经由外部I/F 34和信息处理单元32的信号处理单元62将包括高清晰图像的图像C101的图像数据传送到主存储器63。
此外,并行地,从时间t326至t327,传感器单元141执行曝光时间Te52的曝光,拍摄包括高清晰图像的图像L103,并生成根据入射光的量的图像信号。
当曝光在时间t327结束时,从时间t327至t344,传感器单元141对通过稀疏化包括高清晰图像的图像L103获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
此外,并行地,从时间t327至t328,传感器单元141执行曝光时间Te52的曝光,拍摄包括高清晰图像的图像L104,并生成根据入射光的量的图像信号。
当曝光在时间t328结束时,从时间t328至t345,传感器单元141对通过稀疏化包括高清晰图像的图像L104获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
而且,从时间t327至t329,临时高速存储器92经由外部I/F 34和信息处理单元32的信号处理单元62将包括高清晰图像的图像C102的图像数据传送到主存储器63。
此外,并行地,从时间t328至t329,传感器单元141执行曝光时间Te52的曝光,拍摄包括高清晰图像的图像L105,并生成根据入射光的量的图像信号。
当曝光在时间t329结束时,从时间t329至t346,传感器单元141对通过稀疏化包括高清晰图像的图像L105获得的低分辨率缩小图像的图像信号执行AD转换,并经由部I/F 34和信号处理单元62将图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
此外,并行地,从时间t329至t330,传感器单元141执行曝光时间Te52的曝光,拍摄包括高清晰图像的图像L106,并生成根据入射光的量的图像信号。
当曝光在时间t330结束时,从时间t330至t347,传感器单元141对通过稀疏化包括高清晰图像的图像L106获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
而且,从时间t329至t331,临时高速存储器92经由外部I/F 34和信息处理单元32的信号处理单元62将包括高清晰图像的图像C103的图像数据传送到主存储器63。
通过到目前为止的处理,图像C101至C103的高清晰图像的图像数据以及图像C101至C103和图像L101至L106的缩小图像的图像数据被传送到主存储器63。
与上述处理并行地,显示控制单元83控制显示单元64顺序地读出存储在主存储器63中的图像C101至C103和图像L101至L106的缩小图像的图像数据,并且使显示单元64将图像数据显示为实时取景图像。
在此,在以高速连续拍摄图像C101至C103以最小化成像间隔的同时,图像L101至L106的成像间隔被调整为当作为实时取景图像显示时的帧速率。
因此,在这个示例中,图像L101至L106的曝光时间Te52被设定为比图像C101至C103的曝光时间Te51长。
因此,图像C101至C103的缩小图像的图像数据具有比图像L101至L106的缩小图像的图像数据更短的成像间隔,并且处于以比实时取景图像的帧速率更高的帧速率被拍摄的状态。
因此,当使显示单元64将缩小图像的图像数据显示为实时取景图像时,显示控制单元83稀疏化并显示缩小图像以符合实时取景图像的帧速率。
即,在图10中,当显示单元64将图像C101的缩小图像的图像数据显示为实时取景图像时,显示单元根据从时间t351至t352的帧速率稀疏化图像C102的缩小图像的图像数据,并且从时间t352至t353将图像C103的缩小图像的图像数据显示为实时取景图像。
在下文中,由于根据实时取景图像的帧速率生成缩小图像的图像数据,因此从时间t353至t354,图像L101的缩小图像的图像数据作为实时取景图像被显示,此后,类似地,从时间t354至t359,图像L102至L106的缩小图像的图像数据作为实时取景图像被显示。注意的是,关于曝光时间Te51和Te52的长度关系不限于这个示例,并且长度可以相同或相反。
通过以上处理,对于临时高速存储器92中可记录数量的图像数据,有可能在实现缩短成像间隔的成像的同时显示实时取景图像直到成像间隔变得基本为0。
因此,由于在成像时有可能始终一边观看实时取景图像一边执行取景,因此有可能拍摄高速物体并促进成像。
<当在执行具有不同曝光时间的图像的高速连续成像的同时显示实时取景图像时的操作示例>
在以上描述中,已经描述了针对多条图像数据统一曝光时间的示例,但是曝光时间可以变化。
即,如图11中所示,可以在图像C111中设定曝光时间Te91,可以在图像C112中设定曝光时间Te92(>Te91),并且可以在图像C113中设定曝光时间Te93(>Te92)。
注意的是,在图11的情况下,由于曝光时间Te92至Te93处于比实时取景图像的帧速率低的速率,因此显示单元64从时间t411至t412将图像C111的缩小图像的图像数据显示为实时取景图像。
但是,显示单元64从时间t412至t413将图像C112的缩小图像的图像数据显示为实时取景图像,并且从时间t413至t414将与紧接着前一定时的图像相同的图像C112的缩小图像的图像数据显示为实时取景图像。
然后,显示单元64从时间t413至t414将图像C113的缩小图像的图像数据显示为实时取景图像,并且在时间t414或之后直到时间t420顺序地将图像L111到L116的缩小图像的图像数据显示为实时取景图像。
即,在高速连续成像中,连续拍摄的图像的曝光时间可以彼此相同或不同。
此外,即使连续拍摄的图像的成像间隔由于曝光时间的差异而改变,也可以通过根据用于基于生成的缩小图像的实时取景图像的实时取景图像的帧速率稀疏化或重复显示缩小图像的图像数据来适当地显示实时取景图像。
注意的是,图11中的图像C111至C113和图像L111至L116是与图10中的图像C101至C103和图像L101至L106对应的图像,但在图11中的图像C111至C113中曝光时间彼此不同。
此外,图11中从时间t371至t381和时间t411至t419的处理分别与图10中从时间t321至t331和时间t351至t359的处理对应。
但是,从成像间隔与实时取景图像的帧速率之间的关系来看,在图10中,与图像C102对应的缩小图像的图像数据被稀疏化并且实时取景图像被显示,而在图11中,图像C112作为实时取景图像被连续且重复地显示。
<在通过临时高速存储器配置环形缓冲器并实现高速连续成像的同时显示实时取景图像的示例>
在通过临时高速存储器配置环形缓冲器并实现高速连续成像的同时,可以显示实时取景图像。
在此,将参考图12的时序图描述在通过由临时高速存储器92配置环形缓冲器来实现高速连续成像的同时显示实时取景图像的情况的操作示例。注意的是,在图12中,除了图10和11中的显示之外,还在第二低和最低中示出指示高速连续成像的定时(触发器)和软件处理的定时。
即,当操作操作单元31的模式切换单元52以将操作模式切换为高速连续成像并且操作成像触发器51以指示高速连续成像时,信息处理单元32的控制单元61的软件处理在传感器同步信号中的时间t421开始,并且图像传感器控制单元81在时间t422供应用于指示图像传感器131执行高速连续成像的控制信号。
响应于该信号,从时间t422至t423,传感器单元141执行曝光时间Te101的曝光,拍摄图像C201,并根据入射光的量生成高清晰图像的图像信号。
当曝光在时间t423结束时,从时间t423至t424,传感器单元91对包括高清晰图像的图像C201的图像信号执行AD转换,并将经转换的图像信号作为包括数字信号的高清晰图像的图像数据传送到临时高速存储器92。
同时,从时间t423至t424,临时高速存储器92存储包括从传感器单元91传送的高清晰图像的一个图像C201的图像数据。
此时,传感器单元141对通过稀疏化作为高清晰图像的图像C201获得的低分辨率缩小图像的图像信号执行AD转换,并且经由外部I/F 34和信号处理单元62将图像信号传送到主存储器63作为包括数字信号的缩小图像的图像数据。
而且,并行地,从时间t423至t424,传感器单元141执行曝光时间Te101的曝光,拍摄图像C202,并生成根据入射光的量的图像信号。
当曝光在时间t424结束时,从时间t424至t425,传感器单元141对包括高清晰图像的图像C202的图像信号执行AD转换,并将经转换的图像信号作为包括数字信号的高清晰图像的图像数据传送到临时高速存储器92。
同时,从时间t424至t425,临时高速存储器92存储包括从传感器单元91传送的高清晰图像的一个图像C202的图像数据。
此时,传感器单元141对通过稀疏化包括高清晰图像的图像C202获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F 34和信号处理单元62将图像信号传送到主存储器63作为包括数字信号的缩小图像的图像数据。
即,在时间t424及之后,包括高清晰图像的两个图像C201和C202的图像数据存储在临时高速存储器92中。
而且,并行地,从时间t424至t425,传感器单元141执行曝光时间Te101的曝光,拍摄包括高清晰图像的图像C203,并生成根据入射光的量的图像信号。
当曝光在时间t425结束时,传感器单元141从时间t425至t426对包括高清晰图像的图像C203的图像信号执行AD转换并且将经转换的图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t425至t426,临时高速存储器92存储包括从传感器单元141传送的高清晰图像的一个图像C203的图像数据。
此时,传感器单元141对通过稀疏化包括高清晰图像的图像C203获得的低分辨率缩小图像的图像信号执行AD转换,并通过外部I/F 34和信号处理单元62将图像信号传送到主存储器63作为包括数字信号的缩小图像的图像数据。
即,在时间t425及之后,包括高清晰图像的三个图像C201至C203的图像数据存储在临时高速存储器92中。
而且,并行地,从时间t425至t426,传感器单元141执行曝光时间Te101的曝光,拍摄包括高清晰图像的图像C204,并生成根据入射光的量的图像信号。
当曝光在时间t426结束时,传感器单元141从时间t426至t427对包括高清晰图像的图像C204的图像信号执行AD转换并将经转换的图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t426至t427,当获取包括从传感器单元141传送的高清晰图像的一个图像C204的图像数据时,临时高速存储器92用图像C204的图像数据覆写作为最旧图像数据的图像C201的图像数据并存储该图像数据,因为临时高速存储器已经存储了三个图像的图像数据。
即,在时间t426及之后,将三个图像C202至C204的图像数据存储在临时高速存储器92中。
此时,传感器单元141对通过稀疏化包括高清晰图像的图像C204获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F 34和信号处理单元62将图像信号传送到主存储器63作为包括数字信号的缩小图像的图像数据。
而且,并行地,从时间t426至t427,传感器单元141执行曝光时间Te101的曝光,拍摄包括高清晰图像的图像C205,并生成根据入射光的量的图像信号。
当曝光在时间t427结束时,传感器单元141从时间t427至t428对包括高清晰图像的图像C205的图像信号执行AD转换并将经转换的图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t427至t428,当获取包括从传感器单元91传送的高清晰图像的一个图像C205的图像数据时,临时高速存储器92用图像C205的图像数据覆写作为最旧图像数据的图像C202的图像数据并存储该图像数据,因为临时高速存储器已经存储了三个图像的图像数据。
即,在时间t427及之后,三个图像C203至C205的图像数据存储在临时高速存储器92中。
此时,传感器单元141对通过稀疏化包括高清晰图像的图像C205获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F 34和信号处理单元62将图像信号传送到主存储器63作为包括数字信号的缩小图像的图像数据。
而且,并行地,从时间t427至t428,传感器单元91执行曝光时间Te101的曝光,拍摄包括高清晰图像的图像C206,并生成根据入射光的量的图像信号。
在此,在时间t451,假设成像触发器51的操作被取消,并且高速连续成像的指令被停止。
响应于这个指令,在时间t452,控制单元61的图像传感器控制单元81通过软件处理指示图像传感器33停止当前曝光图像C206和后续图像的高速连续成像。
当曝光在时间t428结束时,传感器单元141从时间t428至t453对图像C206的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t428至t453,当获取包括从传感器单元91传送的高清晰图像的一个图像C206的图像数据时,临时高速存储器92用图像C206的图像数据覆写作为最旧图像数据的图像C203的图像数据并存储该图像数据,因为临时高速存储器已经存储了三个图像的图像数据。
即,在时间t428及之后,三个图像C204至C206的图像数据存储在临时高速存储器92中。
此时,传感器单元141对通过稀疏化包括高清晰图像的图像C206获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F 34和信号处理单元62将图像信号传送到主存储器63作为包括数字信号的缩小图像的图像数据。
此外,传感器单元141响应于在时间t452停止高速连续成像的指令而在时间t428及之后不执行高速连续成像。注意的是,实时取景图像的成像继续进行。
而且,从时间t428至t429,传感器单元141执行曝光时间Te102(>Te101)的曝光,拍摄包括高清晰图像的图像L201,并生成根据入射光的量的图像信号。
当曝光在时间t429结束时,从时间t429至t454,传感器单元141对通过稀疏化包括高清晰图像的图像L201获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
而且,从时间t429至t430,传感器单元141执行曝光时间Te102(>Te101)的曝光,拍摄包括高清晰图像的图像L202,并生成根据入射光的量的图像信号。
当曝光在时间t430结束时,从时间t430至t455,传感器单元141对通过稀疏化包括高清晰图像的图像L202获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
此外,从时间t429至t431,临时高速存储器92响应于在时间t452停止连续成像的指令而经由外部I/F 34和信息处理单元32的信号处理单元62将作为最旧图像数据的图像C204的存储的图像数据传送到主存储器63。
而且,从时间t430至t431,传感器单元141执行曝光时间Te102(>Te101)的曝光,拍摄包括高清晰图像的图像L203,并生成根据入射光的量的图像信号。
当曝光在时间t431结束时,从时间t431至t456,传感器单元141对通过稀疏化包括高清晰图像的图像L203获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
而且,从时间t431至t432,传感器单元141执行曝光时间Te102(>Te101)的曝光,拍摄包括高清晰图像的图像L204,并生成根据入射光的量的图像信号。
当曝光在时间t432结束时,从时间t432至t457,传感器单元141对通过稀疏化包括高清晰图像的图像L204获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
此外,从时间t431至t433,临时高速存储器92经由外部I/F 34和信息处理单元32的信号处理单元62将作为最旧图像数据的图像C205的存储的图像数据传送到主存储器63。
而且,从时间t432至t433,传感器单元141执行曝光时间Te102(>Te101)的曝光,拍摄包括高清晰图像的图像L205,并生成根据入射光的量的图像信号。
当曝光在时间t433结束时,从时间t433至t458,传感器单元141对通过稀疏化包括高清晰图像的图像L205获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
而且,从时间t433至t434,传感器单元141执行曝光时间Te102(>Te101)的曝光,拍摄包括高清晰图像的图像L206,并生成根据入射光的量的图像信号。
当曝光在时间t434结束时,从时间t434至t459,传感器单元141对通过稀疏化包括高清晰图像的图像L206获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
此外,从时间t433至t435,临时高速存储器92经由外部I/F 34和信息处理单元32的信号处理单元62将作为最旧图像数据的图像C206的存储的图像数据传送到主存储器63。
通过到目前为止的处理,图像C204至C206的高清晰图像的图像数据以及图像C201至C206和图像L201至L206的缩小图像的图像数据被传送到主存储器63。
与上述处理并行地,显示控制单元83控制显示单元64顺序地读出存储在主存储器63中的图像C201至C206和图像L201至L206的缩小图像的图像数据,并且使显示单元64将该图像数据显示为实时取景图像。
在此,在以高速连续拍摄图像C201至C206以最小化成像间隔的同时,将图像L201至L206的成像间隔调整为当显示为实时取景图像时的帧速率。
因此,在这个示例中,图像L201至L206的曝光时间Te102(>Te101)被设定为比图像C201至C206的曝光时间Te101长。
因此,图像C201至C206的缩小图像的图像数据具有比图像L201至L206的缩小图像的图像数据更短的成像间隔,并且处于以比实时取景图像的帧速率更高的帧速率被拍摄的状态。
因此,当使显示单元64将缩小图像的图像数据显示为实时取景图像时,显示控制单元83稀疏化并显示缩小图像以符合实时取景图像的帧速率。
即,在图12中,当显示单元64将图像C201的缩小图像的图像数据显示为实时取景图像时,显示单元根据从时间t471至t472的帧速率稀疏化图像C202的缩小图像的图像数据,并且从时间t472至t473将图像C203的缩小图像的图像数据显示为实时取景图像。
此外,当显示单元64将图像C204的缩小图像的图像数据显示为实时取景图像时,显示单元根据从时间t473至t474的帧速率稀疏化图像C205的缩小图像的图像数据,并且从时间t474至t475将图像C206的缩小图像的图像数据显示为实时取景图像。
在下文中,由于根据实时取景图像的帧速率生成缩小图像的图像数据,因此从时间t475至t476将图像L201的缩小图像的图像数据显示为实时取景图像,其后类似地,从时间t476至t480将图像L202至L206的缩小图像的图像数据显示为实时取景图像。
通过以上处理,对于临时高速存储器92中可记录的图像数据的数量,通过配置环形缓冲器,只要执行高速连续成像,对于可存储在临时高速存储器92中的多个最近图像,就有可能在实现将成像间隔基本上缩短为0的成像的同时显示实时取景图像。
<在切换正常连续成像和高速连续成像的同时显示实时取景图像的示例>
上面已经描述了在使临时高速存储器92用作环形缓冲器的同时显示实时取景图像的示例。但是,可以在切换正常连续成像和高速连续成像的同时显示实时取景图像。
在此,将参考图13的时序图描述在切换正常连续成像和高速连续成像的同时显示实时取景图像的情况的操作示例。
首先,当操作操作单元31的模式切换单元52以将操作模式切换为正常连续成像并且操作成像触发器51以指示正常连续成像时,图像传感器控制单元81在传感器同步信号中的时间t501供应用于指示图像传感器33执行正常连续成像的控制信号。
响应于该信号,从时间t501至t502,传感器单元141执行曝光时间Te121的曝光,拍摄图像C221,并生成根据入射光的量的图像信号。
当曝光在时间t502结束时,传感器单元141从时间t502至t531对图像C221的图像信号执行AD转换并且将该图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t502至t531,临时高速存储器92存储从传感器单元91传送的一个图像C221的图像数据。
此时,传感器单元141对通过稀疏化图像C221获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F 34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
此外,从时间t502至t503,传感器单元141执行曝光时间Te121的曝光,拍摄包括高清晰图像的图像L221,并生成根据入射光的量的图像信号。
当曝光在时间t503结束时,从时间t503至t532,传感器单元141对通过稀疏化包括高清晰图像的图像L221获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
而且,从时间t503至t504,传感器单元141执行曝光时间Te121的曝光,拍摄包括高清晰图像的图像L222,并生成根据入射光的量的图像信号。
当曝光在时间t504结束时,从时间t504至t533,传感器单元141对通过稀疏化包括高清晰图像的图像L222获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
此外,在这个时段期间,从时间t503至t505,临时高速存储器92经由外部I/F 34和信息处理单元32的信号处理单元62将包括高清晰图像的图像C221的图像数据传送到主存储器63。
在将图像C221的图像数据从临时高速存储器92传送到主存储器63的处理期间,从时间t504至t505,传感器单元141执行曝光时间Te121的曝光,拍摄包括高清晰图像的图像C222,并且生成根据入射光的量的图像信号。
当曝光在时间t505结束时,从时间t505至t534,传感器单元141对包括高清晰图像的图像C222的图像信号执行AD转换并且将经转换的图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t505至t534,临时高速存储器92存储包括从传感器单元91传送的高清晰图像的一个图像C222的图像数据。
此外,从时间t504至t503,传感器单元141执行曝光时间Te121的曝光,拍摄包括高清晰图像的图像L221,并生成根据入射光的量的图像信号。
当曝光在时间t503结束时,从时间t503至t532,传感器单元141对通过稀疏化包括高清晰图像的图像L221获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
而且,从时间t503至t504,传感器单元141执行曝光时间Te121的曝光,拍摄包括高清晰图像的图像L222,并生成根据入射光的量的图像信号。
当曝光在时间t504结束时,从时间t504至t533,传感器单元141对通过稀疏化包括高清晰图像的图像L222获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
此外,在这个时段期间,从时间t503至t505,临时高速存储器92经由外部I/F 34和信息处理单元32的信号处理单元62将包括高清晰图像的图像C221的图像数据传送到主存储器63。
在将包括高清晰图像的图像C221的图像数据从临时高速存储器92传送到主存储器63的处理期间,从时间t504至t505,传感器单元141执行曝光时间Te121的曝光,拍摄包括高清晰图像的图像C222,并生成根据入射光的量的图像信号。
当曝光在时间t505结束时,传感器单元141从时间t505至t534对包括高清晰图像的图像C222的图像信号执行AD转换并且将经转换的图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t505至t534,临时高速存储器92通过覆写图像C221的图像数据来存储包括从传感器单元91传送的高清晰图像的一个图像C222的图像数据。
此时,传感器单元141对通过稀疏化图像C222获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F 34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
此外,从时间t505至t506,传感器单元141执行曝光时间Te121的曝光,拍摄包括高清晰图像的图像L223,并生成根据入射光的量的图像信号。
当曝光在时间t506结束时,从时间t506至t535,传感器单元141对通过稀疏化包括高清晰图像的图像L223获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
而且,从时间t506至t507,传感器单元141执行曝光时间Te121的曝光,拍摄包括高清晰图像的图像L224,并生成根据入射光的量的图像信号。
当曝光在时间t507结束时,从时间t507至t536,传感器单元141对通过稀疏化包括高清晰图像的图像L224获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
此外,在这个时段期间,从时间t506至t508,临时高速存储器92经由外部I/F 34和信息处理单元的信号处理单元62将图像C222的图像数据传送到主存储器63。
在将图像C222的图像数据从临时高速存储器92传送到主存储器63的处理期间,从时间t507至t508,传感器单元141执行曝光时间Te121的曝光,拍摄包括高清晰图像的图像C223,并且生成根据入射光的量的图像信号。
在此,在时间t591,假设当模式切换单元52***作并且操作模式被切换为高速连续成像时通过操作成像触发器51来指示高速连续成像。
图像传感器控制单元81指示图像传感器131执行高速连续成像。因此,在完成包括高清晰图像的图像C223的成像和到临时高速存储器92的传送之后,图像传感器131使用临时高速存储器92作为环形缓冲器来执行高速连续成像。
当曝光在时间t508结束时,传感器单元141从时间t508至t509对包括高清晰图像的图像C223的图像信号执行AD转换并且将经转换的图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t508至t509,临时高速存储器92通过覆写图像C222的图像数据来存储包括从传感器单元141传送的高清晰图像的一个图像C223的图像数据。
而且,从时间t508至t509,传感器单元141执行曝光时间Te122(<Te121)的曝光,拍摄包括高清晰图像的图像C224,并生成根据入射光的量的图像信号。
当曝光在时间t509结束时,传感器单元141从时间t509至t510对包括高清晰图像的图像C224的图像信号执行AD转换并且将经转换的图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t509至t510,当获取包括从传感器单元91传送的高清晰图像的一个图像C224的图像数据时,临时高速存储器92存储图像C224的图像数据。
即,在时间t509或之后,临时高速存储器92存储两个图像C223和C224的图像数据。
此外,此时,传感器单元141对通过稀疏化包括高清晰图像的图像C224获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F 34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
而且,并行地,从时间t509至t510,传感器单元141执行曝光时间Te122的曝光,拍摄包括高清晰图像的图像C225,并生成根据入射光的量的图像信号。
当曝光在时间t510结束时,传感器单元141从时间t510至t511对包括高清晰图像的图像C225的图像信号执行AD转换并且将经转换的图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t510至t511,当获取包括从传感器单元141传送的高清晰图像的一个图像C225的图像数据时,临时高速存储器92存储图像C225的图像数据。
即,在时间t510或之后,临时高速存储器92存储三个图像C223至C225的图像数据。
此外,此时,传感器单元141对通过稀疏化包括高清晰图像的图像C225获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F 34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
而且,并行地,从时间t510至t511,传感器单元141执行曝光时间Te122的曝光,拍摄包括高清晰图像的图像C226,并生成根据入射光的量的图像信号。
当曝光在时间t511结束时,传感器单元141从时间t511至t537对包括高清晰图像的图像C226的图像信号执行AD转换,并将经转换的图像信号作为包括数字信号的图像数据传送到临时高速存储器92。
同时,从时间t511至t537,当获取包括从传感器单元141传送的高清晰图像的一个图像C226的图像数据时,临时高速存储器92用图像C226的图像数据覆写作为最旧图像数据的图像C223的图像数据并存储该图像数据,因为临时高速存储器已经存储了三个图像的图像数据。
即,在时间t511及之后,三个图像C224至C226的图像数据存储在临时高速存储器92中。
此外,此时,传感器单元141对通过稀疏化包括高清晰图像的图像C226获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F 34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
在此,在时间t592,假设成像触发器51的操作被取消,并且单次成像、正常连续成像和高速连续成像的指令全部都被停止。
响应于这个指令,在时间t592,控制单元61的图像传感器控制单元81通过软件处理指示图像传感器33停止当前曝光图像C226和后续图像的高速连续成像。注意的是,停止的是高速连续成像,而用于显示实时取景图像的图像的成像继续进行。
即,从时间t511至t512,传感器单元141执行曝光时间Te121的曝光,拍摄包括高清晰图像的图像L225,并生成根据入射光的量的图像信号。
当曝光在时间t512结束时,从时间t512至t538,传感器单元141对通过稀疏化包括高清晰图像的图像L225获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
而且,从时间t512至t513,传感器单元141执行曝光时间Te121的曝光,拍摄包括高清晰图像的图像L226,并生成根据入射光的量的图像信号。
当曝光在时间t513结束时,从时间t513至t539,传感器单元141对通过稀疏化包括高清晰图像的图像L226获得的低分辨率缩小图像的图像信号执行AD转换,并经由外部I/F34和信号处理单元62将该图像信号作为包括数字信号的缩小图像的图像数据传送到主存储器63。
而且,从时间t512至t514,临时高速存储器92响应于在时间t592停止连续成像的指令而经由外部I/F 34和信息处理单元32的信号处理单元62将作为最旧图像数据的图像C224的存储的图像数据传送到主存储器63。
接下来,从时间t514至t516,临时高速存储器92经由外部I/F34和信息处理单元32的信号处理单元62将作为最旧图像数据的图像C225的存储的图像数据传送到主存储器63。
而且,从时间t516至t518,临时高速存储器92经由外部I/F 34和信息处理单元32的信号处理单元62将图像C226的存储的图像数据传送到主存储器63。
通过到目前为止的处理,图像C224至C226的高清晰图像的图像数据以及图像C221至C226和图像L221至L226的缩小图像的图像数据被传送到主存储器63。
与上述处理并行地,显示控制单元83控制显示单元64顺序地读出存储在主存储器63中的图像C221至C226和图像L221至L226的缩小图像的图像数据,并且使显示单元64将该图像数据显示为实时取景图像。
在此,虽然图像C224至C226是以高速连续拍摄的以最小化图像拍摄间隔,但是图像C221至C223和图像L221至L226的图像拍摄间隔被调整为当显示为实时取景图像时的帧速率。
因此,在这个示例中,图像C221至C223和图像L201至L206的曝光时间Te121(>Te122)被设定为比图像C224至C226的曝光时间Te122长。
因此,图像C224至C226的缩小图像的图像数据具有比图像L221至L126的缩小图像以及图像C221至C223的图像数据更短的成像间隔,并且处于以高于实时取景图像的帧速率的帧速率被拍摄的状态。
因此,当使显示单元64将缩小图像的图像数据显示为实时取景图像时,显示控制单元83稀疏化并显示缩小图像以符合实时取景图像的帧速率。
即,显示单元64从时间t571至t572显示图像C221的缩小图像的图像数据作为实时取景图像,从时间t572至t573显示图像L221的缩小图像的图像数据作为实时取景图像,并且从时间t573至t574显示图像L222的缩小图像的图像数据作为实时取景图像。
此后,由于直至t577根据实时取景图像的帧速率生成缩小图像的图像数据,因此显示单元64从时间t574至t575显示图像C222的缩小图像的图像数据作为实时取景图像。
然后,此后,类似地,显示单元64从时间t575至t576显示图像L223的缩小图像的图像数据作为实时取景图像,从时间t576至t577显示图像L224的缩小图像的图像数据作为实时取景图像,并且从时间t577至t578显示图像C223的缩小图像的图像数据作为实时取景图像。
在此,由于图像C224至C226是以高速连续拍摄的,因此显示单元64根据与实时取景图像的显示相关的帧速率来稀疏并显示图像C225的缩小图像的图像数据,以便将缩小图像的图像数据显示为实时取景图像。
即,显示单元64从时间t578至t579显示图像C224的缩小图像的图像数据作为实时取景图像,并且从时间t579至t580稀疏化图像C225的缩小图像的图像数据并且显示图像C226的缩小图像作为实时取景图像。
然后,对于随后的图像L225至L226,以与和实时取景图像的显示相关的帧速率对应的成像间隔拍摄图像,按原样顺序显示图像。
即,显示单元64从时间t579至t580显示图像L225的缩小图像的图像数据作为实时取景图像,并且从时间t580至t581显示图像L226的缩小图像的图像数据作为实时取景图像。
通过以上处理,有可能在切换正常连续成像和高速连续成像并显示实时取景图像的同时显示实时取景图像。
<<5.第二实施例的修改>>
在上文中,已经描述了其中传感器单元141和临时高速存储器92堆叠在图像传感器131中从而能够以高速传送图像数据的配置的示例。但是,传感器单元141和临时高速存储器92可以分开配置,只要图像数据可以在传感器单元141和临时高速存储器92之间被高速传送即可,与图8的成像设备11相似。
例如,如图14中的成像设备11所示,可以在图像传感器131的外部设置临时高速存储器112来代替临时高速存储器92,并且传感器单元141和图像传感器131中的临时高速存储器112可以通过高速I/F111连接。
注意的是,在图14的成像设备11中,除了具有相似功能的临时高速存储器112经由高速I/F 111连接到传感器单元91来代替临时高速存储器92之外,实质功能与图9的成像设备11相似,因此将省略对其的描述。
此外,图14中的成像设备11的操作示例也与图9中的成像设备11的操作示例相似,因此省略其描述。
<<6.通过软件执行的示例>>
顺便说一下,上述一系列处理可以通过硬件或软件来执行。在一系列处理由软件执行的情况下,构成软件的程序从记录介质安装到结合在特殊硬件中的计算机、能够通过安装各种程序来执行各种功能的通用计算机等。
图15图示了通用计算机的配置示例。个人计算机结合了中央处理单元(CPU)1001。输入/输出接口1005经由总线1004连接到CPU 1001。只读存储器(ROM)1002和随机存取存储器(RAM)1003连接到总线1004。
连接到输入/输出接口1005的是包括用于让用户输入操作命令的输入设备(诸如键盘和鼠标)的输入单元1006、向显示设备输出处理操作屏幕以及处理结果的图像的输出单元1007、包括用于存储程序和各种数据的硬盘驱动器等的存储单元1008以及包括局域网(LAN)适配器等并且经由以互联网为代表的网络执行通信处理的通信单元1009。此外,关于诸如磁盘(包括软盘)、光盘(包括紧凑盘只读存储器(CD-ROM)或数字多功能盘(DVD))、磁光盘(包括迷你盘(MD))或半导体存储器之类的可移动存储介质1011读取和写入数据的驱动器1010连接到输入/输出接口1005。
CPU 1001根据存储在ROM 1002中的程序或从安装在存储单元1008中的诸如磁盘、光盘、磁光盘或半导体存储器之类的可移动存储介质1011读取并从存储单元1008加载到RAM 1003的程序来执行各种类型的处理。此外,RAM 1003适当地存储CPU 1001执行各种类型的处理所必需的数据等。
在如上所述配置的计算机中,例如,CPU 1001将存储在存储单元1008中的程序加载到RAM 1003中并经由输入/输出接口1005和总线1004执行该程序,由此执行上述一系列处理。
要由计算机(CPU 1001)执行的程序例如可以记录在作为封装介质等的可移动存储介质1011上并被提供。此外,程序可以经由有线或无线传输介质(诸如局域网、互联网或数字卫星广播)提供。
在计算机中,通过将可移动存储介质1011附接到驱动器1010,可以经由输入/输出接口1005将程序安装到存储单元1008。此外,程序可以经由有线或无线传输介质由通信单元1009接收并安装在存储单元1008中。除了上述方法以外,程序可以预先安装在ROM 1002或存储单元1008中。
注意的是,由计算机执行的程序可以是根据本说明书中描述的次序按时间次序处理的程序,或者可以是并行或在必要的定时(诸如在进行调用时)执行的程序。
注意的是,图15中的CPU 1001实现图2、8、9和14中的控制单元61的功能。
此外,在本说明书中,术语“***”意味着多个构成要素(设备、模块(部分)等)的组,并且与所有构成要素是否在同一外壳中无关。因此,容纳在不同外壳中并经由网络连接的多个设备和在一个外壳中容纳多个模块的一个设备都是***。
注意的是,本公开的实施例不限于上述实施例,并且可以在不脱离本公开的主旨的情况下进行各种修改。
例如,本公开可以采用云计算的配置,其中一个功能由多个设备经由网络共享和协作处理。
此外,上述流程图中描述的步骤可以由一个设备执行,或者可以由多个设备共享和执行。
而且,在一个步骤中包括多个处理的情况下,一个步骤中包括的多个处理可以由一个设备执行,或者可以由多个设备共享并执行。
注意的是,本公开可以具有以下配置。
<1>一种成像设备,包括:
传感器单元,被配置为拍摄图像并将拍摄的图像作为图像数据传送;以及
临时存储器,被配置为临时存储从传感器单元传送的图像数据且然后将图像数据传送到主存储器,其中,
在指示高速连续成像的情况下,临时存储器在停止向主存储器传送图像数据的状态下顺序地存储以预定速度从传感器单元传送的多条图像数据,然后以低于所述预定速度的速度将多条存储的图像数据顺序地传送到主存储器。
<2>根据<1>所述的成像设备,其中,
在指示高速连续成像的情况下,临时存储器在停止向主存储器传送图像数据的状态下通过多条可存储图像数据顺序地存储以所述预定速度从传感器单元传送的图像数据,然后以低于所述预定速度的速度将多条存储的图像数据顺序地传送到主存储器。
<3>根据<1>所述的成像设备,其中,
在指示高速连续成像的情况下,临时存储器在停止向主存储器传送图像数据的状态下顺序地存储以预定速度从传感器单元传送的图像数据,直到指示停止高速连续成像为止,然后以低于所述预定速度的速度将多条存储的图像数据顺序地传送到主存储器。
<4>根据<1>所述的成像设备,其中,
临时存储器构成环形缓冲器,并且在指示高速连续成像的情况下,临时存储器在停止向主存储器传送图像数据的状态下通过多条可存储图像数据、通过用最新的图像数据覆写最旧的图像数据顺序地存储以预定速度从传感器单元传送的图像数据,直到停止高速连续成像的指令为止,并且在指示高速连续成像停止之后以低于所述预定速度的速度顺序地将多条存储的图像数据传送到主存储器。
<5>根据<1>所述的成像设备,其中,
临时存储器在指示正常连续成像的情况下用作能够存储一个图像的图像数据的构件,并且临时存储器重复以下处理:当以预定速度从传感器单元传送图像数据时临时存储图像数据然后将图像数据传送到主存储器,然后接下来,临时存储以预定速度从传感器单元传送的新图像数据然后将新图像数据传送到主存储器,直到指示停止正常连续成像为止。
<6>根据<5>所述的成像设备,还包括:
操作单元,被配置为指示高速连续成像和正常连续成像,其中,
操作单元根据操作模式切换并指示高速连续成像和正常连续成像。
<7>根据<6>所述的成像设备,还包括:
模式切换单元,被配置为切换操作单元的操作模式,其中,
操作单元的操作模式通过模式切换单元在高速连续成像的操作模式和正常连续成像的操作模式之间切换。
<8>根据<1>所述的成像设备,还包括:
显示单元,被配置为显示存储在主存储器中的图像,其中,
传感器单元还将通过稀疏化拍摄的图像的像素获得的低分辨率图像的图像数据直接传送到主存储器,以及
显示单元将低分辨率图像的图像数据显示为实时取景图像。
<9>根据<8>所述的成像设备,其中,
显示单元在直接传送到主存储器的低分辨率图像的图像数据当中根据实时取景图像的帧速率选择并显示低分辨率图像的图像数据。
<10>根据<9>所述的成像设备,其中,
显示单元在直接传送到主存储器的低分辨率图像的图像数据当中根据实时取景图像的帧速率来稀疏化、选择并显示预定的低分辨率图像的图像数据。
<11>根据<9>所述的成像设备,其中,
显示单元在直接传送到主存储器的低分辨率图像的图像数据当中根据实时取景图像的帧速率连续选择并显示预定的低分辨率图像的图像数据。
<12>根据<1>至<11>中的任一项所述的成像设备,其中,
在指示高速连续成像的情况下,传感器单元以相同的曝光时间拍摄所述多个图像。
<13>根据<1>至<11>中的任一项所述的成像设备,其中,
在指示高速连续成像的情况下,传感器单元以不同的曝光时间拍摄所述多个图像。
<14>根据<1>至<13>中的任一项所述的成像设备,其中,
临时存储器堆叠在传感器单元上并设定为集成构件。
<15>根据<1>至<13>中的任一项所述的成像设备,其中,
临时存储器经由能够以预定速度传送图像数据的接口与传感器单元分开地设置。
<16>一种成像设备的成像方法,该成像设备包括:
传感器单元,被配置为拍摄图像并将拍摄的图像作为图像数据传送,以及
临时存储器,被配置为临时存储从传感器单元传送的图像数据且然后将图像数据传送到主存储器,该成像方法包括:
通过临时存储器,在指示高速连续成像的情况下,在停止向主存储器传送图像数据的状态下顺序地存储以预定速度从传感器单元传送的多条图像数据,然后以低于所述预定速度的速度将多条存储的图像数据顺序地传送到主存储器。
附图标记列表
11 成像设备
31 操作单元
32 信息处理单元
33 图像传感器
34 外部接口
51 成像触发器
52 模式切换单元
61 控制单元
62 信号处理单元
63 主存储器
64 显示单元
81 图像传感器控制单元
82 信号处理控制单元
83 显示控制单元
84 存储器控制器
91 传感器单元
92 临时高速存储器
111 高速接口
112 临时高速存储器
131 图像传感器
141 传感器单元

Claims (16)

1.一种成像设备,包括:
传感器单元,被配置为拍摄图像并将拍摄的图像作为图像数据传送;以及
临时存储器,被配置为临时存储从传感器单元传送的图像数据且然后将图像数据传送到主存储器,其中,
在指示高速连续成像的情况下,临时存储器在停止向主存储器传送图像数据的状态下顺序地存储以预定速度从传感器单元传送的多条图像数据,然后以低于所述预定速度的速度将多条存储的图像数据顺序地传送到主存储器。
2.根据权利要求1所述的成像设备,其中,
在指示高速连续成像的情况下,临时存储器在停止向主存储器传送图像数据的状态下通过多条可存储图像数据顺序地存储以所述预定速度从传感器单元传送的图像数据,然后以低于所述预定速度的速度将多条存储的图像数据顺序地传送到主存储器。
3.根据权利要求1所述的成像设备,其中,
在指示高速连续成像的情况下,临时存储器在停止向主存储器传送图像数据的状态下顺序地存储以预定速度从传感器单元传送的图像数据,直到指示停止高速连续成像为止,然后以低于所述预定速度的速度将存储的多条图像数据顺序地传送到主存储器。
4.根据权利要求3所述的成像设备,其中,
临时存储器构成环形缓冲器,并且在指示高速连续成像的情况下,临时存储器在停止向主存储器传送图像数据的状态下通过多条可存储图像数据、通过用最新的图像数据覆写最旧的图像数据顺序地存储以预定速度从传感器单元传送的图像数据,直到停止高速连续成像的指令为止,并且在指示高速连续成像停止之后以低于所述预定速度的速度顺序地将多条存储的图像数据传送到主存储器。
5.根据权利要求1所述的成像设备,其中,
临时存储器在指示正常连续成像的情况下用作能够存储一个图像的图像数据的构件,并且临时存储器重复以下处理:当以预定速度从传感器单元传送图像数据时临时存储图像数据然后将图像数据传送到主存储器,然后接下来,临时存储以预定速度从传感器单元传送的新图像数据然后将新图像数据传送到主存储器,直到指示停止正常连续成像为止。
6.根据权利要求5所述的成像设备,还包括:
操作单元,被配置为指示高速连续成像和正常连续成像,其中,
操作单元根据操作模式切换并指示高速连续成像和正常连续成像。
7.根据权利要求6所述的成像设备,还包括:
模式切换单元,被配置为切换操作单元的操作模式,其中,
操作单元的操作模式通过模式切换单元在高速连续成像的操作模式和正常连续成像的操作模式之间切换。
8.根据权利要求1所述的成像设备,还包括:
显示单元,被配置为显示存储在主存储器中的图像,其中,
传感器单元还将通过稀疏化拍摄的图像的像素获得的低分辨率图像的图像数据直接传送到主存储器,以及
显示单元将低分辨率图像的图像数据显示为实时取景图像。
9.根据权利要求8所述的成像设备,其中,
显示单元在直接传送到主存储器的低分辨率图像的图像数据当中根据实时取景图像的帧速率选择并显示低分辨率图像的图像数据。
10.根据权利要求9所述的成像设备,其中,
显示单元在直接传送到主存储器的低分辨率图像的图像数据当中根据实时取景图像的帧速率来稀疏化、选择并显示预定的低分辨率图像的图像数据。
11.根据权利要求9所述的成像设备,其中,
显示单元在直接传送到主存储器的低分辨率图像的图像数据当中根据实时取景图像的帧速率连续选择并显示预定的低分辨率图像的图像数据。
12.根据权利要求1所述的成像设备,其中,
在指示高速连续成像的情况下,传感器单元以相同的曝光时间拍摄所述多个图像。
13.根据权利要求1所述的成像设备,其中,
在指示高速连续成像的情况下,传感器单元以不同的曝光时间拍摄所述多个图像。
14.根据权利要求1所述的成像设备,其中,
临时存储器堆叠在传感器单元上并设置为集成构件。
15.根据权利要求1所述的成像设备,其中,
临时存储器经由能够以预定速度传送图像数据的接口与传感器单元分开地设置。
16.一种成像设备的成像方法,该成像设备包括:
传感器单元,被配置为拍摄图像并将拍摄的图像作为图像数据传送,以及
临时存储器,被配置为临时存储从传感器单元传送的图像数据且然后将图像数据传送到主存储器,该成像方法包括:
通过临时存储器,在指示高速连续成像的情况下,在停止向主存储器传送图像数据的状态下顺序地存储以预定速度从传感器单元传送的多条图像数据,然后以低于所述预定速度的速度将多条存储的图像数据顺序地传送到主存储器。
CN202080052233.XA 2019-07-24 2020-07-10 成像设备和成像方法 Pending CN114175611A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019136103 2019-07-24
JP2019-136103 2019-07-24
PCT/JP2020/026972 WO2021015000A1 (ja) 2019-07-24 2020-07-10 撮像装置および撮像方法

Publications (1)

Publication Number Publication Date
CN114175611A true CN114175611A (zh) 2022-03-11

Family

ID=74193220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080052233.XA Pending CN114175611A (zh) 2019-07-24 2020-07-10 成像设备和成像方法

Country Status (5)

Country Link
US (1) US11895407B2 (zh)
EP (1) EP3993393B1 (zh)
JP (1) JP7484916B2 (zh)
CN (1) CN114175611A (zh)
WO (1) WO2021015000A1 (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1353397A (zh) * 2000-11-07 2002-06-12 佳能株式会社 图像传感设备以及控制图像传感设备的信息处理设备和方法
US20020093575A1 (en) * 2000-12-04 2002-07-18 Nikon Corporation Image-capturing device
US20030090575A1 (en) * 1992-01-14 2003-05-15 Ryosuke Miyamoto Electronic still camera
US20040169737A1 (en) * 2003-02-06 2004-09-02 Yoshiro Udagawa Image sensing apparatus, image sensing method, recording medium, and program
US20060227629A1 (en) * 2005-03-16 2006-10-12 Koji Shimbayashi Memory device and control method therefor
CN101325661A (zh) * 2007-06-14 2008-12-17 松下电器产业株式会社 摄像装置
CN101682691A (zh) * 2008-02-06 2010-03-24 松下电器产业株式会社 图像处理装置及图像处理方法
CN101690173A (zh) * 2007-06-25 2010-03-31 韩国科亚电子股份有限公司 用于没有时间延迟地显示所捕获的图像的图像处理设备和方法、以及在其上存储用于执行该方法的计算机可执行指令的计算机可读介质
WO2011104819A1 (ja) * 2010-02-23 2011-09-01 株式会社島津製作所 撮像用トリガ信号生成方法及び装置
CN102546925A (zh) * 2010-12-29 2012-07-04 Lg电子株式会社 移动终端及其控制方法
US20170019604A1 (en) * 2015-07-15 2017-01-19 Samsung Electronics Co., Ltd. Electronic device and method for processing image by electronic device
CN109076146A (zh) * 2016-04-15 2018-12-21 索尼公司 摄像元件、摄像装置和用于摄像元件的控制方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2830393A1 (de) 1978-07-11 1980-01-24 Bayer Ag Verfahren zur herstellung stippenfreier kautschuklatices mit hoher oberflaechenspannung
JP2012244303A (ja) * 2011-05-17 2012-12-10 Nikon Corp 電子デバイス、撮像装置、撮像システムおよびプログラム
TWI583195B (zh) 2012-07-06 2017-05-11 新力股份有限公司 A solid-state imaging device and a solid-state imaging device, and an electronic device
CN109792494B (zh) * 2016-10-04 2021-01-08 富士胶片株式会社 摄像装置、静态图像摄像方法及记录介质
KR102664014B1 (ko) * 2016-12-23 2024-05-09 삼성전자주식회사 이미지를 촬영하는 센서 및 그 제어 방법
JP6939242B2 (ja) * 2017-08-21 2021-09-22 ソニーグループ株式会社 撮像装置、撮像方法
CN112514370B (zh) * 2018-07-27 2023-07-28 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及记录介质
JP2019092223A (ja) * 2019-03-07 2019-06-13 株式会社ニコン 電子カメラ

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030090575A1 (en) * 1992-01-14 2003-05-15 Ryosuke Miyamoto Electronic still camera
CN1353397A (zh) * 2000-11-07 2002-06-12 佳能株式会社 图像传感设备以及控制图像传感设备的信息处理设备和方法
US20020093575A1 (en) * 2000-12-04 2002-07-18 Nikon Corporation Image-capturing device
US20040169737A1 (en) * 2003-02-06 2004-09-02 Yoshiro Udagawa Image sensing apparatus, image sensing method, recording medium, and program
US20060227629A1 (en) * 2005-03-16 2006-10-12 Koji Shimbayashi Memory device and control method therefor
CN101325661A (zh) * 2007-06-14 2008-12-17 松下电器产业株式会社 摄像装置
CN101690173A (zh) * 2007-06-25 2010-03-31 韩国科亚电子股份有限公司 用于没有时间延迟地显示所捕获的图像的图像处理设备和方法、以及在其上存储用于执行该方法的计算机可执行指令的计算机可读介质
CN101682691A (zh) * 2008-02-06 2010-03-24 松下电器产业株式会社 图像处理装置及图像处理方法
WO2011104819A1 (ja) * 2010-02-23 2011-09-01 株式会社島津製作所 撮像用トリガ信号生成方法及び装置
CN102546925A (zh) * 2010-12-29 2012-07-04 Lg电子株式会社 移动终端及其控制方法
US20170019604A1 (en) * 2015-07-15 2017-01-19 Samsung Electronics Co., Ltd. Electronic device and method for processing image by electronic device
CN109076146A (zh) * 2016-04-15 2018-12-21 索尼公司 摄像元件、摄像装置和用于摄像元件的控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Y. TOCHIGI ET AL: "《A Global-Shutter CMOS Image Sensor With Readout Speed of 1-Tpixel/s Burst and 780-Mpixel/s Continuous》", 《 IEEE JOURNAL OF SOLID-STATE CIRCUITS》, pages 329 - 338 *

Also Published As

Publication number Publication date
JP7484916B2 (ja) 2024-05-16
US11895407B2 (en) 2024-02-06
WO2021015000A1 (ja) 2021-01-28
EP3993393A1 (en) 2022-05-04
JPWO2021015000A1 (zh) 2021-01-28
EP3993393B1 (en) 2023-09-06
US20220263993A1 (en) 2022-08-18
EP3993393A4 (en) 2022-08-24

Similar Documents

Publication Publication Date Title
CN1941852B (zh) 摄影装置及摄影方法
JP5314736B2 (ja) 表示装置
CN100568929C (zh) 摄像装置
US20050225659A1 (en) Image processing apparatus
CN1829287A (zh) 图像处理方法和图像处理设备
JP2005234014A (ja) 撮像装置及び閃光装置の発光制御方法
US8957989B2 (en) Storage device, storage method, and computer-readable storage medium for storing video data
JP2006270187A (ja) 撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体
CN101729782B (zh) 成像设备和成像方法
US8358914B2 (en) Recording controlling device, recording controlling method, program used therein and recording device
WO2009104776A1 (ja) 撮像装置、撮像方法及びプログラム
JPH10126663A (ja) 画像入力装置及び画像入力システム
JP2001045343A (ja) 電子カメラ
JP4433981B2 (ja) 撮像方法および撮像装置
EP3993393B1 (en) Image capturing device and image capturing method
US6657671B1 (en) Image input device and method with strobo-light control
CN100406945C (zh) 摄像装置及透镜单元控制方法
JP4933205B2 (ja) 撮像装置、およびそれに用いる固体撮像素子、ならびに画像生成方法
US20050190287A1 (en) Digital camera for portable equipment
JPH11225284A (ja) 画像入力装置
US6885402B1 (en) Solid-state image pickup apparatus with fast photometry with pixels increased, and signal reading out method therefor
JP5696827B2 (ja) 電子機器、及び電源回路制御方法
JP2007036425A (ja) アナログ機器駆動システムおよび撮像装置
JP2019216406A (ja) 撮像装置およびその制御方法
JP2022155410A (ja) 撮像素子および撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination