CN102857694A - 图像合成设备及其控制方法 - Google Patents

图像合成设备及其控制方法 Download PDF

Info

Publication number
CN102857694A
CN102857694A CN2012102288349A CN201210228834A CN102857694A CN 102857694 A CN102857694 A CN 102857694A CN 2012102288349 A CN2012102288349 A CN 2012102288349A CN 201210228834 A CN201210228834 A CN 201210228834A CN 102857694 A CN102857694 A CN 102857694A
Authority
CN
China
Prior art keywords
image
composograph
frame
synthesis
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102288349A
Other languages
English (en)
Other versions
CN102857694B (zh
Inventor
中山文贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102857694A publication Critical patent/CN102857694A/zh
Application granted granted Critical
Publication of CN102857694B publication Critical patent/CN102857694B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及图像合成设备及其控制方法。图像合成设备能够在合成运动图像时,与要合成的图像数无关地、能不增加处理时间和传送至存储器的数据量地进行图像合成处理。合成预设数量的帧以获得第一合成图像。当要将另一帧的图像与第一合成图像合成时,从第一合成图像减去用于合成出第一合成图像的预定帧的图像,并且将另一帧的图像与相减结果相加以生成合成图像。

Description

图像合成设备及其控制方法
技术领域
本发明涉及合成多个图像以获得运动图像的图像合成设备及其控制方法,以及存储用于实施该方法的控制程序的计算机可读存储介质。
背景技术
近年来,在诸如数字照相机等的摄像设备中,针对图像稳定提出了各种方法。在这些方法中,存在以下方法:进行拍摄来以不易发生照相机抖动的快门速度拍摄多个曝光不足的图像,并且在拍摄之后,合成多个图像以获得适当曝光的图像。
例如,存在以下方法:当要合成图像时,对图像进行时间的对准(也称为偏移校正),然后,进行合成以生成一个静止图像(参见日本特开平05-7336)。
此外,存在以下方法:不合成作为拍摄结果所获得的所有图像,而是根据拍摄期间所获得的图像信息来确定合成所需的图像的数量,并且合成所确定的数量的图像(参见日本特开2006-191305或日本特开2006-253810)。
根据上述专利文献中的任意一个,合成静止图像,并且如果要合成运动图像,则不仅合成所需的处理时间将增加,而且传送至存储器的数据量将增加。
发明内容
本发明提供一种能够在合成运动图像时与要合成的图像数无关地、在防止处理时间和传送至存储器的数据量的增加的情况下进行图像合成处理的图像合成设备及其控制方法、以及存储用于实施该方法的控制程序的计算机可读存储介质。
因此,本发明的第一方面提供一种图像合成设备,用于合成多个帧以获得合成图像,所述图像合成设备包括:第一合成单元,用于合成预设数量的帧以获得第一合成图像;以及第二合成单元,用于在要将另一帧的图像与所述第一合成图像进行合成时,从所述第一合成图像减去获得所述第一合成图像的合成所使用的预定帧的图像,并且将所述另一帧的图像与相减结果相加以生成合成图像。
因此,本发明的第二方面提供一种图像合成设备,用于合成多个帧以获得合成图像,所述图像合成设备包括:第一合成单元,用于合成预设数量的帧以获得第一合成图像;以及第二合成单元,用于在要将另一帧的图像与所述第一合成图像进行合成时,将所述另一帧的图像与所述第一合成图像相加,并且从相加结果减去获得所述第一合成图像的合成所使用的预定帧的图像以生成合成图像。
因此,本发明的第三方面提供一种图像合成设备的控制方法,所述图像合成设备用于合成多个帧以获得合成图像,所述控制方法包括:第一合成步骤,用于合成预设数量的帧以获得第一合成图像;以及第二合成步骤,用于在要将另一帧的图像与所述第一合成图像进行合成时,从所述第一合成图像减去获得所述第一合成图像的合成所使用的预定帧的图像,并且将所述另一帧的图像与相减结果进行相加以生成合成图像。
因此,本发明的第四方面提供一种图像合成设备的控制方法,所述图像合成设备用于合成多个帧以获得合成图像,所述控制方法包括:第一合成步骤,用于合成预设数量的帧以获得第一合成图像;以及第二合成步骤,用于在要将另一帧的图像与所述第一合成图像进行合成时,将所述另一帧的图像与所述第一合成图像相加,并且从相加结果减去获得所述第一合成图像的合成所使用的预定帧的图像以生成合成图像。
因此,本发明的第五方面提供一种非瞬态计算机可读存储介质,用于存储用于使图像合成设备实现所述图像合成设备所使用的控制方法的控制程序,所述图像合成设备用于合成多个帧以获得合成图像,所述控制方法包括:第一合成步骤,用于合成预设数量的帧以获得第一合成图像;以及第二合成步骤,用于在要将另一帧的图像与所述第一合成图像进行合成时,将所述另一帧的图像与所述第一合成图像相加,并且从相加结果减去获得所述第一合成图像的合成所使用的预定帧的图像以生成合成图像。
根据本发明,当要合成运动图像时,可以与要合成的图像数无关地、在不增加处理时间和传送至存储器的数据量的情况下进行图像合成处理。
通过以下(参考附图)对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
图1是示出使用根据本发明第一实施例的典型图像合成设备的摄像设备的框图。
图2A和2B是图1所示的数字摄像机中的图像合成处理的流程图。
图3是用于说明图1所示的数字摄像机中的图像合成处理的时序图。
图4是示出使用根据本发明第一实施例的另一典型图像合成设备的摄像设备的框图。
图5A和5B是使用本发明第二实施例的图像合成设备的数字摄像机中的图像合成处理的流程图。
图6是用于说明使用根据本发明第二实施例的图像合成设备的数字摄像机中的图像合成处理的时序图。
图7是示出使用根据本发明第三实施例的典型图像合成设备的摄像设备的框图。
图8是用于说明图7所示的数字摄像机中的图像合成处理的时序图。
图9是示出典型的传统图像合成设备的框图。
图10是用于说明图9所示的图像合成设备中的图像合成处理的图。
具体实施方式
现在将参考示出本发明实施例的附图来详细说明本发明。
这里将说明传统的图像合成设备中的图像合成处理。
图9是示出典型的传统图像合成设备的框图。图10是用于说明图9所示的图像合成设备中的图像合成处理的图。
参考图9和10,图中所示的图像合成设备是所谓的循环图像合成设备,并且当要合成的图像数存在变化时,改变循环次数以应对要合成的图像数的变化。现在假定从存储器901中存储的摄像和存储器保持图像1001合成五个图像。当从输入部900逐一输入第一帧(F[1])至第五帧(F[5])的图像时,将第一帧(F[1])至第五帧(F[5])的图像临时保持在存储器901中。
然后,对准部902读取图像F[1]并且将图像F[1]与图像F[5]对准以生成图像F_r[1]。此时,合成部903读取图像F[5],将F[5]与F_r[1]合成,并且将所产生的合成图像保持在存储器901中。
针对第二帧、第三帧和第四帧重复进行相同的处理,并且最后,当第一帧至第五帧的图像的合成结束时,合成部903将所产生的合成图像(合成运动图像1002)输出至输出部904。在这种情况下,当存在未进行合成的任意图像时,合成部903不从存储器901中读取该图像。
这里,图9所示的图像合成设备合成静止图像,并且如果要合成运动图像,则不仅合成所需的时间段将不可避免地增加,而且传送至存储器的数据量将增加。
例如,假定如图10所示,以作为一般运动图像的帧频的60fps来拍摄运动图像,并且以60fps的帧频记录和输出所产生的合成运动图像。在这种情况下,为了合成五个图像,需要在1/60秒内对五个图像完成时间的对准和图像合成。
此外,在1/60秒内发生数量上与要合成的图像数相对应的从存储器的读取/至存储器的写入。为此,与合成静止图像的情况相比,传送至存储器的数据量增加。由此,随着要合成的图像数增加,处理时间和传送至存储器的数据量增加。
因此,在本实施例中,可以通过一次图像相加和一次图像相减来生成合成图像,从而即使要合成的图像数增加,也可以在不增加处理时间和传送至存储器的数据量的情况下进行合成。
图1是示出使用根据本发明第一实施例的典型图像合成设备的摄像设备的框图。
图中所示的摄像设备是数字摄像机,用于拍摄运动图像并合成运动图像。参考图1,数字摄像机具有透镜100和快门101。应当注意,快门101包括所谓的电子快门和机械快门。
经由透镜100和快门101在诸如CMOS传感器102等的摄像装置上形成光学图像。CMOS传感器102将光学图像转换成模拟信号,并且将该模拟信号输出至A/D转换部103。然后,A/D转换部103对模拟信号进行A/D转换并且将所产生的信号作为数字信号(图像信号)供给至照相机信号处理部104。
照相机信号处理部104对图像信号进行诸如调整大小和显像等的各种图像处理以获得图像数据。然后,照相机信号处理部104将图像数据写入存储器105中。这里,作为利用数字摄像机拍摄的结果而获得的图像数据是运动图像数据,该运动图像数据具有多个帧,并且以帧为单位将图像数据写入存储器105中。应当注意,在以下说明中,假定运动图像数据包括五个帧。
图像对准部106(图像对准单元)从存储器105读取图像数据,并且如后所述将基准图像数据与其它图像数据对准。如图中所示,第一开关部107连接至图像对准部106的输出,以及第二开关部108连接至存储器105。第一开关部107选择性地将作为对准的结果所获得的图像数据供给至图像相加部109(相加单元)和图像相减部110(相减单元)之一。同样,第二开关部108选择性地将从存储器105读取的图像数据供给至图像相加部109和图像相减部110之一。
图像相加部109将作为对准的结果所获得的图像数据和从存储器105读取的图像数据相加。即,图像相加部109将两个图像相加。图像相减部110进行作为对准的结果所获得的图像数据和从存储器105读取的图像数据之间的相减。即,图像相减部110进行两个图像之间的相减。
图像相加部109的输出和图像相减部110的输出连接至第三开关部111。第三开关部111选择性地输出来自图像相加部109的输出和来自图像相减部110的输出作为输出图像数据。将输出图像数据写入存储器105中,并且还将输出图像数据供给至记录部112和显示部113。记录部112将输出图像数据记录在诸如闪速存储器或HDD等的记录介质中。显示部113将输出图像数据显示为图像。
应当注意,尽管图1中未示出,但照相机信号处理部104、图像对准部106、第一开关部107、第二开关部108、第三开关部111、图像相加部109和图像相减部110等在CPU的控制下工作。
图2A和2B是图1所示的数字摄像机中的图像合成处理的流程图。图3是用于说明图1所示的数字摄像机中的图像合成处理的时序图。
参考图3,写入存储器105中的图像数据由附图标记301表示,以及作为合成的结果所获得的图像数据由附图标记302表示。n表示从1开始的帧编号,F[n]表示写入存储器105中的第n个帧的图像数据。F_r[n]表示在对第n个帧的图像数据进行对准之后所获得的图像数据。F[n]’和F[n]”各自表示通过合成直到第n个帧的图像数据所获得的合成图像数据。这里,图像数据F[n]是以1/60秒为间隔输入的,并且以1/60秒的间隔生成合成图像数据F[n]’。由此,后述的图像合成处理在1/60秒的时间段内完成。
参考图1~3,当开始图像合成处理时,首先,CPU将帧编号n设置为1,并且将要合成的图像数N设置为5(步骤S201)。然后,CPU使得快门速度等于所设置的快门速度。由此,以所设置的快门速度,经由透镜100和快门101输入的光学图像在CMO S传感器102上形成图像。然后,如前所述,A/D转换部103将作为来自CMOS传感器102的输出的模拟信号转换成数字信号。照相机信号处理部104对数字信号进行图像处理,并将数字信号绘制为图像数据F[n](步骤S202)。之后,将图像数据F[n]写入存储器105中(步骤S203)。应当注意,在以下说明中,将图像数据仅称为图像。
然后,CPU判断当前的帧编号n是否大于要合成的图像数N(步骤S204)。当n≤N(步骤S204中为“否”)时,即,当当前的帧编号n不大于5时,CPU判断是否满足n=1(步骤S205)。当n=1(步骤S205中为“是”)时,即,当输入图像是第一帧的图像时,CPU控制第二开关部108和第三开关部111经由图像相加部109将存储器105中存储的图像F[1]供给至记录部112和显示部113。结果,记录部112记录图像F[1],并且在显示部113上显示图像F[1](步骤S223)。还将图像F[1]作为合成图像F[1]’写入存储器105中。应当注意,因为在第一帧中不存在要合成的图像,所以F[1]=F[1]’。
然后,CPU判断是否存在下一帧(步骤S224)。当不存在下一帧时(步骤S224中为“是”),CPU结束图像合成处理。另一方面,当存在下一帧时(步骤S224中为“否”),CPU使帧编号n增加1(步骤S225)。这里,因为n=1,所以将帧编号n增加至2。然后,CPU进入步骤S202。
当在步骤S205中n不等于1时(步骤S205中为“否”),CPU进入步骤S207。例如,当输入图像是第二帧的图像时,图像对准部106在CPU的控制下从存储器105读取第一帧的合成图像F[1]’(步骤S207)。应当注意,当输入图像是第n个帧的图像时,图像对准部106从存储器105读取图像F[1]至F[n-1]的合成图像F[n-1]’。然后,图像对准部106参考第二帧的图像F[2]来对准合成图像F[n-1]’以生成对准图像F_r[1]’(步骤S208)。
CPU控制第一开关部107和第二开关部108将图像对准部106和存储器105连接至图像相加部109。图像相加部109从存储器105读取图像F[2](步骤S209),并且将图像F[2]与对准图像F_r[1]’相加以生成合成图像F[2]’(步骤S210)。
在这种情况下,CPU控制第三开关部111选择图像相加单元109。结果,将合成图像F[2]’写入存储器105中(步骤S211)。然后,处理进入步骤S223,其中,记录部112记录合成图像F[2]’并且在显示部113上显示合成图像F[2]’。
以上述方式,在步骤S208~S211中,将合成图像F[n-1]’与图像F[n]对准,并且将对准图像F_r[n-1]’和图像F[n]相加。然后,将作为相加的结果所获得的合成图像F[n]’(第一合成图像)写入存储器105中。
当在步骤S204中n>N时(步骤S204中为“是”),即,当输入图像是第六帧的图像时,CPU进入步骤S213。在该阶段,将第一帧至第五帧的图像的合成图像F[5]’存储在存储器105中。图像对准部106从存储器105中读取第一帧的图像F[1]、即构成合成图像F[5]’的图像中时间最早的图像。即,图像对准部106读取图像F[n-N](步骤S213)。图像对准部106将图像F[1]与合成图像F[5]’对准以生成对准图像F_r[1](步骤S214)。注意,虽然在此作为例子说明了使用第一帧的图像F[1]的情况,但是如本领域技术人员所知的,可以使用构成合成图像F[5]’的图像中的任意图像。
CPU控制第一开关部107和第二开关部108将图像对准部106和存储器105连接至图像相减部110。图像相减部110从存储器105读取合成图像F[5]’(步骤S215)。然后,图像相减部110从合成图像F[5]’减去对准图像F_r[1]以生成合成图像F[5]”(步骤S216)。
在这种情况下,CPU控制第三开关部111选择图像相减部110。结果,将合成图像F[5]”写入存储器105中(步骤S217)。因为从第一至第五帧的合成图像F[5]’减去图像F[1],所以合成图像F[5]”是第二至第五帧的合成图像。合成图像F[5]”是临时生1成的图像,并且CPU不利用记录部112记录合成图像F[5]”,并且也不在显示部113上显示合成图像F[5]”。
然后,图像对准部106从存储器105读取合成图像F[5]”(步骤S218),并且通过将合成图像F[5]”与要新进行合成的图像F[6]对准来生成对准图像F_r[5]”,其中,图像F[6]在时间上比用于合成图像F[5]”的图像晚(步骤S219)。
CPU控制第一开关部107和第二开关部108将图像对准部106和存储器105连接至图像相加部109。图像相加部109从存储器105读取图像F[6](步骤S220)。然后,图像相加部109将图像F[6]和对准图像F_r[5]”相加(步骤S221)以生成合成图像F[6]’并且将合成图像F[6]’存储在存储器105中(步骤S222)。
然后,处理进入步骤S223,其中CPU控制第三开关部111以利用记录部112记录合成图像F[6]’并且在显示部113上显示合成图像F[6]’。然后,处理进入步骤S224。
应当注意,针对第七帧以后的帧,进行步骤S213~S225中的处理。
以上述方式,在步骤S214~S222中的处理中,将图像F[n-N]与图像F[n-1]对准以生成对准图像F_r[n-N](第一对准图像)。接着,从合成图像F[n-1]’减去对准图像F_r[n-N](相减处理)以获得合成图像F[n-1]”(第二合成图像)。然后,将合成图像F[n-1]”与图像F[n]对准以生成对准图像F_r[n-1]”(第二对准图像)。之后,将对准图像F_r[n-1]”和图像F[n]相加(相加处理)以获得合成图像F[n]’(第三合成图像)。
由此,在上述第一实施例中,因为可以通过一次图像相加和一次图像相减来生成合成图像,所以即使要合成的图像数增加,也可以在不增加处理时间和传送至存储器的数据量的情况下进行合成。
图4是示出使用根据本发明第一实施例的另一典型图像合成设备的摄像设备的框图。应当注意,在图4中,与图1所示的数字摄像机相同的组件由相同的附图标记表示,并且省略其说明。
在使用三脚架等上安装的摄像机进行拍摄的情况下,由照相机抖动引起的图像模糊可能不发生。在这种情况下,特别地,不需要进行对准。因此,图4所示的数字摄像机配备了第四开关部620。第四开关部620的输入侧连接至存储器105和图像对准部106,并且输出侧连接至第一开关部107。第四开关部620由CPU控制来选择存储器105和图像对准部106之一。
在图4所示的数字摄像机中,针对运动图像的第一帧至第五帧进行图2A的步骤S205~S211中的处理。在第六帧中,将第一帧至第五帧的合成图像F[5]’保持在存储器105中。
首先,图像相减部110从存储器105读取第一帧的图像F[1]、即时间最早的图像,并且从合成图像F[5]’减去图像F[1]。结果,图像相减部110生成合成图像F[5]”并且将合成图像F[5]”存储在存储器105中。
然后,图像相加部109从存储器105读取第六帧的图像F[6]和合成图像F[5]”,并且将图像F[6]和合成图像F[5]”相加。结果,图像相加部109生成合成图像F[6]’并将合成图像F[6]’存储在存储器105中。
接着,将说明根据本发明第二实施例的典型图像合成设备。
图5A和5B是使用本发明第二实施例的图像合成设备的数字摄像机中的图像合成处理的流程图。图6是用于说明使用根据本发明第二实施例的图像合成设备的数字摄像机中的图像合成处理的时序图。
应当注意,根据第二实施例的数字摄像机具有与图1所示相同的配置。此外,在图5A、5B和6中,与图2A、2B和3相同的处理由相同的附图标记指定。在以下说明中,将省略由CPU切换控制第一开关部107、第二开关部108和第三开关部110的说明。
现在将参考图1、5A、5B和6说明数字摄像机中通过合成5个图像来生成运动图像的情况。以参考图2A和2B的上述方式,进行步骤S201~S211中的处理。现在假定步骤S204中n>N,即,当输入图像是第六帧以后的图像时,处理进入步骤S413。假定输入图像是第六帧的图像,将第一帧至第五帧的合成图像F[5]’存储在存储器105中。
在步骤S413中,图像对准部106从存储器105读取合成图像F[5]’。然后,图像对准部106将合成图像F[5]’与要新进行合成的图像F[6]对准,以生成对准图像F_r[5]’(步骤S414)。
图像相加部109从存储器105读取图像F[6](步骤S415)。然后,图像相加部109将图像F[6]和对准图像F_r[5]’相加(步骤S416)以生成新的合成图像F[6]”。图像相加部109将合成图像F[6]”存储在存储器105中(步骤S417)。
作为第一至第六帧的合成图像的合成图像F[6]”是通过将第六帧的图像与第一至第六帧的合成图像相加所获得的图像。合成图像F[6]”是临时生成的图像,并且不由记录部112记录并且不由显示部113显示。
然后,图像对准部116从存储器105读取图像F[1]、即构成合成图像F[6]”的图像中时间最早的图像(步骤S418)。然后,图像对准部106将图像F[1]与合成图像F[6]”对准以生成对准图像F_r[1](步骤S419)。
接着,图像相减部110从存储器105读取合成图像F[6]”(步骤S420)。然后,图像相减部110从合成图像F[6]”减去对准图像F_r[1](步骤S421)以生成合成图像F[6]’。图像相减部110将合成图像F[6]’存储在存储器105中(步骤S422)。之后,处理进入以上参考图2B所述的步骤S223。
应当注意,针对第七帧以后的帧,进行步骤S413~S422中的处理。
由此,在上述第二实施例中,因为可以通过一次图像相加和一次图像相减来生成合成图像,所以即使要合成的图像数增加,也可以在不增加处理时间和传送至存储器的数据量的情况下进行合成。
图7是示出使用根据本发明第三实施例的典型图像合成设备的摄像设备的框图。应当注意,在图7中,与图1所示的数字摄像机相同的组件由相同的附图标记指定,并且省略其说明。
图中所示的数字摄像机具有被摄体运动检测部722(运动检测单元)以及第一增益调整部720和第二增益调整部721(增益调整单元)。向被摄体运动检测部722供给作为来自照相机信号处理部104的输出的图像数据。被摄体运动检测部722根据图像数据检测图像中诸如人等的被摄体的运动,并输出运动检测信号。
如图所示,第一增益调整部720连接至图像对准部106的输出,以及第二增益调整部721连接至存储器105。第一增益调整部720根据运动检测信号来调整作为来自图像对准部106的输出的对准图像的增益。同样,第二增益调整部721根据运动检测信号来调整从存储器105读取的图像的增益。
图8是用于说明图7所示的数字摄像机中的图像合成处理的时序图。
参考图7和8,现在假定运动图像的帧是第六帧,并且被摄体运动检测部722检测该帧中被摄体的运动。在该情况下,如后所述,进行增益调整以在保留第一帧的图像的影响的同时减少第六帧的图像的影响。应当注意,在以下说明中,将省略对第一开关部107、第二开关部108和第三开关部111的切换控制的说明。
首先,图像对准部106从存储器105读取图像F[1]、即构成合成图像F[5]’的图像中时间最早的图像。然后,图像对准部106将图像F[1]与图像F[5]对准以生成对准图像F_r[1]。第一增益调整部720将对准图像F_r[1]与预定增益(α)相乘以生成增益调整图像(α*F_r[1])。如前所述,对第一帧进行相减,这里,将α设置为小于1以保留第一帧的影响。
图像相减部110从自存储器105读取的合成图像F[5]’减去增益调整图像(α*F_r[1])以生成合成图像F[5]”。然后,图像相减部110将合成图像F[5]”存储在存储器105中。合成图像F[5]”是通过从第一至第五帧的合成图像减去已调整了增益的第一帧的图像所获得的图像。
接着,图像对准部106从存储器105读取合成图像F[5]”。图像对准部106将合成图像F[5]”与要新进行合成的图像F[6]对准以生成对准图像F_r[5]”。第二增益调整部721将图像F[6]与预定增益(α)相乘以生成增益调整图像(α*F[6])。针对第六帧的图像,如上所述进行相加,并且这里使用与第一帧的增益相同的增益(α)。
图像相加部109将从存储器105读取的对准图像F_r[5]”与增益调整图像(α*F[6])相加以生成新的合成图像F[6]’。然后,图像相加部109将合成图像F[6]’存储在存储器105中。
由此,在第三实施例中,因为在合成处理期间被摄体移动时对要相加的图像和要相减的图像进行增益调整,所以可以减少被摄体运动的影响。
根据本实施例,如上所述,当要合成运动图像时,可以与要合成的图像数无关地、在不增加处理时间和传送至存储器的数据量的情况下进行图像合成处理。
从以上说明清楚可知,在图1和其它图中,图像相加部109用作第一合成单元,以及图像相加部109和图像相减部110用作第二合成单元。存储器105、图像对准部106、第一开关部107、第二开关部108、图像相加部109、图像相减部110和第三开关部111构成图像合成设备。
其它实施例
还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的***或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的方面,其中,利用***或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的步骤。为此,例如,通过网络或者通过用作存储器装置的各种类型的记录介质(例如,计算机可读介质)将该程序提供给计算机。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
本申请要求于2011年6月30日提交的日本专利申请2011-145591的优先权,其全部内容通过引用包含于此。

Claims (11)

1.一种图像合成设备,用于合成多个帧以获得合成图像,所述图像合成设备包括:
第一合成单元,用于合成预设数量的帧以获得第一合成图像;以及
第二合成单元,用于在要将另一帧的图像与所述第一合成图像进行合成时,从所述第一合成图像减去获得所述第一合成图像的合成所使用的预定帧的图像,并且将所述另一帧的图像与相减结果相加以生成合成图像。
2.根据权利要求1所述的图像合成设备,其特征在于,所述第二合成单元包括:
相减单元,用于从所述第一合成图像减去所述预定帧的图像以获得第二合成图像;以及
相加单元,用于将所述另一帧的图像与所述第二合成图像相加以获得第三合成图像。
3.根据权利要求2所述的图像合成设备,其特征在于,还包括:
图像对准单元,用于在要将所述另一帧的图像与所述第一合成图像进行合成时,将所述预定帧的图像与所述第一合成图像对准以生成第一对准图像,
其中,所述相减单元使用所述第一对准图像作为所述预定帧的图像来进行相减,
所述图像对准单元将所述第二合成图像与所述另一帧的图像对准以生成第二对准图像,以及
所述相加单元使用所述第二对准图像作为所述第二合成图像来进行相加以获得所述第三合成图像。
4.一种图像合成设备,用于合成多个帧以获得合成图像,所述图像合成设备包括:
第一合成单元,用于合成预设数量的帧以获得第一合成图像;以及
第二合成单元,用于在要将另一帧的图像与所述第一合成图像进行合成时,将所述另一帧的图像与所述第一合成图像相加,并且从相加结果减去获得所述第一合成图像的合成所使用的预定帧的图像以生成合成图像。
5.根据权利要求4所述的图像合成设备,其特征在于,所述第二合成单元包括:
另一相加单元,用于将所述另一帧的图像与所述第一合成图像相加以获得第二合成图像;以及
另一相减单元,用于从所述第二合成图像减去所述预定帧的图像以获得第三合成图像,并且使用所述第三合成图像作为所述合成图像。
6.根据权利要求5所述的图像合成设备,其特征在于,还包括:
另一图像对准单元,用于在要合成所述另一帧的图像时,将所述第一合成图像与所述另一帧的图像对准以获得第一对准图像,
其中,所述另一相加单元使用所述第一对准图像作为所述第一合成图像来进行相加以获得所述第二合成图像,
所述另一图像对准单元将所述预定帧的图像与所述第二合成图像对准以获得第二对准图像,以及
所述另一相减单元使用所述第二对准图像作为所述预定帧的图像来进行相减以获得所述第三合成图像。
7.根据权利要求1或4所述的图像合成设备,其特征在于,所述预定帧的图像是构成所述第一合成图像的图像中最早的图像。
8.根据权利要求1或4所述的图像合成设备,其特征在于,所述另一帧的图像是比所述第一合成图像所使用的帧的图像晚的帧的图像。
9.根据权利要求1或4所述的图像合成设备,其特征在于,还包括:
运动检测单元,用于检测所述另一帧的图像和所述另一帧之前的帧的图像之间的被摄体的运动;以及
增益调整单元,用于在所述运动检测单元检测到所述被摄体的运动时,在相加和相减处理之前调整图像的增益。
10.一种图像合成设备的控制方法,所述图像合成设备用于合成多个帧以获得合成图像,所述控制方法包括:
第一合成步骤,用于合成预设数量的帧以获得第一合成图像;以及
第二合成步骤,用于在要将另一帧的图像与所述第一合成图像进行合成时,从所述第一合成图像减去获得所述第一合成图像的合成所使用的预定帧的图像,并且将所述另一帧的图像与相减结果进行相加以生成合成图像。
11.一种图像合成设备的控制方法,所述图像合成设备用于合成多个帧以获得合成图像,所述控制方法包括:
第一合成步骤,用于合成预设数量的帧以获得第一合成图像;以及
第二合成步骤,用于在要将另一帧的图像与所述第一合成图像进行合成时,将所述另一帧的图像与所述第一合成图像相加,并且从相加结果减去获得所述第一合成图像的合成所使用的预定帧的图像以生成合成图像。
CN201210228834.9A 2011-06-30 2012-07-02 图像合成设备及其控制方法 Expired - Fee Related CN102857694B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011145591A JP5748579B2 (ja) 2011-06-30 2011-06-30 画像合成装置、撮像装置、その制御方法、および制御プログラム
JP2011-145591 2011-06-30

Publications (2)

Publication Number Publication Date
CN102857694A true CN102857694A (zh) 2013-01-02
CN102857694B CN102857694B (zh) 2016-06-01

Family

ID=47390306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210228834.9A Expired - Fee Related CN102857694B (zh) 2011-06-30 2012-07-02 图像合成设备及其控制方法

Country Status (3)

Country Link
US (1) US9066011B2 (zh)
JP (1) JP5748579B2 (zh)
CN (1) CN102857694B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103973978A (zh) * 2014-04-17 2014-08-06 华为技术有限公司 一种实现重对焦的方法和电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013218031A (ja) * 2012-04-05 2013-10-24 Canon Inc 撮像装置
KR20160078023A (ko) * 2014-12-24 2016-07-04 삼성전자주식회사 디스플레이 제어 장치 및 디스플레이 제어 방법
DE102016101967B9 (de) 2016-02-04 2022-06-30 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtungen zur Stereobilddarstellung
JP7310617B2 (ja) * 2020-01-22 2023-07-19 ウシオ電機株式会社 アライメントマーク検出装置およびアライメントマーク検出方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1216427A (zh) * 1997-10-30 1999-05-12 沈阳信息技术研究所 视频像控录像控制器
US20080088711A1 (en) * 2006-10-11 2008-04-17 Border John N Digital image with reduced object motion blur
US20090115717A1 (en) * 2004-09-13 2009-05-07 Seiko Epson Corporation Display method for liquid crystal panel, and display apparatus
CN101771809A (zh) * 2009-10-20 2010-07-07 大连捷成实业发展有限公司 基于fpga实现多路数字视频同步处理方法
US20110096179A1 (en) * 2009-10-27 2011-04-28 Border John N Method for improved digital video image quality

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3110797B2 (ja) 1991-06-21 2000-11-20 キヤノン株式会社 撮像方法及び撮像画面合成装置
JP2004048421A (ja) * 2002-07-12 2004-02-12 Minolta Co Ltd 撮像装置
JP2006033123A (ja) * 2004-07-13 2006-02-02 Konica Minolta Photo Imaging Inc 撮像装置
JP4401949B2 (ja) * 2004-11-26 2010-01-20 キヤノン株式会社 動画撮像装置及び動画撮像方法
JP2006191305A (ja) 2005-01-05 2006-07-20 Mitsubishi Electric Corp カメラ付き携帯端末装置
JP2006253810A (ja) 2005-03-08 2006-09-21 Canon Inc 撮像装置
JP4670663B2 (ja) * 2006-01-30 2011-04-13 株式会社ニコン 画像生成装置および画像生成プログラム
JP2007068209A (ja) * 2006-10-25 2007-03-15 Casio Comput Co Ltd 動画像生成装置及び動画像生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1216427A (zh) * 1997-10-30 1999-05-12 沈阳信息技术研究所 视频像控录像控制器
US20090115717A1 (en) * 2004-09-13 2009-05-07 Seiko Epson Corporation Display method for liquid crystal panel, and display apparatus
US20080088711A1 (en) * 2006-10-11 2008-04-17 Border John N Digital image with reduced object motion blur
CN101771809A (zh) * 2009-10-20 2010-07-07 大连捷成实业发展有限公司 基于fpga实现多路数字视频同步处理方法
US20110096179A1 (en) * 2009-10-27 2011-04-28 Border John N Method for improved digital video image quality

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103973978A (zh) * 2014-04-17 2014-08-06 华为技术有限公司 一种实现重对焦的方法和电子设备
CN103973978B (zh) * 2014-04-17 2018-06-26 华为技术有限公司 一种实现重对焦的方法和电子设备

Also Published As

Publication number Publication date
CN102857694B (zh) 2016-06-01
US9066011B2 (en) 2015-06-23
JP5748579B2 (ja) 2015-07-15
US20130002952A1 (en) 2013-01-03
JP2013012998A (ja) 2013-01-17

Similar Documents

Publication Publication Date Title
US8878951B2 (en) Image processing apparatus and method of controlling the same
CN103229496B (zh) 摄像装置以及摄像方法
CN102857694A (zh) 图像合成设备及其控制方法
KR101871675B1 (ko) 촬상장치, 및 그 제어 방법
CN103312975A (zh) 图像处理装置、以及图像处理方法
CN102572238A (zh) 摄像设备及其控制方法
CN104243863A (zh) 拍摄装置、拍摄方法
CN101969592A (zh) 声音记录设备和方法
CN102651798A (zh) 电子设备
JP4953770B2 (ja) 撮像装置
CN104065873A (zh) 图像取得装置以及图像取得方法
US10129449B2 (en) Flash band, determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus
US11159725B2 (en) Image processing apparatus, image processing method, and recording medium
JP2021196643A (ja) 推論装置、撮像装置、学習装置、推論方法、学習方法、及びプログラム
JP5273895B2 (ja) 撮像装置及びレンズ装置
US20230096541A1 (en) Image processing apparatus and image processing method
JP6278729B2 (ja) 撮像装置、その制御方法及びプログラム
US11356603B2 (en) Image capturing apparatus and control method therefor
US9536566B2 (en) Video processing device, video processing method, and recording medium
JPH1175106A (ja) 静止画カメラ
JP5030721B2 (ja) データ処理回路
US20230215034A1 (en) Image processing apparatus, image processing method, and image capture apparatus
US20180288328A1 (en) Image processing apparatus, image processing method, and storage medium
JP5078516B2 (ja) ビデオカメラ
JP5831820B2 (ja) 画像処理装置、及び、プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160601

Termination date: 20210702