CN101595728B - 图像拾取设备及其控制方法和程序 - Google Patents
图像拾取设备及其控制方法和程序 Download PDFInfo
- Publication number
- CN101595728B CN101595728B CN200880003628XA CN200880003628A CN101595728B CN 101595728 B CN101595728 B CN 101595728B CN 200880003628X A CN200880003628X A CN 200880003628XA CN 200880003628 A CN200880003628 A CN 200880003628A CN 101595728 B CN101595728 B CN 101595728B
- Authority
- CN
- China
- Prior art keywords
- image
- dynamic menu
- affine transformation
- captured image
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 80
- 238000003384 imaging method Methods 0.000 title abstract 3
- 238000006243 chemical reaction Methods 0.000 claims abstract description 71
- 230000009466 transformation Effects 0.000 claims description 403
- 238000004364 calculation method Methods 0.000 claims description 26
- 230000002194 synthesizing effect Effects 0.000 claims description 23
- 230000015572 biosynthetic process Effects 0.000 claims description 18
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 238000003860 storage Methods 0.000 abstract description 178
- 230000015654 memory Effects 0.000 abstract description 111
- 238000013500 data storage Methods 0.000 abstract description 25
- 239000002131 composite material Substances 0.000 abstract 2
- 239000000203 mixture Substances 0.000 abstract 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 388
- 239000011159 matrix material Substances 0.000 description 82
- 238000012545 processing Methods 0.000 description 72
- 238000000605 extraction Methods 0.000 description 62
- 239000013598 vector Substances 0.000 description 61
- 230000033001 locomotion Effects 0.000 description 47
- 238000001514 detection method Methods 0.000 description 41
- 239000000284 extract Substances 0.000 description 34
- 230000008569 process Effects 0.000 description 25
- 230000004044 response Effects 0.000 description 23
- 230000003287 optical effect Effects 0.000 description 21
- 239000000872 buffer Substances 0.000 description 18
- 230000014759 maintenance of location Effects 0.000 description 18
- 239000004973 liquid crystal related substance Substances 0.000 description 17
- 238000000205 computational method Methods 0.000 description 12
- 238000001914 filtration Methods 0.000 description 9
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 7
- 230000003321 amplification Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000000151 deposition Methods 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 241000270295 Serpentes Species 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241001300198 Caperonia palustris Species 0.000 description 1
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/16—Spatio-temporal transformations, e.g. video cubism
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及图像拾取设备及其控制方法和程序。当访问图像拾取设备拾取的拾取图像时,可容易地掌握拾取图像的内容。动态画面存储部分200存储图像拾取部分110产生的图像数据。元数据存储部分210存储关于第一拾取图像和第二拾取图像的变换信息。图像存储器180将图像保存为历史图像。图像变换部分150基于变换信息变换第二拾取图像。图像合成部分170合成变换后的第二拾取图像与历史图像,以形成合成图像。操作接受部分160接受指定第二拾取图像的显示放大率的指定操作。显示区域提取部分190基于指定的显示放大率确定在图像存储器180中保存的合成图像上的显示区域,并且提取显示区域中包括的那些图。显示控制部分240将提取的图像依次显示在显示部分250。
Description
技术领域
本发明涉及一种图像拾取设备,尤其涉及一种能显示拾取图像的图像拾取设备和一种用于所述图像拾取设备的控制方法以及一种用于使计算机执行该方法的程序。
背景技术
在最近几年,诸如数字摄像机和数字摄影机之类的图像拾取设备已经普及。此外,如下图像拾取设备是可得到的,其中这些图像拾取设备记录的拾取图像可被显示和再现在诸如液晶面板的显示部分上。
此外,如下图像拾取设备是可得到的,其中这种显示部分上显示的拾取图像的显示放大率可通过用户操作而改变。例如,已经提出一种图像再现设备,其中记录图像被再现和显示的情况下,图像的部分区域按放大比例显示(例如,参考日本专利公开No.2000-217061(图4))。
根据以上描述的相关技术,由于在显示部分显示的拾取图像的部分区域可按放大比例显示,所以用户可放大和观看希望的图像部分。另一方面,考虑到在用户想以鸟瞰(bird-eye)观察方式观看在显示部分显示的拾取图像时,拾取图像按缩小比例显示。例如,可能的想法是在显示部分的中央部分按缩小比例逐一依次显示被依次记录的静止画面。这个例子中,由于只有作为显示对象的静止画面以缩小状态被显示,用户不能掌握该静止画面与其它静止画面的关系,并且难以以鸟瞰观察方式观看图像。因此,可能的想法是例如按缩小比例显示静止画面,从而它们在显示部分上按时间序列彼此并列。这个例子中,尽管静止画面按时间序列并列,但可能用户不能掌握例如静止画面的相邻画面之间的关系,并且可能不能以鸟瞰观察方式观看拾取图像。
此外,可能的想法是,在显示部分的中心附近按缩小比例再现拾取动态画面。在这个实施例中,也有可能用户不能掌握形成拾取动态画面的一个拾取图像和除该拾取图像之外的其它拾取图像的关系,并且可能不能以鸟瞰观察方式观看拾取动态画面。
因此,考虑到例如如果相对于其它拾取图像能以鸟瞰观察方式观看被依次记录的静止画面或拾取动态画面,那么用户可容易地掌握拾取图像的内容。
本发明的目的是当访问图像拾取设备拾取的拾取图像时,有可能容易地掌握拾取图像的内容。
发明内容
为解决上述主题已提出本发明,并且根据本发明的第一方面,提供有一种图像拾取设备、和一种用于该图像拾取设备的控制方法以及一种使计算机执行该方法的程序,该图像拾取设备包括:图像拾取装置,用于拾取图像拾取对象以产生图像数据;变换信息计算装置,用于基于第一拾取图像和第二拾取图像,计算关于第一拾取图像和第二拾取图像的变换信息,该第一拾取图像是与所述图像数据相对应的图像,该第二拾取图像在图像拾取所述图像数据时,在时间轴上定位得比第一拾取图像靠后;图像存储装置,用于将在时间轴上定位在第二拾取图像之前的那些图像存储为历史图像;图像变换装置,用于基于计算的变换信息变换第二拾取图像;图像合成装置,用于合成变换的第二拾取图像与历史图像以形成合成图像;操作接受装置,用于接受指定第二拾取图像的显示放大率的指定操作;及控制装置,用于基于指定的显示放大率确定在图像存储装置中存储的合成图像上的显示区域,并使在显示区域中包括的图像被依次显示。这带来如下操作。具体地,基于变换信息变换第二拾取图像,并且将变换的第二拾取图像与历史图像合成以形成合成图像。如果接受指定用于第二拾取图像的显示放大率的指定操作,那么基于指定的显示放大率确定用于合成图像的显示区域,并且依次显示被包括在显示区域中的那些图像。
此外,根据这个第一方面,当指定缩小第二拾取图像的显示放大率的指定操作由操作接受装置接受时,控制装置可以确定显示区域,该显示区域至少包括在图像存储装置中存储的合成图像中的变换的第二拾取图像、和第二拾取图像周围的那些图像。这带来如下操作。具体地,如果指定缩小第二拾取图像的显示放大率的指定操作被接受,那么确定显示区域,该显示区域至少包括变换的第二拾取图像、和第二拾取图像周围的那些图像。
此外,根据这个第一方面,控制装置基于计算的变换信息和指定的显示放大率可以确定显示区域,并且图像合成装置可以将图像变换装置变换之前的第二拾取图像通过重写与显示区域中包括的图像合成,以形成显示图像。这带来如下操作。具体地,基于变换信息和指定的显示放大率来确定显示区域,并且变换之前的第二拾取图像通过重写与显示区域中包括的图像合成,以产生显示图像。
此外,根据这个第一方面,控制装置基于计算的变换信息,在图像变换装置变换第二拾取图像的变换方向相反的方向,变换在显示区域中包括的图像,并且图像合成装置可以将图像变换装置变换之前的第二拾取图像通过重写与变换之后在显示区域中包括的图像合成,以形成显示图像。这带来如下操作。具体地,基于变换信息,在与第二拾取图像的变换方向相反的方向,显示区域中包括的图像被变换,并且变换之前的第二拾取图像通过重写与变换之后在显示区域中包括的图像合成,以形成显示图像。
此外,根据这个第一方面,图像拾取装置可以拾取图像拾取对象以产生动态画面的图像数据,并且第一拾取图像和第二拾取图像可以是形成动态画面的拾取图像。这带来如下操作。具体地,图像拾取对象的图像被拾取以产生动态画面的图像数据,并且依次显示关于拾取图像的显示图像,这些拾取图像根据产生的图像数据形成拾取动态画面。此外,这个例子中,变换信息计算装置可以包括:特征点提取装置,用于基于像素提取第一拾取图像和第二拾取图像的特征点,这些像素形成第一拾取图像和第二拾取图像,第一拾取图像和第二拾取图像形成图像拾取动态画面;运动量计算装置,用于基于提取的特征点计算关于第一拾取图像和第二拾取图像的运动量;及变换参数计算装置,用于基于计算的运动量计算预定变换参数以计算变换信息。此外,这个例子中,特征点提取装置可以由多核处理器形成,并且多核处理器通过SIMD数学运算对形成第一拾取图像和第二拾取图像的像素可以执行并行处理,以提取第一拾取图像和第二拾取图像的特征量。此外,这个例子中,运动量计算装置可以由多核处理器形成,并且多核处理器通过SIMD数学运算对提取的特征点可以执行并行处理,以计算第一拾取图像和第二拾取图像的运动量。
此外,根据这个第一方面,操作接受装置可以接受用于移动显示区域的移动操作,并且控制装置基于接受的移动操作来移动在图像存储装置中存储的合成图像上的显示区域。这带来如下操作:如果接受用于移动显示区域的移动操作,那么基于接受的移动操作来移动合成图像的显示区域。
同时,根据本发明的第二方面,提供有一种图像拾取设备、一种用于该图像拾取设备的控制方法以及一种使计算机执行该方法的程序,图像拾取设备包括:图像拾取装置,用于拾取图像拾取对象以产生图像数据;变换信息计算装置,用于基于第一拾取图像和第二拾取图像,计算关于第一拾取图像和第二拾取图像的变换信息,第一拾取图像是与所述图像数据相对应的图像,第二拾取图像在图像拾取所述图像数据时,在时间轴上定位得比第一拾取图像靠后;图像存储装置,用于将在时间轴上定位在第二拾取图像之前的那些图像存储为历史图像;图像变换装置,用于基于计算的变换信息来变换历史图像;图像合成装置,用于合成第二拾取图像与变换的历史图像以形成合成图像;操作接受装置,用于接受指定第二拾取图像的显示放大率的指定操作;及控制装置,用于基于指定的显示放大率确定在图像存储装置中存储的合成图像上的显示区域,并且使显示区域中包括的图像被依次显示。这带来如下操作。具体地,基于变换信息来变换历史图像,并且将第二拾取图像与变换的历史图像合成以形成合成图像。如果接受指定用于第二拾取图像的显示放大率的指定操作,那么基于指定的显示放大率确定在合成图像上的显示区域,并且依次显示被包括在显示区域中的图像。
根据本发明,出色效果是当访问图像拾取设备拾取的拾取图像时,可容易地掌握拾取图像的内容。
附图说明
图1是方块图,表示根据本发明实施例的图像拾取设备100的功能构造例子。
图2是视图,表示根据本发明实施例的图像拾取设备100的外观。
图3是方块图,表示在本发明实施例中的摄影机工作检测部分120的功能构造例子。
图4是视图,示意地表示在本发明实施例中在动态画面存储部分200和元数据存储部分210中记录的文件。
图5是视图,表示与形成动态画面的帧相对应的图像的例子。
图6是视图,表示从与形成动态画面的帧相对应的图像中省去背景等简化的图像。
图7是流程图,表明本发明实施例中通过图像拾取设备100的仿射变换参数检测处理的处理过程。
图8是视图,表明图像拾取设备100拾取的动态画面的转变的例子。
图9是视图,以虚线表示与关于图8所示图像的紧前一帧相对应的图像,并且表明检测的光流。
图10是视图,表明再现包括图8所示图像401至403的动态画面时的显示图像的例子。
图11是视图,表明图像拾取设备100拾取的动态画面的转变的例子。
图12是视图,以虚线表示与关于图11所示图像的紧前一帧相对应的图像,并且表明检测的光流。
图13是视图,表明再现包括在图11所示图像421至423的动态画面时的显示图像的例子。
图14是视图,表明图像拾取设备100拾取的动态画面的转变的例子。
图15是视图,以虚线表示与关于图14所示图像的紧前一帧相对应的图像,并且表明检测的光流。
图16是视图,表明再现包括在图14所示图像441至443的动态画面时的显示图像的例子。
图17是视图,示意地表明在本发明实施例中在动态画面存储部分200存储的动态画面文件的帧与显示区域之间的关系。
图18是视图,示意地表明在图像存储器180中存储的图像和在液晶面板251显示的图像,其中动态画面以其变化的显示放大率被显示。
图19是视图,示意地表明在本发明实施例中在动态画面存储部分200中存储的动态画面文件的帧流。
图20是视图,表示在如下情况的合成(图像480)例子:其中图像拾取设备100拾取的动态画面被再现,并且在图像480的当前图像482之前的图像484被仿射变换。
图21是视图,表示图像485,其中按放大比例显示在图20所示的框483围绕的图像区域;和存储在显示存储器230的图像487,在仿射变换之后的当前图像被存储到图像存储器180中的状态下。
图22是流程图,表明根据本发明实施例的图像拾取设备100的动态画面再现处理的处理过程。
图23是视图,表明在如下情况的显示例子:再现包括图8所示图像401至403的动态画面。
图24是视图,表明在如下情况的显示例子:再现包括图11所示图像421至423的动态画面。
图25是视图,表明在如下情况的显示例子:再现包括在图14所示图像441至443的动态画面。
图26是视图,示意地表明在本发明实施例中在动态画面存储部分200存储的动态画面文件的帧与显示区域之间的关系。
图27是方块图,表示根据本发明实施例的图像拾取设备101的功能构造例子。
图28是方块图,表示在本发明实施例中的重合点搜索部分340的功能构造例子。
图29是视图,示意地表示在本发明实施例中在动态画面存储部分200和相对关系信息存储部分220中记录的文件。
图30是视图,示意地表明仿射变换参数计算方法,通过选择在图像中包括的重合点来计算关于两个图像的仿射变换参数,并且基于选择的重合点来合成两个图像。
图31是视图,示意地表明仿射变换参数计算方法,通过选择在图像中包括的重合点来计算关于两个图像的仿射变换参数。
图32是视图,示意地表明合成两个动态画面的合成例子。
图33是视图,示意地表明合成两个动态画面的合成例子。
图34是视图,表明在如下情况的显示例子:在显示部分250显示图33所示的合成图像。
图35是视图,示意地表示在本发明实施例中在动态画面存储部分200和相对关系信息存储部分220中记录的文件。
图36是视图,表示关于三个动态画面的图像中包括的重合点被选择的图像。
图37是视图,表示在如下情况的例子:基于在关于三个动态画面的图像上选择的重合点,合成三个图像。
图38是视图,示意地表明合成三个动态画面的合成例子。
图39是视图,表示合成静止画面和多个动态画面的例子。
图40是视图,表示本发明实施例中多核处理器800的构造例子。
图41是视图,表示本发明实施例中控制处理器核801的构造例子。
图42是视图,表示本发明实施例中数学运算处理器核(#1)811的构造例子。
图43是视图,示意地表明本发明实施例中多核处理器800的数学运算方法。
图44是视图,示意地表明程序和数据流,其中本发明实施例的多核处理器800执行数学运算。
图45是视图,表明按照各个指令执行对多个数据的处理的数学运算方法的概要,和按照单个指令执行对多个数据的处理的SIMD数学运算的概要。
图46是视图,表示在本发明实施例中控制处理器核801或数学运算处理器核(#1)811执行的程序构造例子。
图47是视图,示意地表明在本发明实施例中用于主存储器781存储的图像数据的数据结构和处理流程,其中使用Sobel滤波器830执行滤波处理。
图48是视图,示意地表明数据流,其中在本发明实施例中对主存储器781存储的图像数据使用Sobel滤波器830执行SIMD数学运算。
图49是视图,示意地表明从第一缓冲器831存储的图像数据产生九个向量的向量产生方法,其中使用本发明实施例的Sobel滤波器830执行滤波处理。
图50是视图,示意地表明对于向量数据841至849使用SIMD指令执行向量数学运算的向量数学运算方法,其中使用本发明实施例的Sobel滤波器830执行滤波处理。
图51是视图,按时间序列示意地表明本发明实施例的摄影机工作参数计算处理的流程。
图52是视图,示意地表示作为记录介质例子的蓝光(blu-ray)盘880、蓝光盘880上记录的数据881至884、及蓝光再现机890的内部构造,蓝光再现机890可再现蓝光盘880。
具体实施方式
下面参照附图详细描述本发明的实施例。
图1是方块图,表示根据本发明实施例的图像拾取设备100的功能构造例子。图像拾取设备100包括图像拾取部分110、摄影机工作检测部分120、记录控制部分130、文件获取部分140、图像变换部分150、操作接受部分160、图像合成部分170、图像存储器180、显示区域提取部分190、动态画面存储部分200、元数据存储部分210、显示存储器230、显示控制部分240及显示部分250。图像拾取设备100可由数字摄像机实施,数字摄像机通过图像分析可从例如拾取的动态画面提取特征量,并且使用提取的特征量执行各种图像处理。
图像拾取部分110接收从图像拾取对象通过图像拾取透镜(未示出)入射的光,并且执行光电转换,以响应接收光量产生图像信号,并且对图像信号执行各种信号处理。然后,被执行信号处理的图像信号作为动态画面(拾取动态画面)输出到摄影机工作检测部分120和记录控制部分130。
摄影机工作检测部分120分析从图像拾取部分110输出的动态画面,以检测在图像拾取时图像拾取设备100的运动信息(摄影机工作),并且将基于图像拾取设备100的运动信息计算的仿射变换参数(摄影机工作参数)输出到记录控制部分130。具体地,摄影机工作检测部分120从形成动态画面的每一个图像提取特征点,并且提取关于每一个特征点的光流(运动向量)。然后,摄影机工作检测部分120分析所提取的关于特征点的光流以选择指示主导运动的那些特征点,并且基于关于指示主导运动的特征点的光流,估计图像拾取设备100的运动。这里,主导运动表示关于多个特征点的光流中的较大量的光流指示的有序运动。要注意,摄影机工作检测部分120参照图3详细描述。
记录控制部分130将从图像拾取部分110输出的动态画面作为动态画面文件记录到动态画面存储部分200中,并且将从摄影机工作检测部分120输出的仿射变换参数作为元数据文件以与对应动态画面和帧的相关联关系存储到元数据存储部分210中。
动态画面存储部分200在记录控制部分130的控制下存储从图像拾取部分110输出的动态画面作为动态画面文件。此外,动态画面存储部分200按照来自文件获取部分140的请求将动态画面文件供给到文件获取部分140。要注意,在动态画面存储部分200中存储的动态画面文件下文参照图4描述。
元数据存储部分210在记录控制部分130的控制下存储从摄影机工作检测部分120输出的仿射变换参数作为元数据文件。此外,元数据存储部分210按照来自文件获取部分140的请求将元数据文件供给到文件获取部分140。要注意,在元数据存储部分210中存储的元数据文件下文参照图4详细描述。
文件获取部分140响应操作接受部分160接受的操作输入获取在动态画面存储部分200或元数据存储部分210中存储的文件的至少一个,并且将获取一个或多个文件的信息供给到各个部分。具体地,在再现动态画面的指令操作由操作接受部分160接受时,文件获取部分140从动态画面存储部分200获取再现指令的对象的动态画面文件,并且获取以与动态画面文件相关联关系在元数据存储部分210中存储的元数据文件,然后将获取的动态画面文件的动态画面和获取的元数据文件的仿射变换参数输出到图像变换部分150。
图像变换部分150对每个帧使用与图像(这些图像形成从文件获取部分140输出的动态画面文件的动态画面)相对应的仿射变换数据执行图像的仿射变换,并且将仿射变换后的图像输出到图像合成部分170。注意这样的图像变换参照图8至19等详细描述。
操作接受部分160包括各种操作部件,并且当它接受到来自任一个操作部件的操作输入时,将接受的操作输入的内容输出到文件获取部分140或显示区域提取部分190。要注意这些操作部件参照图2详细描述。此外,操作接受部分160和显示部分250的至少部分可以整体地构造成触摸面板。
图像合成部分170通过用图像变换部分150仿射变换之后的图像重写在图像存储器180存储的与直到紧前一帧的帧相对应的合成图像,而合成图像,并且将合成的新合成图像存储到图像存储器180中。此外,图像合成部分170基于响应于显示放大率的值确定的显示区域的大小,通过重写将图像变换部分150的仿射变换之前的当前图像与显示存储器230存储的合成图像相合成。要注意,显示存储器230中的当前图像的合成参照图19等详细描述。此外,这样的图像合成参照图8至19等详细描述。这里,图像合成部分170压缩图像变换部分150的仿射变换之后的图像,并且用压缩图像重写图像存储器180存储的合成图像,从而在存储器230存储的合成图像上被重写的当前图像由分辨率比非压缩图像或压缩历史图像更高的拾取图像形成。因此,当输出合成图像时,历史图像可由压缩图像形成,从而当前图像可由分辨率比非压缩图像或压缩历史图像更高的拾取图像形成。
图像存储器180是保存图像合成部分170合成的合成图像的工作缓冲器,并且将保存的合成图像供给到图像合成部分170或显示区域提取部分190。换句话说,图像存储器180是保存历史图像的图像存储器。
显示区域提取部分190从图像存储器180保存的合成图像提取在显示区域的范围中存在的图像,该区域是显示对象的区域,并且将提取的图像存储在显示存储器230中。要注意,在显示区域的范围中包括的图像的提取参照图17至19等详细描述。
显示存储器230是保存显示区域提取部分190从图像存储器180提取的图像的显示缓冲器,并且在显示存储器230中保存的图像被显示在显示部分250。
显示控制部分240控制显示部分250,以依次显示为每个帧在所述显示存储器230中保存的合成图像。
在显示控制部分240的控制下,显示部分250显示当前图像或显示存储器230存储的合成图像。例如,显示部分250可由如图2所示的显示面板251实施。
图2是视图,表示根据本发明实施例的图像拾取设备100的外观。具体地,图2是视图,表示液晶面板251和液晶面板251的***元件。
图像拾取设备100包括液晶面板251、变焦按钮161及十字按钮162。要注意,变焦按钮161和十字按钮162与图1所示的操作接受部分160相对应。此外,液晶面板251与图1所示的显示部分250相对应。要注意,尽管诸如电源开关和拾取图像记录指令按钮的其它操作部件被提供为图像拾取设备100的操作接受部分160,这里省略它们的说明和描述。
液晶面板251是显示从图像拾取部分110输出的拾取动态画面的液晶面板。要注意,液晶面板251可以形成为显示各种选择按钮的触摸面板,从而用手指等触及任一个选择按钮的区域,可执行操作输入。
变焦按钮161是当变焦放大率要调节时操作的按钮。具体地,图2所示的W(广)按钮和T(远)按钮提供在变焦按钮161上。然后,在图像拾取时,在W按钮被按下的状态下,变焦透镜运动到广端侧(广角侧),但在T按钮被按下的状态下,变焦透镜运动到远端侧(远摄侧)。此外,在动态画面再现时,在W按钮被按下的状态下,再现期间的动态画面按缩小比例被依次显示,但在T按钮被按下的另一种状态下,再现期间的动态画面按放大比例被依次显示。
十字按钮162是在动态画面的再现时在向上、向下、向左或向右方向移动显示区域而操作的按钮。具体地,通过按压十字按钮162的四个箭头标记的至少一个,显示区域可在箭头标记指示的方向移动。
图3是方块图,表示本发明实施例中的摄影机工作检测部分120的功能构造例子。摄影机工作检测部分120包括特征点提取单元121、光流计算单元122及摄影机工作参数计算单元123。
特征点提取单元121从形成图像拾取部分110输出的动态画面的帧相对应的图像提取特征点,并且将提取的特征点输出到光流计算单元122。这里,特征点提取单元121,对于形成图像拾取部分110输出的动态画面的帧的顶部帧,从整个图像提取特征点,但对于除顶部帧之外的帧,从与紧前一帧相对应的图像相比新拾取的区域部分提取特征点。要注意,作为特征点,例如,可提取在竖直方向或水平方向的边缘上梯度很高的点(点一般叫做“角部点”。在如下描述中,所述点称作“角部点”)。这个角部点是难以计算光流的特征点,并且可使用边缘检测而确定。要注意,角部点的提取参照图5和6详细描述。此外,在这个例子中,尽管特征点提取单元121对于顶部帧从整个图像提取特征点,并且对于除顶部帧之外的帧,从与紧前一图像相比新拾取的区域部分提取特征点,但对于除顶部帧之外的帧,特征点也可以从整个图像提取。
光流计算单元122为从特征点提取单元121输出的每个特征点计算光流,并且将计算确定的光流输出到摄影机工作参数计算单元123。具体地,光流计算单元122将形成从图像拾取部分110输出的动态画面的两个连续帧(当前帧和紧前一帧)彼此比较,以确定与紧前一帧相对应的图像的各个特征点相对应的光流作为当前帧的光流。此外,为形成动态画面的每一个帧确定光流。要注意,作为检测光流的检测方法,可使用诸如倾斜法和块匹配法的检测方法。要注意,光流的计算参照图5和6详细描述。
摄影机工作参数计算单元123使用从光流计算单元122输出的与特征点相对应的光流,执行计算摄影机工作参数的摄影机工作参数计算处理,并且将计算的摄影机工作参数输出到记录控制部分130。这里,本发明的实施例中,再现对象的多个动态画面的图像被变换,并且与图像拾取设备100的运动相一致地显示。为了执行图像的变换,图像拾取设备100的运动使用光流计算单元122计算的光流被提取,并且基于提取的运动来计算摄影机工作参数(变换参数)。要注意,本发明的实施例中,描述如下例子:其中作为变换形成对象再现的动态画面的图像的图像变换方法,使用仿射变换。此外,描述如下例子:其中作为摄影机工作参数,使用仿射变换参数,与基于光流计算的仿射变换参数的矩阵的逆矩阵相对应。具体地,本发明的实施例中,用作变换信息的仿射变换参数被定义为这样的仿射变换参数,其不对应于代表连续图像之间的特征点运动的仿射矩阵,而对应于代表其中连续图像之一被确定为基准图像的仿射矩阵,对应于与基准图像相邻的图像运动到何处。此外,尽管描述仿射变换参数用作摄影机工作参数的例子,但可以使用诸如投影变换之类的其它图像变换方法。要注意,使用在三个点处的向量通过计算可确定仿射变换参数。同时,使用在四个点处的向量通过计算可确定投影变换参数。这里,摄影机工作参数是将形成拾取动态画面的至少一个拾取图像用作基准而变换其它拾取图像的变换信息,并且至少包括根据图像拾取设备100的坐标系描述的位置信息和姿态信息。换句话说,摄影机工作参数包括与图像拾取设备100的位置和姿态有关的信息,其中图像拾取由图像拾取人执行。此外,基于摄影机工作参数计算单元123确定的仿射变换参数,可估计图像拾取人的操作图像拾取设备100的运动,例如拉近、拉远、拍摄全景、倾斜或转动。要注意,仿射变换参数的计算参照图5和6详细描述。
图4是视图,示意地表示在本发明实施例中动态画面存储部分200和元数据存储部分210中记录的文件。在图4(a)中,表明在动态画面存储部分200中存储的动态画面文件201至204和在元数据存储部分210中以与动态画面文件201至204的相关联关系存储的元数据文件211至213。这里,假定将动态画面ID应用于每个动态画面文件,动态画面ID是识别在动态画面存储部分200中存储的每一个动态画面文件的识别信息。例如,将“#1”应用于动态画面文件201;将“#2”应用于动态画面文件202;及将“#n”应用于动态画面文件204。
图4(b)是视图,示意地表明在动态画面存储部分200中存储的动态画面文件201和在元数据存储部分210中以与动态画面文件201相关联地存储的元数据文件211。这里,动态画面文件201是n帧形成的动态画面的文件,并且n帧被指示为帧“1”205至“n”208。
同时,动态画面ID 214、帧号215及仿射变换参数216以彼此关联关系存储到元数据文件211中。
动态画面ID 214是用于对应动态画面文件的动态画面ID,并且例如,用于动态画面文件201的“#1”被存储在动态画面ID 214中。
帧号215是形成对应动态画面文件的每一个帧的序列号,并且例如,与形成动态画面文件201的动态画面的帧“1”205至“n”208相对应的“1”至“n”被放置在帧号215中。
仿射变换参数216是为与帧号215相对应的动态画面的每个帧计算的仿射变换参数。要注意,与帧号215相对应的“1”相对应的仿射变换参数216“a1、b1、c1、d1、e1、f1”是单位矩阵的仿射变换参数。此外,与帧号215的“m(m是等于或大于2的整数)”相对应的仿射变换参数216的“am、bm、cm、dm、em、fm”是用于帧“m”的紧前一帧“m-1”的仿射变换参数。现在,参照附图详细描述检测用于图像变换的仿射变换参数的检测方法。
图5(a)至(c)是视图,表示与形成动态画面的帧相对应的图像例子。图6(a)是视图,表示与图5所示图像300相对应的帧提前一帧相对应的图像中省去背景等简化的图像。同时,图6(b)和(c)是视图,表示通过从图5所示图像300中省去背景等简化的图像。
在图5和6所示图像300、320及330包括木马图像301、321及331,人骑在木马上,并且蛇的图像302、322及332位于木马图像301、321及331的前面。此外,如图5所示,旗子、椅子、等在图像的背景上存在,并且旗子被风展开。
在图6(a)所示图像320是简化与图5(a)至(c)和图6(b)和(c)所示图像300、330相对应的帧提前一帧相对应的图像得到的图像。此外,对应于两个连续帧的图像320和330是指示转变的图像,其中屏幕图像中的图像拾取对象的尺寸逐渐增大。具体地,在图像拾取所述图像时,执行拉近操作,拉近操作是逐渐使屏幕图像中的图像拾取对象变大的操作。
下面将从形成动态画面的图像检测特征点和与特征点相对应的光流被用于计算仿射变换参数的方法作为例子,描述本发明的实施例。此外,关于角部点被用作特征点的情形,描述本例子。
这里,在图6(a)至(c)中,描述一种方法作为例子,其中从图像320和330检测的三个角部相对应的光流被用于计算仿射变换参数。
例如,假定,在图6(a)所示图像320中,检测在木马图像321的嘴附近的角部点323、在木马图像321的人臀部附近的另一个角部点324及在蛇图像322的嘴附近的另一角部点325。这个例子中,从图6(b)所示图像330,通过倾斜法、块匹配法等检测图像320的角部点323、324及325的光流337、338及339。然后,基于检测的光流337、338及339,检测与角部点323、324及325相对应的角部点333、334及335。
这里,例如,在图6(a)和(b)所示图像320和330中包括的木马图像321和331和蛇图像322和332不独立于图像拾取设备100的运动而运动,因为它们被放置在地面上。因此,基于从木马图像321和331或蛇图像322和332检测的角部点而确定的光流,可准确估计图像拾取设备100的运动。例如,如图6(c)所示,基于图像330中检测的三个光流337至339,可估计图像330是通过相对于在点336提供的中心而扩展图像320得到的图像。因此,可判定,在图像拾取图像330时,图像拾取设备100的运动是以点336为中心的拉近操作。以此方式,如果相对于不独立于图像拾取设备100的运动而运动的物理实体,检测角部点,那么基于关于角部点确定的光流,可准确检测具有固定规律性的图像拾取设备100的运动。因此,使用关于角部点确定的光流,通过计算可确定仿射变换参数。
然而,考虑到图像有时包括独立于图像拾取设备100的运动而运动的物理实体,像风展开的旗子。例如,图5所示图像300包括由风展开的旗子。如果以此方式从独立于图像拾取设备100的运动而运动的物理实体(像由风展开的旗子)来检测角部点,并且关于角部点确定的光流被用于估计图像拾取设备100的运动,那么不能准确估计图像拾取设备100的运动。
例如,从图5(b)所示图像300检测的每个光流由箭头标记指示,并且从光流检测的角部点由箭头标记端部具有空白内部的圆形标记指示。这里,角部点303至305是与图6(b)和(c)所示角部点333至335相对应的角部点。同时,角部点306至311是关于旗子检测的角部点,旗子在关于木马图像301的背景上存在。然后,由于旗子被风展开,所以被风影响的旗子的运动被检测为光流。具体地,为独立于图像拾取设备100的运动而运动的旗子,检测与角部点306至311相对应的光流。因此,如果用于仿射变换参数计算的三个光流包括与来自角部点306至311中的至少一个角部点相对应的光流,那么不能检测图像拾取设备100的准确运动。这个例子中,不能计算准确的仿射变换参数。
如上所述,例如,有时从拾取图像检测到关于独立于图像拾取设备100的运动而运动的物理实体的光流(与图5(b)所示的角部点306至311相对应的光流)、和相对于图像拾取设备100的运动具有固定规律性的光流(除与图5(b)所示的角部点306至311相对应的光流之外的光流)。
因此,在本发明的实施例中,描述如下例子:其中基于三个光流计算仿射变换参数的仿射变换参数计算处理被执行数次,以确定多个仿射变换参数;并且从多个仿射变换参数中选择最佳的仿射变换参数。要注意,这个例子中,假定在形成动态画面的每一个图像中包括的运动物理实体的尺寸相对于图像面积而言比较小。
这里简短描述仿射变换。在两维***上运动源的位置由(x,y)表示,并且在两维***上在仿射变换之后的运动目的地的位置由(x′,y′)表示时,仿射变换的行列式由如下表达式1表示:
[表达式1]
这里,a至f是仿射变换参数。依赖于仿射变换参数的仿射矩阵AM可由如下表达式确定。此外,在x方向的变焦分量XZ、在y方向的变焦分量YZ、在X方向的平移分量XT、在Y方向的平移分量YT及转动分量R分别由如下表达式确定。要注意,在单位矩阵的情况下,a=e=1,b=c=d=f=0。
[表达式2]
XT=c YT=f
现在描述仿射变换参数的计算方法。
首先,从特征点中选择三个特征点,其中与当前帧相对应的图像中检测光流,当前帧是形成动态画面的帧之一。例如,从角部点(由具有空白内部的圆形标记指示)中随机选择三个特征点,这些角部点从图5(b)所示图像300检测。要注意,在投影变换参数用作摄影机工作参数时,随机选择四个特征点。
然后,使用与选中的三个特征点相对应的三个光流,计算仿射变换参数。例如,使用与从图5(b)所示图像300的角部点(由具有空白内部的圆形标记指示)中选择的三个角部点相对应的光流(由连接到具有空白内部的圆形标记的箭头标记所指示),计算仿射变换参数。使用表达式1可确定仿射变换参数。
然后,基于确定的仿射变换参数,计算仿射变换参数的分数。具体地,使用确定的仿射变换参数,确定与当前帧的紧前一帧相对应的图像的所有特征点的运动目的地位置。然后,将使用仿射变换参数确定的特征点位置和从当前帧检测的特征点位置彼此比较,以为每个特征点计算彼此对应的两个特征点的位置的差值。至于差值,例如,计算彼此对应的两个特征点的位置之间的绝对距离。然后,对于每个特征点,将计算差值和预先设置的阈值彼此比较,以确定其差值低于所述阈值的那些特征点的数量,作为仿射变换参数的分数。以此方式,从光流被检测的特征点中随机选择三个特征点、和基于与这些特征点相对应的光流计算仿射变换参数的分数的过程以此方式被重复预定次数,以计算仿射变换参数的多个分数。预定次数可以响应于比较对象的图像类型、图像拾取设备100的处理能力等被适当设置,或者可以使用固定值。例如,考虑到图像拾取设备100的处理能力,预定次数可以设置为近似20次。
例如,考虑如下情形:其中从图5(b)所示图像300检测的角部点中选择除角部点306至311之外的三个角部点。如果使用以此方式选择的三个角部点相对应的三个光流来计算仿射变换参数,由于三个光流如上述那样具有固定规律性,确定了按照固定规则变换与紧前一帧相对应的图像所使用的仿射变换参数。因此,在使用仿射变换参数确定的角部点位置与从当前帧检测的角部点位置之间,关于除角部点306至311之外的角部点确定的差值具有比较低的值。因此,仿射变换参数的分数具有比较高的值。
另一方面,考虑另一种情形:其中从图5(b)所示图像300检测的角部点中选择包括角部点306至311至少一个的三个角部点。如果使用以此方式选择的三个角部点相对应的三个光流来计算仿射变换参数,那么由于三个光流包括不具有固定规律性的光流,确定了按照固定规则变换与紧前一帧相对应的图像所使用的仿射变换参数。因此,在使用仿射变换参数确定的角部点位置与从当前帧检测的角部点位置之间,确定的差值在任意角部点呈现比较高的值。因此,仿射变换参数的分数呈现比较低的值。
然后,将确定的多个仿射变换参数的分数中呈现最高分数值的仿射变换参数选作代表性仿射变换参数。然后,计算所选择的代表性仿射变换参数的矩阵的逆矩阵,并且将逆矩阵的仿射变换参数与当前帧相关联地记录到元数据存储部分210中。因此,当形成动态画面的图像被仿射变换时,它可使用最佳仿射变换参数被仿射变换。
如上所述,即使在形成动态画面的每一个图像包括正在运动的物理实体(运动物理实体)时,如人或汽车,在运动物理实体的尺寸相对图像面积而言比较小时,仍可提取图像拾取设备100的运动,而不受运动物理实体的影响。
此外,通过提取图像拾取设备100的运动,有可能估计被视为图像拾取人故意引起的运动,如拉近、拉远、拍摄全景、倾斜或转动。
现在参照附图描述根据本发明实施例的图像拾取设备100的操作。
图7是流程图,表明通过根据本发明实施例的图像拾取设备100的仿射变换参数检测处理的处理过程。
首先,动态画面从图像拾取部分110输入(步骤S900)。然后,从图像拾取部分110输出的动态画面被解码,并且按时间序列顺序获取一个帧的图像(步骤S901)。然后,判定获取的一个帧是否是从图像拾取部分110输出的动态画面的顶部帧(步骤S902)。如果获取的一个帧是顶部帧(步骤S902),那么从与顶部帧相对应的整个图像提取特征点(步骤S903)。例如,如图5(b)看到的那样,提取图像的多个角部点。然后,将单位矩阵的仿射变换参数选作仿射变换参数(步骤S904),此后处理前进到步骤S914。
另一方面,如果获取的一个帧不是顶部帧(步骤S902),那么从相比与紧前一帧相对应的图像新拾取的区域提取特征点(步骤S905)。具体地,由于从与紧前一帧相对应的图像已经提取的特征点可从与所述特征点相对应的光流确定,所以它们不从与当前帧相对应的图像提取。
然后,计算关于从与紧前一帧相对应的图像提取的特征点的光流(步骤S906)。具体地,如在图5(b)看到的那样,计算关于角部点的光流。
此后,变量i被初始化到“1”(步骤S907)。然后,从对其检测光流的特征点中选择M个特征点(步骤S908)。例如,在仿射变换参数被用作摄影机工作参数时,随机选择三个特征点。另一方面,如果投影变换参数被用作摄影机工作参数,随机选择四个特征点。然后,基于与选中的M个特征点相对应地计算的M个光流,计算仿射变换参数(步骤S909)。
然后,基于通过计算确定的仿射变换参数,计算仿射变换参数的分数(步骤S910)。具体地,计算确定的仿射变换参数被用于确定与紧前一帧相对应的图像中的所有特征点的运动目的地位置。然后,将使用仿射变换参数确定的特征点位置和步骤S906的光流计算时确定的与当前帧相对应的图像的特征点位置彼此比较,以为每个特征点计算每两个对应特征点的位置之间的差值。作为差值,例如,计算每两个对应特征点之间的绝对距离。然后,为每个特征点,将计算的差值与预先设置的阈值彼此比较,并且将差值比阈值低的那些特征点的数目确定为仿射变换参数的分数。
然后,将“1”加到变量i(步骤S911),并且判定变量i是否高于常数N(步骤S912)。如果变量i低于常数N(步骤S912),那么处理返回到步骤S908,以重复仿射变换参数的分数计算处理(步骤S908至S910)。例如,20可用作常数N。
另一方面,如果变量i高于常数N(步骤S912),那么将仿射变换参数的确定分数之中分数具有最高值的那些仿射变换参数选作代表性仿射变换参数(步骤S913)。然后,将选中的代表性仿射变换参数的矩阵的逆矩阵的仿射变换参数与当前帧相关联地记录在元数据存储部分210中(步骤S914)。要注意,如果当前帧是顶部帧,将选中的单位矩阵的仿射变换参数以与顶部帧相关联地记录在元数据存储部分210中。然后,通过重写来存储与当前帧相对应的图像和图像的特征点(步骤S915)。
然后,判定当前帧是否是从图像拾取部分110输出的动态画面的最后帧(步骤S916)。如果当前帧不是最后帧(步骤S916),那么处理返回到步骤S901,以重复仿射变换参数检测处理(步骤S901至S915)。另一方面,如果当前帧是最后帧(步骤S916),那么仿射变换参数检测处理结束。
尽管在本发明实施例的描述中,将基于从形成动态画面的图像检测的光流来检测仿射变换参数的例子描述为摄影机工作参数的检测,但可以使用诸如加速度传感器或陀螺传感器之类的传感器、或当执行变焦操作时使用的变焦按钮161,从而检测在图像拾取时图像拾取设备100的运动量,并且基于图像拾取设备100的运动量确定摄影机工作参数。此外,基于为摄影机振动校正确定的运动向量,可以确定摄影机工作参数。此外,基于诸如加速度传感器或陀螺传感器的检测装置检测的信息和为摄影机振动校正确定的运动向量的组合信息,可以确定摄影机工作参数。要注意,在图像拾取时检测的图像拾取设备100的运动量,可被用于判定摄影机工作参数计算单元123确定的摄影机工作参数是否正确。此外,摄影机工作参数计算单元123可以检测多个摄影机工作参数,从而基于在图像拾取时检测的图像拾取设备100的运动量,使用所述多个摄影机工作参数之一。
现在,参照附图详细描述摄影机工作检测部分120计算的仿射变换参数被用于合成形成动态画面的图像的情形。要注意,图8至16为了描述被简化,并且以放大方式表明两个连续帧之间的运动量。
首先,描述如下情形:其中,在图像拾取设备100的图像拾取时,尽管放大率未改变,图像拾取设备100的透镜方向从图像拾取设备100的位置提供的中心在向上、向下、向左及向右方向之一移动。
图8是视图,表明图像拾取设备100拾取的动态画面的转变的例子。图8是表示与动态画面中包括的连续帧相对应的图像401至403的视图,其中以山为背景拾取人400的图像。这个例子中,表明如下情形:其中在图像拾取设备100的透镜方向向右和向上运动时,图像拾取人执行图像拾取。这个例子中,在图像拾取设备100拾取的动态画面中包括的人400从右侧向左侧运动,并且运动到形成动态画面的图像的下侧。
图9是视图,其中在图8所示图像中,与紧前一帧相对应的图像由虚线指示,并且表明检测的光流的例子。图9(a)所示图像401与图8(a)所示图像401相同。同时,图9(b)所示图像402的实线部分与图8(b)所示图像402的那些相同,并且图9(b)所示图像402的虚线部分与图9(a)所示图像401的实线部分相同。此外,图9(b)所示图像402上的箭头标记404至406表明从图像402检测的光流的例子。类似地,在图9(c)所示图像403的实线部分与图8(c)所示图像403的实线部分相同,并且图9(c)所示图像403的虚线部分与图9(b)所示图像402的实线部分相同。此外,在图9(c)所示图像403上的箭头标记407至409表明从图像403检测的光流的例子。
如图9(b)和(c)所示,图像中包括的人400和背景的山与图像拾取设备100的运动一致地运动。基于从运动检测的光流,可以为每个帧确定仿射变换参数。
图10是表明图像合成例子的视图,在合成时,再现包括图8所示图像401至403的动态画面。要注意,由于在本发明的实施例中,合成形成两个动态画面的图像,随着再现时间流逝,在显示部分250显示的图像变得比普通图像大。因此,最初显示的图像与显示部分250的显示区域的尺寸相比以小尺寸显示。要注意,首先显示的图像的尺寸、位置等可以由用户指定。
如图10(a)所示,只有与第一帧相对应的图像401被首先显示。这里,在与图像401相对应的仿射变换参数的矩阵(3行×3列的矩阵)由A1表示时,确定A1的值,并且参考顶部帧的图像401的位置和大小,使用所确定的A1矩阵,仿射变换图像401。这里,由于A是单位矩阵,所以不变换图像401的位置和大小。然后,与下个帧相对应的图像402被显示时,使用与这个帧关联的仿射变换参数,仿射变换图像402。具体地,与图像402相对应的仿射变换参数的矩阵由A2表示,与图像401相对应的仿射变换参数的矩阵由A1表示,确定A1×A2的值,并且参考顶部帧的图像401的位置和尺寸,基于确定的A1×A2矩阵,仿射变换图像402。在图10(b)所示图像中,只变换图像402的位置。然后,使用仿射变换参数而仿射变换的图像402被重写,从而它与紧前一帧相对应的图像401重叠。具体地,在与图像402重叠的区域410中,图像402被重写。此外,不与图像402重叠的图像401的区域中,图像401的图像被合成。具体地,在显示与第二帧相对应的图像402时,图像402的整个部分和图像401的与区域411相对应的部分被合成的图像被显示,如在图10(b)所示。此外,有可能使图像框在与当前帧相对应的图像的周围显示,图像框表示其中的图像是来自显示图像内的最新近的图像。在图10(b),在图像402上显示图像框。此外,图像402的仿射变换得到的仿射变换参数被存储到图像变换部分150中。
然后,与随后帧相对应的图像403要被显示时,与这个帧相关联的仿射变换参数被用于仿射变换图像403。具体地,通过使用与图像403相对应的仿射变换参数的矩阵和用于紧前一仿射变换的与图像402相对应的仿射变换参数的矩阵而确定的仿射变换参数,图像403被仿射变换。具体地,与图像403相对应的仿射变换参数的矩阵由A3表示、并且与图像402相对应的仿射变换参数的矩阵由A2表示、与图像401相对应的仿射变换参数的矩阵由A1表示,确定A1×A2×A3的值,并且参考顶部帧的图像401的位置和尺寸,使用所确定的A1×A2×A3矩阵,仿射变换图像403。在图10(c)所示图像中,只变换图像403的位置。然后,使用仿射变换参数而仿射变换的图像403以这样一种方式被重写,从而重叠于与前面帧相对应的图像401和402的合成图像。具体地,图像401和402的合成图像的区域中与图像403重叠的区域413和414中,图像403的图像被重写。另一方面,在图像401和402的合成图像的区域中的不与图像403重叠的区域411和412中,图像401和402的合成图像被合成。具体地,在与第三帧相对应的图像403被显示时,图像403的整个部分、与区域411相对应的图像401的部分及与区域412相对应的图像402的部分被合成的图像被显示,如在图10(c)所示。此外,在图像框要被显示在与当前帧相对应的图像的周围时,图像框表示其中的图像是在显示图像中的最新近图像,在图10(c)所示图像403上显示图像框。此外,图像403的仿射变换得到的仿射变换参数被存储到图像变换部分150中。换句话说,通过与图像402和403相对应的仿射变换参数的矩阵的相乘而确定的仿射变换参数被存储到图像变换部分150中。以此方式,与当前帧相对应的图像要被仿射变换时,使用与当前帧相对应的仿射变换参数的矩阵和与直到紧前一帧的帧相对应的仿射变换参数的矩阵而确定的仿射变换参数,进行仿射变换。这种仿射变换时确定的仿射变换参数被存储到图像变换部分150中,并用于下次仿射变换。这也类似地应用于图13和16的情形。
现在,描述这样一种情形:其中在图像拾取设备100的图像拾取时改变放大率,尽管图像拾取设备100的透镜方向不运动。
图11是视图,表明图像拾取设备100拾取的动态画面的转变的例子。图11是表示与动态画面中包括的连续帧相对应的图像421至423的视图,其中在山的背景上拾取人420的图像。在本例子中,描述这样一种情形:其中图像拾取人在连续提高图像拾取设备100的透镜放大率时,执行图像拾取。这个例子中,在图像拾取设备100拾取的动态画面中包括的人420在形成动态画面的图像中逐渐变大。要注意,尽管当放大率提高时图像拾取设备100的位置有时候移动一些,但在本例子中,进行描述时不考虑图像拾取设备100的位置运动。
图12是视图,其中与图11所示图像中的紧前一帧相对应的图像由虚线指示,并且表示检测的光流的例子。图12(a)所示图像421与图11(a)所示图像421相同。同时,图12(b)所示图像422的实线部分与图11(b)所示图像422的那些相同,而图12(b)所示图像422的虚线部分与图11(a)所示图像421的实线部分相同。此外,图12(b)所示图像422上的箭头标记424至426指示从图像422检测的光流的例子。类似地,图12(c)所示图像423的实线部分与图11(c)所示图像423的那些相同,而图12(c)所示图像423的虚线部分与图11(b)所示图像422的实线部分相同。此外,图12(c)所示图像423上的箭头标记427至429指示从图像423检测的光流的例子。
如在图12(b)和(c)所示,图像中包括的人420和背景的山的尺寸按照放大率的变化而变化。对于每个帧,基于由变化检测的光流,可确定仿射变换参数。
图13是视图,表明如下情况下的显示例子:再现包括在图11所示图像421至423的动态画面。
如图13(a)所示,只有与顶部帧相对应的图像421被首先显示。然后,与随后帧相对应的图像422要被显示时,使用与这个帧关联的仿射变换参数,仿射变换图像422。在图13(b)所示图像的情况下,只变换图像422的尺寸。然后,使用仿射变换参数而仿射变换的图像422以这样一种方式被重写,从而与紧前一帧相对应的图像421重叠。具体地,图像421的区域中的与图像422重叠的区域中,图像422的图像被重写。这个例子中,由于图像421与图像422的整个区域相重叠,整个图像422被重写在图像421上。另一方面,在图像421的区域中的不与图像422重叠的区域431中,图像421的图像被合成。具体地,当与第二帧相对应的图像422要被显示时,图像422的整个部分和与区域431相对应的图像421的部分被合成的图像被显示,如在图13(b)所示。此外,图像框可在与当前帧相对应的图像的周围被显示,图像框指示其中的图像是来自显示图像内的最新近图像。在图13(b)中,在图像422上显示图像框。此外,由图像422的仿射变换得到的仿射变换参数被存储到图像变换部分150中。
此后,与下个帧相对应的图像423要被显示时,使用与这个帧相关联的仿射变换参数,来仿射变换图像423。具体地,通过与图像423相对应的仿射变换参数的矩阵和用于紧前一仿射变换的与图像422相对应的仿射变换参数的矩阵的相乘而确定的仿射变换参数,图像423被仿射变换。在图13(c)所示图像中,只变换图像423的尺寸。然后,仿射变换的图像423被重写,从而重叠于与前面帧相对应的图像421和422的合成图像。具体地,在图像421和422的合成图像的区域中的与图像423相重叠的区域中,图像423的图像被重写。这个例子中,由于图像423与图像421和422的整个区域相重叠,所以图像423的整个图像被重写在图像421和422的合成图像上。另一方面,在图像421和422的合成图像的区域中的不与图像423重叠的区域432和433中,图像421和422的合成图像被合成。具体地,与第三帧相对应的图像423要被显示时,图像423的整个部分、与区域432相对应的图像421的部分及与区域433相对应的图像422的部分被合成的图像被显示,如在图13(c)所示。另一方面,在图像框要被显示在与当前帧相对应的图像的周围时,图像框表示其中的图像是来自显示图像中的最新近图像,在图13(c)所示图像423上显示图像框。此外,图像423的仿射变换中使用的仿射变换参数被存储到图像变换部分150中。换句话说,使用与图像422和423相对应的仿射变换参数确定的仿射变换参数被存储到图像变换部分150中。
现在,描述这样一种情形:在图像拾取设备100的图像拾取时,绕图像拾取方向转动图像拾取设备100,尽管不改变图像拾取设备100的方向或放大率。
图14是视图,表明图像拾取设备100拾取的动态画面的转变的例子。图14是表示与动态画面中包括的连续帧相对应的图像441至443的视图,其中在山的背景上拾取人440的图像。在这个例子中,表明这样一种情形:其中图像拾取人在绕图像拾取方向转动图像拾取设备100时,执行图像拾取。这个例子中,在形成动态画面的图像上,在图像拾取设备100拾取的动态画面中包括的人440连续转动。要注意,尽管图像拾取设备100的位置有时通过图像拾取设备100的转动而运动一些,但不考虑图像拾取设备100的位置运动来描述这个例子。
图15是视图,其中与图14所示图像中的紧前一帧相对应的图像由虚线指示,并且表示检测的光流的例子。在图15(a)所示图像441与图14(a)所示图像441相同。同时,图15(b)所示图像442的实线部分与图14(b)所示图像442的那些相同,而图15(b)所示图像442的虚线部分与图14(a)所示图像441的实线部分相同。此外,图15(b)所示图像442上的箭头标记444至446指示从图像442检测的光流的例子。类似地,图15(c)所示图像443的实线部分与图14(c)所示图像443的那些相同,而图15(c)所示图像443的虚线部分与图14(b)所示图像442的实线部分相同。此外,图15(c)所示图像443上的箭头标记447至449指示从图像443检测的光流的例子。
如在图15(b)和(c)所示,图像中包括的人440和背景的山与图像拾取设备100的转动相一致地转动运动。对于每个帧,基于由转动运动检测的光流,可确定仿射变换参数。
图16是视图,表示在如下情况的显示例子:再现包括在图14所示图像441至443的动态画面。
如图16(a)所示,只有与顶部帧相对应的图像441被首先显示。然后,与下个帧相对应的图像442要被显示时,使用与这个帧关联的仿射变换参数,仿射变换图像442。在图16(b)所示图像中,只变换图像442的角度。然后,使用仿射变换参数而仿射变换的图像442被重写,从而与紧前一帧相对应的图像441相重叠。具体地,在图像441的区域中的与图像442重叠的区域450中,图像442的图像被重写。同时,在图像441的区域中的不与图像442重叠的区域451和452中,图像441的图像被合成。具体地,与第二帧相对应的图像442要被显示时,如在图16(b)所示,图像442的整个部分和与区域451和452相对应的图像441的部分被合成的图像被显示。此外,有可能在与当前帧相对应的图像的周围显示图像框,图像框表示其中的图像是来自显示图像中的最新近图像。在图16(b),在图像442上显示图像框。此外,由图像442的仿射变换得到的仿射变换参数被存储到图像变换部分150中。
然后,与下个帧相对应的图像443要被显示时,使用与这个帧相关联的仿射变换参数,仿射变换图像443。换句话说,使用与图像443相对应的仿射变换参数的矩阵和在紧前一仿射变换中使用的与图像442相对应的仿射变换参数的矩阵,仿射变换图像443。在图16(c)所示图像中,只变换图像443的角度。然后,仿射变换的图像443被重写,从而重叠于与前面帧相对应的图像441和442的合成图像。具体地,在图像441和442的合成图像的区域中的与图像443相重叠的区域453到457中,图像443的图像被重写。另一方面,在图像441和442的合成图像的区域中的不与图像443重叠的区域458至461中,图像441和442的合成图像被进一步合成。具体地,与第三帧相对应的图像443要被显示时,图像443的整个部分、与区域459相对应的图像441的部分及与区域458和460相对应的图像442的部分被合成的图像被显示,如在图16(c)所示。另一方面,在图像框要被显示在与当前帧相对应的图像的周围时,图像框表示其中的图像是来自显示图像中的最新近图像,在图16(c)所示图像443上显示图像框。此外,在图像443的仿射变换中使用的仿射变换参数被存储到图像变换部分150中。换句话说,使用与图像442和443相对应的仿射变换参数确定的仿射变换参数被存储到图像变换部分150中。
现在,参照附图详细描述提取要在显示部分250上显示的合成图像的方法。
图17是视图,示意地表明在本发明实施例中动态画面存储部分200中存储的动态图像文件的帧与显示区域之间的关系。这里只显示图像存储器180、元数据存储部分210、及操作接受部分160,省略除它们之外的元件的说明。此外,关于形成图4(b)所示的动态画面文件201的帧“1”至“3”,使用元数据文件211中存储的仿射变换参数216,在图像存储器180中产生合成图像的情形的例子被描述。
图17(a)表明一种情形:其中帧1(205)被存储到图像存储器180中,帧1(205)是形成图4(b)表示的动态画面文件201的各个帧中的第一帧。例如,如图17(a)所示,与动态画面文件201的帧1(205)相对应的图像351被存储到图像存储器180中。这里,至于与第一帧相对应的图像351被存储到图像存储器180的位置,基于所执行的帧“1”至“n”的合成图像的尺寸计算,例如,使用关于在元数据文件211中存储的动态画面文件201的仿射变换参数216,来确定图像351要被存储的位置。要注意,这个例子中,假定将在图像存储器180上布置的图像351的左顶点的位置被确定为原点、水平方向(横坐标轴)是x轴及竖直方向(纵坐标轴)是y轴,给出如下描述。
如图17(a)所示,其中图像351被布置在图像存储器180上的显示区域被确定为显示区域361。基于图像351被存储的位置和尺寸,响应于操作接受部分160接受的显示放大率的值,确定显示区域361。例如,普通再现时,由于仅再现当前图像的显示放大率被指定,所以显示区域361具有与图像351的尺寸相等的尺寸。另一方面,例如,在拉远当前图像的“0.5倍”的显示放大率被指定时,显示区域361具有与图像351的两倍尺寸相等的尺寸,并且以图像351为中心。要注意,用于图像351的显示区域361的位置可基于仿射变换参数被确定。具体地,在“0.5倍”的显示放大率(当前图像以该显示放大率拉远)被指定时,仿射变换参数被用于设置显示区域,通过这些仿射变换参数,在x方向和y方向的变焦分量被加倍。还有关于显示区域相对于当前图像被平行地运动或被转动的情形,显示区域的位置和范围可使用仿射变换参数被确定。要注意,在这个例子中,尽管显示区域与当前图像的变换一起被变换,由于与帧1(205)相对应的仿射变换参数是单位矩阵的参数,仅考虑来自操作接受部分160的显示放大率指定,来确定与帧1(205)相对应的显示区域361。
图17(b)表明一种情形:其中帧2(206)被存储到图像存储器180中,帧2(206)来自形成图4(b)所示的动态画面文件201的各个帧中。这个例子中,与帧2(206)相对应的图像352使用元数据文件211中存储的仿射变换参数216、与帧号215的“1”和“2”相关联地被变换,并且如上述那样通过重写与图像351合成,还相对于显示区域执行仿射变换。具体地,与帧2(206)相对应的图像352使用元数据文件211中与帧号215的“1”和“2”相关联地存储的仿射变换参数216、参照图像351的位置和尺寸被变换。然后,使用响应于操作接受部分160接受的显示放大率的值确定的仿射变换参数,图像352的位置和尺寸被变换,以及基于变换后的位置和尺寸所确定的区域来形成显示区域362。具体地,与帧号215的“1”和“2”相对应的仿射变换参数的矩阵由A1和A2表示、并且响应于操作接受部分160接受的显示放大率的值而确定的仿射变换参数的矩阵由B(例如,参考当前图像的矩阵)表示,确定A1×A2×B的值,并且参考图像351的位置和尺寸,显示区域362由所确定的A1×A2×B矩阵来确定。
图17(c)表明一种情形:其中帧3被存储到图像存储器180中,该帧3来自形成图4(b)所示的动态画面文件201的各个帧。仍在这种情况下,使用元数据文件211中与帧号215的“1”至“3”相关联地存储的仿射变换参数216,与帧3相对应的图像353被变换,并且如上述那样通过重写图像351和352而合成,至于显示区域,也执行仿射变换,以确定用于图像353的显示区域363。具体地,与帧号215的“1”至“3”相对应的仿射变换参数的矩阵由A1至A3分别表示、并且响应于操作接受部分160接受的显示放大率的值而确定的仿射变换参数的矩阵由B表示,确定A1×A2×A3×B的值,并且参考图像351的位置和尺寸,显示区域363由所确定的A1×A2×A3×B矩阵确定。
图18是视图,示意地表明在图像存储器180中存储的图像和液晶面板251上显示的图像,其中动态画面以变化的显示放大率被显示。图18(a)表明只有液晶面板251的当前图像被显示的情形,并且图18(b)表明要显示在液晶面板251上的动态图像按比例被减小(拉远)的情形,而图18(c)表明要显示在液晶面板251上的动态图像按比例被增大(拉近)的情形。这个例子中,例示了鱼被包括在当前图像的对象中的情形。
首先,当再现动态画面的指令发出时,当前图像491和显示区域492如图18(a)所示被设置成彼此相等,并且显示区域492的范围中包括的合成图像从图像存储器180提取,并且显示在液晶面板251。换句话说,只有当前图像被依次地显示在液晶面板251上。
另一方面,在W按钮在动态画面再现时被按下的状态下,响应于W按钮的按下时段,图像存储器180上的显示区域493如图18(b)所示被放大,并且在显示区域493中包括的合成图像被依次显示在液晶面板251。同时,在T按钮在动态画面再现时被按下的状态下,响应于T按钮的按下时段,图像存储器180上的显示区域495被缩小,并且显示区域495中包括的合成图像被依次显示在液晶面板251。要注意,这样的放大和缩小处理由显示区域提取部分190执行,从而当前图像491被定位在中心。具体地,使用响应于上文描述的操作接受部分160接受的显示放大率的值确定的仿射变换参数,当前图像491的位置和尺寸被变换,并且基于变换之后的位置和尺寸来确定显示区域。在图18(b)的例子中,由于降低显示放大率的操作输入被执行,所以响应于显示放大率的减小来确定仿射变换参数的变焦分量,而在图18(c)的例子中,由于提高显示放大率的操作输入被执行,所以响应于显示放大率的增大来确定仿射变换参数的变焦分量。以此方式,通过仅改变显示区域的尺寸,能以放大或缩小比例显示包括当前图像的一个或多个图像。要注意,通过十字按钮162的操作有可能向上、向下、向左或向右移动显示区域。
如上所述,通过显示在图像存储器180上布置的显示区域范围存在的图像,可依次显示在再现期间的合成图像。这里,当前图像被仿射变换并且被合成到图像存储器180中时,有时执行画面质量的转换,如分辨率转换过程、压缩过程等以转换成较低分辨率。因此,在显示放大率要被提高以按放大比例显示当前图像时,包括当前图像的合成图像可能会变得模糊。因此,在本发明的实施例中,对于当前再现的当前图像,合成到图像存储器180中之前的图像被用于显示合成图像。下面参照附图详细描述这种显示方法。
图19是视图,示意地表明在本发明实施例中在动态画面存储部分200中存储的动态画面文件的帧流。这里仅显示操作接受部分160、动态画面存储部分200、元数据存储部分210、图像存储器180及显示存储器230的关系,而省略其它构造的说明。
图19(a)以简化形式表示图4(b)所示动态画面文件201和元数据文件211。在下面,描述与形成动态画面文件201的帧i(207)相对应的图像被显示的例子。换句话说,假定对于形成动态画面文件201的帧1至“i-1”相对应的图像,已经产生合成图像。
图19(b)示意地表示图像存储器180,在图像存储器180中存储合成图像,其中合成与形成动态画面文件201的帧相对应的图像。如图17(b)所示,与形成动态画面文件201的帧1(205)相对应的图像351被首先存储到图像存储器180中。要注意,在图17(a)所示图像361由虚线指示。然后,在图像351被存储到图像存储器180之后,与形成动态画面文件201的帧2至“i-1”相对应的图像,使用以与帧2至“i-1”相关联地存储在元数据文件211中的仿射变换参数216的值,被依次仿射变换,并且仿射变换图像通过重写被依次存储到图像存储器180中。这里,显示区域的尺寸响应于来自操作接受部分160的显示放大率目标的操作输入(W按钮或T按钮的按下)被确定,并且响应于当前图像被仿射变换所计算。然后,对于来自图像存储器180中存储的合成图像的每个帧,显示区域提取部分190提取在计算的显示区域中存在的图像。
与帧1至“i-1”相对应的图像的合成图像被存储在图像存储器180中的状态下,与形成动态画面文件201的帧i(207)相对应的图像,使用以与帧1至i相关联地存储在元数据文件211中的仿射变换参数216,被仿射变换,并且仿射变换后的当前图像692通过重写被存储到图像存储器180。具体地,与帧i(207)相对应的图像,使用以与帧号215的“1”至“i”相关联地存储在元数据文件211中的仿射变换参数216,参照是当前图像的图像351,被仿射变换成图像692,并且图像692被存储到图像存储器180。然后,至于与帧i(207)相对应的显示区域695,使用响应于操作接受部分160接受的显示放大率的值确定的仿射变换参数,图像692的位置和尺寸被变换。显示区域的这种确定由显示区域提取部分190执行。然后,显示区域提取部分190从图像存储器180存储的合成图像提取在显示区域695中存在的图像,并且将提取的图像例如存储到显示存储器230中,如图19(c)表明的那样。
图19(c)示意地表明显示存储器230,其中存储显示区域提取部分190提取的图像。这里,显示存储器230中存储的图像(除当前图像696之外的图像)是从显示区域提取部分190提取的图像(在显示区域695的范围中存在的图像),使用用于显示区域695的变换的仿射变换参数矩阵的逆矩阵,变换而来的图像。具体地,在图像存储器180上布置的显示区域的形状有时具有平行四边形的形状,作为仿射变换等的结果。为了使仿射变换的显示区域中的合成图像被显示在显示部分250,显示区域中的合成图像使用目前用于当前图像的仿射变换时的仿射变换参数矩阵的逆矩阵而被变换。例如,与帧号215的“1”至“i”相关联地在元数据文件211中存储的仿射参数的矩阵由A1、...、Ai表示、并且用于显示区域695的确定的仿射变换参数的矩阵(例如,参考当前图像的矩阵)由B表示,Inv(A1×...×Ai×B)被用作变换在显示区域中的合成图像的矩阵。因此,例如,如图19(c)所示,有可能将按平行四边形变换的图像变换成矩形,以显示在显示部分250。此外,对于与显示区域提取部分190提取的各个图像之中的当前帧相对应的当前图像696,以非仿射变换形式从动态画面存储部分200获取的图像被使用,以代替显示区域提取部分190从图像存储器180提取的图像。这里,依据来自操作接受部分160的显示放大率,确定在显示存储器230中存储所述图像696所使用的位置和尺寸。
如图19(c)所示,显示区域提取部分190提取的图像被存储到显示存储器230中,并且从动态画面存储部分200获取的图像通过重写显示区域提取部分190提取的图像而被存储到显示存储器230中。因此,仿射变换后的合成图像在它返回到没有使用逆矩阵被仿射变换的状态之后,可被显示。同时,关于当前图像,通过使用在图像受到诸如缩小的处理之前的状态下的图像,比较清晰的当前图像可被显示,并且在仿射变换之后被存储到图像存储器180。此外,还有在用户操作执行放大等的情况下,可在清晰状态显示当前图像。
如上所述,由于对于当前图像,从动态画面存储部分200获取之后被仿射变换的图像可用于代替在图像存储器180中存储的合成图像,所以可观看到比较清晰的图像。参照图20和21详细描述这个合成例子。
图20(a)是视图,表示在如下情况的合成例子:其中再现图像拾取设备100拾取的动态画面。在这个例子中,在合成图像使用逆矩阵被仿射变换的状态下,动态画面形成的合成图像被表示为图像480,其中图像拾取设备100主要在向左和向右方向移动时拾取母子的图像,母子正在大型建筑物站立于其上的草坪的敞开空间中玩耍。这里,在图像480中,以全景型式形成图像481,图像481由形成动态画面的帧相对应的图像合成。此外,与图像480的当前帧相对应的图像是当前图像482。
这里,描述框483围绕的图像区域按放大比例被显示的情形。在显示部分250显示的图像要按放大或缩小比例被显示时,用户通过操作变焦按钮161指定希望的显示放大率。例如,在框483围绕的图像区域要按放大比例被显示时,其中图像480如图20(a)所示被显示在显示部分250,通过用户操作变焦按钮161以指定显示放大率以及操作十字按钮162以指定位置,框483围绕的图像区域可按放大比例被显示。
图20(b)是视图,表示图像480中的当前图像482被仿射变换之前的状态下的图像484。
图21(a)是视图,表示如下情况的图像485:其中按放大比例显示图20(a)所示的框483围绕的图像区域。图21(a)所示图像485是在仿射变换之后的当前图像被存储到图像存储器180之前的状态下,在显示存储器230中合成的图像。以此方式,在当前图像486的区域中,在存储到图像存储器180之前的状态下的比较清晰图像被显示在当前图像486的区域。因此,当前图像486和除这个区域之外的区域彼此相比较时,可观察到比其它区域中的图像更清晰的当前图像486。同时,图21(b)所示图像487是仿射变换之后的当前图像被存储到图像存储器180中的状态下,在显示存储器230中存储的图像。图像487以此方式显示时,仍在当前图像488的区域中,显示与其它区域中的图像的程度相似的图像。具体地,对于本发明的实施例,当图像被合成和显示时,尽管显示存储器230中存储的历史图像有时被压缩,对于目前的图像(当前图像),可使用非压缩图像或分辨率比历史图像更高的图像,因此,可实现高画面质量的图像合成显示。要注意,在本例子中,为了解释,为了表明显示对象的图像使用逆矩阵被仿射变换之前的状态,尽管当前图像不是矩形,通过以上描述的逆矩阵执行仿射变换,有可能将当前图像设置成矩形形状。
下面参照附图描述根据本发明实施例的图像拾取设备100的操作。
图22是流程图,表明根据本发明实施例的图像拾取设备100的动态画面再现处理的处理过程。这个例子指示被再现的动态画面由用户选择的情形。
首先,在图像存储器180中保证工作缓冲器(步骤S921),工作缓冲器具有比形成动态画面的图像的尺寸更大的容量。然后,文件获取部分140从动态画面存储部分200获取操作接受部分160选择的动态画面文件,并且从元数据存储部分210获取与动态画面文件相关联的元数据文件(步骤S922)。
然后,文件获取部分140解码动态画面文件,并且获取当前帧(步骤S923),当前帧是形成动态画面文件的一个帧。然后,文件获取部分140从元数据文件获取与所获取的当前帧相对应的仿射变换参数(步骤S924)。这里,当前帧是顶部帧时,获取单位矩阵的仿射变换参数。
然后,图像变换部分150使用仿射变换参数仿射变换与当前帧相对应的图像(步骤S925)。要注意,当前帧是顶部帧时,那么由于它使用单位矩阵被仿射变换,实际图像不被变换。
然后,图像合成部分170把与仿射变换后的当前帧相对应的图像和与当前帧的以前帧相对应的图像,通过重写而合成,并且将图像存储到图像存储器180中(步骤S926),其中与当前帧相对应的图像被合成。
此后,显示区域提取部分190使用从第一帧至当前帧的各个帧的仿射变换参数和与显示放大率相对应的仿射变换参数,确定显示区域的位置和尺寸(步骤S927)。然后,显示区域提取部分190从图像存储器180提取在显示区域中包括的合成图像(步骤S928)。然后,显示区域提取部分190使用用于显示区域确定的仿射变换参数矩阵的逆矩阵,仿射变换从图像存储器180提取的合成图像(步骤S929)。
此后,显示区域提取部分190将从图像存储器180提取的并且仿射变换后的合成图像存储到显示存储器230中(步骤S930)。然后,图像合成部分170将当前图像通过重写与显示存储器230存储的合成图像合成(步骤S931)。然后,显示控制部分240控制显示部分250,以显示在显示存储器230中存储的合成图像(步骤S932)。
然后,判定当前帧是否是形成选中动态画面文件的各帧中的最后帧(步骤S933)。如果当前帧不是最后帧(步骤S933),那么处理返回到步骤S923,以重复动态画面合成再现处理(步骤S923至S932)。另一方面,如果当前帧是最后帧(步骤S933),那么保证的工作缓冲器被释放(步骤S934),并且动态画面再现处理结束。
上文描述如下例子:其中仿射变换被依次应用于与当前帧相对应的当前图像以产生合成图像,并且依次将合成图像存储到图像存储器中,然后从图像存储器的合成图像中提取显示区域,其中显示区域是显示对象的区域,以再现动态画面。这里,参照附图详细描述如下动态画面再现方法:在与仿射变换参数的方向相反的方向,将仿射变换应用于与以前帧相对应的合成图像,以产生动态画面,而与当前帧相对应的当前图像被固定到显示部分250的中央部分等。
首先,参照附图详细描述如下情形:图8至16所示图像401至403、421至423及441至443被用于合成和再现动态画面。要注意,图23至25所示图像为了描述被简化,并且两个连续帧之间的运动量以放大方式表明,与在图8至16相类似。
首先,描述如下情形:在图像拾取设备100的图像拾取时,图像拾取设备100的透镜方向相对于在图像拾取设备100的位置中心在向上、向下、向左及向右方向之一运动,尽管放大率不变。
图23是视图,表明在如下情况的显示例子:其中再现包括在图8所示图像401至403的动态画面。在图10所示的显示例子中,尽管与当前帧之前的每个帧相对应的合成图像(第一,一个图像)被固定,通过在合成图像上重写与当前帧相对应的仿射变换图像,合成形成的图像被显示。相反,在图23所示的显示例子中,尽管与当前帧相对应的图像的位置被固定,通过重写合成图像而合成与当前帧相对应的图像所形成的图像被显示,所述合成图像是通过在与仿射变换参数的方向相反的方向,通过与当前帧之前的每个帧相对应的合成图像的仿射变换而形成。具体地,尽管图10和图23所示的显示例子的区别在于在固定位置被显示的图像和形成仿射变换对象的图像,但它们在其它方面相同。因此,与图10的那些相同部分通过所应用的相同附图标记来描述。
如图23(a)所示,只有与顶部帧相对应的图像401被首先显示。这里,由于图像401是顶部帧,所以不存在以前帧。然后,与下个帧相对应的图像402要被显示时,与这个帧关联的仿射变换参数被用于仿射变换是紧前一帧的图像401。具体地,与图像402相对应的仿射变换参数的矩阵由A2表示、并且与图像401相对应的仿射变换参数的矩阵由A1表示时,确定Inv(A1×A2)的值,并且基于确定的Inv(A1×A2)矩阵,仿射变换图像401。这里,InvA(A是矩阵)表示A的逆矩阵。在图23(b)所示图像中,只变换图像401的位置。然后,与当前帧相对应的图像402使用仿射变换的图像401被重写,从而它与图像402重叠。要注意,通过在图像401上重写图像402形成的合成图像的描述这里被省略,因为它与图10(b)所示的合成图像相同。
此后,与下个帧相对应的图像403要被显示时,与这个帧相关联的仿射变换参数被用于在与仿射变换参数的方向相反的方向,仿射变换与以前帧相对应的图像401和图像402的合成图像。具体地,与图像403相对应的仿射变换参数的矩阵由A3表示、并且与图像402相对应的仿射变换参数的矩阵由A2表示、而与图像401相对应的仿射变换参数的矩阵由A1表示,确定Inv(A1×A2×A3)的值,并且图像401和图像402的合成图像使用Inv(A1×A2×A3)矩阵被仿射变换。在图23(c)所示图像中,只变换图像401和图像402的合成图像的位置。然后,与当前帧相对应的图像403以这样一种方式被重写,从而与图像401和402的仿射变换的合成图像相重叠。要注意,通过在图像401和402上重写图像403形成的合成图像的描述这里被省略,因为它与图10(c)所示的合成图像相同。
现在,描述这样一种情形:其中在图像拾取设备100的图像拾取时,放大率被改变,而图像拾取设备100的透镜方向不移动。
图24是视图,表明在如下情况的显示例子:再现包括在图11所示图像421至423的动态画面。图13和24所示的显示例子之间的差别与图10和23所示的显示例子之间的差别类似,尽管它们的区别在于,在固定位置显示的图像和形成仿射变换对象的图像,但它们在其它部分方面相同。因此,与图13相同的元件使用所应用的相同附图标记被描述。
如图24(a)所示,只有与顶部帧相对应的图像421被首先显示。然后,与下个帧相对应的图像422要被显示时,与这个帧关联的仿射变换参数被用于在与仿射变换参数的方向相反的方向,仿射变换紧前一图像的图像421。在图24(b)所示图像中,只变换图像421的尺寸。然后,与当前帧相对应的图像422以与仿射变换的图像421的重叠关系被重写。要注意,通过在图像421上重写图像422形成的合成图像的描述这里被省略,因为尽管它就尺寸而言不同,但就其它方面与图13(b)所示的合成图像相同。
然后,与下个帧相对应的图像423要被显示时,与这个帧相关联的仿射变换参数被用于在与仿射变换参数的方向相反的方向,仿射变换图像421和图像422的合成图像。在图24(c)所示图像中,只变换图像421和422的合成图像的尺寸。然后,与当前帧相对应的图像423被重写,从而与图像421和422的仿射变换合成图像相重叠。要注意,尽管通过在图像421和422的合成图像上重写图像423形成的合成图像在尺寸方面不同,但其它方面与图13(c)所示的合成图像相同,并因此它的描述在这里被省略。
现在,描述这样一种情形:在图像拾取设备100的图像拾取时,绕图像拾取方向转动图像拾取设备100,尽管图像拾取设备100的透镜的方向和放大率不变。
图25是视图,表明在如下情况的显示例子:再现包括在图14所示图像441至443的动态画面。图16和25所示的显示例子之间的差别与图10和23所示的显示例子之间的那些差别类似,尽管显示例子的区别在于,在固定位置显示的图像和形成仿射变换对象的图像,但它们在其它部分方面相同。因此,与图16相同的那些元件使用所应用的相同附图标记被描述。
如图25(a)所示,只有与顶部帧相对应的图像441被首先显示。然后,与下个帧相对应的图像442要被显示时,与这个帧关联的仿射变换参数被用于在与仿射变换参数的方向相反的方向,仿射变换紧前一图像的图像441。在图25(b)所示图像中,只变换图像441的角度。然后,与当前帧相对应的图像442被重写,从而与仿射变换的图像441相重叠。要注意,通过在图像441上重写图像442形成的合成图像的描述这里被省略,因为尽管它就角度而言不同,但其它方面与图16(b)所示的合成图像相同。
然后,与下个帧相对应的图像443要被显示时,与这个帧相关联的仿射变换参数被用于在与仿射变换参数的方向相反的方向,仿射变换与以前帧相对应的图像441和图像442的合成图像。在图25(c)所示图像中,只变换图像441和442的合成图像的角度。然后,与当前帧相对应的图像443以这样一种方式被重写,从而与图像441和442的仿射变换合成图像相重叠。要注意,通过在图像441和442上重写图像443得到的合成图像的描述在这里被省略,因为尽管它在角度方面不同,但其它方面与图16(c)所示的合成图像相同。
现在,参照附图详细描述提取要在显示部分250显示的合成图像的方法。
图26是视图,示意地表明在本发明实施例中在动态画面存储部分200中存储的动态图像文件的帧与显示区域之间的关系。这里,只显示图像存储器180、元数据存储部分210、及操作接受部分160,省略除它们之外的元件的说明。此外,在图26中,类似于图17,将关于形成图4(b)所示的动态画面文件201的帧“1”至“3”,使用在元数据文件211中存储的仿射变换参数216,在图像存储器180中产生合成图像的情形作为例子,给出描述。
这里,在图17中,已经描述了如下例子:其中仿射变换被依次应用于与当前帧相对应的当前图像,以形成要依次存储到图像存储器180中的合成图像,并且从图像存储器180的这样的合成图像中,提取响应于当前图像的变换的显示区域的范围中包括的合成图像。在图26中,表明如下例子:仿射变换在与仿射变换参数的方向相反的方向,被应用到与每一个以前帧相对应的合成图像,以将与当前帧相对应的当前图像固定到显示部分250的特定位置,而不响应于当前图像来变换显示区域。这个例子中,图像变换部分150将仿射变换应用于图像存储器180中存储的与直到紧前一帧的多个帧相对应的合成图像上,并且图像合成部分170在仿射变换之后的合成图像上重写当前图像,以合成图像,并将如此合成的新合成图像存储到图像存储器180中。要注意,与图17的那些相似的元件由相似的附图标记指示。以此方式,当前图像可被固定到显示部分250的特定位置,而不响应于当前图像来变换显示区域。此外,对于当前图像,从动态画面存储部分200获取之后、在仿射变换之前的图像可用于代替图像存储器180中存储的合成图像,如上文参照图19描述的那样。
尽管将形成一个动态画面的图像被彼此合成的情形作为例子给出以上描述,但在如下描述中,参照附图详细描述两个动态画面的图像被合成的合成例子。
图27是方块图,表示根据本发明另一个实施例的图像拾取设备101的功能构造例子。这里,图像拾取设备101是对图1所示图像拾取设备100的部分修改,并且包括图像拾取部分110、摄影机工作检测部分120、记录控制部分131、文件获取部分141、图像变换部分151、操作接受部分165、图像合成部分171、图像存储器180、显示区域提取部分190、动态画面存储部分200、元数据存储部分210、相对关系信息存储部分220、显示存储器231、显示控制部分240、显示部分250、重合点选择部分260、相对关系信息计算部分270、对象图像变换信息计算部分280、及重合点搜索部分340。要注意,图像拾取部分110、摄影机工作检测部分120、图像存储器180、显示区域提取部分190、元数据存储部分210、显示控制部分240及显示部分250的构造描述被省略,因为它类似于图1所示图像拾取设备100。此外,在下面主要给出与图1所示图像拾取设备100的差别的描述。
记录控制部分131将从图像拾取部分110输出的动态画面作为动态画面文件记录在动态画面存储部分200中,并且将从摄影机工作检测部分120输出的仿射变换参数以与对应动态画面和帧相关联地记录到元数据存储部分210中作为元数据文件。此外,记录控制部分131将从相对关系信息计算部分270输出的仿射变换参数,以与仿射变换参数相对应的动态画面和帧相关联地记录到相对关系信息存储部分220中。
动态画面存储部分200在记录控制部分131的控制下将从图像拾取部分110输出的动态画面存储为动态画面文件。此外,动态画面存储部分200按照来自文件获取部分141的请求将动态画面文件供给到文件获取部分141,并且按照来自重合点搜索部分340的请求将至少两个动态画面文件供给到重合点搜索部分340。
相对关系信息存储部分220在记录控制部分131的控制下将从相对关系信息计算部分270输出的仿射变换参数和相应的动态画面和帧以彼此关联关系存储为相对关系元数据文件。此外,相对关系信息存储部分220按照来自文件获取部分141的请求将相对关系元数据文件供给到文件获取部分141。要注意,下文参照图29和35描述在相对关系信息存储部分220中存储的相对关系元数据文件。
文件获取部分141获取在动态画面存储部分200中存储的至少一个或多个动态画面文件、在元数据存储部分210中与每一个动态画面文件相关联地存储的元数据文件、及在相对关系信息存储部分220中以与动态画面文件的相同关联关系存储的相对关系元数据文件,并且响应于操作接受部分165接受的操作输入将获取文件的信息供给到各个部分。具体地,当用于普通动态画面再现的操作输入由操作接受部分165接受时,文件获取部分141获取在动态画面存储部分200中存储的一个或多个动态画面文件,并且依次将获取的动态画面文件的动态画面输出到重合点选择部分260和显示存储器231。当普通动态画面再现正在执行时,如果用于停止动态画面再现的操作输入由操作接受部分165接受,文件获取部分141停止动态画面的输出。此外,指定一个或多个动态画面文件的合成再现的指令操作由操作接受部分165接受时,文件获取部分141获取在动态画面存储部分200中存储的一个或多个指定动态画面文件、在元数据存储部分210中与所述动态画面文件各自关联地存储的元数据文件、及在相对关系信息存储部分220中以与动态画面文件的相同关联关系存储的相对关系元数据文件,并且将获取的一个或多个动态画面文件的动态画面和一个或多个元数据文件的仿射变换参数输出到图像变换部分151。此外,文件获取部分141将获取的元数据文件和相对关系元数据文件的内容输出到对象图像变换信息计算部分280。
图像变换部分151使用与图像相对应的仿射变换参数,对每个帧执行图像的仿射变换,所述帧形成从文件获取部分141输出的动态画面文件的动态画面,并且将仿射变换后的图像输出到图像合成部分171。这里,指定合成多个动态画面时,图像变换部分151将再现对象的多个动态画面之一确定为基准动态画面,并且使用与形成基准动态画面的图像相对应的仿射变换参数对每个帧执行基准动态画面的仿射变换。同时,对于作为再现对象的多个动态画面之中除基准动态画面之外的其它动态画面,图像变换部分151使用对象图像变换信息计算部分280计算的对象图像变换信息(仿射变换参数)和与形成动态画面的图像相对应的仿射变换参数,对每个帧执行仿射变换。要注意,下文参照图32、38等详细描述所述其它动态画面的变换方法。
操作接受部分165包括各种类型的操作部件,并且当从任一个操作部件接受操作输入时,将接受的操作输入的内容输出到文件获取部分141、重合点选择部分260、图像合成部分171、显示区域提取部分190或重合点搜索部分340。要注意,这样的操作部件与以上参照图2描述的那些类似。
重合点选择部分260,当指定重合点的指定操作的操作输入由操作接受部分165接受时,选择图像的重合点,所述图像形成从文件获取部分141输出的动态画面文件的动态画面。对一个图像选择至少三个重合点时,重合点选择部分260将选中重合点的位置和选择顺序以及选择对象的图像输出到相对关系信息计算部分270。重合点的选择操作可以对多个图像同时执行,或者可以对每个动态画面依次执行。
重合点搜索部分340,在指定相对关系信息的再现的指令操作由操作接受部分165接受时,该相对关系信息是关于动态画面存储部分200中存储的多个动态画面文件中的至少两个动态画面,搜索关于形成指定多个动态画面的图像的至少三个重合点,并且将包括搜索出的重合点的位置的图像输出到相对关系信息计算部分270。对重合点的搜索可例如通过使用一般对象识别等技术(例如,参考日本专利公开No.2002-65399)实现,通过其可识别在图像中包括的物体,而与图像尺寸无关。此外,参照图28详细描述重合点搜索部分340。
相对关系信息计算部分270基于从重合点选择部分260或重合点搜索部分340输出的至少两个图像和图像的至少三个重合点,计算仿射变换参数作为关于所述图像的相对关系信息,并且将计算的仿射变换参数和为仿射变换参数的计算使用的动态画面ID和图像帧号输出到记录控制部分131。要注意,参照图30和31详细描述关于图像的仿射变换参数的计算。此外,尽管在本发明的实施例中,描述仿射变换参数被用作相对关系信息的例子,但可以使用诸如投影变换参数的其它图像变换信息。要注意,仿射变换参数可使用三个点的向量通过计算来确定,投影变换参数可使用四个点的向量通过计算来确定。
当接收到合成和再现多个动态画面的指令时,其中形成来自再现对象的多个动态画面中的一个动态画面的至少一个图像被确定为基准图像,并且形成其它动态画面的图像被确定为对象图像,对象图像变换信息计算部分280,基于从文件获取部分141输出的元数据文件的仿射变换参数和相对关系元数据文件,计算用于变换对象图像的对象图像变换信息。然后,对象图像变换信息计算部分280将计算的对象图像变换信息输出到图像变换部分151。作为一个动态画面的基准图像,例如,可使用与形成一个动态画面的顶部帧相对应的图像。此外,对象图像变换信息是例如就基准图像而言用于对象图像的变换的仿射变换参数。要注意,参照图32等详细描述对象图像变换信息的计算。
图像合成部分171通过在图像存储器180保存的与直到紧前一帧的帧相对应的合成图像上重写图像变换部分151的仿射变换之后的图像,来合成图像,并且将合成的新合成图像存储到图像存储器180中。此外,在接收合成和再现多个动态画面的指令时,图像合成部分171通过在图像存储器180存储的与直到紧前一帧的帧相对应的合成图像上重写图像变换部分151相对于基准图像而仿射变换的图像,来合成图像,并且将合成的新合成图像存储到图像存储器180中。要注意,图像合成部分171基于响应显示放大率的值而确定的显示区域的尺寸,在显示存储器231中存储的合成图像上合成图像变换部分151的仿射变换之前的当前图像。这里,显示存储器231中合成的当前图像的尺寸基于显示放大率的值而确定。要注意,多个动态画面的再现开始位置可以响应来自操作接受部分165的操作输入被独立地确定。要注意,参照图32至34等详细描述这样的图像合成。
显示存储器231是保存显示区域提取部分190从图像存储器180提取的图像的显示缓冲器,并且在图像存储器180中保存的图像被显示在显示部分250。
图28是方块图,表示本发明实施例中的重合点搜索部分340的功能构造例子。重合点搜索部分340包括动态画面获取单元145、多分辨率产生单元341、特征点提取单元342、特征量提取单元343、模型词典寄存单元344、多分辨率产生单元345、特征点提取单元346、特征量提取单元347、kd树构建单元348、及特征量比较单元349。并且,重合点搜索部分340计算在形成多个动态画面的各个帧之间的部分重合程度,并基于计算的重合程度自动地将多个动态画面彼此相关联。
动态画面获取单元145响应来自操作接受部分165的用于动态画面获取的操作输入,获取在动态画面存储部分200中存储的两个动态画面文件,并且为每个帧将形成获取动态画面文件之一的图像输出到多分辨率产生单元341。此外,动态画面获取单元145为每个帧将形成另一动态画面文件的图像输出到多分辨率产生单元345。
多分辨率产生单元341按预先确定的比率降低从动态画面获取单元145输出的图像的分辨率,以比识别时更精细的精度产生多个不同分辨率的图像形成的多分辨率图像,并且将产生的多分辨率图像输出到特征点提取单元342。
特征点提取单元342从多分辨率产生单元341输出的多分辨率图像的不同分辨率的图像来提取特征点,并且将提取的特征点输出到特征量提取单元343。至于特征点提取方法,例如,可使用与图3所示的特征点提取单元121的特征点提取方法相类似的方法。
特征量提取单元343提取在特征点提取单元342输出的特征点的至少两个局部特征量,并且将提取的特征量寄存到模型词典寄存单元344中。这里,特征量提取单元343提取的两个局部特征量包括提取的特征点附近的浓度梯度的方向直方图作为第一类型特征量,和提取的尺寸退化浓度梯度向量作为第二类型特征量。
模型词典寄存单元344寄存从特征量提取单元343输出的特征量,并且将寄存的特征量供给到kd树构建单元348。
多分辨率产生单元345按预先确定的比率降低从动态画面获取单元145输出的图像的分辨率,以比学习时更粗糙的精度产生多个不同分辨率的图像形成的多分辨率图像,并且将产生的多分辨率图像输出到特征点提取单元346。
特征点提取单元346从多分辨率产生单元345输出的多分辨率图像的不同分辨率的每个图像来提取特征点,并且将提取的特征点输出到特征量提取单元347。至于这种特征点提取方法,例如,可使用与特征点提取单元342的方法相类似的方法。
特征量提取单元347提取从特征点提取单元346输出的特征点的至少两个局部特征量,并且将提取的特征量输出到特征量比较单元349。至于特征量提取,例如,可使用与特征量提取单元343的方法相类似的方法。
kd树构建单元348基于模型词典寄存单元344中寄存的特征量构建kd树,用于特征量比较单元349的特征量比较,并且将构建的kd树输出到特征量比较单元349。这里,在特征量要被特征量比较单元349比较时,特征量比较单元349将从特征量提取单元347提取的特征点特征量和模型词典寄存单元344中寄存的特征点特征量彼此比较,以搜索从特征量提取单元347提取的特征点特征量和在模型词典寄存单元344中寄存的相似特征点特征量的组合。作为特征量比较方法的最简单方法是全部检查。具体地,最简单方法是计算从特征量提取单元347提取的每一个特征点特征量与模型词典寄存单元344中寄存的特征点特征量的特征量相似程度、并且基于计算的相似程度来选择相似特征点特征量的组合。然而,全部搜索的方法要求很长处理时间。因此,在本发明的实施例中,为了从大量数据组以高速搜索数据,描述使用树搜索方法的例子,树搜索方法使用叫做kd树的数据结构(J.H.Friedamn,J.L.Bentley and R.A.Finkel:“An algorithm forfinding best matches in logarithmic expected time(对数期望时间中用于求出最好匹配的算法),”ACM Transaction on MathematicalSoftware,Vol.3,No.3,pp.209-226,September 1977)。kd树是具有k维树结构的树。要注意,本发明的实施例中,构建类型1的特征量的36d树(k=36)和类型2的特征量的18d树(k=18)。所构建的树的每个叶(终端节点),一个特征点特征量与标签等的信息保存在一起,以便查阅特征量是哪个特征点的、从哪一个级别提取该特征点、是多分辨率图像组的哪个图像的级别、及多分辨率图像组是哪个帧的。
特征量比较单元349将从特征量提取单元347提取的特征点特征量与kd树构建单元348构建的表示为Kd树的特征点特征量彼此比较,以执行k-NN(k Nearest Neighbor(最邻近))搜索来计算相似程度,以搜索相似特征点特征量的组合;并且将与搜索出的特征点特征量的组合相对应的特征点的位置作为重合点输出到相对关系信息计算部分270。这里,关于一个或多个动态画面的特征量可以预先寄存在模型词典寄存单元344中,从而动态画面获取单元145依次获取在动态画面存储部分200中存储的其它动态画面文件,以依次搜索寄存的动态画面与其它动态画面之间的重合点。或者,重合点搜索部分340可以获取动态画面存储部分200中存储的动态画面文件,以自动和依次地搜索关于动态画面存储部分200中存储的动态画面文件的重合点。要注意,参照图31详细描述搜索对象的重合点。
图29是视图,示意地表示本发明实施例中在动态画面存储部分200和相对关系信息存储部分220中记录的文件。在本例子中,示意地表明在动态画面存储部分200中存储的动态画面文件201至204和相对关系信息存储部分220中以与动态画面文件201至204相关联地存储的相对关系元数据文件221至223。在本例子中,描述如下例子:形成动态画面文件(#1)201的帧“5”1361和“8”1362、形成动态画面文件(#2)202的帧“7”1363和“9”1364、及形成动态画面文件(#3)203的帧“3”1365和“10”1366与相对关系信息存储部分220中存储的相对关系元数据文件221至223相关联地被存储。要注意,动态画面存储部分200中存储的动态画面文件的描述这里被省略,因为它们与图4所示的动态画面文件相同。
相对关系元数据文件221至223中,彼此关联地存储动态画面ID224、帧号225及仿射变换参数226。
动态画面ID 224是应用于与各自包括至少三个重合点的两个图像相对应的两个动态画面文件的动态画面ID,例如,在相对关系元数据文件221中,存储应用于动态画面文件201的#1和应用于动态画面文件202的#2。
帧号225是与包括至少三个重合点的两个图像相对应的两个帧的序列号,例如,在相对关系元数据文件221中,设置形成动态画面文件201的动态画面的帧的帧号“5”和形成动态画面文件202的动态画面的帧的帧号“7”。
仿射变换参数226指示为与动态画面ID 224和帧号225相对应的至少两个图像计算的仿射变换参数,例如,在相对关系元数据文件221中,设置“ao、bo、co、do、eo、fo”,作为与形成动态画面文件201的动态画面的帧“5”和形成动态画面文件202的动态画面的帧“7”相对应的仿射变换参数。要注意,在本发明的实施例中,仿射变换参数226指示如下情况的仿射变换参数:其中,与对应动态画面ID 224和帧号225之间的在图29所示下部的帧号相对应的图像被确定为基准图像,并且上部的另一个帧号被确定为对象图像。例如,相对关系元数据文件221中设置的仿射变换参数226指示用于帧“7”1363的仿射变换参数,其形成帧“5”1361的动态画面文件(#2)202的动态画面,其形成动态画面文件(#1)201的动态画面。
图30是视图,示意地表明仿射变换参数计算方法,该方法通过选择图像中包括的重合点来计算关于两个图像的仿射变换参数,并且基于选中重合点来合成两个图像。图30(a)表示图像370,是基准图像的例子,形成用作基准的一个动态画面;并且图30(b)表示图像376,是比较对象图像的例子,其形成用作比较对象的另一个动态画面。图30(a)和(b)所示图像370和376是表明如下状态的图像:其中,在显示部分250的再现期间停止包括图像370和376之一的两个动态画面。在本例子中,示意地表明如下选择方法:其中,在显示部分250停止动态画面的状态下,动态画面停止时在显示图像上的重合点被手工指定。图30(c)表明当在图像370和376上选择的重合点被用于计算仿射变换参数时使用的光流检测的例子。同时,图30(d)表明基于在图像370和376上选择的重合点合成图像370和376的例子。
假定图30(a)和(b)所示图像370和376包括同一对象的房屋371。这里,关于包括图像370的动态画面和包括图像376的动态画面的相对关系元数据文件要通过用户的手工操作被生成时,用户通过手工操作再现两个动态画面,从而包括同一对象的图像被显示在显示部分250。例如,包括是同一对象的房屋371的图像370和376被显示在显示部分250。这个例子中,图像370和376的两个图像可以显示在显示部分250的同一屏幕,或者一个图像可以依次显示。
例如,在图30(a)所示图像370被显示在显示部分250的状态下,用户对操作接受部分165执行操作输入,以使用光标375指定房屋371的屋顶的上部部分372和房屋371下侧的角部部分373和374。光标375例如响应来自十字按钮162的操作输入可以被移动,或者响应来自某种其它操作部件的操作输入可以被移动。例如,通过在光标375叠加在待指定部分的状态下执行指定操作,可指定希望的部分。以此方式执行指定操作时,例如,如图30(a)看到的那样,圆形标记可以应用于对其执行指定操作的部分,从而用户可识别该部分。还在图30(b)所示图像376上,类似地指定房屋371的屋顶的上部部分377和房屋371下侧的角部部分378和379。当指定操作由用户执行时,重合点选择部分260将指定位置选作图像上的重合点,并且将重合点的选中位置和这一指定顺序与图像一起输出到相对关系信息计算部分270。
如图30(a)和(b)所示,三个重合点在两个图像370和376被分别选择时,相对关系信息计算部分270基于重合点计算向量,并且使用计算的向量计算仿射变换参数。每一个向量被计算,例如,作为基于指定重合点的顺序在两个图像上选择的对应重合点的组合。例如,如果指定操作按图像370的房屋371的屋顶的上部部分372和房屋371的下侧的角部部分373和374的顺序被执行,并且然后指定操作按图像376的房屋371的屋顶的上部部分377和房屋371的下侧的角部部分378和379的顺序被执行,那么相对于图像370的上部部分372和图像376的上部部分377计算向量,并且相对于图像370的角部部分373和图像376的角部部分378计算向量,然后相对于图像370的角部部分374和图像376的角部部分379计算向量。以此方式,基于在图像370和376上选择的重合点计算的向量由图30(c)的箭头标记381至383指示。要注意,图30(c)所示图像380上,图30(a)所示图像370包括的线由虚线指示,并且图30(b)所示图像376包括的线由实线指示。以此方式计算的向量用于计算仿射变换参数。仿射变换参数的计算方法类似于图6和7表明的计算方法。要注意,在本发明的实施例中,描述如下例子:与使用重合点计算的仿射变换参数的矩阵的逆矩阵相对应的仿射变换参数被用作相对关系参数。换句话说,被用作相对关系元数据的仿射变换参数被定义为,不是对应于重合点被确定的两个图像之间的向量代表的仿射变换矩阵、而是对应于代表两个图像之一被确定为基准图像且另一图像向其位置移动的仿射矩阵的仿射变换参数。
要注意,相对关系信息计算部分270可以计算仿射变换参数而不使用所述指定顺序。例如,关于被选作图像上的重合点的三个点的每一种组合来计算向量。三个重合点在两个图像上被独立选择时,作为图像的重合点的组合,可得到六种组合。然后,对六种组合计算的向量被用于计算六种仿射变换参数。然后,将两个图像之一确定为基准图像而将另一图像确定为比较对象图像,六种计算的仿射变换参数被用于依次仿射变换比较对象图像。因此,产生一个基准图像和六个仿射变换的比较对象图像。然后,将顶点位于基准图像的三个重合点的三角形内存在的像素和顶点在仿射变换后的比较对象图像的三个重合点的三角形内存在的像素彼此相比较,以依次计算在三角形内存在的像素之间的亮度值的差值。因此,计算与六种仿射变换参数相对应的六种差值的平方值的全部值。然后,从如此计算的六种差值中选择呈现最低差值的仿射变换参数,并且将选中的仿射变换参数确定为关于已经执行重合点指定操作的这两个图像的仿射变换参数。
此外,例如,基于图像370和376上选择的重合点计算的仿射变换参数被用于仿射变换并重写图像370到图像376上时,产生在图30(d)所示图像384。以种方式使用计算的仿射变换参数合成图像370和376,产生合成图像,其中在比该图像的背景更宽的范围上包括房屋371周围的背景。
图31是视图,示意地表示仿射变换参数计算方法,通过选择在图像中包括的重合点来计算关于两个图像的仿射变换参数。这里,描述如下例子:其中图像中包括的重合点由图27和28所示的重合点搜索部分340搜索,并且搜索出的重合点被用于计算关于两个图像的仿射变换参数。要注意,除重合点搜索部分340搜索出的每一个特征点被圆形标记指示之外,图31(a)至(c)所示图像370、376及380与图30(a)至(c)所示图像370、376及380相同。如上述那样,重合点搜索部分340计算在形成动态画面的各个帧之间的部分重合程度,并且基于这样计算的重合程度自动地将多个图像彼此相关联。在执行对两个动态画面之间的重合点的搜索时,例如,将特征点801至810和377至379提取为图像370的特征点,并且将特征点811至823和377至379提取为图像376的特征点。然后,从提取的特征点中,选择图像的类似特征点的组合。例如,在图像370和376上,选择特征点805至810与372至374和特征点818至823与377至379。在图31(a)和(b),匹配特征点由粗圆形标记指示。以此方式选择的特征点中,搜索出用于仿射变换参数的计算的三个特征点作为重合点。例如,在图像370和376上,搜索出特征点372至374和特征点377至379作为重合点。对于重合点的搜索,选择例如在相似程度方面呈现最高分数的特征点的组合。然后,基于搜索出的特征点来计算向量,并且基于向量来计算仿射变换参数。要注意,仿射变换参数的计算由与图30表明的计算方法相类似的方法执行。
图32是视图,示意地表明合成两个动态画面的情况下的合成例子。这个例子中,描述合成形成动态画面500的图像501至514和形成动态画面520的图像521至527的情形。此外,假定应用斜线所指示的图像508和524是与关于动态画面500和520的相对关系元数据中包括的帧号相对应的图像。
在图32(a),表明如下情形:形成动态画面500的图像501至514使用与各帧相关联地存储的仿射变换参数被依次仿射变换,并且在图像存储器180被合成。例如,与顶部帧相对应的图像501被首先存储到图像存储器180中。然后,图像502至514参考图像501被依次仿射变换,并且被合成在图像存储器180中。通过仿射变换的当前图像流由箭头标记515指示。换句话说,图像501至514沿箭头标记515被依次合成。
在图32(b),表明如下情形:形成动态画面520的图像521至527使用与各个帧相关联地存储的仿射变换参数被依次仿射变换,并且在图像存储器180被合成。同时,在图32(c),表示在如下情况下图像508和图像524的相对关系位置:其中图像524参考图像501使用关于动态画面500和520的相对关系元数据中包括的仿射变换参数被仿射变换。这里,图32(b)所示的合成图像表示参考图32(c)所示图像508和图像524的相对关系位置由图像521至527合成的图像。这个例子中通过仿射变换的当前图像流由箭头标记528指示。具体地,图像521至527沿箭头标记528被依次合成。描述如下情况的合成例子:其中图32(a)所示的合成图像和图32(b)所示的合成图像,参考在图32(c)所示图像508和图像524的相对关系位置被合成。注意,在图32(d)所示的例子中,表明如下例子:其中图像508和524被同时再现,并且同时再现的图像通过在动态画面500上重写动态画面520而被合成。
这里,描述关于各个动态画面的存储位置的具体计算方法。首先,确定形成多个动态画面之一的至少一个动态画面的位置。例如,确定与形成动态画面500的顶部帧相对应的图像501的位置。如此确定的位置可以由用户通过操作接受部分165指定,或者可以使用上文描述的计算而计算的位置确定。然后,计算形成其它动态画面的图像的至少一个的存储位置。例如,与图像501至514相对应的各个帧相关联的仿射变换参数的矩阵由A1至A14表示。同时,与图像521至527相对应的帧相关联的仿射变换参数的矩阵由B1至B7表示。此外,与动态画面500和520相关联地存储的相对关系元数据的仿射变换参数的矩阵由C1表示。这里,基准图像是图像501。图像存储器180上的图像501的存储位置被确定为基准时,图像508的存储位置通过A1至A8的相乘被计算。换句话说,图像508的存储位置使用A1×...×A8被计算。同时,图像存储器180上的图像501的存储位置被确定为基准时,图像524的存储位置通过A1至A8和C1的相乘被计算。换句话说,图像524的存储位置使用A1×...×A8×C1被计算。这里,例如,与动态画面520相对应的顶部帧的图像521的存储位置要被计算时,可通过A1至A8和C1、及B1至B4的逆矩阵的相乘被计算。换句话说,图像521的存储位置可使用“A1×...×A8×C1×Inv(B1×...×B4)”被计算。形成动态画面520的任何其它图像的存储位置可使用A1至A8和C1、以及B1至B4或B5至B7的逆矩阵被计算。
另一方面,形成除包括基准图像的动态画面之外的动态画面的图像要被仿射变换时,使用与顶部帧相对应的图像的存储位置的计算所使用的矩阵和与该图像相关联的仿射变换参数而执行。例如,在动态画面520的图像522要被仿射变换时,使用“A1×...×A8×C1×Inv(B3×B4)”的矩阵,使用与图像522相对应的矩阵B2来变换。还在例如动态画面520的图像523要被仿射变换时,类似地使用“A1×...×A8×C1×Inv(B4)”的矩阵来变换。动态画面520的每个图像被类似地变换。
以此方式,在多个动态画面要被合成和再现时,在确定在图像存储器180上的动态画面之一的基准图像的位置和尺寸之后,使用与动态画面各自相关联的元数据文件和与各个动态画面相关联的相对关系元数据文件可计算每个图像的位置和尺寸。因此,在多个动态画面要被合成和再现时,有可能从任何位置再现动态画面。例如,如下例子表明在图32(d)中:图像存储器180上合成形成动态画面500的图像501至504之后,形成动态画面520的图像521被合成。具体地,同时合成图像505和521,并且然后同时合成图像506和522。也在此后,类似地执行合成。要注意,尽管这个例子表明同时再现的图像通过将动态画面520重写在动态画面500上被合成,被重写的动态画面可以通过操作接受部分165被指定。此外,基于基准动态画面的当前图像来确定显示区域。
图33是视图,示意地表明合成两个动态画面的合成例子。在图33(a),表明形成运动画面530的图像531至537的转变,并且在图33(b),表明形成另一个运动画面540的图像541至547的转变,而图33(c)表明是运动画面530和540被合成的合成图像的图像551至557的转变。注意,假定动态画面530和540是在时刻t1至时刻t7记录的动态画面。此外,假定在时刻t3的图像533和543是与图30所示图像370和376相对应的图像,并且关于图像533和543已执行图30所示的重合点的选择操作。此外,假定使用选择操作计算的相对关系元数据来合成动态画面530和540。
图34是视图,表明如下情况的显示例子:其中在显示部分250上显示图33所示的合成图像。图像561至567是代表动态画面530和540合成的合成图像的转变的图像,并且实线指示当前图像,虚线指示该当前图像之前的每个图像的区域。如图34看到的那样,图30所示的房屋371周围的背景从房屋371以扩展形式显示。大体相同位置拾取的动态画面530和540以此方式被同时再现时,通过合成动态画面530和540,可在观看背景等的同时,再现和欣赏这两个动态画面,这通常在普通动态画面上不能观察。此外,通过合成动态画面530和540,可容易地掌握动态画面530和540的图像拾取位置的相对关系。尽管这个例子表明,对于同时拾取的图像,形成动态画面540的图像通过重写形成动态画面530的图像而合成的例子,响应于来自操作接受部分165的操作输入可以选择应该重写哪一个图像。此外,尽管已经描述了按照时间合成相同图像拾取时间的图像的例子,但也可类似地应用于如下情形:从对应于来自操作接受部分165的操作输入的位置,依次合成不同时刻的图像。
尽管在以上描述中,描述如下例子:两个动态画面被再现,同时使用相对关系元数据文件被合成,在所述相对关系元数据文件中存储关于两个动态画面的仿射变换参数,但有可能将关于三个或更多个动态画面的仿射变换参数存储在一个相对关系元数据文件中,并且使用仿射变换参数在合成三个或更多个动态画面的同时再现它们。下面,参照附图详细描述三个或更多个动态画面被再现同时被合成的例子。
图35是视图,示意地表示在本发明实施例中在动态画面存储部分200和相对关系信息存储部分220中记录的文件。这个例子中,图35是视图,示意地表示在动态画面存储部分200中存储的动态画面文件(#12)651至(#14)653和在相对关系信息存储部分220中与动态画面文件(#12)651至(#14)653相关联地存储的相对关系元数据文件660。在这个例子中,描述关于三个动态画面文件(#12)651至(#14)653的仿射变换参数被存储在一个相对关系元数据文件660中的例子。注意,在动态画面存储部分200中存储的动态画面文件的构造的描述这里被省略,因为其构造与图4和29等所示的动态画面文件的构造相类似。此外,在相对关系信息存储部分220中存储的相对关系元数据文件的构造的描述这里被省略,因为除了关于三个或更多个动态画面的仿射变换参数被存储在一个相对关系元数据文件中之外,其构造与29所示的相对关系元数据文件的构造相类似。
在相对关系元数据文件660中,以彼此关联关系存储动态画面ID224、帧号225及仿射变换参数226。此外,关于形成动态画面文件(#12)651至(#14)653的各个图像中的每两个图像的相对关系的仿射变换参数被存储在相对关系元数据文件630中。具体地,在形成动态画面文件(#12)651的帧“2”654被确定为基准的情况下,用于计算形成动态画面文件(#13)652的帧“5”656的位置的仿射变换参数“at、bt、ct、dt、et、ft”,和在形成动态画面文件(#12)651的帧“9”655被确定为基准的情况下,用于计算形成动态画面文件(#14)653的帧“6”657的位置的仿射变换参数“au、bu、cu、du、eu、fu”被存储在相对关系元数据文件630中。因此,在三个动态画面在被合成的同时被再现时,考虑三个动态画面的相对关系来再现动态画面。
图36是视图,表示选择被包括在关于三个动态画面的图像中的重合点。要注意,图36(a)和(b)所示图像370和376与图30(a)和(b)所示图像370和376相同,并且假定选择重合点1372至1374和1377至1379。此外,假定图36(b)所示图像376中,作为除了重合点1372至1374之外的重合点,选择房屋371右侧布置的多用电杆的上部部分671至673。假定在图36(c)所示图像674中,选择多用电杆的上部部分675至677。要注意,图36(a)至(c)所示图像的重合点的选择和仿射变换参数的计算的描述这里被省略,因为它们与图30表明的方法的描述相类似。
图37是视图,表示如下情况下的例子:基于在关于三个动态画面的图像上选择的重合点,合成三个图像。图37表示使用基于图36(a)至(c)所示图像370、376及674上选择的重合点计算的仿射变换参数通过图像370、376及674的仿射变换合成的合成图像680。通过以此方式使用计算的仿射变换参数合成三个动态画面,产生合成图像680,其中房屋371周围的背景被包括在比每个图像的背景范围更大的范围上。
图38是视图,示意地表明合成三个动态画面的合成例子。在这个例子中,描述形成动态画面500的图像501至514、形成另一个动态画面520的图像521至527、及形成另一个动态画面690的图像691至697被合成的情形。注意,形成动态画面500的图像501至514和形成动态画面520的图像521至527的描述这里被省略,因为它们与图32所示的那些相同。此外,假定其内使用斜线指示的图像508和524是与关于动态画面500和520的相对关系元数据中包括的帧号相对应的图像,类似地,其内使用斜线指示的图像510和694是与关于动态画面500和690的相对关系元数据中包括的帧号相对应的图像。除了其内使用斜线指示的图像510之外,图38(a)所示的动态画面500与图32所示的动态画面500相类似。
图38(b)表明形成动态画面690的图像691至697使用以与各个帧相关联地存储的仿射变换参数被依次仿射变换并且然后在图像存储器180被合成的情形。这里,图38(b)所示的合成图像是参考图像510和图像694的相对关系位置合成图像691至697的情况下的合成图像。这个例子中仿射变换的当前图像流由箭头标记698指示。换句话说,沿箭头标记698依次合成图像691至697。在图38(a)所示的合成图像、在图38(b)所示的合成图像、及在图32(b)所示的合成图像,参考图像510和图像694的相对关系位置以此方式被合成的情况下的合成例子,显示在图38(c)。要注意,在图38(c)所示的例子中,表明图像508和524被同时再现并且图像510和694被同时再现的例子,并且表明同时再现的图像被合成从而动态画面520被重写在动态画面500上和动态画面690被重写在动态画面500上的例子。要注意,关于动态画面的具体存储位置的计算方法,可使用与图32表明的计算方法相类似的计算方法。要注意,即使关于形成再现对象的多个动态画面的相对关系元数据不存在的情况下,也有可能使用其它动态画面的相对关系元数据将再现对象的多个动态画面合成和再现。例如,在图38(c)所示的动态画面500、动态画面520和动态画面690中的动态画面520和动态画面690要被合成时,动态画面500和520的相对关系元数据和动态画面500和690的相对关系元数据可被用于计算任何其它动态画面的位置,其中动态画面520和动态画面690之一被确定为基准动态画面。例如,动态画面520被确定为基准动态画面时,使用图像508和图像524的相对关系位置,可计算形成动态画面500的图像508的位置。此外,基于图像508可计算图像510的位置。然后,使用图像510和图像694的相对关系位置,可计算在图像510被确定为基准的情况下形成动态画面690的图像的位置。以此方式,不具有共同的相对关系元数据的动态画面520和动态画面690也可通过动态画面500被合成和再现。这也可类似地应用于多个动态画面通过两个或更多个动态画面被合成和再现的情形。
图39是视图,表明在如下情况的例子:合成静止画面和多个动态画面。图39(a)是表明作为静止画面的图像701至718被存储在图像存储器180中的情形,并且图39(b)是表明动态画面500、520及690通过重写图像存储器180中存储的图像701至718而被合成的情形。在图中,图像701至718的框线由粗线指示。如图所示,静止画面可与多个动态画面一起合成。这个例子中,关于静止画面与形成动态画面的至少一个图像之间的相对关系的仿射变换参数被存储为相对关系元数据文件,并且这个相对关系元数据文件被用于执行合成。此外,静止画面可以在形成动态画面的图像之间被合成,或者静止画面可以合成在动态画面上。
此外,根据本发明实施例的图像拾取设备101可以连接到诸如互联网的网络,从而动态画面可以与通过网络接收的图像或动态画面相组合地再现。例如,图像拾取设备101可通过互联网接收预定公园的风景图像,并且再现动态画面,其中小孩的图像被拾取,同时将该图像合成在背景图像上,背景图像是所接收的公园的风景图像。这样,可提供小孩在公园中运动的人造再现图像。
现在,参照附图描述在本发明实施例中特征点提取处理和光流计算处理由多核处理器执行的情形。
图40是视图,表示在本发明实施例中多核处理器800的构造例子。多核处理器800是不同类型的多个处理器核被合并在一个CPU(中央处理单元)封装中的处理器。具体地,多核处理器800包括两种不同类型的多个处理器核,包括与所有应用(用途)相对应的一种类型的核、和优化到一定程度以用于预定用途的另一种类型的核,以保持每个处理器核件的处理性能并实现简单构造。
多核处理器800包括控制处理器核801、数学运算处理器核(#1)811至(#8)818、及总线802,并且连接到主存储器781。此外,多核处理器800连接到其它装置,像例如连接到图形装置782和I/0装置783上。至于多核处理器800,例如,可采纳是本发明受让人已开发的微处理器的“Cell(cell:Cell Broadband Engine)”。
控制处理器核801是主要执行操作***等的频繁线程转换的控制处理器核。要注意,参照图41详细描述控制处理器核801。
数学运算处理器核(#1)811至(#8)818是善于多媒体类型处理的简单且小尺寸的数学运算处理器核。要注意,参照图42详细描述数学运算处理器核(#1)811至(#8)818。
总线802是叫做EIB(Element Interconnect Bus(元件互连总线))的高速总线,并且控制处理器核801和数学运算处理器核(#1)811至(#8)818由总线802彼此连接,从而每个处理器核的数据访问通过总线802执行。
主存储器781连接到总线802,并且是存储待加载到处理器核中的各种程序和处理器核的处理必需的数据并且存储处理器核处理后的数据的主存储器。
图形装置782是连接到总线802的图形装置,并且I/O装置783是连接到总线802的外部输入/输出装置。
图41是视图,表示在本发明实施例中控制处理器核801的构造例子。控制处理器核801包括控制处理器单元803和控制处理器存储***806。
控制处理器单元803是用于执行控制处理器核801的数学运算处理的核的单元,并且包括基于微处理器体系结构的指令集,指令高速缓冲存储器804和数据高速缓冲存储器805作为第一高速缓冲存储器被合并入控制处理器单元803。指令高速缓冲存储器804是例如32KB的指令高速缓冲存储器,并且数据高速缓冲存储器805是例如32KB的数据高速缓冲存储器。
控制处理器存储***806是用于控制从控制处理器单元803到主存储器781的数据访问的单元,并且512KB的第二高速缓冲存储器807被并入控制处理器存储***806,以便加速来自控制处理器单元803的存储器访问。
图42是视图,表示本发明实施例中数学运算处理器核(#1)811的构造例子。数学运算处理器核(#1)811包括数学运算处理器单元820和存储器流程控制器822。要注意,数学运算处理器核(#2)812至(#8)818的描述这里被省略,因为它们具有与数学运算处理器核(#1)811的构造相类似的构造。
数学运算处理器单元820是用作执行数学运算处理器核(#1)811的数学运算的核的单元,并且包括与控制处理器核801的控制处理器单元803的指令集不同的独特指令集。此外,本地存储器(LS:LocalStore)821被并入数学运算处理器单元820。
本地存储器821是专用于数学运算处理器单元820的存储器,并且是可从数学运算处理器单元820直接查阅的唯一一个存储器。至于本地存储器821,例如,可使用具有例如256K字节容量的存储器。要注意,为了使数学运算处理器单元820访问主存储器781上的本地存储器或其它数学运算处理器核(数学运算处理器核(#2)812至(#8)818),必须利用存储器流程控制器822。
存储器流程控制器822是用于将数据传输进/出主存储器781其它数学运算处理器核等的单元,是叫做MFC(Memory FlowController(存储器流程控制器))的单元。这里,数学运算处理器单元820通过称为通道的接口将对数据传输等的请求发出到存储器流程控制器822。
至于上述的多核处理器800的编程模型,已经提出各种编程模型。作为在编程模型中的最基本模型,已知主程序在控制处理器核801上执行并且子程序在数学运算处理器核(#1)811至(#8)818上执行的模型。在本发明的实施例中,参照附图详细描述使用这种模型的多核处理器800的数学运算方法。
图43是视图,示意地表明在本发明实施例中多核处理器800的数学运算方法。这个例子中,作为例子描述如下情形:在控制处理器核801使用数据785执行任务784时,使用对于任务786的处理必需的数据787(数据785的部分),任务786是任务784的一部分。
如图所示,控制处理器核801使用数据785执行任务784时,使数学运算处理器核使用对于作为任务784的一部分的任务786的处理必需的数据787(数据785的一部分)执行任务786。在本发明的实施例中,对于形成动态画面的每一帧,由每个数学运算处理器核执行数学运算处理。
多核处理器800如图表明那样以此方式执行数学运算时,在较短时间中并行利用数学运算处理器核(#1)811至(#8)818可执行大量数学运算,并且利用在数学运算处理器核(#1)811至(#8)818上的SMID(Singl Instruction/Multiple Data:单指令/多数据)数学运算,使用进一步减小数量的指令,可执行更大数量的数学运算。要注意,参照图47至50等详细描述SMID数学运算。
图44是视图,示意地表明在在本发明实施例的多核处理器800执行数学运算的情况下的程序和数据流。这里,尽管将来自数学运算处理器核(#1)811至(#8)818中的数学运算处理器核(#1)811当作例子给出描述,但以上描述的数学运算也可类似地由数学运算处理器核(#2)812至(#8)818执行。
首先,控制处理器核801向数学运算处理器核(#1)811发送指令,将在主存储器781中存储的数学运算处理器核程序823加载到数学运算处理器核(#1)811的本地存储器821。因此,数学运算处理器核(#1)811将在主存储器781中存储的数学运算处理器核程序823加载到本地存储器821。
然后,控制处理器核801向数学运算处理器核(#1)811发出指令,执行在本地存储器821存储的数学运算处理器核程序825。
此后,数学运算处理器核(#1)811将对于本地存储器821存储的数学运算处理器核程序825的执行过程必需的数据824从主存储器781传输到本地存储器821。
然后,数学运算处理器核(#1)811基于在本地存储器821存储的数学运算处理器核程序825来处理从主存储器781传输的数据826,按照条件执行处理,及将处理结果存储到本地存储器821中。
然后,数学运算处理器核(#1)811将基于本地存储器821存储的数学运算处理器核程序825执行的处理结果从本地存储器821传输到主存储器781。
此后,数学运算处理器核(#1)811向控制处理器核801发出数学运算处理结束的通知。
现在,参照附图详细描述使用多核处理器800执行的SIMD数学运算。这里,SIMD数学运算是用于多个数据的处理由一条指令执行的数学运算方法。
图45(a)是视图,示意地表明数学运算方法的概要,其中用于多个数据的指令通过对每一个数据的运算被执行。在图45(a)表明的数学运算方法是普通数学运算方法,并且叫做例如标量数学运算。例如,数据“C1”的处理结果由将数据“A1”加到数据“B1”的指令确定。对于其它三种数学运算,对每个处理类似地执行在同一行中将数据“A2”、“A3”及“A4”加到数据“B2”、“B3”及“B4”的指令,并且通过这个指令,各个行中的值受到加法处理,处理结果被确定为数据“C2”、“C3”及“C4”。以此方式,在标量数学运算中,对于多个数据的处理,必须对于它们的每一个执行指令。
图45(b)是视图,示意地表明SIMD数学运算的概要,SIMD数学运算是多个数据的处理由单条指令执行的数学运算方法。这里,用于SIMD数学运算的数据(虚线827和828的每一条包围的数据)有时叫做向量数据。此外,使用这样的向量数据执行的SIMD数学运算有时叫做向量数学运算。
例如,通过将虚线827围绕的向量数据“A1”、“A2”、“A3”及“A4”加到虚线828围绕的向量数据“B1”、“B2”、“B3”及“B4”的一条指令,确定“C1”、“C2”、“C3”及“C4”(另一虚线829围绕的数据)的处理结果。由于在SIMD数学运算中,对多个数据的处理能以此方式由单条指令执行,所以可迅速地执行数学运算处理。此外,关于SIMD数学运算的指令由多核处理器800的控制处理器核801发出,并且根据该指令的多个数据的数学运算处理由数学运算处理器核(#1)811至(#8)818并行执行。
另一方面,例如,将“A1”和“B1”相加、将数据“A2”和“B2”相减、将数据“A3”和“B3”相乘、及将数据“A4”和“B4”相除的处理不能由SIMD数学运算执行。换句话说,对多个数据要分别执行不同处理时,不能执行通过SIMD数学运算的处理。
现在,参照附图详细描述在如下情况的SIMD数学运算的具体数学运算方法:其中执行特征点提取处理和光流计算处理。
图46是视图,表示本发明实施例中控制处理器核801或数学运算处理器核(#1)811执行的程序的构造例子。尽管这里表明仅通过数学运算处理器核(#1)811的处理,但类似处理也由数学运算处理器核(#2)812至(#8)818执行。
控制处理器核801关于解码851执行解码852、交织853及调整大小854。解码852是解码动态画面文件的过程。交织853是去交织解码帧的过程。调整大小854是减小去交织帧的过程。
此外,控制处理器核801,关于数学运算处理器核管理856,执行指令传输857和859和结束通知接受858和860。指令传输857和859是将SIMD数学运算的执行指令传输到数学运算处理器核(#1)811至(#8)818的处理,并且结束通知接受858和860是从响应上述指令的数学运算处理器核(#1)811至(#8)818接收SIMD数学运算的结束通知的处理。此外,控制处理器核801,关于摄影机工作检测861,执行摄影机工作参数计算处理862。摄影机工作参数计算处理862是对每个帧基于数学运算处理器核(#1)811至(#8)818通过SIMD数学运算计算的光流来计算仿射变换参数的处理。
数学运算处理器核(#1)811,关于特征点提取处理863,执行Sobel滤波器(Sobel Filter)处理864、二次矩矩阵(Second Moment Matrix)计算处理865、可分离滤波器(Separable Filter)处理866、Harris角部提取(Calc Harris)处理867、膨胀(Dilation)处理868及重新排序(Sort)处理869。
Sobel滤波器处理864是用于计算使用P2(x方向)的滤波器得到的在x方向的值dx和使用在Y方向的滤波器得到的在y方向的值dy的处理。要注意,参照图47至50详细描述在x方向的值dx的计算。
二次矩矩阵计算处理865是使用Sobel滤波器处理864计算的dx和dy计算dx2、dy2及dx·dy的值的处理。
可分离滤波器处理866是将Gaussian滤波器(浓淡处理)应用于二次矩矩阵计算处理865计算的dx2、dy2及dx·dy的图像的处理。
Harris角部提取处理867是使用dx2、dy2及dx·dy的值计算Harris角部的分数的处理,对于这些dx2、dy2及dx·dy的值由可分离滤波器处理866已经执行浓淡(shading)处理。例如按照如下表达式计算Harris角部的分数S:
S=(dx2×dy2-dx·dy×dx·dy)/(dx2+dy2+ε)
膨胀处理868是对于使用Harris角部提取处理867计算的Harris角部的分数构造的图像执行浓淡处理的处理。
重新排列处理869是按Harris角部提取处理867计算的Harris角部的下降顺序排列像素、拾取预定数量的具有较高分数的像素、及提取所拾取的点作为特征点的处理。
数学运算处理器核(#1)811,关于光流(Optical Flow)数学运算处理870,执行多分辨率图像产生(Make Pyramid Image)处理871和光流计算(Calc Optical Flow)处理872。多分辨率图像产生处理871是在图像拾取设备图像拾取时依次产生从画面尺寸减小到预定数量级别的图像的处理,产生的图像叫做多分辨率图像。
光流计算处理872是关于多分辨率图像产生处理871产生的多分辨率图像中的最小图像计算光流、并且使用计算结果对于分辨率高一级的图像再次计算光流的处理,并且处理序列被重复地执行,直到达到最大图像。
以此方式,例如,关于图3等所示的特征点提取单元121执行的特征点提取处理和光流计算单元122执行的光流计算处理,使用多核处理器800通过SIMD数学运算通过并行处理可确定处理结果。要注意,在图46等表明的特征点提取处理和光流计算处理是例子,对于形成动态画面的图像,通过多核处理器800的SIMD数学运算可以使用从各种滤波器处理、阈值处理等构造的其它处理执行。
图47是视图,示意地表明如下情况的数据结构和处理流程:其中在本发明实施例中对于主存储器781存储的图像数据(与形成图像拾取设备拾取的动态画面的一个帧相对应的图像数据)使用Sobel滤波器830执行滤波。要注意,在图中主存储器781存储的图像数据以简化形式表明,其中在水平方向的像素数量是32。而且Sobel滤波器830是3×3边缘提取滤波器。如图所示,对于在主存储器781中存储的图像数据执行使用Sobel滤波器830的滤波处理,并且输出滤波处理的结果。这个例子中,描述使用SIMD数学运算一次得到四个滤波结果的例子。
图48是视图,示意地表明在如下情况的数据流程:在本发明实施例中对于主存储器781存储的图像数据使用Sobel滤波器830执行SIMD数学运算。首先,包括在主存储器781中存储的第一行图像数据的预定数量的行(例如三行)被DMA(Direct Memory Access)传输到在数学运算处理器核的本地存储器821中提供的第一缓冲器831,并且从DMA传输到第一缓冲器831的各行向下偏移一行的预定数量的行被DMA传输到第二缓冲器832。通过以此方式使用双缓冲器,可掩盖DMA传输的延迟。
图49是视图,示意地表明在本发明实施例中的Sobel滤波器830被用于执行滤波处理的情况,从第一缓冲器831中存储的图像数据产生九个向量的向量产生方法。在如图48表明的那样执行DMA传输之后,从第一缓冲器831中存储的图像数据产生九个向量。具体地,由第一缓冲器831中存储的图像数据的一行中的左角的四个数据产生向量数据841,并且从四个数据向右侧偏移一个的四个数据产生向量数据842。类似地,从上述后四个数据向右侧偏移一个的四个数据产生向量数据843。在第二行和第三行中,也类似地每次由四个数据产生向量数据844至849。
图50是视图,示意地表明在使用本发明实施例的Sobel滤波器830执行滤波处理的情况下,对向量数据841至849使用SIMD指令用于执行向量数学运算的向量数学运算方法。具体地,对于向量数据841至843依次执行SIMD数学运算以确定向量A。这种SIMD数学运算中,首先执行‘“-1”ד向量数据841”’的SIMD数学运算。然后,执行‘“0”ד向量数据842”’的SIMD数学运算,并且然后执行‘“1”ד向量数据843”’的SIMD数学运算。这里,‘“0”ד向量数据842”’可省略,因为判定数学运算的结果是“0”。此外,‘“1”ד向量数据843”’可省略,因为判定数学运算的结果具有与“向量数据843”的值相等的值。
然后,SIMD数学运算执行‘“-1”ד向量数据841”’的数学运算结果和‘“0”ד向量数据842”’的数学运算结果的叠加过程,并且然后SIMD数学运算执行叠加过程结果和‘“1”ד向量数据843”’的数学运算结果的叠加过程。这里,SIMD数学运算可执行例如“向量数据1”ד向量数据2”+“向量数据3”的数据结构的数学运算。因此,在向量A的数学运算中,例如,‘“0”ד向量数据842”’和‘“1”ד向量数据843”’的SIMD数学运算可以省略,而‘“-1”ד向量数据841”+“向量数据843”’由SIMD数学运算的单次运算执行。
类似地,对于向量数据844至846依次执行SIMD数学运算以确定向量B,并且对于向量数据847至849依次执行SIMD数学运算以确定向量C。
然后,对于SIMD数学运算确定的向量A至C执行SIMD数学运算以确定向量D。以此方式,通过进行SIMD数学运算,一次可得到与向量的分量数量相等的多个结果(这个例子中,四个数据)。
在计算向量D之后,从图48表明的第一缓冲器831中存储的图像数据中提取数据的位置被向右侧依次偏移一个的同时,重复执行类似处理,以依次执行向量D的计算。然后,如果直到图48所示的第一缓冲器831中存储的图像数据的右端的处理结束,处理结果被DMA传输到主存储器781。
然后,与从主存储器781存储的图像数据中被DMA传输到第二缓冲器832的各行偏移一行的预定数量的行被DMA传输到第一缓冲器831,并且对于第二缓冲器832存储的图像数据重复以上描述的处理。然后,重复类似处理,直到到达主存储器781中存储的图像数据的各行之中的下端行。
类似地,通过SIMD数学运算执行大部分处理,可实现用于特征点提取和光流计算的处理加速。
图51是视图,按时间序列示意地表明在本发明实施例中的摄影机工作参数计算处理的流程。例如,通过使用上述多核处理器800进行SIMD数学运算,可并行进行对动态画面的解码和分析处理。因此,与解码时间相比,有可能减小对于形成动态画面的一个帧的分析时间。
例如,在图中,t1指示通过控制处理器核801对于形成动态画面的一帧的解码处理需要的时间段,t2指示通过数学运算处理器核(#1)811至(#8)818对于形成动态画面的一帧的特征点提取处理需要的时间段,t3指示通过数学运算处理器核(#1)811至(#8)818对于形成动态画面的一帧的光流计算处理需要的时间段,及t4指示通过控制处理器核801对于形成动态画面的一帧的摄影机工作检测处理需要的时间段。注意,t5指示通过控制处理器核801和数学运算处理器核(#1)811至(#8)818对于形成动态画面的一帧的摄影机工作检测处理需要的时间段。此外,t6指示通过控制处理器核801对于管理数学运算处理器核(#1)811至(#8)818的处理所需要的时间段。例如,。t1可设置到“25.0ms”,t2到“7.9ms”,t3到“6.7ms”,t4到“1.2ms”,及t5到“15.8ms”。
现在,参照附图详细描述使用本发明实施例中的数据文件的动态画面内容被再现的情形。
图52(a)是俯视平面图,示意地表示作为记录介质例子的蓝光盘(Blu-ray Disc(注册商标))880;并且图52(b)是视图,示意地表示在蓝光盘880上记录的数据881至884。在蓝光盘880上,例如,与摄影机等拾取的动态画面的动态画面内容882一起,记录动态画面内容882的子标题883和通过动态画面内容882的分析得到的元数据884(例如,图4(b)表明的元数据文件和图29和35表明的相对关系元数据文件)、用于本发明实施例的动态画面再现的Java(注册商标)程序881。
图52(c)是视图,示意地表示蓝光再现机(Blu-ray Disc Player)890的内部构造,蓝光再现机890可再现蓝光盘880。这里,由于可再现蓝光盘的蓝光再现机890与CPU 891和OS 892一起包括Java(注册商标)VM(Java(注册商标)虚拟机)和库893作为标准功能,所以它可执行Java(注册商标)程序。因此,如果蓝光盘880被加载到蓝光再现机890中,那么蓝光再现机890可加载和执行Java(注册商标)程序881。因此,蓝光再现机890再现动态画面内容882的情况下,元数据884可用于进行本发明实施例的动态画面再现。换句话说,本发明实施例的动态画面再现可在所有蓝光再现机上实现,而不使用专门用途的PC软件等。
如上所述,在本发明的实施例中,在一个或多个动态画面要在图像拾取设备上被再现时,由于与当前显示图像的以前帧相对应的图像被显示、同时与当前图像合成,所以用户能与位于图像中心的对象一起,以鸟瞰方式访问在时区的至少一部分内拾取的图像的背景等。具体地,从与图像拾取时的画面尺寸相同的画面尺寸再现图像的初始状态,通过拉远操作扩展图像时,由于整个当前图像变小并且与过去帧相对应的图像显示在当前图像的周围,所以可实现空间拉远。因此,能够以鸟瞰方式观看比拾取图像尺寸更大的范围上的图像。
此外,例如,用户想观看在时区的至少一部分内拾取的图像的背景等时,即使不进行倒片操作、搜索操作等,如果进行拉远操作,那么用户也可观看当前显示的图像、同时一起观看背景等。因此,当用户访问图像拾取设备拾取的动态画面时,用户可容易地掌握动态画面的内容。此外,例如,在同一对象被包括其中的多个动态画面要被再现时,由于在包括该对象的位置,彼此重叠地显示多个动态画面,所以用户可容易地掌握多个动态画面的相对关系。
具体地,多个动态画面可在空间展开,并且利用过去的帧而被欣赏。因此,由于可提供一种欣赏方法以在再现多个动态画面时提供例如完整的全景图像,所以访问人员能以较大兴趣欣赏动态画面。此外,对于当前图像,因为在当前图像被存储到图像存储器180中之前的状态下的图像可被依次显示,可显示较清晰的图像。
此外,尽管在本发明实施例的描述中,描述了预先检测的仿射变换参数被用于再现和显示的例子,但可以在再现时计算仿射变换参数,从而计算的仿射变换参数被用于再现和显示。例如,使用多核处理器由SIMD数学运算计算仿射变换参数,有可能在用于解码一帧的处理时间内计算用于一帧的仿射变换参数。因此,即使在未计算仿射变换参数的动态画面要被再现时,也有可能进行动态画面再现,同时计算仿射变换参数,因此,可迅速地进行动态画面的空间展开的欣赏。
此外,在本发明实施例的描述中,描述了如下例子:多个动态画面文件被存储到动态画面存储部分200中,并且与动态画面相对应的仿射变换参数与对应动态画面和帧相关联地被存储到元数据存储部分210中作为元数据文件,除此之外,关于多个动态画面的相对关系信息被存储到相对关系信息存储部分220中;动态画面、与动态画面相对应的仿射变换参数、及关于动态画面的相对关系信息可以彼此关联地存储到动态画面存储部分中作为动态画面文件,从而当再现时,从动态画面文件提取该信息并使用。
此外,尽管在本发明的实施例中,已经描述了按从顶部帧向最后帧的顺序进行合成和再现的例子,但按从最后帧向顶部帧的顺序进行合成和再现时,也可类似地应用本发明。这个例子中,使用与帧相关联的仿射变换参数的逆矩阵进行仿射变换。
此外,图像合成部分合成的合成图像可以记录在记录介质等,从而它们可以用于其它再现和显示。此外,尽管在本发明的实施例中,将动态画面当作例子给出描述,但例如,可类似地合成和显示静止画面(诸如依次记录的拾取图像)。具体地,本发明的实施例可应用于图像拾取设备,如个人计算机的动态画面再现应用程序、数字静态摄影机、专业级录像机、可携带电话机,它们具有动态画面或静止画面的再现功能以及在再现时改变显示放大率的功能。
此外,尽管在本发明实施例的描述中,将图像合成部分合成的图像显示在显示部分的图像拾取设备当作例子给出描述,但本发明的实施例可应用于包括图像输出装置的图像拾取设备,图像输出装置用于输出图像信息,以便允许图像合成部分合成的图像显示在另一图像显示设备上。
要注意,本发明的实施例指示用于实现本发明的例子,并且与下面所述权利要求书中规定主题的发明具有对应关系。然而,本发明不限于此,而是可应用各种修改,而不脱离本发明的主题。
具体地,在权利要求1,图像拾取装置例如与图像拾取部分110相对应。此外,变换信息计算装置例如与摄影机工作检测部分120相对应。此外,图像存储装置例如与图像存储器180相对应。此外,图像变换装置例如与图像变换部分150和151相对应。此外,图像合成装置例如与图像合成部分170和171相对应。此外,操作接受装置例如与操作接受部分160和165相对应。此外,控制装置例如与显示区域提取部分190和显示控制部分240相对应。
此外,在权利要求7,图像拾取装置例如与图像拾取部分110相对应。此外,变换信息计算装置例如与摄影机工作检测部分120相对应。此外,图像存储装置例如与图像存储器180相对应。此外,图像变换装置例如与图像变换部分150相对应。此外,图像合成装置例如与图像合成部分170相对应。此外,操作接受装置例如与操作接受部分160相对应。此外,控制装置例如与显示区域提取部分190和显示控制部分240相对应。
此外,在权利要求8或9,变换信息计算步骤例如与步骤S903至S913相对应。此外,使图像存储装置存储图像作为历史图像的步骤例如与步骤S926相对应。此外,图像变换步骤例如与步骤S926相对应。此外,操作接受步骤例如由操作接受部分160和165执行。此外,控制步骤例如与步骤S927至S932相对应。
要注意,本发明实施例的说明中描述的处理过程可以作为具有以上描述的步骤序列的方法被掌握,或者可以作为使计算机执行步骤序列的程序、或在其上存储程序的记录介质被掌握。
Claims (8)
1.一种图像拾取设备,包括:
图像拾取装置,用于拾取图像拾取对象,以产生图像数据;
变换信息计算装置,用于基于第一拾取图像和第二拾取图像,计算关于第一拾取图像和第二拾取图像的变换信息,该第一拾取图像是与所述图像数据相对应的图像,该第二拾取图像在时间轴上定位得比图像拾取所述图像数据时的第一拾取图像靠后;
图像存储装置,用于将在时间轴上定位在第二拾取图像之前的那些图像存储为历史图像;
图像变换装置,用于基于计算的变换信息来变换第二拾取图像;
图像合成装置,用于合成变换的第二拾取图像与历史图像,以形成合成图像并将合成图像存储到所述图像存储装置中;
操作接受装置,用于接受指定第二拾取图像的显示放大率的指定操作;及
控制装置,用于基于指定的显示放大率确定在图像存储装置中存储的所述合成图像上的显示区域,并且使所述显示区域中包括的图像被依次显示。
2.根据权利要求1所述的图像拾取设备,其中,当指定缩小第二拾取图像的显示放大率的指定操作由操作接受装置接受时,控制装置确定所述显示区域,所述显示区域至少包括在图像存储装置中存储的所述合成图像中的变换后的第二拾取图像、和在第二拾取图像周围的那些图像。
3.根据权利要求1所述的图像拾取设备,其中
控制装置基于计算的变换信息和指定的显示放大率来确定所述显示区域,以及
图像合成装置将由图像变换装置变换之前的第二拾取图像通过重写与所述显示区域中包括的图像合成,以形成显示图像。
4.根据权利要求3所述的图像拾取设备,其中
控制装置基于计算的变换信息在与图像变换装置变换第二拾取图像的方向相反的方向变换在所述显示区域中包括的图像,以及
图像合成装置将图像变换装置变换之前的第二拾取图像通过重写与变换之后的在所述显示区域中包括的图像合成,以形成显示图像。
5.根据权利要求1所述的图像拾取设备,其中
图像拾取装置拾取图像拾取对象,以产生动态画面的图像数据,以及
第一拾取图像和第二拾取图像是形成所述动态画面的拾取图像。
6.根据权利要求1所述的图像拾取设备,其中
操作接受装置接受用于移动所述显示区域的移动操作,以及
控制装置基于接受的移动操作来移动在图像存储装置中存储的所述合成图像上的所述显示区域。
7.一种图像拾取设备,包括:
图像拾取装置,用于拾取图像拾取对象,以产生图像数据;
变换信息计算装置,用于基于第一拾取图像和第二拾取图像,计算关于第一拾取图像和第二拾取图像的变换信息,该第一拾取图像是与所述图像数据相对应的图像,该第二拾取图像在时间轴上定位得比图像拾取所述图像数据时的第一拾取图像靠后;
图像存储装置,用于将在时间轴上定位在第二拾取图像之前的那些图像存储为历史图像;
图像变换装置,用于基于计算的变换信息来变换历史图像;
图像合成装置,用于合成第二拾取图像与变换后的历史图像,以形成合成图像并将合成图像存储到所述图像存储装置中;
操作接受装置,用于接受指定第二拾取图像的显示放大率的指定操作;及
控制装置,用于基于指定的显示放大率确定在图像存储装置中存储的所述合成图像上的显示区域,并且使所述显示区域中包括的图像被依次显示。
8.一种用于图像拾取设备的控制方法,该图像拾取设备包括用于拾取图像拾取对象以产生图像数据的图像拾取装置,该控制方法包括:
变换信息计算步骤,基于第一拾取图像和第二拾取图像,计算关于第一拾取图像和第二拾取图像的变换信息,该第一拾取图像是与所述图像数据相对应的图像,该第二拾取图像在时间轴上定位得比图像拾取所述图像数据时的第一拾取图像靠后;
使图像存储装置将在时间轴上定位在第二拾取图像之前的那些图像存储为历史图像的步骤;
图像变换步骤,基于计算的变换信息变换第二拾取图像;
图像合成步骤,合成变换后的第二拾取图像与历史图像,以形成合成图像并将合成图像存储到所述图像存储装置中;
操作接受步骤,接受指定第二拾取图像的显示放大率的指定操作;及
控制步骤,基于指定的显示放大率确定在图像存储装置中存储的所述合成图像上的显示区域,并且使所述显示区域中包括的图像被依次显示。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP337827/2007 | 2007-12-27 | ||
JP2007337827A JP4678404B2 (ja) | 2007-12-27 | 2007-12-27 | 撮像装置、その制御方法およびプログラム |
PCT/JP2008/072742 WO2009084410A1 (ja) | 2007-12-27 | 2008-12-15 | 撮像装置、その制御方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101595728A CN101595728A (zh) | 2009-12-02 |
CN101595728B true CN101595728B (zh) | 2011-04-06 |
Family
ID=40824131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200880003628XA Expired - Fee Related CN101595728B (zh) | 2007-12-27 | 2008-12-15 | 图像拾取设备及其控制方法和程序 |
Country Status (9)
Country | Link |
---|---|
US (1) | US8350929B2 (zh) |
EP (1) | EP2227011A4 (zh) |
JP (1) | JP4678404B2 (zh) |
KR (1) | KR20100095363A (zh) |
CN (1) | CN101595728B (zh) |
BR (1) | BRPI0807400A2 (zh) |
RU (1) | RU2009132214A (zh) |
TW (1) | TW200943949A (zh) |
WO (1) | WO2009084410A1 (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5092722B2 (ja) | 2007-12-07 | 2012-12-05 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2009151896A (ja) | 2007-12-21 | 2009-07-09 | Sony Corp | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
JP5455213B2 (ja) * | 2009-11-17 | 2014-03-26 | Necシステムテクノロジー株式会社 | 画像描画装置、画像描画方法およびプログラム |
JP5434895B2 (ja) * | 2009-12-25 | 2014-03-05 | 株式会社Jvcケンウッド | 電子機器、電子機器の制御方法、及び、電子機器の制御プログラム |
KR101357262B1 (ko) * | 2010-08-13 | 2014-01-29 | 주식회사 팬택 | 필터 정보를 이용한 객체 인식 장치 및 방법 |
EP2423873B1 (en) * | 2010-08-25 | 2013-12-11 | Lakeside Labs GmbH | Apparatus and Method for Generating an Overview Image of a Plurality of Images Using a Reference Plane |
JP5406813B2 (ja) | 2010-10-05 | 2014-02-05 | 株式会社ソニー・コンピュータエンタテインメント | パノラマ画像表示装置およびパノラマ画像表示方法 |
DE102011108754A1 (de) * | 2011-07-28 | 2013-01-31 | Khs Gmbh | Inspektionseinheit |
US9749594B2 (en) * | 2011-12-22 | 2017-08-29 | Pelco, Inc. | Transformation between image and map coordinates |
WO2013105205A1 (ja) * | 2012-01-10 | 2013-07-18 | 日本電気株式会社 | 画像処理装置、画像処理方法および画像処理用プログラム |
JP2013165485A (ja) * | 2012-01-11 | 2013-08-22 | Panasonic Corp | 画像処理装置、撮像装置およびコンピュータブログラム |
US9807299B2 (en) * | 2012-08-30 | 2017-10-31 | Htc Corporation | Image capture methods and systems with positioning and angling assistance |
DE102012217148A1 (de) * | 2012-09-24 | 2014-03-27 | Robert Bosch Gmbh | Clienteinrichtung zur Darstellung von Kamerabildern einer steuerbaren Kamera, Verfahren, Computerprogramm sowie Überwachungssystem mit der Clienteinrichtung |
JP5997645B2 (ja) | 2013-03-26 | 2016-09-28 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
JP5646033B2 (ja) * | 2013-11-01 | 2014-12-24 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示装置および画像表示方法 |
JP6429454B2 (ja) * | 2013-11-28 | 2018-11-28 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム |
KR102576908B1 (ko) * | 2016-02-16 | 2023-09-12 | 삼성전자주식회사 | 동적 파노라마 기능을 제공하는 방법 및 장치 |
US10373290B2 (en) * | 2017-06-05 | 2019-08-06 | Sap Se | Zoomable digital images |
US11412260B2 (en) * | 2018-10-29 | 2022-08-09 | Google Llc | Geometric transforms for image compression |
JP7012058B2 (ja) * | 2018-11-13 | 2022-01-27 | 創惟科技股▲ふん▼有限公司 | 画像補正方法及びその装置 |
CN109602412A (zh) * | 2018-12-05 | 2019-04-12 | 中国科学技术大学 | 利用面部视频实现心率检测的方法 |
US20200380638A1 (en) * | 2019-05-30 | 2020-12-03 | Coretronic Corporation | Image processing device and image processing method |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005032125A1 (ja) * | 2003-09-26 | 2005-04-07 | Sharp Kabushiki Kaisha | パノラマ画像作成装置及びパノラマ画像撮影装置 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5657402A (en) * | 1991-11-01 | 1997-08-12 | Massachusetts Institute Of Technology | Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method |
JP2989364B2 (ja) | 1992-03-12 | 1999-12-13 | シャープ株式会社 | 画像処理装置及び画像処理方法 |
JP3234300B2 (ja) * | 1992-09-14 | 2001-12-04 | 日本電信電話株式会社 | 映像撮影状態検出方法 |
US5649032A (en) * | 1994-11-14 | 1997-07-15 | David Sarnoff Research Center, Inc. | System for automatically aligning images to form a mosaic image |
JPH0962861A (ja) * | 1995-08-21 | 1997-03-07 | Matsushita Electric Ind Co Ltd | パノラマ映像装置 |
US5706416A (en) * | 1995-11-13 | 1998-01-06 | Massachusetts Institute Of Technology | Method and apparatus for relating and combining multiple images of the same scene or object(s) |
US5982951A (en) * | 1996-05-28 | 1999-11-09 | Canon Kabushiki Kaisha | Apparatus and method for combining a plurality of images |
US6215505B1 (en) * | 1997-06-20 | 2001-04-10 | Nippon Telegraph And Telephone Corporation | Scheme for interactive video manipulation and display of moving object on background image |
JPH11120353A (ja) * | 1997-10-16 | 1999-04-30 | Matsushita Electric Ind Co Ltd | 画像表示装置 |
JP4154012B2 (ja) * | 1997-10-30 | 2008-09-24 | 株式会社日立製作所 | 画像表示方法を実現するためのプログラムを記録した記録媒体及び画像合成装置 |
US6434280B1 (en) * | 1997-11-10 | 2002-08-13 | Gentech Corporation | System and method for generating super-resolution-enhanced mosaic images |
US7382927B2 (en) * | 1999-01-08 | 2008-06-03 | Sharp Laboratories Of America, Inc. | System for constructing mosaic images |
JP2000217061A (ja) | 1999-01-25 | 2000-08-04 | Sony Corp | 画像再生装置及び記録再生装置 |
JP2002065399A (ja) | 2000-09-01 | 2002-03-05 | Atom Livin Tech Co Ltd | 家具収納椅子 |
US6895126B2 (en) * | 2000-10-06 | 2005-05-17 | Enrico Di Bernardo | System and method for creating, storing, and utilizing composite images of a geographic location |
JP4519364B2 (ja) * | 2001-05-31 | 2010-08-04 | 株式会社日立メディコ | パノラマ画像表示方法、ソフトウエア及び装置 |
KR20030059399A (ko) * | 2001-12-29 | 2003-07-10 | 엘지전자 주식회사 | 모자이크 영상 생성장치 및 방법과 모자이크 영상 기반동영상 재생방법 |
JP4419499B2 (ja) * | 2003-01-07 | 2010-02-24 | セイコーエプソン株式会社 | 画像生成装置、画像ずれ量検出装置、画像生成方法、画像ずれ量検出方法、画像生成プログラムおよび画像ずれ量検出プログラム |
JP2004222025A (ja) * | 2003-01-16 | 2004-08-05 | Matsushita Electric Ind Co Ltd | 電子カメラ |
US7139006B2 (en) * | 2003-02-04 | 2006-11-21 | Mitsubishi Electric Research Laboratories, Inc | System and method for presenting and browsing images serially |
US20060109283A1 (en) * | 2003-02-04 | 2006-05-25 | Shipman Samuel E | Temporal-context-based video browsing interface for PVR-enabled television systems |
JP4583717B2 (ja) * | 2003-03-03 | 2010-11-17 | ソニー株式会社 | 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置 |
CN100498835C (zh) * | 2003-09-08 | 2009-06-10 | 日本电气株式会社 | 图像组合***、图像组合方法 |
JP2005217874A (ja) * | 2004-01-30 | 2005-08-11 | Konica Minolta Photo Imaging Inc | ファイル管理方法 |
US20070103544A1 (en) * | 2004-08-26 | 2007-05-10 | Naofumi Nakazawa | Panorama image creation device and panorama image imaging device |
US20070058717A1 (en) * | 2005-09-09 | 2007-03-15 | Objectvideo, Inc. | Enhanced processing for scanning video |
US8116576B2 (en) * | 2006-03-03 | 2012-02-14 | Panasonic Corporation | Image processing method and image processing device for reconstructing a high-resolution picture from a captured low-resolution picture |
JP2009077362A (ja) * | 2007-08-24 | 2009-04-09 | Sony Corp | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
JP2009151896A (ja) * | 2007-12-21 | 2009-07-09 | Sony Corp | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
-
2007
- 2007-12-27 JP JP2007337827A patent/JP4678404B2/ja not_active Expired - Fee Related
-
2008
- 2008-12-11 TW TW097148306A patent/TW200943949A/zh unknown
- 2008-12-15 US US12/524,734 patent/US8350929B2/en active Active
- 2008-12-15 RU RU2009132214/09A patent/RU2009132214A/ru not_active Application Discontinuation
- 2008-12-15 WO PCT/JP2008/072742 patent/WO2009084410A1/ja active Application Filing
- 2008-12-15 EP EP08866956A patent/EP2227011A4/en not_active Withdrawn
- 2008-12-15 CN CN200880003628XA patent/CN101595728B/zh not_active Expired - Fee Related
- 2008-12-15 BR BRPI0807400-3A patent/BRPI0807400A2/pt not_active IP Right Cessation
- 2008-12-15 KR KR1020097017751A patent/KR20100095363A/ko not_active Application Discontinuation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005032125A1 (ja) * | 2003-09-26 | 2005-04-07 | Sharp Kabushiki Kaisha | パノラマ画像作成装置及びパノラマ画像撮影装置 |
Non-Patent Citations (4)
Title |
---|
JP特开2002-359798A 2002.12.13 |
JP特开2004-222025A 2004.08.05 |
JP特开2004-266670A 2004.09.24 |
JP特开平11-134352A 1999.05.21 |
Also Published As
Publication number | Publication date |
---|---|
US20100118160A1 (en) | 2010-05-13 |
BRPI0807400A2 (pt) | 2014-05-27 |
TW200943949A (en) | 2009-10-16 |
WO2009084410A1 (ja) | 2009-07-09 |
JP2009159514A (ja) | 2009-07-16 |
KR20100095363A (ko) | 2010-08-30 |
EP2227011A1 (en) | 2010-09-08 |
EP2227011A4 (en) | 2011-08-10 |
JP4678404B2 (ja) | 2011-04-27 |
CN101595728A (zh) | 2009-12-02 |
RU2009132214A (ru) | 2011-03-10 |
US8350929B2 (en) | 2013-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101595728B (zh) | 图像拾取设备及其控制方法和程序 | |
CN101617530B (zh) | 图像处理设备、动态画面再现设备及其处理方法 | |
CN101584210B (zh) | 图像处理设备、动态画面再现设备及其处理方法 | |
CN101606384B (zh) | 图像处理装置、运动图像再现装置及其处理方法 | |
CN101729785B (zh) | 图像处理装置、图像处理方法 | |
CN101729784A (zh) | 图像处理装置、图像处理方法和程序 | |
CN101877060A (zh) | 信息处理设备和方法以及程序 | |
KR20100043138A (ko) | 화상 처리 장치, 동화상 재생 장치, 이들에서의 처리 방법 및 프로그램 | |
CN101627623A (zh) | 图像处理设备、运动图像播放设备及其处理方法和程序 | |
CN101622868A (zh) | 画面处理设备、供其使用的处理方法以及程序 | |
CN101617531A (zh) | 图像处理装置、运动图像播放装置及其处理方法和程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110406 |