CN1954590A - 数字静态照相机和形成全景图像的方法 - Google Patents
数字静态照相机和形成全景图像的方法 Download PDFInfo
- Publication number
- CN1954590A CN1954590A CNA2005800085615A CN200580008561A CN1954590A CN 1954590 A CN1954590 A CN 1954590A CN A2005800085615 A CNA2005800085615 A CN A2005800085615A CN 200580008561 A CN200580008561 A CN 200580008561A CN 1954590 A CN1954590 A CN 1954590A
- Authority
- CN
- China
- Prior art keywords
- images
- camera
- panoramic picture
- photography
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 48
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000009958 sewing Methods 0.000 claims description 11
- 238000004091 panning Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 abstract description 6
- 238000012546 transfer Methods 0.000 abstract description 3
- 239000004744 fabric Substances 0.000 description 6
- 206010010904 Convulsion Diseases 0.000 description 3
- 230000003068 static effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000012536 storage buffer Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
一种用于形成全景图像的***,该***包括:(a)数字静态照相机,用于拍摄静态图像并且具有用于创建全景图像的全景模式,该照相机包括用于捕捉被用于形成全景图像的多个静态摄影图像的摄影成像***;(b)传送模块,用于接收要被自动缝合在一起以形成全景图像的多个静态摄影图像,该传送模块包括处理器;(c)该处理器用于自动处理多个静态摄影图像,以自动形成全景图像,该处理器包括缝合引擎以用于自动形成全景图像;以及(d)存储器,用于存储全景图像和多个静态摄影图像中的至少一种。
Description
技术领域
本发明涉及数字静态照相机和用于形成全景图像的方法,尤其涉及(但并非仅涉及)其中自动形成全景图像的数字静态照相机,以及用于利用这种照相机自动形成全景图像的方法。
背景技术
利用数字静态照相机拍摄全景图像的常用方法是用户使用数字静态照相机来拍摄多个重叠的图像,将它们传送到计算机,在计算机上对它们进行处理,并用诸如Apple的“QuickTime VR”这样的缝合器(stitcher)将它们缝合在一起。
在捕捉阶段,用户通常需要固定曝光率、白平衡和焦距,以确保颜色一致性。这可以通过具有“全景模式”来得以简化,这种全景模式通常在许多数字静态照相机中都是可用的。用户决定照相机的取向、是横版还是竖版,以及是向左还是向右摇动照相机镜头。相关指令被输入到照相机。接下来,用户操作照相机以拍摄多个具有适当重叠的重叠快照(snapshot)。确保有足够的重叠是用户的责任。该过程要求用户在每次拍摄之间暂停下来执行取景。某些照相机通过显示前一快照的一部分,从而提供了用于对下一全景图像取景的可视辅助。虽然它去除了大部分的猜测工作,但用户仍将需要为每次拍摄停下来执行手工取景,这与拍摄单个快照相比是比较麻烦的。
接下来,在缝合阶段,用户通常将所有图像传送到计算机,并从全景和静态快照的混合中手工选择全景序列。全景图像序列被带入缝合应用中,以便每次缝合一个。用户还可能需要向缝合器提供取向和镜头摇动方向信息。缝合过程的结果是一幅全景图像。虽然大多数缝合器是全自动的,但针对全景图像序列对快照进行分类和搜索以便缝合的过程添加了不必要的工作。这在图3和4中示出。
已经提出了使用更高级的数字照相机的“电影”模式,来捕捉许多图像并使用这些图像来形成全景图像。通过使用“电影”模式,大量图像被拍摄(通常每秒30个),因此应当总是有足够的重叠的。大多数用户花费若干秒来拍摄一个大的全景,因此这种照相机对于一幅全景图像可能捕捉超过200幅图像。这要求非常强大、快速的处理和巨大的存储器。这样,就只能使用非常强大的数字照相机,而这种照相机是非常昂贵的。此外,电影模式中的图像分辨率通常比起静态图像模式中的来要小得多。
发明内容
根据优选形式,提供了一种用于拍摄静态图像并具有用于创建全景图像的全景模式的数字静态照相机,该照相机包括:摄影成像***,用于捕捉被用于形成全景图像的多个静态摄影图像;传送模块,用于接收要被自动缝合在一起以自动形成全景图像的多个静态摄影图像;处理器,用于处理多个静态摄影图像以自动形成全景图像;以及存储器,用于存储全景图像和多个静态摄影图像中的至少一种。
优选地,处理器包括缝合引擎以用于自动形成全景图像;并且传送模块包括处理器。
根据另一个形式,提供了一种用于形成全景图像的***,该***包括:
(a)数字静态照相机,用于拍摄静态图像并且具有用于创建全景图像的全景模式,该照相机包括用于捕捉被用于形成全景图像的多个静态摄影图像的摄影成像***;
(b)传送模块,用于接收要被自动缝合在一起以形成全景图像的多个静态摄影图像,该传送模块包括处理器;
(c)该处理器用于自动处理多个静态摄影图像,以自动形成全景图像,该处理器包括缝合引擎以用于自动形成全景图像;以及
(d)存储器,用于存储全景图像和多个静态摄影图像中的至少一种。
对于这两个方面,多个静态摄影图像的未用在全景图像中的数据可在形成和/或存储了全景图像后被删除。多个静态摄影图像中的第一个可被用于设置针对多个静态摄影图像中的所有后续图像的与颜色和光线有关的处理。多个静态摄影图像中的每一个可具有与多个静态摄影图像中的前一图像的重叠区域。重叠区域可通过由用户、镜头摇动速度、数字照相机处理能力、数字照相机处理速度、数字照相快门速度构成的群组中的至少一个确定。重叠区域可在5%到50%的范围内;并且多个后续图像中的每一个可被标记以唯一的序列号。
在另一个方面中,提供了一种用于利用数字静态照相机产生全景图像的方法,该数字静态照相机包括用于捕捉要被用于形成全景图像的多个静态图像的摄影成像***,该方法包括:
(a)在数字静态照相机被设置在全景模式中、快门开关***作并且数字照相机被摇动镜头时,数字静态照相机捕捉多个静态摄影图像;
(b)将多个静态摄影图像中的每一个保存在存储器中;
(c)在传送模块中自动处理多个静态摄影图像以自动形成全景图像;
(d)将全景图像和多个静态摄影图像中的至少一种存储在存储器中。
在全景图像被形成和/或存储后,静态摄影图像可被从存储器中删除。传送模块可以处于数字照相机中,或者处于多个静态摄影图像被下载到的单独的计算机中。下载可以是直接进行的,或者可以通过使用可移动存储设备进行。
多个静态摄影图像中的第一个可被用于设置针对多个静态摄影图像中的所有后续图像的与颜色和光线有关的处理。
多个静态摄影图像中的每一个可具有与多个静态图像中的前一图像的重叠区域;并且重叠区域可通过由用户、镜头摇动速度、数字照相机处理能力、数字照相机处理速度、数字照相快门速度构成的群组中的至少一个确定。重叠区域可在5%到50%的范围内;并且多个后续图像中的每一个可被标记以唯一的序列号。
自动处理可包括通过以下步骤确定照相机取向和镜头摇动方向:确定多个静态摄影图像中的两个相邻图像中的多个合适的特征,相邻图像具有重叠区域;确定从相邻图像中的第一个到相邻图像中的第二个所述多个合适的特征的移动程度;以及将两个不同方向上的移动相加。如果第一方向上的绝对总和小于第二方向上的绝对总和,则数字静态照相机处于第一取向中;而如果第一方向上的绝对总和不小于第二方向上的绝对总和,则数字静态照相机处于第二取向中。对于第一取向,如果第一方向上的总和小于零,则镜头摇动方向为向右;并且对于第二取向,如果第二方向上的总和小于零,则镜头摇动方向为向左。
在最后的优选方面中,提供了一种用于确定数字静态照相机的取向和镜头摇动方向的方法,该数字静态照相机捕捉了要被用于形成全景图像的多个静态摄影图像,该方法包括:
(a)选择多个静态摄影图像中的两个相邻图像中的多个合适的特征,相邻图像具有重叠区域;
(b)确定从相邻图像中的第一个到相邻图像中的第二个所述多个合适的特征的移动程度;以及
(c)将两个不同方向上的移动相加。
如果第一方向上的绝对总和大于第二方向上的绝对总和,则数字静态照相机处于第一取向中;而如果第一方向上的绝对总和不大于第二方向上的绝对总和,则数字静态照相机处于第二取向中。对于第一取向,如果第一方向上的总和小于零,则镜头摇动方向为向右;并且对于第二取向,如果第二方向上的总和小于零,则镜头摇动方向为向左。
本发明还提供了包括计算机程序代码的计算机可用介质,该计算机程序代码被配置为使处理器执行用于执行上述方法中的一种或多种的一个或多个功能。
附图说明
为了易于理解和实现本发明,现在将仅通过非限制性的示例描述本发明的优选实施例,描述参考了附图,附图中:
图1是数字照相机的一种形式的透视图;
图2是图1的照相机的组件的框图;
图3是用于在创建全景图像之前捕捉图像的已知现有技术过程的流程图;
图4是用于在计算机上创建全景图像的已知现有技术过程的流程图;
图5是在捕捉阶段本发明的优选实施例的流程图;以及
图6是在下载阶段图5的实施例的流程图。
具体实施方式
参考图1和2,其中示出了数字静态照相机10。虽然示出了数字静态照相机的简单形式,但是本发明也可应用到数字静态照相机的所有形式,包括单镜头反光照相机,以及处于静态照相机模式的数字运动图片照相机。
照相机10具有一般表示为12的成像***,该成像***包括镜头14、取景器16、快门18、内置闪光灯20、快门开关22和其他控制装置24。图像捕捉器件25(例如电荷耦合器件)形成成像***12的一部分。在照相机10中存在用于处理以已知方式接收的图像数据的处理器26,用于将每幅图像存储为图像数据的存储器28,以及用于控制发送到显示器32上显示的数据的控制器30。成像***12能够拍摄和捕捉日常场景的摄影图像。成像***12可以具有固定或可变的焦距、尺寸缩放和数字静态照相机中提供的其他功能。
以图5所示的捕捉阶段开始,用户首先选择全景模式(50)。在该模式中,与传统方法相同,所有涉及颜色和光线的处理在第一快照中固定,以确保颜色一致性(53)。此外,当处于全景模式中时,后续的快照被标记为全景序列。标记还包括一个唯一的号码,例如序列号,它唯一地标识序列和/或个体快照(53)。
用户随后决定照相机取向和镜头摇动方向(51),并且松开快门开关(52)。用户随后摇动照相机的镜头(55),以便在单次扫描中跨越目标场景。照相机自动以预定的时间间隔(例如每0.2、0.5、0.8、1.0、1.5或2.0秒)和/或以限定的重叠重复拍摄快照(56)。快照的拍摄速度是由照相机确定的,并且该速度使得只拍摄所需数目的图像。这是为了防止捕捉太多的图像以至于例如像那种使用“电影模式”的已知照相机一样需要非常高的处理能力和非常大的存储器。优选地,只使用预定的时间间隔。拍摄快照的速率可以由镜头摇动速度、图像的重叠量、照相处理能力、照相机处理速度和照相机快门速度中的一个或多个确定。它可以被预设。在场景结束时,用户再次松开快门开关(58),以指示序列结束。照相机拍摄最终的快照,并且序列结束(59)。照相机使序列号递增以为下一序列作准备。
在这个简化的过程中,用户不需要担心重叠区域。用户在单个连续扫描动作中捕捉整个场景,并且不需要停下来拍摄每个快照。
照相机可以自动使快照重叠预定的量,例如在5%到50%的范围内,例如(但不限于)5%、10%、15%、20%或50%,以确保快照的完整捕捉并避免遗漏全景的任何部分。重叠量可以是预定的,由用户确定的,或者是由以下的一个或多个确定的:镜头摇动速度、照相机处理能力、照相机处理速度和照相机快门速度。
取代单独的缝合应用,缝合引擎34可以驻留在照相机10的传送模块36中或计算机11的传送模块13中。传送模块36负责将快照的数据从照相机10传送到计算机11和/或单独的存储器模块(未示出)。到计算机11的传送可以通过以已知方式使用线缆15,或者可以使用存储器模块,例如闪存卡或拇指碟。优选地,它能够通过检查图像标记并将图像序列传递到缝合器以形成全景图像,来检测来自其他静态图像的全景图像的图像序列。
如果处于计算机11中,则传送模块13将具有包括缝合引擎19的处理器17。存储器21可以是处理器17的一部分,或者可以是单独的。
如图6所示,在从照相机10传送图像期间,传送模块36或传送模块13检查图像标记(60),并自动以正确的顺序将每个全景序列传送或拷贝到缝合引擎34或19(61)。如果照相机不提供取向和镜头摇动方向(62),则缝合引擎34或19通过跟踪选定的图像特征(63)从图像序列导出它(64)。
镜头摇动方向和照相机取向估计(64)假定镜头摇动方向和照相机取向对于给定序列是固定的。
给定两幅图像i1、i2,其中i1和i2重叠:
1.选择i1中的合适的特征并跟踪它们到i2。特征选择和跟踪可以用已知方法执行,例如在IEEE Computer Vision and PatternRecognition,1994中由Jianbo Shi和Carlo Tamasi所著的文章“Good Features to Track”中描述的方法,这里通过引用将该文章的内容结合进来。然后计算i1中的选定特征有多少已经移动到了i2中。这些移动被相加成两个单值SumDeltaX和SumDeltaY,其中SumDeltaX是X轴上的移动的总和,SumDeltaY是Y轴上的移动的总和。
2.为了使以上步骤1中的结果可靠,被跟踪特征的数目应当大于5。在被跟踪特征的数目小于5的情况下,可以通过作出以下假设并执行特定区域搜索而不是整幅图像上的一般搜索来增大跟踪精度。
假设1:横版并且向右摇动镜头:选择i1的右半部分中的良好特征,并在i2的左半部分中跟踪这些特征。
假设2:横版并且向左摇动镜头:选择i1的左半部分中的良好特征,并在i2的右半部分中跟踪这些特征。
假设3:向右旋转90°(竖版)并且向右摇动镜头:选择i1的上半部分中的良好特征,然后在i2的下半部分中跟踪这些特征。
假设4:向右旋转90°(竖版)并且向左摇动镜头:选择i1的下半部分中的良好特征,然后在i2的上半部分中跟踪这些特征。
在步骤1的结果可接受之前,每个假设被测试,直到被跟踪特征的数目大于5。如果对于所有假设,被跟踪特征的数目都小于或等于5,则i1和i2可能完全不重叠,在这种情况下,下一对,即i2和图像#3,被评估。
3.如果Absolute(SumDeltaX)大于Absolute(SumDeltaY),则照相机取向为横版。如果Absolute(SumDeltaX)不大于Absolute(SumDeltaY),则照相机取向为竖版。
对于横版取向,如果SumDeltaX<0,则镜头摇动方向为向右,否则为向左。
对于竖版取向,如果SumDeltaY<0,则镜头摇动方向为向左,否则为向右。
缝合引擎34或19以通常和已知的方式将全景图像序列处理为单幅全景图像(65)。传送模块随后递送单幅全景图像(66),而不是图像序列。以这处方式,用户只看到最终缝合后的全景图像。照相机10或计算机11不向用户揭露全景图像序列,并且个体快照或者在缝合操作之后剩余的个体快照的任何数据集合可在全景图像形成期间或之后被从存储器26或21删除(68)。个体快照,或者在缝合操作之后剩余的个体快照的任何数据集合可在完成将该快照缝合到全景图像中后被删除。对于第一快照,它将在第二快照被缝合到它时与第二快照一起被删除。
全景图像被保存在存储器28或21中(67)。然后过程结束(69)。因此,个体快照或者被存储在存储器中并被传送到全景图像;或者被存储在存储器中并被拷贝到全景图像。存储器缓冲器可在缝合过程期间用于存储中间的扭曲的图像。参考照相机取向和镜头摇动方向是为了确定照相机是处于竖版模式还是横版模式,以及是在向左还是向右摇动镜头。
全景图像可被显示在照相机10或计算机11的显示器上。显示的可以是完成的全景图像;或者已用来或将要用来创建全景图像的第一幅和最后一幅图像。
通过处于传送模块13或传送模块36中,缝合以形成全景图像的步骤在图像序列被传送时发生。以这种方式,个体图像的所有缝合在传送模块13或36内自动发生。当缝合引擎19处于计算机11的传送模块13中时,缝合在图像序列上自动发生,以便全景图像被下载到计算机11。全景图像将不会被存储在照相机10中,而是将被存储在计算机11中,并且图像序列将被存储在照相机10中。
本发明还提供了包括计算机程序代码的计算机可用介质,所述计算机程序代码被配置为使处理器执行用于执行上述方法中的一种或多种的一个或多个功能。
虽然在前面的描述中已经描述了本发明的优选实施例,但是本领域的技术人员应当理解,在不脱离本发明的情况下,可以进行设计或构造细节上的许多变化或修改。
Claims (39)
1.一种用于拍摄静态图像并具有用于创建全景图像的全景模式的数字静态照相机,该照相机包括:
(a)摄影成像***,用于捕捉用于形成所述全景图像的多个静态摄影图像;
(b)传送模块,用于接收要被自动缝合在一起以自动形成所述全景图像的所述多个静态摄影图像;
(c)处理器,用于处理所述多个静态摄影图像以自动形成所述全景图像;以及
(d)存储器,用于存储所述全景图像和所述多个静态摄影图像中的至少一种。
2.如权利要求1所述的数字照相机,其中所述处理器包括缝合引擎以用于自动形成所述全景图像。
3.如权利要求1所述的数字照相机,其中所述多个静态摄影图像的未用在所述全景图像中的数据在所述全景图像被存储在所述照相机中后被删除。
4.如权利要求1所述的数字照相机,其中所述传送模块包括所述处理器。
5.如权利要求1所述的数字照相机,其中所述传送模块包括所述处理器,所述处理器包括缝合引擎以用于自动形成所述全景图像。
6.如权利要求1所述的数字照相机,其中所述多个静态摄影图像中的第一个被用于设置针对所述多个图像中的所有后续图像的与颜色和光线有关的处理。
7.如权利要求6所述的数字照相机,其中所述多个静态摄影图像中的每一个具有与所述多个静态图像中的前一图像的重叠区域。
8.如权利要求7所述的数字照相机,其中所述重叠区域是通过由用户、镜头摇动速度、数字照相机处理能力、数字照相机处理速度、数字照相快门速度构成的群组中的至少一个确定的。
9.如权利要求7所述的数字照相机,其中所述重叠区域在5%到50%的范围内。
10.如权利要求6所述的数字照相机,其中所述多个后续图像中的每一个被标记以唯一的序列号。
11.一种用于形成全景图像的***,该***包括:
(a)数字静态照相机,用于拍摄静态图像并且具有用于创建全景图像的全景模式,所述照相机包括用于捕捉用于形成所述全景图像的多个静态摄影图像的摄影成像***;
(b)传送模块,用于接收要被自动缝合在一起以形成所述全景图像的所述多个静态摄影图像,所述传送模块包括处理器;
(c)所述处理器用于自动处理所述多个静态摄影图像,以自动形成所述全景图像,所述处理器包括缝合引擎以用于自动形成所述全景图像;以及
(d)存储器,用于存储所述全景图像和所述多个静态摄影图像中的至少一种。
12.如权利要求11所述的***,其中所述传送模块处于从由以下位置构成的群组中选择出来的位置上:所述数字静态照相机,以及所述多个静态摄影图像被从所述数字静态照相机传送到的计算机。
13.如权利要求11所述的***,其中所述多个静态摄影图像的未用在所述全景图像中的数据在所述全景图像被存储后被删除。
14.如权利要求11所述的***,其中所述多个静态摄影图像中的第一个被用于设置针对所述多个图像中的所有后续图像的与颜色和光线有关的处理。
15.如权利要求11所述的***,其中所述多个静态摄影图像中的每一个具有与所述多个静态图像中的前一图像的重叠区域。
16.如权利要求15所述的***,其中所述重叠区域是通过由用户、镜头摇动速度、数字照相机处理能力、数字照相机处理速度、数字照相快门速度构成的群组中的至少一个确定的。
17.如权利要求15所述的***,其中所述重叠区域在5%到50%的范围内。
18.如权利要求14所述的***,其中所述多个后续图像中的每一个被标记以唯一的序列号。
19.一种用于利用数字静态照相机产生全景图像的方法,所述数字静态照相机包括用于捕捉要被用于形成所述全景图像的多个静态图像的摄影成像***,所述方法包括:
(a)在所述数字静态照相机被设置在全景模式中、快门开关***作并且所述数字照相机被摇动镜头时,所述数字照相机捕捉所述多个静态摄影图像;
(b)将所述多个静态摄影图像中的每一个保存在存储器中;
(c)在传送模块中自动处理所述多个静态摄影图像以自动形成所述全景图像;
(d)将所述全景图像和所述多个静态摄影图像中的至少一种存储在所述存储器中。
20.如权利要求19所述的方法,其中所述处理步骤(c)发生在所述数字静态照相机的传送模块中。
21.如权利要求19所述的方法,其中所述处理(c)发生在所述多个图像被从所述数字静态照相机传送到的计算机的传送模块中。
22.如权利要求19所述的方法,其中所述多个静态图像中的第一个被用于设置针对所述多个图像中的所有后续图像的与颜色和光线有关的处理。
23.如权利要求19所述的方法,其中所述多个静态图像中的每一个具有与所述多个静态图像中的前一图像的重叠区域。
24.如权利要求23所述的方法,其中所述重叠区域是通过由用户、镜头摇动速度、数字照相机处理能力、数字照相机处理速度、数字照相快门速度构成的群组中的至少一个确定的。
25.如权利要求20所述的方法,其中所述传送模块包括用于将所述多个静态图像缝合成所述全景图像的缝合引擎。
26.如权利要求21所述的方法,其中所述传送模块包括用于将所述多个静态图像缝合成所述全景图像的缝合引擎。
27.如权利要求23所述的方法,其中所述重叠区域在5%到50%的范围内。
28.如权利要求22所述的方法,其中所述多个后续图像中的每一个被标记以唯一的序列号。
29.如权利要求19所述的方法,其中在所述全景图像被形成和存储后,所述多个静态摄影图像被从所述存储器中删除。
30.如权利要求19所述的方法,其中所述自动处理包括确定照相机取向和镜头摇动方向。
31.如权利要求30所述的方法,其中所述照相机取向和所述镜头摇动方向是通过以下步骤确定的:
(a)选择所述多个静态摄影图像中的两个相邻图像中的多个合适的特征,所述相邻图像具有重叠区域;
(b)确定从所述相邻图像中的第一个到所述相邻图像中的第二个所述多个合适的特征的移动程度;以及
(c)将两个不同方向上的移动相加。
32.如权利要求31所述的方法,其中,如果第一方向上的绝对总和大于第二方向上的绝对总和,则所述数字静态照相机处于第一取向中;而如果所述第一方向上的绝对总和不大于所述第二方向上的绝对总和,则所述数字静态照相机处于第二取向中。
33.如权利要求32所述的方法,其中
(a)对于所述第一取向,如果所述第一方向上的总和小于零,则所述镜头摇动方向为向右;并且
(b)对于所述第二取向,如果所述第二方向上的总和小于零,则所述镜头摇动方向为向左。
34.一种用于确定数字静态照相机的取向和镜头摇动方向的方法,所述数字静态照相机捕捉了要被用于形成全景图像的多个静态摄影图像,所述方法包括:
(a)选择所述多个静态摄影图像中的两个相邻图像中的多个合适的特征,所述相邻图像具有重叠区域;
(b)确定从所述相邻图像中的第一个到所述相邻图像中的第二个所述多个合适的特征的移动程度;以及
(c)将两个不同方向上的移动相加。
35.如权利要求34所述的方法,其中,如果第一方向上的绝对总和大于第二方向上的绝对总和,则所述数字静态照相机处于第一取向中;而如果所述第一方向上的绝对总和不大于所述第二方向上的绝对总和,则所述数字静态照相机处于第二取向中。
36.如权利要求35所述的方法,其中
(a)对于所述第一取向,如果所述第一方向上的总和小于零,则所述镜头摇动方向为向右;并且
(c)对于所述第二取向,如果所述第二方向上的总和小于零,则所述镜头摇动方向为向左。
37.如权利要求34所述的方法,其中所述方法是在传送模块中的缝合引擎中执行的,所述传送模块处于从由以下位置构成的群组中选择出的位置上:所述数字照相机,以及所述多个静态摄影图像被从所述数字静态照相机传送到的计算机。
38.一种包括计算机程序代码的计算机可用介质,所述计算机程序代码被配置为使至少一个处理器执行用于执行如权利要求19所述的方法的一个或多个功能。
39.一种包括计算机程序代码的计算机可用介质,所述计算机程序代码被配置为使至少一个处理器执行用于执行如权利要求34所述的方法的一个或多个功能。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/802,446 | 2004-03-16 | ||
US10/802,446 US7436438B2 (en) | 2004-03-16 | 2004-03-16 | Digital still camera and method of forming a panoramic image |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1954590A true CN1954590A (zh) | 2007-04-25 |
CN100484198C CN100484198C (zh) | 2009-04-29 |
Family
ID=34975971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005800085615A Active CN100484198C (zh) | 2004-03-16 | 2005-03-08 | 用于形成全景图像的方法、***和设备 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7436438B2 (zh) |
CN (1) | CN100484198C (zh) |
GB (1) | GB2429363B (zh) |
HK (1) | HK1106372A1 (zh) |
TW (1) | TWI390333B (zh) |
WO (1) | WO2005088961A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102158647A (zh) * | 2010-01-26 | 2011-08-17 | 索尼公司 | 摄像控制设备、摄像控制方法以及程序 |
WO2012024830A1 (en) * | 2010-08-24 | 2012-03-01 | Hewlett-Packard Development Company, L.P. | Stitched digital images |
CN102547104A (zh) * | 2010-09-30 | 2012-07-04 | 卡西欧计算机株式会社 | 能生成广角图像的图像处理装置 |
CN108881745A (zh) * | 2017-05-15 | 2018-11-23 | 途艾斯技术有限公司 | 视频处理装置、方法及执行其方法的电脑软件 |
CN109362234A (zh) * | 2016-04-28 | 2019-02-19 | 深圳市大疆创新科技有限公司 | 用于获得球面全景图像的***和方法 |
US10931855B2 (en) | 2010-01-26 | 2021-02-23 | Sony Corporation | Imaging control based on change of control settings |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070081081A1 (en) * | 2005-10-07 | 2007-04-12 | Cheng Brett A | Automated multi-frame image capture for panorama stitching using motion sensor |
US7860343B2 (en) * | 2006-04-10 | 2010-12-28 | Nokia Corporation | Constructing image panorama using frame selection |
TW200907557A (en) * | 2007-08-08 | 2009-02-16 | Behavior Tech Computer Corp | Camera array apparatus and the method for capturing wide-angle video over a network |
US8115801B2 (en) * | 2008-05-15 | 2012-02-14 | Arcsoft, Inc. | Method of automatic photographs stitching |
EP2683156A3 (en) | 2008-12-12 | 2015-02-11 | Testo AG | Thermal imaging camera |
KR101630290B1 (ko) * | 2009-12-24 | 2016-06-16 | 한화테크윈 주식회사 | 추적 경로 이미지 생성을 위한 촬영 방법 및 이를 이용한 촬영 장치 |
JP2013034081A (ja) * | 2011-08-02 | 2013-02-14 | Sony Corp | 画像処理装置、その制御方法およびプログラム |
EP2595393B1 (en) * | 2011-11-15 | 2015-03-11 | ST-Ericsson SA | Rectified stereoscopic 3d panoramic picture |
WO2013109976A1 (en) | 2012-01-20 | 2013-07-25 | Thermal Imaging Radar, LLC | Automated panoramic camera and sensor platform with computer and optional power supply |
US9270885B2 (en) | 2012-10-26 | 2016-02-23 | Google Inc. | Method, system, and computer program product for gamifying the process of obtaining panoramic images |
WO2014169061A1 (en) | 2013-04-09 | 2014-10-16 | Thermal Imaging Radar, Llc. | Stepper motor control and fire detection system |
US9390604B2 (en) | 2013-04-09 | 2016-07-12 | Thermal Imaging Radar, LLC | Fire detection system |
KR102248161B1 (ko) | 2013-08-09 | 2021-05-04 | 써멀 이미징 레이다 엘엘씨 | 복수의 가상 장치를 이용하여 열 이미지 데이터를 분석하기 위한 방법들 및 깊이 값들을 이미지 픽셀들에 상관시키기 위한 방법들 |
EP3855232A1 (en) * | 2014-05-06 | 2021-07-28 | Niazi, Zakariya | Imaging system, method, and applications |
US9986155B2 (en) | 2014-09-05 | 2018-05-29 | Htc Corporation | Image capturing method, panorama image generating method and electronic apparatus |
TWI569641B (zh) * | 2014-09-05 | 2017-02-01 | 宏達國際電子股份有限公司 | 影像擷取方法及電子裝置 |
WO2016161169A2 (en) * | 2015-03-31 | 2016-10-06 | Thrive Bioscience, Inc. | Cell culture incubators with integrated cell manipulation systems |
WO2016160794A1 (en) | 2015-03-31 | 2016-10-06 | Thermal Imaging Radar, LLC | Setting different background model sensitivities by user defined regions and background filters |
USD776181S1 (en) | 2015-04-06 | 2017-01-10 | Thermal Imaging Radar, LLC | Camera |
CN105187708A (zh) * | 2015-07-22 | 2015-12-23 | 北京元心科技有限公司 | 拍摄全景图的方法以及*** |
CN105467741B (zh) * | 2015-12-16 | 2019-01-29 | 魅族科技(中国)有限公司 | 一种全景拍照方法及终端 |
US10574886B2 (en) | 2017-11-02 | 2020-02-25 | Thermal Imaging Radar, LLC | Generating panoramic video for video management systems |
TWI634515B (zh) * | 2018-01-25 | 2018-09-01 | 廣達電腦股份有限公司 | 三維影像處理之裝置及方法 |
US11601605B2 (en) | 2019-11-22 | 2023-03-07 | Thermal Imaging Radar, LLC | Thermal imaging camera device |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3832895B2 (ja) * | 1996-05-28 | 2006-10-11 | キヤノン株式会社 | 画像合成装置及び画像合成システム |
JPH114398A (ja) | 1997-06-11 | 1999-01-06 | Hitachi Ltd | デジタルワイドカメラ |
US6552744B2 (en) | 1997-09-26 | 2003-04-22 | Roxio, Inc. | Virtual reality camera |
US6714249B2 (en) * | 1998-12-31 | 2004-03-30 | Eastman Kodak Company | Producing panoramic digital images by digital camera systems |
US6885392B1 (en) * | 1999-12-31 | 2005-04-26 | Stmicroelectronics, Inc. | Perspective correction for preview area of panoramic digital camera |
US20010026684A1 (en) * | 2000-02-03 | 2001-10-04 | Alst Technical Excellence Center | Aid for panoramic image creation |
US6788333B1 (en) * | 2000-07-07 | 2004-09-07 | Microsoft Corporation | Panoramic video |
EP3388784B1 (en) * | 2001-05-04 | 2019-07-17 | Vexcel Imaging GmbH | Method and large format camera for acquiring a large format image of a large area object |
-
2004
- 2004-03-16 US US10/802,446 patent/US7436438B2/en active Active
-
2005
- 2005-03-08 CN CNB2005800085615A patent/CN100484198C/zh active Active
- 2005-03-08 GB GB0619159A patent/GB2429363B/en active Active
- 2005-03-08 WO PCT/SG2005/000071 patent/WO2005088961A1/en active Application Filing
- 2005-03-09 TW TW094107096A patent/TWI390333B/zh active
-
2007
- 2007-10-24 HK HK07111477.2A patent/HK1106372A1/xx unknown
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102158647A (zh) * | 2010-01-26 | 2011-08-17 | 索尼公司 | 摄像控制设备、摄像控制方法以及程序 |
US9516201B2 (en) | 2010-01-26 | 2016-12-06 | Sony Corporation | Imaging control apparatus, imaging control method, and program |
US10931855B2 (en) | 2010-01-26 | 2021-02-23 | Sony Corporation | Imaging control based on change of control settings |
WO2012024830A1 (en) * | 2010-08-24 | 2012-03-01 | Hewlett-Packard Development Company, L.P. | Stitched digital images |
US9047653B2 (en) | 2010-08-24 | 2015-06-02 | Hewlett-Packard Development Company, L.P. | Stitched digital images |
CN102547104A (zh) * | 2010-09-30 | 2012-07-04 | 卡西欧计算机株式会社 | 能生成广角图像的图像处理装置 |
CN102547104B (zh) * | 2010-09-30 | 2015-04-01 | 卡西欧计算机株式会社 | 能生成广角图像的图像处理装置 |
CN109362234A (zh) * | 2016-04-28 | 2019-02-19 | 深圳市大疆创新科技有限公司 | 用于获得球面全景图像的***和方法 |
CN109362234B (zh) * | 2016-04-28 | 2021-11-30 | 深圳市大疆创新科技有限公司 | 用于获得球面全景图像的***和方法 |
CN108881745A (zh) * | 2017-05-15 | 2018-11-23 | 途艾斯技术有限公司 | 视频处理装置、方法及执行其方法的电脑软件 |
Also Published As
Publication number | Publication date |
---|---|
CN100484198C (zh) | 2009-04-29 |
GB2429363B (en) | 2010-03-17 |
WO2005088961A1 (en) | 2005-09-22 |
US7436438B2 (en) | 2008-10-14 |
TWI390333B (zh) | 2013-03-21 |
GB2429363A (en) | 2007-02-21 |
GB0619159D0 (en) | 2006-11-15 |
US20050206743A1 (en) | 2005-09-22 |
HK1106372A1 (en) | 2008-03-07 |
TW200532362A (en) | 2005-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100484198C (zh) | 用于形成全景图像的方法、***和设备 | |
EP0929970B1 (en) | Systematic image group formation | |
EP1676236B1 (en) | Panoramic maker engine for a low profile system | |
USRE45785E1 (en) | Virtual reality camera | |
US6930703B1 (en) | Method and apparatus for automatically capturing a plurality of images during a pan | |
CN1854887B (zh) | 用于形成全景图像的方法和装置 | |
US6169575B1 (en) | Method and system for controlled time-based image group formation | |
US20100134641A1 (en) | Image capturing device for high-resolution images and extended field-of-view images | |
US9013589B2 (en) | Digital image processing apparatus and digital image processing method capable of obtaining sensibility-based image | |
EP2242252A2 (en) | In-camera generation of high quality composite panoramic images | |
US20070081081A1 (en) | Automated multi-frame image capture for panorama stitching using motion sensor | |
US5986701A (en) | Method and system of grouping related images captured with a digital image capture device | |
JP7023662B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム | |
CN110830707B (zh) | 镜头控制方法、装置及终端 | |
CN110730296A (zh) | 图像处理装置、图像处理方法及计算机可读介质 | |
CN113079325B (zh) | 暗光条件下的十亿级像素成像方法、装置、介质及设备 | |
WO2022022726A1 (zh) | 一种拍摄方法及设备 | |
CN108702456A (zh) | 一种对焦方法、设备及可读存储介质 | |
CN114125179A (zh) | 拍摄方法和装置 | |
KR100934211B1 (ko) | 휴대용 단말기의 파노라마 이미지 생성 방법 | |
JP2005217874A (ja) | ファイル管理方法 | |
CN113796064A (zh) | 拍摄控制方法和装置、云台、拍摄*** | |
CN101554043B (zh) | 图像传感器的数据组处理方法和处理*** | |
WO2019113869A1 (zh) | 基于相机阵列的全景光场采集装置、处理方法和计算设备 | |
WO2022242169A1 (zh) | 电视拍照方法、装置、设备与计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1106372 Country of ref document: HK |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1106372 Country of ref document: HK |