CN103109537A - 图像处理设备、成像设备、图像处理方法和程序 - Google Patents

图像处理设备、成像设备、图像处理方法和程序 Download PDF

Info

Publication number
CN103109537A
CN103109537A CN2011800443856A CN201180044385A CN103109537A CN 103109537 A CN103109537 A CN 103109537A CN 2011800443856 A CN2011800443856 A CN 2011800443856A CN 201180044385 A CN201180044385 A CN 201180044385A CN 103109537 A CN103109537 A CN 103109537A
Authority
CN
China
Prior art keywords
image
composograph
processing
momentum
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800443856A
Other languages
English (en)
Inventor
小坂井良太
稻叶靖二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103109537A publication Critical patent/CN103109537A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G03B17/20—Signals indicating condition of a camera member or suitability of light visible in viewfinder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

提供了用于连接从多个图像裁剪出的矩形区域并生成用于显示二维全景图像或三维图像的图像的配置，其中，基于照相机的移动确定可以生成的合成图像，并且，生成确定的合成图像。还提供用于连接从多个图像裁剪出的矩形区域并生成用于显示二维全景图像或三维图像的左眼图像和右眼图像的配置，其中，分析在图像捕获期间的成像装置的移动，确定是否可以生成二维全景图像或三维图像，并且，生成可以生成的合成图像。根据在捕获图像期间照相机的转动动量（θ）和平移动量（t），（a）执行处理以生成用于显示三维图像的左眼合成图像和右眼合成图像的合成图像，（b）执行处理以生成二维全景图像的合成图像，或者（c）暂停合成图像的生成。确定要执行处理（a）至（c）中的哪一个，并且，执行确定的处理。向用户通知或警告处理的内容。

Description

图像处理设备、成像设备、图像处理方法和程序
技术领域
本发明涉及图像处理设备、成像设备、图像处理方法和程序，并且，更具体地，涉及执行使用在移动照相机的同时所捕获的多个图像来生成用于显示三维图像（3D图像）的图像的处理的图像处理设备、成像设备、图像处理方法和程序。
背景技术
为了生成三维图像（也称为3D图像或立体图像），需要从互不相同的视点捕获图像，换句话说，左眼图像和右眼图像。从互不相同的视点捕获图像的方法主要分为两种方法。
第一种技术是使用多个照相机单元从不同视点对被摄体同时成像的技术，即，使用所谓的多镜头照相机的技术。
第二种技术是使用单个照相机单元通过移动成像设备从互不相同的视点连续地捕获图像的技术，即，使用所谓的单镜头照相机的技术。
例如，用于上述第一种技术的多镜头照相机***具有这样的配置，其中，各镜头被包括在彼此分开的位置处，并且被摄体可以从互不相同的视点被同时拍摄。但是，这样的多镜头照相机***需要多个照相机单元，因此，存在该照相机***价格昂贵的问题。
与此相反，用于上述第二种技术的单镜头照相机***可以具有包括一个照相机单元的配置，其类似于现有技术中的照相机的配置。在这样的配置中，来自互不相同的视点的图像在移动包括一个照相机单元的照相机的同时被连续地捕获，并通过使用多个捕获的图像来生成三维图像。
如上所述，在使用单镜头照相机***的情况中，通过使用类似于现有技术中的照相机的一个照相机单元，可以实现相对低成本的***。
另外，作为公开了从在移动单镜头照相机的同时捕获的图像获取被摄体的距离信息的技术的现有技术中的技术，存在NPL1“Acquiring Omni-directional Range Information(The Transactionsof the Institute of Electronics,Information and CommunicationEngineers,D-II,Vol.J74-D-II,No.4,1991)”。另外，还在NPL2“Omni-Directional Stereo,IEEE Transaction On Pattern Analysis AndMachine Intelligence,VOL.14,No.2,February1992”中公开了与NPL1相同的内容的报告。
在NPL1和NPL2中，公开了一种技术，其中，照相机被固定地安装在与旋转台的旋转中心分开预定距离的圆周上，并且，通过在旋转旋转基座的同时连续地捕获图像，使用通过两个垂直狭缝获取的两个图像来获取被摄体的距离信息。
另外，在PTL1（日本未审专利申请公开No.11-164326）中，与NPL1和NPL2中公开的配置类似，公开了这样一种配置，其中，在照相机被安装为与旋转台的旋转中心分开预定距离并且被旋转的同时捕获图像，并且，通过使用通过两个狭缝获取的两个图像，获取用于显示三维图像的左眼全景图像和右眼全景图像。
如上所述，在现有技术中的技术中，公开了可以通过使用当照相机被旋转的同时通过狭缝获取的图像来获取用于显示三维图像的左眼图像和右眼图像。
同时，已知一种技术，其通过在移动照相机的同时捕获图像并连接多个捕获图像来用于生成全景图像，即，水平长的二维图像。例如，在PTL2（日本专利No.3928222）、PTL3（日本专利No.4293053）等中，公开了用于生成全景图像的技术。
如上所述，在生成二维全景图像时，使用在移动照相机的同时获取的多个捕获图像。
在上述的NPL1、NPL2和PTL1中，描述了使用由诸如全景图像生成处理的捕获处理所捕获的多个图像通过裁剪出和连接预定区域的图像来获取作为三维图像的左眼图像和右眼图像的原理。
但是，在通过从使用在照相机移动时捕获的多个捕获图像裁剪出预定区域的图像并连接这些图像来生成作为三维图像的左眼图像和右眼图像或二维全景图像的情况中，例如，通过用户使用其手进行的照相机的摇摆操作，存在这样一种情况，其中，根据用户执行的照相机的移动的形式不能生成用于显示三维图像的左眼图像和右眼图像。另外，还存在不能生成二维全景图像的情况。结果，无意义的图像数据作为记录数据被记录在介质上，并且可能发生这样的情形，其中，在再现时再现没有依照用户意图的图像，或者图像不能被再现。
引文列表
专利文献
[PTL1]JP-A-11-164326
[PTL2]日本专利No.3928222
[PTL3]日本专利No.4293053
非专利文献
[NPL1]“Acquiring Omni-directional Range Information(TheTransactions of the Institute of Electronics,Information andCommunication Engineers,D-II,Vol.J74-D-II,No.4,1991)”
[NPL2]“Omni-Directional Stereo”,IEEE Transaction OnPattern Analysis And Machine Intelligence,VOL.14,No.2,February1992”
发明内容
技术问题
例如，考虑到了上述问题而设计本发明，并且本发明的目的在于提供这样的图像处理设备、成像设备、图像处理方法和程序，在从在移动照相机的同时所捕获的多个图像生成用于显示三维图像的左眼图像和右眼图像或二维全景图像的配置中，其能够根据照相机的旋转或移动状态来执行最优的图像生成处理，并且，在不能生成2D全景图像或3D图像的情况中，其能够将这样的情形警告用户。
解决问题的方案
根据本发明的第一方面，提供一种图像处理设备，该图像处理设备包括：图像合成单元，其接收从互不相同的位置捕获的多个图像作为输入，并通过连接从这些图像中的每一个裁剪出的条状区域（stripped area）来生成合成图像，其中，图像合成单元基于在捕获图像时成像设备的移动信息从（a）用于显示三维图像的左眼合成图像和右眼合成图像的合成图像生成处理、（b）二维全景图像的合成图像生成处理、以及（c）停止合成图像生成当中确定一个处理方式，并执行确定的处理。
另外，在本发明的图像处理设备的实施例中，上述图像处理设备还包括：转动动量检测单元，其获取或计算在捕获图像时成像设备的转动动量（θ）；以及平移动量检测单元，其获取或计算在捕获图像时成像设备的平移动量（t），其中，图像合成单元基于由转动动量检测单元检测的转动动量（θ）和由平移动量检测单元检测的平移动量（t）来确定处理方式。
此外，在本发明的图像处理设备的实施例中，上述图像处理设备还包括：输出单元，其根据图像合成单元的确定的信息向用户呈示警告或通知。
另外，在本发明的图像处理设备的实施例中，在由转动动量检测单元检测的转动动量（θ）为零的情况中，上述图像合成单元停止三维图像和二维全景图像的合成图像生成处理。
此外，在本发明的图像处理设备的实施例中，在由转动动量检测单元检测的转动动量（θ）不为零，并且由平移动量检测单元检测的平移动量（t）为零的情况中，上述图像合成单元执行二维全景图像的合成图像生成处理与停止合成图像生成的其中之一。
另外，在本发明的图像处理设备的实施例中，在由转动动量检测单元检测的转动动量（θ）不为零，并且由平移动量检测单元检测的平移动量（t）不为零的情况中，上述图像合成单元执行三维图像的合成图像生成处理与二维全景图像的合成图像生成处理的其中之一。
此外，在本发明的图像处理设备的实施例中，在由转动动量检测单元检测的转动动量（θ）不为零，并且由平移动量检测单元检测的平移动量（t）不为零的情况中，图像合成单元执行这样的处理，其中，要被生成的3D图像的LR图像在θ·t<0的情况和在θ·t>0的情况中被反转地设置。
另外，在本发明的图像处理设备的实施例中，上述转动动量检测单元是检测图像处理设备的转动动量的传感器。
此外，在本发明的图像处理设备的实施例中，上述平移动量检测单元是检测图像处理设备的平移动量的传感器。
另外，在本发明的图像处理设备的实施例中，上述转动动量检测单元是通过分析捕获的图像来检测在捕获图像时的转动动量的图像分析单元。
此外，在本发明的图像处理设备的实施例中，上述平移动量检测单元是通过分析捕获的图像来检测在捕获图像时的平移动量的图像分析单元。
另外，根据本发明的第二方面，提供一种成像设备，其包括：成像单元；和图像处理单元，执行根据权利要求1到11中的任意一个所述的图像处理。
另外，根据本发明的第三方面，提供一种在图像处理设备中执行的图像处理方法，该图像处理方法包括：通过使用图像合成单元，接收从互不相同的位置捕获的多个图像作为输入，并通过连接从这些图像中的每一个裁剪出的条状区域来生成合成图像，其中，在接收多个图像并生成合成图像时，基于在捕获图像时成像设备的移动信息从（a）用于显示三维图像的左眼合成图像和右眼合成图像的合成图像生成处理、（b）二维全景图像的合成图像生成处理、以及（c）停止合成图像生成当中确定一个处理方式，并执行确定的处理。
另外，根据本发明的第四方面，提供一种使图像处理设备执行图像处理的程序，该程序使得图像合成单元执行如下：接收从互不相同的位置捕获的多个图像作为输入，并通过连接从这些图像中的每一个裁剪出的条状区域来生成合成图像，其中，在接收多个图像并生成合成图像时，基于在捕获图像时成像设备的移动信息从（a）用于显示三维图像的左眼合成图像和右眼合成图像的合成图像生成处理、（b）二维全景图像的合成图像生成处理、以及（c）停止合成图像生成当中确定一个处理方式，并执行确定的处理。
另外，例如，根据本发明的程序是可以作为用于可以执行各种程序代码的计算机***或信息处理设备的以计算机可读形式的存储介质或通信介质提供的程序。通过以计算机可读形式提供这样的程序，在信息处理设备或计算机***上实现根据该程序的处理。
通过参考附图对示例性实施例进行详细描述，将使得本发明的其它特征和优点变得更加明显。另外，在本说明书中描述的***是多个***的逻辑集合配置，并且每一种配置的设备并不限制为被置于相同的壳体内。
本发明的有益效果
根据本发明的实施例的配置，在通过连接从多个图像裁剪出的条状区域来生成二维全景图像或用于显示三维图像的图像的配置中，实现这样的配置，其中，基于照相机的移动来生成可以生成的合成图像，并且生成确定的合成图像。在通过连接从多个图像裁剪出的条状区域来生成二维全景图像或用于显示三维图像的左眼合成图像和右眼合成图像的配置中，分析在捕获图像时成像设备的移动的信息，确定是否可以生成二维全景图像或三维图像，并且执行生成可以被生成的合成图像的处理。根据捕获图像时照相机的转动动量（θ）和平移动量（t），从（a）用于显示三维图像的左眼合成图像和右眼合成图像的合成图像生成处理、（b）二维全景图像的合成图像生成处理、以及（c）停止合成图像生成当中确定一个处理方式，并执行确定的处理。另外，向用户呈示处理的内容的通知或警告。
附图说明
图1是示出全景图像生成处理的示图。
图2是示出生成用于显示三维（3D）图像的左眼图像（L图像）和右眼图像（R图像）的处理的示图。
图3是示出生成用于显示三维（3D）图像的左眼图像（L图像）和右眼图像（R图像）的原理的示图。
图4是示出使用虚拟成像表面的反转模型（reverse model）的示图。
图5是示出用于捕获全景图像（3D全景图像）的处理的模型的示图。
图6是示出在全景图像（3D全景图像）捕获处理中捕获的图像以及左眼图像和右眼图像的条带的设置的例子的示图。
图7是示出条状区域连接处理以及生成3D左眼合成图像（3D全景L图像）和3D右眼合成图像（3D全景R图像）的处理的例子的示图。
图8是示出在通过从在照相机被移动的同时连续地成像的多个图像裁剪出条状区域来生成3D图像或2D全景图像的情况中理想的照相机移动处理的例子的示图。
图9是示出通过从在照相机被移动的同时连续地成像的多个图像裁剪出条状区域不能生成3D图像或2D全景图像的照相机移动处理的例子的示图。
图10是示出作为根据本发明实施例的图像处理设备的成像设备的配置例子的示图。
图11是示出图示由根据本发明的图像处理设备执行的图像捕获和合成处理的序列的流程图的示图。
图12是示出图示由根据本发明的图像处理设备执行的处理确定处理的序列的流程图的示图。
图13是一同示出由转动动量检测单元211和平移动量检测单元212检测的检测信息以及根据该检测信息确定的处理的示图。
具体实施方式
在下文中，将参考附图描述根据本发明的图像处理设备、成像设备、图像处理方法和程序。将按照下面项目的顺序呈示描述。
1.用于生成全景图像和三维（3D）图像的处理的基本配置
2.使用在照相机被移动的同时捕获的多个图像的条状区域生成3D图像时的问题
3.根据本发明的图像处理设备的配置例子
4.图像捕获和图像处理的序列
5.转动动量检测单元和平移动量检测单元的具体配置例子
6.基于转动动量与平移动量的处理之间的切换例子
1.用于生成全景图像和三维（3D）图像的处理的基本配置
本发明涉及通过连接图像的区域（条状区域）来生成用于显示三维（3D）图像的左眼图像（L图像）和右眼图像（R图像）的处理，这些图像的区域（条状区域）是使用在成像设备（照相机）被移动的同时连续地捕获的多个图像以条带的形状裁剪出的。
能够使用在移动照相机的同时连续地捕获的多个图像来生成二维全景图像（2D全景图像）的照相机已经被实现并使用了。首先，将参考图1描述生成全景图像（2D全景图像）的处理，该全景图像作为二维合成图像被生成。在图1中，描绘了示出（1）成像处理、（2）捕获的图像、以及（3）二维合成图像（2D全景图像）的示图。
用户将照相机10设置为全景拍摄模式，手持照相机10，并且如图1（1）所示，在快门被按下的情况下将照相机从左侧（点A）移动到右侧（点B）。当在设置全景拍摄模式下用户按下快门被检测到时，照相机10执行连续图像捕获操作。例如，大约10到100个图像被连续地捕获。
这些图像是在图1（2）中示出的图像20。多个图像20是在照相机10被移动的同时被连续地捕获的图像，并且是来自互不相同的视点的图像。例如，从互不相同的视点捕获的100个图像20被顺序地记录在存储器中。照相机10的数据处理单元从存储器读出在图1（2）中示出的多个图像20，裁剪出用于根据这些图像生成全景图像的条状区域，并执行连接这些裁剪出的条状区域的处理，从而生成在图1（3）中示出的2D全景图像30。
在图1（3）中示出的2D全景图像30是二维（2D）图像，并且是通过裁剪出捕获图像的部分并将这些部分连接而得到的水平长的图像。在图1（3）中描绘的虚线示出这些图像的连接部分。每个图像20的裁剪出的区域将被称为条状区域。
根据本发明的图像处理设备或成像设备执行如图1所示的图像捕获处理，换句话说，如图1（1）所示，使用在照相机被移动的同时被连续地捕获的多个图像来生成用于显示三维（3D）图像的左眼图像（L图像）和右眼图像（R图像）。
将参考图2描述用于生成左眼图像（L图像）和右眼图像（R图像）的处理的基本配置。
图2（a）示出在图1（2）中示出的全景拍摄处理中捕获的一个图像20。
如参考图1所描述的生成2D全景图像的处理中一样，用于显示三维（3D）图像的左眼图像（L图像）和右眼图像（R图像）是通过从图像20裁剪出预定的条状区域并连接这些条状区域而生成的。
但是，针对左眼图像（L图像）和右眼图像（R图像），被设置为裁剪出的区域的条状区域位于不同的位置。
如图2（a）所示，左眼图像条（L图像条）51和右眼图像条（R图像条）52的裁剪出的位置存在不同。尽管在图2中仅示出了一个图像20，但是对于如图1（2）所示的在照相机移动的情况下捕获的多个图像中的每一个，设置位于不同的裁剪出的位置的左眼图像条（L图像条）和右眼图像条（R图像条）。
其后，通过仅仅收集并连接左眼图像条（L图像条），可以生成在图2（b1）中示出的3D左眼全景图像（3D全景L图像）。
另外，通过仅仅收集并连接右眼图像条（R图像条），可以生成在图2（b2）中示出的3D右眼全景图像（3D全景R图像）。
如上所述，通过连接从在照相机移动的情况下捕获的多个图像获取的裁剪出的位置被不同地设置的条带，可以生成用于显示三维（3D）图像的左眼图像（L图像）和右眼图像（R图像）。将参照图3描述该原理。
图3示出这样的情形，其中，通过移动照相机10，在两个捕获位置（a）和（b）处拍摄被摄体80。在位置（a），作为被摄体80的图像，从左侧看到的图像被记录在照相机10的成像装置70的左眼图像条（L图像条）51中。接下来，作为在照相机10移动到的位置（b）处的被摄体80的图像，从右侧看到的图像被记录在照相机10的成像装置70的右眼图像条（R图像条）52中。
如上所述，从互不相同的视点看到的同一被摄体的图像被记录在成像装置70的预定区域（条状区域）中。
通过单独地提取这些，换句话说，通过仅仅收集和连接左眼图像条（L图像条），生成在图2（b1）中示出的3D左眼全景图像（3D全景L图像），并且，通过仅仅收集和连接右眼图像条（R图像条），生成在图2（b2）中示出的3D右眼全景图像（3D全景R图像）。
在图3中，为了易于理解，描绘了移动设置，其中，照相机10从被摄体80的左侧向右侧穿过被摄体，照相机10穿过被摄体80的移动不是必要的。只要从互不相同的视点看到的图像可以被记录在照相机10的成像装置70的预定区域中，就可以生成用于显示3D图像的左眼图像和右眼图像。
接下来，将参考图4描述在下面呈示的描述中使用的使用虚拟成像表面的反转模型。在图4中，描绘了（a）图像捕获配置、（b）正向模型和（c）反转模型的图。
在图4（a）中示出的图像捕获配置示出了与参考图3描述的全景图像类似的全景图像被捕获时的处理配置。
图4（b）示出在图4（a）中示出的捕获处理中被实际地捕获到设置在照相机10内部的成像装置70中的图像的例子。
在成像装置70中，如图4（b）所示，左眼图像72和右眼图像73被以垂直反转的方式记录。在使用这样的反转图像进行描述的情况中，在下面呈示的描述中，将使用在图4（c）中示出的反转模型来进行描述。
该反转模型是在对成像设备等中的图像进行解释中经常使用的模型。
在图4（c）中示出的反转模型中，假定虚拟成像装置101被设置在对应于照相机的焦点的光学中心102的前面，并且被摄体图像被捕获到虚拟成像装置101中。如图4（c）所示，在虚拟成像装置101中，位于照相机的左前方的被摄体A91被捕获到左侧中，位于照相机的右前方的被摄体B92被捕获到右侧中，并且，这些图像被设置为不是垂直地反转，由此，直接反映这些被摄体的实际位置关系。换句话说，在虚拟成像装置101上形成的图像表示与实际捕获的图像相同的图像数据。
在下面呈示的描述中，使用该虚拟成像装置101的反转模型将被使用。
如图4（c）所示，在虚拟成像装置101上，左眼图像（L图像）111被捕获到虚拟成像装置101上的右侧，并且右眼图像（R图像）112被捕获到虚拟成像装置101上的左侧。
2.使用在照相机被移动的同时捕获的多个图像的条状区域生成3D图像或2D全景图像时的问题
接下来，将描述使用在照相机被移动的同时捕获的多个图像的条状区域生成3D图像或2D全景图像时的问题。
作为用于捕获全景图像（2D/3D全景图像）的处理的模型，将假设在图5中示出的捕获模型。如图5所示，照相机100被放置，从而使得照相机100的光学中心102被设置与作为旋转中心的旋转轴P隔开距离R（转动半径）的位置处。
虚拟成像表面101被设置在与光学中心102相距焦距f的旋转轴P的外侧。
在这样的设置中，照相机100沿顺时针方向（从A到B的方向）围绕旋转轴P旋转，并且多个图像被连续地捕获。
在每个捕获点中，除了用于生成2D全景图像的条带，左眼图像条111和右眼图像条112的图像被记录在虚拟成像装置101上。
例如，记录的图像具有在图6中示出的配置。
图6示出由照相机100捕获的图像110。另外，该图像110与在虚拟成像装置101上形成的图像相同。
在图像110中，如图6所示，从图像的中心部分向左侧偏移并且以条带的形状裁剪出的区域（条状区域）被设置为右眼图像条112，并且从图像的中心部分向右侧偏移并且以条带的形状裁剪出的区域（条状区域）被设置为左眼图像条111。
另外，在图6中示出当二维（2D）全景图像被生成时所使用的2D全景图像条115。
如图6所示，用于二维合成图像的2D全景图像条115与左眼图像条111之间的距离以及2D全景图像条115与右眼图像条112之间的距离被定义为“偏移”或“条带偏移”=d1和d2。
另外，左眼图像条111与右眼图像条112之间的距离被定义为“条带间偏移”=D。
此外，条带间偏移=（条带偏移）×2，并且D=d1+d2。
条带宽度w是对所有2D全景图像条115、左眼图像条111和右眼图像条112都相同的宽度w。该条带宽度根据照相机的移动速度等来改变。在照相机的移动速度高的情况中，条带宽度w变宽，并且，在照相机的移动速度低的情况中，条带宽度w变窄。这一点将在稍后的阶段中进一步描述。
条带偏移或条带间偏移可以被设置为各种值。例如，在条带偏移被设置为较大的情况中，左眼图像与右眼图像之间的差异较大，并且，在条带偏移被设置为较小的情况中，左眼图像与右眼图像之间的差异较小。
在条带偏移=0的情况中，左眼图像条111=右眼图像条112=2D全景图像条115。
在这样的情况中，通过合成左眼图像条111获取的左眼合成图像（左眼全景图像）以及通过合成右眼图像条112获取的右眼合成图像（右眼全景图像）是完全相同的图像，即，与通过合成2D全景图像条115获取的二维全景图像相同并且不能被用于显示三维图像的图像。
在下面呈示的描述中，条带宽度w的长度、条带偏移和条带间偏移被描述为以像素数量定义的值。
在照相机100内部设置的数据处理单元获取在照相机100被移动的同时连续捕获的图像之间的运动向量，并且，在条状区域被对准从而使得上述条状区域的图案被连接在一起的同时，数据处理单元顺序地确定从每个图像裁剪出的条状区域，并连接从每个图像裁剪出的这些条状区域。
换句话说，左眼合成图像（左眼全景图像）是通过从这些图像中仅选择左眼图像条111并连接和合成所选左眼图像条来生成的，并且右眼合成图像（右眼全景图像）是通过从这些图像中仅选择右眼图像条112并连接和合成所选右眼图像条来生成的。
图7（1）是示出条状区域连接处理的例子的示图。假定图像间的捕获时间间隔是Δt，并且，在捕获时间T=0到nΔt之间n+1个图像被捕获。从n+1个图像提取的条状区域被连接在一起。
但是，在生成3D左眼合成图像（3D全景L图像）的情况中，仅提取和连接左眼图像条（L图像条）111。另外，在生成3D右眼合成图像（3D全景R图像）的情况中，仅提取和连接右眼图像条（R图像条）112。
如上所述，通过仅仅收集并连接左眼图像条（L图像条）111，生成在图7（2a）中示出的3D左眼合成图像（3D全景L图像）。
另外，通过仅仅收集并连接右眼图像条（R图像条）112，生成在图7（2b）中示出的3D右眼合成图像（3D全景R图像）。
如参考图6和图7所描述的，通过合成在图像100中设置的2D全景图像条115，生成二维全景图像。另外，通过将从图像100的中心向右侧偏移的条状区域结合，生成在图7（2a）中示出的3D左眼合成图像（3D全景L图像）。
另外，通过将从图像100的中心向左侧偏移的条状区域结合，生成在图7（2b）中示出的3D右眼合成图像（3D全景R图像）。
在这两个图像中，如上面参考图3所描述的，当基本上相同的被摄体被成像的同时，从互不相同的位置对同一被摄体进行成像，从而产生差异。通过在可以显示3D（立体）图像的显示设备中显示其间具有差异的两个图像，作为成像对象的被摄体可以以立体的方式被显示。
另外，作为3D图像的显示类型，存在多种类型。
例如，存在对应于被动式眼镜类型的3D图像显示类型、对应于主动式眼镜类型的3D图像显示类型等，在对应于被动式眼镜类型的3D图像显示类型中，由左眼和右眼观测到的图像通过使用偏振滤光器或滤色器被相互分开；在对应于主动式眼镜类型的3D图像显示类型中，通过交替地打开/关闭左右液晶快门来将观测到的图像在时间上交替地针对左眼和右眼分开。
通过上述条带连接处理生成的左眼图像和右眼图像可以被应用于这些类型中的每一种。
如上所述，通过从在照相机被移动的同时连续捕获的多个图像中的每一个裁剪出条状区域而生成左眼图像和右眼图像，可以生成从互不相同的视点（即，从左眼位置和右眼位置）观测到的左眼图像和右眼图像。
但是，尽管从在照相机被移动的同时连续捕获的多个图像中的每一个裁剪出条状区域，也存在不能生成这样的3D图像或2D全景图像的情况。
更具体地说，例如，如图8（A）所示，在照相机以弧形被移动从而光轴彼此不相交的情况中，可以裁剪出用于生成3D图像或2D全景图像的条带。
但是，存在用于生成3D图像或2D全景图像的条带不能从根据除了这样的移动以外的移动捕获的图像裁剪出的情况。
例如，这样的情况为图9中示出的情况（b1）或情况（b2），在情况（b1）中，照相机进行不伴随有转动的平移移动，在情况（b2）中，照相机沿着弧形移动，从而使得光轴根据照相机的移动而彼此相交。
在用户通过照相机摇摆操作等移动照相机的情况中，很难移动照相机以绘制如图8中所示的理想轨迹，并且可以进行如图9（b1）或图9（b2）所示的移动。
本发明的目的在于提供这样的图像处理设备、成像设备、图像处理方法和程序，其能够在通过各种形式的移动捕获图像的情况中根据照相机的转动移动或平移移动执行最佳的图像处理过程，并且在不能生成2D全景图像或3D图像的情况中向用户警告该情形。
在下文中，将对该过程进行详细描述。
3.根据本发明的图像处理设备的配置例子
首先，将参考图10描述根据本发明实施例的作为图像处理设备的成像设备的配置例子。
在图10中示出的成像设备200对应于参考图1已经描述的照相机10，并且例如具有允许用户在全景拍摄模式中使用其手持的成像设备连续地捕获多个图像的配置。
从被摄体发送的光通过透镜***201入射到成像装置202。例如，成像装置202由CCD（电荷耦合器件）或CMOS（互补金属氧化物半导体）传感器构成。
入射到成像装置202的被摄体图像由成像装置202转换为电信号。另外，虽然未在图中示出，但是成像装置202包括预定的信号处理电路，对通过信号处理电路转换的电信号进行进一步转换，并将数字图像数据供应到图像信号处理单元203。
图像信号处理单元203执行诸如伽马校正或轮廓增强校正的图像信号处理，并在显示单元204上显示作为信号处理的结果的图像信号。
作为由图像信号处理单元203执行的处理的结果的图像信号被供应到包括图像存储器（用于合成处理）205、图像存储器（用于检测移动量）206和移动量计算单元207的单元，其中，图像存储器（用于合成处理）205是用于合成处理的图像存储器，图像存储器（用于检测移动量）206用于检测连续捕获的图像之间的移动量，移动量计算单元207计算这些图像间的移动量。
移动量计算单元207将从图像信号处理单元203供应的图像信号与存储在图像存储器（用于检测移动量）206中的作为前一帧的帧的图像一同获取，并检测当前图像与作为前一帧的帧的图像之间的移动量。例如，通过对构成被连续捕获的两个图像的像素执行匹配的处理，换句话说，确定同一被摄体的捕获区域的匹配处理，计算在图像间移动的像素的数量。另外，基本上，该处理是通过假定被摄体是停止的来执行的。在存在移动被摄体的情况中，尽管除了整个图像的移动向量以外的移动向量被检测，但是，在对应于移动被摄体的移动向量未被设置为检测对象时，该处理被执行。换句话说，对应于根据照相机的移动发生的整个图像的移动的移动向量（GMV：全局移动向量）被检测。
另外，例如，移动量被计算为移动像素的数量。通过比较图像n和在图像n之前的图像n-1来计算图像n的移动量，并且检测到的移动量（像素的数量）作为对应于图像n的移动量被存储在移动量存储器208中。
另外，图像存储器（用于合成处理）205是用于合成已经被连续捕获的图像的处理的存储器，换句话说，是其中存储用于生成全景图像的图像的存储器。尽管该图像存储器（用于合成处理）205可以被配置为使得所有图像，例如，在全景拍摄模式中被捕获的n+1个图像，被存储在其中，但是，例如，图像存储器205可以被设置为使得图像的末端部分被剪掉，并且仅有图像的中心区域被选择以被存储，生成全景图像所必需的条状区域来自该图像的中心区域。通过这样的设置，可以降低所需的存储器容量。
此外，在图像存储器（用于合成处理）205中，不仅捕获的图像数据而且诸如焦距[f]等的捕获参数都作为图像的属性信息与该图像相关联地被记录。这些参数与图像数据一同被供应到图像合成单元220。
例如，转动动量检测单元211和平移动量检测单元212中的每一个被配置为包括在成像设备200中的传感器或分析捕获图像的图像分析单元。
在转动动量检测单元211被配置为传感器的情况中，其为姿势检测传感器，其检测被称为照相机的俯仰/滚动/横摆的照相机的姿势。平移动量检测单元212是移动检测传感器，其检测照相机相对于世界坐标***的移动作为照相机的移动信息。由转动动量检测单元211检测的检测信息和由平移动量检测单元212检测的检测信息被供应到图像合成单元220。
另外，由转动动量检测单元211检测的检测信息和由平移动量检测单元212检测的检测信息可以被配置为在捕获图像时作为捕获图像的属性信息与捕获图像一同存储在图像存储器（用于合成处理）205中，并且检测信息可以被配置为与作为合成对象的图像一同从图像存储器（用于合成处理）205输入到图像合成单元220。
此外，转动动量检测单元211和平移动量检测单元212可以不由传感器配置，而是由执行图像分析处理的图像分析单元构成。转动动量检测单元211和平移动量检测单元212通过分析捕获的图像来获取类似于传感器检测信息的信息，并将获取的信息供应到图像合成单元220。在这样的情况中，转动动量检测单元211和平移动量检测单元212从图像存储器（用于检测移动量）206接收图像数据作为输入，并执行图像分析。将在稍后阶段中描述这样的处理的具体的例子。
在捕获处理结束后，图像合成单元220从图像存储器（用于合成处理）205获取图像，进一步获取其它所需的信息，并执行图像合成处理，其中，从获取自图像存储器（用于合成处理）205的图像裁剪出条状区域，并连接这些条状区域。通过该处理，生成左眼合成图像和右眼合成图像。
在捕获处理结束后，图像合成单元220接收作为输入的存储在移动量存储器208中的对应于每个图像的移动量和由转动动量检测单元211和平移动量检测单元212检测的检测信息（通过传感器检测或图像分析获取的信息）、以及来自图像存储器（用于合成处理）205的在捕获处理期间存储的多个图像（或部分图像）。
图像合成单元220使用输入信息及其连接处理从已经连续地捕获的多个图像裁剪出条带，从而生成作为2D全景图像或3D图像的左眼合成图像（左眼全景图像）和右眼合成图像（右眼全景图像）。另外，图像合成单元220针对每个图像执行诸如JPEG的压缩处理，然后将压缩图像存储在记录单元（记录介质）221中。
另外，图像合成单元220接收由转动动量检测单元211和平移动量检测单元212检测的检测信息（通过传感器检测或图像分析获取的信息）作为输入，并确定处理方式。
更具体地说，图像合成单元220执行下列处理的其中之一，所述处理包括：
（a）3D全景图像的生成；
（b）2D全景图像的生成；以及
（c）3D和2D全景图像都不生成。
另外，在执行（a）3D全景图像的生成的情况中，可以根据检测信息来执行LR图像（左眼图像和右眼图像）的反转等。
此外，在执行（c）3D和2D全景图像都不生成的情况中，针对用户的警告输出处理等被执行。
另外，将在稍后阶段中详细描述其具体的处理例子。
记录单元（记录介质）221存储由图像合成单元220合成的合成图像，即，左眼合成图像（左眼全景图像）和右眼合成图像（右眼全景图像）。
记录单元（记录介质）221可以是任何类型的记录介质，只要其是可以将数字信号记录在其上的记录介质即可，并且，例如，可以使用诸如硬盘、磁光盘、DVD（数字多功能盘）、MD（迷你盘）或半导体存储器的记录介质。
另外，尽管未在图10中示出，但是，除了在图10中示出的配置外，成像设备200包括输入操作单元、控制单元和存储单元（存储器），其中，输入操作单元被用来执行用于设置可以由用户操作的快门和变焦的各种输入、模式设置处理等，控制单元控制由成像设备200执行的处理，存储单元（存储器）存储任何其它构成单元的处理程序和参数、参数等。
在图10中示出的成像设备200的每个构成单元的处理以及数据的输入/输出是在置于成像设备200内部的控制单元的控制下被执行的。控制单元读出事先存储在置于成像设备200内部的存储器中的程序，并根据该程序执行对在成像设备200中执行的处理的整体控制，这些处理诸如：捕获图像的获取、数据处理、合成图像的生成、记录生成的合成图像的处理、显示处理等。
4.图像捕获和图像处理的序列
接下来，将参考图11中的流程图来描述由根据本发明的图像处理设备执行的图像捕获和合成处理的序列的例子。
例如，根据图11中示出的流程图的处理是在被置于在图10中示出的成像设备200内部的控制单元的控制下被执行的。
将描述在图11中示出的流程图的每个步骤的处理。
首先，在根据电源开启而执行硬件诊断和初始化后，图像处理设备（例如，成像设备200）前进到步骤S101。
在步骤S101中，各种捕获参数被计算。在该步骤S101中，例如，与由曝光***识别的亮度有关的信息被获取，并且诸如光圈值和快门速度的捕获参数被计算。
接下来，处理前进到步骤S102，并且控制单元确定用户是否执行了快门操作。这里，假定3D图像全景拍摄模式已经被事先设置。
在3D图像全景拍摄模式中，这样的处理被执行：其中，根据用户的快门操作连续地捕获多个图像，从这些捕获图像裁剪出左眼图像条和右眼图像条，并且生成和记录可以用于显示3D图像的左眼合成图像（全景图像）和右眼合成图像（全景图像）。
在步骤S102中，在控制单元未检测到用户的快门操作的情况中，处理返回到步骤S101。
另一方面，在步骤S102中，在控制单元检测到用户的快门操作的情况中，处理前进到步骤S103。
在步骤S103中，控制单元通过执行基于在步骤S101中计算的参数的控制来开始捕获处理。更具体地说，例如，执行在图10中示出的透镜***201的光圈驱动单元的调整等，并且开始图像捕获。
作为其中多个图像被连续地捕获的处理，图像捕获处理被执行。对应于连续捕获的图像的电信号被从图10中示出的成像装置202顺序地读出，伽马校正、轮廓增强校正等的处理由图像信号处理单元203来执行，并且处理的结果被显示在显示单元204上，并且被顺序地供应到存储器205和206以及移动量检测单元207。
接下来，处理前进到步骤S104，并且图像之间的移动量被计算。该处理是图10中示出的移动量检测单元207的处理。
移动量计算单元207将从图像信号处理单元203供应的图像信号与存储在图像存储器（用于检测移动量）206中的作为前一帧的帧的图像一同获取，并检测当前图像与作为前一帧的帧的图像之间的移动量。
另外，作为在这里计算的移动量，如上所述，例如，通过执行对构成被连续捕获的两个图像的像素进行匹配的处理，换句话说，确定同一被摄体的捕获区域的匹配处理，计算在图像间移动的像素的数量被计算。另外，基本上，该处理是在假定被摄体是停止的同时执行的。在存在移动被摄体的情况中，尽管除了整个图像的移动向量以外的移动向量被检测，但是在对应于移动被摄体的移动向量未被设置为检测对象的同时执行该处理。换句话说，对应于依照照相机的移动发生的整个图像的移动的移动向量（GMV：全局移动向量）被检测。
另外，例如，移动量作为移动像素的数量被计算。通过比较图像n和在图像n之前的图像n-1来计算图像n的移动量，并且检测到的移动量（像素的数量）作为对应于图像n的移动量被存储在移动量存储器208中。
该移动使用对应于步骤S105的存储处理的存储处理。在步骤S105中，在步骤S104中被检测到的图像间的移动量与连续捕获的图像中的每一个的ID相关联地存储在图10中示出的移动量存储器208中。
接下来，处理前进到步骤S106，并且，在步骤S103中捕获并由图像信号处理单元203处理的图像被存储在图10中示出的图像存储器（用于合成处理）205中。另外，如上所述，尽管该图像存储器（用于合成处理）205可以被配置为使得所有图像，例如，在全景拍摄模式（或3D图像全景拍摄模式）中被捕获的n+1个图像，被存储在其中，例如，图像存储器205可以被设置为使得图像的末端部分被剪掉，并且仅有图像的中心区域被选择以便被存储，生成全景图像（3D全景图像）所必需的条状区域来自该图像的中心区域。通过这样的设置，所需的存储器容量可以被降低。此外，在图像存储器（用于合成处理）205中，图像可以被配置为在针对该图像执行诸如JPEG等的压缩处理后被存储。
接下来，处理前进到步骤S107，并且控制单元确定用户是否继续按下了快门操作。换句话说，捕获的结束定时被确定。
在快门被用户继续按下的情况中，处理返回到步骤S103，从而继续捕获处理，并且被摄体的成像被重复。
另一方面，在步骤S107中，在确定按下快门已经结束的情况中，为了前进到捕获结束操作，处理前进到步骤S108。
当在全景拍摄模式中的连续图像捕获结束时，在步骤S108中，图像合成单元220确定要被执行的处理。换句话说，图像合成单元220接收转动动量检测单元211和平移动量检测单元212的检测信息（通过传感器检测或图像分析获取的信息）作为输入，并确定处理方式。
更具体地说，图像合成单元220执行下列处理的其中之一，所述处理包括：
（a1）3D全景图像的生成；
（a2）3D全景图像的生成（伴随着LR图像的反转处理）；
（b）2D全景图像的生成；以及
（c）3D和2D全景图像都不生成。
另外，如（a1）和（a2）中所示，也是在生成3D全景图像的情况中，存在这样一种情况，其中，根据检测信息进行LR图像（左眼图像和右眼图像）的反转。
此外，在3D和2D全景图像都未生成的情况、处理前进到确定的处理等情况中，在每个场景中通知或警告被输出给用户。
将参考图12中的流程图描述在步骤S108中示出的确定要被执行的处理的处理的具体例子。
在步骤S210中，图像合成单元220接收转动动量检测单元211和平移动量检测单元212的检测信息（通过传感器检测或图像分析获取的信息）作为输入。
另外，转动动量检测单元211在作为图像合成单元220的图像合成处理对象的图像被捕获的时间点获取或计算照相机的转动动量θ，并将该值输出到图像合成单元220。这里，转动动量检测单元211的检测信息可以被设置为直接从转动动量检测单元211输出到图像合成单元220，或者其可以被配置为使得检测信息作为图像的属性信息与图像一同记录在存储器中，并且图像合成单元220获取记录在存储器中的值。
此外，平移动量检测单元212在作为图像合成单元220的图像合成处理对象的图像被捕获的时间点获取或计算照相机的平移动量t，并将该值输出到图像合成单元220。这里，平移动量检测单元212的检测信息可以被设置为直接从平移动量检测单元212输出到图像合成单元220，或者其可以被配置为使得检测信息作为图像的属性信息与图像一同记录在存储器中，并且图像合成单元220获取记录在存储器中的值。
另外，例如，转动动量检测单元211和平移动量检测单元212由传感器或图像分析单元构成。将在稍后阶段中描述具体的配置例子和处理例子。
首先，在步骤S202中，图像合成单元220确定由转动动量检测单元211获取的在捕获图像时照相机的转动动量θ是否等于零。另外，一种处理可以被配置为被执行，其中，在检测到的值并不完全等于零而且与零的差在事先设置的允许范围内的情况中，在考虑了测量误差等的情况下确定零。
当在步骤S202中在捕获图像时的照相机的转动动量被确定为零θ=0的情况中，处理前进到步骤S203，并且，在确定θ≠0的情况中，处理前进到步骤S205。
当在步骤S202中在捕获图像时的照相机的转动动量被确定为零θ=0的情况中，处理前进到步骤S203，并且，用于通知用户2D全景图像和3D全景图像都不能被生成的警告被输出。
另外，图像合成单元220的确定信息被输出到该设备的控制单元，并且，例如，在控制单元的控制下根据该确定信息的警告或通知被显示在显示单元204上。或者，可以采用输出警报的配置。
照相机的转动动量为零θ=0的情况对应于事先参考图9（b1）描述的例子。在图像捕获伴随有这样的移动的情况中，2D全景图像和3D全景图像都不能被生成，并且用于向用户通知该情形的警告被输出。
在该警告被输出后，处理前进到步骤S204，并且在不执行图像合成处理的情况下结束处理。
另一方面，当在步骤S202中在捕获图像时的照相机的转动动量被确定为不为零θ≠0的情况中，处理前进到步骤S205，并且，确定由平移动量检测单元212获取的在捕获图像时的照相机的平移动量t是否等于零。另外，一种处理可以被配置为被执行，其中，在检测到的值并不完全等于零而且与零的差在事先设置的允许范围内的情况中，在考虑了测量误差等的情况下确定零。
当在步骤S205中在捕获图像时的照相机的平移动量被确定为零t=0的情况中，处理前进到步骤S206，并且，在确定t≠0的情况中，处理前进到步骤S209。
当在步骤S205中在捕获图像时的照相机的转动动量被确定为零t=0的情况中，处理前进到步骤S206，并且，用于通知用户3D全景图像的生成不能被执行的警告被输出。
照相机的转动动量为零t=0的情况是不存在照相机的平移动量的情况。但是，在这种情况中，转动动量在步骤S202中被确定为不为零θ≠0，并且处于进行一定旋转的状态中。在这种情况中，尽管可以生成3D全景图像，但是也可以生成2D全景图像。
用于通知用户这种情形的警告被输出。
在步骤S206中输出警告后，处理前进到步骤S207，并且确定是否生成了2D全景图像。例如，通过询问用户关于生成的情况并基于用户的输入执行确认处理来执行该确定处理。或者，基于事先设置的信息来确定该处理。
在步骤S207中，在确定2D全景图像要被生成的情况中，在步骤S208中，2D全景图像被生成。
另一方面，当在步骤S207中确定2D全景图像不被生成的情况中，处理前进到步骤S204，并且在不执行图像合成处理的情况下结束本处理。
在步骤S205中，在照相机的平移动量被确定为不为零t≠0的情况中，处理前进到步骤S209，并且确定通过将在捕获图像时照相机的转动动量θ与平移动量t相乘所获取的值θ×t是否小于零。如图5所示，对于在顺时针方向上的转动，照相机的转动动量θ被设置为“+”，并且，如图5所示，对于向右侧的移动，照相机的平移动量t被设置为“+”。
通过将在捕获图像时的转动动量θ与平移动量t相乘所获取的值等于或大于零的情况，换句话说，不满足θ·t<0的公式的情况是下列情况（a1）或（a2）。
(a1)θ>0且t>0
(a2)θ<0且t<0
（a1）的情况对应于在图5中示出的例子。在（a2）的情况中，转动方向与图5中示出的例子的转动方向相反，并且平移移动的方向与上述例子的平移移动的方向相反。
在这种情况中，可以生成用于正常3D图像的左眼全景图像（L图像）和右眼全景图像（R图像）。
在这种情况中，换句话说，在步骤S209中，通过将在捕获图像时照相机的转动动量θ与平移动量t相乘所获取的值θ×t等于或大于零，换句话说，在确定θ·t<0的公式未被满足的情况中，处理前进到步骤S212，并且执行生成用于正常3D图像的左眼全景图像（L图像）和右眼全景图像（R图像）的处理。
另一方面，在步骤S209中，通过将在捕获图像时照相机的转动动量θ与平移动量t相乘所获取的值θ×t小于零的情况，换句话说，满足θ·t<0的公式的情况是下列情况（b1）或（b2）。
(b1)θ>0且t<0
(b2)θ<0且t>0
在这种情况中，执行将用于正常3D图像的左眼全景图像（L图像）与右眼全景图像（R图像）相互交换的处理。换句话说，通过相互交换LR图像，可以生成用于正常3D图像的左眼全景图像（L图像）和右眼全景图像（R图像）。
在这种情况中，处理前进到步骤S210。在步骤S210中，确定是否生成3D全景图像。例如，通过询问用户关于生成的情况并基于用户的输入执行确认处理来执行该确定处理。或者，基于事先设置的信息来确定该处理。
在步骤S210中，在确定3D全景图像要被生成的情况中，在步骤S211中，3D全景图像被生成。但是，在这种情况的处理中，不同于在步骤212中生成3D全景图像的处理，LR图像反转处理被执行，其中，通过与步骤S212中生成3D全景图像的处理相同的序列生成的左眼图像（L图像）被设置为右眼图像（R图像），并且右眼图像（R图像）被设置为左眼图像（L图像）。
当在步骤210中确定未生成3D全景图像的情况中，处理前进到步骤S207，并且，确定是否生成2D全景图像。例如，通过询问用户关于生成的情况并基于用户的输入执行确认处理来执行该确定处理。或者，基于事先设置的信息来确定该处理。
在步骤S207中，在确定2D全景图像要被生成的情况中，在步骤S208中，2D全景图像被生成。
另一方面，当在步骤S207中确定2D全景图像不被生成的情况中，处理前进到步骤S204，并且在不执行图像合成处理的情况下结束本处理。
如上所述，图像合成单元220接收由转动动量检测单元211和平移动量检测单元212检测的检测信息（通过传感器检测或图像分析获取的信息）作为输入，并确定处理方式。
该处理作为在图11中示出的步骤S108的处理被执行。
在步骤S108的处理完成后，处理前进到在图11中示出的步骤S109。步骤S109表示根据要被执行的处理的确定的分支步骤，该确定在步骤S108中进行。如参考图12的流程所示，根据转动动量检测单元211和平移动量检测单元212的检测信息（通过传感器检测或图像分析获取的信息），图像合成单元220确定下列处理中的一个处理，这些处理包括：
（a）3D全景图像的生成（图12中示出的流程的步骤S212）；
（a2）3D全景图像的生成（伴随着反转LR图像的处理）（图12中示出的流程的步骤S211）；
（b）2D全景图像的生成（图12中示出的流程的步骤S208）；
（c）3D和2D全景图像都不生成（图12中示出的流程的步骤S204）。
在步骤S108的处理中，在（a1）或（a2）的处理被确定的情况下，换句话说，在步骤S211或S212的3D图像合成处理被确定为要在图12中示出的流程中执行的处理时，处理前进到步骤S110。
在步骤S108的处理中，在（b）的处理被确定的情况中，换句话说，在步骤S208的2D图像合成处理被确定为要在图12中示出的流程中执行的处理的情况中，处理前进到步骤S121。
在步骤S108的处理中，在（c）的处理被确定的情况中，换句话说，在步骤S204的没有图像合成处理被确定为要在图12中示出的流程中执行的处理的情况中，处理前进到步骤S113。
在步骤S108的处理中，在（c）的处理被确定的情况中，换句话说，在步骤S204的没有图像合成处理被确定为要在图12中示出的流程中执行的处理的情况中，处理前进到步骤S113，在不执行图像合成的情况下将捕获图像记录在记录单元（记录介质）221中，并结束处理。另外，可以这样配置：使得在该记录处理前对图像是否被记录执行用户确认，并且只有在用户具有记录图像的意图的情况下执行记录处理。
在步骤S108的处理中，在（b）的处理的情况中，换句话说，在步骤S208的2D图像合成处理被确定为要在图12中示出的流程中执行的处理的情况中，处理前进到步骤S121，图像合成处理作为2D全景图像生成处理被执行，其中，用于生成2D全景图像的条带从每个图像裁剪出并被连接，生成的2D全景图像被记录在记录单元（记录介质）221中，并且处理结束。
在步骤S108的处理中，在（a1）或（a2）的处理，换句话说，步骤S211或S212的3D图像合成处理被确定为要在图12示出的流程中执行的处理的情况中，处理前进到步骤S110，并且图像合成处理作为3D全景图像生成处理被执行，其中，用于生成3D全景图像的条带从每个图像裁剪出并被连接。
首先，在步骤S110，图像合成单元220计算要成为3D图像的左眼图像与右眼图像的条状区域之间的偏移量，换句话说，左眼图像与右眼图像的条状区域之间的距离（条带间偏移）D。
另外，如参考图6所述，在本说明书中，用于二维合成图像的2D全景图像条115与左眼图像条111之间的距离以及2D全景图像条115与右眼图像条112之间的距离被定义为“偏移”或“条带偏移”=d1和d2，并且，左眼图像条111与右眼图像条112之间的距离被定义为“条带间偏移”=D。
另外，条带间偏移=（条带偏移）×2，并且D=d1+d2。
当在步骤S110中计算左眼图像与右眼图像的条状区域之间的距离以及条带偏移d1和d2的处理中，例如，这些偏移被设置为满足下面的条件。
（条件1）不会发生左眼图像条与右眼图像条之间的条带重叠。
（条件2）这些条带不会突出到存储在图像存储器（用于合成处理）205中的图像区域的外部。
被设置为满足条件1和2的条带偏移d1和d2被计算。
在步骤S110中，当条带间偏移D（左眼图像与右眼图像的条状区域之间的距离）的计算被完成时，处理前进到步骤S111。
在步骤S111中，使用捕获图像的第一图像合成处理被执行。另外，处理前进到步骤S112，并且使用捕获图像的第二图像合成处理被执行。
步骤S111和S112的图像合成处理是生成用于显示3D图像显示的左眼合成图像和右眼合成图像的处理。例如，合成图像作为全景图像被生成。
如上所述，通过其中仅提取并连接左眼图像条的合成处理来生成左眼合成图像。通过其中仅提取并连接右眼图像条的合成处理来生成右眼合成图像。作为这样的合成处理的结果，例如，在图7（2a）和图7（2b）中示出的两个全景图像被生成。
在步骤S102中按下快门的确定为“是”后且在步骤S107中确认到快门按下结束之前，在捕获连续图像期间，通过使用存储在图像存储器（用于合成处理）205中的多个图像（或部分图像）来执行步骤S111和S112的图像合成处理。
当该合成处理被执行时，图像合成单元220从移动量存储器208获取与多个图像相关联的移动量，并接收作为输入的在步骤S110计算的条带间偏移D=d1+d2的值。
例如，在步骤S111中，通过使用偏移d1来确定左眼图像的条带位置，并且，在步骤S112中，通过使用偏移d1来确定左眼图像的条带位置。
另外，尽管可以配置为使得d1=d2，但是不必配置d1=d2。
当满足D=d1+d2的条件时，d1和d2的值可以彼此不同。
图像合成单元220将用于构成左眼合成图像的左眼条设置到从图像中心向右侧偏移预定量的位置。
用于构成右眼合成图像的右眼条被设置到从图像中心向左侧偏移预定量的位置。
当条状区域设置处理被执行时，图像合成单元220将条状区域确定为满足偏移条件，该偏移条件满足用于生成形成为3D图像的左眼图像和右眼图像的条件。
图像合成单元220通过裁剪出和连接每个图像的左眼图像条和右眼图像条来执行图像合成，从而生成左眼合成图像和右眼合成图像。
另外，在存储在图像存储器（用于合成处理）205的图像（或部分图像）是根据JPEG等的压缩数据的情况中，为了实现高处理速度，自适应解压处理可以被配置为被执行，其中，基于在步骤S104中获取的图像间的移动量，其中诸如JPEG等的压缩被解压的图像区域仅在被用作合成图像的条状区域中被设置。
通过步骤S111和S112的处理，用于显示3D图像的左眼合成图像和右眼合成图像被生成。
另外，在（a1）3D全景图像的生成的处理（在图12中示出的流程的步骤S212）被执行的情况中，在上述处理中被生成的左眼图像（L图像）和右眼图像（R图像）被直接作为用于显示3D图像的LR图像存储在介质上。
但是，在（a2）3D全景图像的生成的处理（伴随着LR图像的反转的处理）（在图12中示出的流程的步骤S211）被执行的情况中，在上述处理中被生成的左眼图像（L图像）和右眼图像（R图像）被彼此交换，换句话说，用于显示3D图像的LR图像被设置为使得在上述处理中生成的左眼图像（L图像）被配置为右眼图像（R图像），右眼图像（R图像）被配置为左眼图像（L图像）。
最终，处理前进到步骤S113，在步骤S111和S112中合成的图像被以适当的记录格式（例如，CIPA DC-007多图片格式等）生成，并被存储在记录单元（记录介质）221中。
通过执行上述步骤，可以合成包括用于显示3D图像的左眼图像和右眼图像的两个图像。
5.转动动量检测单元和平移动量检测单元的具体配置例子
接下来，将描述转动动量检测单元211和平移动量检测单元212的具体配置例子。
转动动量检测单元211检测照相机的转动动量，平移动量检测单元212检测照相机的平移动量。
作为每个检测单元的检测配置的具体例子，将描述下面三个例子。
（例子1）使用传感器的检测处理的例子
（例子2）通过图像分析的检测处理的例子
（例子3）通过传感器和图像分析两者的检测处理的例子
在下文中，将顺序地描述这些处理例子。
（例子1）使用传感器的检测处理的例子
首先，将描述一个例子，其中，转动动量检测单元211和平移动量检测单元212由传感器构成。
例如，平移移动可以通过使用加速度传感器来检测。或者，平移移动可以使用从卫星发射的电波根据GPS（全球定位***）的纬度和经度来计算。另外，例如，用于使用加速度传感器来检测平移动量的处理在日本未审专利申请公开No.2000-78614中被公开了。
另外，关于照相机的转动移动（姿势），存在通过参考地磁的方向来测量方位（bearing）的方法、通过参考重力的方向使用加速仪检测倾斜的角度的方法、使用通过组合振动陀螺仪和加速度传感器而获取的角度传感器的方法、以及用于通过使用加速度传感器与初始状态的参照角进行比较来执行计算的计算方法。
如上所述，转动动量检测单元211可以由地磁传感器、加速仪、振动陀螺仪、加速度传感器、角度传感器、角速度传感器或这些传感器的组合构成。
另外，平移动量检测单元212可以由加速度传感器或GPS（全球定位***）构成。
这些传感器的转动动量和平移动量被直接提供给图像合成单元210或通过图像存储器（用于合成处理）205提供给图像合成单元210，并且图像合成单元210基于其检测值来确定合成处理的方式。
（例子2）通过图像分析的检测处理的例子
接下来，将描述一个例子，其中，转动动量检测单元211和平移动量检测单元212不被配置为传感器，而是被配置为接收捕获图像作为输入并执行图像分析的图像分析单元。
在本例中，在图10中示出的转动动量检测单元211和平移动量检测单元212从图像存储器（用于检测移动量）205接收作为合成处理对象的图像数据作为输入，执行输入图像的分析，并获取在捕获图像的时间点的照相机的转动分量和平移分量。
更具体地说，首先，通过使用Harris角部检测器等，从作为合成对象的已经被连续地捕获的图像提取特征量。另外，通过匹配图像的特征量或者通过以均匀的间隔分割每个图像并以分割区域的单位进行匹配（块匹配），来计算图像间的光通量（optical flow）。此外，在照相机模型是透视投影图像的前提下，可以通过使用迭代方法解非线性方程来提取转动分量和平移分量。另外，例如，本技术在下面的文献中进行了详细描述，并且本技术可以被使用。
“Multi View Geometry in Computer Vision”，Richard Hartley与Andrew Zisserman，剑桥大学出版社
或者，更简单地，通过假定被摄体是平面的，可以使用这样的方法，其中，根据光通量计算单应性（homography），并且转动分量和平移分量被计算。
在该处理的本例子被执行的情况中，在图10中示出的转动动量检测单元211和平移动量检测单元212被配置为不是传感器而是图像分析单元。转动动量检测单元211和平移动量检测单元212从图像存储器（用于检测移动量）205接收作为图像合成处理对象的图像数据作为输入，并执行输入图像的图像分析，从而获取在捕获图像时照相机的转动分量和平移分量。
（例子3）通过传感器和图像分析两者的检测处理的例子
接下来，将描述处理的一个例子，其中，转动动量检测单元211和平移动量检测单元212包括传感器和图像分析单元的两种功能，并获取传感器检测信息和图像分析信息两者。
将描述一个例子，其中，各单元被配置为接收作为输入的捕获图像并执行图像分析的图像分析单元。
通过校正处理，连续捕获的图像被形成为仅包括平移移动的连续捕获的图像，从而使得基于由角速度传感器获取的角速度数据，角速度为零，并且可以基于由加速度传感器获取的加速度数据和校正处理后的连续捕获的图像来计算平移移动。例如，该处理在日本未审专利申请公开No.2000-222580中被公开了。
在该处理的例子中，转动动量检测单元211和平移动量检测单元212中的平移动量检测单元212被配置为具有角速度传感器和图像分析单元，并且通过采用这样的配置，通过使用在日本未审专利申请公开No.2000-222580中公开的技术来计算在捕获图像时的平移动量。
转动动量检测单元211被假定为具有在使用传感器的检测处理的例子（例子1）和通过图像分析的检测处理的例子（例子2）的其中之一中描述的传感器的配置或图像分析单元的配置。
6.在基于转动动量与平移动量的处理之间切换的例子
接下来，将描述基于照相机的转动动量和平移动量的切换的例子。
如参考图12中示出的流程图在之前所描述的，基于由上述的转动动量检测单元211和平移动量检测单元212的处理获取或计算的在捕获图像时的成像设备（照相机）的转动动量和平移动量，图像合成单元220改变处理方式。
更具体地说，根据转动动量检测单元211和平移动量检测单元212的检测信息（通过传感器检测或图像分析获取的信息），图像合成单元220确定下列处理的其中之一，这些处理包括：
（a）3D全景图像的生成（图12中示出的流程的步骤S212）；
（a2）3D全景图像的生成（伴随着反转LR图像的处理）（图12中示出的流程的步骤S211）；
（b）2D全景图像的生成（图12中示出的流程的步骤S208）；
（c）3D和2D全景图像都不生成（图12中示出的流程的步骤S204）。
在图13中示出总结转动动量检测单元211和平移动量检测单元212的检测信息和根据该检测信息确定的处理的示图。
在照相机的转动动量θ为零（状态4、状态5或状态6）的情况中，由于既不能正确地执行2D图像也不能正确地执行3D图像，所以为用户执行诸如给出警告的反馈，并且在不执行图像合成处理的情况下，处理再次返回到捕获等待状态。
在照相机的转动动量θ不为零的情况中，并且在平移动量t为零（状态2或状态8）的情况中，即使在执行了3D捕获时，也不能获取差异，因此，仅执行2D合成，或者为用户执行诸如给出警告的反馈，并且该处理返回到等待状态。
在照相机的转动动量θ不为零并且平移动量t不为零的情况中（在两者都不为零的情况中），并且当转动动量θ与平移动量t的符号彼此相反，换句话说，θ·t<0（状态3或状态7）时，可以执行2D合成或3D合成。但是，由于在照相机的光轴彼此相交的方向上执行捕获，因此在合成3D图像的情况中需要记录其中左图像和右图像的极性被反转的图像。
在这种情况中，例如，通过询问用户来确认哪个图像被记录，然后，执行用户期望的处理。在用户不希望数据记录的情况中，不记录图像，并且处理返回到等待状态。
另外，在转动动量θ不为零并且平移动量t不为零的情况中（在两者都不为零的情况中），并且当转动动量θ与平移动量t的符号相同，换句话说，θ·t>0（状态1或状态9）时，可以执行2D合成或3D合成。
在这种情况中，由于假定照相机处于移动状态，因此执行3D合成，并且处理返回到等待状态。另外，也是在这种情况中，在通过询问用户来确认2D图像和3D图像当中的要被记录的图像后，用户期望的处理可以被设置为被执行。在用户不希望数据记录的情况中，不记录图像，并且处理返回到等待状态。
如上所述，根据本发明的配置，在通过合成由用户在各种条件下捕获的图像而生成作为3D图像或2D全景图像的左眼图像和右眼图像的配置中，基于照相机的转动动量θ和平移动量t来确定可以被生成的合成图像，针对可以被生成的图像执行可以被生成的图像合成处理，并且，对用户的确认处理被执行，以执行用户期望的图像合成处理。
因此，可以可靠地生成用户期望的图像并将该图像记录在介质上。
如上所述，已经通过参考具体实施例对本发明进行了详细描述。但是，显然的是，在不脱离本发明的概念的范围内，本领域技术人员可以修改或替换实施例。换句话说，由于本发明是以例子的形式公开的，所以不必以限制的方式来解释本发明。为了确定本发明的概念，必须参照权利要求。
在本说明书中描述的一系列处理可以通过硬件、软件、或硬件和软件两者的组合配置来执行。在通过软件执行这些处理的情况中，可以配置为使得其中记录有处理序列的程序被安装到置于计算机内部的存储器并被执行，该计算机被构建在专用硬件中，或者程序被安装到可以执行各种处理的通用计算机并被执行。例如，该程序可以事先被记录在记录介质中。代替从记录介质安装该程序，其可以被配置为使得该程序通过诸如LAN（局域网）或互联网的网络被接收并安装到构建中其中的诸如硬盘的记录介质。
另外，根据执行这些处理的设备的处理能力或按照需要，在本说明书中描述的各种处理可以以按照本描述的时间序列来执行，或者可以并行或相互独立地执行。在本说明书中描述的***表示多个***的逻辑上集成的配置，并且这些种配置的设备并不限制为被置于同一壳体内。
工业应用性
如上所述，根据本发明的实施例的配置，在二维全景图像或用于显示三维图像的图像是通过连接从多个图像裁剪出的条状区域生成的配置中，实现这样的配置，其中，基于照相机的移动来确定可以生成的合成图像，并且生成确定的合成图像。在通过连接从多个图像裁剪出的条状区域来生成二维全景图像或用于显示三维图像的左眼合成图像或右眼合成图像的配置中，通过分析在捕获图像时成像设备的移动的信息来确定是否可以生成二维全景图像或三维图像，并且执行生成可以被生成的合成图像的处理。根据捕获图像时照相机的转动动量（θ）和平移动量（t），从（a）用于显示三维图像的左眼合成图像和右眼合成图像的合成图像生成处理、（b）二维全景图像的合成图像生成处理、以及（c）停止合成图像生成当中确定一个处理方式，并执行确定的处理。另外，为用户执行对处理内容的通知或给出警告。
附图标记列表
10照相机
20图像
212D全景图像条
302D全景图像
51左眼图像条
52右眼图像条
70成像装置
72左眼图像
73右眼图像
100照相机
101虚拟成像表面
102光学中心
110图像
111左眼图像条
112右眼图像条
1152D全景图像条
200成像设备
201透镜***
202成像装置
203图像信号处理单元
204显示单元
205图像存储器（用于合成处理）
206图像存储器（用于检测移动量）
207移动量检测单元
208移动量存储器
211转动动量检测单元
212平移动量检测单元
220图像合成单元
221记录单元
权利要求书(按照条约第19条的修改)
1.一种图像处理设备，包括：
图像合成单元，该图像合成单元通过连接自从互不相同的位置捕获的多个图像中的每一个图像当中裁剪出的条状区域来生成合成图像，
其中，图像合成单元基于在捕获图像时成像设备的移动信息从（a）用于显示三维图像的左眼合成图像和右眼合成图像的合成图像生成处理、（b）二维全景图像的合成图像生成处理、以及（c）停止合成图像生成当中确定一个处理方式，并执行确定的处理。
2.根据权利要求1所述的图像处理设备，还包括：
转动动量检测单元，该转动动量检测单元获取或计算在捕获图像时成像设备的转动动量（θ）；以及
平移动量检测单元，该平移动量检测单元获取或计算在捕获图像时成像设备的平移动量（t）；并且，
其中，图像合成单元基于由转动动量检测单元检测的转动动量（θ）和由平移动量检测单元检测的平移动量（t）来确定处理方式。
3.根据权利要求1所述的图像处理设备，还包括输出单元，该输出单元根据图像合成单元的确定的信息向用户呈示警告或通知。
4.根据权利要求2所述的图像处理设备，其中，在由转动动量检测单元检测的转动动量（θ）为零的情况中，图像合成单元停止三维图像和二维全景图像的合成图像生成处理。
5.根据权利要求2所述的图像处理设备，其中，在由转动动量检测单元检测的转动动量（θ）不为零，并且由平移动量检测单元检测的平移动量（t）为零的情况中，图像合成单元执行二维全景图像的合成图像生成处理与停止合成图像生成的其中之一。
6.根据权利要求2所述的图像处理设备，其中，在由转动动量检测单元检测的转动动量（θ）不为零，并且由平移动量检测单元检测的平移动量（t）不为零的情况中，图像合成单元执行三维图像的合成图像生成处理和二维全景图像的合成图像生成处理的其中之一。
7.根据权利要求6所述的图像处理设备，其中，在由转动动量检测单元检测的转动动量（θ）不为零，并且由平移动量检测单元检测的平移动量（t）不为零的情况中，图像合成单元执行这样的处理，其中，要被生成的3D图像的LR图像在θ·t<0的情况和在θ·t>0的情况中被反转地设置。
8.根据权利要求2所述的图像处理设备，其中，转动动量检测单元是检测图像处理设备的转动动量的传感器。
9.根据权利要求2所述的图像处理设备，其中，平移动量检测单元是检测图像处理设备的平移动量的传感器。
10.根据权利要求2所述的图像处理设备，其中，转动动量检测单元是通过分析捕获的图像来检测在捕获图像时的转动动量的图像分析单元。
11.根据权利要求2所述的图像处理设备，其中，平移动量检测单元是通过分析捕获的图像来检测在捕获图像时的平移动量的图像分析单元。
12.一种成像设备，包括：
成像单元；和
图像处理单元，该图像处理单元执行根据权利要求1到11中的任意一个所述的图像处理。
13.一种在图像处理设备中执行的图像处理方法，该图像处理方法包括：
通过使用图像合成单元，通过连接自从互不相同的位置捕获的多个图像中的每一个图像当中裁剪出的条状区域来生成合成图像，
其中，在生成合成图像时，基于在捕获图像时成像设备的移动信息从（a）用于显示三维图像的左眼合成图像和右眼合成图像的合成图像生成处理、（b）二维全景图像的合成图像生成处理、以及（c）停止合成图像生成当中确定一个处理方式，并执行确定的处理。
14.一种使图像处理设备执行图像处理的程序，该程序使得图像合成单元执行如下：通过连接自从互不相同的位置捕获的多个图像中的每一个图像当中裁剪出的条状区域来生成合成图像，
其中，在生成合成图像时，基于在捕获图像时成像设备的移动信息从（a）用于显示三维图像的左眼合成图像和右眼合成图像的合成图像生成处理、（b）二维全景图像的合成图像生成处理、以及（c）停止合成图像生成当中确定一个处理方式，并执行确定的处理。

Claims (14)

1.一种图像处理设备，包括：
图像合成单元，该图像合成单元接收从互不相同的位置捕获的多个图像作为输入，并通过连接从这些图像中的每一个裁剪出的条状区域来生成合成图像，
其中，图像合成单元基于在捕获图像时成像设备的移动信息从（a）用于显示三维图像的左眼合成图像和右眼合成图像的合成图像生成处理、（b）二维全景图像的合成图像生成处理、以及（c）停止合成图像生成当中确定一个处理方式，并执行确定的处理。
2.根据权利要求1所述的图像处理设备，还包括：
转动动量检测单元，该转动动量检测单元获取或计算在捕获图像时成像设备的转动动量（θ）；以及
平移动量检测单元，该平移动量检测单元获取或计算在捕获图像时成像设备的平移动量（t）；并且，
其中，图像合成单元基于由转动动量检测单元检测的转动动量（θ）和由平移动量检测单元检测的平移动量（t）来确定处理方式。
3.根据权利要求1所述的图像处理设备，还包括输出单元，该输出单元根据图像合成单元的确定的信息向用户呈示警告或通知。
4.根据权利要求2所述的图像处理设备，其中，在由转动动量检测单元检测的转动动量（θ）为零的情况中，图像合成单元停止三维图像和二维全景图像的合成图像生成处理。
5.根据权利要求2所述的图像处理设备，其中，在由转动动量检测单元检测的转动动量（θ）不为零，并且由平移动量检测单元检测的平移动量（t）为零的情况中，图像合成单元执行二维全景图像的合成图像生成处理与停止合成图像生成的其中之一。
6.根据权利要求2所述的图像处理设备，其中，在由转动动量检测单元检测的转动动量（θ）不为零，并且由平移动量检测单元检测的平移动量（t）不为零的情况中，图像合成单元执行三维图像的合成图像生成处理和二维全景图像的合成图像生成处理的其中之一。
7.根据权利要求6所述的图像处理设备，其中，在由转动动量检测单元检测的转动动量（θ）不为零，并且由平移动量检测单元检测的平移动量（t）不为零的情况中，图像合成单元执行这样的处理，其中，要被生成的3D图像的LR图像在θ·t<0的情况和在θ·t>0的情况中被反转地设置。
8.根据权利要求2所述的图像处理设备，其中，转动动量检测单元是检测图像处理设备的转动动量的传感器。
9.根据权利要求2所述的图像处理设备，其中，平移动量检测单元是检测图像处理设备的平移动量的传感器。
10.根据权利要求2所述的图像处理设备，其中，转动动量检测单元是通过分析捕获的图像来检测在捕获图像时的转动动量的图像分析单元。
11.根据权利要求2所述的图像处理设备，其中，平移动量检测单元是通过分析捕获的图像来检测在捕获图像时的平移动量的图像分析单元。
12.一种成像设备，包括：
成像单元；和
图像处理单元，该图像处理单元执行根据权利要求1到11中的任意一个所述的图像处理。
13.一种在图像处理设备中执行的图像处理方法，该图像处理方法包括：
通过使用图像合成单元，接收从互不相同的位置捕获的多个图像作为输入，并通过连接从这些图像中的每一个裁剪出的条状区域来生成合成图像，
其中，在接收多个图像并生成合成图像时，基于在捕获图像时成像设备的移动信息从（a）用于显示三维图像的左眼合成图像和右眼合成图像的合成图像生成处理、（b）二维全景图像的合成图像生成处理、以及（c）停止合成图像生成当中确定一个处理方式，并执行确定的处理。
14.一种使图像处理设备执行图像处理的程序，该程序使得图像合成单元执行如下：接收从互不相同的位置捕获的多个图像作为输入，并通过连接从这些图像中的每一个裁剪出的条状区域来生成合成图像，
其中，在接收多个图像并生成合成图像时，基于在捕获图像时成像设备的移动信息从（a）用于显示三维图像的左眼合成图像和右眼合成图像的合成图像生成处理、（b）二维全景图像的合成图像生成处理、以及（c）停止合成图像生成当中确定一个处理方式，并执行确定的处理。
CN2011800443856A 2010-09-22 2011-09-12 图像处理设备、成像设备、图像处理方法和程序 Pending CN103109537A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010212193A JP2012068380A (ja) 2010-09-22 2010-09-22 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2010-212193 2010-09-22
PCT/JP2011/070706 WO2012039307A1 (ja) 2010-09-22 2011-09-12 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN103109537A true CN103109537A (zh) 2013-05-15

Family

ID=45873796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800443856A Pending CN103109537A (zh) 2010-09-22 2011-09-12 图像处理设备、成像设备、图像处理方法和程序

Country Status (6)

Country Link
US (1) US20130155205A1 (zh)
JP (1) JP2012068380A (zh)
KR (1) KR20140000205A (zh)
CN (1) CN103109537A (zh)
TW (1) TW201223271A (zh)
WO (1) WO2012039307A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915994A (zh) * 2015-07-06 2015-09-16 上海玮舟微电子科技有限公司 一种三维数据的3d视图绘制方法及***
CN105025287A (zh) * 2015-06-30 2015-11-04 南京师范大学 利用旋转拍摄的视频序列影像构建场景立体全景图的方法
CN106254751A (zh) * 2015-09-08 2016-12-21 深圳市易知见科技有限公司 一种音视频处理装置及音视频处理方法
CN106797460A (zh) * 2014-09-22 2017-05-31 三星电子株式会社 三维视频的重建
CN111886853A (zh) * 2018-03-21 2020-11-03 三星电子株式会社 图像数据处理方法及其设备
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2548368B1 (en) 2010-11-29 2013-09-18 DigitalOptics Corporation Europe Limited Portrait image synthesis from multiple images captured on a handheld device
US9516223B2 (en) 2012-06-06 2016-12-06 Apple Inc. Motion-based image stitching
JP5943740B2 (ja) * 2012-07-03 2016-07-05 キヤノン株式会社 撮像装置ならびに撮像方法およびそのプログラム
US20140152765A1 (en) * 2012-12-05 2014-06-05 Samsung Electronics Co., Ltd. Imaging device and method
KR102068048B1 (ko) * 2013-05-13 2020-01-20 삼성전자주식회사 3차원 영상 제공 시스템 및 방법
US9542585B2 (en) 2013-06-06 2017-01-10 Apple Inc. Efficient machine-readable object detection and tracking
WO2015142936A1 (en) * 2014-03-17 2015-09-24 Meggitt Training Systems Inc. Method and apparatus for rendering a 3-dimensional scene
US9813621B2 (en) * 2015-05-26 2017-11-07 Google Llc Omnistereo capture for mobile devices
CN106303495B (zh) * 2015-06-30 2018-01-16 深圳创锐思科技有限公司 全景立体图像的合成方法、装置及其移动终端
US10250803B2 (en) 2015-08-23 2019-04-02 Htc Corporation Video generating system and method thereof
WO2017090986A1 (en) 2015-11-23 2017-06-01 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling electronic apparatus thereof
KR101715563B1 (ko) * 2016-05-27 2017-03-10 주식회사 에스,엠,엔터테인먼트 다면 영상용 카메라 연동 시스템
KR20180001243U (ko) 2016-10-24 2018-05-03 대우조선해양 주식회사 선박의 충돌 완화 장치 및 이를 포함하는 선박
CN117278733B (zh) * 2023-11-22 2024-03-19 潍坊威龙电子商务科技有限公司 全景摄像在vr头显中的显示方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004004363A1 (ja) * 2002-06-28 2004-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像送信装置および画像撮影装置
CN101312501A (zh) * 2007-05-21 2008-11-26 奥林巴斯映像株式会社 摄像装置和显示方法
JP2010166596A (ja) * 1998-09-17 2010-07-29 Yissum Research Development Co Of The Hebrew Univ Of Jerusalem Ltd パノラマ画像および動画を生成し表示するためのシステムおよび方法
JP2010193458A (ja) * 2009-02-19 2010-09-02 Sony Europe Ltd 画像処理装置、画像処理システム及び画像処理方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195122B1 (en) * 1995-01-31 2001-02-27 Robert Vincent Spatial referenced photography
JPH09322055A (ja) * 1996-05-28 1997-12-12 Canon Inc 電子カメラシステム
JPH11164326A (ja) * 1997-11-26 1999-06-18 Oki Electric Ind Co Ltd パノラマステレオ画像生成表示方法及びそのプログラムを記録した記録媒体
US6795109B2 (en) * 1999-09-16 2004-09-21 Yissum Research Development Company Of The Hebrew University Of Jerusalem Stereo panoramic camera arrangements for recording panoramic images useful in a stereo panoramic image pair
US7221395B2 (en) * 2000-03-14 2007-05-22 Fuji Photo Film Co., Ltd. Digital camera and method for compositing images
US7092014B1 (en) * 2000-06-28 2006-08-15 Microsoft Corporation Scene capturing and view rendering based on a longitudinally aligned camera array
JP2004248225A (ja) * 2003-02-17 2004-09-02 Nec Corp 携帯端末装置及び移動通信システム
EP1613060A1 (en) * 2004-07-02 2006-01-04 Sony Ericsson Mobile Communications AB Capturing a sequence of images
JP4654015B2 (ja) * 2004-12-08 2011-03-16 京セラ株式会社 カメラ装置
US20070116457A1 (en) * 2005-11-22 2007-05-24 Peter Ljung Method for obtaining enhanced photography and device therefor
JP2007257287A (ja) * 2006-03-23 2007-10-04 Tokyo Institute Of Technology 画像レジストレーション方法
US7809212B2 (en) * 2006-12-20 2010-10-05 Hantro Products Oy Digital mosaic image construction
US8593506B2 (en) * 2007-03-15 2013-11-26 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for forming a panoramic image of a scene having minimal aspect distortion
US8717412B2 (en) * 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
JP5088077B2 (ja) * 2007-10-03 2012-12-05 日本電気株式会社 カメラ付携帯通信端末
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
WO2010025309A1 (en) * 2008-08-28 2010-03-04 Zoran Corporation Robust fast panorama stitching in mobile phones or cameras
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
JP2011135246A (ja) * 2009-12-24 2011-07-07 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US20110234750A1 (en) * 2010-03-24 2011-09-29 Jimmy Kwok Lap Lai Capturing Two or More Images to Form a Panoramic Image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010166596A (ja) * 1998-09-17 2010-07-29 Yissum Research Development Co Of The Hebrew Univ Of Jerusalem Ltd パノラマ画像および動画を生成し表示するためのシステムおよび方法
WO2004004363A1 (ja) * 2002-06-28 2004-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像送信装置および画像撮影装置
CN101312501A (zh) * 2007-05-21 2008-11-26 奥林巴斯映像株式会社 摄像装置和显示方法
JP2010193458A (ja) * 2009-02-19 2010-09-02 Sony Europe Ltd 画像処理装置、画像処理システム及び画像処理方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10313656B2 (en) 2014-09-22 2019-06-04 Samsung Electronics Company Ltd. Image stitching for three-dimensional video
CN106797460A (zh) * 2014-09-22 2017-05-31 三星电子株式会社 三维视频的重建
CN106797460B (zh) * 2014-09-22 2018-12-21 三星电子株式会社 三维视频的重建
US10257494B2 (en) 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
CN105025287A (zh) * 2015-06-30 2015-11-04 南京师范大学 利用旋转拍摄的视频序列影像构建场景立体全景图的方法
CN104915994A (zh) * 2015-07-06 2015-09-16 上海玮舟微电子科技有限公司 一种三维数据的3d视图绘制方法及***
CN106254751A (zh) * 2015-09-08 2016-12-21 深圳市易知见科技有限公司 一种音视频处理装置及音视频处理方法
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
CN111886853A (zh) * 2018-03-21 2020-11-03 三星电子株式会社 图像数据处理方法及其设备
US11431900B2 (en) 2018-03-21 2022-08-30 Samsung Electronics Co., Ltd. Image data processing method and device therefor

Also Published As

Publication number Publication date
US20130155205A1 (en) 2013-06-20
KR20140000205A (ko) 2014-01-02
WO2012039307A1 (ja) 2012-03-29
TW201223271A (en) 2012-06-01
JP2012068380A (ja) 2012-04-05

Similar Documents

Publication Publication Date Title
CN103109537A (zh) 图像处理设备、成像设备、图像处理方法和程序
CN103109538A (zh) 图像处理设备、成像设备、图像处理方法和程序
US10116867B2 (en) Method and apparatus for displaying a light field based image on a user&#39;s device, and corresponding computer program product
CN102111629A (zh) 图像处理装置、图像捕获装置、图像处理方法和程序
US20170278263A1 (en) Image processing device, image processing method, and computer-readable recording medium
KR101804199B1 (ko) 입체 파노라마 영상을 생성하는 장치 및 방법
JP2007192832A (ja) 魚眼カメラの校正方法。
US9596455B2 (en) Image processing device and method, and imaging device
WO2021200432A1 (ja) 撮影指示方法、撮影方法、撮影指示装置及び撮影装置
US11694349B2 (en) Apparatus and a method for obtaining a registration error map representing a level of sharpness of an image
KR20150003576A (ko) 삼차원 영상 생성 또는 재생을 위한 장치 및 방법
US11636708B2 (en) Face detection in spherical images
EP3391330B1 (en) Method and device for refocusing at least one plenoptic video
EP2731336B1 (en) Method and apparatus for generating 3D images using plurality of mobile devices
JP2013070153A (ja) 撮像装置
US20230334694A1 (en) Generating sensor spatial displacements between images using detected objects
WO2024055925A1 (zh) 图像传输方法、图像显示方法、装置和计算机设备
JP2013088664A (ja) 携帯端末装置及び３ｄ画像表示方法
KR102084632B1 (ko) 복수의 모바일 장치를 이용하여 3ｄ 이미지를 생성하는 방법 및 장치
JP2007194694A (ja) 立体映像撮影装置並びにそのプログラム
JP2013247377A (ja) 端末装置、制御方法、プログラム及び記憶媒体
KR20130070034A (ko) 스마트폰을 이용한 입체이미지 촬영 장치 및 그 방법
Christodoulou Overview: 3D stereo vision camera-sensors-systems, advancements, and technologies

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C05 Deemed withdrawal (patent law before 1993)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130515