CN1922544A - 用于提供组合图像的方法和装置 - Google Patents

用于提供组合图像的方法和装置 Download PDF

Info

Publication number
CN1922544A
CN1922544A CNA2005800053169A CN200580005316A CN1922544A CN 1922544 A CN1922544 A CN 1922544A CN A2005800053169 A CNA2005800053169 A CN A2005800053169A CN 200580005316 A CN200580005316 A CN 200580005316A CN 1922544 A CN1922544 A CN 1922544A
Authority
CN
China
Prior art keywords
images
image
cameras
combination image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005800053169A
Other languages
English (en)
Inventor
道恩·德斯蒙德·许
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Creative Technology Ltd
Original Assignee
Creative Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Creative Technology Ltd filed Critical Creative Technology Ltd
Publication of CN1922544A publication Critical patent/CN1922544A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明公开了一种用于从多个图像提供组合图像的方法，所述多个图像中的每一个由多个摄像头之一产生。每个摄像头具有用于拍摄所述多个图像中的一个图像的图像***。该方法包括在多个摄像头的每一个中生成多个图像，以及利用伪装成虚拟摄像头的拼接器拼接所述多个图像，以形成组合图像。

Description

用于提供组合图像的方法和装置
技术领域
本发明涉及用于提供组合图像的方法和装置，尤其(但非排他性地)涉及用于从多个图像提供组合图像的方法和装置。
背景技术
贯穿本说明书，术语“组合”的使用被看作包括涉及全景图像以及立体图像、双凸立体图像/视频的创建和视频后期制作，以将两个或更多个视频图像流合并成单个视频流。
全景图像是广角图像。在常规摄影中，全景图像一般是这样拍摄的，即使一系列连续图像顺序连接或拼接在一起来形成组合图像。当使用多个摄像头同时拍摄多个图像时，图像通常被分离显示。对于视频摄像头安全性、视频会议和其它类似应用，这意味着多个摄像头和多个显示器必须被用于连续的全景成像。
替换地或附加地，摄像头中的一个或多个可以是pan/tilt(上下左右可转向)摄像头。这要求pan/tilt摄像头具有用于移动摄像头视野的操作器或用于移动摄像头的伺服马达。伺服马达可以远程和/或自动操作。但是，当使用这样的***时，摄像头在任意时刻只覆盖其最大视野的一部分。结果是在任意时刻其最大视野的另一部分不被覆盖。这是令人不满意的。
虽然广角镜头可被用来减小覆盖损失的影响，但是所引入的失真(尤其是在较高离轴角度下)也是令人不满意的。广角镜头还需要更高分辨率的图像传感器以维持相同的分辨率。
发明内容
根据本发明的一个方面，提供了一种用于从多个图像提供组合图像的方法，所述多个图像中的每一个由多个摄像头之一产生，所述多个摄像头中的每一个具有用于拍摄所述多个图像中的一个图像的图像***，该方法包括：
(a)在所述多个摄像头的每个摄像头中生成所述多个图像；
(b)利用伪装成虚拟摄像头的拼接器拼接所述多个图像，以形成所述组合图像。
根据本发明的另一方面，提供了一种用于从多个图像提供组合图像的方法，所述多个图像中的每一个由多个摄像头之一产生，所述多个摄像头中的每一个具有用于拍摄所述多个图像中的一个图像的图像***，该方法包括：
(a)在所述多个摄像头的每个摄像头中生成所述多个图像；
(b)使用虚拟摄像头对所述多个图像执行拼接操作以形成所述组合图像。
根据本发明的另一方面，提供了一种用于从多个图像提供组合图像的方法，所述多个图像中的每一个由多个摄像头之一产生，所述多个摄像头中的每一个具有用于拍摄所述多个图像中的一个图像的图像***，该方法包括：
(a)在所述多个摄像头的每个摄像头中生成所述多个图像；
(b)将所述多个图像中的每一个弯曲成中间坐标；以及
(c)利用二维搜索将所述多个图像拼接成所述组合图像，拼接是由伪装成虚拟摄像头的拼接器执行的。
根据本发明的另一方面，提供了一种用于从多个图像提供组合图像的方法，所述多个图像中的每一个由多个摄像头之一产生，所述多个摄像头中的每一个具有用于拍摄所述多个图像中的一个图像的图像***，该方法包括：
(a)在所述多个摄像头的每个摄像头中生成所述多个图像；
(b)执行重叠计算以确定所述多个图像的重叠区域；
(c)拼接所述多个图像以形成所述组合图像，拼接是由伪装成虚拟摄像头的拼接器执行的；以及
(d)将步骤(b)的结果用于来自所述多个摄像头的所有后续的多个图像。
根据本发明的另一方面，提供了一种用于从多个图像提供组合图像的方法，所述多个图像中的每一个由多个摄像头之一产生，所述多个摄像头中的每一个具有用于拍摄所述多个图像中的一个图像的图像***，该方法包括：
(a)在所述多个摄像头的每个摄像头中生成所述多个图像；
(b)选择所述组合图像的呈现方式；以及
(c)以所述呈现方式拼接所述多个图像以形成所述组合图像，拼接是由伪装成虚拟摄像头的拼接器执行的。
根据本发明的另一方面，提供了一种用于从多个图像产生组合图像的方法，所述多个图像中的每一个由多个摄像头之一产生，所述多个摄像头中的每一个具有用于拍摄所述多个图像中的一个图像的图像***，该方法包括：
(a)将所述多个视频图像中的每一个弯曲成中间坐标；
(b)确定所述被弯曲的多个视频图像的重叠区域；
(c)拼接所述被弯曲的多个视频图像以形成所述组合视频图像，拼接是由伪装成虚拟摄像头的拼接器执行的，以及
(d)处理所述组合视频图像，以用于显示和存储中的一种或多种应用。
本发明的倒数第二方面提供了一种用于从多个图像提供组合图像的方法，所述多个图像中的每一个由多个摄像头之一产生，所述多个摄像头中的每一个具有用于拍摄所述多个图像中的一个图像的图像***，该方法包括：
(a)在所述多个摄像头的每个摄像头中生成所述多个图像；
(b)执行重叠计算以确定所述多个图像的重叠区域；
(c)使用所述重叠计算来在所述多个图像中执行颜色校正；以及
(d)对来自所述多个摄像头的所有后续的多个图像执行基本相同的颜色校正。
本发明的最后一个方面提供了一种用于产生组合图像的装置，该装置包括：
(a)多个摄像头，其中每个摄像头具有一个图像***；
(b)用于对多个图像执行拼接操作以产生所述组合图像的拼接器，所述多个图像中的每一个是由所述多个摄像头之一产生的；
(c)伪装成虚拟摄像头的所述拼接器。
每个摄像头可以具有缓冲器，并且它们可以在公共主体内，也可以是分离的。
附图说明
为了全面理解并容易实施本发明，现在将利用非限制性示例描述本发明的优选实施例，其描述参考附图，在附图中：
图1是组合摄像头优选形式的视图；
图2是组合摄像头第二形式的视图；
图3是图1和图2的装置的框图；
图4是图2的虚拟摄像头的流程图；以及
图5是各种呈现方式的代表。
具体实施方式
如图1和2所示，一种创建实时组合视频流的方法是使用多个摄像头10。虽然示出了三个，但是这只是为了方便。所使用的数目可以是大于2的任意数目。如果使用了足够多的摄像头，则视野可以是一个平面内的360°。它可以是球形的。
多摄像头中的图像传感器12可以是单独的实体(如图1所示)，也可以被组合成单个摄像头主体14(如图2所示)。在任一方式中，多个摄像头的每个图像传感器12提供目标场景的部分视图。优选地，每个摄像头10的视野与相邻摄像头10的视野重叠，并且来自每个摄像头的视频流利用拼接器被拼接在一起，从而形成单个组合视频。如果摄像头10是单独的实体(如图1所示)，则它们可以分开但相互靠近，就好像在一个集群中一样，或者可以被分开并彼此远离。如果远离，仍然最好使它们的视野重叠。
与具有机械pan/tilt马达的单摄像头相比，多摄像头配置具有不带移动部件的优点，这使其不易发生机械故障。另外，它还具有在所有时间都能捕获整个场景(即表现为广角镜头摄像头)而不会出现相关失真和图像数据损失的益处，尤其是在很大离轴角度的情况下。与具有单个图像传感器的单广角镜头的摄像头不同，多摄像头配置是可缩放的，从而能产生更宽视野，并且其由于使用多个图像传感器而提供了更高分辨率。
多摄像头***可利用现有摄像头和视频应用(例如视频会议和web传播应用)在标准计算机上使用。一种使其与现有视频应用一起工作的方法是将拼接器伪装成虚拟摄像头(图3)，该虚拟摄像头可以处理来自摄像头10的个体图像以形成组合图像并将组合图像呈现给一般视频应用。以这种方式，可以避免使用特殊的硬件和/或软件。
大多数计算机操作***(OS)都提供有使其应用访问附接摄像头的标准方法。通常，每个摄像头具有定制的“设备驱动器”，用于提供OS可通信的公共接口。进而，OS向其应用提供公共接口，以用于向摄像头发送查询和命令。这样的分层体系结构提供了一种使应用访问摄像头的标准方法。使用公共驱动器接口对于使这些应用独立于摄像头供应商工作是很重要的。它还使这些应用能够继续操作未来的摄像头，只要这些摄像头遵循该公共驱动器接口即可。
虚拟摄像头32在物理意义上并不存在。该虚拟摄像头32没有从图像传感器提供视频流(它不带有图像传感器)，而是直接从其它实际摄像头30、31的设备驱动器33或通过使用公共驱动器接口获得摄像头30、31的视频流34。然后，它将这些视频流组合并重包装成单个视频流，并通过其自己的公共驱动器接口33提供该单个视频流。组合摄像头32是虚拟摄像头，其将输入的视频流34拼接成组合视频流。因此，虚拟摄像头32是能够处理一个或多个输入的视频流的视频处理器，并且输出单个视频流。
从视频应用35的角度来看，虚拟摄像头32表现为常规摄像头，其具有一个宽广视角。以这种方式，来自多于一个摄像头30、31的图像数据可以被虚拟摄像头32处理，从而使计算机的视频应用35将其视为单个摄像头。所包含的摄像头的数目并不局限于此，可以是两个、三个、四个、五个、六个等等。由摄像头的组合视野捕获的全景并不局限于此，并且可扩展到360°，甚至扩展到一个球形范围。
如图4所示，组合的虚拟摄像头32本质上是一个拼接器。它实时地拍摄重叠图像(每个重叠图像来自一个摄像头)，并将它们组合成一个组合图像。这些图像来自每个摄像头30、31...的缓冲器41、42、43...。每个图像被弯曲(44)成中间坐标(例如圆柱或球形坐标)，从而使拼接可被简化为简单的二维搜索。然后确定这些图像的重叠区域(45)。利用重叠区域，可以执行颜色校正(46)来确保图像间的颜色一致性。相同的颜色校正或基本上相同的颜色校正被用于所有后续图像。最终的图像被混合(47)在一起以构成最终全景。
为了实现实时性能，组合的虚拟摄像头只执行一次重叠计算(45)，并且假设摄像头的位置在整个会话期间保持不变。
某些视频应用具有格式限制。例如，基于H.261的视频会议应用只接受CIF和QCIF分辨率。所产生的图像的大小和纵横比可能不同于标准的视频格式。也可以执行用于将图像变换为所需格式的附加阶段，这通常包括比例缩放和全景拍摄。
图5示出多种不同的呈现方式。图5的(a)是原始组合图像。图5的(b)的letterbox(邮箱)方式和图5的(c)的pan&scan(全景与扫描)方式分别类似于数字多功能盘(DVD)格式采用的方法，以在标准的4∶3显示屏上显示16∶9的图像。图5的(d)的水平压缩方式可被用于在捕获整个场景时记录组合视频，其在图像细节方面会有某些损失。
可以向用户提供分离的用户界面，以使能不同呈现方式的选择。对于pan&scan(48)，用户可以交互式地拍摄全景以选择感兴趣的区域。可替换地，可以以预先设置的时间间隔采用自动全景拍摄和方式之间的切换。也可同时创建多种方式。例如，水平压缩方式可被用于记录视频，而pan&scan可被用于显示。
通过设置多个视点，可以获得最佳拼接。但是，在重叠区域，可能导致图像重复或丢失。这个问题对于近景目标比远景目标更严重。对于大部分都是远景目标的监视应用，这个问题可能有所减轻。对于特写应用(例如视频会议)，可以使用三个摄像头，从而使中央摄像头具有人头部和肩部的完整照片。每个摄像头应该优选地每秒发送30帧。
对于实时立体视觉，虚拟摄像头可以例如通过隔行扫描奇数和偶数行以及堆叠用于从上到下立体视觉的图像来执行立体图像形成过程。对于视频的后处理，虚拟摄像头可被用来组合或合并来自不同摄像头的视频，并且它可被用于生成双凸立体图像/视频。
虚拟摄像头32能够通过执行隔行扫描、调整大小和转换来将多个视频流转换成单个立体格式的流。调整大小优选地是通过正确的滤波来执行的，例如用于增大尺寸的“Cubic”和“Lanczos”内插和用于缩小尺寸的“Box”或“Area Filter”。
隔行扫描立体视觉格式对立体对(stereo pair)进行隔行扫描，其中奇数行代表左眼，偶数行代表右眼。这可以使用解复用设备(例如“Stereographic’s SimulEyes”)来查看并且与标准视频信号兼容。虚拟摄像头32执行隔行扫描，隔行扫描涉及拷贝像素，还可能涉及调整每行的大小：
Linel[--------Left eye Line 1-----------]
Line2[--------Right eye Line 2-----------]
Line3[--------Left eye Line 3-----------]
Line4[--------Right eye Line 4-----------]
上下立体视觉格式需要垂直调整源图像的大小并转换源图像，其中上部针对左眼，下部针对右眼。以同样方式，也可使用并行格式。在这些情况下，虚拟摄像头32执行比例缩放和转换，以将两个视频流组合成单个立体视频流。在接收端，能够解码所选格式的设备可被用于利用立体眼镜查看立体对。
摄像头10可以是数字静态摄像头，或数字运动图像摄像头。
虽然已经在之前的描述中描述了本发明的优选实施例，但是本领域技术人员将理解，在不脱离本发明的情况下可以对设计、结构和操作中的一个或多个进行改变或修改。

Claims (38)

1.一种用于从多个图像提供组合图像的方法，所述多个图像中的每一个由多个摄像头之一产生，所述多个摄像头中的每一个具有用于拍摄所述多个图像中的一个图像的图像***，该方法包括：
(a)在所述多个摄像头的每个摄像头中生成所述多个图像；
(b)利用伪装成虚拟摄像头的拼接器拼接所述多个图像，以形成所述组合图像。
2.如权利要求1所述的方法，其中拼接是将所述多个图像中的每一个弯曲成中间坐标，并利用二维搜索将所述多个图像拼接成所述组合图像。
3.如权利要求1所述的方法，还包括执行重叠计算以确定所述多个图像的重叠区域，所述重叠计算被用于来自所述多个摄像头的所有后续的多个图像。
4.如权利要求1所述的方法，还包括选择所述组合图像的呈现方式。
5.如权利要求3所述的方法，还包括选择所述组合图像的呈现方式。
6.如权利要求3所述的方法，其中拼接是将所述多个图像中的每一个弯曲成中间坐标，并利用二维搜索将所述多个图像拼接成所述组合图像。
7.如权利要求4所述的方法，其中拼接是将所述多个图像中的每一个弯曲成中间坐标，并利用二维搜索将所述多个图像拼接成所述组合图像。
8.一种用于从多个图像提供组合图像的方法，所述多个图像中的每一个由多个摄像头之一产生，所述多个摄像头中的每一个具有用于拍摄所述多个图像中的一个图像的图像***，该方法包括：
(a)在所述多个摄像头的每个摄像头中生成所述多个图像；
(b)使用虚拟摄像头对所述多个图像执行拼接操作以形成所述组合图像。
9.如权利要求8所述的方法，其中拼接是将所述多个图像中的每一个弯曲成中间坐标，并利用二维搜索将所述多个图像拼接成所述组合图像。
10.如权利要求8所述的方法，还包括执行重叠计算以确定所述多个图像的重叠区域，所述重叠计算被用于来自所述多个摄像头的所有后续的多个图像。
11.如权利要求10所述的方法，还包括：
(a)使用所述重叠计算在所述多个图像中执行颜色校正；以及
(b)维持来自所述多个摄像头的所有后续的多个图像的颜色校正。
12.如权利要求10所述的方法，还包括选择所述组合图像的呈现方式。
13.如权利要求11所述的方法，还包括选择所述组合图像的呈现方式。
14.如权利要求11所述的方法，其中拼接是将所述多个图像中的每一个弯曲成中间坐标，并利用二维搜索将所述多个图像拼接成所述组合图像。
15.如权利要求12所述的方法，其中拼接是所述多个图像中的每一个弯曲成中间坐标，并利用二维搜索将所述多个图像拼接成所述组合图像。
16.一种用于从多个图像提供组合图像的方法，所述多个图像中的每一个由多个摄像头之一产生，所述多个摄像头中的每一个具有用于拍摄所述多个图像中的一个图像的图像***，该方法包括：
(a)在所述多个摄像头的每个摄像头中生成所述多个图像；
(b)将所述多个图像中的每一个弯曲成中间坐标；以及
(c)利用二维搜索将所述多个图像拼接成所述组合图像，拼接是由伪装成虚拟摄像头的拼接器执行的。
17.如权利要求16所述的方法，还包括执行重叠计算以确定所述多个图像的重叠区域，所述重叠计算被用于来自所述多个摄像头的所有后续的多个图像。
18.如权利要求16所述的方法，还包括选择所述组合图像的呈现方式。
19.一种用于从多个图像提供组合图像的方法，所述多个图像中的每一个由多个摄像头之一产生，所述多个摄像头中的每一个具有用于拍摄所述多个图像中的一个图像的图像***，该方法包括：
(a)在所述多个摄像头的每个摄像头中生成所述多个图像；
(b)执行重叠计算以确定所述多个图像的重叠区域；
(c)拼接所述多个图像以形成所述组合图像，拼接是由伪装成虚拟摄像头的拼接器执行的；以及
(d)将步骤(b)的结果用于来自所述多个摄像头的所有后续的多个图像。
20.如权利要求19所述的方法，其中拼接是将所述多个图像中的每一个弯曲成中间坐标，并利用二维搜索将所述多个图像拼接成所述组合图像。
21.如权利要求19所述的方法，还包括选择所述组合图像的呈现方式。
22.一种用于从多个图像提供组合图像的方法，所述多个图像中的每一个由多个摄像头之一产生，所述多个摄像头中的每一个具有用于拍摄所述多个图像中的一个图像的图像***，该方法包括：
(a)在所述多个摄像头的每个摄像头中生成所述多个图像；
(b)选择所述组合图像的呈现方式；以及
(c)以所述呈现方式拼接所述多个图像以形成所述组合图像，拼接是由伪装成虚拟摄像头的拼接器执行的。
23.如权利要求22所述的方法，其中拼接是通过将所述多个图像中的每一个弯曲成中间坐标，并利用二维搜索将所述多个图像拼接成所述组合图像。
24.如权利要求22所述的方法，还包括执行重叠计算以确定所述多个图像的重叠区域，所述重叠计算被用于来自所述多个摄像头的所有后续的多个图像。
25.一种用于从多个图像产生组合图像的方法，所述多个图像中的每一个由多个摄像头之一产生，所述多个摄像头中的每一个具有用于拍摄所述多个图像中的一个图像的图像***，该方法包括：
(a)将所述多个视频图像中的每一个弯曲成中间坐标；
(b)确定所述被弯曲的多个视频图像的重叠区域；
(c)拼接所述被弯曲的多个视频图像以形成所述组合视频图像，拼接是由伪装成虚拟摄像头的拼接器执行的；以及
(d)处理所述组合视频图像，以用于显示和存储中的一种或多种应用。
26.如权利要求25所述的方法，还包括执行重叠计算以确定所述多个图像的重叠区域，所述重叠计算被用于来自所述多个摄像头的所有后续的多个图像。
27.如权利要求25所述的方法，还包括选择所述组合图像的呈现方式。
28.一种用于从多个图像提供组合图像的方法，所述多个图像中的每一个由多个摄像头之一产生，所述多个摄像头中的每一个具有用于拍摄所述多个图像中的一个图像的图像***，该方法包括：
(a)在所述多个摄像头的每个摄像头中生成所述多个图像；
(b)执行重叠计算以确定所述多个图像的重叠区域；
(c)使用所述重叠计算来在所述多个图像中执行颜色校正；以及
(d)对来自所述多个摄像头的所有后续的多个图像执行基本相同的颜色校正。
29.如权利要求28所述的方法，其中拼接是将所述多个图像中的每一个弯曲成中间坐标，并利用二维搜索将所述多个图像拼接成所述组合图像。
30.如权利要求28所述的方法，还包括选择所述组合图像的呈现方式。
31.如权利要求28所述的方法，其中拼接是由伪装成虚拟摄像头的拼接器执行的。
32.如权利要求29所述的方法，还包括选择所述组合图像的呈现方式。
33.如权利要求30所述的方法，还包括选择所述组合图像的呈现方式。
34.如权利要求29所述的方法，其中拼接是由伪装成虚拟摄像头的拼接器执行的。
35.一种用于产生组合图像的装置，该装置包括：
(a)多个摄像头，其中每个摄像头具有一个图像***；
(b)用于对多个图像执行拼接操作以产生所述组合图像的拼接器，所述多个图像中的每一个是由所述多个摄像头之一产生的；
(c)伪装成虚拟摄像头的所述拼接器。
36.如权利要求36所述的装置，其中每个摄像头包括一个缓冲器。
37.如权利要求36所述的装置，其中所述多个摄像头在公共主体中。
38.如权利要求36所述的装置，其中所述多个摄像头中的每一个处于单独的主体中。
CNA2005800053169A 2004-02-19 2005-02-17 用于提供组合图像的方法和装置 Pending CN1922544A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/783,279 2004-02-19
US10/783,279 US20050185047A1 (en) 2004-02-19 2004-02-19 Method and apparatus for providing a combined image

Publications (1)

Publication Number Publication Date
CN1922544A true CN1922544A (zh) 2007-02-28

Family

ID=34861191

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005800053169A Pending CN1922544A (zh) 2004-02-19 2005-02-17 用于提供组合图像的方法和装置

Country Status (6)

Country Link
US (1) US20050185047A1 (zh)
CN (1) CN1922544A (zh)
AU (1) AU2005215585A1 (zh)
GB (1) GB2430104A (zh)
TW (1) TW200529098A (zh)
WO (1) WO2005081057A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527828A (zh) * 2009-04-14 2009-09-09 深圳华为通信技术有限公司 图像采集设备
CN101556758B (zh) * 2009-04-23 2010-12-01 杭州镭星科技有限公司 一种实现用多台投影机来显示高动态亮度范围图像的方法
CN101930162A (zh) * 2009-06-22 2010-12-29 富士胶片株式会社 成像设备及其控制方法
CN101796815B (zh) * 2007-09-05 2012-08-29 创新科技有限公司 用于处理具有特征指示的合成视频图像的方法
CN101771830B (zh) * 2008-12-30 2012-09-19 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
US8717405B2 (en) 2008-12-30 2014-05-06 Huawei Device Co., Ltd. Method and device for generating 3D panoramic video streams, and videoconference method and device
US8773495B2 (en) 2007-10-12 2014-07-08 Polycom, Inc. Integrated system for telepresence videoconferencing
CN103916699A (zh) * 2012-12-31 2014-07-09 德州仪器公司 用于使用mvc产生360度视频记录的***及方法
CN104360488A (zh) * 2014-11-14 2015-02-18 山东理工大学 紧凑型立体显示***及其显示方法
CN104516482A (zh) * 2013-09-26 2015-04-15 北京天盛世纪科技发展有限公司 一种无影投影***及方法
CN104615917A (zh) * 2015-01-20 2015-05-13 中兴通讯股份有限公司 一种伪装图片的方法、查看图片的方法、***和终端
CN104680078A (zh) * 2015-01-20 2015-06-03 中兴通讯股份有限公司 一种拍摄照片的方法、查看图片的方法、***和终端
CN104680077A (zh) * 2015-01-20 2015-06-03 中兴通讯股份有限公司 一种加密图片的方法、查看图片的方法、***和终端
CN105657290A (zh) * 2016-01-29 2016-06-08 宇龙计算机通信科技(深圳)有限公司 一种基于双摄像头的扫描方法及装置
CN107959844A (zh) * 2016-10-14 2018-04-24 安华高科技通用Ip(新加坡)公司 360度视频捕获与回放
CN109300145A (zh) * 2018-08-20 2019-02-01 彭楷文 新型自适应智能伪装***
US11019257B2 (en) 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7868847B2 (en) * 2005-05-24 2011-01-11 Mark W Miles Immersive environments with multiple points of view
US8509563B2 (en) * 2006-02-02 2013-08-13 Microsoft Corporation Generation of documents from images
US20090257680A1 (en) * 2006-06-30 2009-10-15 Nxp B.V. Method and Device for Video Stitching
US8139026B2 (en) 2006-08-02 2012-03-20 Research In Motion Limited System and method for adjusting presentation of text and images on an electronic device according to an orientation of the device
US8493323B2 (en) * 2006-08-02 2013-07-23 Research In Motion Limited System and method for adjusting presentation of moving images on an electronic device according to an orientation of the device
EP2090975A1 (en) * 2006-08-02 2009-08-19 Research In Motion Limited System and method for adjusting presentation of moving images on an electronic device according to an orientationof the device
US7843487B2 (en) * 2006-08-28 2010-11-30 Panasonic Corporation System of linkable cameras, each receiving, contributing to the encoding of, and transmitting an image
US8607281B2 (en) * 2006-09-07 2013-12-10 Porto Vinci Ltd. Limited Liability Company Control of data presentation in multiple zones using a wireless home entertainment hub
US9319741B2 (en) 2006-09-07 2016-04-19 Rateze Remote Mgmt Llc Finding devices in an entertainment system
JP2008219428A (ja) * 2007-03-02 2008-09-18 Fujifilm Corp 撮像装置
FR2913779B1 (fr) * 2007-03-13 2009-11-13 Gint Dispositif pour l'acquisition d'image de telesurveillance.
US8009200B2 (en) 2007-06-15 2011-08-30 Microsoft Corporation Multiple sensor input data synthesis
US8300083B2 (en) * 2007-07-20 2012-10-30 Hewlett-Packard Development Company, L.P. Position relationships associated with image capturing devices
TW200907557A (en) * 2007-08-08 2009-02-16 Behavior Tech Computer Corp Camera array apparatus and the method for capturing wide-angle video over a network
CN101785298A (zh) * 2007-08-09 2010-07-21 皇家飞利浦电子股份有限公司 根据输入视频创建修改视频的方法和设备
KR101204888B1 (ko) * 2007-08-31 2012-11-26 삼성테크윈 주식회사 디지털 촬영장치, 그 제어방법 및 이를 실행시키기 위한프로그램을 저장한 기록매체
US20100033570A1 (en) * 2008-08-05 2010-02-11 Morgan Plaster Driver observation and security system and method therefor
US8767081B2 (en) * 2009-02-23 2014-07-01 Microsoft Corporation Sharing video data associated with the same event
TWI532009B (zh) 2010-10-14 2016-05-01 華晶科技股份有限公司 產生淺景深影像的方法及裝置
US9055189B2 (en) 2010-12-16 2015-06-09 Microsoft Technology Licensing, Llc Virtual circular conferencing experience using unified communication technology
US8908054B1 (en) * 2011-04-28 2014-12-09 Rockwell Collins, Inc. Optics apparatus for hands-free focus
US8698874B2 (en) * 2011-06-10 2014-04-15 Microsoft Corporation Techniques for multiple video source stitching in a conference room
CA2856896A1 (en) * 2013-07-18 2015-01-18 Spo Systems Inc. Limited Virtual video patrol system and components therefor
US20150124120A1 (en) * 2013-11-05 2015-05-07 Microscan Systems, Inc. Machine vision system with device-independent camera interface
ES2654598T3 (es) * 2013-12-23 2018-02-14 Coherent Synchro, S.L. Sistema para generar una imagen de video compuesta y procedimiento para obtener una imagen de video compuesta
US20150271400A1 (en) * 2014-03-19 2015-09-24 Htc Corporation Handheld electronic device, panoramic image forming method and non-transitory machine readable medium thereof
CN104243920B (zh) * 2014-09-04 2017-09-26 浙江宇视科技有限公司 一种基于基本流视频数据封装的图像拼接方法及装置
TWI548281B (zh) * 2014-11-21 2016-09-01 財團法人工業技術研究院 寬景監視系統及其方法
US9769419B2 (en) 2015-09-30 2017-09-19 Cisco Technology, Inc. Camera system for video conference endpoints
CN105530473A (zh) * 2015-12-09 2016-04-27 北京永泰安达科技有限公司 全景眼刑侦快******
US10297059B2 (en) 2016-12-21 2019-05-21 Motorola Solutions, Inc. Method and image processor for sending a combined image to human versus machine consumers
KR20220025600A (ko) * 2020-08-24 2022-03-03 삼성전자주식회사 영상 생성 방법 및 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5023725A (en) * 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
EP0605045B1 (fr) * 1992-12-29 1999-03-31 Laboratoires D'electronique Philips S.A.S. Procédé et dispositif de traitement d'images pour construire une image à partir d'images adjacentes
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
DE69411849T2 (de) * 1993-10-20 1999-03-04 Philips Electronics N.V., Eindhoven Verfahren zur Verarbeitung von Luminanzpegel in einem zusammengesetzten Bild und Bildverarbeitungssystem zur Anwendung dieses Verfahrens
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5657073A (en) * 1995-06-01 1997-08-12 Panoramic Viewing Systems, Inc. Seamless multi-camera panoramic imaging with distortion correction and selectable field of view
EP0830034B1 (en) * 1996-09-11 2005-05-11 Canon Kabushiki Kaisha Image processing for three dimensional display of image data on the display of an image sensing apparatus
WO1998047291A2 (en) * 1997-04-16 1998-10-22 Isight Ltd. Video teleconferencing
JPH10336705A (ja) * 1997-06-02 1998-12-18 Canon Inc 複眼カメラ
US6078701A (en) * 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
US6545702B1 (en) * 1998-09-08 2003-04-08 Sri International Method and apparatus for panoramic imaging
US6778207B1 (en) * 2000-08-07 2004-08-17 Koninklijke Philips Electronics N.V. Fast digital pan tilt zoom video

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101796815B (zh) * 2007-09-05 2012-08-29 创新科技有限公司 用于处理具有特征指示的合成视频图像的方法
US8773495B2 (en) 2007-10-12 2014-07-08 Polycom, Inc. Integrated system for telepresence videoconferencing
CN101771830B (zh) * 2008-12-30 2012-09-19 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
US8717405B2 (en) 2008-12-30 2014-05-06 Huawei Device Co., Ltd. Method and device for generating 3D panoramic video streams, and videoconference method and device
WO2010118674A1 (zh) * 2009-04-14 2010-10-21 华为终端有限公司 图像采集设备
CN101527828B (zh) * 2009-04-14 2011-08-10 华为终端有限公司 图像采集设备
CN101527828A (zh) * 2009-04-14 2009-09-09 深圳华为通信技术有限公司 图像采集设备
CN101556758B (zh) * 2009-04-23 2010-12-01 杭州镭星科技有限公司 一种实现用多台投影机来显示高动态亮度范围图像的方法
CN101930162A (zh) * 2009-06-22 2010-12-29 富士胶片株式会社 成像设备及其控制方法
CN103916699A (zh) * 2012-12-31 2014-07-09 德州仪器公司 用于使用mvc产生360度视频记录的***及方法
CN104516482A (zh) * 2013-09-26 2015-04-15 北京天盛世纪科技发展有限公司 一种无影投影***及方法
CN104360488A (zh) * 2014-11-14 2015-02-18 山东理工大学 紧凑型立体显示***及其显示方法
CN104360488B (zh) * 2014-11-14 2017-05-24 山东理工大学 紧凑型立体显示***的显示方法
CN104615917A (zh) * 2015-01-20 2015-05-13 中兴通讯股份有限公司 一种伪装图片的方法、查看图片的方法、***和终端
CN104680078A (zh) * 2015-01-20 2015-06-03 中兴通讯股份有限公司 一种拍摄照片的方法、查看图片的方法、***和终端
CN104680077A (zh) * 2015-01-20 2015-06-03 中兴通讯股份有限公司 一种加密图片的方法、查看图片的方法、***和终端
US10922435B2 (en) 2015-01-20 2021-02-16 Zte Corporation Image encryption method, image viewing method, system, and terminal
CN104680078B (zh) * 2015-01-20 2021-09-03 中兴通讯股份有限公司 一种拍摄照片的方法、查看图片的方法、***和终端
CN105657290A (zh) * 2016-01-29 2016-06-08 宇龙计算机通信科技(深圳)有限公司 一种基于双摄像头的扫描方法及装置
US11019257B2 (en) 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
CN107959844A (zh) * 2016-10-14 2018-04-24 安华高科技通用Ip(新加坡)公司 360度视频捕获与回放
CN107959844B (zh) * 2016-10-14 2021-09-17 安华高科技股份有限公司 360度视频捕获与回放
CN109300145A (zh) * 2018-08-20 2019-02-01 彭楷文 新型自适应智能伪装***

Also Published As

Publication number Publication date
US20050185047A1 (en) 2005-08-25
GB0616491D0 (en) 2006-09-27
GB2430104A (en) 2007-03-14
AU2005215585A1 (en) 2005-09-01
WO2005081057A1 (en) 2005-09-01
TW200529098A (en) 2005-09-01

Similar Documents

Publication Publication Date Title
CN1922544A (zh) 用于提供组合图像的方法和装置
KR101003277B1 (ko) 이음매 없는 합성 이미지를 생성하는 컴퓨터 구현 방법 및 멀티-이미저 시스템
JP6021541B2 (ja) 画像処理装置及び方法
JP6273163B2 (ja) 立体パノラマ
JP2883265B2 (ja) 画像処理装置
AU2008215908B2 (en) Banana codec
CN102595168B (zh) 用于360度立体视频的无缝左/右视图
US8928729B2 (en) Systems and methods for converting video
CN201523430U (zh) 一种全景视频监控***
CN104685860A (zh) 利用虚拟视点从光场生成图像
JP2010078768A (ja) 立体映像撮影装置および立体映像撮影システム
CN1727991A (zh) 凹形全景照相机***
CN1771740A (zh) 立体全景图像捕捉装置
WO2005067318A2 (en) Multi-dimensional imaging apparatus, systems, and methods
KR20200064998A (ko) 재생 장치 및 방법, 그리고 생성 장치 및 방법
WO2020179473A1 (ja) 画像処理装置、画像生成方法、および、画像処理方法
JP5747679B2 (ja) ３次元画像の提示方法
JP4660463B2 (ja) ステレオ画像符号化装置
CN1238818C (zh) 基于彩色线性ccd的二维360°全景图的成像方法及其***
JP7437941B2 (ja) 立体画像生成装置及びそのプログラム
JP4293945B2 (ja) 画像生成方法
KR100551107B1 (ko) 가상 현실 구현을 위한 실사 이미지 합성 방법
JP2005321987A (ja) 画像生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication