CN101431617A - 用于合并视频以实时显示的方法和*** - Google Patents
用于合并视频以实时显示的方法和*** Download PDFInfo
- Publication number
- CN101431617A CN101431617A CNA2008101741068A CN200810174106A CN101431617A CN 101431617 A CN101431617 A CN 101431617A CN A2008101741068 A CNA2008101741068 A CN A2008101741068A CN 200810174106 A CN200810174106 A CN 200810174106A CN 101431617 A CN101431617 A CN 101431617A
- Authority
- CN
- China
- Prior art keywords
- video
- image
- wide
- narrow angle
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 230000000007 visual effect Effects 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 2
- 230000001915 proofreading effect Effects 0.000 claims description 2
- 230000014509 gene expression Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 241000251468 Actinopterygii Species 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000282320 Panthera leo Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 244000144992 flock Species 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
- H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种将视频合并以实时显示的***和方法。获得场景的广角视频和一组窄角视频,其中所述广角视频中的视野与所述窄角视频中的视野基本上重叠。使用所述广角视频来确定所述窄角视频之间的单应性。对所述窄角视频的所述在时间上对应地选择的图像进行变换并且合并为经过变换的图像。根据输出设备的显示屏幕的几何参数和所述经过变换的图像来确定输出视频的几何参数。将所述单应性和所述显示屏幕的所述几何参数存储在图形处理单元中,并且由所述图形处理单元来变换并且合并该组窄角视频中的后续图像,以实时地产生输出视频。
Description
技术领域
本发明总体上涉及图像处理,并且更具体地涉及合并多个输入图像序列以产生单个输出图像序列。
背景技术
在数字成像中,存在两种可根据多个输入图像产生输出图像的主要方法。合成步骤将来自单独的输入图像的可视元素(对象)合并以产生以下错觉(illusion),即所有元素都是同一场景的几个部分。拼接(mosaic)和全景图(panorama)将全部输入图像合并为单个输出图像。通常,拼接是由以某种棋盘式镶嵌的方式布置的非重叠图像组成。全景图通常指视图的广角表示。
期望使来自多个输入序列(输入视频)的全部图像合并以产生单个输出图像序列(输出视频)。例如,在监视应用中,期望获得相对大的室外场景的高分辨率图像序列。通常,这可以利用单个摄像机通过“拉远(zoom out)”以增大视野来实现。但是变焦减少了输出图像的清晰度和细节。
以下类型的合并方法是已知的:视差分析;深度层分解;以及像素对应。在视差分析中,使用运动视差来估计场景的3D结构,这使得图像能够被合并。层分解通常限于能够被分解成多个深度层的场景。像素对应要求立体技术和深度估计。然而,输出图像经常包括恼人的假象(artifact),例如深度边缘处的条纹(streak)和晕圈(halo)。通常,现有技术方法是复杂的并且不适于实时应用。
因此,希望将输入视频合并为输出视频并且实时显示该输出视频。
发明内容
通过多个窄角摄像机获取场景的一组输入视频。每个摄像机具有场景的不同视野。即视野基本上以最小重叠而邻接(abut)。同时,广角摄像机获取整个场景的广角输入视频。广角摄像机的视野基本上与该组窄角摄像机的视野重叠。
接着使用广角视频将对应的广角视频的图像合并为单个输出视频,使得输出视频看起来如同由单个摄像机所获取。即输出视频的分辨率近似为输入视频的分辨率的和。
本发明使用广角视频用于校正并合并窄角视频,而不是如现有技术中通常所做的那样确定会产生常规拼接的各种图像之间的直接变换。根据本发明,校正不限于如现有技术中的几何校正,而是还包括比色校正(colorimetric correction)。比色校正保证了能够以均一的颜色和增益显示输出视频,如同输出视频是由单个摄像机获取的一样。
本发明的另一目的是实时地同时获取和显示视频。本发明不要求人工对准和摄像机校准。能够使得摄像机视图(view)之间的重叠量(如果有的话)最小化。
附图说明
图1A是根据本发明的一个实施方式的用于合并输入视频以产生输出视频的***的示意图;
图1B是一组窄角输入图像以及广角输入图像的示意图;
图2是根据本发明的一个实施方式的用于将输入视频合并以产生输出视频的方法的流程图;
图3是根据本发明的一个实施方式的显示设备的正视图;以及
图4示出了根据本发明的一个实施方式的偏移参数。
具体实施方式
方法和***概述
图1示出了根据本发明的一个实施方式的***,该***用于合并由一组窄角摄像机101获取的场景的一组窄角输入视频111以实时地产生用于显示设备108的输出视频110。
使用由广角摄像机102获取的广角输入视频112将输入视频111合并。输出视频110能够呈现在显示设备108上。在一个实施方式中,显示设备包括一组投影显示设备。在优选实施方式中,对于每个窄角摄像机有一个投影仪。这些投影仪可以是前投影仪或背投影仪。
图1B示出了一组窄角图像111。图像111′是下述参考图像。广角图像112由短划线表示。如所看到的,并且作为一个优点,输入图像不必是矩形的。此外,不要求输入图像彼此对准。虚线301是针对一个显示屏幕,并且实线302表示最大的内接矩形。
这里使用的术语广角和窄角仅仅是相对的。即,广角摄像机102的视野与窄角摄像机101的视野基本上重叠。实际上,窄角摄像机基本上具有正常角度,并且广角摄像机只具有2×的变焦因子。不应该将我们的广角摄像机与常规的鱼眼镜头摄像机混淆,该鱼眼镜头摄像机拍摄非常宽的半球形图像。我们的广角摄像机不具有任何明显的失真。如果我们使用常规的鱼眼镜头,则我们可根据镜头失真参数来校正图像112的失真。
在该组输入视频111之间可能有最小重叠。在通常情况下,广角摄像机102的视野应该包含该组窄角摄像机101的合并的视野。在优选实施方式中,广角摄像机102的视野比四个窄角摄像机101的合并的视图稍大。因此,输出视频的分辨率近似为该组输入视频111的分辨率的和。
摄像机101-102经由网络104连接到计算机群103。这些计算机是常规的并且包括通过总线连接的处理器、存储器和输入\输出接口。这些计算机实现根据本发明的方法。
为简化该描述,我们针对单个窄角摄像机的情况描述本发明的细节。稍后,我们描述如何将本发明的实施方式扩展到多个窄角分辨率摄像机。
广角摄像机
在本发明中使用广角摄像机具有几个优点。首先,该组输入视频111之间的重叠(如果有的话)可以是最小的。第二,可以忽略不对准错误。第三,本发明可应用于复杂的场景。第四,能够针对几何参数和颜色来校正输出视频。
利用在广角视频112和该组窄角视频111之间的大的重叠,可根据图像特征确定变换。这使场景的平面区域中的变换具有更少的倾斜(prone)错误。因此,提高了整体对准精度,并且能够以相对小的不对准错误来对准就深度复杂度而言更复杂的场景。广角分辨率视频112提供了几何校正信息和颜色校正信息。
***配置
在一个实施方式中,窄角摄像机101以2×2阵列布置,并且单个广角摄像机102布置在这些窄角摄像机上面或它们之间,如图1A所示。如上所述,广角摄像机的视野合并了窄角摄像机101的视野。
每个摄像机经由网络104连接到计算机103中的一台。每台计算机配备有包括图形处理单元(GPU)105的图形硬件。在一个优选实施方式中,这些摄像机的帧率是同步的。但是如果场景中的移动元素(像素)数量很少,则这些摄像机的帧率的同步就不是必要的。
本发明的思想是,诸如用于高速计算机图形应用的现代GPU能够极快速地(即实时地)处理图像。因此我们将变换和几何参数加载到GPU以实时合并和变换输入视频,如下所述。
每台计算机和GPU连接到在其上显示输出视频的显示设备108。在一个优选实施方式中,我们使用2×2的显示器阵列。每台显示器连接到这些计算机中的一台。但是,应当理解的是,利用计算机、GPU和显示设备的不同组合也能够使本发明工作。例如利用单个计算机、GPU和显示设备以及多个摄像机也可使本发明工作。
图像变换
图2示出了根据本发明的方法的细节。我们以广角(WA)视频112和每个窄角(NA)视频111的在时间上对应地选择的一组图像200开始。在时间上对应是指所选择的图像是在大约相同的时间获取的。例如,在每个视频中的第一个图像。在时间上精确对应可通过使这些摄像机同步来实现。应当注意,可根据需要周期性地选择在时间上对应的该组图像200以更新GPU参数,如下所述。
对于每个所选择的NA图像201以及对应的WA图像202,我们检测(210)特征211,如下所述。
接着,我们确定(220)所检测的特征之间的对应性221。
根据该对应性,我们使用广角视频112来确定230窄角图像111之间的单应性(homography)231。该单应性使我们能够对输入图像201进行变换和合并(240)以获得单个变换图像241。
该单应性使我们能够确定(250)单个最大内接矩形图像302的几何参数251,该单个最大内接矩形图像302包括该变换图像。该几何参数也考虑到显示设备108的几何参数,例如,所述一个(多个)显示屏幕的布置和大小。本质上,显示几何参数定义了输出视频的外观。该大小可以用像素的形式来规定,例如宽度和高度、或宽度和纵横比。
窄角视频之间的单应性231和输出视频的几何参数存储在各种处理器103的GPU 105中。
这时,根据单应性和显示屏幕的几何参数,通过GPU对该组窄角输入视频111中的后续图像进行流处理(260)以实时地产生输出视频110。如上所述,根据需要可以动态更新GPU参数以适应于进行流处理时的变化的环境。
上面我们假设场景包含足够数量的静止对象。此外,我们假设移动对象与摄像机保持近似相同的距离。移动对象数量不受限制。
动态更新
应当理解,可在GPU中例如每分钟或某些其它时间间隔一次周期性地更新单应性、几何校正和颜色校正,以适应变化的场景和改变的光照条件。这尤其适合于室外场景,在室外场景中大的对象可能会周期地进入和离开场景。更新还可能对于场景中的移动对象或阴影敏感。
特征检测
由于不同的视野,输入图像中的特征可能在尺度上存在差异。为了适应于尺度差异,我们使用尺度不变特征检测器,例如,尺度不变特征变换(SIFT),参见Lowe的以下文献:“Distinctive image features from scaleinvariant keypoints”,International Journal of Computer Vision,60(2):91-110,2004,通过引用合并于此。也可以使用诸如角点和线(边)检测器的其它特征检测器来代替,或者增大特征的数量。应当注意,可以通过使用GPU来加快特征检测。
为了确定(220)特征之间的初始对应性221,我们首先确定每个特征的邻域的梯度直方图(HoG)。HoG之间的差异小于阈值的那些特征作为对应性的候选。我们使用L2范数(norm)作为距离度量。
投影变换
在合并期间的远景变换240可由3×3投影变换矩阵或单应性231来近似。根据特征211的对应性221来确定单应性。假设某些对应性候选可能被错误地匹配,我们使用修正的RANSAC方法来确定单应性,参见以下文献:Fischler等人的“Random sample consensus:A paradigm formodel fitting with applications to image analysis and automatedcartography”,Commun.ACM,24(6):381-395,1981,通过引用将其合并于此。
此外我们还要求适合单应性的对应性的数量大于某个阈值,而不是仅仅试图找到具有小投影错误的单应性。
我们确定每个窄角图像201和广角图像202之间的单应性,并将其表示为其中i为该组窄角图像的索引,并且j为广角图像的索引(如果存在多个广角图像的话)。我们选择窄角图像111′中的一个作为参考图像NAir,参见图3。我们通过下式将图像i变换到参考图像:
如果ir=i,则
镜头失真
大部分摄像机镜头具有某种程度的失真。结果,场景中的直线看起来象是图像中的曲线。在许多应用中,通过估计幂级数的前两项的参数来校正镜头失真。如果已知镜头失真参数,则能够在GPU上作为像素查找操作来实现该校正。
附加的约束
我们还可以通过考虑图像中的直线来包括附加的约束,而不是仅仅根据对应性221来确定单应性231。我们可以使用Canny边检测器来检测图像中的线。作为一个优点,线对应性能够提高跨图像边界的连续性。在投影几何中点x和线l是成对的。假定图像Il和图像Ii′之间的单应性为H,则我们有
x′=H·x
l′=H-T·l
其中T是转置算子。
显示器配置
在我们已经获得了单应性231之后,我们在参考图像111′的坐标***中确定经过变换并且合并后的图像241,如图3中所示。
为了确定输出图像111的哪些部分被合并并显示在输出图像110中,根据显示设备108的几何参数将输出图像分区。图3是四台显示设备的正视图。虚线301表示四个显示屏幕之间的缝隙。
第一步将经过变换和合并的图像241内部的最大的矩形302进行定位。该最大的矩形也可以符合显示设备的纵横比。我们根据显示设备的配置进一步将该最大的矩形分区(301)。
合并
已经确定单应性和几何参数并将它们存储在GPU 105中之后,我们可实时地变换输入视频流260中的每个单个图像并调整其大小。根据显示器表面的几何参数251进行裁剪。
因此,存储在GPU中的参数包括用于将窄角图像变换到所选择的参考图像111′的坐标***的3×3单应性、每个经过变换的图像的x和y偏移401(参见图4),以及每个经过变换的输入图像的大小(宽度和高度)。根据合并的图像241和显示设备108的配置来确定偏移和大小。
如上所述,使用单应性231来变换每个图像。利用单应性的变换是投影变换。由GPU 105来支持此操作。我们能够以下面的方式执行GPU中的变换:
每顶点:对多边形的顶点(几何参数)进行变换,并将图像应用为纹理图;以及
每像素:针对输出图像中的每个像素执行对输入像素的查找,并且将这些输入像素合并为单个输出像素。
应当注意,GPU能够通过其纹理函数内的插值来执行调整大小以匹配显示器几何参数。
利用GPU的图像硬件支持,我们能够实现用于上面两种方法的实时变换、调整大小和显示。
应当注意,在输入图像重叠的地方,可使用多带域混合(multibandblending)技术将这些图像融合为输入视频,参见2004年6月29日颁发给Raskar等人的U.S.6,755,537,“Method for globally aligning multipleprojected images”,通过引用将其合并于此。该混合在整个输出图像上保持均一的亮度。
颜色校正
我们的颜色校正方法包括下面的步骤。我们确定每个输入图像111中的每个特征附近的局部邻域中的像素群。我们将像素群与邻近的或附近的像素进行匹配。接着,我们确定图像之间的偏移和3×3颜色变换。
我们通过确定输入图像的(RGB)颜色空间中的3D直方图将像素聚成群。虽然在不同图像之间可能存在一些颜色变换,但是直方图的峰值通常对应于表示场景的相同部分的群。我们仅考虑其像素数量比某个阈值大的那些群,因为小的群容易导致不匹配。在接受两个对应群作为有效匹配之前,我们对这些群的统计量执行附加的检验。使用La*b*色域图(gamut map)来确定例如均值和标准偏差的统计量,该La*b*色域图使用设备无关的CIELAB颜色空间。
我们针对每个群并且还针对邻近的群来确定均值和标准偏差。如果差异小于某个阈值,则我们将对应的群标记为有效匹配。我们针对所有对应特征的局部邻域中的所有被接受的群重复此过程。
在已经处理了n个对应之后,我们确定颜色变换为:
=>A·X=B=>X=A+·B
其中矩阵A+是伪逆变换矩阵A。
上面的颜色变换是基于输入图像的内容。为了避免一些颜色被过表示(overrepresent),我们可追踪所包括的3D直方图的峰值。跳过已经被表示的峰值位置有利于尚未被包括的位置。
如上所述,我们孤立地看待每个摄像机、处理器、视频流和显示设备。除了单应性和几何参数以外,在处理器之间没有信息交换。然而,我们可确定应当通过网络发送图像的哪个部分以显示在某个其它的平铺的显示设备上。
我们也可使用多个广角摄像机。在这种情况下,我们确定这些摄像机之间的几何参数,即位置和定向。我们可以离线地校准摄像机,或者要求摄像机之间重叠,并且基于此作为几何参数的基础。
虽然以优选实施方式为例已经描述了本发明,但是应当理解,可在本发明的精神和范围内做出各种其它改变和修改。因此,所附权利要求的目的涵盖落入本发明的真实精神和范围内的所有这种变型和修改。
Claims (14)
1.一种用于将视频合并以实时显示的方法,该方法包括以下步骤:
获得场景的一组窄角视频;
获得所述场景的广角视频,其中所述广角视频中的视野与所述窄角视频中的视野基本上重叠;
使用每个窄角视频的一组在时间上对应地选择的图像和所述广角视频的在时间上对应地选择的图像来确定所述窄角视频之间的单应性;
对所述窄角视频的所述在时间上对应地选择的图像进行变换并且合并为经过变换的图像;
根据输出设备的显示屏幕的几何参数和所述经过变换的图像来确定输出视频的几何参数;
将所述单应性和所述显示屏幕的所述几何参数存储在图形处理单元中;以及
根据所述单应性和所述几何参数在所述图形处理单元中变换并且合并该组窄角视频中的后续图像,以实时地产生所述输出视频。
2.根据权利要求1所述的方法,其中所述窄角视频中的所述视野基本上以最小重叠而邻接。
3.根据权利要求1所述的方法,其中所述输出视频的分辨率近似为该组窄角视频的分辨率之和。
4.根据权利要求1所述的方法,该方法进一步包括以下步骤:
获取一组所述广角视频;以及
使用该组广角视频的在时间上对应地选择的图像来确定所述单应性。
5.根据权利要求1所述的方法,该方法进一步包括以下步骤:
周期性地更新所述图形处理单元中的所述单应性。
6.根据权利要求1所述的方法,其中该组窄角视频是通过一组窄角摄像机获取,所述广角视频是通过广角摄像机获取,并且该方法进一步包括以下步骤:
将每个摄像机连接到计算机,并且其中每台计算机包括所述图形处理单元。
7.根据权利要求6所述的方法,其中针对每个窄角视频有一个显示屏幕。
8.根据权利要求1所述的方法,该方法进一步包括以下步骤:
检测所述在时间上对应地选择的图像中的特征;
确定所述特征之间的对应性以确定所述单应性。
9.根据权利要求1所述的方法,其中所述输出视频的所述几何参数取决于所述经过变换的图像中内接的最大矩形。
10.根据权利要求1所述的方法,其中所述输出视频的所述几何参数包括该组窄角视频的偏移,并且所述显示屏幕的所述几何参数包括所述显示屏幕的大小。
11.根据权利要求1所述的方法,该方法进一步包括以下步骤:
在所述合并期间,将该组窄角视频中的所述后续图像混合。
12.根据权利要求1所述的方法,其中所述选择的图像是每个输入视频中的第一个图像。
13.根据权利要求1所述的方法,该方法进一步包括以下步骤:
根据所述广角视频的所述在时间上对应地选择的图像来校正所述输出视频的颜色。
14.一种用于将视频合并以实时显示的***,该***包括:
一组窄角摄像机,该组窄角摄像机被配置为用于获取场景的一组窄角视频;
一组广角摄像机,该组广角摄像机被配置为用于获取所述场景的广角视频,其中所述广角视频中的视野与所述窄角视频中的视野基本上重叠;
用于使用每个窄角视频的一组在时间上对应地选择的图像和所述广角视频的在时间上对应地选择的图像来确定所述窄角视频之间的单应性的装置;
用于对所述窄角视频的所述在时间上对应地选择的图像进行变换并合并为经过变换的图像的装置;
用于根据输出设备的显示屏幕的几何参数和所述经过变换的图像来确定输出视频的几何参数的装置;
图形处理单元,其被配置为用于存储所述单应性和所述显示屏幕的所述几何参数;以及
用于根据所述单应性和所述几何参数在所述图形处理单元中变换并且合并该组窄角视频中的后续图像,以实时地产生所述输出视频的装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/937,659 | 2007-11-09 | ||
US11/937,659 US20090122195A1 (en) | 2007-11-09 | 2007-11-09 | System and Method for Combining Image Sequences |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101431617A true CN101431617A (zh) | 2009-05-13 |
CN101431617B CN101431617B (zh) | 2011-07-27 |
Family
ID=40344687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008101741068A Expired - Fee Related CN101431617B (zh) | 2007-11-09 | 2008-11-07 | 用于合并视频以实时显示的方法和*** |
Country Status (5)
Country | Link |
---|---|
US (1) | US20090122195A1 (zh) |
EP (1) | EP2059046B1 (zh) |
JP (1) | JP2009124685A (zh) |
CN (1) | CN101431617B (zh) |
DE (1) | DE602008002303D1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101562706B (zh) * | 2009-05-22 | 2012-04-18 | 杭州华三通信技术有限公司 | 一种图像拼接方法和设备 |
CN103679665A (zh) * | 2014-01-03 | 2014-03-26 | 北京华力创通科技股份有限公司 | 几何校正方法及装置 |
CN107040783A (zh) * | 2015-10-22 | 2017-08-11 | 联发科技股份有限公司 | 视频编码***的非拼接图片的视频编码、解码方法及装置 |
CN110180151A (zh) * | 2019-05-06 | 2019-08-30 | 南昌嘉研科技有限公司 | 一种游泳训练辅助*** |
CN110223250A (zh) * | 2019-06-02 | 2019-09-10 | 西安电子科技大学 | 基于单应变换的sar几何校正方法 |
CN111277764A (zh) * | 2020-03-10 | 2020-06-12 | 北京卓视科技有限公司 | 基于gpu加速的4k实时视频全景拼接方法 |
CN113747002A (zh) * | 2020-05-29 | 2021-12-03 | 青岛海信移动通信技术股份有限公司 | 终端及图像拍摄方法 |
Families Citing this family (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200910937A (en) * | 2007-08-29 | 2009-03-01 | Imagia Technologies Co Ltd | The generation device of continuous crisscross scenes |
GB2471708A (en) * | 2009-07-09 | 2011-01-12 | Thales Holdings Uk Plc | Image combining with light point enhancements and geometric transforms |
US8817071B2 (en) | 2009-11-17 | 2014-08-26 | Seiko Epson Corporation | Context constrained novel view interpolation |
US9594960B2 (en) * | 2010-09-14 | 2017-03-14 | Microsoft Technology Licensing, Llc | Visualizing video within existing still images |
US20130083196A1 (en) * | 2011-10-01 | 2013-04-04 | Sun Management, Llc | Vehicle monitoring systems |
US8666159B1 (en) | 2012-06-04 | 2014-03-04 | Google Inc. | Real time feature extraction |
CN113472989A (zh) | 2012-11-28 | 2021-10-01 | 核心光电有限公司 | 多孔径成像***以及通过多孔径成像***获取图像的方法 |
KR101417527B1 (ko) * | 2012-12-28 | 2014-07-10 | 한국항공우주연구원 | 항공기에서 촬영되는 항공 영상을 이용하는 지형 변화 탐지 장치 및 방법 |
CN109040552B (zh) | 2013-06-13 | 2021-06-22 | 核心光电有限公司 | 双孔径变焦数字摄影机 |
JP2016523389A (ja) | 2013-07-04 | 2016-08-08 | コアフォトニクス リミテッド | 小型望遠レンズアセンブリ |
CN109120823B (zh) | 2013-08-01 | 2020-07-14 | 核心光电有限公司 | 具有自动聚焦的纤薄多孔径成像***及其使用方法 |
KR101583888B1 (ko) | 2013-12-19 | 2016-01-08 | 현대자동차주식회사 | 스파클 감이 향상된 도료 조성물과 그 도장방법 |
US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
CN112327464A (zh) | 2015-01-03 | 2021-02-05 | 核心光电有限公司 | 微型长焦镜头模块和使用该镜头模块的相机 |
EP3278178B1 (en) | 2015-04-02 | 2019-04-03 | Corephotonics Ltd. | Dual voice coil motor structure in a dual-optical module camera |
KR102081556B1 (ko) | 2015-04-16 | 2020-02-25 | 코어포토닉스 리미티드 | 소형 접이식 카메라의 오토 포커스 및 광학 이미지 안정화 |
KR101911198B1 (ko) | 2015-05-28 | 2018-10-24 | 코어포토닉스 리미티드 | 이중-조리개 디지털 카메라의 광학식 손떨림 방지 및 자동-초점을 위한 양-방향성 강성 |
EP3335415B1 (en) | 2015-08-13 | 2019-11-20 | Corephotonics Ltd. | Dual aperture zoom camera with video support and switching / non-switching dynamic control |
CN105141920B (zh) * | 2015-09-01 | 2018-06-19 | 电子科技大学 | 一种360度全景视频拼接*** |
CN107533273B (zh) | 2015-09-06 | 2019-04-02 | 核心光电有限公司 | 带有滚动补偿的自动对焦和光学图像稳定的折叠式相机 |
KR102547249B1 (ko) | 2015-12-29 | 2023-06-23 | 코어포토닉스 리미티드 | 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라 |
KR102002718B1 (ko) | 2016-05-30 | 2019-10-18 | 코어포토닉스 리미티드 | 회전식 볼-가이드 음성 코일 모터 |
KR102302004B1 (ko) | 2016-06-19 | 2021-09-14 | 코어포토닉스 리미티드 | 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화 |
CN107924064B (zh) | 2016-07-07 | 2020-06-12 | 核心光电有限公司 | 用于折叠式光学装置的线性滚珠引导音圈电动机 |
US10706518B2 (en) | 2016-07-07 | 2020-07-07 | Corephotonics Ltd. | Dual camera system with improved video smooth transition by image blending |
CN107644394B (zh) * | 2016-07-21 | 2021-03-30 | 完美幻境(北京)科技有限公司 | 一种3d图像的处理方法及装置 |
US20180101813A1 (en) * | 2016-10-12 | 2018-04-12 | Bossa Nova Robotics Ip, Inc. | Method and System for Product Data Review |
US10762653B2 (en) * | 2016-12-27 | 2020-09-01 | Canon Kabushiki Kaisha | Generation apparatus of virtual viewpoint image, generation method, and storage medium |
EP4246993A3 (en) | 2016-12-28 | 2024-03-06 | Corephotonics Ltd. | Folded camera structure with an extended light-folding-element scanning range |
US10970915B2 (en) * | 2017-01-06 | 2021-04-06 | Canon Kabushiki Kaisha | Virtual viewpoint setting apparatus that sets a virtual viewpoint according to a determined common image capturing area of a plurality of image capturing apparatuses, and related setting method and storage medium |
EP3789810B1 (en) | 2017-01-12 | 2022-09-28 | Corephotonics Ltd. | Compact folded camera |
IL290630B2 (en) | 2017-02-23 | 2023-10-01 | Corephotonics Ltd | Lens designs for a folded camera |
DE102017204035B3 (de) | 2017-03-10 | 2018-09-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung |
CN114137790A (zh) | 2017-03-15 | 2022-03-04 | 核心光电有限公司 | 具有全景扫瞄范围的***、移动电子装置及其方法 |
DE102017206442B4 (de) | 2017-04-13 | 2021-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben |
DE102017206429A1 (de) | 2017-04-13 | 2018-10-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung |
WO2019048904A1 (en) | 2017-09-06 | 2019-03-14 | Corephotonics Ltd. | STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA |
US10951834B2 (en) | 2017-10-03 | 2021-03-16 | Corephotonics Ltd. | Synthetically enlarged camera aperture |
EP3513110B1 (en) | 2017-11-23 | 2023-08-23 | Corephotonics Ltd. | Compact folded camera structure |
KR102242452B1 (ko) | 2018-02-05 | 2021-04-20 | 코어포토닉스 리미티드 | 폴디드 카메라에 대한 감소된 높이 페널티 |
EP3707893B1 (en) | 2018-02-12 | 2023-03-08 | Corephotonics Ltd. | Folded camera with optical image stabilization |
US10694168B2 (en) | 2018-04-22 | 2020-06-23 | Corephotonics Ltd. | System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems |
EP3822588B1 (en) | 2018-04-23 | 2022-09-07 | Corephotonics Ltd. | An optical-path folding-element with an extended two degree of freedom rotation range |
CN108564557B (zh) * | 2018-05-31 | 2020-08-25 | 京东方科技集团股份有限公司 | 图像校正方法及装置 |
EP3652728B1 (en) | 2018-08-04 | 2023-06-07 | Corephotonics Ltd. | Switchable continuous display information system above camera |
WO2020039302A1 (en) | 2018-08-22 | 2020-02-27 | Corephotonics Ltd. | Two-state zoom folded camera |
WO2020144528A1 (en) | 2019-01-07 | 2020-07-16 | Corephotonics Ltd. | Rotation mechanism with sliding joint |
KR102494006B1 (ko) | 2019-03-09 | 2023-01-30 | 코어포토닉스 리미티드 | 동적 입체 캘리브레이션을 위한 시스템 및 방법 |
WO2021019318A1 (en) | 2019-07-31 | 2021-02-04 | Corephotonics Ltd. | System and method for creating background blur in camera panning or motion |
US11659135B2 (en) | 2019-10-30 | 2023-05-23 | Corephotonics Ltd. | Slow or fast motion video using depth information |
IT201900021399A1 (it) * | 2019-11-18 | 2021-05-18 | Telecom Italia Spa | Metodo e sistema per lo stitching video |
KR20220058593A (ko) | 2019-12-09 | 2022-05-09 | 코어포토닉스 리미티드 | 스마트한 파노라마 이미지를 획득하기 위한 시스템 및 방법 |
US11949976B2 (en) | 2019-12-09 | 2024-04-02 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
EP4052176A4 (en) | 2020-02-22 | 2023-01-04 | Corephotonics Ltd. | SPLIT SCREEN FUNCTION FOR MACRO PHOTOGRAPHY |
US11693064B2 (en) | 2020-04-26 | 2023-07-04 | Corephotonics Ltd. | Temperature control for Hall bar sensor correction |
US11832018B2 (en) | 2020-05-17 | 2023-11-28 | Corephotonics Ltd. | Image stitching in the presence of a full field of view reference image |
CN117572549A (zh) | 2020-05-30 | 2024-02-20 | 核心光电有限公司 | 用于获得超微距图像的***和方法 |
US11910089B2 (en) | 2020-07-15 | 2024-02-20 | Corephotonics Lid. | Point of view aberrations correction in a scanning folded camera |
US11637977B2 (en) | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
KR102640229B1 (ko) | 2020-07-31 | 2024-02-22 | 코어포토닉스 리미티드 | 큰 스트로크 선형 위치 감지를 위한 홀 센서-자석 구조 |
EP4038432A4 (en) | 2020-08-12 | 2022-12-14 | Corephotonics Ltd. | OPTICAL IMAGE STABILIZATION IN A FOLDED SCANNING CAMERA |
US12007671B2 (en) | 2021-06-08 | 2024-06-11 | Corephotonics Ltd. | Systems and cameras for tilting a focal plane of a super-macro image |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06225192A (ja) * | 1993-01-25 | 1994-08-12 | Sony Corp | パノラマ効果用カメラ |
UA22127C2 (uk) * | 1996-09-10 | 1998-04-30 | Сергій Іванович Мірошніченко | Телевізійhа система високої розрізhяльhої здатhості |
US6078701A (en) * | 1997-08-01 | 2000-06-20 | Sarnoff Corporation | Method and apparatus for performing local to global multiframe alignment to construct mosaic images |
JP2002158922A (ja) * | 2000-11-20 | 2002-05-31 | Fuji Photo Film Co Ltd | 画像表示制御装置および方法 |
WO2002093916A2 (en) | 2001-05-14 | 2002-11-21 | Elder James H | Attentive panoramic visual sensor |
EP1282078A1 (fr) * | 2001-08-02 | 2003-02-05 | Koninklijke Philips Electronics N.V. | Dispositif de traitement graphique d'objet vidéo |
JP2003333425A (ja) * | 2002-05-15 | 2003-11-21 | Fuji Photo Film Co Ltd | カメラ |
US6839067B2 (en) * | 2002-07-26 | 2005-01-04 | Fuji Xerox Co., Ltd. | Capturing and producing shared multi-resolution video |
US7321386B2 (en) * | 2002-08-01 | 2008-01-22 | Siemens Corporate Research, Inc. | Robust stereo-driven video-based surveillance |
JP2004135209A (ja) * | 2002-10-15 | 2004-04-30 | Hitachi Ltd | 広視野高解像度映像の生成装置及び方法 |
GB0315116D0 (en) | 2003-06-27 | 2003-07-30 | Seos Ltd | Image display apparatus for displaying composite images |
SE0302065D0 (sv) * | 2003-07-14 | 2003-07-14 | Stefan Carlsson | Video - method and apparatus |
KR101042638B1 (ko) * | 2004-07-27 | 2011-06-20 | 삼성전자주식회사 | 파노라마 영상 생성을 위한 디지털 촬상장치 및 그 생성방법 |
US20060132482A1 (en) * | 2004-11-12 | 2006-06-22 | Oh Byong M | Method for inter-scene transitions |
JP2006171939A (ja) * | 2004-12-14 | 2006-06-29 | Canon Inc | 画像処理装置及び方法 |
US7646400B2 (en) * | 2005-02-11 | 2010-01-12 | Creative Technology Ltd | Method and apparatus for forming a panoramic image |
JP2007043466A (ja) * | 2005-08-03 | 2007-02-15 | Mitsubishi Electric Corp | 画像合成装置並びに多カメラ監視システム |
CN1958266B (zh) * | 2005-11-04 | 2011-06-22 | 鸿富锦精密工业(深圳)有限公司 | 模具结构 |
US20070250898A1 (en) * | 2006-03-28 | 2007-10-25 | Object Video, Inc. | Automatic extraction of secondary video streams |
US7719568B2 (en) * | 2006-12-16 | 2010-05-18 | National Chiao Tung University | Image processing system for integrating multi-resolution images |
-
2007
- 2007-11-09 US US11/937,659 patent/US20090122195A1/en not_active Abandoned
-
2008
- 2008-09-17 JP JP2008237724A patent/JP2009124685A/ja active Pending
- 2008-10-02 EP EP08017405A patent/EP2059046B1/en not_active Expired - Fee Related
- 2008-10-02 DE DE602008002303T patent/DE602008002303D1/de active Active
- 2008-11-07 CN CN2008101741068A patent/CN101431617B/zh not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101562706B (zh) * | 2009-05-22 | 2012-04-18 | 杭州华三通信技术有限公司 | 一种图像拼接方法和设备 |
CN103679665A (zh) * | 2014-01-03 | 2014-03-26 | 北京华力创通科技股份有限公司 | 几何校正方法及装置 |
CN107040783A (zh) * | 2015-10-22 | 2017-08-11 | 联发科技股份有限公司 | 视频编码***的非拼接图片的视频编码、解码方法及装置 |
CN110180151A (zh) * | 2019-05-06 | 2019-08-30 | 南昌嘉研科技有限公司 | 一种游泳训练辅助*** |
CN110223250A (zh) * | 2019-06-02 | 2019-09-10 | 西安电子科技大学 | 基于单应变换的sar几何校正方法 |
CN110223250B (zh) * | 2019-06-02 | 2021-11-30 | 西安电子科技大学 | 基于单应变换的sar几何校正方法 |
CN111277764A (zh) * | 2020-03-10 | 2020-06-12 | 北京卓视科技有限公司 | 基于gpu加速的4k实时视频全景拼接方法 |
CN113747002A (zh) * | 2020-05-29 | 2021-12-03 | 青岛海信移动通信技术股份有限公司 | 终端及图像拍摄方法 |
CN113747002B (zh) * | 2020-05-29 | 2023-04-07 | 青岛海信移动通信技术股份有限公司 | 终端及图像拍摄方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101431617B (zh) | 2011-07-27 |
EP2059046B1 (en) | 2010-08-25 |
EP2059046A1 (en) | 2009-05-13 |
US20090122195A1 (en) | 2009-05-14 |
JP2009124685A (ja) | 2009-06-04 |
DE602008002303D1 (de) | 2010-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101431617B (zh) | 用于合并视频以实时显示的方法和*** | |
EP3163535B1 (en) | Wide-area image acquisition method and device | |
KR101899877B1 (ko) | 확대된 영상의 화질을 개선하기 위한 장치 및 방법 | |
EP2641400B1 (en) | System for geometrically calibrating a plurality of projectors, method for geometrically calibrating a plurality of projectors and corresponding computer program | |
CN101673395B (zh) | 图像拼接方法及装置 | |
US9172871B2 (en) | Method and device for multi-camera image correction | |
US10373360B2 (en) | Systems and methods for content-adaptive image stitching | |
US20110025830A1 (en) | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation | |
US11282232B2 (en) | Camera calibration using depth data | |
US20080024390A1 (en) | Method and system for producing seamless composite images having non-uniform resolution from a multi-imager system | |
US20120113238A1 (en) | Drawn image sharing apparatus, drawn image sharing system, and drawn image sharing method | |
US8842168B2 (en) | Multi-view video and still 3D capture system | |
WO2016204068A1 (ja) | 画像処理装置および画像処理方法、ならびにプロジェクションシステム | |
WO2011014421A2 (en) | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation | |
US8019180B2 (en) | Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager | |
CN114697623A (zh) | 投影面选取和投影图像校正方法、装置、投影仪及介质 | |
CN109785225B (zh) | 一种用于图像矫正的方法和装置 | |
CN102387307A (zh) | 图像处理***和图像处理方法 | |
JP2003348500A (ja) | 投射画像の調整方法、画像投射方法および投射装置 | |
WO2020259444A1 (zh) | 一种图像处理方法及相关设备 | |
JP4595313B2 (ja) | 撮像表示装置及び方法、画像送受信システム | |
US9380285B2 (en) | Stereo image processing method, stereo image processing device and display device | |
JP2014176053A (ja) | 画像信号処理装置 | |
JP5509986B2 (ja) | 画像処理装置、画像処理システム、及び画像処理プログラム | |
GB2616188A (en) | Method and apparatus for creating panoramic picture on basis of large screen, and intelligent terminal and medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110727 Termination date: 20161107 |