CN104184961A - 用于生成全景视频的移动设备和*** - Google Patents

用于生成全景视频的移动设备和*** Download PDF

Info

Publication number
CN104184961A
CN104184961A CN201310193080.2A CN201310193080A CN104184961A CN 104184961 A CN104184961 A CN 104184961A CN 201310193080 A CN201310193080 A CN 201310193080A CN 104184961 A CN104184961 A CN 104184961A
Authority
CN
China
Prior art keywords
video
mobile device
processing unit
cameras
graphics processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310193080.2A
Other languages
English (en)
Inventor
贾震
黄莉莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Priority to CN201310193080.2A priority Critical patent/CN104184961A/zh
Priority to US13/974,229 priority patent/US20140347439A1/en
Priority to TW102140648A priority patent/TWI503786B/zh
Priority to DE102013019684.1A priority patent/DE102013019684A1/de
Publication of CN104184961A publication Critical patent/CN104184961A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明提供一种用于生成全景视频的***和移动设备。***包括多个摄像头和移动设备。移动设备进一步包括中央处理单元和图形处理单元。多个摄像头用于在平面360°范围内从不同方向采集视频帧以生成多路视频流。中央处理单元配置为向图形处理单元发出处理多路视频流的指令。图形处理单元配置为根据指令利用并行计算拼接多路视频流的同步视频帧以实时生成全景视频。本发明提供了一种同步采集视频帧并实时生成全景视频而不需要旋转移动设备的技术。

Description

用于生成全景视频的移动设备和***
技术领域
本发明总地涉及移动设备领域,且更具体地涉及用于生成全景视频的移动设备和***。
背景技术
随着科技的发展和社会的进步,人们对信息的需求越来越多,要求也越来越高。人类所获得的外界信息80%以上来自于视觉,而图像或视频是人类获得视觉信息的主要途径。全景成像技术是一种可以呈现360°范围内的场景信息的技术,使得观众不受固定视角观察场景的限制。全景图是把分开的图像信息在一幅图像上完整地表现出来。全景图的表示模式主要有柱面全景图,立方体全景图和球面全景图。全景视频包括在不同时刻采集的全景图序列,其承载的信息量非常丰富,可以实时地表现变化的场景。
现在,市场上大部分移动设备仅仅具有一个或两个摄像头。为了获得全景图片,用户需要手持移动设备水平旋转并且使用移动设备的摄像头从不同的角度拍摄数张图片,之后利用软件将这些图片合成为一张全景图片。一般地,合成全景图片的过程是在移动设备的中央处理单元(CentralProcessing Unit,CPU)中进行的。旋转移动设备使得所拍摄的图片不是同步的。特别是在场景中存在运动的物体时,会造成软件无法正确合成全景图片。另外,软件合成全景图片时,需要拼接数张图片。因此,其对于实际拍照时要重叠的部分有面积的要求,这对于用户不好控制。由于合成全景图片的运算量比较大,所以耗时也比较长。全景视频的帧数一般为20-30fps。要达到实时生成全景视频的速率,则每秒钟的计算量将会是数十倍于全景图的计算量,这对硬件***的处理能力和软件***的工作效率都是极大的挑战。因此,基于当前用来生成全景图的移动设备的硬件***和软件***来实时生成全景视频几乎是不可能的。
发明内容
因此,需要提供一种移动设备来解决无法实时生成全景视频的问题。
在一个实施例中,公开了一种用于生成全景视频的***。所述***包括多个摄像头和移动设备。移动设备进一步包括CPU和图形处理单元(Graphics Processing Unit,GPU)。多个摄像头用于在平面360°范围内从不同方向采集视频帧以生成多路视频流。CPU配置为向图形处理单元发出处理多路视频流的指令。图形处理单元配置为根据指令利用并行计算拼接多路视频流的同步视频帧以实时生成全景视频。
优选地,图形处理单元进一步配置为基于统一计算设备架构(ComputeUnified Device Architecture,CUDA)拼接同步视频帧。
优选地,多个摄像头集成在移动设备中,其中多个摄像头中的每一个包括CMOS传感器接口,其用于将多路视频流中对应的一路传送到图形处理单元。
优选地,多个摄像头设置在与移动设备的顶表面平行的同一平面上。
优选地,多个摄像头集成到单独的视频拍摄模块中,视频拍摄模块进一步包括通用串行总线(USB)接口,用于连接到移动设备的USB接口。
优选地,多个摄像头的分辨率和刷新率基于视频拍摄模块的USB接口的带宽来确定。
优选地,多个摄像头设置在当视频拍摄模块与移动设备相连接时与移动设备的顶表面平行的同一平面上。
优选地,多个摄像头能够旋转使得多个摄像头的光轴的方向在当视频拍摄模块与移动设备相连接时在过摄像头和移动设备的中垂线的平面内可调。
优选地,多个摄像头是联动的。
优选地,多个摄像头中的任意一个与其相邻摄像头之间存在重叠的视场部分,重叠的视场部分在多个摄像头的光轴所在的面内的角度为3°至5°。
优选地,多个摄像头中的每一个的视角不小于60°。
优选地,移动设备进一步包括设备存储器,用于缓存将由图形处理单元所处理的多路视频流以及由图形处理单元所生成的全景视频。
优选地,移动设备进一步包括显示屏,用于至少部分地显示全景视频。
优选地,图形处理单元进一步配置为根据用户指令调整全景视频在显示屏上的显示内容。
优选地,图形处理单元进一步配置为根据用户指令对全景视频进行对象追踪;显示屏进一步用于显示所追踪的对象。
优选地,图形处理单元进一步配置为对全景视频进行防抖运算。
在另一个实施例中,提供一种用于生成全景视频的移动设备。所述移动设备包括CPU、图形处理单元和USB接口。USB接口用于接收来自多个摄像头的多路视频流。CPU配置为向图形处理单元发出处理多路视频流的指令。图形处理单元配置为根据指令利用并行计算拼接多路视频流的同步视频帧以实时生成全景视频。
优选地,图形处理单元进一步配置为基于CUDA拼接同步视频帧。
优选地,移动设备进一步包括设备存储器,用于缓存将由图形处理单元所处理的多路视频流以及由图形处理单元所生成的全景视频。
优选地,移动设备进一步包括显示屏,用于至少部分地显示全景视频。
本发明提供了一种同步采集视频帧并实时生成全景视频而不需要旋转移动设备的技术。
以下结合附图,详细描述本发明的优点和特征。
附图说明
为了使本发明的优点更容易理解,将通过参考在附图中示出的具体实施例更详细地描述上文简要描述的本发明。可以理解这些附图只描绘了本发明的典型实施例,因此不应认为是对其保护范围的限制,通过附图以附加的特性和细节描述和解释本发明。
图1示出了根据本发明一个实施例的用于生成全景视频的***的示范性框图;
图2A示出了根据本发明一个实施例的包括8个60°视角的摄像头的***的示意性俯视图;
图2B示出了根据本发明另一个实施例的包括6个65°视角的摄像头的***的示意性俯视图;
图3A示出了根据本发明一个实施例的***的示意图,其中多个摄像头集成在移动设备中;以及
图3B示出了根据本发明另一个实施例的***的示意图,其中多个摄像头集成到单独的视频拍摄模块中。
具体实施方式
在下文的讨论中,给出了细节以便提供对本发明更为彻底的理解。然而,本领域技术人员可以了解,本发明可以无需一个或多个这些细节而得以实施。在特定的示例中,为了避免与本发明发生混淆,对于本领域公知的一些技术特征未进行详尽地描述。
本发明公开了一种用于生成全景视频的***。图1示出了根据本发明一个实施例的用于生成全景视频的***100的示范性框图。***100包括多个摄像头101和移动设备。移动设备进一步包括CPU102和GPU103。例如,移动设备可以包括Tegra处理器,CPU102和GPU103集成在Tegra处理器内。GPU103在浮点运算和并行运算方面的能力远远强于CPU102,其可以并行处理大量计算数据。多个摄像头101用于在平面360°范围内从不同方向采集视频帧以生成多路视频流。CPU102配置为向GPU103发出处理多路视频流的指令。GPU103配置为根据指令利用并行计算拼接多路视频流的同步视频帧以实时生成全景视频。本发明的实施例利用GPU103强大的并行计算能力来更加快速地拼接同步视频帧以生成全景视频并且所生成的全景视频可以是高清的。
在一个实施例中,通过多个摄像头101从不同的方向进行全方位覆盖的视频帧采集,可以生成某时刻周围场景的全景图。采用多个摄像头的方式使用户不需要旋转移动设备即可获得全景视频所需的视频帧并且所获得的视频帧是同步的。该方法可有效地将运动物体清晰地呈现在全景视频内。多个摄像头101中的各个摄像头之间的位置关系是固定的,因此无需用户控制所拍摄的场景的重叠部分的面积,为用户提供了便利。每个摄像头可以包括镜头、图像传感器和数字信号处理芯片(DSP)等。景物通过镜头生成的光学图像投射到图像传感器表面上。图像传感器将经过模数(A/D)转换后变为数字图像信号。之后将数字图像信号送到DSP中进行处理即可输出为视频帧。连续的视频帧组成视频流。镜头可以包括透镜、镜筒和间隔环等。镜头可以采用玻璃镜头、塑胶镜头和半塑胶半玻璃镜头。图像传感器可以是互补式金属氧化物半导体(CMOS)传感器或电荷耦合元件(CCD)传感器。CCD传感器的灵敏度高、噪声小、信噪比大。CMOS传感器的集成度高、功耗低、成本低。
可选地,***100还可以包括一个或多个闪光灯,用于在光线较暗时增加曝光量。
优选地,多个摄像头101中的任意一个与其相邻摄像头之间存在重叠的视场部分,重叠的视场部分在多个摄像头101的光轴所在的面内的角度α为3°至5°。在拼接同步视频帧时可以利用来自相邻场景的视频帧的重叠部分进行图像匹配,因此多个摄像头101的相邻摄像头之间存在适当的重叠的视场部分有利于后续对同步视频帧的有效拼接。该重叠的视场部分太大则增加计算量,太小则可能导致图像匹配不准确。角度α为3°至5°的重叠的视场部分可以满足图像匹配的要求,也可以保证合理地利用硬件和软件资源。
优选地,多个摄像头101中的每一个的视角不小于60°。因为多个摄像头101的总视角需要覆盖平面360°的范围,因此,多个摄像头101中的每一个的视角限制了摄像头的最小数目。在每个摄像头的视角确定的情况下,可以计算出摄像头的最小数目。优选地,多个摄像头101的所有摄像头具有相同的视角,有利于多个摄像头101的设计和安装,并且有利于随后的视频帧的拼接。在一个实施例中,摄像头的数目为8个,每个摄像头的视角是60°。图2A示出了根据本发明一个实施例的包括8个60°视角的摄像头的***的示意性俯视图。其中,示出了8个摄像头各自的视场1、2、……8,以及视场6和视场7之间的重叠部分的角度α。在另一个实施例中,摄像头的数目为6个,每个摄像头的视角是65°。图2B示出了根据本发明另一个实施例的包括6个65°视角的摄像头的***的示意性俯视图。其中,示出了6个摄像头各自的视场1、2、……6,以及视场4和视场5之间的重叠部分的角度α。当每个摄像头的视角增大时,相应的摄像头的数目可以减小。
在一个实施例中,多个摄像头101集成在移动设备中。多个摄像头101中的每一个包括CMOS传感器接口(CMOS Sensor Interface,CSI),其用于将多路视频流中对应的一路传送到GPU103。CSI包括在移动产业处理器接口(Mobile Industry Processor Interface,MIPI)中,受MIPI协议的制约,其适用于移动设备。图3A示出了根据本发明一个实施例的***300a的示意图,其中多个摄像头301a集成在移动设备中。将多个摄像头集成在移动设备中有利于与现有技术结合,设计方便。同时这样的一体化设计方便用户使用。
优选地,多个摄像头301a设置在与移动设备的顶表面303a平行的同一平面302a上。移动设备的顶表面303a指移动设备正常竖直使用时的上表面。例如,当使移动设备的顶表面303a与地面平行时,多个摄像头301a可以保持各光轴处于同一水平面上,因此所拍摄的场景位于同一水平高度。
在另一个实施例中,多个摄像头集成到单独的视频拍摄模块中。视频拍摄模块进一步包括USB接口,用于连接到移动设备的USB接口。图3B示出了根据本发明另一个实施例的***300b的示意图,其中多个摄像头301b集成到单独的视频拍摄模块中。将多个摄像头集成到单独的视频拍摄模块中有利于减轻移动设备的重量,因此用户携带更方便。采用USB接口使得视频拍摄模块可以实现热插拔。视频拍摄模块的USB接口与移动设备的USB接口相匹配,可以采用USB2.0接口或USB3.0接口。可选地,视频拍摄模块的USB接口是公口,移动设备的USB接口是母口。
多个摄像头301b的分辨率(像素)和刷新率(帧数)可以基于视频拍摄模块的USB接口的带宽来确定。对于特定的USB接口,其带宽(传输速率)是确定的。摄像头的分辨率与刷新率的乘积与USB接口的带宽成正比,从而充分利用带宽。
在一个实施例中,多个摄像头301b可以设置在当视频拍摄模块与移动设备相连接时与移动设备的顶表面303b平行的同一平面302b上。例如,当视频拍摄模块与移动设备相连接且移动设备正常竖直使用时时,多个摄像头301b可以保持各光轴处于同一水平面上,因此所拍摄的场景也处于同一水平高度。
在一个实施例中,多个摄像头301b固定在视频拍摄模块中。在另一个实施例中,多个摄像头301b能够旋转使得多个摄像头301b的光轴的方向在当视频拍摄模块与移动设备相连接时在过摄像头和移动设备的中垂线的平面内可调。将当移动设备的顶表面303b与地面平行时沿移动设备的重力方向的直线定义为移动设备的中垂线。在图3B中,示出了移动设备的中垂线304以及过中垂线304和多个摄像头301b中的某一个摄像头的平面305。该摄像头的光轴方向在平面305内可调。由于摄像头的光轴方向是可调的,因此其可以拍摄更丰富的场景,而不必局限在某一平面上。可选地,多个摄像头301b是联动的。联动的摄像头使得调节更方便,并且有利于保持所有光轴方向在一个平面或近似锥面内。由于多个摄像头之间的位置关系是固定的,可以使后续的处理过程更简单。例如,当用户希望从高处拍摄下方的场景时,类似于监控设备的拍摄方式,用户可以对多个摄像头301b在各自的可调平面内加以调节。由于多个摄像头301b是联动的,通过将一个摄像头的光轴向移动设备的下方偏转使得所有摄像头的光轴向下方进行等量偏转。因此,用户可以根据需要方便地改变摄像头的拍摄角度,获得不同的场景图像。
返回参考图1,CPU102可以与GPU103通信,其通过向GPU103发送指令来控制GPU103处理各种任务。在本发明的实施例中,GPU103接收到来自CPU102的指令之后,拼接来自多个摄像头101的多路视频流的同步视频帧。拼接同步视频帧的过程包括图像预处理、图像匹配、图像再投影和图像融合等。
采用图像预处理对视频帧进行模式化的先期处理,诸如修改视频帧的色彩模式、视频帧的大小或者进行滤波、畸变校正等,以提供能够满足后续的处理要求且易于处理的图像。图像匹配是根据视频帧数据或摄像头模型,将在不同方向使用不同摄像头所采集到的两幅或两幅以上的视频帧进行空间上的对齐的过程。例如,可以根据视频帧的重叠的视场部分来实施图像匹配。GPU103可以采用基于特征的匹配算法或基于区域的匹配算法来实施图像匹配。优选地,GPU103采用基于区域的匹配算法来实施图像匹配。基于区域的匹配算法的逻辑判断和分支处理比较少,包括大量高度并行化的重复性计算,因此其有利于在GPU上实现并且可以取得更好的加速性能。基于区域的匹配算法包括利用整幅图像的信息建立两幅图像之间的相似性关系,然后采用某种搜索方法寻找相似性度量值最大或最小的变换模型的参数值。例如,以待匹配图像中M的待匹配点P为中心像素来创建匹配窗口(或匹配模板)。用匹配窗口内图像的灰度信息来表征该像素的特征,同时在匹配图像N的搜索区域S中取出与匹配窗口同样大小的像素邻域。根据相似性度量准则计算两个窗口之间的相似程度。图像再投影是求解所匹配的视频帧间的变换模型,并且利用匹配参数将所有的同步视频帧投影到同一坐标系下以合成一副图像的过程。图像融合是对所合成的图像进行平滑处理,消除图像合成时在重叠区域上出现的拼接缝和匹配误差以改善所拼接的图像的视觉效果的过程。由于在拼接同步视频帧的过程中存在大量的并行计算,而GPU有强大的并行计算能力,因此其非常适合用来拼接同步视频帧。GPU处理视频帧的速度比CPU快,可以满足实时生成全景视频的要求。
在一个实施例中,GPU103基于单指令多数据(Single InstructionMultiple Data,SIMD)机制,其包括多个流处理器,用于并行地执行拼接同步视频帧的任务。优选地,GPU103可以配置为基于CUDA拼接同步视频帧。在CUDA编程环境中,CPU102作为主机(Host),而GPU103作为设备(Device)。CPU102负责进行逻辑性强的事务处理和串行计算,以及GPU103上线程的创建、显存的申请与数据存取等工作。GPU103专用于执行高度线程化的并行计算。在本发明的实施例中,在GPU103中,拼接同步视频帧的任务被组织成大量的并行线程,用于在流处理器中执行,该拼接视频帧的任务包括图像预处理、图像匹配、图像再投影和图像融合等。CUDA采用统一处理架构,可以使得编程难度降低并且可以简单地利用GPU的并行运算能力进行高强度运算。
优选地,移动设备进一步包括设备存储器104,用于缓存将由GPU103所处理的多路视频流以及由GPU103所生成的全景视频。设备存储器104可以是独立的存储器或者是驻留在移动设备的***存储器内的存储器。在一个实施例中,多个摄像头101将多路视频流经由移动设备中的数据总线直接传送到设备存储器104。之后GPU103读取存储在设备存储器104中的多路视频流以进行处理。使用设备存储器104来缓存多路视频流有利于同步多个摄像头的传输速率和GPU103的处理速度。当GPU103利用多路视频流生成全景视频之后,可以将所生成的全景视频存储在设备存储器104中。
优选地,移动设备进一步包括***存储器105。在一个实施例中,多个摄像头101将多路视频流经由移动设备中的数据总线传送到***存储器105,之后传送到设备存储器104。此外,存储在设备存储器104中的由GPU103所生成的全景视频可以传送到***存储器105中。CPU102可以读取存储在***存储器105中的全景视频用于进一步的处理。
优选地,移动设备进一步包括显示屏106,用于至少部分地显示全景视频。存储在设备存储器104中的全景视频可以经由显示屏接口输出到显示屏106上用于显示。
优选地,全景视频的每个帧都是可编辑的。可以在生成全景视频的同时由GPU103实时地对全景视频的帧进行编辑。还可以由CPU102对存储在***存储器105中的全景视频进行编辑。类似地,可以在采集视频帧期间以及在对视频帧进行处理之后实时地响应来自于用户的控制指令。
优选地,GPU103进一步配置为根据用户指令调整全景视频在显示屏106上的显示内容。移动设备可以通过显示屏或按键接收用户调整显示内容的指令。GPU103根据用户输入的指令调整显示内容,诸如调整视频的亮度、对比度、色调等等或者改变全景视频的大小、观看角度等。全景视频包括平面360°范围内的场景信息,用户可以根据需要自由地选择希望观看的部分。
可选地,GPU103进一步配置为根据用户指令对全景视频进行对象追踪;显示屏106进一步用于显示所追踪的对象。移动设备可以通过显示屏或按键接收用户追踪对象的指令。GPU103可以首先根据用户的指令检测待追踪的对象,即目标对象。检测就是从全景视频的视频帧序列中将感兴趣的区域(目标对象区域)从背景图像中提取出来,形成目标模板。之后GPU103在视频帧序列中寻找与目标模板最相似的图像的位置以追踪对象。GPU103可以使用基于对象特征点、对象模板或对象运动信息的对象追踪方法来追踪对象。
可选地,GPU103可以进一步配置为对全景视频进行防抖运算。防抖运算包括图像预处理、帧间运动估计、运动补偿等。GPU103可以首先对全景视频的视频帧进行图像预处理,包括采用例如中值滤波、高斯去噪等来消除随机的点状噪声,同时对图像进行归一化,例如转变颜色空间以消除光照的影响。帧间运动估计算法可以包括块匹配算法、代表点比较法、边沿检测匹配算法、位平面匹配算法、投影算法等。优选地,采用块匹配算法,其将每个视频帧分为多个互不重叠的宏块,并且认为宏块内所有像素的位移量相同。对于每个宏块,即当前块,在参考视频帧中的某一给定的搜素范围内根据特定的匹配准则找出与该宏块最相似的块,即匹配块。匹配块与当前块的相对位移是运动矢量。运动补偿是在运动矢量的基础上,利用前一帧对当前帧进行补偿。由于全景视频包括平面360°范围内的场景信息,因此当利用前一帧对当前帧进行补偿时,边缘部分不会出现阴影。
优选地,GPU103基于CUDA实施上述的显示内容的调整、对象追踪和防抖运算。
根据本发明另一方面,还公开了一种用于生成全景视频的移动设备。该移动设备包括CPU、GPU和USB接口。USB接口用于接收来自多个摄像头的多路视频流。CPU配置为向GPU发出处理多路视频流的指令。GPU配置为根据指令利用并行计算拼接多路视频流的同步视频帧以实时生成全景视频。
可选地,移动设备的USB接口与多个摄像头所位于的视频拍摄模块所使用的USB接口相匹配,其可以是母口。移动设备的USB接口可以是USB2.0接口或USB3.0接口。
移动设备可以进一步包括设备存储器,用于缓存将由GPU所处理的多路视频流以及由GPU所生成的全景视频。
移动设备可以进一步包括显示屏,用于至少部分地显示全景视频。
在上面关于用于生成全景视频的***的实施例描述中,已经描述了上述用于生成全景视频的移动设备所涉及的USB接口、CPU、GPU、设备存储器和显示屏。为了简洁,在此省略其具体描述。本领域的技术人员参考图1和图3B并结合上面的描述能够理解其具体结构和运行方式。
为了进行说明,前述描述参照了具体实施例进行描述。然而,上文的示例性的讨论并非意欲是无遗漏地或将本发明限制在所公开的明确形式上。鉴于以上教导,也有可能存在很多变型和变化。选择并描述了实施例,以最好地解释本发明的原理和实际应用,以使本领域的其他技术人员最好地利用本发明以及具有各种变型的各种实施例,以能适用于期望的特定用途。
由此描述了根据本发明的实施例。虽然本公开已在特定实施例中予以描述,但是应当了解,本发明不应理解为由这些实施例所限制,而应根据权利要求进行理解。

Claims (20)

1.一种用于生成全景视频的***,包括多个摄像头和移动设备,所述移动设备进一步包括中央处理单元和图形处理单元,其中
所述多个摄像头用于在平面360°范围内从不同方向采集视频帧以生成多路视频流;
所述中央处理单元配置为向所述图形处理单元发出处理所述多路视频流的指令;以及
所述图形处理单元配置为根据所述指令利用并行计算拼接所述多路视频流的同步视频帧以实时生成全景视频。
2.如权利要求1所述的***,其特征在于,所述图形处理单元进一步配置为基于统一计算设备架构拼接所述同步视频帧。
3.如权利要求1所述的***,其特征在于,所述多个摄像头集成在所述移动设备中,其中所述多个摄像头中的每一个包括CMOS传感器接口,其用于将所述多路视频流中对应的一路传送到所述图形处理单元。
4.如权利要求3所述的***,其特征在于,所述多个摄像头设置在与所述移动设备的顶表面平行的同一平面上。
5.如权利要求1所述的***,其特征在于,所述多个摄像头集成到单独的视频拍摄模块中,所述视频拍摄模块进一步包括USB接口,用于连接到所述移动设备的USB接口。
6.如权利要求5所述的***,其特征在于,所述多个摄像头的分辨率和刷新率基于所述视频拍摄模块的所述USB接口的带宽来确定。
7.如权利要求5所述的***,其特征在于,所述多个摄像头设置在当所述视频拍摄模块与所述移动设备相连接时与所述移动设备的顶表面平行的同一平面上。
8.如权利要求7所述的***,其特征在于,所述多个摄像头能够旋转使得所述多个摄像头的光轴的方向在当所述视频拍摄模块与所述移动设备相连接时在过所述摄像头和所述移动设备的中垂线的平面内可调。
9.如权利要求8所述的***,其特征在于,所述多个摄像头是联动的。
10.如权利要求1所述的***,其特征在于,所述多个摄像头中的任意一个与其相邻摄像头之间存在重叠的视场部分,所述重叠的视场部分在所述多个摄像头的光轴所在的面内的角度为3°至5°。
11.如权利要求1所述的***,其特征在于,所述多个摄像头中的每一个的视角不小于60°。
12.如权利要求1所述的***,其特征在于,所述移动设备进一步包括设备存储器,用于缓存将由所述图形处理单元所处理的所述多路视频流以及由所述图形处理单元所生成的所述全景视频。
13.如权利要求1所述的***,其特征在于,所述移动设备进一步包括显示屏,用于至少部分地显示所述全景视频。
14.如权利要求13所述的***,其特征在于,所述图形处理单元进一步配置为根据用户指令调整所述全景视频在所述显示屏上的显示内容。
15.如权利要求13所述的***,其特征在于,所述图形处理单元进一步配置为根据用户指令对所述全景视频进行对象追踪;所述显示屏进一步用于显示所追踪的对象。
16.如权利要求1所述的***,其特征在于,所述图形处理单元进一步配置为对所述全景视频进行防抖运算。
17.一种用于生成全景视频的移动设备,包括中央处理单元、图形处理单元和USB接口,其中
所述USB接口用于接收来自多个摄像头的多路视频流;
所述中央处理单元配置为向所述图形处理单元发出处理所述多路视频流的指令;以及
所述图形处理单元配置为根据所述指令利用并行计算拼接所述多路视频流的同步视频帧以实时生成全景视频。
18.如权利要求17所述的移动设备,其特征在于,所述图形处理单元进一步配置为基于统一计算设备架构拼接所述同步视频帧。
19.如权利要求17所述的移动设备,其特征在于,所述移动设备进一步包括设备存储器,用于缓存将由所述图形处理单元所处理的所述多路视频流以及由所述图形处理单元所生成的所述全景视频。
20.如权利要求17所述的移动设备,其特征在于,所述移动设备进一步包括显示屏,用于至少部分地显示所述全景视频。
CN201310193080.2A 2013-05-22 2013-05-22 用于生成全景视频的移动设备和*** Pending CN104184961A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201310193080.2A CN104184961A (zh) 2013-05-22 2013-05-22 用于生成全景视频的移动设备和***
US13/974,229 US20140347439A1 (en) 2013-05-22 2013-08-23 Mobile device and system for generating panoramic video
TW102140648A TWI503786B (zh) 2013-05-22 2013-11-08 用於生成全景視頻的移動設備和系統
DE102013019684.1A DE102013019684A1 (de) 2013-05-22 2013-11-26 Mobilgerät und system zur erzeugung eines panoramavideos

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310193080.2A CN104184961A (zh) 2013-05-22 2013-05-22 用于生成全景视频的移动设备和***

Publications (1)

Publication Number Publication Date
CN104184961A true CN104184961A (zh) 2014-12-03

Family

ID=51935121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310193080.2A Pending CN104184961A (zh) 2013-05-22 2013-05-22 用于生成全景视频的移动设备和***

Country Status (3)

Country Link
US (1) US20140347439A1 (zh)
CN (1) CN104184961A (zh)
TW (1) TWI503786B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104767911A (zh) * 2015-04-28 2015-07-08 腾讯科技(深圳)有限公司 图像处理方法及装置
CN105187753A (zh) * 2015-08-06 2015-12-23 佛山六滴电子科技有限公司 一种录制全景视频的***
CN105516596A (zh) * 2015-12-30 2016-04-20 完美幻境(北京)科技有限公司 一种全景拍摄处理方法、装置及***
CN105721766A (zh) * 2014-12-22 2016-06-29 晶睿通讯股份有限公司 摄影装置控制方法及其摄影装置
CN105872353A (zh) * 2015-12-15 2016-08-17 乐视网信息技术(北京)股份有限公司 一种在移动设备上实现播放全景视频的***和方法
CN105894455A (zh) * 2016-06-27 2016-08-24 联想(北京)有限公司 拍照方法、装置及电子设备
CN105959562A (zh) * 2016-06-14 2016-09-21 完美幻境(北京)科技有限公司 获取全景拍摄数据的方法、装置以及便携式全景拍摄设备
CN105979242A (zh) * 2015-11-23 2016-09-28 乐视网信息技术(北京)股份有限公司 一种视频的播放方法和装置
CN106027886A (zh) * 2016-05-17 2016-10-12 深圳市极酷威视科技有限公司 一种全景视频实现同步帧的方法及***
CN106028115A (zh) * 2016-05-18 2016-10-12 乐视控股(北京)有限公司 视频播放方法和装置
CN106791886A (zh) * 2016-11-16 2017-05-31 深圳百科信息技术有限公司 一种基于视觉特性的全景视频分发方法和***
CN107027042A (zh) * 2017-04-19 2017-08-08 中国电子科技集团公司电子科学研究院 一种基于多gpu的全景实时视频流处理方法及装置
WO2017181839A1 (zh) * 2016-04-21 2017-10-26 深圳市圆周率软件科技有限责任公司 一种用于全景拍摄设备参数的标定***及方法
CN107396068A (zh) * 2017-08-30 2017-11-24 广州杰赛科技股份有限公司 全景视频同步拼接***、方法及全景视频显示装置
CN107959769A (zh) * 2016-10-17 2018-04-24 杭州海康威视数字技术股份有限公司 一种摄像机
CN108012155A (zh) * 2016-10-27 2018-05-08 联发科技股份有限公司 预拼接图像的视频编码方法、视频解码方法和相关的装置
CN108391050A (zh) * 2018-02-12 2018-08-10 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108702464A (zh) * 2017-10-16 2018-10-23 深圳市大疆创新科技有限公司 一种视频处理方法、控制终端及可移动设备
CN109688329A (zh) * 2018-12-24 2019-04-26 天津天地伟业信息***集成有限公司 一种针对高精度全景视频的防抖方法
CN109688327A (zh) * 2018-12-18 2019-04-26 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
CN111192230A (zh) * 2020-01-02 2020-05-22 北京百度网讯科技有限公司 基于多相机的图像处理方法、装置、设备和可读存储介质
CN112291593A (zh) * 2020-12-24 2021-01-29 湖北芯擎科技有限公司 数据同步方法和数据同步装置
CN113905171A (zh) * 2020-07-06 2022-01-07 瑞昱半导体股份有限公司 多路图像处理装置及方法

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544574B2 (en) * 2013-12-06 2017-01-10 Google Inc. Selecting camera pairs for stereoscopic imaging
US9565416B1 (en) 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
JP6434209B2 (ja) * 2013-12-20 2018-12-05 株式会社リコー 画像生成装置、画像生成方法、およびプログラム
CN105100688B (zh) * 2014-05-12 2019-08-20 索尼公司 图像处理方法、图像处理装置和监视***
CN104717470B (zh) * 2015-03-19 2017-10-10 天津大学 基于双路摄像头视频拼接的缓存与显示的装置与方法
CN104754231B (zh) * 2015-03-31 2019-02-19 Oppo广东移动通信有限公司 拍摄人物视频的方法及装置
US10582125B1 (en) * 2015-06-01 2020-03-03 Amazon Technologies, Inc. Panoramic image generation from video
EP3179712A1 (en) * 2015-12-10 2017-06-14 Thomson Licensing Method for generating or capturing a panoramic view, computer readable storage medium and apparatus configured to generate or capture a panoramic view
CN107872626B (zh) * 2016-09-26 2020-06-09 中国电信股份有限公司 全景视频播放方法和***以及用于全景视频播放的服务器
CN107948393A (zh) * 2016-10-13 2018-04-20 阿里巴巴集团控股有限公司 基于场景的应用操作方法、装置、终端设备和操作***
CN106572312B (zh) * 2016-11-16 2020-08-04 深圳市梦网视讯有限公司 一种全景视频自适应光照补偿方法和***
US11470249B1 (en) * 2017-01-02 2022-10-11 Gn Audio A/S Panoramic camera device
CN106815807B (zh) * 2017-01-11 2018-02-06 重庆市地理信息中心 一种基于gpu‑cpu协同的无人机影像快速镶嵌方法
US10882453B2 (en) 2017-04-01 2021-01-05 Intel Corporation Usage of automotive virtual mirrors
US10506196B2 (en) 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
US10506255B2 (en) 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
US11054886B2 (en) 2017-04-01 2021-07-06 Intel Corporation Supporting multiple refresh rates in different regions of panel display
US10904535B2 (en) 2017-04-01 2021-01-26 Intel Corporation Video motion processing including static scene determination, occlusion detection, frame rate conversion, and adjusting compression ratio
US10574995B2 (en) 2017-04-10 2020-02-25 Intel Corporation Technology to accelerate scene change detection and achieve adaptive content display
US10638124B2 (en) 2017-04-10 2020-04-28 Intel Corporation Using dynamic vision sensors for motion detection in head mounted displays
US10453221B2 (en) 2017-04-10 2019-10-22 Intel Corporation Region based processing
US10587800B2 (en) 2017-04-10 2020-03-10 Intel Corporation Technology to encode 360 degree video content
CN107026995A (zh) * 2017-04-13 2017-08-08 安徽森云科教设备有限公司 录播设备及录播方法
US10547846B2 (en) 2017-04-17 2020-01-28 Intel Corporation Encoding 3D rendered images by tagging objects
US10623634B2 (en) 2017-04-17 2020-04-14 Intel Corporation Systems and methods for 360 video capture and display based on eye tracking including gaze based warnings and eye accommodation matching
US10726792B2 (en) 2017-04-17 2020-07-28 Intel Corporation Glare and occluded view compensation for automotive and other applications
US10402932B2 (en) 2017-04-17 2019-09-03 Intel Corporation Power-based and target-based graphics quality adjustment
US10456666B2 (en) 2017-04-17 2019-10-29 Intel Corporation Block based camera updates and asynchronous displays
US10475148B2 (en) 2017-04-24 2019-11-12 Intel Corporation Fragmented graphic cores for deep learning using LED displays
US10939038B2 (en) 2017-04-24 2021-03-02 Intel Corporation Object pre-encoding for 360-degree view for optimal quality and latency
US10565964B2 (en) 2017-04-24 2020-02-18 Intel Corporation Display bandwidth reduction with multiple resolutions
US10158833B2 (en) 2017-04-24 2018-12-18 Intel Corporation High dynamic range imager enhancement technology
US10424082B2 (en) 2017-04-24 2019-09-24 Intel Corporation Mixed reality coding with overlays
US10979728B2 (en) 2017-04-24 2021-04-13 Intel Corporation Intelligent video frame grouping based on predicted performance
US10908679B2 (en) 2017-04-24 2021-02-02 Intel Corporation Viewing angles influenced by head and body movements
US10643358B2 (en) 2017-04-24 2020-05-05 Intel Corporation HDR enhancement with temporal multiplex
US10525341B2 (en) 2017-04-24 2020-01-07 Intel Corporation Mechanisms for reducing latency and ghosting displays
GB2571502B (en) * 2017-09-30 2022-07-13 Onyenobi Timothy Mobile device multi camera system
CN110121881B (zh) * 2017-11-10 2021-03-02 陈加志 一种双镜头智能摄像设备及其摄像方法
US10496579B2 (en) * 2017-11-13 2019-12-03 Bobby Gene Burrough Graphics processing unit with sensor interface
CN108510445A (zh) * 2018-03-30 2018-09-07 长沙全度影像科技有限公司 一种全景图像拼接方法
CN113469200A (zh) 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 数据处理方法和***、存储介质、计算设备
CN114885087A (zh) * 2021-02-05 2022-08-09 三赢科技(深圳)有限公司 全景拍照装置及全景图像的拍摄方法
CN113225491B (zh) * 2021-04-01 2023-01-31 桂林电子科技大学 一种嵌入式多镜头全景视频成像方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050152447A1 (en) * 2004-01-09 2005-07-14 Jouppi Norman P. System and method for control of video bandwidth based on pose of a person
CN101082766A (zh) * 2006-06-01 2007-12-05 上海杰图软件技术有限公司 一种快速采集全景图像的设备和方法
US20100097442A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Controller in a Camera for Creating a Panoramic Image
TW201228332A (en) * 2010-12-20 2012-07-01 Hui-Chuan Chien Mobile electronic device
TW201233156A (en) * 2011-01-26 2012-08-01 Altek Corp Method and system for controlling external lens

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120229596A1 (en) * 2007-03-16 2012-09-13 Michael Kenneth Rose Panoramic Imaging and Display System With Intelligent Driver's Viewer
JP5593695B2 (ja) * 2009-12-28 2014-09-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
CN102457713B (zh) * 2010-10-29 2014-06-25 西门子公司 轨道侧故障检测***及其实现方法和装置
JP5020398B1 (ja) * 2011-06-29 2012-09-05 パナソニック株式会社 画像変換装置、カメラ、画像変換方法およびプログラム
CN104350734B (zh) * 2012-06-11 2017-12-12 索尼电脑娱乐公司 图像生成设备以及图像生成方法
US20140321771A1 (en) * 2013-04-24 2014-10-30 Qualcomm Incorporated Techniques for real-time clearing and replacement of objects

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050152447A1 (en) * 2004-01-09 2005-07-14 Jouppi Norman P. System and method for control of video bandwidth based on pose of a person
CN101082766A (zh) * 2006-06-01 2007-12-05 上海杰图软件技术有限公司 一种快速采集全景图像的设备和方法
US20100097442A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Controller in a Camera for Creating a Panoramic Image
TW201228332A (en) * 2010-12-20 2012-07-01 Hui-Chuan Chien Mobile electronic device
TW201233156A (en) * 2011-01-26 2012-08-01 Altek Corp Method and system for controlling external lens

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105721766A (zh) * 2014-12-22 2016-06-29 晶睿通讯股份有限公司 摄影装置控制方法及其摄影装置
CN104767911A (zh) * 2015-04-28 2015-07-08 腾讯科技(深圳)有限公司 图像处理方法及装置
CN105187753A (zh) * 2015-08-06 2015-12-23 佛山六滴电子科技有限公司 一种录制全景视频的***
CN105979242A (zh) * 2015-11-23 2016-09-28 乐视网信息技术(北京)股份有限公司 一种视频的播放方法和装置
CN105872353A (zh) * 2015-12-15 2016-08-17 乐视网信息技术(北京)股份有限公司 一种在移动设备上实现播放全景视频的***和方法
CN105516596A (zh) * 2015-12-30 2016-04-20 完美幻境(北京)科技有限公司 一种全景拍摄处理方法、装置及***
US11024057B2 (en) 2016-04-21 2021-06-01 Shenzhen Pisoftware Technology Co., Ltd. Calibration system and method for panoramic photographing device parameter
WO2017181839A1 (zh) * 2016-04-21 2017-10-26 深圳市圆周率软件科技有限责任公司 一种用于全景拍摄设备参数的标定***及方法
CN106027886A (zh) * 2016-05-17 2016-10-12 深圳市极酷威视科技有限公司 一种全景视频实现同步帧的方法及***
CN106028115A (zh) * 2016-05-18 2016-10-12 乐视控股(北京)有限公司 视频播放方法和装置
CN105959562A (zh) * 2016-06-14 2016-09-21 完美幻境(北京)科技有限公司 获取全景拍摄数据的方法、装置以及便携式全景拍摄设备
CN105894455B (zh) * 2016-06-27 2019-07-26 联想(北京)有限公司 拍照方法、装置及电子设备
CN105894455A (zh) * 2016-06-27 2016-08-24 联想(北京)有限公司 拍照方法、装置及电子设备
CN107959769A (zh) * 2016-10-17 2018-04-24 杭州海康威视数字技术股份有限公司 一种摄像机
CN108012155A (zh) * 2016-10-27 2018-05-08 联发科技股份有限公司 预拼接图像的视频编码方法、视频解码方法和相关的装置
CN108012155B (zh) * 2016-10-27 2020-01-07 联发科技股份有限公司 预拼接图像的视频编码方法、视频解码方法和相关的装置
CN106791886B (zh) * 2016-11-16 2020-03-17 深圳市梦网百科信息技术有限公司 一种基于视觉特性的全景视频分发方法和***
CN106791886A (zh) * 2016-11-16 2017-05-31 深圳百科信息技术有限公司 一种基于视觉特性的全景视频分发方法和***
CN107027042A (zh) * 2017-04-19 2017-08-08 中国电子科技集团公司电子科学研究院 一种基于多gpu的全景实时视频流处理方法及装置
CN107027042B (zh) * 2017-04-19 2020-08-07 中国电子科技集团公司电子科学研究院 一种基于多gpu的全景实时视频流处理方法及装置
CN107396068A (zh) * 2017-08-30 2017-11-24 广州杰赛科技股份有限公司 全景视频同步拼接***、方法及全景视频显示装置
CN108702464A (zh) * 2017-10-16 2018-10-23 深圳市大疆创新科技有限公司 一种视频处理方法、控制终端及可移动设备
CN108391050A (zh) * 2018-02-12 2018-08-10 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108391050B (zh) * 2018-02-12 2020-04-14 维沃移动通信有限公司 一种图像处理方法及移动终端
CN109688327A (zh) * 2018-12-18 2019-04-26 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
CN109688329B (zh) * 2018-12-24 2020-12-11 天津天地伟业信息***集成有限公司 一种针对高精度全景视频的防抖方法
CN109688329A (zh) * 2018-12-24 2019-04-26 天津天地伟业信息***集成有限公司 一种针对高精度全景视频的防抖方法
CN111192230A (zh) * 2020-01-02 2020-05-22 北京百度网讯科技有限公司 基于多相机的图像处理方法、装置、设备和可读存储介质
CN111192230B (zh) * 2020-01-02 2023-09-19 北京百度网讯科技有限公司 基于多相机的图像处理方法、装置、设备和可读存储介质
CN113905171A (zh) * 2020-07-06 2022-01-07 瑞昱半导体股份有限公司 多路图像处理装置及方法
CN113905171B (zh) * 2020-07-06 2024-04-26 瑞昱半导体股份有限公司 多路图像处理装置及方法
CN112291593A (zh) * 2020-12-24 2021-01-29 湖北芯擎科技有限公司 数据同步方法和数据同步装置
CN112291593B (zh) * 2020-12-24 2021-03-23 湖北芯擎科技有限公司 数据同步方法和数据同步装置

Also Published As

Publication number Publication date
US20140347439A1 (en) 2014-11-27
TW201445505A (zh) 2014-12-01
TWI503786B (zh) 2015-10-11

Similar Documents

Publication Publication Date Title
CN104184961A (zh) 用于生成全景视频的移动设备和***
CN113382168B (zh) 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法
KR101885779B1 (ko) 3 차원 비디오의 전송
WO2021012856A1 (zh) 一种全景图像的拍摄方法
US10148875B1 (en) Method and system for interfacing multiple channels of panoramic videos with a high-definition port of a processor
US11523101B2 (en) System and method for capturing omni-stereo videos using multi-sensors
CN107659774A (zh) 一种基于多尺度相机阵列的视频成像***及视频处理方法
WO2015081870A1 (zh) 一种图像处理方法、装置及终端
CN105488775A (zh) 一种基于六摄像机环视的柱面全景生成装置及方法
US11656722B1 (en) Method and apparatus for creating an adaptive bayer pattern
US10063792B1 (en) Formatting stitched panoramic frames for transmission
CN101422035A (zh) 光源推定装置、光源推定***与光源推定方法以及图像高分辨率化装置与图像高分辨率化方法
US11587259B2 (en) Fixed pattern calibration for multi-view stitching
WO2018121401A1 (zh) 一种全景视频图像的拼接方法及全景相机
WO2023005355A1 (zh) 图像防抖方法与电子设备
TWI615808B (zh) 全景即時影像處理方法
US10785470B2 (en) Image processing apparatus, image processing method, and image processing system
CN106131498B (zh) 全景视频拼接方法及装置
US20210303824A1 (en) Face detection in spherical images using overcapture
US10051192B1 (en) System and apparatus for adjusting luminance levels of multiple channels of panoramic video signals
WO2021149509A1 (ja) 撮像装置、撮像方法、及び、プログラム
Liao et al. Gpu parallel computing of spherical panorama video stitching
Popovic et al. State-of-the-art multi-camera systems
JP2011055084A (ja) 撮像装置及び電子機器
Peng et al. A low-cost implementation of a 360 vision distributed aperture system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141203