CN107103583A - 图像数据处理***和相关方法以及相关图像融合方法 - Google Patents
图像数据处理***和相关方法以及相关图像融合方法 Download PDFInfo
- Publication number
- CN107103583A CN107103583A CN201710083525.XA CN201710083525A CN107103583A CN 107103583 A CN107103583 A CN 107103583A CN 201710083525 A CN201710083525 A CN 201710083525A CN 107103583 A CN107103583 A CN 107103583A
- Authority
- CN
- China
- Prior art keywords
- image
- processing system
- source images
- data processing
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000007500 overflow downdraw method Methods 0.000 title description 2
- 238000002594 fluoroscopy Methods 0.000 claims abstract description 17
- 238000010586 diagram Methods 0.000 claims description 34
- 230000004927 fusion Effects 0.000 claims description 25
- 239000000872 buffer Substances 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000003672 processing method Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 11
- 230000001788 irregular Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 2
- 238000009738 saturating Methods 0.000 claims description 2
- 239000000155 melt Substances 0.000 claims 2
- 230000003139 buffering effect Effects 0.000 claims 1
- 241000251468 Actinopterygii Species 0.000 description 23
- 238000002156 mixing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012546 transfer Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241000700647 Variola virus Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/22—Cropping
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种图像数据处理***和用于处理图像的相关方法以及图像融合的方法。在图像数据处理***中处理全景图像的方法包括如下步骤：自至少一个图像输入接口接收多个源图像，其中多个源图像至少包括多个重叠部分；接收浏览视点和视角信息；基于浏览视点和视角信息，确定多个源图像的多个已裁剪图像；基于多个源图像的多个已裁剪图像，产生用于观看或预览的透视图像或全景图像。本发明提供的图像数据处理***和用于处理图像的相关方法以及图像融合的方法，可降低消耗的功率。
Description
技术领域
本发明是有关于图像处理，特别是有关于处理全景图像(panorama images)及其图像融合(image blending)的图像数据处理***及其相关方法。
背景技术
随着计算机技术的发展，全景图像的应用越来越普及。全景图像为具有异常大视野(field-of-view,FOV)、夸张的长宽比(aspect ratio)、或其组合的图像。在全景图像中，不牺牲分辨率的情况下，多个图像可被组合或拼接(stitch)在一起以增加视野。全景图像有时也被称为“全景”，它能提供360度的场景图。然而，拼接图像涉及大量的技术和图像处理。
近来，电子装置，例如移动或手持装置，在技术上变得越来越先进和多功能。举例来说，移动装置可接受邮件消息，具有先进的地址簿管理应用，允许多媒体播放，以及具有各种其他功能。由于具有多功能的电子装置使用方便，这些电子装置成为生活的必需品。
由于用户需求和行为的改变，全景图像的应用已成为手持装置的必需品。社交网络服务器可执行图像拼接以产生360度全景图像，并在客户端提供有观看者浏览或预览的全景图像。目前，当在客户端的观看者请求自服务器浏览或预览360度全景图像时，整个360度全景图像可自服务器传送至客户端，然后客户端装置可获得360度全景图像的对应部分以基于本地观看者的视点和视角来显示。
然而，由于整个360度全景图像将被传送，以及360度全景图像的分辨率比4K更高，需要大量的传送带宽以及本地***需要更强的计算能力以处理360度全景图像，由此消耗更大的功率。
相应地，需要处理全景图像的智能图像数据处理***及相关方法来解决上述技术问题。
发明内容
有鉴于此，本发明提出一种图像数据处理***和用于处理图像的相关方法以及图像融合的方法。
依据本发明一实施方式，提供一种在图像数据处理***中的图像处理方法。该方法包括：接收多个源图像，其中该多个源图像至少包括多个重叠部分；接收浏览视点和视角信息；基于该浏览视点和该视角信息，确定该多个源图像的多个已裁剪图像；基于该多个源图像的该多个已裁剪图像，产生用于观看或预览的透视图像或全景图像。
依据本发明另一实施方式，提供一种在图像数据处理***中融合第一图像和第二图像以产生融合图像的方法。该方法包括：基于该第一图像和该第二图像对应的内容，确定该第一图像和该第二图像之间的拼接缝；计算该拼接缝和该第一图像和该第二图像的至少一像素之间的距离，以产生距离图；以及根据该距离图，融合该第一图像和该第二图像，以产生已融合的图像。
依据本发明又一实施方式，提供一种图像数据处理***。该图像数据处理***包括：至少一图像输入接口，被配置为接收多个源图像，其中该多个源图像至少包括多个重叠部分；处理器，耦接于该至少一图像输入接口，被配置为自该至少一图像输入接口接收该多个源图像；接收浏览视点和视角信息；基于该浏览视点和该视角信息，确定该多个源图像的多个已裁剪图像；以及基于该多个源图像的该多个已裁剪图像，产生用于观看或预览的透视图像或全景图像。
依据本发明又一实施方式，提供一种在图像数据处理***和耦接于该图像数据处理***的云服务器之间执行处理图像的方法。其中，该云服务器存储多个源图像。该方法包括：在该云服务器端，自该图像数据处理***接收浏览视点和视角信息；在该云服务器端，基于该浏览视点和该视角信息，确定该多个源图像的多个已裁剪图像；以及在该云服务器端，传输该多个源图像的该多个已裁剪图像至该图像数据处理***；以使得根据自该云服务器接收该多个已裁剪图像，该图像数据处理***基于该多个源图像的该多个已裁剪图像，产生用于观看或预览的透视图像或全景图像。
本发明提供的图像数据处理***和用于处理图像的相关方法以及图像融合的方法，可降低消耗的功率。
附图说明
图1为根据本发明实施方式的图像数据处理***的示意图。
图2为根据本发明实施方式的全景图像的处理方法的流程图，其中该全景图像由多个源图像形成。
图3为根据本发明另一实施方式的融合两个图像的方法的流程图。
图4为根据本发明实施方式的与用户透视视点和视角一致的源图像、源图像的全景图像和裁剪区域。
图5A为根据本发明实施方式的地理坐标旋转和传感器旋转的结果的示意图。
图5B为在地理坐标旋转中使用的投影平面的示意图。
图5C为根据本发明实施方式的在传感器中使用的投影平面的示意图。
图6为根据本发明实施方式的旋转操作的示意图。
图7A为根据本发明实施方式的图像融合处理的示意图。
图7B为根据本发明实施方式的在距离图中基于距离信息确定阿尔法(alpha)值的表格。
图8为根据本发明实施方式的用于产生全景图像的融合面罩(blend mask)的示意图。
图9为根据本发明实施方式的利用云服务器提供视频上传或播放的图像数据处理***的示意图。
图10为根据本发明另一实施方式的在图像数据处理***和云服务器之间处理全景图像的方法的流程图。
图11为根据本发明实施方式的球面投影处理的映射表的示意图。
图12为根据本发明实施方式的图像融合处理的存储缓冲区重利用的示意图。
具体实施方式
以下描述仅用于说明本发明的基本原理，为不能限制本发明。本发明的范围应以权利要求界定的范围为准。
图1为根据本发明实施方式的图像数据处理***的示意图。图像数据处理***100可以为移动装置(例如，平板电脑、移动电话，或穿戴式计算设备)、能够处理图像或数据的便携式计算机、或者图像数据处理***100可以由多个设备来提供。图像数据处理***100也可由多芯片或单芯片来实现，例如，片上***或在移动设备中放置的移动处理器。举例来说，图像数据处理***100包括处理器110、接口(interface)120、图形处理单元(graphicsprocessing unit,GPU)130、存储单元140、显示器150，至少一个图像输入接口160、以及多个传感器或检测器170中的至少一个。处理器110、图像处理单元130、存储单元140、显示器150、至少一个图像输入接口160、以及多个传感器或检测器170可通过接口120而彼此耦接。处理器110可为中央处理单元(central processing unit,CPU)、通用处理器、数字信号处理器、或任意等效电路，但是本发明并非限于此。举例来说，存储单元140可以包括易失存储器(volatile memory)141、以及非易失存储器142。易失存储器141可为动态存储存储器、或静态随机存储器，以及非易失存储器142可为闪存、硬盘、固态硬盘等。举例来说，在图像数据处理***100上使用的应用的程序代码可预先存储于非易失存储器142中。处理器110可自非易失存储器142下载程序至易失存储器141，并执行应用的程序代码。处理器110也可传输图形数据至图像处理单元130，以及图像处理单元130可确定将呈现在显示器150上的图形数据。需要注意的是，易失存储器141以及非易失存储器142可描述为存储单元，并且可分别作为不同的存储单元。显示器150可为显示电路或被耦接以用于控制显示装置(图未示)的硬件。显示装置可包括驱动电路、显示面板中的一个或组合，以及显示装置可置于图像数据处理***100中或之外。
图像输入接口接收源图像，例如图像数据或视频数据。在一个实施方式中，图像输入接口160可具有图像捕获装置以用于捕获源图像。图像捕获装置可包括图像传感器，该图像传感器可为单一传感器，或包括多个独立的或分开的传感单元的传感阵列。举例来说，图像捕获装置可为具有鱼眼镜头(fisheye lens)的多个摄像头。在其他实施方式中，图像输入接口160可自外部图像捕获装置接收源图像。
图像输入接口160可获得源图像(例如，鱼眼图像)以及在记录期间提供源图像至处理器110。处理器110可进一步包括编码器(图未示)以获得源图像并编码该源图像以在与当前视频标准(例如标准H.264(MPEG-4AVC)或标准H.265)相容的任何合适的媒体格式中产生已编码的图像，例如，已编码的视频比特流。举例来说，编码器可以为标准图像/视频编码器或具有预扭曲(pre-warping)功能的图像/视频编码器，但是本发明并非以此为限。当编码器为具有预扭曲功能的图像/视频编码器时，编码器可进一步在编码期间对已编码的视频比特流执行重映射(remapping)或扭曲操作，以移除原始源图像或视频数据中的失真。处理器110可进一步包括解码器(图未示)以解码已编码的视频比特流，以利用由已编码的视频比特流使用的视频标准(例如，标准H.264(MPEG-4AVC)或标准H.265)相容的合适的媒体格式而获得源图像。
传感器或检测器170可提供传感数据以提供对应于图像数据处理***100的运动的方向信息。具体来说，传感器或检测器170可测量/提供图像数据***100的方向信息(例如，倾斜角)并提供已测量的方向信息至处理器110。传感器或检测器170可包括但不限于，一个或多个陀螺仪、加速度传感器、重力传感器、方位传感器(例如，电子指南针(E-compass))、GPS等。举例来说，传感器或检测器170可利用加速度传感器或重力传感器来测量相对于地的倾斜角，或利用方位传感器来测量图像数据处理***100的方位角。当图像或视频被记录时，与传感器或检测器170相关的传感数据可被记录/收集。这些数据可包括关于装置的运动信息(该信息来自装置的加速度器)及/或基于装置的陀螺仪得到装置的旋转信息。在一些实施方式中，尽管图未示，图像数据处理***100可包括其他功能单元，例如键盘、鼠标、触摸板、或通信单元(例如，以太网卡或芯片组)、无线网卡或芯片组、基带芯片组以及射频芯片组以用于蜂窝通信。
处理器110可执行本发明提供的用于处理全景图像的方法以及图像融合的方法，这将在下文中进一步描述。
图2为根据本发明实施方式的全景图像的处理方法的流程图，其中该全景图像由多个源图像形成。举例来说，该方法由图1中的图像数据处理***100来执行。图1的图像数据处理***100用于解释流程图，但本发明并非仅应用于图像数据处理***100。
在步骤S202中，当用户请求预览或浏览全景图像时，全景图像的多个源图像、传感器数据以及浏览视点和视角信息被得到。具体来说，源图像可通过图像输入接口160而被接收，以及用于浏览用户提供的全景图像的浏览视点和视角信息可通过处理器110而获得，传感数据可由传感器或检测器170获得；以及步骤S202可由诸如图1中的处理器110来执行。视角信息(viewing angle information)可基于图像捕获装置的视野而被确定。代表观看区域的输入传感位置和完整图像的一部分可被获得。传感位置代表初始显示图像的一部分，其中位置信息可来自用户定义或预定义的触摸信号，该触摸信号来自传感器或检测器170，例如，陀螺仪传感器、重力传感器或其他传感器。
原始图像可至少包括重叠或非重叠部分。基于重叠部分，源图像可被结合至完整的全景图像中。全景图像代表源图像的结合。存在有各种方法来构造具有全景视图的全景图像。举例来说，一种方式是结合来自具有鱼眼镜头的两个摄像头的投影。每一个鱼眼摄像头会捕获一半全景图像，以及两个鱼眼摄像头能提供完整的全景图像。在一些实施方式中，结合可以是逐面(side-by-side)或顶部至底部的结合，而不需要任何处理。在其他方式中，结合可以是经过处理的艺术级(state-of-the-art)球面或立方体格式。举例来说，源图像可以为两个鱼眼图像，以及两个鱼眼图像可以通过逐面结合、或艺术级球面或立方体格式来融合以形成全景图像或文件。全景图像或文件可被存储于本地存储器(例如，非易失存储器142)中，或被存储于云端或网络中。在其他一些实施方式中，多于两个的摄像头可用于捕获源图像以基于重叠部分而结合至完整的全景图像中。
在获得源图像之后，浏览视点和视角信息以及传感数据被得到。在步骤S204中，自源图像的至少一个已裁剪区域被确定，以及基于视点和视角信息以及传感数据，对应于已裁剪区域的源图像的一部分被扭曲和旋转以产生至少一个已裁剪图像。举例来说，步骤S204可由图1中的处理器110来执行。具体来说，处理器110可确定一个或多个已裁剪区域，该已裁剪区域对应于自源图像的用户透视视点(user perspective viewpoint)和视角，以及使用对应于已裁剪区域的源图像的一部分来产生一个或多个已裁剪图像。
图4为根据本发明实施方式的与用户透视视点和视角一致的源图像、源图像的全景图像和裁剪区域。在此实施方式中，源图像为第一鱼眼图像f1和第二鱼眼图像f2，以及第一鱼眼图像f1和第二鱼眼图像f2可被结合以形成360x180度全景图像P1以及第一鱼眼图像f1和第二鱼眼图像f2被认为是在全景图像P1的垂直方向重叠。因此，在全景图像P1中存在仅属于第一鱼眼图像f1的区域，以及在全景图像P1中存在仅属于第二鱼眼图像f2的区域。此外，在全景图像P1中存在一个重叠区域，在这个重叠区域中像素选自第一鱼眼图像f1和第二鱼眼图像f2、或者其组合或其计算结果。代表观看区域的传感位置以及完整的全景图像的一部分可基于用户的视点和视角而确定。如图4所示，自第一鱼眼图像f1的已裁剪图像C1和自第二鱼眼图像f2的已裁剪图像C2为与用户视点和视角一致的已裁剪图像400，其中拼接缝S1可存在于已裁剪图像400中的已裁剪图像C1和已裁剪图像C2之间。为了描述方便，在上述实施方式中，鱼眼图像的个数为2。本领域技术人员可知，不同数目的鱼眼图像可用于产生全景图像。
为产生已裁剪图像(例如，图4的已裁剪图像400)，利用球面投影，图像的已选择部分被传输或被映射至球面图像；然后，球面图像基于传感数据而被旋转。具体来说，处理器110可同时执行旋转或扭曲操作以获得球面图像。在一些实施方式中，处理器110可执行旋转和扭曲操作以获得球面图像，具体包括基于浏览视点和视角信息，传输源图像的已裁剪图像至球面图像，基于由图像数据处理***100的传感器和检测器170收集的视角信息和传感数据，扭曲和旋转球面图像以产生已旋转的图像。
旋转操作可包括跟随传感器旋转的地理坐标旋转。基于视点和视角信息，地理坐标旋转转换源图像为球面图像。在地理坐标旋转中，已知的经度和纬度(Ф,θ)为视点信息，地理坐标旋转的旋转矩阵Rgeographical如下所示：
Rgeographical＝Rz(Ф)*Ry(θ)；
传感器旋转转换投影平面，以将其旋转至需要的方向，并通过旋转的投影平面计算感兴趣区域。在传感器旋转中，已知(α,β,γ)表示俯仰角(pitch)、偏航角(roll)、翻滚角(yaw)，表示传感器旋转的旋转矩阵Rsensor如下所示：
Rsensor＝Rz(γ)*Ry(β)*Rx(α)；
以及最终旋转矩阵R如下所示：
R＝Rsensor*Rgeographical。
然后，利用源图像In，通过如下公式可以得到已旋转的图像Out：
Out＝R*In，
其中，
在一些实施方式中，基于传感数据旋转球面图像的步骤进一步包括基于视角信息确定投影平面，基于传感数据旋转投影平面，以及利用已旋转的投影平面旋转球面图像来产生已旋转的图像。
图5A为根据本发明实施方式的地理坐标旋转和传感器旋转的结果的示意图。图5B为在地理坐标旋转中使用的投影平面的示意图。图5C为根据本发明实施方式的在传感器中使用的投影平面的示意图。如图5A所示，在利用图5B所示的投影平面对两个源图像(源图像f3和源图像f4)执行地理坐标旋转之后，以及在执行传感器旋转之前，全景图像510被产生。由于图像数据处理***100的运动，在全景图像510中存在大量的视觉效果失真(例如，天花板或天空的位置不在全景图像510的上面以及地板的位置不在图像图像510的下面)。在利用图5C所示的投影平面对全景图像510执行传感器旋转之后，全景图像520被产生。在全景图像520中，没有上述提及的失真，以使得天花板或天空的位置在全景图像520的上面以及地板的位置在全景图像520的下面。可选地，合成的全景图像520可被旋转至一定角度(例如，逆时针方向180度)，以恢复该图像至其初始方向。
图6为根据本发明实施方式的旋转操作的示意图。如图6所示，基于视角信息，投影平面610先被确定。在执行传感器旋转之后，投影平面610基于传感数据而被旋转至投影平面620。然后，球面图像利用已旋转的投影平面而被旋转以产生已旋转的图像630。
请重新参考图2，在至少一个已裁剪图像被产生之后，在步骤S206中，然后确定至少一个已裁剪图像是否穿过一个以上的源图像。举例来说，步骤S206可通过图中的处理器110来执行。具体来说，处理器110可基于视点和视角信息确定是否存在至少一个已裁剪图像穿过一个以上的源图像，以及当已裁剪图像属于一个以上的源图像时，图像融合被执行。
若至少一个已裁剪图像没有穿过一个以上的源图像(步骤S206中结果为“否”)，在步骤S212中，这意味着已裁剪图像来自于同一源图像，已裁剪图像被输出作为全景图像来预览。
若至少一个已裁剪图像穿过一个以上的源图像(步骤S206中结果为“是”)，这意味着已裁剪图像来自不同的源鱼眼图像，在步骤S208中，对已裁剪图像执行图像融合以产生透视(perspective)图像或全景图像，然后，透视图像或全景图像被输出以用于预览(步骤S210)。
在一个实施方式中，阿尔法融合(alpha blending)被应用于图像融合过程。在其他实施方式中，也可以应用其他已知的融合算法，例如金字塔融合(pyramid blending)或其他融合算法，本发明并非以此为限。具体来说，处理器110使用阿尔法融合以融合已裁剪图像于拼接缝边界处以消除由源图像的重叠部分引起的、在拼接缝周围的不规则或不连续。阿尔法值提供自拼接缝附近处的图像对的重叠像素的融合率(blending ratio)。
在一个实施方式中，在最侧部分的已融合图像Iblend由如下公式所确定：Iblend＝ɑIleft+(1-ɑ)Iright；其中，Ileft和Iright分别为将在Iblend的左侧部分和右侧部分中将融合的图像。然而，需要了解的是，本发明并非以此为限。举例来说，在其他实施方式中，在右侧部分的融合图像Iblend也可由如下所示的公式来确定：Iblend＝ɑIright+(1-ɑ)Ileft。
举例来说，阿尔法值ɑ可通过预定义表而被确定，但本发明并非以此为限。距离值可在预定义表中被量化，以作为融合率的权系数用于图像对的融合。举例来说，范围从0-2的距离值被分配具有相同的阿尔法值0.5，范围从2-4的距离值被分配具有相同的阿尔法值0.6，等等。
阿尔法值ɑ指示图像对的融合率。举例来说，若自特定像素到结合的距离为2，则阿尔法值为0.5，这意味着在融合图像中的特定像素在图像对的重叠像素之间的融合率大约为50％(即，Iblend＝0.5*Ileft+0.5*Iright)。
在此实施方式中，拼接缝可以为任意线形(例如，直线、曲线、或其他线形)。因此，需要距离图。距离图在扭曲步骤中被产生，并被应用于图像融合。
图3为根据本发明另一实施方式的融合两个图像的方法的流程图。举例来说，可通过图1中的图像数据处理***100来执行此方法。
在扭曲步骤中，在两图像之间的拼接缝基于两个图像的内容而先被确定(步骤S302)。具体来说，两个图像的每一个像素对被比较以确定拼接缝的位置，其中拼接缝被定义为图像融合时两个图像的分界线。
然后，距离图通过计算自确定的拼接缝和两个图像的每一个像素之间的距离而产生(步骤S304)。举例来说，设置靠近拼接缝的像素的距离值小于远离拼接缝的像素的距离值。两个图像的所有像素的距离自被计算并存储于距离图中。在其他实施方式中，两个图像的至少一部分像素、部分像素、或所有像素的距离值被计算并存储于距离图中。
在距离图被产生之后，利用距离图，两个图像被融合以产生融合的图像(步骤S306)。举例来说，距离图被使用以确定对两个图像使用阿尔法融合的阿尔法值。
图7A为根据本发明实施方式的图像融合处理的示意图。图7B为根据本发明实施方式的在距离图中基于距离信息确定阿尔法(alpha)值的表格。如图7A所示，在扭曲步骤期间，两个图像之间的拼接缝基于两个图像的内容而首先被确定。从拼接缝700至两个图像的每一个像素的距离被计算以产生距离图710，距离图710用灰度级(grayscale level)表示，深色的灰度级表示较小的距离值，浅色的灰度级表示较大的距离值。在距离图中的距离值可确定范围从0.5-1.0的阿尔法值，以用于图7B所示的表格进行查表操作的阿尔法融合。举例来说，范围从0-2的距离值被配置为具有相同的阿尔法值(0.5)，范围从2-4的距离值被配置为具有相同的阿尔法值(0.6)，等等。然后，阿尔法融合被利用以在拼接缝处融合两个图像，以消除在拼接缝700处的不规则，而使得拼接缝光滑。
在一些实施方式中，通常情况下，拼接缝不是直的，例如不基于完全水平或完全垂直分块(segment)而产生的拼接缝。这些拼接缝被选择以帮助隐藏拼接缝于两个图像之间。通常地，人眼会对直的拼接缝敏感。通过基于在这两个图像之间的重叠区域的像素间计算得到的像素差异查找最小成本路径，两图像之间的拼接缝的放置可容易地控制。举例来说，重叠区域的每一个像素的成本可被计算，以及具有最小成本的路径可被找到。找到的具有最小成本的路径为调整的拼接缝。然后，调整的拼接缝被应用于融合两个图像。图8为根据本发明实施方式的用于产生全景图像的融合面罩(blend mask)的示意图。融合面罩显示路径810具有最小成本，路径810可被设置为调整的拼接缝并进一步被应用于融合两个图像。
在一些实施方式中，拼接缝也可基于场景而被确定，这将导致动态结果。在一些实施方式中，在第一图像和第二图像之间的拼接缝可根据第一图像和第二图像相对于拼接缝的差异而动态地被确定。
利用处理全景图像以从互联网上传视频并播放已上传的视频的方法的具体描述请参考图9和下文。
图9为根据本发明实施方式的利用云服务器提供视频上传或播放的图像数据处理***的示意图。为完成在图像数据处理***100和云服务器之间的数据传输，图像数据处理***100和云服务器可通过有线网络(例如，互联网)或无线网络(例如，WIFI，蓝牙等)而相互连接。在此实施方式中，云服务器可传送播放数据至图像数据处理***100，使得图像数据处理***100能够实时播放数据。图像数据处理***100的描述细节可参考关于图1的详细描述，为求简洁在此省略。换句话说，源图像可被结合以产生完整的全景图像。在此实施方式中，两个鱼眼图像(鱼眼图像1和鱼眼图像2)，被输入并直接结合至预览图像中，而不需要任何图像处理，以用于用户的预览。然后，预览图像被编码以产生已编码的图像数据，例如，已编码的比特流。已编码的图像数据具有与视频编码(例如，H.264,MPEG4,HEVC或其他任意视频标准)相容的任何合适的媒体格式。已编码的图像数据被编码为具有H.264格式，以及该已编码的图像数据被添加具有合适的头信息，以产生数字容器文件(digitalcontainer file)(例如，MP4格式或其他任意数字媒体容器格式)，然后数字容器文件被上传并被存储于云服务器中。数字容器文件包括自图像数据处理***100得到的传感器数据。举例来说，在一个实施方式中，传感器数据可利用用户数据字段而被嵌入数字容器文件中。在图像浏览期间，用户视点和视角信息从图像数据处理***100而被传送至云服务器。在从图像数据处理***100接收用户视点和视角信息之后，云服务器从存储的数字容器文件检索传感数据，根据用户视点和用户视角信息自预览图像确定已裁剪图像，并且仅传输图像的已裁剪或已选择部分至图像数据处理***100。根据自云服务器得到的已裁剪区域图像，图像数据处理***100应用本方明的方法处理已裁剪图像，以相应产生全景图像并显示对应的图像于显示器上以用于用户预览。
图10为根据本发明另一实施方式的在图像数据处理***和云服务器之间处理全景图像的方法的流程图。在此实施方式中，云服务器被耦接至图像数据处理***(例如，图1的图像数据处理***)以及云服务器存储完整全景图像的多个源图像。
在步骤S1002中，在图像数据处理***处，浏览视点和视角信息从图像数据处理***被传送至云服务器。
在步骤S1004中，在云服务器处，云服务器基于浏览视点和视角信息确定源图像的已裁剪图像，然后传送源图像的已裁剪图像至图像数据处理***。在一个实施方式中，每一个源图像被分割为多个区域。在此实施方式中，已裁剪图像为自多个区块中选择的一部分区块，以及云服务器可仅传送源图像的已选择区块至图像数据处理***。在一个实施方式中，每一个源图像中的区域可为大小相等的图块或区块。在其他实施方式中，每一个图像叠加层的区域为大小相等的图像或区块。
然后，在步骤S1006中，在图像数据处理***处，自云服务器接收已裁剪图像，并基于源图像的已裁剪图像产生全景图像以用于预览。需注意的是，产生的全景图像为完整的全景图像的一部分图像，以及该部分图像将根据不同的浏览视点和视角信息而改变。关于每一步的更多的细节请参考与图1、2、3相关的实施方式，但本发明并非限于此。此外，在不同的实施方式中，步骤可按不同的顺序执行及/或可被组合或拆分。
在一个实施方式中，每一个源图像可被分解为多个图像区块，并分别被压缩以进一步传输。举例来说，源图像的每一帧或视频数据可被分为多个区域，以及分割的区域为大小相同的图块或区块、或大小不同的图块或区块。每一个源图像可以同样的方式被划分。多个区块位于云服务器处的相同的数据压缩格式中，并被传送和解压至数据处理***处。在一个实施方式中，源图像或视频数据可被分解为32个图像或视频区块，以及在32个图像或视频区块中9个区块形成已裁剪图像，仅这9个区块需要被传送至网络，因此极大地降低了需要的传输带宽。此外，仅需要应用9个区块来产生全景图像，因此，极大地降低了需要的计算资源。
云服务器可仅传送已选择的一部分源图像，因此极大地降低了传输带宽。举例来说，不需要云服务器来发送由整个源图像产生的整个全景图像。另一方面，图像数据处理***100可仅处理输入图像的已选择的部分，因此，节约了图像数据处理***100的计算资源和时间。
在其他实施方式中，若全景图像需要共享于社交平台(例如，脸谱网或谷歌)上，则图像数据处理***100可进一步应用提供满足社交网络支持的360度视频的标准球面格式的通常处理版本的其他方法处理整个图像，而产生全景图像，从而通过社交网络平台支持的360度视频共享该全景图像。
在一些实施方式中，图像数据处理***100可进一步应用本发明揭示的方法来处理已输入的鱼眼图像来产生预览图像以用于用户预览。
在一些实施方式中，全景图像或视频的播放可在解码器处运行时执行，或在编码器处离线执行。术语“解码器处运行时执行”意味着当视频播放时,在实时当前影像的全景图像处理；另一术语“离线执行”意味着共享视频的执行是在视频记录完成之后。
在一些实施方式中，数个优化方法被提供以用于存储优化。具体来说，由于移动平台缓存大小的限制，在存储器中存取数据的方式需要满足内存位置的原则(memorylocality principle)。然而，由于图像区块的尺寸和分割形状是预先定义的，这可能会影响存储器存取行为。为此，不仅需要降低存取存储器的频率，而且需要减小存取存储器的大小。由于不同的视野可导致帧缓存器的不同存取范围，因此会存在较高的高速缓存丢失率。因此，需要优化存储。
在一个实施方式中，存储优化可通过根据浏览视点和视角信息而降低在帧缓冲器中缓存的源图像的图像大小(例如，最终图像的目标视野(即，用于观看或预览的透视图像或全景图像))来完成，以及由于目标视野大于预定角度(例如，180度)，在帧缓冲器中缓存的图像尺寸可通过下采样初始源图像而降低。举例来说，当预定角度为180度以及目标视野被设置为190度时，初始源图像可被下采样以减少将被缓存的图像尺寸，例如，降低1/2图像尺寸。相应地，帧缓冲器需要的存储空间可被显著地降低。
在其他实施方式中，存储优化可通过降低在球面投影过程中球面投影的映射表的尺寸、或投影表的尺寸来完成。在此实施方式中，映射表的尺寸或投影表的尺寸可通过自较小的表插值来降低，而不是从具有较大尺寸的原始表存取直接坐标(directcoordinates)。具体来说，基于浏览视点和视角信息传输或映射源图像的已裁剪图像至球面图像的步骤，可进一步包括利用具有映射表的球面投影来传输或映射源图像的已裁剪图像至球面图像。其中源图像的已裁剪图像可包括第一组像素点和第二组像素点，以及第一组像素点的值自映射表而得到，以及第二组像素点的值通过对用于球面投影过程的第一组像素点执行插值操作而得到。在其他实施方式中，源图像的已裁剪图像可仅包括上述提及的第一组像素点或仅包括上述提及的第二组像素点。图11为根据本发明实施方式的球面投影处理的映射表的示意图。如图11所示，已裁剪图像包括黑色节点和白色节点，每一个节点代表在已裁剪图像中的像素点。白色节点(即，第一组像素点)表示节点选自已裁剪图像的节点以形成用于球面投影过程的映射表，以及黑色节点(即，第二组像素点)表示初始图像中不被选择的剩余节点，其中，白色节点的值被存储于帧缓冲器，以及不被选择的节点(即，第二组像素点)的值可通过对应的白色节点的插值来计算。相应地，用于存储映射表的帧缓冲器需要的存储空间可显著地降低。
在其他实施方式中，存储优化可在图像融合过程中通过重利用帧缓存器来完成。举例来说，在金字塔融合过程中，初始图像被分解成数个频率组分(frequencycomponents)，因此需要大的帧缓冲器临时存储这些组分。金字塔融合被应用以利用多个融合层(blending levels)而融合拼接缝边界，其中多个融合级是基于对应的距离图和像素位置来决定的。金字塔融合技术将图像分解为一组带通组分(即，拉普拉斯金字塔和拉普拉斯图像)并分别利用不同大小的融合窗口来融合它们。之后，这些融合的带通组分被添加以形成具有不明显拼接缝的期望图像。在融合过程中，加权系数依赖于每一个像素至拼接缝边界的距离。
图12为根据本发明实施方式的图像融合处理的存储缓冲区重利用的示意图。如图12所示，距离图、前面图像(front images)和后面图像(rear images)(例如，两个已裁剪图像)作为输入以用于具有多个融合层的金字塔融合，以及三个固定的存储缓冲器存储用于每一个前面图像和后面图像的高斯图像(Gaussian-image)和拉普拉斯图像(Laplacian-image)产生的中间数据(intermediate data)。具体来说，三个缓冲器分别被分配以存储初始图像、在金字塔融合的每一层产生的高斯图像和拉普拉斯图像。在金字塔融合的每一层，高斯图像为用于高斯图像产生的中间数据，并且高斯图像为初始图像的低通滤波版本；以及拉普拉斯图像为用于拉普拉斯图像产生的中间数据，并且拉普拉斯图像为初始图像和低通滤波图像之间的差值图。在金字塔融合的每一层中，用于存储高斯图像的缓冲器和用于存储在先前层中使用的初始图像的缓冲器可相互切换以用于金字塔融合的当前层，以使得缓冲器能有效地重利用。相应地，帧缓冲器需要的存储空间可显著地降低。
在上述实施方式中，提供了处理全景图像的图像数据处理***和相关方法以及融合第一图像和第二图像的方法。利用本发明提供的处理全景图像的方法，仅需要通过网络来传送源图像的已选择部分，以及仅需要应用或处理源图像的一部分来产生全景图像，因此极大地降低了需要的计算资源。相应地，帧缓冲器需要的存储空间可显著地减少，并由此降低需要的存储带宽和节约解码复杂度。此外，视频的播放可在解码器处运行时执行，或者在编码器处离线执行，因此提供了用于具有360度场景的全景图像的实时观看提供了较大的弹性。
此处描述的实施方式可实现于方法、过程、装置、或软件和硬件的结合中。即使上述描述中仅讨论单一形式的实现(例如，仅讨论一种方法)，本发明的主要特征也可以以其他形式来实现。举例来说，可通过硬件装置或软件和硬件的装置来实现。举例来说，本发明提供的装置可在合适的硬件、软件、或固件中实现。本发明提供的方法可在装置中实现，例如，该装置为处理器(指任意处理装置，例如，计算机、微处理器、集成电路、可编程逻辑装置)。
尽管本发明以示例和较优实施方式来描述，需要理解的是本发明并非仅限于上述实施方式。与此相反，本发明包括对本领域技术人员显而易见的各种修改和相似排列。因此，本发明的范围应和包括各种修改和相似排列的最广范围一致。
Claims (20)
1.一种在图像数据处理***中的图像处理方法，其特征在于，该方法包括：
接收多个源图像，其中该多个源图像至少包括多个重叠部分；
接收浏览视点和视角信息；
基于该浏览视点和该视角信息，确定该多个源图像的多个已裁剪图像；
基于该多个源图像的该多个已裁剪图像，产生用于观看或预览的透视图像或全景图像。
2.根据权利要求1所述的在图像数据处理***中的图像处理方法，其特征在于，进一步包括：
当该透视图像或该全景图像的视野大于预定阈值时，下采样该多个源图像。
3.根据权利要求1所述的在图像数据处理***中的图像处理方法，其特征在于，该基于该多个源图像的该多个已裁剪图像，产生该透视图像或该全景图像的步骤进一步包括:
基于该浏览视点和该视角信息，传输或映射该多个源图像的该多个已裁剪图像至多个球面图像；
基于该视角信息和由该图像数据处理***的传感器收集的传感器数据，扭曲或旋转该多个球面图像以产生多个已旋转的图像；以及
基于距离图融合该多个已旋转的图像，以产生该透视图像或该全景图像。
4.根据权利要求3所述的在图像数据处理***中的图像处理方法，其特征在于，该基于该浏览视点和该视角信息，传输该多个源图像的该多个已裁剪图像至多个球面图像的步骤进一步包括：
利用具有映射表的球面投影，以传输该多个源图像的该多个已裁剪图像至该多个球面图像；
其中，该多个源图像的该多个已裁剪图像包括第一组像素点和第二组像素点，以及该第一组像素点的值自该映射表而得到；以及该第二组像素点的值通过在该球面投影过程中对该第一组像素点进行插值操作而被计算出来。
5.根据权利要求3所述的在图像数据处理***中的图像处理方法，其特征在于，该基于距离图融合该多个已旋转的图像，以产生该透视图像或该全景图像的步骤包括：
在拼接缝边界利用阿尔法融合来融合该多个已旋转的图像以消除由该多个源图像的该多个重叠部分引起的、围绕该拼接缝的不规则或不连续。
6.根据权利要求3所述的在图像数据处理***中的图像处理方法，其特征在于，该基于距离图融合该多个已旋转的图像，以产生该透视图像或该全景图像的步骤包括：
基于该距离图利用具有多层的金字塔融合以融合该多个已旋转的图像，其中三个缓冲器被分别配置为存储初始图像、在该金字塔融合的每一层中产生的高斯图像、拉普拉斯图像，以及被配置为存储该初始图像的缓冲器和被配置为存储该高斯图像的缓冲器在该金字塔融合的下一层被相互切换。
7.根据权利要求3所述的在图像数据处理***中的图像处理方法，其特征在于，该基于该视角信息和由该图像数据处理***的传感器收集的传感器数据，旋转该多个球面图像的步骤进一步包括：
基于该视角信息确定投影平面；
基于该传感器数据旋转该投影平面；以及
利用已旋转的投影平面，旋转该多个球面图像以产生该多个已旋转的图像。
8.根据权利要求1所述的在图像数据处理***中的图像处理方法，其特征在于，进一步包括：
确定该多个已裁剪图像是否穿过一个以上的源图像；
当确定该已裁剪图像穿过一个以上的源图像时，融合该多个源图像的该多个已裁剪图像，以产生该透视图像或该全景图像；以及
当确定该已裁剪图像没有穿过一个以上的源图像时，直接输出该多个已裁剪图像作为该透视图像或该全景图像。
9.根据权利要求1所述的在图像数据处理***中的图像处理方法，其特征在于，进一步包括：
该多个源图像中的每一个被分为多个区块，以及该多个已裁剪图像选自该多个区块的一部分。
10.一种在图像数据处理***中融合第一图像和第二图像以产生融合图像的方法，其特征在于，该方法包括：
基于该第一图像和该第二图像对应的内容，确定该第一图像和该第二图像之间的拼接缝；
计算该拼接缝和该第一图像和该第二图像的至少一像素之间的距离，以产生距离图；以及
根据该距离图，融合该第一图像和该第二图像，以产生已融合的图像。
11.根据权利要求10所述的在图像数据处理***中融合第一图像和第二图像以产生融合图像的方法，其特征在于，根据该第一图像和该第二图像相对于该拼接缝的差异，在该第一图像和该第二图像之间的该拼接缝被动态地确定。
12.根据权利要求10所述的在图像数据处理***中融合第一图像和第二图像以产生融合图像的方法，其特征在于，该根据该距离图，融合该第一图像和该第二图像，以产生已融合的图像的步骤进一步包括：
利用阿尔法融合以融合在拼接缝处的该第一图像和该第二图像，以消除在该拼接缝周围的不规则和不连续，其中基于该距离图，该阿尔法融合的融合率被确定。
13.一种图像数据处理***，其特征在于，包括：
至少一图像输入接口，被配置为接收多个源图像，其中该多个源图像至少包括多个重叠部分；
处理器，耦接于该至少一图像输入接口，被配置为自该至少一图像输入接口接收该多个源图像；接收浏览视点和视角信息；基于该浏览视点和该视角信息，确定该多个源图像的多个已裁剪图像；以及基于该多个源图像的该多个已裁剪图像，产生用于观看或预览的透视图像或全景图像。
14.根据权利要求13所述的图像数据处理***，其特征在于，进一步包括：
传感器，用于提供传感数据；以及
其中，该处理器被进一步配置为基于该浏览视点和该视角信息，传输该多个源图像的该多个已裁剪图像至多个球面图像；基于该视角信息和由该传感器收集的传感器数据，扭曲或旋转该多个球面图像以产生多个已旋转的图像；以及
基于距离图融合该多个已旋转的图像，以产生该透视图像或该全景图像。
15.根据权利要求14所述的图像数据处理***，其特征在于，该处理器被进一步被配置为在拼接缝边界处利用阿尔法融合来融合该多个已旋转的图像以消除由该多个源图像的该多个重叠部分引起的、围绕该拼接缝的不规则或不连续。
16.根据权利要求14所述的图像数据处理***，其特征在于，该处理器被进一步配置为：
基于该视角信息确定投影平面；
基于该传感器数据旋转该投影平面；以及
利用已旋转的投影平面，旋转该多个球面图像以产生该多个已旋转的图像。
17.根据权利要求14所述的图像数据处理***，其特征在于，该处理器被进一步配置为确定该多个已裁剪图像是否穿过一个以上的源图像；
当确定该已裁剪图像穿过一个以上的源图像时，该处理器融合该多个源图像的该多个已裁剪图像，以产生该透视图像或该全景图像；或者
当确定该已裁剪图像没有穿过一个以上的源图像时，该处理器直接输出该多个已裁剪图像作为该透视图像或该全景图像。
18.根据权利要求13所述的图像数据处理***，其特征在于，
该多个源图像中的每一个被分为多个区块，以及该多个已裁剪图像选自该多个区块的一部分。
19.一种在图像数据处理***和耦接于该图像数据处理***的云服务器之间执行处理图像的方法，其特征在于，该云服务器存储多个源图像，该方法包括：
在该云服务器端，自该图像数据处理***接收浏览视点和视角信息；
在该云服务器端，基于该浏览视点和该视角信息，确定该多个源图像的多个已裁剪图像；以及
在该云服务器端，传输该多个源图像的该多个已裁剪图像至该图像数据处理***；
以使得根据自该云服务器接收该多个已裁剪图像，该图像数据处理***基于该多个源图像的该多个已裁剪图像，产生用于观看或预览的透视图像或全景图像。
20.根据权利要求19所述的在图像数据处理***和耦接于该图像数据处理***的云服务器之间执行处理图像的方法，其特征在于，该多个源图像中的每一个被分为多个区块，以及该多个已裁剪图像选自该多个区块的一部分；以及该云服务器传输该多个源图像的已选择的区块至该图像数据处理***，其中该多个区块的数据格式与在云服务器端的数据格式相同，并在该图像数据处理***端被传输和被解压缩。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662297203P | 2016-02-19 | 2016-02-19 | |
| US62/297,203 | 2016-02-19 | ||
| US15/418,913 US20170243384A1 (en) | 2016-02-19 | 2017-01-30 | Image data processing system and associated methods for processing panorama images and image blending using the same |
| US15/418,913 | 2017-01-30 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107103583A true CN107103583A (zh) | 2017-08-29 |
Family
ID=59629431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710083525.XA Withdrawn CN107103583A (zh) | 2016-02-19 | 2017-02-16 | 图像数据处理***和相关方法以及相关图像融合方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20170243384A1 (zh) |
| CN (1) | CN107103583A (zh) |
| TW (1) | TWI619088B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107911685A (zh) * | 2017-10-23 | 2018-04-13 | 银河威尔科技（北京）有限公司 | 一种3Dvr直播封装的方法和装置 |
| CN108519866A (zh) * | 2018-03-21 | 2018-09-11 | 广州路捷电子科技有限公司 | 基于不同fb硬件叠加的360全景应用设备的显示方法 |
| CN108920598A (zh) * | 2018-06-27 | 2018-11-30 | 百度在线网络技术（北京）有限公司 | 全景图浏览方法、装置、终端设备、服务器及存储介质 |
| CN111294582A (zh) * | 2018-12-06 | 2020-06-16 | 宏达国际电子股份有限公司 | 三维影像处理方法、摄影装置及非暂态电脑可读取储存介质 |
| CN111356016A (zh) * | 2020-03-11 | 2020-06-30 | 北京松果电子有限公司 | 视频处理方法、视频处理装置及存储介质 |
| CN112424821A (zh) * | 2018-05-15 | 2021-02-26 | 菲力尔商业***公司 | 基于由旋转成像器捕获的图像的全景图像构建 |
| CN113852823A (zh) * | 2021-11-30 | 2021-12-28 | 深圳市通恒伟创科技有限公司 | 一种基于物联网的图像数据上传方法、***和装置 |
| CN115118883A (zh) * | 2022-06-28 | 2022-09-27 | 润博全景文旅科技有限公司 | 一种图像预览方法、装置及设备 |
| CN115695879A (zh) * | 2023-01-04 | 2023-02-03 | 北京蓝色星际科技股份有限公司 | 一种视频播放方法、***、装置、电子设备及存储介质 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3023100A1 (fr) * | 2014-06-26 | 2016-01-01 | Orange | Systeme de traitement distribue d'informations en temps reel |
| TWI547177B (zh) * | 2015-08-11 | 2016-08-21 | 晶睿通訊股份有限公司 | 視角切換方法及其攝影機 |
| US9984436B1 (en) * | 2016-03-04 | 2018-05-29 | Scott Zhihao Chen | Method and system for real-time equirectangular projection |
| CN108205797B (zh) * | 2016-12-16 | 2021-05-11 | 杭州海康威视数字技术股份有限公司 | 一种全景视频融合方法及装置 |
| US11049219B2 (en) * | 2017-06-06 | 2021-06-29 | Gopro, Inc. | Methods and apparatus for multi-encoder processing of high resolution content |
| CN107767461A (zh) * | 2017-09-27 | 2018-03-06 | 珠海研果科技有限公司 | 一种全景图像跳转方法 |
| TWI626603B (zh) * | 2017-10-24 | 2018-06-11 | 鴻海精密工業股份有限公司 | 圖像獲取方法及圖像獲取裝置 |
| CN109064397B (zh) * | 2018-07-04 | 2023-08-01 | 广州希脉创新科技有限公司 | 一种基于摄像耳机的图像拼接方法及*** |
| US10771758B2 (en) * | 2018-09-24 | 2020-09-08 | Intel Corporation | Immersive viewing using a planar array of cameras |
| US10504278B1 (en) * | 2018-09-28 | 2019-12-10 | Qualcomm Incorporated | Blending neighboring bins |
| WO2020189223A1 (ja) | 2019-03-15 | 2020-09-24 | ソニー株式会社 | 動画配信システム、動画配信方法、及び表示端末 |
| JP7327478B2 (ja) * | 2019-06-13 | 2023-08-16 | 日本電気株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US11228781B2 (en) | 2019-06-26 | 2022-01-18 | Gopro, Inc. | Methods and apparatus for maximizing codec bandwidth in video applications |
| CN110430411B (zh) * | 2019-08-08 | 2021-05-25 | 青岛一舍科技有限公司 | 一种全景视频的显示方法及装置 |
| CN110580678B (zh) * | 2019-09-10 | 2023-06-20 | 北京百度网讯科技有限公司 | 图像处理方法及装置 |
| US11481863B2 (en) | 2019-10-23 | 2022-10-25 | Gopro, Inc. | Methods and apparatus for hardware accelerated image processing for spherical projections |
| CN113014882B (zh) * | 2021-03-08 | 2021-09-24 | 中国铁塔股份有限公司黑龙江省分公司 | 多源多协议视频融合监控*** |
| US11623150B2 (en) | 2021-06-24 | 2023-04-11 | Compal Electronics, Inc | Rendering method for drone game |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020041717A1 (en) * | 2000-08-30 | 2002-04-11 | Ricoh Company, Ltd. | Image processing method and apparatus and computer-readable storage medium using improved distortion correction |
| US20030040815A1 (en) * | 2001-04-19 | 2003-02-27 | Honeywell International Inc. | Cooperative camera network |
| US20110243438A1 (en) * | 2010-04-05 | 2011-10-06 | Microsoft Corporation | Generation of multi-resolution image pyramids |
| US20120210232A1 (en) * | 2011-02-16 | 2012-08-16 | Wang Xiaohuan C | Rate Conform Operation for a Media-Editing Application |
| US20120206565A1 (en) * | 2011-02-10 | 2012-08-16 | Jason Villmer | Omni-directional camera and related viewing software |
| US20120314945A1 (en) * | 2011-06-10 | 2012-12-13 | Samsung Electronics Co., Ltd. | Apparatus and method for image processing |
| US20140104376A1 (en) * | 2012-10-17 | 2014-04-17 | Vivotek Inc. | Linking-up photographing system and control method for linked-up cameras thereof |
| US20150269463A1 (en) * | 2014-03-19 | 2015-09-24 | Konica Minolta, Inc. | Buffer management technology in image forming apparatus |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101000461B (zh) * | 2006-12-14 | 2010-09-08 | 上海杰图软件技术有限公司 | 一种鱼眼图像生成立方体全景的方法 |
| CN101673395B (zh) * | 2008-09-10 | 2012-09-05 | 华为终端有限公司 | 图像拼接方法及装置 |
| CN201947404U (zh) * | 2010-04-12 | 2011-08-24 | 范治江 | 一种全景视频实时拼接显示*** |
| US9124801B2 (en) * | 2012-07-26 | 2015-09-01 | Omnivision Technologies, Inc. | Image processing system and method using multiple imagers for providing extended view |
| TWI530180B (zh) * | 2013-06-14 | 2016-04-11 | 晶睿通訊股份有限公司 | 連動式攝影系統及其多攝影機的控制方法 |
| CN102982516B (zh) * | 2012-10-25 | 2015-07-29 | 西安理工大学 | 一种基于半球环形全景镜头实现全景图像的方法 |
| CN104680501B (zh) * | 2013-12-03 | 2018-12-07 | 华为技术有限公司 | 图像拼接的方法及装置 |
| CN103841332B (zh) * | 2014-03-21 | 2018-10-12 | 英华达（上海）科技有限公司 | 全景景象拍摄及浏览的移动装置、***及方法 |
| CN104835118A (zh) * | 2015-06-04 | 2015-08-12 | 浙江得图网络有限公司 | 通过两路鱼眼摄像头采集全景图像的方法 |
-
2017
- 2017-01-30 US US15/418,913 patent/US20170243384A1/en not_active Abandoned
- 2017-02-16 CN CN201710083525.XA patent/CN107103583A/zh not_active Withdrawn
- 2017-02-17 TW TW106105221A patent/TWI619088B/zh not_active IP Right Cessation
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020041717A1 (en) * | 2000-08-30 | 2002-04-11 | Ricoh Company, Ltd. | Image processing method and apparatus and computer-readable storage medium using improved distortion correction |
| US20030040815A1 (en) * | 2001-04-19 | 2003-02-27 | Honeywell International Inc. | Cooperative camera network |
| US20110243438A1 (en) * | 2010-04-05 | 2011-10-06 | Microsoft Corporation | Generation of multi-resolution image pyramids |
| US20120206565A1 (en) * | 2011-02-10 | 2012-08-16 | Jason Villmer | Omni-directional camera and related viewing software |
| US20120210232A1 (en) * | 2011-02-16 | 2012-08-16 | Wang Xiaohuan C | Rate Conform Operation for a Media-Editing Application |
| US20120314945A1 (en) * | 2011-06-10 | 2012-12-13 | Samsung Electronics Co., Ltd. | Apparatus and method for image processing |
| US20140104376A1 (en) * | 2012-10-17 | 2014-04-17 | Vivotek Inc. | Linking-up photographing system and control method for linked-up cameras thereof |
| US20150269463A1 (en) * | 2014-03-19 | 2015-09-24 | Konica Minolta, Inc. | Buffer management technology in image forming apparatus |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107911685A (zh) * | 2017-10-23 | 2018-04-13 | 银河威尔科技（北京）有限公司 | 一种3Dvr直播封装的方法和装置 |
| CN108519866A (zh) * | 2018-03-21 | 2018-09-11 | 广州路捷电子科技有限公司 | 基于不同fb硬件叠加的360全景应用设备的显示方法 |
| CN112424821B (zh) * | 2018-05-15 | 2024-04-23 | 泰立戴恩菲力尔商业***公司 | 基于由旋转成像器捕获的图像的全景图像构建 |
| CN112424821A (zh) * | 2018-05-15 | 2021-02-26 | 菲力尔商业***公司 | 基于由旋转成像器捕获的图像的全景图像构建 |
| CN108920598A (zh) * | 2018-06-27 | 2018-11-30 | 百度在线网络技术（北京）有限公司 | 全景图浏览方法、装置、终端设备、服务器及存储介质 |
| CN111294582A (zh) * | 2018-12-06 | 2020-06-16 | 宏达国际电子股份有限公司 | 三维影像处理方法、摄影装置及非暂态电脑可读取储存介质 |
| US11488383B2 (en) | 2020-03-11 | 2022-11-01 | Beijing Xiaomi Pinecone Electronics Co., Ltd. | Video processing method, video processing device, and storage medium |
| CN111356016A (zh) * | 2020-03-11 | 2020-06-30 | 北京松果电子有限公司 | 视频处理方法、视频处理装置及存储介质 |
| CN113852823B (zh) * | 2021-11-30 | 2022-03-01 | 深圳市通恒伟创科技有限公司 | 一种基于物联网的图像数据上传方法、***和装置 |
| CN113852823A (zh) * | 2021-11-30 | 2021-12-28 | 深圳市通恒伟创科技有限公司 | 一种基于物联网的图像数据上传方法、***和装置 |
| CN115118883A (zh) * | 2022-06-28 | 2022-09-27 | 润博全景文旅科技有限公司 | 一种图像预览方法、装置及设备 |
| CN115118883B (zh) * | 2022-06-28 | 2024-02-02 | 润博全景文旅科技有限公司 | 一种图像预览方法、装置及设备 |
| CN115695879A (zh) * | 2023-01-04 | 2023-02-03 | 北京蓝色星际科技股份有限公司 | 一种视频播放方法、***、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20170243384A1 (en) | 2017-08-24 |
| TW201730841A (zh) | 2017-09-01 |
| TWI619088B (zh) | 2018-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107103583A (zh) | 图像数据处理***和相关方法以及相关图像融合方法 | |
| US10977764B2 (en) | Viewport independent image coding and rendering | |
| US11341715B2 (en) | Video reconstruction method, system, device, and computer readable storage medium | |
| US11265527B2 (en) | Methods and apparatus for providing a frame packing arrangement for panoramic con tent | |
| JP6819801B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム。 | |
| US10235795B2 (en) | Methods of compressing a texture image and image data processing system and methods of generating a 360 degree panoramic video thereof | |
| US10547825B2 (en) | Transmission of three-dimensional video | |
| US11205305B2 (en) | Presentation of three-dimensional video | |
| US20180040164A1 (en) | Apparatus and methods for selective coding of images | |
| CN112204993B (zh) | 使用重叠的被分区的分段的自适应全景视频流式传输 | |
| US11039109B2 (en) | System and method for adjusting an image for a vehicle mounted camera | |
| CN110419224A (zh) | 用于封装和流传输虚拟现实媒体内容的方法和装置 | |
| JP6954410B2 (ja) | 管理システム | |
| US10134137B2 (en) | Reducing storage using commonalities | |
| US20230275948A1 (en) | Dynamic user-device upscaling of media streams | |
| AU2019271924B2 (en) | System and method for adjusting an image for a vehicle mounted camera | |
| US20240153051A1 (en) | Tone mapping method and apparatus for panoramic image | |
| WO2022040868A1 (zh) | 全景拍摄方法、电子设备及存储介质 | |
| CN112164066B (zh) | 一种遥感图像分层分割方法、装置、终端及存储介质 | |
| JP2023507586A (ja) | ３ｄｏｆ構成要素からの６ｄｏｆコンテンツを符号化、復号化、及びレンダリングするための方法及び装置 | |
| CN118413745A (zh) | 一种播放全景视频的方法、装置、设备及存储介质 | |
| CN117676110A (zh) | 视频处理方法、装置及服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20170829 |