CN104395928A - 用于生成高分辨率视频流的方法和*** - Google Patents
用于生成高分辨率视频流的方法和*** Download PDFInfo
- Publication number
- CN104395928A CN104395928A CN201380034015.3A CN201380034015A CN104395928A CN 104395928 A CN104395928 A CN 104395928A CN 201380034015 A CN201380034015 A CN 201380034015A CN 104395928 A CN104395928 A CN 104395928A
- Authority
- CN
- China
- Prior art keywords
- video stream
- low
- piecemeal
- resolution
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000001360 synchronised effect Effects 0.000 claims abstract description 7
- 230000004304 visual acuity Effects 0.000 claims description 37
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 9
- 238000013500 data storage Methods 0.000 abstract description 5
- 230000003068 static effect Effects 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 235000012364 Peperomia pellucida Nutrition 0.000 description 1
- 240000007711 Peperomia pellucida Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
一种用于生成高分辨率视频流的方法，该方法包括：接收(310)低分辨率视频流；接收(320)至少一个高分辨率视频流；从所述至少一个高分辨率视频流选择(331)第一图像分块；生成(332)所述第一高分辨率图像分块各自的第一低分辨率副本；将由所述第一低分辨率副本索引的所述第一高分辨率图像分块存储(333)在第一数据存储器中；以及通过用根据所述索引从所述第一数据存储器获得的第一高分辨率分块替代(351)所述低分辨率视频流的与所述第一低分辨率副本中的一个或多个相似的部分来改善(350)所述低分辨率视频流；其中所述低分辨率视频流和所述至少一个高分辨率视频流是基本上同步的视频流。
Description
技术领域
本发明涉及视频图像处理，特别涉及超分辨率技术，即从一个或多个低分辨率图像生成高分辨率图像的问题。
背景技术
已经以不同方式解决了从多个图像生成高分辨率全景的问题。
获得改善的高品质全景的第一个选择是使用全景摄像机。通常，基于(几乎)零视差排列的多个视频传感器，全景摄像机能够捕获覆盖360度视角的全景视图。但是，当前传感器存在限制，由于摄像机设备传感器的分辨率度有限，它们感测场景的能力有限。此外，包含更多传感器增加了设备成本，特别是实时拼接的成本。
改善转播图像质量的另一个选择是将一个摄像机的图像配准到另一个上。这些图像可以被拼接在一起，从而提供全景视图。但是，这种方法存在视差问题(由于视点和视向的不同，导致不同的角度显示)和颜色差异。此外，难以对移动摄像机进行动态配准。另一个问题是，虽然图像的某些部分可以在其他摄像机中获得，但是场景的某些区域总是未被任何摄像机覆盖。在这种情况下，用户观看节目时的体验非常不平顺。
发明内容
因此，本发明的实施方式的目的是至少部分地克服上述问题中的一个或多个。
根据本发明的一个方面，提供了一种用于生成高分辨率视频流的方法，该方法包括：接收低分辨率视频流；接收至少一个高分辨率视频流；从所述至少一个高分辨率视频流选择第一图像分块(patch)；生成所述第一高分辨率图像分块各自的第一低分辨率副本(counterpart)；将由所述第一低分辨率副本索引的所述第一高分辨率图像分块存储在第一数据存储器中；以及通过用根据所述索引从所述第一数据存储器获得的第一高分辨率分块替代所述低分辨率视频流的与所述第一低分辨率副本中的一个或多个相似的部分来改善所述低分辨率视频流；其中所述低分辨率视频流和所述至少一个高分辨率视频流是基本上同步的视频流。
这里使用的术语“低分辨率视频”指的是概览图像，优选全景图像，其提供的细节相对较少。这里使用的术语“高分辨率视频”指的是针对“低分辨率视频”所覆盖的场景的较小部分提供更多细节的视频流。高分辨率视频不一定覆盖低分辨率视频范围中完全包括的场景的区域。如同下面所解释的那样，全部重叠是优选的，但是部分重叠也有效。即使完全缺乏重叠也不会使本发明无效，前提是这不是永久性的，亦即低分辨率图像和高分辨率图像的内容之间应该存在某种联系。
“分块”应该理解成视频图像的一个小区域。分块优选是矩形的，特别优选是正方形的。分块的尺寸为大约几个像素，优选3x3个像素到最多16x16个像素。
本发明的一个优点是避免了视差和角度不匹配问题，因为根据本发明的方法不是试图将整个形态上可辨识的特征粘贴到低分辨率图像中，相反，替换了那些对于人眼看起来抽象，但是作为正被可视化的场景的特征的非常小的图案。
归功于本发明的方法的实时性质，即，使用与低分辨率流基本上同步且覆盖相同大致场景的高分辨率流，本发明的方法将胜过那些纯粹基于静态字典的***。
在一个实施方式中，根据本发明的方法与第二数据存储器一起使用，该第二数据存储器包括预存储的由第二低分辨率副本索引的第二高分辨率图像分块，并且该方法还包括用根据其索引从所述第二数据存储器获得的第二高分辨率分块替代所述低分辨率视频流的与所述第二低分辨率副本中的一个或多个相似的部分。
该实施方式结合了动态创建分块字典的效果和使用已被证明的静态字典的效率。
在根据本发明的方法的一个实施方式中，所述第一高分辨率图像分块的保存包括使到期时间取决于所述高分辨率图像分块，该方法还包括根据所述到期时间使所述第一高分辨率图像分块无效。
在该实施方式中，动态字典永久性地更新，同时避免所存储数据的无限增加。
在根据本发明的方法的一个实施方式中，所述低分辨率视频流的改善包括通过应用“最近邻”标准来确定与所述第一低分辨率副本中的一个或多个的相似性，其中用所述第一高分辨率分块替代包括用与符合所述“最近邻”标准的低分辨率副本相对应的各个第一高分辨率分块的加权总和来替代。
本实施方式的一个优点是即使动态字典中不存在完全匹配也能够改善图像某些分块的分辨率。
在根据本发明的方法的实施方式中，基于强度梯度来确定所述相似性。
这种简化被证明运算效率高，同时结果良好。
根据本发明的一个方面，提供了一种包括软件装置的计算机程序，所述软件装置被配置为在被运行时执行上述方法。
根据本发明的一个方面，提供了一种用于生成高分辨率视频流的***，该***包括：用于接收低分辨率视频流的第一视频接口；用于接收至少一个高分辨率视频流的第二视频接口；配准处理器，该配准处理器可操作地连接至所述第二视频接口和第一数据存储器，所述配准处理器配置为从所述至少一个高分辨率视频流中选择第一高分辨率图像分块，生成所述第一高分辨率图像分块各自的第一低分辨率副本，以及将由所述第一低分辨率副本索引的所述第一高分辨率图像分块存储在所述数据存储器中；以及图像改善处理器，该图像改善处理器可操作地连接至所述第一视频接口和所述第一数据存储器，所述图像改善处理器配置为用根据索引从所述第一数据存储器获得的第一高分辨率分块替代所述低分辨率视频流的与所述第一低分辨率副本中的一个或多个相似的部分；其中所述低分辨率视频流和所述至少一个高分辨率视频流基本上是同步的。
在一个实施方式中，根据本发明的***还包括第二数据存储器，该第二数据存储器包括预存储的由第二低分辨率副本索引的第二高分辨率图像分块，并且所述图像改善处理器还配置为用根据其索引从所述第二数据存储器获得的第二高分辨率分块替代所述低分辨率视频流的与所述第二低分辨率副本中的一个或多个相似的部分。
在一个实施方式中，根据本发明的***还包括定时器，该定时器可操作地连接至所述配准处理器，所述配准处理器还配置为使到期时间取决于所述第一高分辨率图像分块，并且结合所述定时器根据所述到期时间使所述第一高分辨率图像分块无效。
在根据本发明的***的一个实施方式中，所述图像改善处理器还配置为通过应用“最近邻”标准来确定与所述第一低分辨率副本中的一个或多个的相似性，以及用与符合所述“最近邻”标准的低分辨率副本相对应的各个第一高分辨率分块的加权总和来替代所述部分。
在根据本发明的***的一个实施方式中，所述图像改善处理器还配置为基于强度梯度来确定所述相似性。
加以必要的修改，根据本发明的实施方式的程序和***的技术效果和优点与根据本发明的方法的实施方式的技术效果和优点相对应。
附图说明
现在仅以示例的方式，参考附图对根据本发明的实施方式的装置和/或方法的一些实施方式进行描述，在这些附图中：
图1是根据本发明的一个实施方式的***和方法的概览；
图2是根据本发明的另一个实施方式的***和方法的概览；
图3是根据本发明的一个实施方式的方法的流程图；
图4是根据本发明的一个实施方式的***的框图。
具体实施方式
本发明的焦点是借助一组训练图像从单个低分辨率图像生成高分辨率图像。低分辨率图像通常是场景的全景视图或广角视图。根据本发明，使用相同大致场景的详细(放大)图像作为训练图像。对这些训练图像进行实时处理，从而形成高分辨率图像分块的永久性更新的字典，所述高分辨率图像分块可以在识别出所述分块的低分辨率副本的位置混合到全景视频中。
在利用多个摄像机(可能包括高清(HD)摄像机)来转播节目，但是一个摄像机无法捕获所有物体的情况下，使用本发明的实施方式是有利的。当还可以使用捕获整个场景的概览摄像机(全向摄像机或全景摄像机)时，本发明能够使用来自HD摄像机的数据来改善概览摄像机的输出。这能够实现更高质量更宽视野的转播。典型的应用是体育赛事的电视转播，其中可以使用单个概况摄像机来捕获整个赛场的(低分辨率)概况，同时多个其他摄像机跟踪运动员的移动和/或观众的反应。
在根据本发明的方法中，从细节图像获得的高分辨率图像“分块”被替代到低分辨率图像中。将要替代到低分辨率图像中的高分辨率图像的各个“分块”基于它们的强度梯度图形被确定，忽略色度信息。已经证明这种方法可以产生良好的效果，同时与全色彩图形选择相比运算效率更高。
在本申请中，术语“字典”指的是数据库，该数据库将高分辨率强度图形(目标(target))与给定的多个低分辨率图形(关键点(key))相关联。
字典不需要是完整的。实际上，出于实际考虑(特别是所需的存储量)，建议字典不包括能够组成分块-除了微小分块-的像素值的每一个可能组合的条目，这种字典会很快变得庞大。识别不出现在字典中的低分辨率分块的最合适的高分辨率替代的一种方法是基于局部线性嵌入。该方法包括识别字典中低分辨率分块的最近邻，计算允许以最小误差重建低分辨率分块的那些最近邻的权重，以及将相同的权重应用于所识别的最近邻的高分辨率副本。重建的高分辨率分块接下来被用作原始低分辨率分块的替代。
本发明尤其基于发明人的以下深刻理解：使用静态字典不能一直提供可接受的高分辨率全景。
尽管人们相信静态字典对于自然图像而言已经足够了，但是其他类型的图像(特别是运动节目)的性质更特殊和动态。在对特定人和特定运动的图像进行超分辨率时，使用通用数据库的表现不好。这是因为在运动中需要保证特定运动员和场景的特征。通用的解决方案并未考虑这一点。例如，在足球运动中，需要保证超分辨率的特定运动员不会看起来像其他人。此外，特定对象，例如球和球场上的线是至关重要的，通用的超分辨率方法在超分辨率的过程中以不可接受的方式对细节进行修改。
因此，根据本发明，使用key-target对来实时填充字典，所述key-target对配准自正被应用超分辨率技术的实际图像材料。
识别能够用作字典条目的图像分块的方法被称为配准(registration)。它包括从高分辨率图像中选择分块，对该分块进行下采样以获得低分辨率副本，以及将原始高分辨率分块和它的低分辨率副本一起存储为key-target对。
本发明通过采用超分辨率解决上述问题，所述超分辨率的实现特别考虑了超分辨率过程中的特定场景相关信息。结果形成了一种***，该***可以使用高清(HD)摄像机利用超分辨率和概略配准技术来改善低分辨率全景。
因此，提出了一种***，该***从HD摄像机获得在线的粗略的缩放相关的信息和广角全景视图。结合的高分辨率和低分辨率(HR-LR)字典通过学习被获得，并且被用于超分辨率技术。不需要明确的重叠。这是因为字典填充有逐片将低分辨率全景视图映射至高分辨率视图的条目，不需要各片(分块)源自于相同的视场。该字典是基于场景的统计数据，并且优选在梯度/边缘域中运行(因此它不受颜色的影响)。利用分块在本地完成所述学习。需要注意的是，不需要所有的全景视图都存在HD视图。使用通过投影步骤学习的字典对概览全景摄像机的输出进行超分辨率。
现在参考图1对根据本发明的方法的第一实施方式进行描述。
在第一实施方式中，从一组HD摄像机110获得与相关场景相关的信息。可以通过各种方式实现这一目的。获得相关场景信息的一个例子是执行粗略配准和对齐步骤130。配准过程获得的结果是HD视图和(低分辨率)全景中的相应区域之间的缩放比例。然后根据该缩放比例对HD视图进行缩减。产生的视图和它的原始HD拷贝在在线字典学习步骤中被用到。
随后从该场景相关的信息中获得在线字典150。这是通过对输入帧进行预处理实现的，所述预处理是通过在高分辨率(HR)域中执行梯度运算和在相应的下采样低分辨率(LR)域中执行中带滤波实现的。我们从图像帧中提取了相应的HR和LR分块140。然后利用聚类算法对这些分块进行量化，产生HR和LR词汇的结合字典120。一旦学习了在线字典，我们然后进行投影160，将低分辨率分块从全景100投影到字典上。这允许我们获得重建场景所用的相应高分辨率梯度分块信息。该高分辨率梯度信息与色彩信息结合，从而产生高分辨率输出全景图像170。
优选地，以密集方式执行分块替代过程，即用高分辨率副本替代原始低分辨率图像的重叠部分。最优选地，(例如，通过平均或加权平均)对高分辨率部分的重叠部分的像素值进行组合，从而避免边界伪影。优选地，将被替代的图像部分间隔3个像素(中心到中心)，分块稍微大于3x3个像素，因此形成重叠的网格。
现在参考图2对根据本发明的方法的第二实施方式进行描述。
在第二实施方式中，参考图1解释的在线方法与离线方法相结合。使用相同的附图标记表示相同的特征，这些附图标记在这里不会明确重复。因此，除了动态字典之外还使用之前填充的(静态)字典210/250。通过从当前HR帧中学习，该动态字典适应于当前场景。适应的一个简单例子是在在线阶段学习k个特征的更详尽的字典，在离线学习阶段学习M个特征的较小的字典。K+M个特征的合并的字典260随后可以用于超分辨率投影步骤160。这样做还产生了广角高分辨率全景170，并结合了在线方法和离线方法的优点。
根据本发明的方法所产生的视频会提供好得多的用户体验，因为利用整个场景的高分辨率全景视图可以使用户选择并聚焦于他想看的东西，并且细节水平比之前所能实现的要高得多。这能够在未设置转播摄像机的区域中实现更好的分辨率。在设置有转播摄像机的区域中，纯转播视图仍然能够提供较高的分辨率。但是，解决视差问题很麻烦，且运算成本高，因此本发明针对该情况提供一种有利的备选。
图3是根据本发明的一个实施方式的方法的示例性流程图。
在第一步骤310中，接收低分辨率视频流。优选在步骤320同时接收一个或多个高分辨率视频流。低分辨率视频流和高分辨率视频流是基本上同步的视频流，表示相同的大致场景。
在步骤331中，从这些高分辨率视频流中选择图像分块，这些图像分块可以缩放和/或转换(像上面解释的那样转换，但是图中未显示)，从而与低分辨率视频流中的相应区域匹配。–在步骤332中，为选择的高分辨率图像分块生成低分辨率副本。接下来，在步骤333中，多对低分辨率副本和高分辨率分块作为带索引的字典被存储在合适的数据存储装置中，所述低分辨率副本从所述高分辨率分块获得。
通过在步骤351中用从第一数据存储器获得的相应高分辨率分块替代低分辨率视频流中与存储的低分辨率分块中的一个或多个足够相似的部分，实现在步骤350中对低分辨率视频流的实际改善。
所述方法还包括在步骤352中用从第二静态数据存储器获得的高分辨率分块替代低分辨率视频流的部分。
低分辨率/高分辨率对作为动态字典的存储取决于到期时间，因此该方法可以包括在步骤360中根据所述到期时间使分块对无效。这确保了动态字典的大小不会无限增长，并且内容表示可视化场景的当前的(或者至少最近的)统计数据。到期时间可以表示为多个帧(即视频帧)或者时间绝对量。使用3个视频帧，或者大约100至120ms的到期时间可以获得足够的结果。优选地，到期时间设置为3到1000个视频帧。
高分辨率分块对图像部分的替代不一定是一对一的。方法可以通过应用“最近邻”标准确定图像部分和字典中的分块之间的相似性。因此，替代步骤包括合成不同高分辨率分块中的高分辨率分块，所述不同高分辨率分块对应于低分辨率域中目标部分的各个最近邻。
在上文中，按照特定顺序对示例性方法的步骤进行描述，这只是为了清楚起见。一般而言，根据本发明的方法的步骤可以按不同顺序执行，该顺序可以是并列化顺序或序列化顺序，除非明确指出特定的步骤必须在特定的另一个步骤之前或之后发生。
图4是根据本发明的一个实施方式的***的框图。
所示***400包括用于接收低分辨率视频流的第一视频接口410和用于接收至少一个高分辨率视频流的第二视频接口420。所述低分辨率视频流和所述至少一个高分辨率视频流基本上是同步的。
术语“接口”指的是建立不同协议栈层之间的数据通信连接所需的必要硬件和软件，这对本领域技术人员而言是已知的。优选地，使用标准协议。例如，访问接口可以包括用于xDSL，xPON，WMAN或3G链路的接口。例如，LAN接口可以包括用于IEEE802.3“以太网”链路，IEEE802.11“无线LAN”链路的接口。例如，PAN接口可以包括USB接口或者蓝牙接口。
所述***还包括配准处理器430，该配准处理器可操作地连接至所述第二视频接口420和第一数据存储器440。配准处理器430配置为从高分辨率视频流中选择第一高分辨率图像分块，生成所述第一高分辨率图像分块各自的低分辨率副本，以及将由所述第一低分辨率副本索引的所述高分辨率图像分块存储在所述数据存储器440中。为了恰当地缩放和/或转换高分辨率分块，它们所属的区域可以基于特征而与低分辨率视频流的相应区域相匹配。为此，配准处理器430还可以可操作第连接至第一视频接口410。
所述***还包括图像改善处理器450，该图像改善处理器可操作地连接至第一视频接口410和第一数据存储器440。图像改善处理器450配置为用根据索引从第一数据存储器410获得的高分辨率分块替代所述低分辨率视频流的与存储的一个或多个低分辨率副本相似的部分。
所述***400可以包括第二数据存储器450。该第二据存储器450包括静态字典，所述静态字典由预存储的高分辨率图像分块组成，所述预存储的高分辨率图像分块由它们的低分辨率副本索引。在这种情况下，图像改善处理器450还配置为用根据其索引从第二数据存储器440获得的高分辨率分块来替代所述低分辨率视频流的与所述第二低分辨率副本中的一个或多个相似的部分。
所述***400可以包括定时器460，从而对以动态字典存储在第一数据存储器440中的条目施加过期策略。定时器460可操作第连接至配准处理器430，该配准处理器430还配置为使到期时间取决于高分辨率图像分块，以及利用定时器460的输出根据所述到期时间使这些高分辨率图像分块无效(优选地，将它们从存储器440删除)。
尽管上文以单独的实施方式对方法和装置进行了描述，但是这只是为了清楚起见，应该注意的是，仅仅结合方法实施方式描述的特征可以应用于根据本发明的装置中，从而获得相同的技术效果和优势，反之亦然。
所有附图，包括标记为处理器摂的功能框中所示的各种元素的功能可以通过使用专用硬件和与合适软件相关的能够执行软件的硬件来实现。当提供有处理器时，功能可以由单个专用处理器提供，由单个共享处理器提供，或由多个处理器提供，多个处理器中的一些可以被共享。
此外，术语处理器摂或控制器摂的明确使用不应理解为独指能够运行软件的硬件，可以非限制性地隐含数字信号处理器(DSP)硬件，网络处理器，特殊应用集成电路(ASIC)，现场可编程门阵列(FPGA)，用于存储软件的只读存储器(ROM)，随机接入存储器(RAM)和非易失存储器。还可以包括其它常规和/或定制硬件。类似地，图中示出的所有开关仅仅是概念上的。它们的功能可以通过程序逻辑的运行实现，通过专业逻辑实现，通过程序控制和专用逻辑的交互实现，甚或通过实施者可选择的特定技术手动实现，可以从上下文来更具体地理解特定技术。
本领域技术人员很容易就会认识到上述各种方法的步骤可以由程控计算机实施。在此，一些实施方式还涵盖如数据存储介质这样的程序存储装置，程序存储装置为可由机器或计算机读取，并且编码可由机器或计算机执行的指令程序，其中所述指令执行上述方法的一部分或所有步骤。例如，程序存储装置可以是数字存储器，诸如磁盘和磁带这样的磁性存储介质，硬盘，或光学可读的数据存储介质。实施方式还涵盖编程为执行上述方法的步骤的计算机。
Claims (11)
1.一种用于生成高分辨率视频流的方法，该方法包括：
-接收(310)低分辨率视频流；
-接收(320)至少一个高分辨率视频流；
-从所述至少一个高分辨率视频流选择(331)第一图像分块；
-生成(332)所述第一高分辨率图像分块的各自的第一低分辨率副本；
-将由所述第一低分辨率副本索引的所述第一高分辨率图像分块存储(333)在第一数据存储器中；以及
-通过用根据所述索引从所述第一数据存储器获得的第一高分辨率分块替代(351)所述低分辨率视频流的与所述第一低分辨率副本中的一个或多个相似的部分来改善(350)所述低分辨率视频流；
其中所述低分辨率视频流和所述至少一个高分辨率视频流是基本上同步的视频流。
2.如权利要求1所述的方法，所述方法结合第二数据存储器来使用，该第二数据存储器包括预存储的由第二低分辨率副本索引的第二高分辨率图像分块，所述方法还包括用根据其索引从所述第二数据存储器获得的第二高分辨率分块替代(352)所述低分辨率视频流的与所述第二低分辨率副本中的一个或多个相似的部分。
3.如前述权利要求中任意一项所述的方法，其中所述第一高分辨率图像分块的所述存储(333)包括使到期时间取决于所述高分辨率图像分块，所述方法还包括根据所述到期时间使所述第一高分辨率图像分块无效(360)。
4.如前述权利要求中任意一项所述的方法，其中所述低分辨率视频流的所述改善(350)包括通过应用“最近邻”标准来确定与所述第一低分辨率副本中的一个或多个的相似性，并且其中所述用第一高分辨率分块替代包括用与符合所述“最近邻”标准的低分辨率副本相对应的各个第一高分辨率分块的加权总和来替代。
5.如前述权利要求中任意一项所述的方法，其中基于强度梯度来确定所述相似性。
6.一种包括软件装置的计算机程序，所述软件装置被配置为在被运行时执行前述权利要求中任意一项所述的方法。
7.一种用于生成高分辨率视频流的***(400)，该***(400)包括：
-用于接收低分辨率视频流的第一视频接口(410)；
-用于接收至少一个高分辨率视频流的第二视频接口(420)；
-配准处理器(430)，该配准处理器(430)可操作地连接至所述第二视频接口(420)和第一数据存储器(410)，所述配准处理器(430)被配置为从所述至少一个高分辨率视频流中选择第一高分辨率图像分块，生成所述第一高分辨率图像分块各自的第一低分辨率副本，并且将由所述第一低分辨率副本索引的所述第一高分辨率图像分块存储在所述数据存储器中(440)；以及
-图像改善处理器(450)，该图像改善处理器(450)可操作地连接至所述第一视频接口(410)和所述第一数据存储器(440)，所述图像改善处理器(450)被配置为用根据所述索引从所述第一数据存储器(440)获得的第一高分辨率分块替代所述低分辨率视频流的与所述第一低分辨率副本中的一个或多个相似的部分；
其中所述低分辨率视频流和所述至少一个高分辨率视频流基本上是同步的。
8.如权利要求6所述的***(400)，该***还包括第二数据存储器(450)，所述第二数据存储器(450)包括预存储的由第二低分辨率副本索引的第二高分辨率图像分块，并且所述图像改善处理器(450)还被配置为用根据其索引从所述第二数据存储器(440)获得的第二高分辨率分块替代所述低分辨率视频流的与所述第二低分辨率副本中的一个或多个相似的部分。
9.如权利要求7至8中任意一项所述的***(400)，该***还包括定时器(460)，该定时器(460)可操作第连接至所述配准处理器(430)，所述配准处理器(430)还被配置为使到期时间取决于所述第一高分辨率图像分块，并且结合所述定时器来根据所述到期时间使所述第一高分辨率图像分块无效。
10.如权利要求7至9中任意一项所述的***(400)，其中所述图像改善处理器(450)还被配置为通过应用“最近邻”标准来确定与所述第一低分辨率副本中的一个或多个的相似性，并且用与符合所述“最近邻”标准的低分辨率副本相对应的各个第一高分辨率分块的加权总和来替代所述部分。
11.如权利要求7至10中任意一项所述的***(400)，其中所述图像改善处理器(450)还被配置为基于强度梯度来确定所述相似性。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP12305768.9 | 2012-06-28 | ||
| EP12305768.9A EP2680221B1 (en) | 2012-06-28 | 2012-06-28 | Method and system for generating a high-resolution video stream |
| PCT/EP2013/063114 WO2014001243A1 (en) | 2012-06-28 | 2013-06-24 | Method and system for generating a high-resolution video stream |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104395928A true CN104395928A (zh) | 2015-03-04 |
| CN104395928B CN104395928B (zh) | 2017-10-27 |
Family
ID=48670570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201380034015.3A Expired - Fee Related CN104395928B (zh) | 2012-06-28 | 2013-06-24 | 用于生成高分辨率视频流的方法和*** |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20150324952A1 (zh) |
| EP (1) | EP2680221B1 (zh) |
| JP (1) | JP5947460B2 (zh) |
| KR (1) | KR101649860B1 (zh) |
| CN (1) | CN104395928B (zh) |
| WO (1) | WO2014001243A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104966269A (zh) * | 2015-06-05 | 2015-10-07 | 华为技术有限公司 | 一种多帧超分辨率成像的装置及方法 |
| CN104992425A (zh) * | 2015-07-27 | 2015-10-21 | 华中科技大学 | 一种基于gpu加速的dem超分辨率方法 |
| CN109429098A (zh) * | 2017-08-24 | 2019-03-05 | 中兴通讯股份有限公司 | 视频处理方法、装置以及终端 |
| CN110035687A (zh) * | 2016-11-30 | 2019-07-19 | 卡普索影像公司 | 对使用胶囊相机所撷取的图像进行图像拼接的方法及装置 |
| CN113347374A (zh) * | 2016-08-25 | 2021-09-03 | 上海交通大学 | 基于多分辨率的多视角媒体呈现方法 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3038370A1 (en) * | 2014-12-22 | 2016-06-29 | Alcatel Lucent | Devices and method for video compression and reconstruction |
| EP3038366A1 (en) * | 2014-12-22 | 2016-06-29 | Alcatel Lucent | Devices and method for video compression and reconstruction |
| KR102234477B1 (ko) * | 2015-01-15 | 2021-04-01 | 한국전자통신연구원 | 영상 품질에 기초한 파노라마 영상 생성 장치 및 방법 |
| US10839483B2 (en) | 2015-06-30 | 2020-11-17 | Korea Advanced Institute Of Science And Technology | Method of converting low-resolution image to high-resolution image and image conversion device performing method |
| WO2017145149A1 (en) * | 2016-02-24 | 2017-08-31 | Project Ray Ltd. | System and method for automatic remote assembly of partially overlapping images |
| US9811946B1 (en) * | 2016-05-30 | 2017-11-07 | Hong Kong Applied Science and Technology Research Institute Company, Limited | High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image |
| KR102580519B1 (ko) * | 2016-09-07 | 2023-09-21 | 삼성전자주식회사 | 영상처리장치 및 기록매체 |
| KR102384234B1 (ko) | 2016-10-26 | 2022-04-07 | 삼성전자주식회사 | 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록 매체 |
| US10643307B2 (en) * | 2017-11-10 | 2020-05-05 | Intel Corporation | Super-resolution based foveated rendering |
| US10909700B2 (en) * | 2019-04-02 | 2021-02-02 | Samsung Electronics Co., Ltd. | Display apparatus and image processing method thereof |
| CN113191939A (zh) * | 2021-04-30 | 2021-07-30 | 山东产研信息与人工智能融合研究院有限公司 | 高分辨率目标影像置换低分辨率目标影像的方法及*** |
| CN114900717B (zh) * | 2022-05-13 | 2023-09-26 | 杭州网易智企科技有限公司 | 视频数据传输方法、装置、介质和计算设备 |
| CN117941368A (zh) * | 2022-08-05 | 2024-04-26 | 核心光电有限公司 | 用于具有自动可调变焦视场的变焦数字相机的***和方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4302776A (en) * | 1979-03-22 | 1981-11-24 | Micro Consultants Limited | Digital still picture storage system with size change facility |
| CN1062252A (zh) * | 1990-09-14 | 1992-06-24 | 伊斯曼柯达公司 | 引入低分辨率索引图象数据的图象数据库 |
| WO2003084207A2 (en) * | 2002-03-25 | 2003-10-09 | The Trustees Of Columbia University In The City Of New York | Method and system for enhancing data quality |
| CN1791208A (zh) * | 2002-01-18 | 2006-06-21 | Lg电子株式会社 | 在记录介质上记录静止图像的方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002093916A2 (en) * | 2001-05-14 | 2002-11-21 | Elder James H | Attentive panoramic visual sensor |
| JP4470848B2 (ja) * | 2005-09-15 | 2010-06-02 | パナソニック電工株式会社 | 顔部品抽出方法及び顔認証装置 |
| WO2011090798A1 (en) * | 2010-01-22 | 2011-07-28 | Thomson Licensing | Data pruning for video compression using example-based super-resolution |
| EP2529353A1 (en) * | 2010-01-28 | 2012-12-05 | Yissum Research Development Company of the Hebrew University of Jerusalem, Ltd. | Method and system for generating an output image of increased pixel resolution from an input image |
-
2012
- 2012-06-28 EP EP12305768.9A patent/EP2680221B1/en not_active Not-in-force
-
2013
- 2013-06-24 CN CN201380034015.3A patent/CN104395928B/zh not_active Expired - Fee Related
- 2013-06-24 WO PCT/EP2013/063114 patent/WO2014001243A1/en active Application Filing
- 2013-06-24 KR KR1020157002028A patent/KR101649860B1/ko active IP Right Grant
- 2013-06-24 US US14/410,432 patent/US20150324952A1/en not_active Abandoned
- 2013-06-24 JP JP2015519019A patent/JP5947460B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4302776A (en) * | 1979-03-22 | 1981-11-24 | Micro Consultants Limited | Digital still picture storage system with size change facility |
| CN1062252A (zh) * | 1990-09-14 | 1992-06-24 | 伊斯曼柯达公司 | 引入低分辨率索引图象数据的图象数据库 |
| CN1791208A (zh) * | 2002-01-18 | 2006-06-21 | Lg电子株式会社 | 在记录介质上记录静止图像的方法 |
| WO2003084207A2 (en) * | 2002-03-25 | 2003-10-09 | The Trustees Of Columbia University In The City Of New York | Method and system for enhancing data quality |
| WO2003084207A3 (en) * | 2002-03-25 | 2003-12-18 | Univ Columbia | Method and system for enhancing data quality |
Non-Patent Citations (3)
| Title |
|---|
| HONG CHANG ET AL: "Super-Resolution through Neighbor Embedding", 《IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION & PATTERN RECOGNITION》 * |
| V.CHEUNG,ET AL: "Video epitomes", 《IN PROC. IEEE CONF. COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| 孙琰玥等: "一种用于视频超分辨率重建的块匹配图像配准方法", 《自动化学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104966269A (zh) * | 2015-06-05 | 2015-10-07 | 华为技术有限公司 | 一种多帧超分辨率成像的装置及方法 |
| CN104992425A (zh) * | 2015-07-27 | 2015-10-21 | 华中科技大学 | 一种基于gpu加速的dem超分辨率方法 |
| CN104992425B (zh) * | 2015-07-27 | 2018-02-27 | 华中科技大学 | 一种基于gpu加速的dem超分辨率方法 |
| CN113347374A (zh) * | 2016-08-25 | 2021-09-03 | 上海交通大学 | 基于多分辨率的多视角媒体呈现方法 |
| CN110035687A (zh) * | 2016-11-30 | 2019-07-19 | 卡普索影像公司 | 对使用胶囊相机所撷取的图像进行图像拼接的方法及装置 |
| CN110035687B (zh) * | 2016-11-30 | 2022-02-11 | 卡普索影像公司 | 对使用胶囊相机所撷取的图像进行图像拼接的方法及装置 |
| CN109429098A (zh) * | 2017-08-24 | 2019-03-05 | 中兴通讯股份有限公司 | 视频处理方法、装置以及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2014001243A1 (en) | 2014-01-03 |
| US20150324952A1 (en) | 2015-11-12 |
| KR101649860B1 (ko) | 2016-08-22 |
| EP2680221A1 (en) | 2014-01-01 |
| EP2680221B1 (en) | 2016-05-11 |
| JP5947460B2 (ja) | 2016-07-06 |
| KR20150031448A (ko) | 2015-03-24 |
| CN104395928B (zh) | 2017-10-27 |
| JP2015525914A (ja) | 2015-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104395928A (zh) | 用于生成高分辨率视频流的方法和*** | |
| CN109417634B (zh) | 使用虚拟参考帧的用于虚拟现实视频的帧间编码方法及装置 | |
| US20180098090A1 (en) | Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters | |
| US20170180680A1 (en) | Object following view presentation method and system | |
| US20190373287A1 (en) | Method for encoding/decoding synchronized multi-view video by using spatial layout information and apparatus of the same | |
| US11049314B2 (en) | Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images | |
| US20190364207A1 (en) | Device for providing realistic media image | |
| US20190222862A1 (en) | Encoding apparatus and method, and decoding apparatus and method | |
| CN105264567A (zh) | 用于图像稳定化的图像融合方法 | |
| CN109076232B (zh) | 视频编码或解码方法与装置 | |
| JP4965967B2 (ja) | 映像表示システムの調整システム | |
| US11431953B2 (en) | Opportunistic volumetric video editing | |
| Lu et al. | Bridging the visual gap: Wide-range image blending | |
| JP2006014174A (ja) | 画像符号化装置及び方法、画像復号化装置及び方法 | |
| JP6392738B2 (ja) | 情報取得装置、情報取得方法及び情報取得プログラム | |
| US20180338160A1 (en) | Method and Apparatus for Reduction of Artifacts in Coded Virtual-Reality Images | |
| JP6392739B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| Zhao et al. | Stripe sensitive convolution for omnidirectional image dehazing | |
| JP2017102784A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2017102785A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| Zheng et al. | Bi-projection for 360° image object detection bridged by RoI Searcher | |
| KR20230129798A (ko) | 원본 영상으로부터 객체 영상을 추출하는 장치, 방법 및 컴퓨터 프로그램 | |
| JP2020178235A (ja) | 映像効果装置及びプログラム | |
| Zhou et al. | Improved Poisson Matting for a Real Time Tele-presence System Using GPU |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171027 Termination date: 20190624 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |