CN111818298A - 一种基于光场的高清视频监控***及方法 - Google Patents
一种基于光场的高清视频监控***及方法 Download PDFInfo
- Publication number
- CN111818298A CN111818298A CN202010512930.0A CN202010512930A CN111818298A CN 111818298 A CN111818298 A CN 111818298A CN 202010512930 A CN202010512930 A CN 202010512930A CN 111818298 A CN111818298 A CN 111818298A
- Authority
- CN
- China
- Prior art keywords
- resolution
- monitoring
- module
- monitoring video
- light field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 152
- 238000000034 method Methods 0.000 title claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims description 43
- 238000007726 management method Methods 0.000 claims description 27
- 238000013500 data storage Methods 0.000 claims description 21
- 230000003287 optical effect Effects 0.000 claims description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000001502 supplementing effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及一种基于光场的高清视频监控***及方法，由光场监控视频采集模块、显示模块、分辨率增强模块、数据存储模块、***管理模块组成。本发明面向视频监控领域，利用现有视频监控设备，结合光场图像超分辨技术，在不显著增加成本的前提下，实现高清视频监控。
Description
技术领域
本发明涉及监控技术领域，尤其是一种基于光场的高清视频监控***及方法。
背景技术
视频监控***在安防、交通等领域被广泛使用并发挥着重要作用，然而由于目前普遍装备的监控设备分辨率的限制，常常导致重要细节难以分辨，无法充分发挥监控视频作为线索及证据的重要作用。然而，全面换装高分辨率监控设备将带来高昂成本，因此，充分发挥现有监控设备能力，设计算法可靠地提高监控视频分辨率成为一个可能选项。本发明通过现有设备构建光场采集***，充分利用光场数据特性，在不显著提升成本的前提下，利用720P监控设备实现4K监控。
发明内容
为了在控制成本的同时，克服现有监控***分辨率不足的问题，本发明提供了一种基于光场的高清视频监控***及方法，面向视频监控领域，利用现有视频监控设备，结合光场图像超分辨技术，在不增加监控摄像机成本的前提下，实现高清视频监控。
本发明采用如下的技术方案:
一种基于光场的高清视频监控***，包括监控视频采集模块、分辨率增强模块、显示模块、数据存储模块和***管理模块，其中：
监控视频采集模块实现角分辨率为3×3的720P光场监控视频的采集，该模块包含分布在均匀规则3×3网格上的9个光轴平行的720P分辨率监控摄像头，相邻视角图像保证最大视差小于15。
分辨率增强模块实现光场视频中心视角分辨率增强，采用一种独创的光场中心视角超分辨卷积神经网络，通过全局与局部残差结构的结合，在充分发掘光场监控视频中心视角自身信息的同时，充分提取光场图像周围视角信息，实现中心视角亚像素信息的可靠补充，对中心视角进行超分辨处理，准实时生成4K高分辨率场景监控视频。
显示模块管理两块4K高分辨率显示器，一块显示监控视频采集模块采集得到的角分辨率为3×3的720P光场监控视频，另一块同步显示分辨率增强至4K的高分辨率场景监控视频。
数据存储模块连接视频数据库，自动存储监控视频采集模块捕获的角分辨率为3×3的720P光场监控视频与分辨率增强模块生成的4K高分辨率场景监控视频，提供视频数据的添加、删除、查询接口。
***管理模块与数据存储模块连接后，可对视频数据库中存储的全部监控视频进行查询与删除，***管理模块连接用户数据库，将用户分为***管理员与普通用户，***管理员可查询与删除监控数据，普通用户仅可查询监控数据。
本发明的一种基于光场的高清视频监控方法，其中，监控视频采集模块通过分布在均匀规则3×3网格上的9个光轴平行的720P分辨率监控摄像头采集光场监控视频数据，相邻视角图像保证最大视差小于15，采集得到的光场监控视频数据发送至数据存储模块、分辨率增强模块与显示模块；分辨率增强模块根据输入的角分辨率为3×3的720P光场监控视频，使用一种独创的光场中心视角超分辨卷积神经网络，准实时生成4K高分辨率场景监控视频，并将其发送至数据存储模块与显示模块；显示模块，在一块4K显示器上显示角分辨率为3×3的720P光场监控视频，在另外一块4K显示器上同步显示分辨率增强至4K的高分辨率场景监控视频，在实时监控模式下，显示来自监控视频采集模块的角分辨率为3×3的720P光场监控视频与来自分辨率增强模块的分辨率增强至4K的高分辨率场景监控视频，在数据查询模式下，显示来自***管理模块的角分辨率为3×3的720P光场监控视频与分辨率增强至4K的高分辨率场景监控视频；数据存储模块接收并自动保存来自监控视频采集模块的角分辨率为3×3的720P光场监控视频与分辨率增强模块生成的4K高分辨率场景监控视频，根据***管理模块请求将监控视频发送至***管理模块，根据***管理模块请求将监控视频删除；***管理模块根据用户指令从数据存储模块中提取监控视频并发送至显示模块，根据用户指令从数据存储模块中删除指定监控视频，根据用户指令控制显示模块的显示模式，分别为实时监控模式与数据查询模式，***管理模块将用户分为***管理员与普通用户，***管理员查询与删除监控数据，普通用户仅查询监控数据。
本发明与现有技术相比的优点在于：
(1)本发明基于现有设备，在不显著增加视频监控设备成本的基础上，采用一种独创的光场中心视角超分辨卷积神经网络，准实时生成4K高分辨率场景监控视频，实现高可靠性的图像超分辨，得到更高分辨率、更高清晰度的场景监控视频，进一步增加了监控视频的实用性与可靠性。
(2)基于本发明所述光场监控视频以及光场中心视角超分辨卷积神经网络，可将当前常见的分辨率为1280×720的720P监控视频提高至分辨率为3840×2160的4K高清场景监控视频，超分辨所得4K高清场景监控视频与真实采集4K高清场景监控视频相比，其峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)达到34.50，结构相似性(StructuralSimilarity Index，SSIM)达到0.9748，具备充分的可靠性。本发明所述光场中心视角超分辨卷积神经网络，其单帧图像平均计算时间为0.62s，达到准实时水平，具备充分的实用性。
附图说明
图1为本发明的***整体运行结构示意图；
图2为本发明的***部署方式示意图；
图3为本发明的监控视频采集模块摄像头排列方式示意图；
图4为本发明的光场图像中心视角超分辨卷积神经网络结构图；
图5为本发明的光场图像中心视角超分辨卷积神经网络中残差模块结构图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。
在图1本发明的整体结构示意图中***整体的模块结构和模块之间的连接方案如下：
监控视频采集模块，管理分布在3×3均匀规则网格上的9个720P监控摄像头。所有摄像头镜头光轴平行，同时相邻视角图像最大视差小于15。监控视频采集模块利用9个720P监控摄像头，采集角分辨率为3×3的光场数据，其镜头排列方式如图3所示，分布在间距为b的均匀规则网格上，各摄像头光轴平行且垂直于规则网格平面。摄像头间距b根据拍摄场景确定，保证相邻视角图像间最大视差小于15。采集得到的全部720P光场数据被发送至数据存储模块、分辨率增强模块以及显示模块。
分辨率增强模块，根据监控视频采集模块采集到的光场数据，使用独创的光场中心视角超分辨卷积神经网络，通过多路网络设计，以及全局与局部残差结构的结合，充分提取光场中心视角自身高频信息以及周围视角补充信息，实现高质量超分辨。网络如图4所示，采用多路网络结构分别从各输入视角提取图像信息。其中，中心视角为高分辨率监控视频的基础视角，采用全局残差结构与局部残差结构，周围8个视角为辅助视角，均只采用局部残差结构。将3×3光场视角以行主式排序，从左上到右下分别编号为1至9。以xi表示双三次插值至3840×2160的第i视角图像，则中心视角信息提取可由如下公式表示：
Fc(x5)＝RB22(…RB1(ReLU(Conv(x5)))…)+x5 (1)
公式(1)中，Fc(·)表示中心视角信息提取运算，Conv(·)为卷积运算，ReLU(·)为整流线性单位函数，如下公式所示：
ReLU(x)＝max(0，x) (2)
公式(2)中，x表示任意尺寸特征图，max(0，x)函数将x的每一位数字与0比较，保留二者中的大者。公式(1)中RBk(·)为第k个残差模块，残差模块结构全部相同，如图5所示，实现方式如下公式所示：
RBk(x)＝ReLU(Conv(ReLU(Conv(x)))+x (3)
其中x表示任意尺寸特征图，Conv(·)与ReLU(·)含义同公式(1)中对应运算相同。公式(1)中以…表示省略的第2至21个残差模块。来自视角1～4、6～9的辅助视角信息提取可由如下公式表示：
F(xn)＝RB22(…RB1(ReLU(Conv(xn)))…)，n＝1，2，3，4，6，7，8，9 (4)
其中，F(·)表示辅助视角信息提取运算，RBk(·)、…、ReLU(·)、Conv(·)含义同公式(1)中对应部分相同。9条分路的输出经由拼接形成一组特征图，再经过两次卷积整合形成最终的超分辨输出xSR。网络整体结构如下公式所示：
xSR＝ReLU(Conv(ReLU(Conv(Concat(Fc(x5)，F(x1)，…，F(x4)，F(x6)，…，F(x9)))))) (5)
其中，Concat(·)为拼接函数，将输入特征图组按照通道维度拼接在一起，ReLU(·)、Conv(·)含义同公式(1)中对应部分相同，Fc(·)如公式(1)所示，F(·)如公式(4)所示。本发明使用的全部卷积层卷积核大小均为3×3，步长为1，特征图周围填充0以使大小不变。除最后的卷积层卷积核数为3以外，其余卷积层卷积核数均为128。网络的训练目标数据为本发明所述数据采集模块采集得到的角分辨率为3×3的720P光场监控视频的中心视角图像，将角分辨率为3×3的720P光场监控视频空间降采样至427×240后插值回1280×720作为训练输入数据，空间降采样与插值均使用双三次插值算法。网络训练目标函数使用均方误差函数(Mean Square Error，MSE)，如下公式所示：
其中，
为网络在第k个训练数据上的超分辨输出，SR为Super-Resolution缩写，意为超分辨，
为第k个训练数据中的720P光场监控视频的原始中心视角，HR为High-Resolution缩写，意为高分辨率，N为全部训练数据的数量。基于以上卷积神经网络，根据角分辨率为3×3的720P光场监控视频输入，分辨率增强模块产生4K高分辨率场景监控视频。本模块产生的高分辨率场景监控视频被分别发送至数据存储模块与显示模块。
数据存储模块连接视频数据库，自动存储监控视频采集模块捕获的角分辨率为3×3的720P光场监控视频与分辨率增强模块生成的4K高分辨率场景监控视频，提供视频数据的添加、删除、查询接口，根据***管理模块的请求，调取任意监控视频发送至***管理模块，根据***管理模块的请求，删除任意监控视频。
***管理模块与数据存储模块连接，根据用户指令对视频数据库中存储的全部监控视频进行查询与删除，根据用户指令，从数据存储模块处取得光场监控视频后，发送至显示模块进行播放。根据用户指令控制显示模块的显示模式，分别为实时监控模式与数据查询模式。***管理模块连接用户数据库，将用户分为***管理员与普通用户，其中，***管理员可查询与删除监控数据，普通用户仅可查询监控数据。
显示模块管理两块4K高分辨率显示器，一块以九宫格形式显示720P光场监控视频的全部3×3视角，另一块同步显示分辨率增强至4K的高分辨率场景监控视频。在实时监控模式下，显示来自监控视频采集模块的角分辨率为3×3的720P光场监控视频与来自分辨率增强模块的分辨率增强至4K的高分辨率场景监控视频，在数据查询模式下，显示来自***管理模块的角分辨率为3×3的720P光场监控视频与分辨率增强至4K的高分辨率场景监控视频。
如图2所示，本***的硬件部署方法，其中各硬件部署方案如下：
S1：***的计算服务器设备，设备为配置高性能计算卡的服务器，运行光场视频分辨率增强程序；
S2：***终端设备，设备为台式电脑，带有***的数据存储模块；
S3：***的管理服务器设备，提供访问基础数据的服务；
S4：光场监控视频采集设备，设备为在3×3均匀规则网格上排列、光轴平行、相邻视角图像最大视差小于15的720P监控摄像头；
S5：高速以太网设备，为S1、S2、S3、S4、S6、S7提供基础数据交换服务；
S6：***管理设备，设备为台式电脑，实现监控视频的查询与删除，实现用户权限控制；
S7：***监控数据的显示设备，设备为2块4K LCD显示器；
S8：监控***用户，在***管理设备上查询监控视频，从显示设备上观看监控视频。分为***管理员与普通用户，其中***管理员可以删除***中的监控视频。
Claims (3)
1.一种基于光场的高清视频监控***，其特征在于，包括：监控视频采集模块、分辨率增强模块、显示模块、数据存储模块和***管理模块；
监控视频采集模块，实现角分辨率为3×3的720P光场监控视频的采集；
分辨率增强模块，实现光场视频中心视角分辨率增强，采用一种独创的光场中心视角超分辨卷积神经网络，在充分发掘光场监控视频中心视角自身信息的同时将采集到的光场监控视频周围视角信息补充至光场监控视频中心视角，对中心视角进行超分辨处理，准实时生成4K高分辨率场景监控视频；
显示模块，包括两块4K高分辨率显示器，其中一块显示监控视频采集模块采集得到的角分辨率为3×3的720P光场监控视频，另外一块同步显示分辨率增强至4K的高分辨率场景监控视频；
数据存储模块，连接视频数据库，自动存储监控视频采集模块采集得到的角分辨率为3×3的720P光场监控视频与分辨率增强模块生成的4K高分辨率场景监控视频，提供数据的添加、删除、查询接口；
***管理模块，与数据存储模块连接后，对视频数据库中存储的全部监控视频进行查询与删除；***管理模块连接用户数据库，将用户分为***管理员与普通用户，***管理员查询与删除监控数据，普通用户仅查询监控数据；
所述独创的光场中心视角超分辨卷积神经网络实现如下：
(1)光场中心视角超分辨卷积神经网络，采用多路网络结构分别从各输入视角提取图像信息，其中，中心视角为高分辨率监控视频的基础视角，采用全局残差结构与局部残差结构，周围8个视角为辅助视角，均只采用局部残差结构，全局残差结构完整保留中心视角低频信息；局部残差结构由残差模块实现；9条分路的输出经由拼接形成一组特征图，经过另外两层卷积，得到最终的超分辨中心视角；
(2)残差模块输入经过两层卷积运算的结果与输入相加得到输出；
(3)光场中心视角超分辨卷积神经网络全部卷积层的卷积核大小均为3×3，步长为1，特征图边缘填充0以保证卷积过后特征图尺寸不发生变化；网络的全部卷积层均搭配整流线性单位函数ReLU(Rectified Linear Unit,ReLU)，除最后一个卷积层卷积核数为3外，其他层卷积核数均为128；
(4)各网络分支的输入分别为对应视角720P监控视频经过双三次插值得到的4K分辨率图像。
2.根据权利要求1所述的基于光场的高清视频监控***，其特征在于：所述监控视频采集模块包括分布在均匀规则3×3网格上的9个光轴平行的720P分辨率监控摄像头，相邻视角图像保证最大视差小于15以完成光场监控视频的采集。
3.一种基于光场的高清视频监控方法，其特征在于：监控视频采集模块通过分布在均匀规则3×3网格上的9个光轴平行的720P分辨率监控摄像头采集光场监控视频数据，相邻视角图像保证最大视差小于15，采集得到的光场监控视频数据发送至数据存储模块、分辨率增强模块与显示模块；分辨率增强模块根据输入的角分辨率为3×3的720P光场监控视频，使用一种独创的光场中心视角超分辨卷积神经网络，准实时生成4K高分辨率场景监控视频，并将其发送至数据存储模块与显示模块；显示模块，在一块4K显示器上显示角分辨率为3×3的720P光场监控视频，在另外一块4K显示器上同步显示分辨率增强至4K的高分辨率场景监控视频，在实时监控模式下，显示来自监控视频采集模块的角分辨率为3×3的720P光场监控视频与来自分辨率增强模块的分辨率增强至4K的高分辨率场景监控视频，在数据查询模式下，接收来自***管理模块的角分辨率为3×3的720P光场监控视频与分辨率增强至4K的高分辨率场景监控视频；数据存储模块接收并自动保存来自监控视频采集模块的角分辨率为3×3的720P光场监控视频与分辨率增强模块生成的4K高分辨率场景监控视频，根据***管理模块请求将监控视频发送至***管理模块，根据***管理模块请求将监控视频删除；***管理模块根据用户指令从数据存储模块中提取监控视频并发送至显示模块，根据用户指令从数据存储模块中删除指定监控视频，根据用户指令控制显示模块的显示模式，分别为实时监控模式与数据查询模式，***管理模块将用户分为***管理员与普通用户，***管理员查询与删除监控数据，普通用户仅查询监控数据；
所述独创的光场中心视角超分辨卷积神经网络实现如下：
(1)光场中心视角超分辨卷积神经网络，如图4所示，采用多路网络结构分别从各输入视角提取图像信息，其中，中心视角为高分辨率监控视频的基础视角，采用全局残差结构与局部残差结构，周围8个视角为辅助视角，均只采用局部残差结构，全局残差结构完整保留中心视角低频信息；局部残差结构由残差模块实现；9条分路的输出经由拼接形成一组特征图，经过另外两层卷积，得到最终的超分辨中心视角；
(2)残差模块如图5所示，输入经过两层卷积运算的结果与输入相加得到输出；
(3)光场中心视角超分辨卷积神经网络全部卷积层的卷积核大小均为3×3，步长为1，特征图边缘填充0以保证卷积过后特征图尺寸不发生变化；网络的全部卷积层均搭配整流线性单位函数ReLU(Rectified Linear Unit,ReLU)，除最后一个卷积层卷积核数为3外，其他层卷积核数均为128；
(4)各网络分支的输入分别为对应视角720P监控视频经过双三次插值得到的4K分辨率图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010512930.0A CN111818298B (zh) | 2020-06-08 | 2020-06-08 | 一种基于光场的高清视频监控***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010512930.0A CN111818298B (zh) | 2020-06-08 | 2020-06-08 | 一种基于光场的高清视频监控***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111818298A true CN111818298A (zh) | 2020-10-23 |
| CN111818298B CN111818298B (zh) | 2021-10-22 |
Family
ID=72846001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010512930.0A Active CN111818298B (zh) | 2020-06-08 | 2020-06-08 | 一种基于光场的高清视频监控***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111818298B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112837321A (zh) * | 2021-02-09 | 2021-05-25 | 北京航空航天大学 | 一种基于光场的场景语义分割***及方法 |
| CN113784217A (zh) * | 2021-09-13 | 2021-12-10 | 天津智融创新科技发展有限公司 | 视频播放方法、装置、设备和存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107657586A (zh) * | 2017-10-13 | 2018-02-02 | 深圳市唯特视科技有限公司 | 一种基于深度残差网络的单照片超分辨增强方法 |
| CN108074218A (zh) * | 2017-12-29 | 2018-05-25 | 清华大学 | 基于光场采集装置的图像超分辨率方法及装置 |
| CN108230223A (zh) * | 2017-12-28 | 2018-06-29 | 清华大学 | 基于卷积神经网络的光场角度超分辨率方法及装置 |
| CN108280814A (zh) * | 2018-02-08 | 2018-07-13 | 重庆邮电大学 | 基于感知损失的光场图像角度超分辨率重建方法 |
| US20180352254A1 (en) * | 2017-06-02 | 2018-12-06 | Ostendo Technologies, Inc. | Methods for Full Parallax Light Field Compression |
| CN110276721A (zh) * | 2019-04-28 | 2019-09-24 | 天津大学 | 基于级联残差卷积神经网络的图像超分辨率重建方法 |
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
| US20200058126A1 (en) * | 2018-08-17 | 2020-02-20 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN111242846A (zh) * | 2020-01-07 | 2020-06-05 | 福州大学 | 基于非局部增强网络的细粒度尺度图像超分辨率方法 |
-
2020
- 2020-06-08 CN CN202010512930.0A patent/CN111818298B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180352254A1 (en) * | 2017-06-02 | 2018-12-06 | Ostendo Technologies, Inc. | Methods for Full Parallax Light Field Compression |
| CN107657586A (zh) * | 2017-10-13 | 2018-02-02 | 深圳市唯特视科技有限公司 | 一种基于深度残差网络的单照片超分辨增强方法 |
| CN108230223A (zh) * | 2017-12-28 | 2018-06-29 | 清华大学 | 基于卷积神经网络的光场角度超分辨率方法及装置 |
| CN108074218A (zh) * | 2017-12-29 | 2018-05-25 | 清华大学 | 基于光场采集装置的图像超分辨率方法及装置 |
| CN108280814A (zh) * | 2018-02-08 | 2018-07-13 | 重庆邮电大学 | 基于感知损失的光场图像角度超分辨率重建方法 |
| US20200058126A1 (en) * | 2018-08-17 | 2020-02-20 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
| CN110276721A (zh) * | 2019-04-28 | 2019-09-24 | 天津大学 | 基于级联残差卷积神经网络的图像超分辨率重建方法 |
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN111242846A (zh) * | 2020-01-07 | 2020-06-05 | 福州大学 | 基于非局部增强网络的细粒度尺度图像超分辨率方法 |
Non-Patent Citations (3)
| Title |
|---|
| 符子瑞: "基于超分辨率的图像重建算法及研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 邓武: "融合全局与局部视角的光场超分辨率重建", 《计算机应用研究》 * |
| 郑祥祥: "基于卷积神经网络的光场图像超分辨率重建", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112837321A (zh) * | 2021-02-09 | 2021-05-25 | 北京航空航天大学 | 一种基于光场的场景语义分割***及方法 |
| CN112837321B (zh) * | 2021-02-09 | 2022-10-11 | 北京航空航天大学 | 一种基于光场的场景语义分割***及方法 |
| CN113784217A (zh) * | 2021-09-13 | 2021-12-10 | 天津智融创新科技发展有限公司 | 视频播放方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111818298B (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Learning temporal dynamics for video super-resolution: A deep learning approach | |
| WO2021093584A1 (zh) | 基于深度卷积神经网络的自由视点视频生成及交互方法 | |
| Lei et al. | Depth map super-resolution considering view synthesis quality | |
| US9699476B2 (en) | System and method for video context-based composition and compression from normalized spatial resolution objects | |
| CN109447919B (zh) | 结合多视角与语义纹理特征的光场超分辨率重建方法 | |
| CN104349142B (zh) | 一种基于分层表达的无人机视频自适应传输方法 | |
| CN106791927A (zh) | 一种基于深度学习的视频增强与传输方法 | |
| CN111160295B (zh) | 基于区域引导和时空注意力的视频行人重识别方法 | |
| CN111818298B (zh) | 一种基于光场的高清视频监控***及方法 | |
| CN101877767A (zh) | 一种六通道视频源生成三维全景连续视频的方法和*** | |
| CN110223236B (zh) | 用于增强图像序列的方法 | |
| CN110880162A (zh) | 基于深度学习的快照光谱深度联合成像方法及*** | |
| Shuai et al. | Mobiup: An upsampling-based system architecture for high-quality video streaming on mobile devices | |
| CN108171723A (zh) | 基于Vibe和BP神经网络算法的多焦距镜头联动成像摄像机*** | |
| CN109636763A (zh) | 一种智能复眼监控*** | |
| CN109688328A (zh) | 一种基于不同点位摄像机的视频拼接融合及分割的方法和装置 | |
| Chen et al. | Deep light field spatial super-resolution using heterogeneous imaging | |
| CN111083368A (zh) | 一种基于云端的模拟物理云台全景视频展示*** | |
| Liu et al. | Multiscale WS-SSIM for panoramic video quality assessment | |
| Zhao et al. | Compact Representation of Light Field Data for Refocusing and Focal Stack Reconstruction Using Depth Adaptive Multi-CNN | |
| Guo et al. | No-reference omnidirectional video quality assessment based on generative adversarial networks | |
| Xiao et al. | Space-time super-resolution for light field videos | |
| Shao et al. | Pixel-level self-paced adversarial network with multiple attention in single image super-resolution | |
| Chai et al. | Super-Resolution Reconstruction for Stereoscopic Omnidirectional Display Systems via Dynamic Convolutions and Cross-View Transformer | |
| Chu et al. | Dual attention with the self-attention alignment for efficient video super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220721 Address after: 102600 Building 8, yard 29, Jinghai Second Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Patentee after: Beijing Zhonghang Game Technology Co. Silvio Address before: 100191 No. 37, Haidian District, Beijing, Xueyuan Road Patentee before: BEIHANG University |
|
| TR01 | Transfer of patent right |