CN116248955A - 一种基于ai抽帧补帧的vr云渲染图像增强方法 - Google Patents
一种基于ai抽帧补帧的vr云渲染图像增强方法 Download PDFInfo
- Publication number
- CN116248955A CN116248955A CN202211722376.4A CN202211722376A CN116248955A CN 116248955 A CN116248955 A CN 116248955A CN 202211722376 A CN202211722376 A CN 202211722376A CN 116248955 A CN116248955 A CN 116248955A
- Authority
- CN
- China
- Prior art keywords
- frame
- image
- pixel points
- cloud
- image enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000000605 extraction Methods 0.000 title claims abstract description 22
- 238000009877 rendering Methods 0.000 title claims abstract description 15
- 239000013589 supplement Substances 0.000 title claims abstract description 6
- 238000005516 engineering process Methods 0.000 claims abstract description 14
- 230000001502 supplementing effect Effects 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 238000003707 image sharpening Methods 0.000 claims abstract description 7
- 238000003706 image smoothing Methods 0.000 claims abstract description 6
- 230000003287 optical effect Effects 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 6
- 238000004806 packaging method and process Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/202—Gamma control
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于AI抽帧补帧的VR云渲染图像增强方法，属于VR全景视频技术领域。本发明中VR应用通过云端GPU能力进行云渲染，服务端采用AI算法对VR推流画面图像进行抽帧，减少数据包传输，客户端通过拉流接收到数据包后，采用深度学***滑、频域滤波等技术进行图像增强，解决了客户端拉取云端VR视频资源的画面流畅性和完整性问题，大大提升了VR客户端访问云VR应用的体验感。
Description
技术领域
本发明涉及VR全景视频技术领域，具体涉及一种基于AI抽帧补帧的VR云渲染图像增强方法。
背景技术
随着信息技术的不断发展，VR虚拟现实技术逐渐走进了我们的日常生活，通过三维空间的虚拟生成，让人们能无限的观察三维空间内的事物。目前的VR虚拟现实技术已经非常成熟，VR虚拟现实技术得到普及和应用，数字化产品不断涌现，不仅可以提高消费者体验物质化产品的新颖性和趣味性，还可以保证消费者更好地感受产品背后的文化知识和价值观念，从而为更好地满足消费者的文化精神生活的追求体现出非常重要的应用价值。传统的VR虚拟现实技术需要将VR全景视频资源存储在客户端本地，客户端加载本地VR场景资源，随着VR全景视频的空间场景以及观看体验的需求，对客户端的配置要求也会越来越高，VR体验会由于客户端配置而受到影响。因此，将VR全景视频在云端服务器进行渲染再通过ffmpeg等技术推流拉流在客户端进行展示是未来的发展趋势，可以解决客户端配置需求问题，增强客户端的VR体验。
随着VR全景视频技术的蓬勃发展，VR全景视频的大小也会随着VR全景视频的空间场景以及观看体验的需求变得越来越大，传统的VR眼镜需要进行配置的不断升级才能提供更好的体验，VR全景视频通过云端GPU能力进行云渲染，在客户端进行投放显示是未来的一个比较好的解决方案，但客户端拉取云端VR视频资源时，存在画面流畅性不高和完整性差的问题，为此，提出一种基于AI抽帧补帧的VR云渲染图像增强方法。
发明内容
本发明所要解决的技术问题在于：如何解决客户端拉取云端VR视频资源的画面流畅性和完整性问题，提供了一种基于AI抽帧补帧的VR云渲染图像增强方法，在服务端通过GPU对视频流进行抽帧，使用到光流算法在客户端对视频流补帧操作，再进行图像增强，提升VR客户端访问云VR应用的体验感。
本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
S1：将VR应用制作成镜像
通过Docker容器化技术将需要使用到的VR应用场景打包到镜像中，并将推流服务器打包到镜像中，开放推流服务器需要的UDP/TCP端口；
S2：客户端进入VR应用
客户端打开制作好的前端网址页面，打开应用，点击需要访问的VR应用，此时客户端会通过调用服务端接口的方式启动容器，在容器中打开内部的VR应用，通过容器内部的屏幕截取并通过推流服务器将容器中的VR画面通过推流展示，并通过内部UDP通信返回给客户端VR应用场景拉流地址；
S3：服务端对视频流抽帧
服务端依次通过视频解码、帧色彩空间转换、JPEG编码操作实现对视频流抽帧；
S4：客户端对视频流补帧
客户端使用基于光流算法的视频流插帧算法对视频流进行分析，进行补帧操作；
S5：对补帧画面进行增强
采用图像增强算法对补帧画面进行图像增强。
更进一步的，在所述步骤S3中，帧色彩空间转换、JPEG编码操作均采用GPU CUDAkernel来做并行计算加速。
更进一步的，在所述步骤S4中，基于光流算法的视频流插帧算法使用到光流算法通过数学建模形式计算t-1帧与t+1帧的像素点变化情况，根据光流算法计算出t帧时刻的像素点位置情况，从而进行补帧操作。
更进一步的，所述步骤S4包括以下过程：
S41：获取VR视频流的当前帧图像，即通过拉流获取截取当前帧图像；
S42：根据光流算法计算当前帧的一组像素点在下一帧图像中的位置；
S43：建立相邻的两帧图像全局参数模型对像素点抽样；
S44：通过数学建模计算出当前帧到下一帧的全局运动参数；
S45：根据全局运动参数对中间帧进行插帧操作。
更进一步的，所述步骤S42包括以下过程：
S421：将当前帧图像划分成k*n个宏块，从每个宏块中取中心像素点，取到k*n个像素点；
S422：通过光流算法计算每个像素点在下一帧图像中的局部运动矢量；
S423：根据每个像素点当前帧的坐标以及局部运动矢量计算出在下一帧图像中的位置坐标。
更进一步的，所述步骤S43包括以下过程：
S431：将随机选取的当前帧图像中的多个像素点的位置和上述多个像素点在下一帧图像中的位置坐标代入全局参数模型中获取全局运动参数；
S432：采用随机抽样一致性方式从当前帧图像和下一帧图像的k*n对像素点中任意抽取多对像素点，从多对像素点中任意抽取2对像素点，坐标代入全局参数模型得到四个方程，根据四个方程求得四个全局运动参数w、α、lx、ly；
S433：将当前帧图像中的一组像素点中的剩余像素点的位置坐标输入全局参数模型中，得到剩余像素点在下一帧图像中的位置坐标；
S434：统计在预设范围内的像素点坐标，根据记录的每次筛选出来的像素点个数，判断此次抽样的准确率是否达标，以及本次抽样计算出来的结果是否有效。
更进一步的，在所述步骤S431中，全局参数模型如下：
其中，α为帧图像的旋转角度参数，w为帧图像的伸缩运动参数，lx、ly分别为x轴、y轴平移运动参数，(xi,yi)为像素点在i帧图像中的位置坐标，(xi+1，yi+1)为像素点在i+1帧图像中的位置坐标。
更进一步的，在所述步骤S44中，根据筛选出来的像素点在当前帧图像以及下一帧图像中的位置坐标，进而计算出全局运动参数。
更进一步的，在所述步骤S45中，通过计算当前帧到下一帧的全局运动参数获取中间时刻像素点的流动情况，整个过程视为匀速进行，通过当前帧中每个像素点的位置以及全局运动参数w、α、lx、ly，计算出中间时刻各个像素点的位置，在中间时刻进行插帧操作。
更进一步的，在所述步骤S5中，图像增强算法包括图像锐化、图像平滑、灰度调整、直方图均衡。
本发明相比现有技术具有以下优点：VR应用通过云端GPU能力进行云渲染，服务端采用AI算法对VR推流画面图像进行抽帧，减少数据包传输，客户端通过拉流接收到数据包后，采用深度学***滑、频域滤波等技术进行图像增强，解决了客户端拉取云端VR视频资源的画面流畅性和完整性问题，大大提升了VR客户端访问云VR应用的体验感。
附图说明
图1是本发明实施例中基于AI抽帧补帧的VR云渲染图像增强方法的流程示意图；
图2是本发明实施例中客户端对视频流补帧的流程示意图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，本实施例提供一种技术方案：一种基于AI抽帧补帧的VR云渲染图像增强方法，包括以下步骤：
S1、将VR应用制作成镜像：通过Docker容器化技术将需要使用到的VR应用场景打包到镜像中，并将推流服务器打包到镜像中，开放推流服务器需要的UDP/TCP端口。
S2、客户端进入VR应用：客户端打开制作好的前端网址页面，打开应用，点击需要访问的VR应用，这时客户端会通过调用服务端接口的方式启动容器，容器中会打开内部的VR应用，通过容器内部的屏幕截取并通过推流服务器将容器中的VR画面通过推流展示，并通过内部UDP通信返回给客户端VR应用场景拉流地址。
S3、服务端对视频流抽帧：服务端对视频流抽帧的流程上大体包括视频解码、帧色彩空间转换、JPEG编码。其中帧色彩空间转换、JPEG编码都涉及像素级别计算，采用GPUCUDA kernel来做并行计算加速。此外，视频解码后得到的帧都是未经压缩的原始数据，数据量很大，如果解码是在CPU上进行，或者GPU解码后自动传回了CPU，则需要频繁做device(显存)与host(主存)之间的原始帧数据来回拷贝，IO时耗长且数据带宽拥塞，导致时延明显增加。因此，本发明的主要目标是尽可能减少host与device间的数据IO交换，做到抽帧过程全流程GPU异构计算，充分利用NVIDIA GPU自带的硬件解码单元NVDEC，最大限度减少视频解码对于CPU以及GPU CUDA核心占用的同时，尽可能低延时、高吞吐地处理视频抽帧以及后续的视频补帧处理。
S4、客户端对视频流补帧：客户端使用插帧算法对视频流进行分析，提升视频流的帧率以及视频的流畅度。从连续视频序列生成不存在的帧一直是视频处理领域中具有挑战性的问题。典型的基于核的插值方法通过单个卷积过程预测像素，该卷积过程使用空间自适应局部核卷积源帧，从而避免了以光流形式进行耗时的显式运动估计。本发明中具体使用到光流算法通过数学建模形式计算t-1帧与t+1帧的像素点变化情况，根据光流算法计算出t帧时刻的像素点位置情况，从而进行补帧操作。
S5、采用灰度变换、图像锐化、图像平滑、频域滤波等技术对补帧画面进行增强：由于补帧画面清晰度和对比度比较低，不能够突出画面中的重点。对于小样本图像数据集往往采用图像增强的方法扩充数据量增加实验的合理性，图像增强算法能够提高图像整体和局部的对比度，突出图像的细节信息，使图像更符合人眼的视觉特性且易于机器识别。具体的图像增强算法包括：图像锐化，平滑(去噪)，灰度调整(对比度增强)，直方图均衡等。
在本实施例中，如图2所示，步骤S4中的插帧算法为基于光流算法的视频流插帧算法，具体处理过程如下：
S41：获取VR视频流的当前帧图像；
S42：根据光流算法计算当前帧的一组像素点在下一帧图像中的位置；
S43：建立相邻的两帧图像全局参数模型对像素点抽样；
S44：通过数学建模计算出当前帧到下一帧的全局运动参数；
S45：根据全局运动参数对中间帧进行插帧操作。
在本实施例中，在步骤S41中，通过拉流获取截取当前帧图像。
在本实施例中，在步骤S42中，首先将当前帧图像划分成k*n个宏块，从每个宏块中取中心像素点，可以取到k*n个像素点；然后通过光流算法计算每个像素点在下一帧图像中的局部运动矢量；最后根据每个像素点当前帧的坐标以及局部运动矢量可以计算出在下一帧图像中的位置坐标。
本实施例中的光流算法主要指L-K光流算法，该算法是一种两帧差分的光流估计算法，当前帧图像的像素点坐标(x，y)，当前帧的时间t，则相邻两帧图像对像素点的约束方程是：
(x，y，t)＝(x+&x，y+&y，t+&t)
其中，&x为在&t时间内像素点坐标(x，y)的x轴的位置偏移量，&y为在&t时间内像素点坐标(x，y)的y轴的位置偏移量。
对k*n个像素点应用上述约束方程，进行泰勒级数展开可以求出每个像素点在局部的运动矢量。
在本实施例中，在步骤S43中，先将随机选取的当前帧图像中的若干个像素点的位置和这些像素点在下一帧图像中的位置坐标代入全局参数模型中获取全局运动参数，因为帧图像在运动过程中可能出现平移、旋转等操作，因此建立的全局参数模型：
其中，α为帧图像的旋转角度参数，w为帧图像的伸缩运动参数，lx、ly分别为x轴、y轴平移运动参数，(xi，yi)为像素点在i帧图像中的位置坐标，(xi+1，yi+1)为像素点在i+1帧图像中的位置坐标。
然后采用随机抽样一致性方式从当前帧图像和下一帧图像的k*n对像素点中任意抽取多对像素点，由于上述全局参数模型中的四个全局运动参数为待求的未知量，对于4个未知量需要通过4个方程求出，因此从多对像素点中任意抽取2对像素点，坐标待入全局参数模型可得到四个方程，根据四个方程可以求得四个全局运动参数w、α、lx、ly；
再将当前帧图像中的一组像素点中的剩余像素点的位置坐标输入到全局参数模型中，得到剩余像素点在下一帧图像中的位置坐标；
统计在预设范围内的像素点坐标，根据记录的每次筛选出来的像素点个数，判断此次抽样的准确率是否达标，以及本次抽样计算出来的结果是否有效；
抽样次数M可以根据经验公式得出：
其中，z为算法结果的准确率，w为筛选出来的像素点在整个像素点中的比例，为了提高准确率可以认为w>＝0.7，l为每次在集合中所取点的个数；可以根据这些信息来计算达到多少次随机抽样来确保准确率。
在本实施例中，在步骤S44中，根据筛选出来的像素点在当前帧图像以及下一帧图像中的位置坐标，可以计算出全局运动参数。
在本实施例中，在步骤S45中，通过计算当前帧到下一帧的全局运动参数获取中间时刻像素点的流动情况，整个过程可以看作是匀速进行，通过当前帧中每个像素点的位置以及全局运动参数w、α、lx、ly，计算出中间时刻各个像素点的位置，在中间时刻进行插帧操作。
综上所述，上述实施例的基于AI抽帧补帧的VR云渲染图像增强方法，VR应用通过云端GPU能力进行云渲染，服务端采用AI算法对VR推流画面图像进行抽帧，减少数据包传输，客户端通过拉流接收到数据包后，采用深度学***滑、频域滤波等技术进行图像增强，解决了客户端拉取云端VR视频资源的画面流畅性和完整性问题，大大提升了VR客户端访问云VR应用的体验感。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于AI抽帧补帧的VR云渲染图像增强方法，其特征在于，包括以下步骤：
S1：将VR应用制作成镜像
通过Docker容器化技术将需要使用到的VR应用场景打包到镜像中，并将推流服务器打包到镜像中，开放推流服务器需要的UDP/TCP端口；
S2：客户端进入VR应用
客户端打开制作好的前端网址页面，打开应用，点击需要访问的VR应用，此时客户端会通过调用服务端接口的方式启动容器，在容器中打开内部的VR应用，通过容器内部的屏幕截取并通过推流服务器将容器中的VR画面通过推流展示，并通过内部UDP通信返回给客户端VR应用场景拉流地址；
S3：服务端对视频流抽帧
服务端依次通过视频解码、帧色彩空间转换、JPEG编码操作实现对视频流抽帧；
S4：客户端对视频流补帧
客户端使用基于光流算法的视频流插帧算法对视频流进行分析，进行补帧操作；
S5：对补帧画面进行增强
采用图像增强算法对补帧画面进行图像增强。
2.根据权利要求1所述的一种基于AI抽帧补帧的VR云渲染图像增强方法，其特征在于：在所述步骤S3中，帧色彩空间转换、JPEG编码操作均采用GPU CUDA kernel来做并行计算加速。
3.根据权利要求1所述的一种基于AI抽帧补帧的VR云渲染图像增强方法，其特征在于：在所述步骤S4中，基于光流算法的视频流插帧算法使用到光流算法通过数学建模形式计算t-1帧与t+1帧的像素点变化情况，根据光流算法计算出t帧时刻的像素点位置情况，从而进行补帧操作。
4.根据权利要求1所述的一种基于AI抽帧补帧的VR云渲染图像增强方法，其特征在于：所述步骤S4包括以下过程：
S41：获取VR视频流的当前帧图像，即通过拉流获取截取当前帧图像；
S42：根据光流算法计算当前帧的一组像素点在下一帧图像中的位置；
S43：建立相邻的两帧图像全局参数模型对像素点抽样；
S44：通过数学建模计算出当前帧到下一帧的全局运动参数；
S45：根据全局运动参数对中间帧进行插帧操作。
5.根据权利要求4所述的一种基于AI抽帧补帧的VR云渲染图像增强方法，其特征在于：所述步骤S42包括以下过程：
S421：将当前帧图像划分成k*n个宏块，从每个宏块中取中心像素点，取到k*n个像素点；
S422：通过光流算法计算每个像素点在下一帧图像中的局部运动矢量；
S423：根据每个像素点当前帧的坐标以及局部运动矢量计算出在下一帧图像中的位置坐标。
6.根据权利要求5所述的一种基于AI抽帧补帧的VR云渲染图像增强方法，其特征在于：所述步骤S43包括以下过程：
S431：将随机选取的当前帧图像中的多个像素点的位置和上述多个像素点在下一帧图像中的位置坐标代入全局参数模型中获取全局运动参数；
S432：采用随机抽样一致性方式从当前帧图像和下一帧图像的k*n对像素点中任意抽取多对像素点，从多对像素点中任意抽取2对像素点，坐标代入全局参数模型得到四个方程，根据四个方程求得四个全局运动参数w、α、lx、ly；
S433：将当前帧图像中的一组像素点中的剩余像素点的位置坐标输入全局参数模型中，得到剩余像素点在下一帧图像中的位置坐标；
S434：统计在预设范围内的像素点坐标，根据记录的每次筛选出来的像素点个数，判断此次抽样的准确率是否达标，以及本次抽样计算出来的结果是否有效。
7.根据权利要求6所述的一种基于AI抽帧补帧的VR云渲染图像增强方法，其特征在于：在所述步骤S431中，全局参数模型如下：
其中，α为帧图像的旋转角度参数，w为帧图像的伸缩运动参数，lx、ly分别为x轴、y轴平移运动参数，(xi,yi)为像素点在i帧图像中的位置坐标，(xi+1，yi+1)为像素点在i+1帧图像中的位置坐标。
8.根据权利要求7所述的一种基于AI抽帧补帧的VR云渲染图像增强方法，其特征在于：在所述步骤S44中，根据筛选出来的像素点在当前帧图像以及下一帧图像中的位置坐标，进而计算出全局运动参数。
9.根据权利要求8所述的一种基于AI抽帧补帧的VR云渲染图像增强方法，其特征在于：在所述步骤S45中，通过计算当前帧到下一帧的全局运动参数获取中间时刻像素点的流动情况，整个过程视为匀速进行，通过当前帧中每个像素点的位置以及全局运动参数w、α、lx、ly，计算出中间时刻各个像素点的位置，在中间时刻进行插帧操作。
10.根据权利要求9所述的一种基于AI抽帧补帧的VR云渲染图像增强方法，其特征在于：在所述步骤S5中，图像增强算法包括图像锐化、图像平滑、灰度调整、直方图均衡。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211722376.4A CN116248955A (zh) | 2022-12-30 | 2022-12-30 | 一种基于ai抽帧补帧的vr云渲染图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211722376.4A CN116248955A (zh) | 2022-12-30 | 2022-12-30 | 一种基于ai抽帧补帧的vr云渲染图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116248955A true CN116248955A (zh) | 2023-06-09 |
Family
ID=86632210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211722376.4A Pending CN116248955A (zh) | 2022-12-30 | 2022-12-30 | 一种基于ai抽帧补帧的vr云渲染图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116248955A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115210A (zh) * | 2023-10-23 | 2023-11-24 | 黑龙江省农业科学院农业遥感与信息研究所 | 基于物联网的智慧农业监控调节方法 |
| CN117281616A (zh) * | 2023-11-09 | 2023-12-26 | 武汉真彩智造科技有限公司 | 一种基于混合现实的手术控制方法及*** |
| CN117523061A (zh) * | 2024-01-04 | 2024-02-06 | 深圳市黑金工业制造有限公司 | 一种基于人工智能的电子影像渲染控制***及方法 |
-
2022
- 2022-12-30 CN CN202211722376.4A patent/CN116248955A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115210A (zh) * | 2023-10-23 | 2023-11-24 | 黑龙江省农业科学院农业遥感与信息研究所 | 基于物联网的智慧农业监控调节方法 |
| CN117115210B (zh) * | 2023-10-23 | 2024-01-26 | 黑龙江省农业科学院农业遥感与信息研究所 | 基于物联网的智慧农业监控调节方法 |
| CN117281616A (zh) * | 2023-11-09 | 2023-12-26 | 武汉真彩智造科技有限公司 | 一种基于混合现实的手术控制方法及*** |
| CN117281616B (zh) * | 2023-11-09 | 2024-02-06 | 武汉真彩智造科技有限公司 | 一种基于混合现实的手术控制方法及*** |
| CN117523061A (zh) * | 2024-01-04 | 2024-02-06 | 深圳市黑金工业制造有限公司 | 一种基于人工智能的电子影像渲染控制***及方法 |
| CN117523061B (zh) * | 2024-01-04 | 2024-04-12 | 深圳市黑金工业制造有限公司 | 一种基于人工智能的电子影像渲染控制***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102295403B1 (ko) | 깊이 추정 방법 및 장치, 전자 기기, 프로그램 및 매체 | |
| CN116248955A (zh) | 一种基于ai抽帧补帧的vr云渲染图像增强方法 | |
| CN110738605A (zh) | 基于迁移学习的图像去噪方法、***、设备及介质 | |
| TWI739151B (zh) | 圖像生成網路的訓練及影像處理方法和裝置、電子設備 | |
| EP3660663B1 (en) | Delivering virtualized content | |
| US9565414B2 (en) | Efficient stereo to multiview rendering using interleaved rendering | |
| CN112543317A (zh) | 高分辨率单目2d视频到双目3d视频的转制方法 | |
| WO2024022065A1 (zh) | 虚拟表情生成方法、装置、电子设备和存储介质 | |
| CN112019828B (zh) | 一种视频的2d到3d的转换方法 | |
| WO2023202447A1 (zh) | 画质提升模型的训练方法和视频会议***画质的提升方法 | |
| CN111696034B (zh) | 图像处理方法、装置及电子设备 | |
| CN111612878A (zh) | 将静态照片制作成三维效果视频的方法及装置 | |
| CN109658488B (zh) | 一种虚实融合***中通过可编程gpu加速解码摄像头视频流的方法 | |
| EP4162691A1 (en) | A method, an apparatus and a computer program product for video encoding and video decoding | |
| WO2024032331A9 (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN115375539A (zh) | 图像分辨率增强、多帧图像超分辨率***和方法 | |
| Chi et al. | RA360SR: A real-time acceleration-adaptive 360-degree video super-resolution system | |
| CN113706673A (zh) | 一种应用于虚拟增强现实技术的云渲染框架平台 | |
| Liu et al. | Texture-adaptive hole-filling algorithm in raster-order for three-dimensional video applications | |
| Van Bogaert et al. | Novel view synthesis in embedded virtual reality devices | |
| Feng et al. | Applying holo360 video and image super-resolution generative adversarial networks to virtual reality immersion | |
| CN105243652B (zh) | 图像降噪的方法及装置 | |
| Qian et al. | 360-Degree Image Super-Resolution Based on Single Image Sample and Progressive Residual Generative Adversarial Network | |
| JP2022188343A (ja) | 映像配信システム、映像配信プログラム及び映像配信方法 | |
| CN115222606A (zh) | 图像处理方法、装置、计算机可读介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |