CN108810427A - 基于视点的全景视频内容表示的方法及装置 - Google Patents
基于视点的全景视频内容表示的方法及装置 Download PDFInfo
- Publication number
- CN108810427A CN108810427A CN201710301137.4A CN201710301137A CN108810427A CN 108810427 A CN108810427 A CN 108810427A CN 201710301137 A CN201710301137 A CN 201710301137A CN 108810427 A CN108810427 A CN 108810427A
- Authority
- CN
- China
- Prior art keywords
- piecemeal
- video frame
- user
- transformed
- panoramic video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及一种基于视点的全景视频内容表示的方法及装置,通过获取用户的视点信息;获取全景视频,对全景视频中的每个视频帧进行分块处理;根据用户的视点信息,对视频帧中的每个分块进行转换,得到转换后的分块;对转换后的分块进行重采样操作,将重采样后的分块拼接为新的视频帧,并以新的视频帧组合形成基于视点的全景视频内容表示。从而实现对给定的观看朝向,可以将用户视窗范围内的内容和其他区域的内容进行非对等的表示,使得全景视频内容表示是基于用户视点的,从而在向用户传输全景视频时,可以基于用户的视点,将以该视点表示的全景视频传输给用户,从而达到减少全景视频的数据量、降低视频分辨率、压缩视频码率的目的。
Description
技术领域
本发明涉及多媒体领域,尤其涉及一种基于视点的全景视频内容表示的方法及装置。
背景技术
随着多媒体技术的发展,虚拟现实技术(VR)受到工业界和学术界的广泛关注。其中,全景视频,如360度视频、全方位视频的应用得到了广泛的使用。
虚拟现实视频的数据量通常非常大,这就使得对于全景视频的压缩码率和网络传输成为最大的挑战。例如,一个分辨率为4Kx2K以ERP方式映射的全景视频在压缩编码后码率可达15Mbps~20Mbps,一个分辨率为8Kx4K以ERP方式映射的全景视频在压缩编码后码率可达70Mbps~100Mbps。全景视频高分辨率、高码率的特性阻碍了其互联网应用的发展。另外,用户在观看全景视频时实际上只看到了视窗内的视频内容,其他区域的内容并没有被用户看到。因此,将全景视频的全部内容(视窗内及视窗外的内容)传输到客户端造成了带宽浪费。
发明内容
本发明提供一种基于视点的全景视频内容表示的方法及装置,通过基于给定的观看朝向,对于视窗范围内的内容和其他区域的内容进行非对等的表示,使得全景视频内容表示是基于用户视点的,从而在向用户传输全景视频时,可以基于用户的视点,将以该视点表示的全景视频传输给用户,从而达到减少全景视频的数据量、降低视频分辨率、压缩视频码率的目的。
本发明提供一种基于视点的全景视频内容表示的方法,包括:
获取配置信息,所述配置信息中包含有:用户的视点信息;
获取全景视频,对所述全景视频中的每个视频帧进行分块处理;
根据所述用户的视点信息,对视频帧中的每个分块进行转换,得到转换后的分块;
对所述转换后的分块进行重采样操作,将重采样后的分块拼接为新的视频帧,并以所述新的视频帧组合形成所述基于视点的全景视频内容表示。
可选的,所述对所述全景视频中的每个视频帧进行分块处理,包括:
将视频帧进行宽N等分、高M等分,得到MxN个大小相同的分块。
可选的,所述根据所述用户的视点信息,对视频帧中的每个分块进行转换,得到转换后的分块,包括:
根据所述用户的视点信息,确定视频帧中每个分块的观看概率;
根据所述每个分块的观看概率,在视频帧内所有转换后的分块的失真满足最小值的情况下,确定转换后的分块的大小。
可选的,所述对所述转换后的分块进行重采样操作,包括:
若转换后的分块的大小与转换前的分块的大小不同,则对该转换后的分块进行下采样操作。
可选的,所述配置信息,还包括:
码率、分辨率;
相应的,所述以所述新的视频帧组合形成所述基于视点的全景视频内容表示,包括:
根据不同的所述视点信息、所述码率、所述分辨率,将新的视频帧组合形成多个媒体片断集合,其中每个集合中的媒体片断具有特定的视点信息、码率和分辨率;
根据用户的视点信息,在不同的媒体片断集合中确定媒体片断,并组合形成所述全景视频内容以发送给用户。
本发明还提供一种基于视点的全景视频内容表示的装置,包括:
获取模块,用于获取配置信息,所述配置信息中包含有:用户的视点信息;还用于获取全景视频;
处理模块,用于对所述全景视频中的每个视频帧进行分块处理;根据所述用户的视点信息,对视频帧中的每个分块进行转换,得到转换后的分块;对所述转换后的分块进行重采样操作,将重采样后的分块拼接为新的视频帧,并以所述新的视频帧组合形成所述基于视点的全景视频内容表示。
可选的,所述处理模块,包括:
分块模块,用于将视频帧进行宽N等分、高M等分,得到MxN个大小相同的分块。
可选的,所述处理模块,还包括:
确定模块,用于根据所述用户的视点信息,确定视频帧中每个分块的观看概率;根据所述每个分块的观看概率,在视频帧内所有转换后的分块的失真满足最小值的情况下,确定转换后的分块的大小。
可选的,所述处理模块,还包括:
采样模块,用于当转换后的分块的大小与转换前的分块的大小不同时,对该转换后的分块进行下采样操作。
可选的,所述配置信息,还包括:
码率、分辨率;
相应的,所述处理模块,包括:
组合模块,用于根据不同的所述视点信息、所述码率、所述分辨率,将新的视频帧组合形成多个媒体片断集合,其中每个集合中的媒体片断具有特定的视点信息、码率和分辨率;
确定模块,用于根据用户的视点信息,在不同的媒体片断集合中确定媒体片断,并组合形成所述全景视频内容以发送给用户。
本发明的基于视点的全景视频内容表示的方法及装置,通过获取配置信息,该配置信息中包含有:用户的视点信息;获取全景视频,对全景视频中的每个视频帧进行分块处理;根据用户的视点信息,对视频帧中的每个分块进行转换,得到转换后的分块;对转换后的分块进行重采样操作,将重采样后的分块拼接为新的视频帧,并以新的视频帧组合形成基于视点的全景视频内容表示。从而实现对给定的观看朝向,可以将用户视窗范围内的内容和其他区域的内容进行非对等的表示,使得全景视频内容表示是基于用户视点的,从而在向用户传输全景视频时,可以基于用户的视点,将以该视点表示的全景视频传输给用户,从而达到减少全景视频的数据量、降低视频分辨率、压缩视频码率的目的。
附图说明
图1为全景视频内容生成的流程示意图;
图2为本发明一示例性实施例示出的基于视点的全景视频内容表示的方法的流程示意图;
图3为本发明另一示例性实施例示出的基于视点的全景视频内容表示的方法的流程示意图;
图4为本发明一示例性实施例示出的基于视点的全景视频内容表示的装置的结构示意图;
图5为本发明另一示例性实施例示出的基于视点的全景视频内容表示的装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
首先对全景视频内容的生成进行说明,在2016年6月,MPEG提出了全方位媒体应用格式标准草案。在制作全景视频时,通常用若干个摄像头录制真实世界的视觉场景。同一时刻的摄像头输出的视频帧(图像)需要经过拼接、投影、映射后封装成一个二维平面数据帧才能进行视频编码。如图1所示,为全景视频内容生成的流程示意图。其中,拼接指的是将多个摄像头同一时刻采集的图像,通过特征点匹配、融合等技术还原真实世界视觉场。图像经过拼接后将投影到一个三维投影结构上,例如一个球体或者立方体。由于投影结构是三维的,但目前广泛使用的编码器是针对二维平面视频进行编码的,所以需要将投影结构上的图像进一步地映射到一个二维平面,得到一个二维映射后的数据帧后才能进行视频压缩编码。目前常用的映射方法有Equirectangular Projection(ERP)、Cubemap Projection(CMP)等。最后,视频编码器对视频序列进行编码,得到编码压缩的视频流。而本发明方法是针对图1所示的二维映射后所封装的全景视频进行基于视点的全景视频内容表示。之所以要基于视点对全景视频进行内容表示,主要是如在背景技术中介绍的由于全景视频数据量大,压缩码率和网络传输是最大的挑战,同时,现有技术中的全景视频内容表示会导致用户头部微转时,用户视窗内渲染的内容出现模糊、边界效应等问题。为解决上述问题,本发明会在视频编码前会基于视点对全景视频内容进行表示。然后,网络中的客户端根据用户的观看朝向等信息,用HTTP动态自适应流媒体技术(DASH)进行网络传输。具体而言,如图2所示,本实施例示出的基于视点的全景视频内容表示的方法,包括:
步骤201、获取配置信息,配置信息中包含有:用户的视点信息。
步骤202、获取全景视频,对全景视频中的每个视频帧进行分块处理。
步骤203、根据用户的视点信息,对视频帧中的每个分块进行转换,得到转换后的分块。
步骤204、对转换后的分块进行重采样操作,将重采样后的分块拼接为新的视频帧,并以新的视频帧组合形成基于视点的全景视频内容表示。
具体的,用于执行该基于视点的全景视频内容表示的方法的处理器根据配置信息,如配置文件对输入的视频进行处理,该视频可以为ERP格式的视频文件或其他格式的视频文件,本发明对视频文件的格式不作具体的限定。然后,处理器对输入的视频按照配置参数进行处理。也就是根据给定的视点,对原视频帧进行处理得到变换后的视频帧。处理的过程为,首先对原视频帧进行分块处理,再根据用户的视点信息,对分块进行转换,得到基于视点的新的分块,对该新的分块进行采样,再将采样后的新的分块拼接为新的视频帧,从而就得到了基于视点的全景视频的内容表示。
本实施例的基于视点的全景视频内容表示的方法,通过获取配置信息,该配置信息中包含有:用户的视点信息;获取全景视频,对全景视频中的每个视频帧进行分块处理;根据用户的视点信息,对视频帧中的每个分块进行转换,得到转换后的分块;对转换后的分块进行重采样操作,将重采样后的分块拼接为新的视频帧,并以新的视频帧组合形成基于视点的全景视频内容表示。从而实现对给定的观看朝向,可以将用户视窗范围内的内容和其他区域的内容进行非对等的表示,使得全景视频内容表示是基于用户视点的,从而在向用户传输全景视频时,可以基于用户的视点,将以该视点表示的全景视频传输给用户,从而达到减少全景视频的数据量、降低视频分辨率、压缩视频码率的目的。
图3为本发明另一示例性实施例示出的基于视点的全景视频内容表示的方法的流程示意图,如图3所示,进一步的,在上述实施例的基础上,本实施的基于视点的全景视频内容表示的方法,具体包括:处理器首先根据配置文件对输入的ERP格式视频进行处理;然后,处理器对输入的ERP格式视频按照配置参数进行处理;再由发送器将处理后的视频序列发送给视频编码器进行编码。以实现本发明基于视点的全景视频内容表示的优化方法,其详细的实现步骤为:
步骤301、获取配置信息,配置信息中包含有:用户的视点信息。
步骤302、获取全景视频,将视频帧进行宽N等分、高M等分,得到MxN个大小相同的分块。
具体的,对于全景视频的获取可以通过采用若干个摄像头录制真实世界的视觉场景,数据预处理装置对同一时刻的摄像头输出的视频帧(图像)经过拼接、投影、映射后封装成ERP格式的全景视频。对用户的视点位置、传输码率、全景视频设备分辨率等信息可以进行预定义,作为配置信息的配置文件。然后由执行该基于视点的全景视频内容表示的方法的处理器获取到该ERP格式的全景视频和配置文件并进行需要的处理,该处理器对ERP格式的全景视频按照配置文件中的相关参数进行需要的处理。具体而言,对于给定的视点,对原视频帧进行处理得到变换后的视频帧。其中处理的方法涉及的相关概念如下:
1、原始视频帧的宽:定义W为原始视频帧的宽。
2、原始视频帧的高:定义H为原始视频帧的高。
3、视频分块:对每一个原始视频帧进行宽N等分,高M等分后,得到MxN个大小相同的分块。定义第i列、第j行的分块块为Bij,其中1≤i≤N,1≤j≤M。
4、转换前分块的宽:定义Wb为转换前分块的宽,有Wb=W/N。
5、转换前分块的高:定义Hb为转换前分块的高,有Hb=H/M。
步骤303、根据用户的视点信息,确定视频帧中每个分块的观看概率。
6、分块的观看概率:定义pij为第i列、第j行分块的观看概率。分块的观看概率由用户关注度概率计算得到。
步骤304、根据每个分块的观看概率,在视频帧内所有转换后的分块的失真满足最小值的情况下,确定转换后的分块的大小。
7、转换后分块的宽:定义wi为第i列的分块的宽。
8、转换后分块的高:定义hj为第j列的分块的高。
9、转换后视频的宽:定义WT为转换后视频的宽。
10、转换后视频的高:定义HT为转换后视频的高。
11、分块失真大小:若分块的原始宽为Wb、原始高Hb、改变后的宽为w、改变后的高为h,定义分块改变大小后产生的失真值为D(w,h;Wb,Hb),则有:
通过上述处理器先对待处理视频帧进行分块,然后通过最优化求解每个分块的转换后宽和高。具体而言,对每一个视频帧进行宽N等分,高M等分后。最优化问题的目标是最小化总分块失真,约束条件是分转换后的视频的宽和高。最优化问题的数学形式可表示为:
对上述最优化问题进行求解,并考虑转换后分块的宽、高不大于转换前分块的宽Wb、高Hb,得到转换后分块的宽和高:
根据以上最优化问题计算得到的分块的宽、高考虑了用户在一个视点下观看内容的关注度分布,所以用户在该视点附近进行头部转动时,视窗内视频质量高,解决了在不考虑用户关注度概率的情况下导致的视频渲染时在用户视窗内出现模糊的现象。
步骤305、对转换后的分块进行重采样操作,将重采样后的分块拼接为新的视频帧。
具体的,根据步骤304中计算得到的变换后分块的宽和高,对一个视频帧的每一个分块进行重采样操作,具体而言,如果变换后和变换前分块的大小改变了,则对该分块图像进行下采样操作。由于用户关注度的连续性,分块之间的采样率变化是较连续的,削弱了由于块之间采样率差异大导致的边界效应。
步骤306、配置信息还包括:码率、分辨率,则根据不同的视点信息、码率、分辨率,将新的视频帧组合形成多个媒体片断集合,其中每个集合中的媒体片断具有特定的视点信息、码率和分辨率。
步骤307、根据用户的视点信息,在不同的媒体片断集合中确定媒体片断,并组合形成全景视频内容以发送给用户。
处理器可以根据接收到的用户的视点信息,生成该视点参数下的基于视点的表示。也就是根据上述步骤301至步骤305,得到基于视点的分块的重新组合视频帧。然后处理器对视频中的所有视频帧进行处理,并发送处理好的视频帧给视频编码器进行编码、切片等媒体文件准备工作。具体来说,一个视频序列首先被转码成具有不同码率、分辨率的多个码流,然后每一个码流被进一步切分成具有相同时间长的媒体片段。最终将得到多个媒体片段集合,每个集合作为一特定码率、分辨率的版本。对于其他的用户视点,该视点可以是预定义的视点,也可以是采集得到的用户视点信息,重复之前的基于视点的视频表示方法步骤,最终将得到多个媒体片段集合,每个集合作为一特定视点、码率、分辨率的版本。然后,可以按照HTTP动态自适应流媒体协议的具体要求生成其他文件,也可以按照其他流媒体协议格式生成,本发明对此不作具体限定,所生成的文件例如媒体描述文件(MPD)等,并连同媒体片段存放在媒体服务器中,为媒体服务做准备。
图4为本发明一示例性实施例示出的基于视点的全景视频内容表示的装置的结构示意图,如图4所示,该基于视点的全景视频内容表示的装置包括:获取模块1,用于获取配置信息,配置信息中包含有:用户的视点信息;还用于获取全景视频。处理模块2,用于对全景视频中的每个视频帧进行分块处理;根据用户的视点信息,对视频帧中的每个分块进行转换,得到转换后的分块;对转换后的分块进行重采样操作,将重采样后的分块拼接为新的视频帧,并以新的视频帧组合形成基于视点的全景视频内容表示。
本实施例的装置,可用于执行图2所述基于视点的全景视频内容表示的方法的实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图5为本发明另一示例性实施例示出的基于视点的全景视频内容表示的装置的结构示意图,如图5所示,进一步地,在上述实施例的基础上,处理模块2,包括:分块模块21,用于将视频帧进行宽N等分、高M等分,得到MxN个大小相同的分块。
可选的,处理模块2,还包括:确定模块22,用于根据用户的视点信息,确定视频帧中每个分块的观看概率;根据每个分块的观看概率,在视频帧内所有转换后的分块的失真满足最小值的情况下,确定转换后的分块的大小。
可选的,处理模块2,还包括:采样模块23,用于当转换后的分块的大小与转换前的分块的大小不同时,对该转换后的分块进行下采样操作。
可选的,配置信息,还包括:码率、分辨率;相应的,处理模块2,包括:组合模块24,用于根据不同的视点信息、码率、分辨率,将新的视频帧组合形成多个媒体片断集合,其中每个集合中的媒体片断具有特定的视点信息、码率和分辨率;确定模块25,用于根据用户的视点信息,在不同的媒体片断集合中确定媒体片断,并组合形成全景视频内容以发送给用户。
本实施例的装置,可用于执行图3所示的基于视点的全景视频内容表示的方法的实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于视点的全景视频内容表示的方法,其特征在于,包括:
获取配置信息,所述配置信息中包含有:用户的视点信息;
获取全景视频,对所述全景视频中的每个视频帧进行分块处理;
根据所述用户的视点信息,对视频帧中的每个分块进行转换,得到转换后的分块;
对所述转换后的分块进行重采样操作,将重采样后的分块拼接为新的视频帧,并以所述新的视频帧组合形成所述基于视点的全景视频内容表示。
2.根据权利要求1所述的方法,其特征在于,所述对所述全景视频中的每个视频帧进行分块处理,包括:
将视频帧进行宽N等分、高M等分,得到MxN个大小相同的分块。
3.根据权利要求2所述的方法,其特征在于,所述根据所述用户的视点信息,对视频帧中的每个分块进行转换,得到转换后的分块,包括:
根据所述用户的视点信息,确定视频帧中每个分块的观看概率;
根据所述每个分块的观看概率,在视频帧内所有转换后的分块的失真满足最小值的情况下,确定转换后的分块的大小。
4.根据权利要求3所述的方法,其特征在于,所述对所述转换后的分块进行重采样操作,包括:
若转换后的分块的大小与转换前的分块的大小不同,则对该转换后的分块进行下采样操作。
5.根据权利要求1~4任一项所述的方法,其特征在于,所述配置信息,还包括:
码率、分辨率;
相应的,所述以所述新的视频帧组合形成所述基于视点的全景视频内容表示,包括:
根据不同的所述视点信息、所述码率、所述分辨率,将新的视频帧组合形成多个媒体片断集合,其中每个集合中的媒体片断具有特定的视点信息、码率和分辨率;
根据用户的视点信息,在不同的媒体片断集合中确定媒体片断,并组合形成所述全景视频内容以发送给用户。
6.一种基于视点的全景视频内容表示的装置,其特征在于,包括:
获取模块,用于获取配置信息,所述配置信息中包含有:用户的视点信息;还用于获取全景视频;
处理模块,用于对所述全景视频中的每个视频帧进行分块处理;根据所述用户的视点信息,对视频帧中的每个分块进行转换,得到转换后的分块;对所述转换后的分块进行重采样操作,将重采样后的分块拼接为新的视频帧,并以所述新的视频帧组合形成所述基于视点的全景视频内容表示。
7.根据权利要求6所述的装置,其特征在于,所述处理模块,包括:
分块模块,用于将视频帧进行宽N等分、高M等分,得到MxN个大小相同的分块。
8.根据权利要求7所述的装置,其特征在于,所述处理模块,还包括:
确定模块,用于根据所述用户的视点信息,确定视频帧中每个分块的观看概率;根据所述每个分块的观看概率,在视频帧内所有转换后的分块的失真满足最小值的情况下,确定转换后的分块的大小。
9.根据权利要求8所述的装置,其特征在于,所述处理模块,还包括:
采样模块,用于当转换后的分块的大小与转换前的分块的大小不同时,对该转换后的分块进行下采样操作。
10.根据权利要求6~9任一项所述的装置,其特征在于,所述配置信息,还包括:
码率、分辨率;
相应的,所述处理模块,还包括:
组合模块,用于根据不同的所述视点信息、所述码率、所述分辨率,将新的视频帧组合形成多个媒体片断集合,其中每个集合中的媒体片断具有特定的视点信息、码率和分辨率;
确定模块,用于根据用户的视点信息,在不同的媒体片断集合中确定媒体片断,并组合形成所述全景视频内容以发送给用户。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710301137.4A CN108810427B (zh) | 2017-05-02 | 2017-05-02 | 基于视点的全景视频内容表示的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710301137.4A CN108810427B (zh) | 2017-05-02 | 2017-05-02 | 基于视点的全景视频内容表示的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108810427A true CN108810427A (zh) | 2018-11-13 |
CN108810427B CN108810427B (zh) | 2020-12-04 |
Family
ID=64053499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710301137.4A Expired - Fee Related CN108810427B (zh) | 2017-05-02 | 2017-05-02 | 基于视点的全景视频内容表示的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108810427B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109348291A (zh) * | 2018-11-16 | 2019-02-15 | 深圳市梦网百科信息技术有限公司 | 一种基于运动分析的全景视频码流分发方法和*** |
CN109862019A (zh) * | 2019-02-20 | 2019-06-07 | 联想(北京)有限公司 | 数据处理方法、装置以及*** |
CN111212267A (zh) * | 2020-01-16 | 2020-05-29 | 聚好看科技股份有限公司 | 一种全景图像的分块方法及服务器 |
WO2021109397A1 (en) * | 2020-04-10 | 2021-06-10 | Zte Corporation | Rank information in immersive media processing |
CN113206992A (zh) * | 2021-04-20 | 2021-08-03 | 聚好看科技股份有限公司 | 一种转换全景视频投影格式的方法及显示设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020090143A1 (en) * | 2001-01-11 | 2002-07-11 | Takaaki Endo | Image processing apparatus, method of processing images, and storage medium |
CN104735464A (zh) * | 2015-03-31 | 2015-06-24 | 华为技术有限公司 | 一种全景视频交互传输方法、服务器和客户端 |
CN105049866A (zh) * | 2015-07-10 | 2015-11-11 | 郑州轻工业学院 | 基于绘制失真模型的多视点加深度编码的码率分配方法 |
CN105141940A (zh) * | 2015-08-18 | 2015-12-09 | 太原科技大学 | 一种分区域的3d视频编码方法 |
CN105915937A (zh) * | 2016-05-10 | 2016-08-31 | 上海乐相科技有限公司 | 一种全景视频播放方法及设备 |
CN106101847A (zh) * | 2016-07-12 | 2016-11-09 | 三星电子(中国)研发中心 | 全景视频交互传输的方法和*** |
CN106412582A (zh) * | 2016-10-21 | 2017-02-15 | 北京大学深圳研究生院 | 全景视频感兴趣区域的描述方法和编码方法 |
CN106534882A (zh) * | 2016-12-29 | 2017-03-22 | 北京爱奇艺科技有限公司 | 虚拟现实全景视频的编解码方法及装置 |
-
2017
- 2017-05-02 CN CN201710301137.4A patent/CN108810427B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020090143A1 (en) * | 2001-01-11 | 2002-07-11 | Takaaki Endo | Image processing apparatus, method of processing images, and storage medium |
CN104735464A (zh) * | 2015-03-31 | 2015-06-24 | 华为技术有限公司 | 一种全景视频交互传输方法、服务器和客户端 |
CN105049866A (zh) * | 2015-07-10 | 2015-11-11 | 郑州轻工业学院 | 基于绘制失真模型的多视点加深度编码的码率分配方法 |
CN105141940A (zh) * | 2015-08-18 | 2015-12-09 | 太原科技大学 | 一种分区域的3d视频编码方法 |
CN105915937A (zh) * | 2016-05-10 | 2016-08-31 | 上海乐相科技有限公司 | 一种全景视频播放方法及设备 |
CN106101847A (zh) * | 2016-07-12 | 2016-11-09 | 三星电子(中国)研发中心 | 全景视频交互传输的方法和*** |
CN106412582A (zh) * | 2016-10-21 | 2017-02-15 | 北京大学深圳研究生院 | 全景视频感兴趣区域的描述方法和编码方法 |
CN106534882A (zh) * | 2016-12-29 | 2017-03-22 | 北京爱奇艺科技有限公司 | 虚拟现实全景视频的编解码方法及装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109348291A (zh) * | 2018-11-16 | 2019-02-15 | 深圳市梦网百科信息技术有限公司 | 一种基于运动分析的全景视频码流分发方法和*** |
CN109862019A (zh) * | 2019-02-20 | 2019-06-07 | 联想(北京)有限公司 | 数据处理方法、装置以及*** |
CN109862019B (zh) * | 2019-02-20 | 2021-10-22 | 联想(北京)有限公司 | 数据处理方法、装置以及*** |
CN111212267A (zh) * | 2020-01-16 | 2020-05-29 | 聚好看科技股份有限公司 | 一种全景图像的分块方法及服务器 |
WO2021109397A1 (en) * | 2020-04-10 | 2021-06-10 | Zte Corporation | Rank information in immersive media processing |
CN113206992A (zh) * | 2021-04-20 | 2021-08-03 | 聚好看科技股份有限公司 | 一种转换全景视频投影格式的方法及显示设备 |
Also Published As
Publication number | Publication date |
---|---|
CN108810427B (zh) | 2020-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108810427A (zh) | 基于视点的全景视频内容表示的方法及装置 | |
KR102241082B1 (ko) | 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치 | |
US11202086B2 (en) | Apparatus, a method and a computer program for volumetric video | |
US20200302571A1 (en) | An Apparatus, a Method and a Computer Program for Volumetric Video | |
US20200112710A1 (en) | Method and device for transmitting and receiving 360-degree video on basis of quality | |
US20200092600A1 (en) | Method and apparatus for presenting video information | |
KR102157658B1 (ko) | 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치 | |
KR102308604B1 (ko) | 레거시 및 몰입형 렌더링 디바이스들에 대한 몰입형 비디오를 포맷하는 방법, 장치 및 스트림 | |
EP3849189A1 (en) | Multi-dimensional video transcoding | |
WO2023098279A1 (zh) | 视频数据处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品 | |
CN113852829A (zh) | 点云媒体文件的封装与解封装方法、装置及存储介质 | |
TW201943284A (zh) | 資訊處理裝置、方法、及程式 | |
US20220217400A1 (en) | Method, an apparatus and a computer program product for volumetric video encoding and decoding | |
WO2019122504A1 (en) | Method for encoding and decoding volumetric video data | |
TW202106000A (zh) | 傳送容積視訊內容之方法及裝置 | |
WO2023280266A1 (zh) | 鱼眼图像压缩、鱼眼视频流压缩以及全景视频生成方法 | |
US20230409111A1 (en) | Eye tracking based video transmission and compression | |
CN112995134B (zh) | 一种三维视频流媒体传输方法与可视化方法 | |
WO2022224112A1 (en) | Inherited geometry patches | |
TWI822032B (zh) | 影片播放系統、可攜式影片播放裝置及影片增強方法 | |
EP4391550A1 (en) | Processing content for extended reality applications | |
WO2023016293A1 (zh) | 自由视角视频的文件封装方法、装置、设备及存储介质 | |
Du et al. | Object-Attribute-Relation Representation based Video Semantic Communication | |
CN113014924A (zh) | 视频编码方法、服务器、装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201204 |