CN105979242A - 一种视频的播放方法和装置 - Google Patents
一种视频的播放方法和装置 Download PDFInfo
- Publication number
- CN105979242A CN105979242A CN201510818977.9A CN201510818977A CN105979242A CN 105979242 A CN105979242 A CN 105979242A CN 201510818977 A CN201510818977 A CN 201510818977A CN 105979242 A CN105979242 A CN 105979242A
- Authority
- CN
- China
- Prior art keywords
- information
- model
- adjustment
- video
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000027455 binding Effects 0.000 claims abstract description 34
- 238000009739 binding Methods 0.000 claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims description 37
- 230000005484 gravity Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 abstract description 13
- 230000001105 regulatory effect Effects 0.000 abstract 2
- 230000008569 process Effects 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 208000031481 Pathologic Constriction Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 210000001215 vagina Anatomy 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例提供了一种全景视频的调整方法及装置，使得视频播放更加灵活，功能更加丰富。所述的方法包括：将全景视频的全景图像帧与球形模型进行绑定，生成输出视频帧；接收调整指令，将所述调整指令转换为与所述球形模型对应的模型调整信息；根据所述模型调整信息对所述输出视频帧进行调整，生成调整的输出视频帧。通过根据用户的调整操作对全景片源进行相应的调整并显示，使得全景视频播放更加灵活，丰富了全景视频播放的功能。
Description
技术领域
本申请涉及移动互联网技术领域，尤其是涉及一种全景视频的调整方法和装置。
背景技术
当前用户采用终端设备，进入视频的直播或点播***中观看视频，既可以看直播节目，也可以根据个人爱好，搜索后选择喜欢的节目进行播放。例如在智能手机、电脑以及智能电视上均可以进入视频的直播或点播***中观看视频数据。
在移动端视频的直播或点播***中，用户所能观看到的视频内容取决于视频源。全景视频是由无数张全景图片串连起来组成的流畅清楚的动态视频图像。当前全景视频拼接算法的成熟和全景录制设备的普及，使得全景视频片源越来越多，用户在移动端观看全景视频成为可能。但目前用户仅能观看显示的全景视频画面，而不能进行调整，视频播放不灵活。
发明内容
本发明实施例所要解决的技术问题是提供一种全景视频的调整方法，解决视频播放不灵活的问题。
相应的，本发明实施例还提供了一种全景视频的调整装置，用以保证上述方法的实现及应用。
为了解决上述问题，本发明实施例公开了一种全景视频的调整方法，所述的方法包括：将全景视频的全景图像帧与球形模型进行绑定，生成输出视频帧；接收调整指令，将所述调整指令转换为与所述球形模型对应的模型调整信息；根据所述模型调整信息对所述输出视频帧进行调整，生成调整的输出视频帧。
本发明实施例还公开了一种全景视频的调整装置，所述的装置包括：绑定模块，在移动终端中进行视频点播或视频直播时，通过播放调整的输出视频帧显示调整的全景视频；转换模块，接收调整指令，将所述调整指令转换为与所述球形模型对应的模型调整信息；调整模块，根据所述模型调整信息对所述输出视频帧进行调整，生成调整的输出视频帧。
与现有技术相比，本发明实施例包括以下优点：
本申请提供了一种全景视频的调整方法，将全景视频的全景图像帧与球形模型进行绑定，生成输出视频帧；接收调整指令，将所述调整指令转换为与所述球形模型对应的模型调整信息；根据所述模型调整信息对所述输出视频帧进行调整，生成调整的输出视频帧。通过根据用户的调整操作对全景片源进行相应的调整并显示，使得全景视频播放更加灵活，丰富了全景视频播放的功能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种全景视频的调整方法实施例的步骤流程图；
图2是本发明的另一种全景视频的调整方法实施例的步骤流程图；
图3是本发明的一种全景视频的调整装置实施例的结构框图；
图4是本发明的另一种全景视频的调整装置实施例的结构框图；
图5是本发明一个可选实施例中视频绑定子模块的结构框图；
图6是本发明一个可选实施例中矩阵计算子模块的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例的核心构思之一在于，通过将全景视频的全景图像帧与球形模型进行绑定，生成输出视频帧；接收调整指令，将所述调整指令转换为与所述球形模型对应的模型调整信息；根据所述模型调整信息对所述输出视频帧进行调整，生成调整的输出视频帧。通过根据用户的调整操作对全景片源进行相应的调整并显示，使得全景视频播放更加灵活，丰富了全景视频播放的功能。
实施例一
详细介绍本发明实施例全景视频的调整方法。
参照图1，示出了本发明的一种全景视频的调整方法实施例的步骤流程图，具体可以包括如下步骤：
步骤S102、将全景视频的全景图像帧与球形模型进行绑定，生成输出视频帧。
全景片源数据包括720度或者360度全景视频源，可以在摄像机位置的上下左右360度任意的观看动态视频。全景片源数据包括多个全景图像帧，全景片源数据需要借助立体模型如球形模型来实现全景播放的3D立体效果，可以通过将立体模型与其全景片源数据的全景图像帧进行绑定来实现。
本实施例中，在进行视频的点播或直播时，可以采用全景片源来播放3D立体的视频，因此可以将球形模型与全景视频的各全景图像帧进行绑定。绑定后即可生成输出视频帧，在移动终端中播放该输出视频帧的码流即实现相应的全景视频的播放。其中，移动终端指的是可以在移动中使用的计算机设备，包括智能手机、平板电脑、车载终端等。
步骤S104、接收调整指令，将所述调整指令转换为与所述球形模型对应的模型调整信息。
本发明实施例不仅可以实现在移动终端中播放全景视频，而且可以根据用户的调整操作来实现与全景视频的互动，如根据视频场景随意切换用户的视角、自由拉近或者扩大视频的可视视角，从而在直播或点播过程中增加视频播放的灵活性，使得视频播放的功能更丰富。可以接收用户的调整操作对应的调整指令，依据该调整指令确定调整内容，如旋转、缩放等，从而对调整指令进行转换，确定与所述球形模型对应的模型调整信息。
步骤S106、根据所述模型调整信息对所述输出视频帧进行调整，生成调整的输出视频帧。
由于输出视频帧与球形模型是绑定的，因此依据所述模型调整信息可以映射到对应的输出视频帧上，从而对所述全景视频的输出视频帧进行调整，生成调整的输出视频帧，如进行摄像机视角的切换，拉近或者扩大全景视频的可视视角等。
综上所述，将全景视频的全景图像帧与球形模型进行绑定，生成输出视频帧；接收调整指令，将所述调整指令转换为与所述球形模型对应的模型调整信息；根据所述模型调整信息对所述输出视频帧进行调整，生成调整的输出视频帧。通过根据用户的调整操作对全景片源进行相应的调整并显示，使得全景视频播放更加灵活，丰富了全景视频播放的功能。
实施例二
详细介绍本发明实施例的全景视频的调整方法。
参照图2，示出了本发明的另一种全景视频的调整方法实施例的步骤流程图，具体可以包括如下步骤：
步骤S202、基于模型信息建立球形模型，其中，所述模型信息包括所述球形模型的顶点、法向量及球形纹理坐标。
步骤S204、对各全景视频帧进行解析，确定各全景视频帧的图像纹理信息。
将全景视频帧与球形模型进行绑定，需要先获取全景视频帧的数据信息以及确定球形模型的模型信息，依据数据信息及模型信息将全景视频帧映射到球形模型上，从而实现绑定。因此，在绑定前，可以对各全景视频帧进行解析，确定各全景视频帧的图像纹理信息。其中，纹理是一种重要的视觉线索，在图像中普遍存在，图像纹理信息包括组成纹理的色调基元和色调基元间的相互关系，例如纹理ID(Identity)。根据需要确定球形模型的模型信息，先设置如球形模型的顶点、法向量及球形纹理坐标，再建立球形模型。基于这些模型信息建立球形模型。
然后可以依据所述纹理信息将全景视频帧与所述球形模型进行绑定，将将纹理信息和球形模型进行映射，从而将全景视频帧与所述球形模型进行绑定，具体步骤如下：
步骤S206、在所述图像纹理信息中确定摄像机的位置，将所述摄像机的位置设置为所述球形模型的顶点。
步骤S208、依据所述球形模型的法向量和顶点，将所述图像纹理信息与球形纹理坐标进行点对应。
步骤S210、依据所述点对应将所述全景视频帧与所述球形模型进行绑定。
为了实现全景视频帧与球形模型的绑定，需要将全景视频帧的图像纹理信息与球形模型的模型信息进行对应。通过对图像纹理信息中组成纹理的色调基元和色调基元间的相互关系进行分析，可以确定用于拍摄全景视频帧的摄像机的位置。将所述摄像机的位置设置为球形模型的顶点，如将所述摄像机的位置设置为坐标点(0,0,0)。实现图像纹理信息中摄像机的位置与球形模型的顶点的对应。
然后，可以将全景视频帧划分成多个特定几何形状的碎片，为了方便划分，一般划分成多个三角形的碎片。根据纹理信息确定该三角形的三个顶点信息，依据所述球形模型的法向量和顶点，将多个三角形的顶点信息与球形纹理坐标如(0,0)～(1,1)进行点对应，从而依据所述点对应将所述全景视频帧与所述球形模型进行绑定，绑定可以通过函数opengl实现。
在移动终端中进行视频点播或视频直播时，通过上述方式将全景图像帧与球形模型进行绑定得到输出视频帧后，可以对输出视频帧进行播放，从而显示全景视频。用户观看过程中，若想要调整观看角度、细节等，可以对输出视频帧进行调整，具体调整步骤如下：
步骤S212、依据重力感应参数计算所述移动终端的摆放状态信息，依据所述移动终端的摆放状态信息确定运动方向信息。
获取移动终端的重力感应参数，通过重力感应参数在球形模型坐标系中xyz三个方向的分量，来计算移动终端的摆放状态信息，如竖屏、反竖屏、横屏或反横屏。通过设备摆放状态信息确定移动终端中陀螺仪和触摸屏的运动方向信息，例如：若触摸屏是横屏时，触摸屏正确输入x和y的值；则触摸屏是竖屏时，交换x和y的值；触摸屏是反横屏时，触摸屏正确输入x和z的值；触摸屏是反竖屏时交换x和z的值。
本实施例中，将所述调整指令转换为与所述球形模型对应的模型调整信息，包括：依据所述调整指令计算视点矩阵；根据所述视点矩阵确定与所述球形模型对应的模型调整信息。即在接收到调整指令之后，可以依据调整指令计算视点矩阵，然后采用该视点矩阵计算与所述球形模型对应的模型调整信息，具体步骤如下：
步骤S214、依据所述调整指令确定调整信息。
本发明的一个优选实施例中，调整指令包括：单指调整指令和/或双指调整指令，所述调整信息包括：旋转信息和/或缩放信息。则依据所述调整指令确定调整信息包括：依据单指调整指令确定陀螺仪的旋转方向和旋转角度，将所述旋转方向和旋转角度作为旋转信息；和/或，依据对触摸屏的双指调整指令确定缩放信息。
依据用户的调整操作对应的调整指令确定调整信息。可以包括三种情况：
第一种情况是，用户的调整操作包括单指划取实现切换视角的功能。对应的操作指令也就是单指调整指令，对应的调整信息就是旋转信息。而移动终端是通过陀螺仪来测定视角的切换即旋转信息。即依据单指调整指令确定陀螺仪的旋转方向和旋转角度，将所述旋转方向和旋转角度作为旋转信息。
第二种情况是，用户的调整操作包括双指捏合，实现拉近或扩大全景视频的可视视角的功能。调整操作对应的操作指令也就是双指调整指令，对应的调整信息就是缩放信息。而移动终端通过触摸屏的感应信息来确定视角的拉近或扩大即缩放信息。即依据对触摸屏的双指调整指令确定缩放信息。
第三种情况是，用户的调整操作包括单指划取从而切换视角，和双指捏合实现拉近或扩大全景视频的可视视角。用户的调整操作对应的操作指令也就是单指调整指令和双指调整指令，对应的调整信息就是旋转信息和缩放信息。即依据单指调整指令确定陀螺仪的旋转方向和旋转角度，将所述旋转方向和旋转角度作为旋转信息；和依据对触摸屏的双指调整指令确定缩放信息。
步骤S216、依据所述运动方向信息和调整信息计算视点矩阵。
视点矩阵包括当前变换矩阵、投影矩阵、朝向矩阵和最终变换矩阵。首先获取当前输出视频帧的当前变换矩阵，再依据陀螺仪、触摸屏的运动方向信息和陀螺仪的旋转信息计算出朝向矩阵；依据触摸屏的缩放信息来计算投影矩阵，最终得到最终变换矩阵。
步骤S218、根据所述视点矩阵确定与所述球形模型对应的模型调整信息。
步骤S220、根据所述模型调整信息对绑定的输出视频帧进行调整，生成调整的输出视频帧。
获取当前变换矩阵中的各点的信息，如各点的坐标值，确定在球形模型上对应的模型调整信息。如选定某一点,依据当前变换矩阵确定当前坐标值,通过朝向矩阵的变换确定经旋转处理后的坐标值，通过投影矩阵的变换得出经缩放处理后的坐标值，根据所述模型调整信息即视点矩阵中四个矩阵之间的坐标值的对应关系，对绑定的输出视频帧各点的坐标值进行调整，生成调整的输出视频帧。
步骤S222、在移动终端中进行视频点播或视频直播时，通过播放调整的输出视频帧显示调整的全景视频。
在移动终端中进行视频点播或视频直播时，通过调整指令可以对全景视频进行调整，在完成输出视频帧的调整后，可以播放调整的输出视频帧从而显示调整的全景视频。本发明实施例通过根据用户的调整操作对全景片源进行相应的调整并显示，实现了用户与全景视频源的有效互动，体现了全景视频相对于普通视频的优势。
综上所述，通过对全景视频帧进行解析，确定各全景视频帧的图像纹理信息，依据球形模型的法向量和顶点，将图像纹理信息与球形纹理坐标进行点对应，实现全景视频帧与球形模型的绑定。通过图像的纹理信息与球形纹理坐标进行点对应，使得绑定过程更简单并且更准确。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
实施例三
参照图3，示出了本发明一种全景视频的调整装置实施例的结构框图，具体可以包括如下模块：绑定模块302，转换模块304，以及调整模块306，其中：
绑定模块302，用于在移动终端中进行视频点播或视频直播时，通过播放调整的输出视频帧显示调整的全景视频。
转换模块304，用于接收调整指令，将所述调整指令转换为与所述球形模型对应的模型调整信息；
调整模块306，用于根据所述模型调整信息对所述输出视频帧进行调整，生成调整的输出视频帧。
综上所述，将全景视频的全景图像帧与球形模型进行绑定，生成输出视频帧；接收调整指令，将所述调整指令转换为与所述球形模型对应的模型调整信息；根据所述模型调整信息对所述输出视频帧进行调整，生成调整的输出视频帧。通过根据用户的调整操作对全景片源进行相应的调整并显示，使得全景视频播放更加灵活，丰富了全景视频播放的功能。
参照图4，示出了本发明另一种全景视频的调整装置实施例的结构框图。具体可以包括如下模块：绑定模块302，转换模块304，调整模块306，以及播放模块308，其中：
绑定模块302，用于在移动终端中进行视频点播或视频直播时，通过播放调整的输出视频帧显示调整的全景视频。
本发明另一个可选实施例中，所述绑定模块302包括：模型建立子模块3022，视频解析子模块3024，以及视频绑定子模块3026。
模型建立子模块3022，用于基于模型信息建立球形模型，其中，所述模型信息包括所述球形模型的顶点、法向量及球形纹理坐标。
视频解析子模块3024，用于对各全景视频帧进行解析，确定各全景视频帧的图像纹理信息。
视频绑定子模块3026，用于依据所述纹理信息将全景视频帧与所述球形模型进行绑定。
如图5所示，本发明另一个可选实施例中，所述视频绑定子模块3026包括：顶点确定单元30262，纹理对应单元30264，以及视频绑定单元30266。
顶点确定单元30262，用于在所述图像纹理信息中确定摄像机的位置，将所述摄像机的位置设置为所述球形模型的顶点。
纹理对应单元30264，用于依据所述球形模型的法向量和顶点，将所述图像纹理信息与球形纹理坐标进行点对应。
视频绑定单元30266，用于依据所述点对应将所述全景视频帧与所述球形模型进行绑定。
转换模块304，用于接收调整指令，将所述调整指令转换为与所述球形模型对应的模型调整信息.
本发明另一个可选实施例中，所述转换模块304包括：
矩阵计算子模块3042，用于依据所述调整指令计算视点矩阵。
调整信息确定子模块3044，用于根据所述视点矩阵确定与所述球形模型对应的模型调整信息。
如图6所示，本发明另一个可选实施例中，所述矩阵计算子模块3042包括：方向确定单元30422，调整信息确定单元30424，以及视点矩阵计算单元30426。
方向确定单元30422，用于依据重力感应参数计算所述移动终端的摆放状态信息，依据所述移动终端的摆放状态信息确定运动方向信息。
调整信息确定单元30424，用于依据所述调整指令确定调整信息。
视点矩阵计算单元30426，用于依据所述运动方向信息和调整信息计算视点矩阵。
其中，本发明另一个可选实施例中，所述调整指令包括：单指调整指令和/或双指调整指令，所述调整信息包括：旋转信息和/或缩放信息；
则调整信息确定单元30424，用于依据单指调整指令确定陀螺仪的旋转方向和旋转角度，将所述旋转方向和旋转角度作为旋转信息；和/或依据对触摸屏的双指调整指令确定缩放信息。
调整模块306，用于根据所述模型调整信息对所述输出视频帧进行调整，生成调整的输出视频帧。
播放模块308，用于在移动终端中进行视频点播或视频直播时，通过播放调整的输出视频帧显示调整的全景视频。
综上所述，通过对全景视频帧进行解析，确定各全景视频帧的图像纹理信息，依据球形模型的法向量和顶点，将图像纹理信息与球形纹理坐标进行点对应，实现全景视频帧与球形模型的绑定。通过图像的纹理信息与球形纹理坐标进行点对应，使得绑定过程更简单并且更准确。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种全景视频的调整方法和一种全景视频的调整装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (14)
1.一种全景视频的调整方法，其特征在于，所述的方法包括：
将全景视频的全景图像帧与球形模型进行绑定，生成输出视频帧；
接收调整指令，将所述调整指令转换为与所述球形模型对应的模型调整信息；
根据所述模型调整信息对所述全景视频的输出视频帧进行调整，生成调整的输出视频帧。
2.根据权利要求1所述的方法，其特征在于，所述将全景视频的全景图像帧与球形模型进行绑定包括：
基于模型信息建立球形模型，其中，所述模型信息包括所述球形模型的顶点、法向量及球形纹理坐标。
对全景视频的全景视频帧进行解析，确定所述全景视频帧的图像纹理信息；
依据所述纹理信息将所述全景视频帧与所述球形模型进行绑定。
3.根据权利要求2所述的方法，其特征在于，所述依据所述纹理信息将全景视频帧与所述球形模型进行绑定包括：
在所述图像纹理信息中确定摄像机的位置，将所述摄像机的位置设置为所述球形模型的顶点；
依据所述球形模型的法向量和顶点，将所述图像纹理信息与球形纹理坐标进行点对应；
依据所述点对应将所述全景视频帧与所述球形模型进行绑定。
4.根据权利要求1所述的方法，其特征在于，所述将所述调整指令转换为与所述球形模型对应的模型调整信息包括：
依据所述调整指令计算视点矩阵；
根据所述视点矩阵确定与所述球形模型对应的模型调整信息。
5.根据权利要求4所述的方法，其特征在于，所述依据所述调整指令计算视点矩阵，包括：
依据重力感应参数计算所述移动终端的摆放状态信息，依据所述移动终端的摆放状态信息确定运动方向信息；
依据所述调整指令确定调整信息；
依据所述运动方向信息和调整信息计算视点矩阵。
6.根据权利要求5所述的方法，其特征在于，所述调整指令包括：单指调整指令和/或双指调整指令，所述调整信息包括：旋转信息和/或缩放信息；
所述依据所述调整指令确定调整信息，包括：
依据单指调整指令确定陀螺仪的旋转方向和旋转角度，将所述旋转方向和旋转角度作为旋转信息；和/或
依据对触摸屏的双指调整指令确定缩放信息。
7.根据权利要求1所述的方法，其特征在于，还包括：
在移动终端中进行视频点播或视频直播时，通过播放调整的输出视频帧显示调整的全景视频。
8.一种全景视频的调整装置，其特征在于，所述的装置包括：
绑定模块，用于在移动终端中进行视频点播或视频直播时，通过播放调整的输出视频帧显示调整的全景视频；
转换模块，用于接收调整指令，将所述调整指令转换为与所述球形模型对应的模型调整信息；
调整模块，用于根据所述模型调整信息对所述输出视频帧进行调整，生成调整的输出视频帧。
9.根据权利要求8所述的装置，其特征在于，所述绑定模块包括：
模型建立子模块，用于基于模型信息建立球形模型，其中，所述模型信息包括所述球形模型的顶点、法向量及球形纹理坐标；
视频解析子模块，用于对各全景视频帧进行解析，确定各全景视频帧的图像纹理信息；
视频绑定子模块，用于依据所述纹理信息将全景视频帧与所述球形模型进行绑定。
10.根据权利要求9所述的装置，其特征在于，所述视频绑定子模块包括：
顶点确定单元，用于在所述图像纹理信息中确定摄像机的位置，将所述摄像机的位置设置为所述球形模型的顶点；
纹理对应单元，用于依据所述球形模型的法向量和顶点，将所述图像纹理信息与球形纹理坐标进行点对应；
视频绑定单元，用于依据所述点对应将所述全景视频帧与所述球形模型进行绑定。
11.根据权利要求8所述的装置，其特征在于，所述转换模块包括：
矩阵计算子模块，用于依据所述调整指令计算视点矩阵；
调整信息确定子模块，用于根据所述视点矩阵确定与所述球形模型对应的模型调整信息。
12.根据权利要求11所述的装置，其特征在于，所述矩阵计算子模块包括：
方向确定单元，用于依据重力感应参数计算所述移动终端的摆放状态信息，依据所述移动终端的摆放状态信息确定运动方向信息；
调整信息确定单元，用于依据所述调整指令确定调整信息；
视点矩阵计算单元，用于依据所述运动方向信息和调整信息计算视点矩阵。
13.根据权利要求12所述的装置，其特征在于，其中，所述调整指令包括：单指调整指令和/或双指调整指令，所述调整信息包括：旋转信息和/或缩放信息；
所述调整信息确定单元，用于依据单指调整指令确定陀螺仪的旋转方向和旋转角度，将所述旋转方向和旋转角度作为旋转信息；和/或依据对触摸屏的双指调整指令确定缩放信息。
14.根据权利要求8所述的装置，其特征在于，还包括：
播放模块，用于在移动终端中进行视频点播或视频直播时，通过播放调整的输出视频帧显示调整的全景视频。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510818977.9A CN105979242A (zh) | 2015-11-23 | 2015-11-23 | 一种视频的播放方法和装置 |
| PCT/CN2016/089121 WO2017088491A1 (zh) | 2015-11-23 | 2016-07-07 | 一种视频的播放方法和装置 |
| US15/245,024 US20170150212A1 (en) | 2015-11-23 | 2016-08-23 | Method and electronic device for adjusting video |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510818977.9A CN105979242A (zh) | 2015-11-23 | 2015-11-23 | 一种视频的播放方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105979242A true CN105979242A (zh) | 2016-09-28 |
Family
ID=56988419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510818977.9A Pending CN105979242A (zh) | 2015-11-23 | 2015-11-23 | 一种视频的播放方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN105979242A (zh) |
| WO (1) | WO2017088491A1 (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105959675A (zh) * | 2016-05-25 | 2016-09-21 | 腾讯科技（深圳）有限公司 | 一种视频数据的处理方法和装置 |
| CN106454401A (zh) * | 2016-10-26 | 2017-02-22 | 乐视网信息技术（北京）股份有限公司 | 一种播放视频的方法及装置 |
| CN106527857A (zh) * | 2016-10-10 | 2017-03-22 | 成都斯斐德科技有限公司 | 一种基于虚拟现实的全景视频交互方法 |
| CN106534892A (zh) * | 2016-11-23 | 2017-03-22 | 上海沙塔信息科技有限公司 | 基于可视角度再编码的虚拟现实直播***和方法 |
| CN108319362A (zh) * | 2018-01-02 | 2018-07-24 | 联想(北京)有限公司 | 一种全景信息显示方法、电子设备和计算机存储介质 |
| CN108734791A (zh) * | 2018-03-30 | 2018-11-02 | 北京奇艺世纪科技有限公司 | 全景视频的处理方法和装置 |
| EP3525473A4 (en) * | 2017-03-28 | 2019-12-18 | Tencent Technology (Shenzhen) Company Limited | METHOD AND DEVICE FOR CONTROLLING A PANORAMIC IMAGE DISPLAY AND STORAGE MEDIUM |
| CN110737336A (zh) * | 2019-10-12 | 2020-01-31 | Oppo广东移动通信有限公司 | 一种视频显示方向调整方法、装置及计算机可读存储介质 |
| CN111641871A (zh) * | 2020-05-29 | 2020-09-08 | 广州华多网络科技有限公司 | 直播视频的展示方法、装置、终端和可读存储介质 |
| CN112801758A (zh) * | 2021-03-17 | 2021-05-14 | 珠海必要工业科技股份有限公司 | 定制图像的方向调整方法、装置、存储介质及终端设备 |
| CN113411684A (zh) * | 2021-06-24 | 2021-09-17 | 广州酷狗计算机科技有限公司 | 视频播放方法和装置、存储介质及电子设备 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113038262A (zh) * | 2021-01-08 | 2021-06-25 | 深圳市智胜科技信息有限公司 | 一种全景直播方法和装置 |
| CN113194326A (zh) * | 2021-04-28 | 2021-07-30 | 平安国际智慧城市科技股份有限公司 | 全景直播方法、装置、计算机设备及计算机可读存储介质 |
| CN114691068A (zh) * | 2022-03-23 | 2022-07-01 | 北京优酷科技有限公司 | 基于投屏技术的信息显示方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201523430U (zh) * | 2009-06-23 | 2010-07-07 | 长峰科技工业集团公司 | 一种全景视频监控*** |
| CN102037726A (zh) * | 2008-03-17 | 2011-04-27 | 惠普开发有限公司 | 显示全景视频图像流 |
| CN102945563A (zh) * | 2012-09-26 | 2013-02-27 | 天津游奕科技有限公司 | 一种全景视频的展示与交互***及方法 |
| CN103455356A (zh) * | 2013-09-05 | 2013-12-18 | 中国计量学院 | 多核移动设备上3d模型的并发加载及渲染方法 |
| CN104010225A (zh) * | 2014-06-20 | 2014-08-27 | 合一网络技术(北京)有限公司 | 显示全景视频的方法和*** |
| CN104184961A (zh) * | 2013-05-22 | 2014-12-03 | 辉达公司 | 用于生成全景视频的移动设备和*** |
| CN104219584A (zh) * | 2014-09-25 | 2014-12-17 | 广州市联文信息科技有限公司 | 基于增强现实的全景视频交互方法和*** |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014517569A (ja) * | 2011-04-18 | 2014-07-17 | アイシー３６０，インコーポレイテッド | 携帯コンピュータデバイスを用いたパノラマビデオ撮像装置及び方法 |
| CN103327217B (zh) * | 2012-03-23 | 2016-08-10 | 杭州普维光电技术有限公司 | 一种视频处理方法及装置 |
| JP2014115863A (ja) * | 2012-12-11 | 2014-06-26 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
| CN104735464A (zh) * | 2015-03-31 | 2015-06-24 | 华为技术有限公司 | 一种全景视频交互传输方法、服务器和客户端 |
-
2015
- 2015-11-23 CN CN201510818977.9A patent/CN105979242A/zh active Pending
-
2016
- 2016-07-07 WO PCT/CN2016/089121 patent/WO2017088491A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102037726A (zh) * | 2008-03-17 | 2011-04-27 | 惠普开发有限公司 | 显示全景视频图像流 |
| CN201523430U (zh) * | 2009-06-23 | 2010-07-07 | 长峰科技工业集团公司 | 一种全景视频监控*** |
| CN102945563A (zh) * | 2012-09-26 | 2013-02-27 | 天津游奕科技有限公司 | 一种全景视频的展示与交互***及方法 |
| CN104184961A (zh) * | 2013-05-22 | 2014-12-03 | 辉达公司 | 用于生成全景视频的移动设备和*** |
| CN103455356A (zh) * | 2013-09-05 | 2013-12-18 | 中国计量学院 | 多核移动设备上3d模型的并发加载及渲染方法 |
| CN104010225A (zh) * | 2014-06-20 | 2014-08-27 | 合一网络技术(北京)有限公司 | 显示全景视频的方法和*** |
| CN104219584A (zh) * | 2014-09-25 | 2014-12-17 | 广州市联文信息科技有限公司 | 基于增强现实的全景视频交互方法和*** |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105959675A (zh) * | 2016-05-25 | 2016-09-21 | 腾讯科技（深圳）有限公司 | 一种视频数据的处理方法和装置 |
| CN106527857A (zh) * | 2016-10-10 | 2017-03-22 | 成都斯斐德科技有限公司 | 一种基于虚拟现实的全景视频交互方法 |
| CN106454401A (zh) * | 2016-10-26 | 2017-02-22 | 乐视网信息技术（北京）股份有限公司 | 一种播放视频的方法及装置 |
| CN106534892A (zh) * | 2016-11-23 | 2017-03-22 | 上海沙塔信息科技有限公司 | 基于可视角度再编码的虚拟现实直播***和方法 |
| EP3525473A4 (en) * | 2017-03-28 | 2019-12-18 | Tencent Technology (Shenzhen) Company Limited | METHOD AND DEVICE FOR CONTROLLING A PANORAMIC IMAGE DISPLAY AND STORAGE MEDIUM |
| CN108319362A (zh) * | 2018-01-02 | 2018-07-24 | 联想(北京)有限公司 | 一种全景信息显示方法、电子设备和计算机存储介质 |
| CN108734791A (zh) * | 2018-03-30 | 2018-11-02 | 北京奇艺世纪科技有限公司 | 全景视频的处理方法和装置 |
| CN108734791B (zh) * | 2018-03-30 | 2022-04-01 | 北京奇艺世纪科技有限公司 | 全景视频的处理方法和装置 |
| CN110737336A (zh) * | 2019-10-12 | 2020-01-31 | Oppo广东移动通信有限公司 | 一种视频显示方向调整方法、装置及计算机可读存储介质 |
| CN110737336B (zh) * | 2019-10-12 | 2022-05-13 | Oppo广东移动通信有限公司 | 一种视频显示方向调整方法、装置及计算机可读存储介质 |
| CN111641871A (zh) * | 2020-05-29 | 2020-09-08 | 广州华多网络科技有限公司 | 直播视频的展示方法、装置、终端和可读存储介质 |
| WO2021238454A1 (zh) * | 2020-05-29 | 2021-12-02 | 广州华多网络科技有限公司 | 直播视频的展示方法、装置、终端和可读存储介质 |
| CN112801758A (zh) * | 2021-03-17 | 2021-05-14 | 珠海必要工业科技股份有限公司 | 定制图像的方向调整方法、装置、存储介质及终端设备 |
| CN113411684A (zh) * | 2021-06-24 | 2021-09-17 | 广州酷狗计算机科技有限公司 | 视频播放方法和装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017088491A1 (zh) | 2017-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105979242A (zh) | 一种视频的播放方法和装置 | |
| US20210337006A1 (en) | Video data processing method and apparatus | |
| US10805530B2 (en) | Image processing for 360-degree camera | |
| US10805614B2 (en) | Processing spherical video data on the basis of a region of interest | |
| US20180189980A1 (en) | Method and System for Providing Virtual Reality (VR) Video Transcoding and Broadcasting | |
| WO2017113734A1 (zh) | 一种视频的多点同屏播放方法及*** | |
| US20170150212A1 (en) | Method and electronic device for adjusting video | |
| US20190387214A1 (en) | Method for transmitting panoramic videos, terminal and server | |
| JP2015187797A (ja) | 画像データ生成装置および画像データ再生装置 | |
| US20120229595A1 (en) | Synthesized spatial panoramic multi-view imaging | |
| JP2018525852A (ja) | 球面ビデオのストリーミング | |
| CN102802054B (zh) | 一种多流视频直播中的控制方法及装置 | |
| US20160330408A1 (en) | Method for progressive generation, storage and delivery of synthesized view transitions in multiple viewpoints interactive fruition environments | |
| KR20190101422A (ko) | 정보 처리 방법 및 장치 | |
| CN105704478A (zh) | 用于虚拟和现实场景的立体显示方法、装置及电子设备 | |
| CN108900857A (zh) | 一种多视角视频流处理方法和装置 | |
| CN112235585A (zh) | 一种虚拟场景的直播方法、装置及*** | |
| TW201803358A (zh) | 將沈浸式視訊格式化用於傳統及沈浸式顯像元件之方法、裝置及串流 | |
| WO2023143217A1 (zh) | 特效道具的展示方法、装置、设备及存储介质 | |
| CN111669561A (zh) | 多角度自由视角图像数据处理方法及装置、介质、设备 | |
| KR101408719B1 (ko) | 3차원 영상의 스케일 변환 장치 및 그 방법 | |
| TW201824876A (zh) | 預覽影片的方法、處理裝置及其電腦系統 | |
| JP2001236521A (ja) | 画像分割方式による仮想現実システム | |
| CN115567756A (zh) | 基于视角的vr视频***和处理方法 | |
| CN116016977A (zh) | 基于直播的虚拟同台连麦互动方法、计算机设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160928 |