CN114390222A - 适用于180度全景视频的切换方法、装置及存储介质 - Google Patents
适用于180度全景视频的切换方法、装置及存储介质 Download PDFInfo
- Publication number
- CN114390222A CN114390222A CN202210290864.6A CN202210290864A CN114390222A CN 114390222 A CN114390222 A CN 114390222A CN 202210290864 A CN202210290864 A CN 202210290864A CN 114390222 A CN114390222 A CN 114390222A
- Authority
- CN
- China
- Prior art keywords
- video
- square
- value
- fisheye
- switching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种适用于180度全景视频的切换方法、装置及存储介质。基于切换指令确定当前时刻播放的第一鱼眼视频以及待切换的第二鱼眼视频,以及生成一虚拟选定框;对所述第一鱼眼视频和第二鱼眼视频分别拉伸处理得到第一方形视频和第二方形视频;基于所述切换指令选中第一方形视频的第一连接线以及第二方形视频的第二连接线,基于所述第一连接线和第二连接线对所述第一方形视频和第二方形视频拼接处理;基于所述切换指令确定所述虚拟选定框的初始位移方向,虚拟选定框按照所述初始位移方向从所述第一方形视频向第二方形视频移动;实时提取虚拟选定框内的选定图像,对选定图像进行收缩处理以生成融合鱼眼视频,对所述融合鱼眼视频显示。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种适用于180度全景视频的切换方法、装置及存储介质。
背景技术
如图1所示,在现有技术中,180度全景视频在Xr设备播放时,视频的边界处于用户正面的平面上。在Xr设备需要对不同的视频进行播放时,现有的切换方式较为生硬,使得视频的变换之间没有进行相应的缓冲,导致用户的体验效果较差。
在Xr设备播放视频时,会播放鱼眼视频,鱼眼视频的整体为圆形,如果将鱼眼视频平移的话会出现不具有视频图像的区域,导致用户观看的视频的体验性差,所以亟需一种视频的切换方案,能够对两个视频进行渐缓的切换,并且能够避免不具有图像的区域出现。
发明内容
本发明实施例提供一种适用于180度全景视频的切换方法、装置及存储介质,在能够保障对两个视频进行渐缓切换的同时,有效避免了不具有图像的区域出现,提高了用户的体验性。
本发明实施例的第一方面,提供一种适用于180度全景视频的切换方法,包括:
基于切换指令确定当前时刻播放的第一鱼眼视频以及待切换的第二鱼眼视频;
对所述第一鱼眼视频和第二鱼眼视频分别拉伸处理得到第一方形视频和第二方形视频,以及生成一虚拟选定框;
基于所述切换指令选中第一方形视频的第一连接线以及第二方形视频的第二连接线,基于所述第一连接线和第二连接线对所述第一方形视频和第二方形视频拼接处理;
基于所述切换指令确定所述虚拟选定框的初始位移方向,虚拟选定框按照所述初始位移方向从所述第一方形视频向第二方形视频移动;
实时提取虚拟选定框内的选定图像,对选定图像进行收缩处理以生成融合鱼眼视频,对所述融合鱼眼视频显示。
可选地,在第一方面的一种可能实现方式中,在基于切换指令确定当前时刻播放的第一鱼眼视频以及待切换的第二鱼眼视频的步骤中,具体包括:
若所述切换指令为向下切换,则将当前时刻播放的鱼眼视频为第一鱼眼视频,将下一个鱼眼视频作为第二鱼眼视频;
或
若所述切换指令为向上切换,则将当前时刻播放的鱼眼视频为第一鱼眼视频,将上一个鱼眼视频作为第二鱼眼视频。
可选地,在第一方面的一种可能实现方式中,在对所述第一鱼眼视频和第二鱼眼视频分别拉伸处理得到第一方形视频和第二方形视频,以及生成一虚拟选定框的步骤中,具体包括:
接收第一方形尺寸参数;
基于OpenCv对所述第一鱼眼视频和第二鱼眼视频拉伸处理生成与所述第一方形尺寸参数对应的第一方形视频和第二方形视频;
根据所述第一方形尺寸参数生成相对应的虚拟选定框。
可选地,在第一方面的一种可能实现方式中,在基于所述切换指令选中第一方形视频的第一连接线以及第二方形视频的第二连接线,基于所述第一连接线和第二连接线对所述第一方形视频和第二方形视频拼接处理的步骤中,具体包括:
若所述切换指令为向下切换,则将第一方形视频的下部边缘线作为第一连接线,将第二方形视频的上部边缘线作为第二连接线;
或
若所述切换指令为向上切换,则将第一方形视频的上部边缘线作为第一连接线,将第二方形视频的下部边缘线作为第二连接线。
可选地,在第一方面的一种可能实现方式中,在基于所述切换指令确定所述虚拟选定框的初始位移方向,虚拟选定框按照所述初始位移方向从所述第一方形视频向第二方形视频移动的步骤中,具体包括:
将所述虚拟选定框的第一方形尺寸参数与预设尺寸参数比对得到第一速度调整值;
根据所述第一速度调整值,对与所述预设尺寸参数相对应的第一预设速度进行调整得到移动速度信息;
虚拟选定框按照所述初始位移方向以所述移动速度信息从第一方形视频向第二方形视频移动。
可选地,在第一方面的一种可能实现方式中,在根据所述速度调整值,对与所述预设尺寸参数相对应的第一预设速度进行调整得到移动速度信息的步骤中,具体包括:
获取第一方形视频的第一时长信息,将所述第一时长信息与标准时长信息比对得到第二速度调整值;
根据所述第一速度调整值和第二速度调整值对所述第一预设速度进行调整得到移动速度信息;
通过以下公式计算移动速度信息,
其中,为移动速度信息,为尺寸转换值,为第一方形尺寸参数的第一长度
信息,为第一方形尺寸参数的第一宽度信息,为预设尺寸参数的预设长度信息,为
预设尺寸参数的预设宽度信息,为时间转换值,为第一时长信息,为标准时长信息,为第一预设速度,为速度权重值。
可选地,在第一方面的一种可能实现方式中,在实时提取虚拟选定框内的选定图像,对选定图像进行收缩处理以生成融合鱼眼视频,对所述融合鱼眼视频显示的步骤中,具体包括:
统计虚拟选定框内的选定图像中第一方形视频中第一像素点的数量以及每个第一像素点的RGB值,得到第一平均RGB值;
统计虚拟选定框内的选定图像中第二方形视频中第二像素点的数量以及每个第二像素点的RGB值,得到第二平均RGB值;
根据所述第一平均RGB值和第二平均RGB值的差值对所述第一方形视频中的第一像素点的RGB值进行调整。
可选地,在第一方面的一种可能实现方式中,在根据所述第一平均RGB值和第二平均RGB值的差值对所述第一方形视频中的第一像素点的RGB值进行调整的步骤中,具体包括:
若所述第一平均RGB值大于第二平均RGB值,则根据所述第一平均RGB值和第二平均RGB值的差值得到第一下调系数;
若所述第一平均RGB值小于第二平均RGB值,则根据所述第一平均RGB值和第二平均RGB值的差值得到第一上调系数;
根据所述第一下调系数或第一上调系数对所述第一方形视频中的第一像素点的RGB值进行向上调整或向下调整。
可选地,在第一方面的一种可能实现方式中,在根据所述第一下调系数或第一上调系数对所述第一方形视频中的第一像素点的RGB值进行向下调整或向上调整的步骤中,具体包括:
通过以下公式计算第一下调系数、向下调整后的第一方形视频中的第一像素点的RGB值,
其中,为第一下调系数,为第一方形视频中第个像素点的值,为第
一方形视频中像素点的上限值,为第一方形视频中像素点的数量值,为第二方形视频
中第个像素点的值,为第二方形视频中像素点的上限值,为第二方形视频中像素
点的数量值,为下调系数权重值,为第一方形视频中向下调整后的第个第一像素
点的RGB值,为第一方形视频中向下调整前的第个第一像素点的RGB值,为像素下
调权重值。
可选地,在第一方面的一种可能实现方式中,在根据所述第一下调系数或第一上调系数对所述第一方形视频中的第一像素点的RGB值进行向下调整或向上调整的步骤中,具体包括:
通过以下公式计算第一上调系数、向上调整后的第一方形视频中的第一像素点的RGB值,
其中,为第一上调系数,为第一方形视频中第个像素点的值,为第
一方形视频中像素点的上限值,为第一方形视频中像素点的数量值,为第二方形视频
中第个像素点的值,为第二方形视频中像素点的上限值,为第二方形视频中像素
点的数量值,为上调系数权重值,为第一方形视频中向上调整后的第个第一像素
点的RGB值,为第一方形视频中向上调整前的第个第一像素点的RGB值,为像素上
调权重值。
本发明实施例的第二方面,提供一种适用于180度全景视频的切换装置,包括:
确定模块,用于基于切换指令确定当前时刻播放的第一鱼眼视频以及待切换的第二鱼眼视频;
拉伸模块,用于对所述第一鱼眼视频和第二鱼眼视频分别拉伸处理得到第一方形视频和第二方形视频,以及生成一虚拟选定框;
拼接模块,用于基于所述切换指令选中第一方形视频的第一连接线以及第二方形视频的第二连接线,基于所述第一连接线和第二连接线对所述第一方形视频和第二方形视频拼接处理;
移动模块,用于基于所述切换指令确定所述虚拟选定框的初始位移方向,虚拟选定框按照所述初始位移方向从所述第一方形视频向第二方形视频移动;
融合模块,用于实时提取虚拟选定框内的选定图像,对选定图像进行收缩处理以生成融合鱼眼视频,对所述融合鱼眼视频显示。
本发明实施例的第三方面,提供一种存储介质,所述存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能设计的所述方法。
本发明实施例的第四方面,提供一种电子设备,包括:存储器、处理器以及计算机程序,所述计算机程序存储在所述存储器中,所述处理器运行所述计算机程序执行本发明第一方面及第一方面各种可能涉及的所述方法。
本发明提供的一种适用于180度全景视频的切换方法、装置及存储介质。能够根据用户的切换指令对不同的鱼眼视频之间进行切换,在能够保障对两个视频进行渐缓切换的同时,有效避免了不具有图像的区域出现的情况,提高了用户的体验性。本发明在进行鱼眼视频切换时,会首先对鱼眼视频进行方形视频的转换处理,使得两个鱼眼视频在转换处理后能够达到拼接的条件,在对第一方形视频向第二方形视频组合处理后进行图像的选定并得到融合鱼眼视频,实现融合鱼眼视频的显示,得到两个不同的鱼眼视频的融合视频,进而达到两个鱼眼视频之间逐渐切换的目的和效果。
本发明提供的技术方案,会根据虚拟选定框的尺寸、第一方形视频的第一时长信息的时长信息确定虚拟选定框的移动速度,使得在第一鱼眼视频切换第二鱼眼视频时能够确定一个适宜的速度,视频的切换适宜人眼的观看、以及大脑对视频信息的转换。
本发明提供的技术方案,在第一鱼眼视频切换第二鱼眼视频时,会将第一方形视频和第二方形视频中的RGB值进行比对,根据第一平均RGB值和第二平均RGB值的差值对第一方形视频中第一像素点的RGB值进行调整,使得调整后的第一方形视频与第二方形视频的平均RGB值相差减少,即使得第一方形视频与第二方形视频之间的像素差降低,使得用户在第一鱼眼视频切换第二鱼眼视频时并不会造成两个视频的像素差对比度较强的情况出现,达到对第一方形视频的像素做接近第二方形视频的像素的处理,提高用户切换视频时的体验效果。
附图说明
图1为现有技术中用户观看Xr设备时的场景示意图;
图2为适用于180度全景视频的切换方法的第一种实施方式的流程图;
图3为视频转换示意图;
图4为适用于180度全景视频的切换装置的第一种实施方式的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解,在本发明的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
应当理解,在本发明中,“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本发明中,“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含,“包含A、B或C”是指包含A、B、C三者之一,“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
应当理解,在本发明中,“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”,表示B与A相关联,根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其他信息确定B。A与B的匹配,是A与B的相似度大于或等于预设的阈值。
取决于语境,如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
本发明提供一种适用于180度全景视频的切换方法,如图2所示,包括:
步骤S110、基于切换指令确定当前时刻播放的第一鱼眼视频以及待切换的第二鱼眼视频。在用户需要切换Xr设备在当前时刻播放的第一鱼眼视频时,其会输入相应的切换指令,切换指令可以是切换上一个鱼眼视频,也可以是切换下一个鱼眼视频。
在用户观看第一鱼眼视频之前,会对Xr设备的视频播放的滚动轴进行定位。180度全景视频在Xr设备播放时,视频的边界处于用户正面的平面上。本发明会主动记录用户第一次进入播放页时双眼连线的中心点和方向,构成视频切换的滚动轴,并对滚动轴进行固定,在后续的视频的滚动处理时按照相应的滚动轴进行处理。若用户重新进入播放页时,则更新滚动轴。
本发明提供的技术方案,在一个可能的实施方式中,步骤S110具体包括:
若所述切换指令为向下切换,则将当前时刻播放的鱼眼视频为第一鱼眼视频,将下一个鱼眼视频作为第二鱼眼视频。
用户切换下一个视频时,将原视频基于滚动轴正前方180度重新计算视频的顶部和底部。原视频基于滚动轴向上滚动180度,下一视频在用户后部显示后,下一个视频的顶部边界紧跟原视频的底部边界一起向上滚动180度呈现在用户面前。
若所述切换指令为向上切换,则将当前时刻播放的鱼眼视频为第一鱼眼视频,将上一个鱼眼视频作为第二鱼眼视频。
用户切换上一个视频时,将原视频基于滚动轴正前方180度重新计算视频的顶部和底部。原视频基于滚动轴向下滚动180度,上一视频在用户后部显示后,上一个视频的底部边界紧跟原视频的顶部边界一起向下滚动180度呈现在用户面前。
步骤S120、对所述第一鱼眼视频和第二鱼眼视频分别拉伸处理得到第一方形视频和第二方形视频,以及生成一虚拟选定框。本发明提供的技术方案,会对第一鱼眼视频和第二鱼眼视频进行拉伸处理,如图3所示,使得第一鱼眼视频和第二鱼眼视频可以拉升成为预设的第一方形视频和第二方形视频。虚拟选定框的面积可以与第一方形视频的所有像素点的面积相同。
本发明提供的技术方案,在一个可能的实施方式中,步骤S120具体包括:
接收第一方形尺寸参数。对第一鱼眼视频和第二鱼眼视频处理前,本发明会接收预先配置的第一方形尺寸参数,每种型号的Xr设备可能对应不同的尺寸参数。
基于OpenCv对所述第一鱼眼视频和第二鱼眼视频拉伸处理生成与所述第一方形尺寸参数对应的第一方形视频和第二方形视频。本发明提供的技术方案,会根据基于OpenCv对所述第一鱼眼视频和第二鱼眼视频拉伸处理,对于基于OpenCv对所述第一鱼眼视频和第二鱼眼视频拉伸处理的具体步骤本发明不做任何限定,可以是基于现有技术实现。
根据所述第一方形尺寸参数生成相对应的虚拟选定框。在得到第一鱼眼视频和第二鱼眼视频后,本发明会生成与第一方形尺寸参数相对应的虚拟选定框。其中,虚拟选定框可以与第一方形尺寸参数相同或相对应,第一方形尺寸参数优选为正方形的框体参数。
步骤S130、基于所述切换指令选中第一方形视频的第一连接线以及第二方形视频的第二连接线,基于所述第一连接线和第二连接线对所述第一方形视频和第二方形视频拼接处理。本发明提供的技术方案,会确定第一方形视频的第一连接线以及第二方形视频的第二连接线,并根据第一连接线和第二连接线使第一方形视频和第二方形视频拼接。
本发明提供的技术方案,在一个可能的实施方式中,步骤S130具体包括:
若所述切换指令为向下切换,则将第一方形视频的下部边缘线作为第一连接线,将第二方形视频的上部边缘线作为第二连接线。在切换指令为向下切换时,则证明此时需要在播放完当前时刻的鱼眼视频后,播放下一个鱼眼视频,所以此时可以将第一方形视频的下部边缘线作为第一连接线、第二方形视频的上部边缘线作为第二连接线,此时第一鱼眼视频至第二鱼眼视频的切换过程是由上至下的。
若所述切换指令为向上切换,则将第一方形视频的上部边缘线作为第一连接线,将第二方形视频的下部边缘线作为第二连接线。在切换指令为向上切换时,则证明此时需要在播放完当前时刻的鱼眼视频后,播放上一个鱼眼视频,所以此时可以将第一方形视频的上部边缘线作为第一连接线、第二方形视频的下部边缘线作为第二连接线,此时第一鱼眼视频至第二鱼眼视频的切换过程是由下至上的。
步骤S140、基于所述切换指令确定所述虚拟选定框的初始位移方向,虚拟选定框按照所述初始位移方向从所述第一方形视频向第二方形视频移动。本发明会根据切换指令得到虚拟选定框的移动方向,当第二方形视频与下一个鱼眼视频对应时,则虚拟选定框的初始位移方向为向下位移。
当第二方形视频与上一个鱼眼视频对应时,则虚拟选定框的初始位移方向为向上位移。
本发明提供的技术方案,在一个可能的实施方式中,步骤S140具体包括:
将所述虚拟选定框的第一方形尺寸参数与预设尺寸参数比对得到第一速度调整值。本发明提供的技术方案,会预先设置预设尺寸参数,该预设尺寸参数会对应一个第一预设速度,即在第一方形尺寸参数为预设尺寸参数时,则确定虚拟选定框按照第一预设速度进行移动。
在实际的使用场景中,由于Xr设备的规格、使用场景较多,第一方形尺寸参数可能会与预设尺寸参数并不相同,所以本发明需要将第一方形尺寸参数与预设尺寸参数比对,进而得到第一速度调整值。
根据所述第一速度调整值,对与所述预设尺寸参数相对应的第一预设速度进行调整得到移动速度信息。第一预设速度可以是预先设置的,第一预设速度例如每1毫秒所行走的像素点的数量。第一预设速度越大,则由第一方形视频转换完全转换至第二方形视频的速度越快,即第一鱼眼视频切换至第二鱼眼视频的速度越快。
在第一方形尺寸参数大于预设尺寸参数时,则此时视频的面积较大,所以此时需要加快速度进行切换,所以此时的第一速度调整值是提高第一预设速度。在第一方形尺寸参数小于预设尺寸参数时,则此时视频的面积较小,所以此时需要降低速度进行切换,所以此时的第一速度调整值是减少第一预设速度。
虚拟选定框按照所述初始位移方向以所述移动速度信息从第一方形视频向第二方形视频移动。在得到移动速度信息后,本发明会控制虚拟选定框按照该移动速度信息进行移动,使得在视频切换时具有适宜的切换速度。
本发明提供的技术方案,在一个可能的实施方式中,在根据所述速度调整值,对与所述预设尺寸参数相对应的第一预设速度进行调整得到移动速度信息的步骤中,具体包括:
获取第一方形视频的第一时长信息,将所述第一时长信息与标准时长信息比对得到第二速度调整值。一般来说,第一方形视频的第一时长信息越长则用户沉浸于上一个视频中的概率越大,所以本发明为了让用户能够在视频切换时使大脑具有个思维的转换时间,所以会根据第一时长信息与标准时长信息比对得到第二速度调整值,即结合第一时长信息对第一预设速度进行调整。
根据所述第一速度调整值和第二速度调整值对所述第一预设速度进行调整得到移动速度信息。本发明提供的技术方案,会结合第一速度调整值和第二速度调整值综合对第一预设速度进行调整,使得此时的移动速度信息适宜用户的身体以及心理的转换。
通过以下公式计算移动速度信息,
其中,为移动速度信息,为尺寸转换值,为第一方形尺寸参数的第一长度
信息,为第一方形尺寸参数的第一宽度信息,为预设尺寸参数的预设长度信息,为
预设尺寸参数的预设宽度信息,为时间转换值,为第一时长信息,为标准时长信息,为第一预设速度,为速度权重值。
通过可以得到第一方形尺寸参数相较于预设尺寸参数的比值,即第一方形尺
寸参数越大,则相对应的移动速度信息越大,即使得单位时间内所移动的第一视频的比例
相同,使得本发明并不会因为尺寸的增大而导致移动时间的增长。通过可以得到第一视
频的第一时长信息相较于标准时长信息的关系,第一时长信息越大,则移动速度信息越小,
第一时长信息越长则用户所接收第一视频的时间越长,所以其需要更多的时间进行转换思
维。
通过以上的方式,结合多个维度的变量,使得本发明能够确定一个适宜的移动速度信息。
本发明提供的技术方案,在一个可能的实施方式中,还包括对计算移动速度信息的公式进行训练的步骤。在用户体验完本发明提供的Xr设备后,本发明会在预设时间段内,随机抽取用户进行体验效果的收集,收集内容包括第一方形视频切换至第二方形视频的速度是否为适宜、较快或较慢。统计预设数量的用户样本后本发明会进行进一步的计算。
在计算的过程中,首先会分别确定速度较快的占比、速度较慢的占比以及速度适宜的占比。
如果速度适宜的占比大于百分之五十或不存在大于百分之五十的占比,则不用对
速度权重值进行处理,因为此时用户的体验效果较为分散,无法确定的给速度权重值一
个修正的引导方向,所以此时可以不对速度权重值进行调整。
其中,为降低后的速度权重值,为速度过快的样本数量值,为速度过慢的
样本数量值,为速度适宜的样本数量值,为速度降低系数值。其中,速度降低系数值
可以是预先设置的,通过可以得到速度过快的样本数量值的比例,如果速度过快
的样本数量值的比例越大,则越大,此时调整后的速度权重值越小,使得后续
计算的移动速度信息更适宜用户的观看感受。
其中,为调高后的速度权重值,为速度调高系数值。其中,速度调高系数值
可以是预先设置的,通过可以得到速度过慢的样本数量值的比例,如果速度过慢
的样本数量值的比例越大,则越大,此时调整后的速度权重值越大,使得后续
计算的移动速度信息更适宜用户的观看感受。
在,、以及分别小于0.5时,则不对速
度权重值进行调整。在场景下,认为速度权重值是适宜的。在、以及分别小于0.5时,认为速度权重值没有绝对正确的调整方式。所以,
以上两种情况时,无需对速度权重值进行调整。
本发明提供的技术方案,可以将用户的体验效果进行采集作为训练样本对本发明中计算移动速度信息的公式进行训练,使得后续的移动速度信息能够满足多数人的观看需求、观看体验,使得本发明所提供的Xr设备在进行视频的切换时适应性更好。
步骤S150、实时提取虚拟选定框内的选定图像,对选定图像进行收缩处理以生成融合鱼眼视频,对所述融合鱼眼视频显示。如图3所示对虚拟选定框内的选定图像进行收缩处理后的融合鱼眼视频。
本发明提供的技术方案,会根据虚拟选定框进行部分第一方形视频和部分第二方形视频的提取,使得融合鱼眼视频是随着第一方形视频和第二方形视频的融合动态变化的。使得融合鱼眼视频中既有第一鱼眼视频、又有第二鱼眼视频、且只存在第一鱼眼视频和第二鱼眼视频,实现第一鱼眼视频和第二鱼眼视频的逐渐切换。
本发明提供的技术方案,在一个可能的实施方式中,步骤S150具体包括:
统计虚拟选定框内的选定图像中第一方形视频中第一像素点的数量以及每个第一像素点的RGB值,得到第一平均RGB值。本发明提供的技术方案,会对虚拟选定框内的第一方形视频中的第一像素点相关信息进行统计。
统计虚拟选定框内的选定图像中第二方形视频中第二像素点的数量以及每个第二像素点的RGB值,得到第二平均RGB值。本发明提供的技术方案,会对虚拟选定框内的第二方形视频中的第二像素点相关信息进行统计。
根据所述第一平均RGB值和第二平均RGB值的差值对所述第一方形视频中的第一像素点的RGB值进行调整。一般来说,两个不同的视频中的像素点会存在一定的差异。例如说第一方形视频中可能是暗色调(RGB值较低),第二方形视频中可能是亮色调(RGB值较高),此时第一方形视频和第二方形视频在像素值(RGB值)的对比上就会较大、色差较大,此时会给用户带来不好的视觉体验,所以本发明会根据第一平均RGB值和第二平均RGB值的差值对第一像素点的RGB值进行调整,进而降低第一方形视频中第一像素点与第二方形视频中第二像素点的像素差值(RGB值差值),使得第一方形视频和第二方形视频的色系不会相差较大,使得第一方形视频和第二方形视频贴合度增加,使得人员在观看时更易于接受,提高用户的体验效果。
本发明提供的技术方案,在一个可能的实施方式中,在根据所述第一平均RGB值和第二平均RGB值的差值对所述第一方形视频中的第一像素点的RGB值进行调整的步骤中,具体包括:
若所述第一平均RGB值大于第二平均RGB值,则根据所述第一平均RGB值和第二平均RGB值的差值得到第一下调系数。如果第一平均RGB值大于第二平均RGB值,则证明此时第一方形视频中第一像素点的RGB值普遍大于第二方形视频中第二像素点的RGB值,所以此时需要根据第一平均RGB值和第二平均RGB值的差值得到第一下调系数,差值越大,则相对应的第一下调系数越大。
若所述第一平均RGB值小于第二平均RGB值,则根据所述第一平均RGB值和第二平均RGB值的差值得到第一上调系数。如果第一平均RGB值小于第二平均RGB值,则证明此时第一方形视频中第一像素点的RGB值普遍小于第二方形视频中第二像素点的RGB值,所以此时需要根据第一平均RGB值和第二平均RGB值的差值得到第一上调系数,差值越大,则相对应的第一上调系数越大。
根据所述第一下调系数或第一上调系数对所述第一方形视频中的第一像素点的RGB值进行向上调整或向下调整。本发明在得到上调系数后,会根据上调系数对第一方形视频中的第一像素点的RGB值进行向上调整。本发明在得到下调系数后,会根据下调系数对第一方形视频中的第一像素点的RGB值进行向下调整。进而保障第一方形视频和第二方形视频中的RGB值更加的接近。
本发明提供的技术方案,在一个可能的实施方式中,在根据所述第一下调系数或第一上调系数对所述第一方形视频中的第一像素点的RGB值进行向下调整或向上调整的步骤中,具体包括:
通过以下公式计算第一下调系数、向下调整后的第一方形视频中的第一像素点的RGB值,
其中,为第一下调系数,为第一方形视频中第个像素点的值,为第
一方形视频中像素点的上限值,为第一方形视频中像素点的数量值,为第二方形视频
中第个像素点的值,为第二方形视频中像素点的上限值,为第二方形视频中像素
点的数量值,为下调系数权重值,为第一方形视频中向下调整后的第个第一像素
点的RGB值,为第一方形视频中向下调整前的第个第一像素点的RGB值,为像素下
调权重值。
通过可以得到第一平均RGB值和第二平均RGB值的差值。然
后通过下调系数权重值进行加权处理得到相应的第一下调系数。其中,下调系数权重
值可以是管理员预先设置的。通过像素下调权重值可以对第一下调系数进行修正,第
一方形视频中每个像素点都会减少所对应的像素值。
本发明提供的技术方案,在一个可能的实施方式中,在根据所述第一下调系数或第一上调系数对所述第一方形视频中的第一像素点的RGB值进行向下调整或向上调整的步骤中,具体包括:
通过以下公式计算第一上调系数、向上调整后的第一方形视频中的第一像素点的RGB值,
其中,为第一上调系数,为第一方形视频中第个像素点的值,为第
一方形视频中像素点的上限值,为第一方形视频中像素点的数量值,为第二方形视频
中第个像素点的值,为第二方形视频中像素点的上限值,为第二方形视频中像素
点的数量值,为上调系数权重值,为第一方形视频中向上调整后的第个第一像素
点的RGB值,为第一方形视频中向上调整前的第个第一像素点的RGB值,为像素上
调权重值。
通过可以得到第一平均RGB值和第二平均RGB值的差值。然后通
过上调系数权重值进行加权处理得到相应的第一上调系数。其中,上调系数权重值可
以是管理员预先设置的。通过像素上调权重值可以对第一上调系数进行修正,第一方
形视频中每个像素点都会增加所对应的像素值。
为了实现本发明所提供的一种适用于180度全景视频的切换方法, 本发明的技术方案还提供一种适用于180度全景视频的切换装置,如图4所示,包括:
确定模块,用于基于切换指令确定当前时刻播放的第一鱼眼视频以及待切换的第二鱼眼视频;
拉伸模块,用于对所述第一鱼眼视频和第二鱼眼视频分别拉伸处理得到第一方形视频和第二方形视频,以及生成一虚拟选定框;
拼接模块,用于基于所述切换指令选中第一方形视频的第一连接线以及第二方形视频的第二连接线,基于所述第一连接线和第二连接线对所述第一方形视频和第二方形视频拼接处理;
移动模块,用于基于所述切换指令确定所述虚拟选定框的初始位移方向,虚拟选定框按照所述初始位移方向从所述第一方形视频向第二方形视频移动;
融合模块,用于实时提取虚拟选定框内的选定图像,对选定图像进行收缩处理以生成融合鱼眼视频,对所述融合鱼眼视频显示。
本发明实施例提供一种电子设备,该分屏设备包括:处理器、存储器和计算机程序;其中
存储器,用于存储所述计算机程序,该存储器还可以是闪存(flash)。所述计算机程序例如是实现上述方法的应用程序、功能模块等。
处理器,用于执行所述存储器存储的计算机程序,以实现上述方法中设备执行的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地,存储器既可以是独立的,也可以跟处理器集成在一起。
当所述存储器是独立于处理器之外的器件时,所述设备还可以包括:
总线,用于连接所述存储器和处理器。
本发明还提供一种存储介质,所述存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。
其中,存储介质可以是计算机存储介质,也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如,存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific IntegratedCircuits,简称:ASIC)中。另外,该ASIC可以位于用户设备中。当然,处理器和存储介质也可以作为分立组件存在于通信设备中。存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本发明还提供一种程序产品,该程序产品包括执行指令,该执行指令存储在存储介质中。设备的至少一个处理器可以从存储介质读取该执行指令,至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
在上述终端或者服务器的实施例中,应理解,处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application SpecificIntegrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (13)
1.适用于180度全景视频的切换方法,其特征在于,包括:
基于切换指令确定当前时刻播放的第一鱼眼视频以及待切换的第二鱼眼视频;
对所述第一鱼眼视频和第二鱼眼视频分别拉伸处理得到第一方形视频和第二方形视频,以及生成一虚拟选定框;
基于所述切换指令选中第一方形视频的第一连接线以及第二方形视频的第二连接线,基于所述第一连接线和第二连接线对所述第一方形视频和第二方形视频拼接处理;
基于所述切换指令确定所述虚拟选定框的初始位移方向,虚拟选定框按照所述初始位移方向从所述第一方形视频向第二方形视频移动;
实时提取虚拟选定框内的选定图像,对选定图像进行收缩处理以生成融合鱼眼视频,对所述融合鱼眼视频显示。
2.根据权利要求1所述的适用于180度全景视频的切换方法,其特征在于,
在基于切换指令确定当前时刻播放的第一鱼眼视频以及待切换的第二鱼眼视频的步骤中,具体包括:
若所述切换指令为向下切换,则将当前时刻播放的鱼眼视频为第一鱼眼视频,将下一个鱼眼视频作为第二鱼眼视频;
或
若所述切换指令为向上切换,则将当前时刻播放的鱼眼视频为第一鱼眼视频,将上一个鱼眼视频作为第二鱼眼视频。
3.根据权利要求1所述的适用于180度全景视频的切换方法,其特征在于,
在对所述第一鱼眼视频和第二鱼眼视频分别拉伸处理得到第一方形视频和第二方形视频,以及生成一虚拟选定框的步骤中,具体包括:
接收第一方形尺寸参数;
基于OpenCv对所述第一鱼眼视频和第二鱼眼视频拉伸处理生成与所述第一方形尺寸参数对应的第一方形视频和第二方形视频;
根据所述第一方形尺寸参数生成相对应的虚拟选定框。
4.根据权利要求1所述的适用于180度全景视频的切换方法,其特征在于,
在基于所述切换指令选中第一方形视频的第一连接线以及第二方形视频的第二连接线,基于所述第一连接线和第二连接线对所述第一方形视频和第二方形视频拼接处理的步骤中,具体包括:
若所述切换指令为向下切换,则将第一方形视频的下部边缘线作为第一连接线,将第二方形视频的上部边缘线作为第二连接线;
或
若所述切换指令为向上切换,则将第一方形视频的上部边缘线作为第一连接线,将第二方形视频的下部边缘线作为第二连接线。
5.根据权利要求3所述的适用于180度全景视频的切换方法,其特征在于,
在基于所述切换指令确定所述虚拟选定框的初始位移方向,虚拟选定框按照所述初始位移方向从所述第一方形视频向第二方形视频移动的步骤中,具体包括:
将所述虚拟选定框的第一方形尺寸参数与预设尺寸参数比对得到第一速度调整值;
根据所述第一速度调整值,对与所述预设尺寸参数相对应的第一预设速度进行调整得到移动速度信息;
虚拟选定框按照所述初始位移方向以所述移动速度信息从第一方形视频向第二方形视频移动。
6.根据权利要求5所述的适用于180度全景视频的切换方法,其特征在于,
在根据所述速度调整值,对与所述预设尺寸参数相对应的第一预设速度进行调整得到移动速度信息的步骤中,具体包括:
获取第一方形视频的第一时长信息,将所述第一时长信息与标准时长信息比对得到第二速度调整值;
根据所述第一速度调整值和第二速度调整值对所述第一预设速度进行调整得到移动速度信息;
通过以下公式计算移动速度信息,
7.根据权利要求1所述的适用于180度全景视频的切换方法,其特征在于,
在实时提取虚拟选定框内的选定图像,对选定图像进行收缩处理以生成融合鱼眼视频,对所述融合鱼眼视频显示的步骤中,具体包括:
统计虚拟选定框内的选定图像中第一方形视频中第一像素点的数量以及每个第一像素点的RGB值,得到第一平均RGB值;
统计虚拟选定框内的选定图像中第二方形视频中第二像素点的数量以及每个第二像素点的RGB值,得到第二平均RGB值;
根据所述第一平均RGB值和第二平均RGB值的差值对所述第一方形视频中的第一像素点的RGB值进行调整。
8.根据权利要求7所述的适用于180度全景视频的切换方法,其特征在于,
在根据所述第一平均RGB值和第二平均RGB值的差值对所述第一方形视频中的第一像素点的RGB值进行调整的步骤中,具体包括:
若所述第一平均RGB值大于第二平均RGB值,则根据所述第一平均RGB值和第二平均RGB值的差值得到第一下调系数;
若所述第一平均RGB值小于第二平均RGB值,则根据所述第一平均RGB值和第二平均RGB值的差值得到第一上调系数;
根据所述第一下调系数或第一上调系数对所述第一方形视频中的第一像素点的RGB值进行向上调整或向下调整。
9.根据权利要求8所述的适用于180度全景视频的切换方法,其特征在于,
在根据所述第一下调系数或第一上调系数对所述第一方形视频中的第一像素点的RGB值进行向下调整或向上调整的步骤中,具体包括:
通过以下公式计算第一下调系数、向下调整后的第一方形视频中的第一像素点的RGB值,
10.根据权利要求8所述的适用于180度全景视频的切换方法,其特征在于,
在根据所述第一下调系数或第一上调系数对所述第一方形视频中的第一像素点的RGB值进行向下调整或向上调整的步骤中,具体包括:
通过以下公式计算第一上调系数、向上调整后的第一方形视频中的第一像素点的RGB值,
11.适用于180度全景视频的切换装置,其特征在于,包括:
确定模块,用于基于切换指令确定当前时刻播放的第一鱼眼视频以及待切换的第二鱼眼视频;
拉伸模块,用于对所述第一鱼眼视频和第二鱼眼视频分别拉伸处理得到第一方形视频和第二方形视频,以及生成一虚拟选定框;
拼接模块,用于基于所述切换指令选中第一方形视频的第一连接线以及第二方形视频的第二连接线,基于所述第一连接线和第二连接线对所述第一方形视频和第二方形视频拼接处理;
移动模块,用于基于所述切换指令确定所述虚拟选定框的初始位移方向,虚拟选定框按照所述初始位移方向从所述第一方形视频向第二方形视频移动;
融合模块,用于实时提取虚拟选定框内的选定图像,对选定图像进行收缩处理以生成融合鱼眼视频,对所述融合鱼眼视频显示。
12.存储介质,其特征在于,所述存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现权利要求1至10任一所述的方法。
13.电子设备,其特征在于,包括:存储器、处理器以及计算机程序,所述计算机程序存储在所述存储器中,所述处理器运行所述计算机程序执行权利要求1至10任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210290864.6A CN114390222B (zh) | 2022-03-24 | 2022-03-24 | 适用于180度全景视频的切换方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210290864.6A CN114390222B (zh) | 2022-03-24 | 2022-03-24 | 适用于180度全景视频的切换方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114390222A true CN114390222A (zh) | 2022-04-22 |
CN114390222B CN114390222B (zh) | 2022-07-08 |
Family
ID=81205420
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210290864.6A Active CN114390222B (zh) | 2022-03-24 | 2022-03-24 | 适用于180度全景视频的切换方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114390222B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105872353A (zh) * | 2015-12-15 | 2016-08-17 | 乐视网信息技术(北京)股份有限公司 | 一种在移动设备上实现播放全景视频的***和方法 |
CN105898139A (zh) * | 2015-12-23 | 2016-08-24 | 乐视致新电子科技(天津)有限公司 | 全景视频制作方法及装置、全景视频播放方法及装置 |
US20170019595A1 (en) * | 2015-07-14 | 2017-01-19 | Prolific Technology Inc. | Image processing method, image processing device and display system |
WO2017124868A1 (zh) * | 2016-01-20 | 2017-07-27 | 北京疯景科技有限公司 | 一种获得全景图像的方法和装置 |
CN107333064A (zh) * | 2017-07-24 | 2017-11-07 | 广东工业大学 | 一种球形全景视频的拼接方法及*** |
CN107454438A (zh) * | 2016-06-01 | 2017-12-08 | 深圳看到科技有限公司 | 全景视频制作方法 |
US20180035047A1 (en) * | 2016-07-29 | 2018-02-01 | Multimedia Image Solution Limited | Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama |
CN109729365A (zh) * | 2017-10-27 | 2019-05-07 | 腾讯科技(深圳)有限公司 | 一种视频处理方法、装置及智能终端、存储介质 |
CN110855903A (zh) * | 2019-11-19 | 2020-02-28 | 长沙品先信息技术有限公司 | 一种多路视频实时拼接方法 |
CN112435161A (zh) * | 2020-11-12 | 2021-03-02 | 蘑菇车联信息科技有限公司 | 全景环视图像拼接方法及***、电子设备和存储介质 |
-
2022
- 2022-03-24 CN CN202210290864.6A patent/CN114390222B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170019595A1 (en) * | 2015-07-14 | 2017-01-19 | Prolific Technology Inc. | Image processing method, image processing device and display system |
CN105872353A (zh) * | 2015-12-15 | 2016-08-17 | 乐视网信息技术(北京)股份有限公司 | 一种在移动设备上实现播放全景视频的***和方法 |
CN105898139A (zh) * | 2015-12-23 | 2016-08-24 | 乐视致新电子科技(天津)有限公司 | 全景视频制作方法及装置、全景视频播放方法及装置 |
WO2017124868A1 (zh) * | 2016-01-20 | 2017-07-27 | 北京疯景科技有限公司 | 一种获得全景图像的方法和装置 |
CN107454438A (zh) * | 2016-06-01 | 2017-12-08 | 深圳看到科技有限公司 | 全景视频制作方法 |
US20180035047A1 (en) * | 2016-07-29 | 2018-02-01 | Multimedia Image Solution Limited | Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama |
CN107333064A (zh) * | 2017-07-24 | 2017-11-07 | 广东工业大学 | 一种球形全景视频的拼接方法及*** |
CN109729365A (zh) * | 2017-10-27 | 2019-05-07 | 腾讯科技(深圳)有限公司 | 一种视频处理方法、装置及智能终端、存储介质 |
CN110855903A (zh) * | 2019-11-19 | 2020-02-28 | 长沙品先信息技术有限公司 | 一种多路视频实时拼接方法 |
CN112435161A (zh) * | 2020-11-12 | 2021-03-02 | 蘑菇车联信息科技有限公司 | 全景环视图像拼接方法及***、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114390222B (zh) | 2022-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108322788B (zh) | 一种视频直播中的广告展示方法及装置 | |
US10277812B2 (en) | Image processing to obtain high-quality loop moving image | |
CN104134435B (zh) | 图像处理设备和图像处理方法 | |
CN109035147B (zh) | 图像处理方法及装置、电子装置、存储介质和计算机设备 | |
CN109785264B (zh) | 图像增强方法、装置及电子设备 | |
JP2010503006A5 (zh) | ||
WO2008028334A1 (en) | Method and device for adaptive video presentation | |
CN113034384A (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
CN110958469A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN110798627B (zh) | 一种拍摄方法、装置、存储介质及终端 | |
CN111880711B (zh) | 显示控制方法、装置、电子设备及存储介质 | |
CN110996183B (zh) | 视频摘要的生成方法、装置、终端及存储介质 | |
US11756506B2 (en) | Method and device for adjusting image quality, and readable storage medium | |
CN112995678A (zh) | 一种视频运动补偿方法、装置及计算机设备 | |
CN114022497A (zh) | 一种图像处理方法及装置 | |
Liu et al. | Fog removal algorithms: survey and perceptual evaluation | |
CN114390222B (zh) | 适用于180度全景视频的切换方法、装置及存储介质 | |
CN113676692A (zh) | 视频会议中视频的处理方法、装置、电子设备及存储介质 | |
CN110971924B (zh) | 一种直播过程中美颜的方法、设备、存储介质及*** | |
CN113556491A (zh) | 线上教学录屏方法与*** | |
CN114979487A (zh) | 图像处理方法、装置及电子设备和存储介质 | |
Kumar et al. | Retargeting 4K video for mobile access using visual attention and temporal stabilization | |
CN117197308A (zh) | 数字人驱动方法、数字人驱动设备及存储介质 | |
CN114339371A (zh) | 视频显示方法、装置、设备及存储介质 | |
CN114584831A (zh) | 提高视频清晰度的视频优化处理方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |