CN103607578A - 基于视频编码的全视角图片浏览*** - Google Patents
基于视频编码的全视角图片浏览*** Download PDFInfo
- Publication number
- CN103607578A CN103607578A CN201310647454.3A CN201310647454A CN103607578A CN 103607578 A CN103607578 A CN 103607578A CN 201310647454 A CN201310647454 A CN 201310647454A CN 103607578 A CN103607578 A CN 103607578A
- Authority
- CN
- China
- Prior art keywords
- video
- user
- article
- visual angle
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 claims abstract description 5
- 230000000007 visual effect Effects 0.000 claims description 71
- 230000006835 compression Effects 0.000 claims description 46
- 238000007906 compression Methods 0.000 claims description 46
- 230000006399 behavior Effects 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 23
- 238000012544 monitoring process Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 description 29
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种基于视频编码的全视角图片浏览***,主要解决现有技术浏览视角有限的问题。其包括:视频采集子***,视频服务器和用户终端;该视频采集子***包括视频采集设备和水平平台,待拍摄物品放置在水平平台上,视频采集设备固定在水平平台的一侧,水平平台周期性旋转,使视频采集设备拍摄出物品的全视角图片视频序列,并传送给视频服务器;视频服务器对接收到的视频序列进行周期截取和压缩编码,并按用户终端的请求向其反馈压缩视频;用户终端将用户请求发送给视频服务器,并按照用户请求对接收到的压缩视频进行解码和播放,实现用户对物品全视角图片的浏览。本发明能全方位展示物品外观信息,实现了用户与物品信息的交互。
Description
技术领域
本发明属于计算机技术领域,具体涉及一种全视角图片的生成和自由播放***,可用于文物保护、艺术品展览、产品展示等领域的远程图片演示。
背景技术
随着互联网应用的兴起以及计算机技术的发展,在世界范围内远程共享物品的信息逐步成为可能,越来越多的博物馆和艺术中心机构都选择将其所拥有的物品以图片、视频等多媒体形式上传到互联网上进行远程展示,在传播文化的同时更好的实现对人类文明成果的保护。
目前互联网上广泛采用的物品浏览***大致分为两类,第一类是通过离线采集物品固定视角的图片,然后将所采集的图片上传至网络服务器,当远程用户通过网页浏览物品的相关信息时,向网络服务器发出申请,网络服务器将所存储的固定视角的图片或图片的局部放大通过网络发送给远程用户,远程用户通过浏览所接收到的固定视角的图片或图片的局部放大来获取所展示物品的细节信息;另一类是通过离线采集关于所展示物品的视频内容,然后将所采集的视频上传至网络服务器,当远程用户通过网页浏览物品的相关信息时,向网络服务器发出申请,网络服务器将所存储的关于物品的视频信息通过网络发送给远程用户,远程用户通过观看所接收到的关于物品的视频信息来获取所展示物品的细节信息。
这两类***的最终目标都是希望提升用户对物品外观和功能的了解,更全面的介绍物品的信息,以提高用户对物品的认知程度。
然而,在上述***中,第一类***仅仅选取了几个特定视角或对特定视角下的部分区域进行局部或全局放大展示,并没有全方位的展示物品的外观特性,因而用户无法对物品产生整体的、统一的认知。第二类***忽略了用户的主观感受和自主选择期望,具有不同需求的用户只能被动的观看预先录制好的具有相同内容的同一段视频,失去了自主选择感兴趣区域和观看视角的权利,并且只能在观看到相关介绍时才能获得对应部分的信息,缺乏用户与物品信息之间的交互性。此外,由于预先录制的视频并不完全是用户感兴趣的,因此在网络上传输这些内容造成了对有限网络资源的浪费。
发明内容
本发明的目的在于针对上述现有技术存在的问题,提出一种基于视频编码的全视角图片浏览***及方法,以全方位形式展示物品,提高用户对物品外观的全方位认知程度,实现用户与物品信息之间的交互。
本发明的技术方案是这样实现的:
一.为实现上述目的,本发明基于视频编码的全视角图片浏览***,包括:
全视角图片采集子***,用于采集由物品全视角图片组成的视频序列VS,并传输给视频服务器;
视频服务器,用于对全视角图片采集子***采集的视频序列VS进行周期截取,得到周期视频序列VT,对周期视频序列VT进行压缩编码,生成物品全视角图片的压缩视频序列VC,并将该压缩视频序列VC进行保存,当用户终端向视频服务器请求浏览物品的全视角图片时,将相应的压缩视频序列VC传送给用户终端;
用户终端,用于监测用户行为,将用户行为转换为相应的请求消息传送给视频服务器,并对接收到的压缩视频序列VC进行解码,按照用户选择的浏览顺序,逐帧播放解码的视频文件实现用户对物品的全视角图片浏览。
作为优选,所述的全视角图片采集子***,包括视频采集设备,水平平台和待拍摄物品,待拍摄物品放置在水平平台上,视频采集设备固定在水平平台的一侧,并聚焦于水平平台上所放置的待拍摄物品;水平平台以固定旋转周期按照顺时针方向旋转,使用视频采集设备拍摄物品的全视角图片组成的视频序列VS。
作为优选,所述的视频服务器,包括:
周期视频截取模块,用于对全视角图片采集子***采集的视频序列VS进行周期检测,从中截取一个旋转周期的周期视频序列VT,传输给视频压缩编码模块;
视频压缩编码模块,用于对周期视频序列VT进行压缩编码,生成物品全视角图片的压缩视频序列VC,输出给存储单元模块进行保存;
存储单元模块,用于存储视频压缩编码模块所生成的物品全视角图片的压缩视频序列VC;
用户终端请求响应模块,用于响应用户终端的请求消息,并根据该请求消息,从存储单元模块中提取相应的压缩视频序列VC,传送给用户终端。
作为优选,所述的用户终端,包括:
用户行为监测模块,用于实时监测用户的行为,将用户行为转换为请求消息发送给视频服务器;
视频解码模块,用于对从视频服务器接收到的压缩视频序列VC进行解码,并将解码的视频文件传输给缓存模块;
缓存模块,用于保存视频解码模块解码的视频文件,并向视频播放模块提供解码的视频文件;
视频播放模块,按照用户选择的浏览顺序,从缓存模块中提取解码的视频文件进行逐帧播放,实现用户对物品的全视角图片浏览。
二.为实现上述目的,本发明基于视频编码的全视角图片浏览方法,包括如下步骤:
(1)采集由物品全视角图片组成的视频序列VS;
(2)视频服务器对采集的视频序列进行周期检测,截取一个旋转周期的周期视频序列VT;对截取的周期视频序列VT进行压缩编码,生成物品全视角图片的压缩视频序列VC,并保存;
(3)用户终端监测到用户点击网页上与物品关联的链接,使用户的点击行为转换为对物品全视角图片的浏览请求,传输给视频服务器;
(4)视频服务器响应步骤(3)中的浏览请求,将与物品全视角图片对应的压缩视频序列VC的起始帧传输给用户终端;
(5)用户终端对接收到的压缩视频序列VC的起始帧进行解码,将解码结果显示在当前窗口或弹出窗口中,并向视频服务器发送应答消息;
(6)用户终端根据用户行为与视频服务器进行信息交互:
当用户选择浏览顺序时,用户终端向视频服务器请求该浏览顺序对应的压缩视频序列VC中的后续视频帧,并对视频服务器所反馈的后续视频帧进行解码,按照用户选择的浏览顺序,逐帧播放解码的视频文件;
当用户切换浏览顺序时,按照切换后的浏览顺序播放本地缓存中已解码的视频帧,并向视频服务器请求该浏览顺序对应的压缩视频序列VC中的后续视频帧,对视频服务器所反馈的后续视频帧进行解码,按照用户选择的浏览顺序,逐帧播放解码的视频文件;
当用户关闭物品所在页面或窗口时后,用户终端释放本地缓存,清除已解码的视频帧,并通知视频服务器停止发送后续视频帧,完成用户本次对物品全视角图片的浏览。
本发明与现有技术相比具有如下优点:
(1)本发明由于以视频方式展示物品的全视角图片,因而可以连续的、全方位的向用户提供所要观看物品的外观信息,用户通过自主选择浏览顺序就可以不间断的观看到不同视角下物品的外观信息。相比于已有的物品浏览***,本发明可以增强用户对物品的认知程度,提高用户与物品之间的交互,改善用户体验,以便用户对物品产生完整的、全面的评价。
(2)本发明由于充分考虑了不同用户的自主选择期望和具体需求信息,只按照用户需求向其传递物品特定视角的图片信息,而不向用户传递额外的冗余信息,相比于原有的用户被动接受的浏览***,不仅具有更高的人机交互性和时效性,提高了用户的体验质量,而且最大化的节约网络资源和本地缓存,提高了网络资源的利用率。
附图说明
图1为本发明的全视角图片浏览***的***框图。
图2为本发明全视角图片采集子***示意图。
图3为本发明浏览全视角图片方法的总流程图。
图4为本发明浏览方法中截取周期视频序列VT的子流程图。
图5为本发明浏览方法中判断用户请求的子流程图。
图6为本发明中用户终端的全视角图片浏览界面示意图。
具体实施方式
下面对本发明的实施例做详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和过程,但本发明的保护范围不限于下述的实施例。
参照图1,本发明基于视频编码的全视角图片浏览***,包括:全视角图片采集子***,视频服务器,用户终端,全视角图片采集子***与视频服务器连接,其连接方式为有线连接或无线连接,视频服务器与用户终端之间通过网络连接。其中:
所述全视角图片采集子***,其组成如图2所示。它包括视频采集设备,水平平台和待拍摄物品,待拍摄物品放置在水平平台上,视频采集设备固定在水平平台的一侧,并聚焦于水平平台上所放置的待拍摄物品,水平平台以固定旋转周期按照顺时针方向旋转,使视频采集设备拍摄出物品的全视角图片,并组成视频序列VS传输给视频服务器。
所述的视频服务器,由四个模块组成,即周期视频截取模块,视频压缩编码模块,存储单元模块和用户终端请求响应模块,其中:
该周期视频截取模块,对视频序列VS进行周期检测,从中截取一个旋转周期的周期视频序列VT,传输给视频压缩编码模块;
该视频压缩编码模块,对周期视频序列VT的帧率ft1与用户终端所支持的视频播放帧率ft2进行比较,若满足ft1>ft2,则对周期视频序列VT进行采样率为Nt=ft1/ft2倍的时域下采样,并将该时域下采样视频序列VTT作为时域下采样的输出结果VTO,否则将周期视频序列VT作为时域下采样的输出结果VTO;
该视频压缩编码模块,对时域下采样输出结果VTO的空间分辨率fs1与用户终端所支持的空间分辨率fs2进行比较,若满足fs1>fs2,则对该输出结果VTO进行采样率为Ns=fs1/fs2倍的空域下采样,并将该空域下采样视频序列VTS作为空域下采样的输出结果VSO,否则将时域下采样的输出结果VTO作为空域下采样的输出结果VSO;
该视频压缩编码模块设定视频编码参数,对空域下采样的输出结果VSO进行压缩编码,将生成的压缩视频序列VC送入存储单元模块进行保存;
该用户终端请求响应模块,用于响应用户终端的请求消息,并根据该请求消息,从存储单元模块存储的压缩视频序列VC中,提取与物品特定视角图片关联的视频帧传送给用户终端;
该存储单元模块,用于存储视频压缩编码模块生成的压缩视频序列VC,并按照用户终端请求响应模块的要求,反馈压缩视频序列VC中的视频帧;
所述用户终端,由四个模块组成,即用户行为监测模块,视频解码模块,缓存模块和视频播放模块,其中:
该用户行为监测模块,用于监测用户行为,并将用户行为转换为相应的请求消息传送给视频服务器,同时从缓存模块中选取与用户行为适配的解码视频帧送入视频播放模块进行播放;
该视频解码模块,用于对获取的压缩视频序列VC中的视频帧进行视频解码,并将解码视频帧保存在缓存模块中;
该缓存模块,用于保存解码视频帧,并按照用户行为监测模块的要求向视频播放模块提供解码视频帧;
该视频播放模块,用于按照用户行为监测模块的要求,从缓存模块中提取解码视频帧进行逐帧播放,供用户对物品的全视角图片进行浏览。
参照图3,本发明基于视频编码的全视角图片浏览方法,其实现步骤如下:
步骤1:产生原始视频序列。
(1a)按照如图2所示的全视角图片采集子***示意图,将待拍摄物品置于水平平台上,将视频采集设备置于水平平台一侧;
(1b)开启水平平台开关,使放置在其上的待拍摄物品随水平平台按照顺时针方向进行匀速周期旋转;
所述水平平台的旋转方向不限于本实施例中所使用的顺时针方向,也可以选择逆时针方向;
所述全视角图片采集子***中,待拍摄物品、水平平台以及视频采集设备的配置方式不限于本实施例中所使用的方式,也可将待拍摄物品置于固定平台上,将视频采集设备置于以固定平台为圆心的环形轨道上,使视频采集设备沿环形轨道做匀速运动,对待拍摄物体进行拍摄,从而获取物品全视角图片组成的视频序列;
(1c)设置拍摄视频的帧率为50帧/秒,拍摄视频的空间分辨率为1280×720像素,视频格式为YUV,其他拍摄参数选择视频采集设备的默认参数,调整视频采集设备,使其聚焦于水平平台上所放置的待拍摄物品;
所述拍摄视频帧率不限于本实施例所使用的50帧/秒,可根据实际应用场景和所使用视频采集设备支持的帧率进行合理选择;
所述拍摄视频空间分辨率不限于本实施例所使用的1280×720像素,实际应用场景和所使用视频采集设备支持的空间分辨率进行合理选择;
所述拍摄视频格式不限于本实施例所使用的YUV格式,也可以根据所使用的摄像机支持的视频格式进行合理选择,并转换为YUV格式进行后续处理;
(1e)开启视频采集设备进行视频拍摄,拍摄时间不小于1倍的水平平台旋转周期;
(1f)停止视频采集设备,保存所拍摄的视频序列VS。
步骤2:截取周期视频序列VT。
参照图4,本步骤的具体实现如下:
(2a)从步骤(1f)所述的视频序列VS中选取时间顺序上处于后90%的视频帧,计算视频序列VS中第i帧相对于视频序列中起始帧F1的绝对误差和SADi:
SADi=∑w∑h|Yi-Y1|,
其中Yi表示第i帧的亮度分量,Y1表示起始帧F1的亮度分量,w和h分别表示视频帧的宽度和高度;
(2b)对步骤(2a)中的绝对误差和SADi,按照由小到大的顺序进行排序,选取视频序列VS中SADi最小的一帧,作为周期视频序列VT的终止帧Fe;
(2c)截取视频序列VS中包含起始帧F1和步骤(2b)中所得终止帧Fe之间所有的视频帧,得到周期视频序列VT。
步骤3:时域下采样和空域下采样判定。
(3a)计算步骤(1c)中设置的视频采集帧率ft1和用户终端所能支持视频播放帧率ft2之比Nt,若满足Nt>1,则对步骤(2c)所得周期视频序列VT进行Nt倍的时域下采样,并将该时域下采样VTS作为时域下采样的输出结果VTO;否则,将步骤(2)所得周期视频序列VT作为时域下采样的输出结果VTO;
所采用的时域下采样方法是:
对步骤(2c)中所得周期视频序列VT进行逐帧遍历,每隔1帧丢弃Nt帧,直至遍历到周期视频序列VT的终止帧Fe,剩余视频帧构成的视频序列即为周期视频序列VT的Nt倍时域下采样VTS;
所述的时域下采样方法不限于本实施例所使用的时域下采样方法,可以采用已有的其他用于视频序列的时域下采样方法;
(3b)计算步骤(1c)中设置的视频采集空间分辨率fs1和用户终端所能支持视频播放分辨率fs2之比Ns,若满足Ns>1,则对步骤(3a)中的时域下采样输出结果VTO进行Ns倍的空域下采样,并将该空域下采样VSS作为空域下采样的输出结果VSO;否则,将步骤(3a)中的时域下采样输出结果VTO作为空域下采样的输出结果VSO;
所采用的空域下采样方法是:
对步骤(3a)中的时域下采样输出结果VTO进行逐帧遍历,以第i帧为例,将第i帧中每个Ns×Ns大小图像块的均值作为该图像块的下采样值,所有Ns×Ns大小图像块的下采样值构成第i帧的空域下采样,所该输出结果VTO中各帧的空域下采样构成步骤(3a)中时域下采样输出结果VTO的空域下采样VSS;
所述的空域下采样方法不限于本实施例所使用的空域下采样方法,可以采用已有其他用于视频序列的空域下采样方法。
步骤4:视频压缩编码。
(4a)对视频服务器中的视频编码软件ffmpeg SDK进行初始化,选择H.264/AVC编码器,添加步骤(3b)中所输出的视频序列作为H.264/AVC编码器的输入;
所述视频编码软件不限于本实施例所使用的视频编码软件ffmpeg SDK,也可以采用其他视频编码软件实现;
所述视频编标准不限于本实施例所使用的H.264/AVC,也可以采用该其他视频编码标准;
(4b)设置H.264/AVC编码器的编码参数,包括视频宽度、视频高度、图像组GOP大小、量化步长参数,其余参数采用H.264/AVC编码器的默认参数;
(4c)运行视频编码软件ffmpeg SDK,分配必要的编码缓存,逐帧对输入视频序列进行编码,直到编码过程结束,输出由M个图像组构成的.264压缩视频序列VC,存储于视频服务器。
步骤5:用户请求浏览物品的全视角图片。
(5a)以通用微型计算机作为用户终端为例,当用户按下鼠标按键点击网页上与物品关联的链接时,用户终端监测到用户点击该链接的行为,将这一行为转换为全视角图片浏览请求消息发送给视频服务器;
所述用户终端不限于本实施例中所使用的通用微型计算机,也可以是智能手机、平板电脑以及其他具有交互能力和视频处理能力的用户终端设备;
(5b)视频服务器收到步骤(5a)中的浏览请求消息后,通过网络向用户终端发送该物品对应压缩视频序列VC的起始帧;
(5c)用户终端在接收到压缩视频序列VC的起始帧后,对该起始帧进行视频解码,并将解码结果显示在用户浏览的窗口内,如图6所示,同时,用户终端向视频服务器发送应答消息,表明收到压缩视频序列VC的起始帧;
所述视频解码结果显示不限于本实施例中所使用的在用户浏览的窗口内进行显示,也可以采用在用户浏览的网页上进行显示等其他显示方式;
(5d)视频服务器接收到步骤(5c)中的应答消息后,通过网络向用户终端发送压缩视频序列VC中第1个图像组G1和最后1个图像组GM。
步骤6:用户选择浏览顺序进行全视角图片浏览。
(6a)用户终端在接收到步骤(5d)中的图像组G1和图像组GM后,对图像组G1和图像组GM进行逐帧视频解码,将解码结果保存在缓存中;
(6b)用户终端实时监测用户行为,判断用户请求,
参照图5,本步骤实现如下:
(6b1)若用户点击步骤(5c)中显示窗口的物品并向左移动鼠标,则判定用户请求按顺时针方向浏览全视角图片,执行步骤(6b2);若用户点击步骤(5c)中显示窗口的物品并向右移动鼠标,则判定用户请求按照逆时针方向浏览全视角图片,执行步骤(6b3);若用户点击步骤(5c)中显示窗口的物品并保持鼠标静止,则判定用户请求按照默认浏览顺序浏览全视角图片,本实施例中选择顺时针方向作为默认浏览顺序,执行步骤(6b2);
(6b2)用户终端发送顺时针浏览请求信息给视频服务器,将缓存中对图像组G1的解码结果按照解码顺序进行逐帧播放,并向视频服务器发送已解码的图像组序号id=1,执行步骤(6b4);
(6b3)用户终端发送逆时针浏览请求信息给视频服务器,将缓存中对图像组GM的解码结果按照与解码顺序相反的顺序进行逐帧播放,并向视频服务器发送已解码的图像组序号id=M,执行步骤(6b5);
(6b4)视频服务器接收到顺时针浏览请求消息,比较已解码的图像组序号id与压缩视频编码序列VC中图像组个数M的大小,若id<M,将压缩视频编码序列VC中的图像组Gi,i=id+1发送给用户终端,执行步骤(6b6);否则,将压缩视频编码序列VC中的图像组Gi,i=1发送给用户终端,执行步骤(6b6);
(6b5)视频服务器接收到逆时针浏览请求消息,比较图像组序号id与0的大小,若id>0,将压缩视频编码序列VC中的图像组Gi,i=id-1发送给用户终端,执行步骤(6b7);否则,将压缩视频编码序列VC中的图像组Gi,i=M发送给用户终端,执行步骤(6b7);
(6b6)用户终端对接收到的图像组Gi进行视频解码,在用户浏览窗口内按照解码顺序逐帧播放图像组Gi的解码结果,并实时监测用户行为,若用户请求以逆时针方向浏览,执行步骤(6b8);若用户不改变浏览顺序,向视频服务器发送顺时针浏览请求信息和已解码图像组序号id=i,重复执行步骤(6b4),直至监测到用户选择关闭当前浏览的窗口,执行步骤7;
(6b7)用户终端对接收到的图像组Gi进行视频解码,在用户浏览窗口内按照与解码顺序相反的顺序逐帧播放图像组Gi的解码结果,并实时监测用户行为,若用户请求以顺时针方向浏览,执行步骤(6b9);若用户不改变浏览顺序,向视频服务器发送逆时针浏览请求信息和已解码图像组序号id=i,重复执行步骤(6b5),直至监测到用户选择关闭当前窗口,执行步骤7;
(6b8)用户终端在用户浏览窗口内按照与解码顺序相反的顺序逐帧播放图像组Gi的解码结果,并实时监测用户行为,若用户请求以顺时针方向浏览,执行步骤(6b9);若用户不改变浏览顺序,向视频服务器发送逆时针浏览请求信息和已解码图像组序号id=i,执行步骤(6b5);
(6b9)用户终端在用户浏览窗口内按照解码顺序逐帧播放图像组Gi的解码结果,并实时监测用户行为,若用户请求以逆时针方向浏览,执行步骤(6b8);若用户不改变浏览顺序,向视频服务器发送顺时针浏览请求信息和已解码图像组序号id=i,执行步骤(6b4);
所述用户行为与用户请求之间的对应关系不限于本实施例中所设定的上述情况,也可以采用其他形式的对应关系,例如用户击步骤(5c)中显示窗口的物品并向左移动鼠标表示用户请求按照逆时针方向浏览全视角图片,用户击步骤(5c)中显示窗口的物品并向右移动鼠标表示用户请求按照顺时针方向浏览全视角图片等;
所述默认浏览顺序不限于本实施所选择的顺时针方向,也可以选择逆时针方向;
所述用户行为方式不限于本实施例中所使用的用户点击鼠标并移动鼠标,针对不同的用户终端也可以选取其他的方式,例如当用户终端是智能手机时,可以采用用户手指点击屏幕上的物体并滑动手指作为用户的行为方式。
步骤7:用户结束全视角图片浏览。
(7a)若当前所浏览的窗口被关闭,即图6所示窗口被关闭,则表示用户结束全视角图片的浏览过程,此时用户终端停止对接收到的图像组进行解码,并将本地缓存清空,同时向视频服务器发送用户结束浏览请求;
所述用户结束全视角图片浏览的行为不限于本实施例中所使用的用户关闭当前所浏览的窗口,也可以是其他的用户行为,例如关闭当前浏览网页等;
(7b)视频服务器接收到用户结束浏览请求,停止向用户终端发送后续图像组,至此,完成本发明基于视频编码的全视角图片浏览。
Claims (7)
1.一种基于视频编码的全视角图片浏览***,包括:
全视角图片采集子***,用于采集由物品全视角图片组成的视频序列VS,并传输给视频服务器;
视频服务器,用于对全视角图片采集子***采集的视频序列VS进行周期截取,得到周期视频序列VT,对周期视频序列VT进行压缩编码,生成物品全视角图片的压缩视频序列VC,并将该压缩视频序列VC进行保存,当用户终端向视频服务器请求浏览物品的全视角图片时,将相应的压缩视频序列VC传送给用户终端;
用户终端,用于监测用户行为,将用户行为转换为相应的请求消息传送给视频服务器,并对接收到的压缩视频序列VC进行解码,按照用户选择的浏览顺序,逐帧播放解码的视频文件实现用户对物品的全视角图片浏览。
2.根据权利要求1所述的***,其中所述的全视角图片采集子***,包括视频采集设备,水平平台和待拍摄物品,待拍摄物品放置在水平平台上,视频采集设备固定在水平平台的一侧,并聚焦于水平平台上所放置的待拍摄物品;水平平台以固定旋转周期按照顺时针方向旋转,使用视频采集设备拍摄物品的全视角图片组成的视频序列VS。
3.根据权利要求1所述的***,其中所述的视频服务器,包括:
周期视频截取模块,用于对全视角图片采集子***采集的视频序列VS进行周期检测,从中截取一个旋转周期的周期视频序列VT,传输给视频压缩编码模块;
视频压缩编码模块,用于对周期视频序列VT进行压缩编码,生成物品全视角图片的压缩视频序列VC,输出给存储单元模块进行保存;
存储单元模块,用于存储视频压缩编码模块所生成的物品全视角图片的压缩视频序列VC;
用户终端请求响应模块,用于响应用户终端的请求消息,并根据该请求消息,从存储单元模块中提取相应的压缩视频序列VC,传送给用户终端。
4.根据权利要求1所述的***,其中所述的用户终端,包括:
用户行为监测模块,用于实时监测用户的行为,将用户行为转换为请求消息发送给视频服务器;
视频解码模块,用于对从视频服务器接收到的压缩视频序列VC进行解码,并将解码的视频文件传输给缓存模块;
缓存模块,用于保存视频解码模块解码的视频文件,并向视频播放模块提供解码的视频文件;
视频播放模块,按照用户选择的浏览顺序,从缓存模块中提取解码的视频文件进行逐帧播放,实现用户对物品的全视角图片浏览。
5.一种基于视频编码的全视角图片浏览方法,包括如下步骤:
(1)采集由物品全视角图片组成的视频序列VS;
(2)视频服务器对采集的视频序列进行周期检测,截取一个旋转周期的周期视频序列VT;对截取的周期视频序列VT进行压缩编码,生成物品全视角图片的压缩视频序列VC,并保存;
(3)用户终端监测到用户点击网页上与物品关联的链接,使用户的点击行为转换为对物品全视角图片的浏览请求,传输给视频服务器;
(4)视频服务器响应步骤(3)中的浏览请求,将与物品全视角图片对应的压缩视频序列VC的起始帧传输给用户终端;
(5)用户终端对接收到的压缩视频序列VC的起始帧进行解码,将解码结果显示在当前窗口或弹出窗口中,并向视频服务器发送应答消息;
(6)用户终端根据用户行为与视频服务器进行信息交互:
当用户选择浏览顺序时,用户终端向视频服务器请求该浏览顺序对应的压缩视频序列VC中的后续视频帧,并对视频服务器所反馈的后续视频帧进行解码,按照用户选择的浏览顺序,逐帧播放解码的视频文件;
当用户切换浏览顺序时,按照切换后的浏览顺序播放本地缓存中已解码的视频帧,并向视频服务器请求该浏览顺序对应的压缩视频序列VC中的后续视频帧,对视频服务器所反馈的后续视频帧进行解码,按照用户选择的浏览顺序,逐帧播放解码的视频文件;
当用户关闭物品所在页面或窗口时后,用户终端释放本地缓存,清除已解码的视频帧,并通知视频服务器停止发送后续视频帧,完成用户本次对物品全视角图片的浏览。
6.根据权利要求5所述的方法,其中步骤(1)所述的采集由物品全视角图片组成的视频序列VS,包括如下步骤:
(1a)将待拍摄物品置于水平平台上,将视频采集设备置于水平平台一侧;
(1b)开启水平平台开关,使放置在其上的待拍摄物品随该水平平台按照指定方向进行周期旋转;
(1c)设置视频采集设备的拍摄参数,调整视频采集设备,使其聚焦于水平平台上所放置的待拍摄物品;
(1d)开启视频采集设备进行视频拍摄,拍摄时间不小于1倍的水平平台旋转周期;
(1e)停止视频采集设备,保存所拍摄的视频序列VS。
7.根据权利要求6所述的方法,其中所述步骤(1c)中设置视频采集设备的拍摄参数,包括拍摄视频的帧率、空间分辨率和视频文件格式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310647454.3A CN103607578B (zh) | 2013-12-03 | 2013-12-03 | 基于视频编码的全视角图片浏览*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310647454.3A CN103607578B (zh) | 2013-12-03 | 2013-12-03 | 基于视频编码的全视角图片浏览*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103607578A true CN103607578A (zh) | 2014-02-26 |
CN103607578B CN103607578B (zh) | 2016-08-17 |
Family
ID=50125777
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310647454.3A Expired - Fee Related CN103607578B (zh) | 2013-12-03 | 2013-12-03 | 基于视频编码的全视角图片浏览*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103607578B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105357585A (zh) * | 2015-08-29 | 2016-02-24 | 华为技术有限公司 | 对视频内容任意位置和时间播放的方法及装置 |
CN105898359A (zh) * | 2016-04-27 | 2016-08-24 | 乐视控股(北京)有限公司 | 虚拟现实终端及其视频的处理方法和装置 |
CN107682625A (zh) * | 2017-09-27 | 2018-02-09 | 惠州Tcl移动通信有限公司 | 一种拍照预览时任意帧率控制方法、移动终端及存储介质 |
CN108377375A (zh) * | 2016-11-02 | 2018-08-07 | 优估(上海)信息科技有限公司 | 一种移动终端类3d显示效果的实现方法、装置及移动终端 |
CN108574838A (zh) * | 2017-03-10 | 2018-09-25 | 优估(上海)信息科技有限公司 | 一种移动终端3d显示的防抖方法、装置及移动终端 |
CN108574876A (zh) * | 2017-03-10 | 2018-09-25 | 优估(上海)信息科技有限公司 | 一种移动终端3d显示的防抖方法、装置及移动终端 |
CN108881886A (zh) * | 2018-05-31 | 2018-11-23 | 成都中绳科技有限公司 | 一种基于相机矩阵技术实现在显示端进行大数据无损交互应用的方法 |
CN110267026A (zh) * | 2019-07-05 | 2019-09-20 | 浙江开奇科技有限公司 | 基于5g网络的数据处理方法、移动终端及*** |
CN113938650A (zh) * | 2021-10-12 | 2022-01-14 | 北京三月雨文化传播有限责任公司 | 交互式三维全景多媒体实物展览装置和展览方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1190575B1 (en) * | 1999-06-18 | 2009-08-12 | Intel Corporation | Systems and methods for enhanced visual presentation using interactive video streams |
CN101320473B (zh) * | 2008-07-01 | 2011-07-20 | 上海大学 | 自由多视角、实时的三维重建***和方法 |
CN102231818B (zh) * | 2011-05-23 | 2013-10-02 | 何磊 | 一种多个用户通过视频网络共享一个视频探头的方法 |
CN102289672A (zh) * | 2011-06-03 | 2011-12-21 | 天津大学 | 红外步态双信道特征融合识别方法 |
-
2013
- 2013-12-03 CN CN201310647454.3A patent/CN103607578B/zh not_active Expired - Fee Related
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105357585A (zh) * | 2015-08-29 | 2016-02-24 | 华为技术有限公司 | 对视频内容任意位置和时间播放的方法及装置 |
CN105357585B (zh) * | 2015-08-29 | 2019-05-03 | 华为技术有限公司 | 对视频内容任意位置和时间播放的方法及装置 |
CN105898359A (zh) * | 2016-04-27 | 2016-08-24 | 乐视控股(北京)有限公司 | 虚拟现实终端及其视频的处理方法和装置 |
CN108377375A (zh) * | 2016-11-02 | 2018-08-07 | 优估(上海)信息科技有限公司 | 一种移动终端类3d显示效果的实现方法、装置及移动终端 |
CN108574838A (zh) * | 2017-03-10 | 2018-09-25 | 优估(上海)信息科技有限公司 | 一种移动终端3d显示的防抖方法、装置及移动终端 |
CN108574876A (zh) * | 2017-03-10 | 2018-09-25 | 优估(上海)信息科技有限公司 | 一种移动终端3d显示的防抖方法、装置及移动终端 |
CN107682625A (zh) * | 2017-09-27 | 2018-02-09 | 惠州Tcl移动通信有限公司 | 一种拍照预览时任意帧率控制方法、移动终端及存储介质 |
CN107682625B (zh) * | 2017-09-27 | 2020-12-08 | 惠州Tcl移动通信有限公司 | 一种拍照预览时任意帧率控制方法、移动终端及存储介质 |
CN108881886A (zh) * | 2018-05-31 | 2018-11-23 | 成都中绳科技有限公司 | 一种基于相机矩阵技术实现在显示端进行大数据无损交互应用的方法 |
CN110267026A (zh) * | 2019-07-05 | 2019-09-20 | 浙江开奇科技有限公司 | 基于5g网络的数据处理方法、移动终端及*** |
CN113938650A (zh) * | 2021-10-12 | 2022-01-14 | 北京三月雨文化传播有限责任公司 | 交互式三维全景多媒体实物展览装置和展览方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103607578B (zh) | 2016-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103607578A (zh) | 基于视频编码的全视角图片浏览*** | |
CN1732690B (zh) | 视频流传输 | |
Gül et al. | Low-latency cloud-based volumetric video streaming using head motion prediction | |
CN110139113B (zh) | 视频资源的传输参数分发方法及装置 | |
CN102801963B (zh) | 基于高清数字摄像头监控的电子ptz方法及装置 | |
CN102883135A (zh) | 屏幕共享及控制方法 | |
US20170163934A1 (en) | Data, multimedia & video transmission updating system | |
AU2016209079A1 (en) | Video transmission based on independently encoded background updates | |
CN102625106A (zh) | 场景自适应的屏幕编码码率控制方法及其*** | |
US20110064129A1 (en) | Video capture and generation at variable frame rates | |
CN104602127A (zh) | 导播视频同步播放方法和***以及视频导播设备 | |
US20160219280A1 (en) | Video transmission based on independently encoded background updates | |
US20140333716A1 (en) | Information processing apparatus, information processing method and computer-readable storage medium | |
CN111107434A (zh) | 信息推荐方法及装置 | |
CN106412617B (zh) | 远程调试控制方法及装置 | |
JP2012156820A (ja) | 映像コミュニケーションシステム及びその作動方法 | |
CN110868620A (zh) | 基于电视机的远程互动***及方法 | |
CN103347165A (zh) | 一种视频数据处理方法及终端 | |
CN202818497U (zh) | 基于高清数字摄像头监控的电子ptz装置 | |
CN201303397Y (zh) | 一种高清晰度数字视频服务器终端 | |
CN106060080A (zh) | 一种医疗视频信号采集转码*** | |
CN104918104A (zh) | 家庭互联网设备传屏*** | |
CN106998328A (zh) | 一种视频传输方法及装置 | |
CN113395527A (zh) | 一种基于vr技术的远程直播虚拟背景云合成*** | |
CN115225928B (zh) | 一种多类型音视频混播***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160817 |