CN115580738B - 一种按需传输的高分辨率视频展现方法、设备和*** - Google Patents

一种按需传输的高分辨率视频展现方法、设备和*** Download PDF

Info

Publication number
CN115580738B
CN115580738B CN202210164439.2A CN202210164439A CN115580738B CN 115580738 B CN115580738 B CN 115580738B CN 202210164439 A CN202210164439 A CN 202210164439A CN 115580738 B CN115580738 B CN 115580738B
Authority
CN
China
Prior art keywords
video
block
video data
playing
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210164439.2A
Other languages
English (en)
Other versions
CN115580738A (zh
Inventor
袁潮
温建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhuohe Technology Co Ltd
Original Assignee
Beijing Zhuohe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhuohe Technology Co Ltd filed Critical Beijing Zhuohe Technology Co Ltd
Priority to CN202210164439.2A priority Critical patent/CN115580738B/zh
Publication of CN115580738A publication Critical patent/CN115580738A/zh
Application granted granted Critical
Publication of CN115580738B publication Critical patent/CN115580738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提出按需传输的高分辨率视频展现方法、设备和***，属于视频传输与处理技术领域。方法包括下采样、分块后执行编码压缩、播放视频、接收用户在播放视频时的拓展播放操作、确定拓展播放区域、确定原始视频数据中包含所述拓展播放区域的最小覆盖区域、传输最小覆盖区域对应的区块原始视频数据至客户端、将区块视频数据覆盖拓展播放区域后进行视频展现等步骤。视频展现***连接视频源服务器，包括客户端分辨率获取模块、下采样模块、视频分块模块、分块编码模块、分块传输模块、拓展播放操作识别模块、原始覆盖分块请求模块以及解码播放模块。本发明提出的按需传输的方法，可在不降低用户体验的情况下，降低对网络传输带宽的需求。

Description

一种按需传输的高分辨率视频展现方法、设备和***
技术领域
本发明提出按需传输的高分辨率视频展现方法、设备和***，属于视频传 输与处理技术领域。
背景技术
在全景视频展现等业务应用中，视频源往往具有很高的清晰度，同时具 有很大的视野范围，这类视频的分辨率一般会达到两个4K或者8K，而且 还在不断提高，以提升用户的视觉体验。
高清晰度的视频导致了在进行这类视频直播或点播时，如果从服务端直 接向客户端提供完整的视频，需要两者之间具备很高带宽的通信网络。高 带宽的通信网络无论在可获得性还是使用费用上，代价都很高，因此这一 方法难以大规模商用化。
经检索，美国专利公开文本US11159776B2提出用于移动设备上的16K 全景视频流的方法和***，可以将16K全景视频帧(其可以是360°视频 帧)的任何不规则形状的视口快速无损地转换为矩形8K帧。该边缘侧代 码转换使得客户机能够仅处理8K而不是16K视频内容。
中国专利CN108156484B则提出自适应速率分配***将全景视频划分成 片段或图块，并且基于来自用户客户端设备的输入(例如，视场的视口)来为每个图块或片段指派优先级。自适应速率分配***根据自适应速率分配向 用户客户端设备流式传输每个图块或片段，其使带宽效率和视频质量最大 化。以这种方式，自适应速率分配***向用户当前正在观看/最有可能观看 的全景视频中的区域递送更高质量的内容。
然而，上述现有技术均无法实现在不降低用户体验的情况下，降低对网 络传输带宽的需求。
发明内容
为解决上述技术问题，本发明提出一种按需传输的高分辨率视频展现方 法和***、实现所述方法的计算机设备以及存储介质。
在本发明的第一个方面，提出一种按需传输的高分辨率视频展现方法， 所述方法包括：
S110：获取第一分辨率的原始视频数据进行下采样，得到第二分辨率的 基础视频数据；
S120：对所述基础视频数据进行分块后执行编码压缩；
S130：将所述编码压缩后的视频传输至客户端进行播放；
S140：接收用户在播放视频时的拓展播放操作；
S150：基于所述拓展播放操作，确定拓展播放区域；
S160：基于所述拓展播放区域的位置信息，确定所述拓展播放区域在原 始视频数据和基础视频数据中的像素级坐标；
S170：基于所述像素级坐标，确定原始视频数据中包含所述拓展播放区 域的最小覆盖区域；
S180：传输所述最小覆盖区域对应的区块原始视频数据至所述客户端；
S190：将区块视频数据覆盖所述拓展播放区域后进行视频展现。
进一步的，所述步骤S120中，针对每个分块采用独立编码算法，每个 分块执行编码压缩后的分块视频数据包括分块位置信息和分块时间戳信 息。
所述步骤S130包括：
接收每个编码压缩后的分块视频数据；
根据每个编码压缩后的分块视频数据的分块位置信息和分块时间戳信 息，对分块时间戳信息相同的所述编码压缩后的分块视频数据执行解码， 并将解码后的分块视频数据按照分块位置信息拼接后在客户端播放。
所述步骤S140中所述拓展播放操作为观看画面细节的操作，包括放大 画面、在放大状态下上下左右移动画面。
为进一步节省带宽，所述步骤S180包括：
对所述区块原始视频数据进行压缩后传输至所述客户端；
所述步骤S190包括：
客户端解码所有区块原始视频数据后拼接形成覆盖画面；
将所述覆盖画面覆盖所述拓展播放区域。
同时，为满足客户目标感兴趣区域的进一步聚焦，所述步骤S190还包 括：
从所述覆盖画面中裁剪出感兴趣区域；
将所述感兴趣区域覆盖所述拓展播放区域。
本发明的上述技术方案可以通过计算机设备或者***，基于计算机程序 指令自动化实现。
因此，本发明的第二个方面，提供一种按需传输的高分辨率视频展现系 统，所述视频展现***连接视频源服务器。
在程序模块结构上，所述***包括：
客户端分辨率获取模块，用于获取客户端支持的视频播放器的播放参 数；
下采样模块，用于对原始高分辨率视频进行下采样，获得第二分辨率的 基础视频数据；
具体的，所述第二分辨率由所述客户端支持的视频播放器的播放参数确 定。
视频分块模块，用于对基础视频进行分块，获得多个分块基础视频；
分块编码模块，用于对每个分块基础视频执行压缩编码，获得多个压缩 基础视频块；
分块传输模块，用于将每个压缩基础视频块传输至所述客户端的解码播 放模块；
所述解码播放模块接收所有压缩基础视频块后在客户端执行解码播放；
拓展播放操作识别模块，用于识别当前客户端是否存在拓展播放操作， 当存在拓展播放操作时，基于所述拓展播放操作，确定拓展播放区域；
原始覆盖分块请求模块，用于基于所述拓展播放区域的位置信息，确定 所述拓展播放区域在原始高分辨率视频和基础视频数据中的像素级坐标 后，向所述视频源服务器请求原始高分辨率视频中包含所述拓展播放区域 的最小覆盖区域对应的区块原始视频数据；
所述解码播放模块接收所述区块原始视频数据覆盖所述拓展播放区域 后进行视频展现。
第三个方面，基于第二个方面所述的***，在硬件实现上，本发明提供 一种按需传输的高分辨率视频展现设备，所述设备包含前述的一种按需传 输的高分辨率视频展现***。
具体的，所述设备可以为一种可视化客户端，所述可视化客户端包含处 理器和存储有计算机可执行指令的存储介质，所述客户端通过所述处理器 执行所述可执行指令，实现第一个方面所述的一种按需传输的高分辨率视 频展现方法。
本发明还可以实现为一种计算机介质，计算机介质上存储有计算机程序 指令，通过执行所述程序指令，实现第一个方面所述的一种按需传输的高分辨率视频展现方法。
本发明还可以表现为一种计算机程序产品，所述程序产品承载于计算机 存储介质，通过处理器执行所述程序，从而实现上述一种按需传输的高分 辨率视频展现方法。
相对于现有技术，本发明实现了在客户端和服务端配合，按需播放高清 晰度的原始视频画面不同区域的功能，在不降低用户体验的情况下，降低 对网络传输带宽的需求，普及性很强。
本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细 体现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是 本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的 前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种按需传输的高分辨率视频展现方法的整体 流程步骤图；
图2是图1所述方法中分块位置信息的坐标表示方法示意图；
图3(a)是基础视频播放页面；
图3(b)是对基础视频中感兴趣直接放大显示的页面效果；
图4是采用本发明技术方案后对基础视频中感兴趣放大显示的页面效果；
图5是感兴趣区域在原始视频和基础视频的坐标位置示意图；
图6(a)-图6(b)是感兴趣区域的扩展区域覆盖区域示意图；
图7是图1所述方法在执行过程中的数据流传输控制示意图；
图8是对单个分块视频执行编码时***时间戳和位置戳的示意图；
图9是执行图1所述方法的按需传输的高分辨率视频展现***的模块架构 图。
具体实施方式
下面，结合附图以及具体实施方式，对发明做出进一步的描述。
参照图1，图1是本发明一个实施例的一种按需传输的高分辨率视频展现 方法的整体流程步骤图。
图1所述整体流程步骤包括S110-S190，各个步骤具体实现如下：
S110：获取第一分辨率的原始视频数据进行下采样，得到第二分辨率的基 础视频数据；
S120：对所述基础视频数据进行分块后执行编码压缩；
S130：将所述编码压缩后的视频传输至客户端进行播放；
S140：接收用户在播放视频时的拓展播放操作；
S150：基于所述拓展播放操作，确定拓展播放区域；
S160：基于所述拓展播放区域的位置信息，确定所述拓展播放区域在原始 视频数据和基础视频数据中的像素级坐标；
S170：基于所述像素级坐标，确定原始视频数据中包含所述拓展播放区域 的最小覆盖区域；
S180：传输所述最小覆盖区域对应的区块原始视频数据至所述客户端；
S190：将区块视频数据覆盖所述拓展播放区域后进行视频展现。
下面，结合具体的例子对各个步骤具体进行示意性介绍。
所述步骤S110中，所述第二分辨率由所述客户端支持的视频播放器的播放 参数确定。
作为示例，第一分辨率的原始视频数据为达到两个4K或者8K分辨率的高 清晰度视频，同时具有很大的视野范围。
将原始视频画面进行下采样，下采样后得到的视频画面尺寸分辨率不超过 用户使用的终端最高分辨率，例如用户使用高清电视观看视频，则下采样后的 分辨率以不超过1920x1080为宜。我们把这一分辨率的视频称为匹配该类终端 的基础视频，以下简称基础视频。
在更多的实例中，会有多种终端观看视频，则需要下采样出多种分辨率， 从而为不同的终端匹配不同的最低分辨率。
例如原始画面分辨率为7680x4320，我们选择最低分辨率是1920x1080。
接下来S120中对所述基础视频数据进行分块后执行编码压缩。
对基础视频进行分块可以视为将基础视频进行网格化分割，包括水平分 割、垂直分割以及网格化纵横条状分割。
在一个实施例中，终端能够同时解码不少于4个分块视频。例如终端的 最大解码能力是4个1920x1080，那么每个分块大小都不能大于1920x1080。
另外为了解决由于视频编解码造成的画面分块之间边界过渡不平滑的 问题，分块画面之间必须有重叠区域，服务端必须能够准确描述重叠区域， 并能将其告知客户端。
图像分块信息中必须包含足够的信息，从而确保根据这些信息可以将分 块后的视频画面重新组合起来，举例如下：
设原始图像分辨率为7680x4320，首先分割为10x10个块，每个块的大 小为768x432，然后将每个块分别向四周扩展8个像素，则得到100个 784x448大小的分块，整个图像由于边缘扩展，大小变为7696x4336。我们 记录图像分块信息如下：
基于以上描述，我们可以很容易得到图像的分块方式和各个分块的大 小。
以上仅对网格化分块方式进行了举例，对于水平或垂直分块方式，我们 可以写出类似的分块描述信息。
分块得到的每个视频画面区域进行独立编码，编码算法可以采用标准算 法(如H264，H265，MPEG-2等)或者自定义算法。采用何种视频编码算 法不在本发明的讨论范围之内，本发明对此也不做约束。
作为进一步的改进，所述步骤S120中，针对每个分块采用独立编码算 法，每个分块执行编码压缩后的分块视频数据包括分块位置信息和分块时 间戳信息。
即在本实施例中，编码输出的数据除了包含编码后得到的数据外，还要 包含分块在整个画面中的位置信息，以及每一帧画面的时间戳信息。这些 信息将用于后面的视频重组。
位置信息可以以多种形式表示。例如以分块坐标的形式。
以图2为例，左上角分块的位置坐标是(0,0)，右下角分块的坐标是(7,4)。
坐标表示法仅仅是表示方法之一，采用其它表示方法也是可以的，只要 能够准确地描述分块在完整画面中的位置即可。
此外编码输出的数据还要包含每一帧的时间戳信息，时间戳信息要求处 于同一个画面的各个分块的子画面具有相同的时间戳信息。时间戳的精度 必须足够区分不同时刻的画面。例如以毫秒、微秒或纳秒为单位，或者以 视频传输***中常用的1/90000秒为单位等。
接下来执行步骤S130，即将所述编码压缩后的视频传输至客户端进行 播放。
具体的，本步骤是应客户端请求，将基础视频编码数据，视频分块信 息和各个分块视频的编码数据传输到客户端，可以用于视频播放。
在传输过程中要首先将基础视频和画面分块描述信息传输过去，然后根 据客户端请求，按需将各个视频分块编码后的视频数据传输过去。基础视 频要包含时间戳信息，分块视频数据中要包含自己在整体画面中的位置信 息和每一帧的时间戳信息。
因此，所述步骤S130包括：
接收每个编码压缩后的分块视频数据；
根据每个编码压缩后的分块视频数据的分块位置信息和分块时间戳信 息，对分块时间戳信息相同的所述编码压缩后的分块视频数据执行解码， 并将解码后的分块视频数据按照分块位置信息拼接后在客户端播放。
传输信道和传输协议可以采用多种方式，例如MPEG2-TS，RTP， WebSocket等，本发明不对此进行约束。
具体的，客户端向服务端请求画面分块信息，服务端视频分块编码步骤 得到的信息发送给客户端；
客户端向服务端请求基础视频数据，服务端发送基础视频数据，客户端 接收视频数据后解码，并将解码后的视频画面按照时间戳播放出来。
然而，当客户端解码和播放基础视频时，展现在用户面前的是一个全景 画面，如图3(a)，该画面实际上是适配终端屏幕的一个视频画面，该画 面的分辨率不高于原始视频画面，因此无法充分展现原始视频画面的细节。
为了使客户单能够观看到原始视频画面的细节，客户端必须采取一些操 作向服务端发出请求。例如放大画面，在放大状态下上下左右移动画面等 操作，在基础视频中，直接放大显示会导致画面显示模糊，如图3(b)。
此时，所述方法继续执行如下步骤：
S140：接收用户在播放视频时的拓展播放操作；
S150：基于所述拓展播放操作，确定拓展播放区域
S160：基于所述拓展播放区域的位置信息，确定所述拓展播放区域 在原始视频数据和基础视频数据中的像素级坐标；
S170：基于所述像素级坐标，确定原始视频数据中包含所述拓展播 放区域的最小覆盖区域；
S180：传输所述最小覆盖区域对应的区块原始视频数据至所述客户 端；
S190：将区块视频数据覆盖所述拓展播放区域后进行视频展现， 从而得到图4所述的视频展现页面。
具体的，所述步骤S180包括：
对所述区块原始视频数据进行压缩后传输至所述客户端；
所述步骤S190包括：
客户端解码所有区块原始视频数据后拼接形成覆盖画面；
将所述覆盖画面覆盖所述拓展播放区域。
所述步骤S190还包括：
从所述覆盖画面中裁剪出感兴趣区域；
将所述感兴趣区域覆盖所述拓展播放区域。
接下来，具体介绍执行步骤S140-S190的详细原理。
如前所述，接收用户在播放视频时的拓展播放操作，是为了使客户单能 够观看到原始视频画面的细节，客户端必须采取一些操作向服务端发出请 求。例如放大画面，在放大状态下上下左右移动画面等操作。
无论哪种操作，都是为了观看画面细节，这就要求服务端能够把原始视 频画面传输给客户端。为了节省传输带宽和降低对客户端处理能力的要求， 我们采用按需传输的方法实现这一过程。简而言之就是客户端需要显示哪 个区域的原始视频画面就传输哪个区域的画面，其它不需要显示的区域不 传输到客户端。为了实现这一目标，本实施例设计了以下交互过程：
交互过程的技术描述分为服务端和客户端两部分。本发明仅描述工作原 理，不约束服务端和客户端的具体设备形态。服务端可以是服务器或专用 硬件设备。客户端可以是手机，电视或PC。
假设所有视频画面均以归一化坐标形式表示，画面左上角坐标为原点， 右下角为(1.0,1.0)。
1.确定需要在终端屏幕上播放的画面在原始视频画面中的区域(称为 感兴趣区域)，得到该区域在原始视频和基础视频画面中的像素级坐标。
如图5所示，设感兴趣区域的左上角和右下角坐标分别是(0.2,0.2)和 (0.36,0.29)。那么其在原始画面中的左上角和右下角像素坐标分别是 (1536,864)和(2765，1253)。其在基础视频画面中的左上角和右下角 像素坐标分别是(384,216)和(691,313)。
2.在终端屏幕上播放感兴趣区域的基础视频画面(图3(a))，由于 这时屏幕分辨率(1920x1080)高于基础视频在选定区域的实际分辨率，因 此需要将基础视频在该区域内的画面进行数字放大，从而适配屏幕尺寸。 这时的画面会比较模糊，很多细节无法看清。如图3(b)所示。
3.计算原始视频画面中能完全覆盖感兴趣区域的最少分块的位置，我 们称它们为覆盖分块。如图6(a)所示，浅色区域为感兴趣区域，深色区 域为分块。并且记录下选定区域在覆盖分块组成的区域中的相对坐标位置 (即图6(b)中的x1,y1,x2,y2)。
4.客户端向服务端请求覆盖分块的视频数据。
5.服务端向客户端发送覆盖分块的数据。
6.客户端解码所有覆盖分块的视频数据，并将它们拼接成一个矩形画 面(如图6(b)的深色部分所示)。在此过程中要确保拼接到同一个画面 的所有分块画面的时间戳相同。
7.客户端从拼接后的画面中裁剪出感兴趣区域，将这个区域覆盖本节 第2步描述的基础视频播放画面(即图3(b)的画面)，并呈现到客户端 屏幕。如图4所示。这时的画面清晰度会比原来有很大提高，画面细节得 以充分展现。
通过以上步骤，实现了在客户端和服务端配合，按需播放高清晰度的原 始视频画面不同区域的功能。
上述过程的具体数据流过程参见图7，图7是图1所述方法在执行过程 中的数据流传输控制示意图。
在图7中，实线部分是步骤S110-S130的控制数据流，虚线部分则显示 了步骤S140-S190的控制数据流，即虚线部分可选的，只有在检测到用户 在播放视频时的拓展播放操作才会执行。
步骤S120对所述基础视频数据进行分块后执行编码压缩。
具体实现时，针对每个分块采用独立编码算法，每个分块执行编码压缩 后的分块视频数据包括分块位置信息和分块时间戳信息。图8是对单个分 块视频执行编码时***时间戳和位置戳的示意图。
本发明的上述技术方案可以通过计算机设备，基于计算机程序指令自动 化实现。
参见图9，图9是执行图1所述方法的按需传输的高分辨率视频展现系 统的模块架构图。
图9示出一种按需传输的高分辨率视频展现***，所述视频展现***连 接视频源服务器。
所述***包括：
客户端分辨率获取模块，用于获取客户端支持的视频播放器的播放参 数；
下采样模块，用于对原始高分辨率视频进行下采样，获得第二分辨率的 基础视频数据；
视频分块模块，用于对基础视频进行分块，获得多个分块基础视频；
分块编码模块，用于对每个分块基础视频执行压缩编码，获得多个压缩 基础视频块；
分块传输模块，用于将每个压缩基础视频块传输至所述客户端的解码播 放模块；
所述解码播放模块接收所有压缩基础视频块后在客户端执行解码播放；
拓展播放操作识别模块，用于识别当前客户端是否存在拓展播放操作， 当存在拓展播放操作时，基于所述拓展播放操作，确定拓展播放区域；
原始覆盖分块请求模块，用于基于所述拓展播放区域的位置信息，确定 所述拓展播放区域在原始高分辨率视频和基础视频数据中的像素级坐标 后，向所述视频源服务器请求原始高分辨率视频中包含所述拓展播放区域 的最小覆盖区域对应的区块原始视频数据；
所述解码播放模块接收所述区块原始视频数据覆盖所述拓展播放区域 后进行视频展现。
具体的，对所述区块原始视频数据进行压缩后传输至所述客户端；
客户端解码所有区块原始视频数据后拼接形成覆盖画面；
将所述覆盖画面覆盖所述拓展播放区域。
所述第二分辨率由所述客户端支持的视频播放器的播放参数确定。
作为示例，第一分辨率的原始视频数据为达到两个4K或者8K分辨率的高 清晰度视频，同时具有很大的视野范围。
将原始视频画面进行下采样，下采样后得到的视频画面尺寸分辨率不超过 用户使用的终端最高分辨率，例如用户使用高清电视观看视频，则下采样后的 分辨率以不超过1920x1080为宜。我们把这一分辨率的视频称为匹配该类终端 的基础视频，以下简称基础视频。
在更多的实例中，会有多种终端观看视频，则需要下采样出多种分辨率， 从而为不同的终端匹配不同的最低分辨率。
在硬件实现上，本发明提供一种按需传输的高分辨率视频展现设备，所 述设备包含前述的一种按需传输的高分辨率视频展现***。
具体的，所述设备可以为一种可视化客户端，所述可视化客户端包含处 理器和存储有计算机可执行指令的存储介质，所述客户端通过所述处理器 执行所述可执行指令，实现第一个方面所述的一种按需传输的高分辨率视 频展现方法。
本发明还可以实现为一种计算机介质，计算机介质上存储有计算机程序 指令，通过执行所述程序指令，实现第一个方面所述的一种按需传输的高 分辨率视频展现方法。
本发明还可以表现为一种计算机程序产品，所述程序产品承载于计算机 存储介质，通过处理器执行所述程序，从而实现上述一种按需传输的高分 辨率视频展现方法。
本发明实现了在客户端和服务端配合，按需播放高清晰度的原始视频画 面不同区域的功能，在不降低用户体验的情况下，降低对网络传输带宽的 需求，普及性很强。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限 制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人 员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未 脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利 要求保护范围之内。

Claims (4)

1.一种按需传输的高分辨率视频展现方法，其特征在于，所述方法包括：
S110：获取第一分辨率的原始视频数据进行下采样，得到第二分辨率的基础视频数据；
S120：对所述基础视频数据进行分块；对分块得到的每个视频画面区域采用独立编码算法进行独立编码；每个分块执行编码压缩后的分块视频数据包括分块位置信息和分块时间戳信息；
S130：将基础视频编码数据、画面分块描述信息和各个分块视频的编码数据传输到客户端进行播放；
所述画面分块描述信息包括各个分块的分块高度、分块宽度以及各个分块向四周扩展的像素个数；各个分块向四周扩展的像素个数包括各个分块向左外延宽度数、向右外延宽度数、向上外延宽度数以及向下外延宽度数；
S140：接收用户在播放视频时的拓展播放操作；
S150：基于所述拓展播放操作，确定拓展播放区域；
S160：基于所述拓展播放区域的位置信息，确定所述拓展播放区域在原始视频数据和基础视频数据中的像素级坐标；
S170：基于所述像素级坐标，确定原始视频数据中包含所述拓展播放区域的最小覆盖区域；S180：传输所述最小覆盖区域对应的区块原始视频数据至所述客户端；
S190：将区块视频数据覆盖所述拓展播放区域后进行视频展现；
所述步骤S180包括：
对所述区块原始视频数据进行压缩后传输至所述客户端；
所述步骤S190包括：
客户端解码所有区块原始视频数据后拼接形成覆盖画面；
从所述覆盖画面中裁剪出感兴趣区域；
将所述感兴趣区域覆盖所述拓展播放区域。
2.如权利要求1所述的一种按需传输的高分辨率视频展现方法，其特征在于，
所述步骤S130包括：
接收每个编码压缩后的分块视频数据；
根据每个编码压缩后的分块视频数据的分块位置信息和分块时间戳信息，对分块时间戳信息相同的所述编码压缩后的分块视频数据执行解码，并将解码后的分块视频数据按照分块位置信息拼接后在客户端播放。
3.如权利要求1所述的一种按需传输的高分辨率视频展现方法，其特征在于，
所述步骤S140中所述拓展播放操作包括对放大画面、在放大状态下上下左右移动画面。
4.一种可视化客户端，所述可视化客户端包含处理器和存储有计算机可执行指令的存储介质，
所述客户端通过所述处理器执行所述可执行指令，实现权利要求1-3任一项所述的一种按需传输的高分辨率视频展现方法。
CN202210164439.2A 2022-02-23 2022-02-23 一种按需传输的高分辨率视频展现方法、设备和*** Active CN115580738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210164439.2A CN115580738B (zh) 2022-02-23 2022-02-23 一种按需传输的高分辨率视频展现方法、设备和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210164439.2A CN115580738B (zh) 2022-02-23 2022-02-23 一种按需传输的高分辨率视频展现方法、设备和***

Publications (2)

Publication Number Publication Date
CN115580738A CN115580738A (zh) 2023-01-06
CN115580738B true CN115580738B (zh) 2023-09-19

Family

ID=84579171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210164439.2A Active CN115580738B (zh) 2022-02-23 2022-02-23 一种按需传输的高分辨率视频展现方法、设备和***

Country Status (1)

Country Link
CN (1) CN115580738B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116828154B (zh) * 2023-07-14 2024-04-02 湖南中医药大学第一附属医院((中医临床研究所)) 一种远程视频监护***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933704A (zh) * 2015-05-28 2015-09-23 西安算筹信息科技有限公司 一种三维立体扫描方法及***
CN104954769A (zh) * 2015-06-15 2015-09-30 中国科学院自动化研究所 一种浸入式超高清视频处理***及方法
CN106658011A (zh) * 2016-12-09 2017-05-10 深圳市云宙多媒体技术有限公司 全景视频的编解码方法和装置
CN107087212A (zh) * 2017-05-09 2017-08-22 杭州码全信息科技有限公司 基于空间可伸缩编码的交互式全景视频转码与播放方法及***
CN107369134A (zh) * 2017-06-12 2017-11-21 上海斐讯数据通信技术有限公司 一种模糊图像的图像复原方法
CN111402126A (zh) * 2020-02-15 2020-07-10 北京中科晶上科技股份有限公司 一种基于分块的视频超分辨率方法和***
CN111553224A (zh) * 2020-04-21 2020-08-18 中国电子科技集团公司第五十四研究所 一种大型遥感影像分块分配方法
CN111711859A (zh) * 2020-06-28 2020-09-25 北京奇艺世纪科技有限公司 一种视频图像处理方法、***及终端设备
CN113905256A (zh) * 2021-12-10 2022-01-07 北京拙河科技有限公司 支持交互式观看的视频数据处理方法、设备及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10313417B2 (en) * 2016-04-18 2019-06-04 Qualcomm Incorporated Methods and systems for auto-zoom based adaptive video streaming

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933704A (zh) * 2015-05-28 2015-09-23 西安算筹信息科技有限公司 一种三维立体扫描方法及***
CN104954769A (zh) * 2015-06-15 2015-09-30 中国科学院自动化研究所 一种浸入式超高清视频处理***及方法
CN106658011A (zh) * 2016-12-09 2017-05-10 深圳市云宙多媒体技术有限公司 全景视频的编解码方法和装置
CN107087212A (zh) * 2017-05-09 2017-08-22 杭州码全信息科技有限公司 基于空间可伸缩编码的交互式全景视频转码与播放方法及***
CN107369134A (zh) * 2017-06-12 2017-11-21 上海斐讯数据通信技术有限公司 一种模糊图像的图像复原方法
CN111402126A (zh) * 2020-02-15 2020-07-10 北京中科晶上科技股份有限公司 一种基于分块的视频超分辨率方法和***
CN111553224A (zh) * 2020-04-21 2020-08-18 中国电子科技集团公司第五十四研究所 一种大型遥感影像分块分配方法
CN111711859A (zh) * 2020-06-28 2020-09-25 北京奇艺世纪科技有限公司 一种视频图像处理方法、***及终端设备
CN113905256A (zh) * 2021-12-10 2022-01-07 北京拙河科技有限公司 支持交互式观看的视频数据处理方法、设备及***

Also Published As

Publication number Publication date
CN115580738A (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
US20180192063A1 (en) Method and System for Virtual Reality (VR) Video Transcode By Extracting Residual From Different Resolutions
CN109983500B (zh) 重新投影全景视频图片的平板投影以通过应用进行渲染
US9363542B2 (en) Techniques to provide an enhanced video replay
US20020021353A1 (en) Streaming panoramic video
US10672102B2 (en) Conversion and pre-processing of spherical video for streaming and rendering
US9756328B2 (en) System, terminal, and method for dynamically adjusting video
US8831108B2 (en) Low latency rate control system and method
US20040086186A1 (en) Information providing system and method, information supplying apparatus and method, recording medium, and program
US20050253969A1 (en) Method and apparatus for encoding video content
CN1486537A (zh) 信号接收机、便携终端及信号接收***
RU2718118C2 (ru) Устройство для обработки информации и способ обработки информации
EP3434021B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US20200184709A1 (en) Dynamic rendering of low frequency objects in a virtual reality system
KR20170091323A (ko) 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
CN115580738B (zh) 一种按需传输的高分辨率视频展现方法、设备和***
US20030011714A1 (en) System and method for transmitting program data including immersive content
EP1719342B1 (en) Method of visualizing a large still picture on a small-size display.
CN111726598B (zh) 图像处理方法和装置
CN114513702B (zh) 基于Web的分块全景视频处理方法、***及存储介质
KR20050065611A (ko) 서브 화상 조정 방법과 이를 수행할 수 있는 컴퓨터프로그램 및 서브 화상 조정 장치
CN117291810B (zh) 视频帧的处理方法、装置、设备及存储介质
JP2005341093A (ja) コンテンツ適応化装置、コンテンツ適応化システム、コンテンツ適応化方法
US20220343457A1 (en) Rank information in immersive media processing
CN118283287A (zh) 亿级像素视频的直播方法、装置、介质及设备
CN117676274A (zh) 视频处理方法、装置及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant