CN108833976A - 一种全景视频动态切流后的画面质量评估方法及装置 - Google Patents

一种全景视频动态切流后的画面质量评估方法及装置 Download PDF

Info

Publication number
CN108833976A
CN108833976A CN201810682272.2A CN201810682272A CN108833976A CN 108833976 A CN108833976 A CN 108833976A CN 201810682272 A CN201810682272 A CN 201810682272A CN 108833976 A CN108833976 A CN 108833976A
Authority
CN
China
Prior art keywords
parameter
picture
attention focusing
user
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810682272.2A
Other languages
English (en)
Other versions
CN108833976B (zh
Inventor
蒋小可
邱达明
马睿
马志友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen See Technology Co Ltd
Kandao Technology Co Ltd
Original Assignee
Shenzhen See Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen See Technology Co Ltd filed Critical Shenzhen See Technology Co Ltd
Priority to CN201810682272.2A priority Critical patent/CN108833976B/zh
Priority to US17/264,302 priority patent/US11438651B2/en
Priority to PCT/CN2018/095329 priority patent/WO2020000522A1/zh
Publication of CN108833976A publication Critical patent/CN108833976A/zh
Application granted granted Critical
Publication of CN108833976B publication Critical patent/CN108833976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种全景视频动态切流后的画面质量评估方法及装置，通过获取注意力聚焦参数，所述注意力聚焦参数用于表示用户对画面的注意力水平，所述注意力聚焦参数是画面角度与画面高度的函数；获取分辨率分布参数，所述分辨率分布参数用于表示画面的分辨率分布情况；合成所述注意力聚焦参数和所述分辨率分布参数，得到在全景视频动态切流中用户观看到的画面质量参数；根据所述画面质量参数，评估画面质量。通过本发明实施例提供了画面质量评估标准供参考，保证了全景视频的画面质量和播放效果，且画面质量的评估结果与用户的真实体验更接近，可以准确评估画面质量，评估效果好，有利于提高用户体验。

Description

一种全景视频动态切流后的画面质量评估方法及装置
技术领域
本发明涉及多媒体技术领域，特别是涉及一种全景视频动态切流后的画面质量评估方法及画面质量评估装置。
背景技术
随着视频采集和处理技术的进步，全景视频开始逐步进入人们的生活。全景视频技术在全景照片技术之上发展延伸而来，是一种用3D摄像机进行全方位360度进行拍摄的视频，其承载着丰富的信息量，可以将变化的场景进行实时播放。人们可以在水平和垂直方向任意选择观看角度，对全景视频中感兴趣的场景进行浏览，如同身临其境。
用户可通过VR头盔观看全景视频，全景视频播放器可针对用户的观看视角对全景视频画面进行切流操作，如用户观看前方画面，可仅将用户前方部分画面传输至VR头盔进行观看即可。
为了满足用户更高的视觉体验，全景视频对画质的要求越来越高，但全景视频数据量巨大，这样显然提高了画面内容的拍摄难度和传输难度，导致显示设备无法流畅播放高分辨率全景视频，以及播放的成本越来越高。基于高画质的全景视频的现状，可以对画面的部分内容进行分辨率降低操作来减少拍摄成本和播放成本。
但是，现有技术中没有对全景视频进行画面质量评价的标准，全景视频画面质量要么品质很高，但是拍摄成本和播放成本较大，要么会因过度降低分辨率导致全景视频的部分场景失真，影响全景视频的画面质量和播放效果。
故，有必要提供一种全景视频动态切流后的画面质量评估方法及装置，以解决现有技术所存在的问题。
发明内容
本发明实施例提供一种全景视频动态切流后的画面质量评估方法及装置，以解决现有技术中的全景视频要么因品质要求过高导致拍摄成本和播放成本较大，要么会因过度降低分辨率导致全景视频的部分场景失真，影响全景视频的画面质量和播放效果的技术问题。
本发明第一方面，提供了一种全景视频动态切流后的画面质量评估方法，包括：
获取注意力聚焦参数，所述注意力聚焦参数用于表示用户对画面的注意力水平，所述注意力聚焦参数是用户注意力聚焦位置的函数；
获取分辨率分布参数，所述分辨率分布参数用于表示画面的分辨率分布情况，所述分辨率分布参数为是用户注意力聚焦位置的函数，其中，所述用户注意力聚焦位置包括画面水平角度和/或画面垂直角度；
合成所述注意力聚焦参数和所述分辨率分布参数，得到画面质量参数；
根据所述画面质量参数，评估用户当前观看的全景视频的画面质量。
在一种实施方式中，所述获取分辨率分布参数，具体包括：根据所述注意力聚焦参数，生成视频画面的各个用户注意力聚焦位置的分辨率估值，根据所述视频画面的各个用户注意力聚焦位置的分辨率估值生成所述分辨率分布参数。
在一种实施方式中，所述合成所述注意力聚焦参数和所述分辨率分布参数，得到画面质量参数，具体包括：对所述注意力聚焦参数和所述分辨率分布参数进行积分运算，得到画面质量参数。
在一种实施方式中，所述对所述注意力聚焦参数和所述分辨率分布参数进行积分运算，得到画面质量参数，具体包括：
对所述注意力聚焦参数和所述分辨率分布参数进行画面水平角度的积分，得到每一帧画面的画面质量参数Q，其中，F(x)为注意力聚焦参数，P(x)为分辨率分布参数，所述用户注意力聚焦位置包括画面水平角度；
或，对所述注意力聚焦参数和所述分辨率分布参数进行画面水平角度和画面垂直角度的积分，得到每一帧画面的画面质量参数Q，其中，F(x，y)为注意力聚焦参数，P(x，y)为分辨率分布参数，所述用户注意力聚焦位置包括画面水平角度和画面垂直高度。
在一种实施方式中，对所述注意力聚焦参数和所述分辨率分布参数进行积分运算，得到画面质量参数，具体包括：
对所述注意力聚焦参数和所述分辨率分布参数进行画面水平角度、画面垂直角度和所述全景视频播放时间的积分，得到播放时间段全景视频的画面质量参数Q，其中，Ft(x，y)为在全景视频播放时间内的注意力聚焦参数，Pt(x，y)为在全景视频播放时间内的分辨率分布参数，Te为视频的播放结束时间，所述用户注意力聚焦位置包括画面水平角度和/或画面垂直角度。
在一种实施方式中，所述获取注意力聚焦参数，具体包括：捕捉用户眼睛视线，获取所述用户注意力聚焦位置在画面中的位置，得到用户注意力聚焦参数。
在一种实施方式中，所述获取注意力聚焦参数，具体包括：获取单个用户的注意力聚焦参数，得到所述注意力聚焦参数；或，获取多个用户的注意力聚焦参数，并根据多个用户的注意力聚焦参数得到所述注意力聚焦参数，相应的，所述获取分辨率分布参数，具体包括：根据多个注意力聚焦参数，生成对应的视频画面的各个用户注意力聚焦位置的分辨率估值，根据所述视频画面的各个用户注意力聚焦位置的分辨率估值生成对应的分辨率分布参数。
本发明的第二方面，提供了一种全景视频动态切流后的画面质量评估装置，包括：
获取模块，被配置为获取注意力聚焦参数和分辨率分布参数，所述注意力聚焦参数用于表示用户对画面的注意力水平，所述分辨率分布参数用于表示画面的分辨率分布情况，所述分辨率分布参数和所述注意力聚焦参数是用户注意力聚焦位置的函数，所述用户注意力聚焦位置包括画面水平角度和/或画面垂直角度；
合成模块，被配置为合成所述获取模块获取的所述注意力聚焦参数和所述分辨率分布参数，得到画面质量参数；
评估模块，被配置为根据所述合成模块得到的所述画面质量参数，评估用户当前观看的全景视频的画面质量。
在一种实施方式中，所述获取模块，在被配置为获取分辨率分布参数时，具体被配置为执行：根据获取的注意力聚焦参数，生成视频画面的各个用户注意力聚焦位置的分辨率估值，根据所述视频画面的各个用户注意力聚焦位置的分辨率估值生成所述分辨率分布参数。
在一种实施方式中，所述合成模块，被配置为对所述获取模块获取的所述注意力聚焦参数和所述分辨率分布参数进行积分运算，得到画面质量参数，具体包括：
对所述注意力聚焦参数和所述分辨率分布参数进行画面水平角度的积分，得到每一帧画面的画面质量参数Q，其中，F(x)为注意力聚焦参数，P(x)为分辨率分布参数，所述用户注意力聚焦位置包括画面水平角；
或，对所述注意力聚焦参数和所述分辨率分布参数进行画面水平角度和画面垂直角度的积分，得到每一帧画面的画面质量参数Q，其中，F(x，y)为注意力聚焦参数，P(x，y)为分辨率分布参数，所述用户注意力聚焦位置包括画面水平角度和画面垂直高度；
或，对所述注意力聚焦参数和所述分辨率分布参数进行画面水平角度、画面垂直角度和所述全景视频播放时间的积分，得到播放时间段全景视频的画面质量参数Q，其中，Ft(x，y)为在全景视频播放时间内的注意力聚焦参数，Pt(x，y)为在全景视频播放时间内的分辨率分布参数，Te为视频的播放结束时间，所述用户注意力聚焦位置包括画面水平角度和画面垂直高度。
本发明提供的全景视频动态切流后的画面质量评估方法及装置引入了注意力聚焦参数和分辨率分布参数来对全景视频的画面质量进行评估，通过合成所述注意力聚焦参数和所述分辨率分布参数来评估画面质量，本发明提供了画面质量评估标准供参考，保证了全景视频的画面质量和播放效果，其中，所述注意力聚焦参数可表示用户对画面的注意力水平，所述分辨率分布参数可表示画面的分辨率分布情况，该评估结果与用户的真实体验更接近，可以准确评估画面质量，评估效果好，有利于提高用户体验。
附图说明
图1为本发明的全景视频动态切流后的画面质量评估方法的一个方法流程图；
图2为本发明的全景视频动态切流后的画面质量评估装置的结构示意图；
图3为本发明的全景视频动态切流后的画面质量评估方法的另一个方法流程图；
图4是用户注意力聚焦位置在全景视频画面中的示意图；
图5是分辨率分布情况在全景视频画面中的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的全景视频动态切流后的画面质量评估方法及装置引入了注意力聚焦参数和分辨率分布参数来对全景视频的画面质量进行评估，通过合成所述注意力聚焦参数和所述分辨率分布参数来评估画面质量，本发明提供了画面质量评估标准供参考，保证了全景视频的画面质量和播放效果，其中，所述注意力聚焦参数可表示用户对画面的注意力水平，所述分辨率分布参数可表示画面的分辨率分布情况，该评估结果与用户的真实体验更接近，可以准确评估画面质量，评估效果好，有利于提高用户体验。
下面以具体实施例对本发明的提供的全景视频动态切流后的画面质量评估方法进行详细说明，其包括如下步骤：获取注意力聚焦参数，所述注意力聚焦参数用于表示用户对画面的注意力水平，所述注意力聚焦参数是用户注意力聚焦位置的函数；获取分辨率分布参数，所述分辨率分布参数用于表示画面的分辨率分布情况，所述分辨率分布参数是用户注意力聚焦位置的函数，其中，所述用户注意力聚焦位置包括画面水平角度和/或画面垂直角度；合成所述注意力聚焦参数和所述分辨率分布参数，得到画面质量参数；根据所述画面质量参数，评估画面质量。
请参阅图1，图1是本发明实施例提供的全景视频动态切流后的画面质量评估方法的一种实现流程图，可以包括：
步骤S101、获取注意力聚焦参数，所述注意力聚焦参数用于表示用户对画面的注意力水平，所述注意力聚焦参数是用户注意力聚焦位置的函数；
全景视频可为用户提供360度的视频观看角度，但用户在某个时刻下只能关注到画面中的某一个位置，以该位置为用户眼睛的注意力聚焦位置，该位置表示了用户眼睛的关注点在整个画面中垂直角度和水平角度，本发明将这两个参数分别描述为画面水平角度和画面垂直角度。也就是说，所述注意力聚焦参数可以是画面水平角度的函数、或画面垂直角度的函数、或者是画面水平角度和画面垂直角度的函数，注意力聚焦参数可用于表示用户对画面的注意力水平。
其中，本发明实施例的注意力聚焦参数可以是高斯函数等函数。注意力聚焦参数具体的表现形式可以是F(x)，其中，x表示画面水平角度或画面垂直角度，x的取值范围可以为0-360度(2π)；或者F(x，y)，其中x和y分别表示画面水平角度和画面垂直角度，x和y的取值范围可以为0-360度(2π)。需说明的是，因为用户在观看全景视频时，可以通过调整自身位置来实现水平方向和垂直方向360度的角度变换，所以画面水平角度和画面垂直角度的取值范围可以是0-360度，但在实际使用中，用户在垂直方向上可能仅对位于身体前方的画面感兴趣，因此画面垂直角度的取值范围也可以是0-180度(π)。
本发明实施例对用户眼睛视线触及的位置进行重点关注，更贴近用户的真实体验。
可以理解的是，不同用户的用户注意力聚焦位置可能略有差异，这就导致不同用户获取到的注意力聚焦参数可能会各不相同，为了解决这一问题，在一可选实施例中，获取注意力聚焦参数可以包括两种方式，其中一种是获取单个用户的用户注意力聚焦位置，根据函数关系得到所述注意力聚焦参数，这样可以获取用户的观看习惯，得到用户的个性化特征。第二种方式是获取多个用户的注意力聚焦位置，这样可以统计多个用户的数据，从而更好的显示该全景视频的个性化特征。
需说明的是，也可以采用其他方式来准确获取用户的注意力聚焦参数，比如采用大数据的采集方式，获取大量用户的注意力聚焦参数，得到一般用户的注意力聚焦参数，从而满足大部分用户的观影需求。还可以引入校正数值，用该校正数值对获取到的注意力聚焦参数进行校正，采用校正后的注意力聚焦参数来评估画面质量。
在一可选实施例中，为了减少计算量，全景视频的画面可以根据用户的注意力聚焦位置分割为多个区域，例如分割为多个圆形区域或其他形状，当用户注意力聚焦位置位于同一个圆形区域时，具有相同的注意力聚焦参数，比如捕捉用户眼睛视线，获取到用户注意力聚焦位置是画面水平角度60度，画面垂直角度150度，其注意力聚焦参数是60度与150度的函数。
步骤S102、获取分辨率分布参数，所述分辨率分布参数用于表示画面的分辨率分布情况，所述分辨率分布参数是用户注意力聚焦位置的函数；
分辨率分布参数可用于表示画面的分辨率分布情况，所述分辨率分布参数可以是画面水平角度的函数、或画面垂直角度的函数、或者是画面水平角度和画面垂直角度的函数。本发明实施例的分辨率分布参数可以是square-edged函数(平方边函数)等函数，其具体的表现形式可以是具体的表现形式可以是P(x)，其中，x表示画面水平角度或画面垂直角度，x的取值范围可以为0-360度；或者是P(x，y)，其中x和y分别表示画面水平角度和画面垂直角度，x和y的取值范围可以分别为0-360度和0-180度。其中，P(x)是根据用户当前的画面水平角度或画面垂直角度获取的分辨率分布参数，P(x，y)是根据当前的画面水平角度和画面垂直角度获取到的分辨率分布参数
在一可选实施例中，可以通过分辨率估值及注意力聚焦位置来获取分辨率分布参数，也就是说，获取分辨率分布参数的步骤具体可以包括：根据所述注意力聚焦参数，生成视频画面的各个用户注意力聚焦位置的分辨率估值，根据所述视频画面的各个用户注意力聚焦位置的分辨率估值生成所述分辨率分布参数。这里的视频画面可为360度的全景视频中的部分视频画面，如正前方120度的全景视频画面等。
其中，用户注意力聚焦位置的分辨率分布情况可能无法与注意力聚焦参数完全同步，从而导致下述步骤中得到的画面质量参数无法满足要求，本实施例可以通过调整分辨率估值来调整分辨率分布参数，从而实现了画面质量的调整。
在一可选实施例中，若步骤S101获取了多个用户的注意力聚焦位置，则在步骤S102中可以相应的根据多个注意力聚焦参数，生成对应的视频画面的各个用户注意力聚焦位置的分辨率估值，根据所述视频画面的各个用户注意力聚焦位置的分辨率估值生成对应的分辨率分布参数。
在一可选实施例中，为了减少计算量，全景视频的画面可分割为多个区域来设置不同的分辨率(分辨率是预先设置的)，例如以矩形区域或其他形状表示，同一矩形区域具有相同的分辨率，可以以高分辨率、中分辨率和低分辨率来划分，或者是具体的分辨率数值来表示。比如在画面水平角度是60度及画面垂直角度150度时对应的分辨率分布是高分辨率区，则取高分辨率区的分辨率分布情况得到分辨率分布参数P(x，y)。
现有技术中，由于不清楚哪些画面内容是用户具有较大兴趣的画面，更不知道如何对用户感兴趣的画面进行质量调整，本发明实施例引入注意力聚焦参数和分辨率分布参数，考虑了不同人群的个性化需求，以及画面的完整性。
其中，本实施例对步骤S101和步骤S102的时序不做限定，可以先执行步骤S101，也可以先执行步骤S102，或同时执行步骤S101和步骤S102。
步骤S103、合成所述注意力聚焦参数和所述分辨率分布参数，得到画面质量参数；
在一可选实施例中，合成所述注意力聚焦参数和所述分辨率分布参数的方式可以是对所述注意力聚焦参数和所述分辨率分布参数进行积分运算。可以理解的是，合成方式还可以通过其他数学运算法则，本发明实施例提供的积分运算是一种可选的实施方式。
本发明可以通过合成注意力聚焦参数和所述分辨率分布参数得到每一帧画面的画面质量参数，或整个全景视频的播放时间中的画面质量参数，其具体实现方式将在下述实施例中进行说明。
步骤S104、根据所述画面质量参数，评估画面质量。
将在上述步骤S103得到的画面质量参数其与预置的画面质量参数阈值进行比较，以此来评估画面质量。在一可选的实施例中，将所述画面质量参数与画面质量参数阈值进行比较，在所述画面质量参数不小于所述画面质量参数阈值时，评估得到画面质量符合质量要求，则可以直接输出该画面供观众观看；在所述画面质量参数小于所述画面质量参数阈值时，评估得到所述画面质量不符合质量要求，可以对该画面进行调整，例如，可以对分辨率估值进行调整，或者根据用户的注意力聚焦位置对画面进行切流操作，以使得画面质量符合质量要求。其中，当画面质量过高时，也可以适当的降低画面质量，以降低播放成本。
进一步地，在上述步骤S103中，合成所述注意力聚焦参数和所述分辨率分布参数的方式可以是进行积分运算，具体的运算法则可至少包括如下情况：
在一可选的实施例中，当用户对垂直方向的画面内容关注度差异不大时，所述用户注意力聚焦位置包括画面水平角度，可以只对所述注意力聚焦参数和所述分辨率分布参数进行画面水平角度的积分，得到每一帧画面的画面质量参数Q，其运算表达式可以是：其中，F(x)为注意力聚焦参数，P(x)为分辨率分布参数，画面水平角度的取值范围为0-2π；
在一可选的实施例中，当用户对垂直方向的画面内容和水平方向的画面内容均关注较多，也就是说画面的垂直内容和水平内容差异较大时，为了更好地保证画面质量评估的准确性，所述用户注意力聚焦位置包括画面水平角度和画面垂直角度，得到每一帧画面的画面质量参数Q，其运算表达式可以是：其中，F(x，y)为注意力聚焦参数，P(x，y)为分辨率分布参数，画面水平角度和画面垂直角度的取值范围分别是0-2π和0-π。
上述两种可选实施例中，主要是对全景视频中每一帧画面进行画面质量评估，若要对整个全景视频进行质量评估，则可以加入视频播放时间进行运算，得到播放时间段全景视频的画面质量参数，其运算表达式可以是： 其中，Ft(x，y)为在全景视频播放时间内注意力聚焦参数，Pt(x，y)为在全景视频播放时间内分辨率分布参数，Te为视频的播放时间，需说明的是，此处的Te可以是视频流的结束时间帧，画面水平角度和画面垂直角度的取值范围分别是0-2π和0-π。
上述是根据单个用户的数据来获取到的画面质量参数，本实施例可以根据单个用户的计算结果来评估画面质量，也可以根据多个用户的计算结果来评估画面质量。其中，若要通过多个用户的计算结果来评估画面质量，则在获取到多个用户的画面质量参数后，可以取平均值来得到平均画面质量参数，根据平均画面质量参数来评估画面质量，即评估当前画面切流方式生成的视频画面的画面质量的好坏。
本发明提供的全景视频动态切流后的画面质量评估方法引入了注意力聚焦参数和分辨率分布参数来对全景视频的画面质量进行评估，通过合成所述注意力聚焦参数和所述分辨率分布参数来评估画面质量，本发明提供了画面质量评估标准供参考，保证了全景视频的画面质量和播放效果，其中，所述注意力聚焦参数可表示用户对画面的注意力水平，所述分辨率分布参数可表示画面的分辨率分布情况，该评估结果与用户的真实体验更接近，可以准确评估画面质量，评估效果好，有利于提高用户体验。
此外，本发明实施例还提供了一种全景视频动态切流后的画面质量评估装置200，其主要包括获取模块201、合成模块201和评估模块203。
请参阅图2，图2是本发明实施例提供的全景视频动态切流后的画面质量评估装置200的结构示意图，该装置可以包括：
获取模块201，被配置为获取注意力聚焦参数和分辨率分布参数，所述注意力聚焦参数用于表示用户对画面的注意力水平，所述分辨率分布参数用于表示画面的分辨率分布情况，所述分辨率分布参数和所述注意力聚焦参数是用户注意力聚焦位置的函数；
合成模块202，被配置为合成获取模块201获取到的所述注意力聚焦参数和所述分辨率分布参数，得到画面质量参数；
评估模块203，被配置为根据所述合成模块202得到的画面质量参数，评估画面质量。
在一可选的实施例中，可以通过分辨率估值及注意力聚焦位置来获取分辨率分布参数。所述获取模块201，在被配置为获取分辨率分布参数时，具体被配置为执行：根据获取的注意力聚焦参数，生成视频画面的各个用户注意力聚焦位置的分辨率估值，根据所述视频画面的各个用户注意力聚焦位置的分辨率估值生成所述分辨率分布参数。
本实施例的注意力聚焦参数和分辨率分布参数具体的表现形式可以是F(x)和P(x)，其中，x表示画面水平角度或画面垂直角度，x的取值范围可以为0-360度(2π)；或者F(x，y)和P(x，y)，其中x和y分别表示画面水平角度和画面垂直角度，x和y的取值范围可以分别是0-360度(2π)和0-180度(π)。P(x)是根据用户当前的画面水平角度或画面垂直角度获取的分辨率分布参数，P(x，y)是根据当前的画面水平角度和画面垂直角度获取到的分辨率分布参数。
在一可选的实施例中，所述合成模块202，被配置为对所述注意力聚焦参数和所述分辨率分布参数进行积分运算，得到画面质量参数，具体包括；
当用户对垂直方向的画面内容关注度差异不大时，所述用户注意力聚焦位置包括画面水平角度，可以只对所述注意力聚焦参数和所述分辨率分布参数进行画面水平角度的积分，得到每一帧画面的画面质量参数Q，其运算表达式可以是：其中，F(x)为注意力聚焦参数，P(x)为分辨率分布参数。
当用户对垂直方向的画面内容和水平方向的画面内容均关注较多，也就是说画面的垂直内容和水平内容差异较大时，为了更好地保证画面质量评估的准确性，所述用户注意力聚焦位置包括画面水平角度和画面垂直角度，得到每一帧画面的画面质量参数Q，其运算表达式可以是其中，F(x，y)为注意力聚焦参数，P(x，y)为分辨率分布参数。
上述两种可选实施例中，主要是对全景视频中每一帧画面进行画面质量评估，若要对整个全景视频进行质量评估，则可以加入视频播放时间进行运算，得到播放时间段全景视频的画面质量参数，其运算表达式可以是： 其中，Ft(x，y)为在全景视频播放时间内注意力聚焦参数，Pt(x，y)为在全景视频播放时间内分辨率分布参数，Te为视频的播放时间，需说明的是，此处的Te可以是视频流的结束时间帧。
在一可选的实施例中，所述获取模块201，被配置为捕捉用户眼睛视线，获取所述用户注意力聚焦位置在画面中的位置，得到用户注意力聚焦参数。可选的，可以获取单个用户的注意力聚焦位置，或者是获取多个用户的注意力聚焦位置。其中，在获取了多个用户的注意力聚焦位置，则相应的可以获取到多个注意力聚焦参数和分辨率分布参数。
为了减少计算量，全景视频的画面可以根据用户的注意力聚焦位置分割为多个区域，例如分割为多个圆形区域或其他形状，当用户注意力聚焦位置位于同一个圆形区域时，具有相同的注意力聚焦参数。还可以将全景视频的画面分割为多个区域来设置不同的分辨率(分辨率是预先设置的)，例如以矩形区域或其他形状表示，同一矩形区域具有相同的分辨率，可以以高分辨率、中分辨率和低分辨率来划分，或者是具体的分辨率数值来表示。
进一步地，本实施例还包括调整模块，所述调整模块在评估到画面质量不符合质量要求，可以对该画面进行调整。例如，可以对分辨率估值进行调整，或者根据用户的注意力聚焦位置对画面进行切流操作，以使得画面质量符合质量要求。其中，当画面质量过高时，也可以适当的降低画面质量，以降低播放成本。
需说明的是，本发明的装置实施例的具体实施可参见上述方法实施例，本实施例中不做赘述。
为了更好地理解本发明提供的全景视频动态切流后的画面质量评估方法及装置，本实施例还提供了具体的应用例进行详细说明，请参阅图3～图5，图3是本发明的全景视频动态切流后的画面质量评估方法的另一个方法流程图，图4是用户注意力聚焦位置在全景视频画面中的示意图，图5是分辨率分布情况在全景视频画面中的示意图。本发明提供的画面质量评估方法，以用户注意力聚焦位置包括画面水平角度和画面垂直角度为例进行说明，该方法包括：
步骤S301、根据用户的注意力聚焦位置获取注意力聚焦参数F(x，y)；
全景视频的画面可以根据用户的注意力聚焦位置分割为多个圆形区域，图4示出了在一个画面帧中，用户某时刻的注意力聚焦位置可以是图中所示的圆形区域A、B、C、D或E(圆形区域的直径越大说明该区域观看的人越多，图4中未分割成圆形的区域是用户较不感兴趣区域)，比如捕捉用户眼睛视线，获取到用户注意力聚焦位置是画面水平角度60度，画面垂直角度150度，假设该注意力聚焦位置落入图4中的A区域，F(x，y)是60度与150度的函数。
步骤S302、根据所述注意力聚焦参数F(x，y)，生成视频画面的各个用户的注意力聚焦位置的分辨率估值；
步骤S303、根据所述视频画面的各个用户的注意力聚焦位置的分辨率估值生成分辨率分布参数P(x，y)；
全景视频的画面可分割为多个矩形区域来设置不同的分辨率(分辨率是预先设置的)。图5示出了在一个画面帧中，画面的分辨率分布情况可以是图中所示的矩形区域1～矩形区域10(图5中未分割成矩形的区域表示为分辨率较低区域)，比如在画面水平角度是60度及画面垂直角度150度时对应的分辨率分布是区域3(高分辨率)，则取区域3的分辨率分布情况得到分辨率分布参数P(x，y)。其中，P(x，y)是根据用户当前的注意力聚焦位置是画面水平角度60度及画面垂直角度150度时获取到的分辨率分布参数。分辨率估值的大小可以调整，以此来调整分辨率分布参数P(x，y)。
步骤S304、获取全景视频在播放时间段的画面质量参数Q，其中，
其中，公式中的2π表示画面水平角度的最大值，π表示画面垂直角度的最大值，Te表示视频播放的结束时间。
步骤S305、获取多个用户的画面质量参数Q，得到平均值QE；
画面质量参数Q是根据单个用户数据计算得到，由于每个用户的注意力聚焦参数会有所区别，因此根据每个用户的数据获取的视频画面质量会不同，通过上述步骤S301-S303可以获取到多个用户的画面质量参数，这里可以取多个用户的画面质量参数的平均值QE作为整个视频的画面质量，即 其中，N为用户的个数。并使用QE评估当前画面切流方式生成的视频画面的画面质量的好坏。
步骤S306，将平均值QE与预设质量参数Q0作比较，在QE小于Q0评估得到画面质量不符合要求。
Q0是预设质量参数，是画面质量的参考标准，若QE小于预设质量参数Q0，则说明当前画面不符合质量要求，质量过低，可以进行画面质量调节，反之则当前画面符合质量要求。若当前画面不符合质量要求时，可以通过对分辨率估值进行调整，或者根据用户的注意力聚焦位置对画面进行切流操作，以使得画面质量符合质量要求。其中，当画面质量过高时，也可以适当的降低画面质量，以降低播放成本。
这样即完成了本发明的全景视频动态切流后的画面质量评估方法的画面指令评估以及调整过程。
本发明提供的全景视频动态切流后的画面质量评估方法及装置引入了注意力聚焦参数和分辨率分布参数来对全景视频的画面质量进行评估，通过合成所述注意力聚焦参数和所述分辨率分布参数来评估画面质量，本发明提供了画面质量评估标准供参考，保证了全景视频的画面质量和播放效果，其中，所述注意力聚焦参数可表示用户对画面的注意力水平，所述分辨率分布参数可表示画面的分辨率分布情况，该评估结果与用户的真实体验更接近，可以准确评估画面质量，评估效果好，有利于提高用户体验。
如本申请所使用的术语“组件”、“模块”、“***”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。
本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。
而且，本文所使用的词语“优选的”意指用作实例、示例或例证。奉文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。
而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或***，可以执行相应方法实施例中的方法。
综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (10)

1.一种全景视频动态切流后的画面质量评估方法，其特征在于，包括：
获取注意力聚焦参数，所述注意力聚焦参数用于表示用户对画面的注意力水平，所述注意力聚焦参数是用户注意力聚焦位置的函数；
获取分辨率分布参数，所述分辨率分布参数用于表示画面的分辨率分布情况，所述分辨率分布参数是用户注意力聚焦位置的函数，其中，所述用户注意力聚焦位置包括画面水平角度和/或画面垂直角度；
合成所述注意力聚焦参数和所述分辨率分布参数，得到画面质量参数；
根据所述画面质量参数，评估用户当前观看的全景视频的画面质量。
2.根据权利要求1所述的方法，其特征在于，所述获取分辨率分布参数，具体包括：
根据所述注意力聚焦参数，生成视频画面的各个用户注意力聚焦位置的分辨率估值，根据所述视频画面的各个用户注意力聚焦位置的分辨率估值生成所述分辨率分布参数。
3.根据权利要求1或2所述的方法，其特征在于，所述合成所述注意力聚焦参数和所述分辨率分布参数，得到画面质量参数，具体包括：
对所述注意力聚焦参数和所述分辨率分布参数进行积分运算，得到画面质量参数。
4.根据权利要求3所述的方法，其特征在于，所述对所述注意力聚焦参数和所述分辨率分布参数进行积分运算，得到画面质量参数，具体包括：
对所述注意力聚焦参数和所述分辨率分布参数进行画面水平角度的积分，得到每一帧画面的画面质量参数Q，其中，F(x)为注意力聚焦参数，P(x)为分辨率分布参数，所述用户注意力聚焦位置包括画面水平角度；
或，对所述注意力聚焦参数和所述分辨率分布参数进行画面水平角度和画面垂直角度的积分，得到每一帧画面的画面质量参数Q，其中，F(x，y)为注意力聚焦参数，P(x，y)为分辨率分布参数，所述用户注意力聚焦位置包括画面水平角度和画面垂直高度。
5.根据权利要求3所述的方法，其特征在于，对所述注意力聚焦参数和所述分辨率分布参数进行积分运算，得到画面质量参数，具体包括：
对所述注意力聚焦参数和所述分辨率分布参数进行画面水平角度、画面垂直角度和所述全景视频播放时间的积分，得到播放时间段全景视频的画面质量参数Q，其中，Ft(x，y)为在全景视频播放时间内的注意力聚焦参数，Pt(x，y)为在全景视频播放时间内的分辨率分布参数，Te为视频的播放结束时间，所述用户注意力聚焦位置包括画面水平角度和画面垂直高度。
6.根据权利要求1或2所述的方法，其特征在于，所述获取注意力聚焦参数，具体包括：
捕捉用户眼睛视线，获取所述用户注意力聚焦位置在画面中的位置，得到用户注意力聚焦参数。
7.根据权利要求1或2所述的方法，其特征在于，所述获取注意力聚焦参数，具体包括：
获取单个用户的注意力聚焦位置，得到所述注意力聚焦参数；或，
获取多个用户的注意力聚焦位置，并根据多个用户的注意力聚焦位置得到所述注意力聚焦参数，相应的，所述获取分辨率分布参数，具体包括：根据多个注意力聚焦参数，生成对应的视频画面的各个用户注意力聚焦位置的分辨率估值，根据所述视频画面的各个用户注意力聚焦位置的分辨率估值生成对应的分辨率分布参数。
8.一种全景视频动态切流后的画面质量评估装置，其特征在于，包括：
获取模块，被配置为获取注意力聚焦参数和分辨率分布参数，所述注意力聚焦参数用于表示用户对画面的注意力水平，所述分辨率分布参数用于表示画面的分辨率分布情况，所述分辨率分布参数和所述注意力聚焦参数是用户注意力聚焦位置的函数，其中，所述用户注意力聚焦位置包括画面水平角度和/或画面垂直角度；
合成模块，被配置为合成所述获取模块获取的所述注意力聚焦参数和所述分辨率分布参数，得到画面质量参数；
评估模块，被配置为根据所述合成模块得到的所述画面质量参数，评估用户当前观看的全景视频的画面质量。
9.根据权利要求8所述的装置，其特征在于，
所述获取模块，在被配置为获取分辨率分布参数时，具体被配置为执行：根据获取的注意力聚焦参数，生成视频画面的各个用户注意力聚焦位置的分辨率估值，根据所述视频画面的各个用户注意力聚焦位置的分辨率估值生成所述分辨率分布参数。
10.根据权利要求8或9所述的装置，其特征在于，
所述合成模块，被配置为对所述获取模块获取的所述注意力聚焦参数和所述分辨率分布参数进行积分运算，得到画面质量参数，具体包括：
对所述注意力聚焦参数和所述分辨率分布参数进行画面水平角度的积分，得到每一帧画面的画面质量参数Q，其中，F(x)为注意力聚焦参数，P(x)为分辨率分布参数，所述用户注意力聚焦位置包括画面水平角；
或，对所述注意力聚焦参数和所述分辨率分布参数进行画面水平角度和画面垂直角度的积分，得到每一帧画面的画面质量参数Q，其中，F(x，y)为注意力聚焦参数，P(x，y)为分辨率分布参数，所述用户注意力聚焦位置包括画面水平角度和画面垂直高度；
或，对所述注意力聚焦参数和所述分辨率分布参数进行画面水平角度、画面垂直角度和所述全景视频播放时间的积分，得到播放时间段全景视频的画面质量参数Q，其中，Ft(x，y)为在全景视频播放时间内的注意力聚焦参数，Pt(x，y)为在全景视频播放时间内的分辨率分布参数，Te为视频的播放结束时间，所述用户注意力聚焦位置包括画面水平角度和画面垂直角度。
CN201810682272.2A 2018-06-27 2018-06-27 一种全景视频动态切流后的画面质量评估方法及装置 Active CN108833976B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810682272.2A CN108833976B (zh) 2018-06-27 2018-06-27 一种全景视频动态切流后的画面质量评估方法及装置
US17/264,302 US11438651B2 (en) 2018-06-27 2018-07-11 Method and device for picture quality assessment after dynamic panoramic video stream cropping
PCT/CN2018/095329 WO2020000522A1 (zh) 2018-06-27 2018-07-11 一种全景视频动态切流后的画面质量评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810682272.2A CN108833976B (zh) 2018-06-27 2018-06-27 一种全景视频动态切流后的画面质量评估方法及装置

Publications (2)

Publication Number Publication Date
CN108833976A true CN108833976A (zh) 2018-11-16
CN108833976B CN108833976B (zh) 2020-01-24

Family

ID=64139099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810682272.2A Active CN108833976B (zh) 2018-06-27 2018-06-27 一种全景视频动态切流后的画面质量评估方法及装置

Country Status (3)

Country Link
US (1) US11438651B2 (zh)
CN (1) CN108833976B (zh)
WO (1) WO2020000522A1 (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252687A (zh) * 2008-03-20 2008-08-27 上海交通大学 实现多通道联合的感兴趣区域视频编码及传输的方法
US20090041370A1 (en) * 2007-08-09 2009-02-12 Xerox Corporation Background noise detection on rendered documents
US20100010863A1 (en) * 2008-06-27 2010-01-14 Certusview Technologies, Llc Methods and apparatus for quality assessment of a field service operation based on multiple scoring categories
US20140072192A1 (en) * 2012-09-12 2014-03-13 Bruce Reiner Method and apparatus for image-centric standardized tool for quality assurance analysis in medical imaging
CN103813102A (zh) * 2014-03-08 2014-05-21 哈尔滨工业大学 一种用于细节成像的车载可变焦全景监控***
CN103810712A (zh) * 2014-03-05 2014-05-21 南方医科大学 一种能谱ct图像质量的评价方法
CN104376118A (zh) * 2014-12-03 2015-02-25 北京理工大学 基于全景图的精确标注兴趣点的户外移动增强现实方法
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
US20150189166A1 (en) * 2013-12-30 2015-07-02 Telefonica Digital España, S.L.U. Method, device and system for improving the quality of photographs
CN105897736A (zh) * 2016-05-17 2016-08-24 北京邮电大学 一种tcp视频流业务用户体验质量评估方法及装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008092104A2 (en) * 2007-01-25 2008-07-31 Skyfire Labs, Inc. Dynamic client-server video tiling streaming
WO2016037114A1 (en) 2014-09-05 2016-03-10 360Fly,Inc. Panoramic camera systems
US10582201B2 (en) * 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
US10277914B2 (en) * 2016-06-23 2019-04-30 Qualcomm Incorporated Measuring spherical image quality metrics based on user field of view
KR101713492B1 (ko) * 2016-06-27 2017-03-07 가천대학교 산학협력단 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치
US20180027241A1 (en) * 2016-07-20 2018-01-25 Mediatek Inc. Method and Apparatus for Multi-Level Region-of-Interest Video Coding
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
CN106341683A (zh) * 2016-08-24 2017-01-18 乐视控股（北京）有限公司 全景视频质量判断方法及***
CN107347153B (zh) * 2016-10-20 2019-02-26 中国科学技术大学 经纬图全景视频的质量评价方法
US11290699B2 (en) * 2016-12-19 2022-03-29 Dolby Laboratories Licensing Corporation View direction based multilevel low bandwidth techniques to support individual user experiences of omnidirectional video
US10121337B2 (en) * 2016-12-30 2018-11-06 Axis Ab Gaze controlled bit rate
CN108055533B (zh) * 2017-01-04 2020-03-27 北京航空航天大学 一种针对全景视频的主观质量评价方法
WO2018136301A1 (en) * 2017-01-20 2018-07-26 Pcms Holdings, Inc. Field-of-view prediction method based on contextual information for 360-degree vr video
CN107483920B (zh) 2017-08-11 2018-12-21 北京理工大学 一种基于多层级质量因子的全景视频评估方法及***
US9940518B1 (en) * 2017-09-11 2018-04-10 Tobii Ab Reliability of gaze tracking data for left and right eye
US10893261B2 (en) * 2017-12-06 2021-01-12 Dolby Laboratories Licensing Corporation Positional zero latency
US10805653B2 (en) * 2017-12-26 2020-10-13 Facebook, Inc. Accounting for locations of a gaze of a user within content to select content for presentation to the user
US10419738B1 (en) * 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10623736B2 (en) * 2018-06-14 2020-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Tile selection and bandwidth optimization for providing 360° immersive video
CN108810513B (zh) * 2018-06-27 2020-03-13 深圳看到科技有限公司 全景视频的画面质量显示方法及装置
US10939139B2 (en) * 2018-11-29 2021-03-02 Apple Inc. Adaptive coding and streaming of multi-directional video
US10970811B1 (en) * 2019-09-23 2021-04-06 Facebook Technologies, Llc Axis based compression for remote rendering
US20210132688A1 (en) * 2019-10-31 2021-05-06 Nvidia Corporation Gaze determination using one or more neural networks

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090041370A1 (en) * 2007-08-09 2009-02-12 Xerox Corporation Background noise detection on rendered documents
CN101252687A (zh) * 2008-03-20 2008-08-27 上海交通大学 实现多通道联合的感兴趣区域视频编码及传输的方法
US20100010863A1 (en) * 2008-06-27 2010-01-14 Certusview Technologies, Llc Methods and apparatus for quality assessment of a field service operation based on multiple scoring categories
US20140072192A1 (en) * 2012-09-12 2014-03-13 Bruce Reiner Method and apparatus for image-centric standardized tool for quality assurance analysis in medical imaging
US20150189166A1 (en) * 2013-12-30 2015-07-02 Telefonica Digital España, S.L.U. Method, device and system for improving the quality of photographs
CN103810712A (zh) * 2014-03-05 2014-05-21 南方医科大学 一种能谱ct图像质量的评价方法
CN103813102A (zh) * 2014-03-08 2014-05-21 哈尔滨工业大学 一种用于细节成像的车载可变焦全景监控***
CN104376118A (zh) * 2014-12-03 2015-02-25 北京理工大学 基于全景图的精确标注兴趣点的户外移动增强现实方法
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN105897736A (zh) * 2016-05-17 2016-08-24 北京邮电大学 一种tcp视频流业务用户体验质量评估方法及装置

Also Published As

Publication number Publication date
US11438651B2 (en) 2022-09-06
CN108833976B (zh) 2020-01-24
US20210297737A1 (en) 2021-09-23
WO2020000522A1 (zh) 2020-01-02

Similar Documents

Publication Publication Date Title
US10762653B2 (en) Generation apparatus of virtual viewpoint image, generation method, and storage medium
CN106162203B (zh) 全景视频播放方法、播放器与头戴式虚拟现实设备
CN105933726A (zh) 虚拟现实终端及其视频分辨率的适应方法及装置
CN106878786B (zh) Vr视频中弹幕的显示方法和装置
CN110740338B (zh) 一种弹幕处理的方法及装置、电子设备、存储介质
CN105894567B (zh) 放缩三维场景中的用户控制的虚拟对象的像素深度值
CN103260039A (zh) 图像处理设备、图像处理方法以及程序
CN105657500B (zh) 一种视频播放控制方法及装置
CN108063915B (zh) 一种图像采集方法及***
CN104811798B (zh) 一种调整视频播放速度的方法及装置
US20130155192A1 (en) Stereoscopic image shooting and display quality evaluation system and method applicable thereto
CN108810513B (zh) 全景视频的画面质量显示方法及装置
CN115668913A (zh) 现场演出的立体显示方法、装置、介质及***
CN106383577B (zh) 一种vr视频播放装置的场景控制实现方法及***
CN106657848A (zh) 一种投影方法及电子设备
CN112449115B (zh) 拍摄方法、装置和电子设备
CN102893614A (zh) 基于立体画面的自动聚焦点自动会聚的方法和设备
US8983125B2 (en) Three-dimensional image processing device and three dimensional image processing method
CN108833976A (zh) 一种全景视频动态切流后的画面质量评估方法及装置
CN105631883B (zh) 一种确定图像中的目标区域的方法和装置
CN111292234B (zh) 一种全景图像生成方法及装置
CN107968922A (zh) 一种全景视频录制为平面视频的方法、装置及便携式终端
CN110221695A (zh) 在虚拟现实设备中调整弹幕的显示属性的方法和装置
CN105898269A (zh) 一种视频播放方法及装置
CN111225265B (zh) 弹幕播放方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant