CN114897758A - 图像丢帧检测方法、装置、设备以及存储介质 - Google Patents

图像丢帧检测方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN114897758A
CN114897758A CN202110105457.9A CN202110105457A CN114897758A CN 114897758 A CN114897758 A CN 114897758A CN 202110105457 A CN202110105457 A CN 202110105457A CN 114897758 A CN114897758 A CN 114897758A
Authority
CN
China
Prior art keywords
image
data corresponding
coded data
color
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110105457.9A
Other languages
English (en)
Inventor
李�瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110105457.9A priority Critical patent/CN114897758A/zh
Priority to EP22745085.5A priority patent/EP4216157A4/en
Priority to PCT/CN2022/072465 priority patent/WO2022161209A1/zh
Priority to JP2023528036A priority patent/JP7510009B2/ja
Priority to KR1020237016699A priority patent/KR20230088478A/ko
Publication of CN114897758A publication Critical patent/CN114897758A/zh
Priority to US17/975,517 priority patent/US20230052448A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请实施例提供了一种图像丢帧检测方法、装置、设备以及存储介质。该方法包括：获取多个第一图像帧分别对应的第一编码数据，和来自于光敏传感器采集得到的至少一个第二图像帧分别对应的颜色信号，对至少一个第二图像帧分别对应的颜色信号进行转换，以得到至少一个第二图像帧分别对应的第二编码数据，并对多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据进行比较，以确定是否存在丢帧情况，其中，多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据均包括M个图像块分别对应的颜色编码数据，且每个图像块在图像帧中具有一种颜色。从而提高丢帧检测的准确度。

Description

图像丢帧检测方法、装置、设备以及存储介质
技术领域
本申请实施例涉及人工智能技术领域，并且更具体地，涉及图像丢帧检测方法、装置、设备以及存储介质。
背景技术
随着图像处理技术的不断发展，为了满足用户对终端设备显示的流畅程度的高要求，需要对终端设备显示的图像帧是否丢帧进行检测。
目前，常通过终端设备对待显示的多个图像帧进行渲染并显示，再确定终端设备所显示的至少一个图像帧相比于待显示的多个图像帧是否存在丢帧，现有技术中，待显示的多个图像帧中的每个图像帧一般设置为一个颜色，且多个图像帧依次按照不同的颜色进行轮训。
然而，当轮训的图像帧较少时，假设轮训的图像帧数量是n，那么在终端设备所显示的图像帧相比于待显示的多个图像帧丢失了n或者n的倍数帧后，这种情况下，对于终端设备而言，其当前实际接收到的图像帧和在不发生丢帧时，理论上当前接收到的图像帧相同，因此，终端设备无法检测出丢帧情况，从而造成丢帧检测准确度低的问题。
发明内容
本申请实施例提供了一种图像丢帧检测方法、装置、设备以及存储介质，从而提高丢帧检测准确度。
第一方面，提供了一种图像丢帧检测方法，包括：获取多个第一图像帧分别对应的第一编码数据；获取来自于光敏传感器采集得到的至少一个第二图像帧分别对应的颜色信号；至少一个第二图像帧是终端设备基于多个第一图像帧分别对应的编码数据进行图像渲染后得到的图像帧；对至少一个第二图像帧分别对应的颜色信号进行转换，以得到至少一个第二图像帧分别对应的第二编码数据；对多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据进行比较，以确定是否存在丢帧情况；其中，多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据均包括M个图像块分别对应的颜色编码数据，M为大于1的整数；每个图像块在图像帧中具有一种颜色。
第二方面，提供了一种图像丢帧检测方法，包括：获取来自于服务器的多个第一图像帧分别对应的第一编码数据；基于多个第一图像帧分别对应的第一编码数据，对多个第一图像帧进行图像渲染；显示渲染得到的至少一个第二图像帧，至少一个第二图像帧用于确定是否存在丢帧情况；其中，多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据均包括M个图像块分别对应的颜色编码数据，M为大于1的整数；每个图像块在图像帧中具有一种颜色。
第三方面，提供了一种渲染帧率的检测方法，包括：获取多个第一图像帧分别对应的第一编码数据；将多个第一图像帧分别对应的第一编码数据分别发送至终端设备和测试设备，多个第一图像帧分别对应的第一编码数据用于确定是否存在丢帧情况；其中，多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据均包括M个图像块分别对应的颜色编码数据，M为大于1的整数；每个图像块在图像帧中具有一种颜色。
第四方面，提供了一种测试设备，包括：第一获取单元、第二获取单元、转换单元和比较单元；其中，第一获取单元用于获取多个第一图像帧分别对应的第一编码数据；第二获取单元用于获取来自于光敏传感器采集得到的至少一个第二图像帧分别对应的颜色信号；至少一个第二图像帧是终端设备基于多个第一图像帧分别对应的编码数据进行图像渲染后得到的图像帧；转换单元用于对至少一个第二图像帧分别对应的颜色信号进行转换，以得到至少一个第二图像帧分别对应的第二编码数据；比较单元用于对多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据进行比较，以确定是否存在丢帧情况；多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据均包括M个图像块分别对应的颜色编码数据，M为大于1的整数；每个图像块在图像帧中具有一种颜色。
第五方面，提供了一种终端设备，包括：获取单元、渲染单元和显示单元；获取单元用于获取来自于服务器的多个第一图像帧分别对应的第一编码数据；渲染单元用于基于多个第一图像帧分别对应的第一编码数据，对多个第一图像帧进行图像渲染；显示单元用于显示渲染得到的至少一个第二图像帧，至少一个第二图像帧用于确定是否存在丢帧情况；其中，多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据均包括M个图像块分别对应的颜色编码数据，M为大于1的整数；每个图像块在图像帧中具有一种颜色。
第六方面，提供了一种服务器，包括：获取单元和发送单元；获取单元用于获取多个第一图像帧分别对应的第一编码数据；发送单元用于将多个第一图像帧分别对应的第一编码数据分别发送至终端设备和测试设备，多个第一图像帧分别对应的第一编码数据用于确定是否存在丢帧情况；其中，多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据均包括M个图像块分别对应的颜色编码数据，M为大于1的整数；每个图像块在图像帧中具有一种颜色。
第七方面，提供一种测试设备，包括：处理器和存储器，该存储器用于存储计算机程序，处理器用于调用并运行存储器中存储的计算机程序，执行如第一方面或其各实现方式中的方法。
第八方面，提供一种终端设备，包括：处理器和存储器，该存储器用于存储计算机程序，处理器用于调用并运行存储器中存储的计算机程序，执行如第二方面或其各实现方式中的方法。
第九方面，提供一种服务器，包括：处理器和存储器，该存储器用于存储计算机程序，处理器用于调用并运行存储器中存储的计算机程序，执行如第三方面或其各实现方式中的方法。
第十方面，提供一种计算机可读存储介质，用于存储计算机程序，计算机程序使得计算机执行如第一方面、第二方面、第三方面或其各实现方式中的方法。
第十一方面，提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行如第一方面、第二方面、第三方面或其各实现方式中的方法。
第十二方面，提供一种计算机程序，计算机程序使得计算机执行如第一方面、第二方面、第三方面或其各实现方式中的方法。
本申请实施例，通过比较来自于服务器的多个第一图像帧分别对应的第一编码数据和终端设备渲染后显示的至少一个第二图像帧分别对应的第二编码数据，确定是否存在丢帧情况，其中，多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据均包括M个图像块分别对应的颜色编码数据，M为大于1的整数，每个图像块在图像帧中具有一种颜色。由于每个图像帧被划分为多个图像块，因此，在检测图像丢帧过程中，不会因为轮训图像帧较少，导致丢帧检测准确度低的问题。
进一步地，在本申请中，光敏传感器可以采集上述至少一个图像帧的颜色信号，至少一个图像帧分别对应的编码数据是对对应的颜色信号转换得到的，相对于通过脚本分析方式判断是否存在丢帧情况，本申请技术方案过程较为简单，从而提高了丢帧检测效率。
附图说明
图1为本申请实施例提供的一种图像丢帧检测***的结构示意图；
图2为本申请实施例提供的一种图像丢帧检测***的结构示意图；
图3为本申请实施例提供的一种图像丢帧检测方法的流程示意图；
图4为本申请实施例提供的一种图像丢帧检测方法的交互流程示意图；
图5示出了根据本申请实施例的测试设备的示意性框图；
图6示出了根据本申请实施例的终端设备的示意性框图；
图7示出了根据本申请实施例的服务器的示意性框图；
图8为本申请实施例提供的一种测试设备示意性结构图；
图9为本申请实施例提供的一种终端设备示意性结构图；
图10为本申请实施例提供的一种服务器示意性结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。针对本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
云游戏(Cloud gaming)又可称为游戏点播(gaming on demand)，是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(thin client)能运行高品质游戏。在云游戏场景下，游戏并不在玩家游戏终端，而是在云端服务器中运行，并由云端服务器将游戏场景渲染为视频音频流，通过网络传输给玩家游戏终端。玩家游戏终端无需拥有强大的图形运算与数据处理能力，仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云端服务器的能力即可。
基于上述技术手段，常通过服务器将服务器端运行的游戏图像发送至终端设备进行显示，除此之外，服务器还可将其他图像发送至终端设备进行实时的显示，例如存储的视频图像、读取的网络节目视频图像、获取的直播视频图像等，在服务器实时将游戏图像、视频类图像等对应的多个图像帧传输给用户的终端设备进行显示的过程中，会受到网络抖动、终端设备编解码效率以及送显效率的影响导致存在丢帧情况，给用户带来是卡顿，不流畅观看体验，因此，需要有一套可量化的指标对丢帧情况进行统计。
目前，通过云端服务器向终端设备发送轮训的多个图像帧，轮训的多个图像帧包括多个不同颜色的图像帧，例如红蓝黄白黑5个颜色的图像帧进行轮训发送，以使终端设备对不同颜色的图像帧进行渲染并显示，进而将终端设备经过渲染的图像帧与服务器发送的图像帧进行比对，确定是否存在丢帧情况。然而，当轮训的图像帧较少时，容易为丢帧检测带来误差，例如，依照红蓝黄白黑5个颜色进行图像帧轮训时，终端设备对每个图像帧进行渲染并显示后，假设红色图像帧之后实际丢失了5帧，这时对于终端设备来讲，其接下来渲染得到的是下一轮中的蓝色图像帧，在这种情况下，无法检测出已经发生的丢帧的情况。
综上可知，现有的丢帧检测技术无法保证丢帧检测的准确度。为了解决这一技术问题，本申请将图像帧划分为多个图像块，每个图像块在一个图像帧中具有一种颜色，使得每个图像帧具有丰富的颜色，从而提高了丢帧检测的准确度。
图1为本申请实施例提供的一种图像丢帧检测***的结构示意图。如图1所示，该图像丢帧检测***100包括服务器110、终端设备120和测试设备130。服务器110分别和终端设备120以及测试设备130通过有线或者无线的方式连接，终端设备120与测试设备130通过有线或者无线的方式连接。示例性的，终端设备120上设置有光敏传感器121，光敏传感器121的数量可以是一至多个，光敏传感器121与测试设备130连接。
其中，服务器110可以是云端服务器，在不同的应用场景中，服务器110可用于实现不同的功能，例如云游戏场景中，服务器110可以是云游戏服务器。本实施例中，服务器110用于对待显示的多个图像帧进行划分图像块后的颜色进行编码，获取多个图像帧分别对应的编码数据，并将多个图像帧分别对应的编码数据依次发送至终端设备120和/或测试设备130。
示例性的，终端设备120可以是任一具有显示功能的终端设备，例如手机(MobilePhone)、平板电脑(Pad)、电脑、电视机(TV)、虚拟现实(Virtual Reality，VR)终端设备、增强现实(Augmented Reality，AR)终端设备、工业控制(industrial control)中的终端设备、无人驾驶(self driving)中的终端设备、远程医疗(remote medical)中的终端设备、智慧城市(smart city)中的终端设备或智慧家庭(smart home)中的终端设备等。本申请实施例中的终端设备还可以是可穿戴设备，可穿戴设备也可以称为穿戴式智能设备，是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。在一些实施例中，终端设备120还可以仅为一种显示设备，例如显示屏，显示屏可以是柔性显示屏，甚至，显示屏还可以设置成非矩形的不规则图形，也即异形屏，显示屏可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-EmittingDiode,OLED)等材质制备。终端设备120可以是固定的或者移动的。
终端设备120接收服务器110发送的待显示的多个图像帧的编码数据，并基于多个图像帧的编码数据进行图像渲染，再将渲染后的至少一个图像帧进行显示。
示例性的，设置于终端设备120上的光敏传感器121用于对终端设备120显示的图像帧上的图像块进行颜色信号的获取。示例性的，光敏传感器121与每个图像帧中的图像块一一对应，换句话说，每个光敏传感器121设置于一个图像块在终端设备的显示屏所显示的区域上。
图2为本申请实施例提供的一种图像丢帧检测***的结构示意图。如图2所示，终端设备120所显示的图像帧包括6个图像块，每个图像块在终端设备120的显示屏显示时所在的区域上分别设置有1个光敏传感器121，每个光敏传感器121与测试设备130通过有线或者无线的方式连接，每个光敏传感器121用于采集对应的图像块所显示的光信号，并将光信号转化成该图像块对应的颜色信号。
应理解，图2所示仅为一种示例，每个图像帧可以包括更多或者更少的图像块，并根据图像块的数量设置相应数量的光敏传感器，且每个图像块在每个图像帧中具有一种颜色，每个图像块对应的区域具有N种颜色。
结合图1所示，测试设备130接收终端设备120发送的经过渲染的至少一个图像帧分别对应的编码数据。示例性的，测试设备130接收光敏传感器121发送的至少一个图像帧分别对应的颜色信号，并将每个图像帧对应的颜色信号转换为对应的编码数据。
下面通过几个实施例对本申请进行具体说明。
图3为本申请实施例提供的一种图像丢帧检测方法的交互流程示意图。如图3所示，该方法包括：
S301：服务器获取多个第一图像帧分别对应的第一编码数据。
S302：服务器将多个第一图像帧分别对应的第一编码数据发送至终端设备。
S303：服务器将多个第一图像帧分别对应的第一编码数据发送至测试设备。
S304：终端设备基于多个第一图像帧分别对应的第一编码数据，对多个第一图像帧进行图像渲染。
S305：终端设备显示渲染得到的至少一个第二图像帧。
S306：光敏传感器采集至少一个第二图像帧分别对应的颜色信号。
S307：测试设备获取来自于光敏传感器采集得到的至少一个第二图像帧分别对应的颜色信号。
S308：测试设备对来自于光敏传感器采集得到的至少一个第二图像帧分别对应的颜色信号进行转换，以得到至少一个第二图像帧分别对应的编码数据。
S309：测试设备对来自于服务器的多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据进行比较，以确定是否存在丢帧情况。
多个第一图像帧分别对应的第一编码数据可以是服务器生成的，或者，多个第一图像帧分别对应的第一编码数据是该服务器从其他服务器接收的。
需要说明的是，现有技术中，在服务器向终端设备发送轮训的多个第一图像帧的颜色数量较少时，例如红蓝黄白黑5个颜色的第一图像帧进行轮训发送，终端设备对每个第一图像帧进行渲染并显示后，例如红色图像帧之后实际丢失了5帧，这时对于终端设备来讲，其显示的还是蓝色图像帧，那么测试设备无法检测出已经发生的丢帧的情况；在服务器向终端设备发送轮训的多个第一图像帧的颜色数量较多时，每个相邻的第一图像帧的颜色色差较小，即颜色信号的值近似，容易发生重叠，同样无法准确检测出丢帧。
基于上述原因，为了使检测的结果更加准确，减少检测误差，本申请实施例中，服务器可以将多个第一图像帧中的每个第一图像帧划分为M个图像块，相应的，每个第一图像帧对应的编码数据包括M个图像块分别对应的颜色编码数据，M为大于1的整数。应理解，每个图像块在一个第一图像帧中具有一种颜色，可选的，每个图像块对应的区域具有N种颜色选项，N为大于1的整数，因此，多个第一图像帧中可轮训M*N种颜色的图像帧，不需要设置过多的颜色数量，即可保证多个第一图像帧之间丰富的颜色变化，从而提高丢帧检测的准确度。
应理解，每个颜色选项对应一种颜色编码数据，且N种颜色选项对应的颜色编码数据均不相同，换句话说，颜色选项与颜色编码数据一一对应，示例性的，每个颜色选项对应的颜色编码数据的长度均相同，例如均占用1bit。
示例性的，结合图2所示，服务器将每个第一图像帧均划分为6个图像块，每个图像块的颜色为3种颜色选项中的一种，在当前图像帧中，不同图像块的颜色可以相同也可以不同。服务器为每个图像块设置对应的颜色编码数据，例如，白色对应的颜色编码数据为1，红色对应的颜色编码数据为2，黑色对应的颜色编码数据为3。示例性的，多个第一图像帧分别对应的编码数据可以为：第一图像帧111111、第二图像帧11112、第三图像帧111113、第四图像帧111121、第五图像帧111122、第六图像帧11123。
应理解的是，当每个图像帧被划分为M个图像块，每个图像块对应的区域具有N种颜色选项，这时存在M*N种颜色编码组合，那么第一图像帧划分的图像块越多，图像丢帧检测的结果就越准确，但是对应于图像块数量的光敏传感器的数量也越多，测试设备的采集、计算的复杂程度就越高，测试成本也越高，可按照实际的应用场景进行具体设置。
需要说明的是，任一第二图像帧为对一个第一图像帧渲染得到的，因此，每个第二图像帧均包括M个图像块，且每个图像块在第二图像帧中具有一种颜色，第二图像帧中每个图像块的颜色应与对应的第一图像帧中每个图像块的颜色相同。示例性的，第二图像帧中每个图像块对应的区域具有N种颜色选项。
示例性的，多个第一图像帧和至少一个第二图像帧中的任一图像帧包括3个或6个图像块。每个图像块对应的区域可以包括3种颜色选项，黑色、白色和灰色，而为了提高检测的准确性，可设置颜色信号差别较大的颜色，例如黑色、白色和红色，或者黑色、白色和蓝色，等等。
应理解，步骤S302和步骤S303可以同时执行也可以先后执行，本实施例对步骤S302与步骤S303的执行顺序不做要求。针对步骤S304和S305进行如下说明：
可选的，终端设备的渲染帧率可以为60帧每秒。
应理解，由于网络抖动，终端设备接收到多个第一图像帧相比于服务器发送的多个第一图像帧可能存在丢帧的情况，或者，由于受到渲染能力的影响，终端设备对接收到的每个图像帧进行渲染后得到的至少一个第二图像帧相比于服务器发送的多个第一图像帧或者相比于终端设备接收到的多个第一图像帧可能存在帧丢失情况。
可选的，终端设备根据接收到每个第一图像帧的顺序依次基于每个图像帧分别对应的第一编码数据对每个图像帧进行渲染。
可选的，在终端设备对多个第一图像帧进行图像渲染之前，对接收到的每个第一图像帧对应的编码数据进行解码操作，得到解码结果，根据解码结果对该图像帧进行渲染和显示。
针对步骤S306进行如下说明：
现有技术中，获取终端设备经过渲染的图像帧的信息，用以和服务器发送的图像帧进行比对确认是否存在丢帧时，常通过以下两种方案获取图像帧的信息：方案一、采用检测工具，如安卓(Android)***提供的日志抓取工具Systrace，进行***日志(Log)抓取，得到终端设备的Log，再通过脚本分析抓取到的Log，得到终端设备显示的图像帧的信息；方案二、通过终端设备的***的命令，如性能测试工具PerfDog，持续抓取终端设备显示的图像帧的信息。然而，方案一中的检测工具使用复杂，需要有对***非常了解的技术人员才能分析出结果，且分析过程耗时较长，不适合对大批量设备进行测试；方案二，由于考虑到安全问题，把终端设备的***的命令进行了裁剪，命令无法在终端设备上进行信息采集，导致无法对终端设备的丢帧情况进行检测。
总之，现有技术提供的丢帧检测方法存在丢帧检测效率低的问题。为了解决这一技术问题，本申请可以在终端设备上设置光敏传感器，通过光敏传感器可以采集终端设备显示的图像帧的颜色信号，测试设备可以对颜色信号进行转换，得到图像帧的编码数据，最终对得到的图像帧的编码数据和从服务器获取到的图像帧的编码数据进行比较，即可实现丢帧检测，且提高了丢帧检测的效率。
终端设备的M个图像块对应的区域可以分别设置一个光敏传感器。
示例性的，针对上述至少一个第二图像帧中的任一个第二图像帧，M个光敏传感器分别输出该第二图像帧中每个图像块对应区域的颜色信号，该颜色信号可以为至少一个第二颜色通道的亮度值，例如：该颜色信号为(255，255，255)。
针对步骤S308，应理解，为了便于对比终端设备渲染并显示的至少一个第二图像帧和服务器发送的多个第一图像帧是否对应，需将至少一个第二图像帧对应的颜色信号转换为至少一个第二图像帧分别对应的第二编码数据，以便于通过对比至少一个第二图像帧分别对应的第二编码数据和服务器发送到多个第一图像帧分别对应的第一编码数据，进行丢帧检测。
示例性的，颜色信号用于表征每个图像块的颜色，例如灰度图像的颜色通道的亮度值为0时为黑色，亮度值为255时为白色，亮度值为100～150时为灰色。再例如RGB的三个颜色通道的亮度值(0,0,0)为黑色，RGB的三个颜色通道的亮度值(255,0,0)为红色，RGB的三个颜色通道的亮度值(255,255,255)为白色，等等。
进而，基于颜色信号可确定每个图像块的颜色编码数据，示例性的，可根据颜色信号和颜色编码数据的对应关系，确定与颜色信号对应的颜色编码数据。
例如，第二图像帧为灰度图像时，亮度值为255时，确定对应的颜色编码数据为1，亮度值为100～150之间时，确定对应的颜色编码数据为2，亮度值为0，确定对应的颜色编码数据为3。进而，得到至少一个第二图像帧分别对应的第二编码数据。
示例性的，假设多个第一图像帧和至少一个第二图像帧中均包括6个图像块，每个图像块对应的区域具有3个颜色选项，至少一个第二图像帧分别对应的第二编码数据通过采集的颜色信号转换后依次为111111、11112、111123。
示例性的，本实施例在基于颜色信号确定对应的颜色编码数据的过程中，可基于预设的误差值将对应的颜色信号划分至对应的颜色，例如，将亮度值为与0相差正负10以内的颜色信号确定为白色，则对应的颜色编码数据为白色对应的编码数据1，10为预设的误差值，当颜色通道的数量大于等于2时。每个颜色通道应设置有对应的误差值。
针对步骤S308进行如下说明：
示例性的，假设基于光敏传感器采集的颜色信号确定的至少一个第二图像帧分别对应的第二编码数据依次为111111、11112、111123，则与前述实施例中多个第一图像帧分别对应的第一编码数据：第一图像帧111111、第二图像帧11112、第三图像帧111113、第四图像帧111121、第五图像帧111122、第六图像帧11123比较可知，至少一个第二图像帧分别对应的第二编码数据与服务器发送到多个第一图像帧中第一图像帧、第二图像帧和第六图像帧分别对应的第一编码数据相同，即丢失了第三图像帧至第五图像帧，共3帧图像，则确定终端设备显示的至少一个第二图像帧存在丢帧情况。
本申请实施例中，通过比较来自于服务器的多个第一图像帧分别对应的第一编码数据和终端设备渲染后显示的至少一个第二图像帧分别对应的第二编码数据，确定是否存在丢帧情况，其中，多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据均包括M个图像块分别对应的颜色编码数据，M为大于1的整数，每个图像块在图像帧中具有一种颜色。由于每个图像帧被划分为多个图像块，因此，在检测图像丢帧过程中，不会因为轮训图像帧较少，导致丢帧检测准确度低的问题。
进一步地，在本申请中，光敏传感器可以采集上述至少一个图像帧的颜色信号，至少一个图像帧分别对应的编码数据是对对应的颜色信号转换得到的，相对于通过脚本分析方式判断是否存在丢帧情况，本申请技术方案过程较为简单，从而提高了丢帧检测效率。
需要说明的是，在图像帧传输的过程中，受到网络质量的影响，或者在终端设备进行图像渲染的过程中，受到渲染能力的影响，容易发生丢帧，若丢帧的数量较少，对于用户观看体验的影响较小，若丢帧的数量较多则能够明显感受到卡顿、不流畅，对用户的观看体验影响较大。
为了避免使用户在观看时感受到卡顿或者不流畅，本实施例对丢帧情况进行进一步的分析判断，基于图像丢帧率和预设帧率确定是否满足帧率的要求。
图4为本申请实施例提供的一种图像丢帧检测方法的流程示意图。
在上述实施例的基础上，本申请实施例在确定存在丢帧情况后，再根据来自于服务器的多个图像帧分别对应的编码数据和至少一个图像帧分别对应的编码数据，判断是否满足帧率要求，具体包括如图4所示的过程：
S401：测试设备根据来自于服务器的多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据，确定图像丢帧率。
S402：若图像丢帧率大于预设帧率，则测试设备确定不满足帧率要求。
S403：若图像丢帧率小于或等于预设帧率，则测试设备确定满足帧率要求。
针对步骤S401，测试设备可通过对比来自于服务器的多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据，确定至少一个第二图像帧相比于服务器发送的多个第一图像帧缺少的图像帧的数量，将缺少的图像帧的数量与服务器发送的多个第一图像帧的数量的比值作为图像丢帧率。
应理解，可根据实际的应用场景和检测要求设置不同的预设帧率，可选的，预设帧率为10％。
在上述任一实施例的基础上，本申请实施例在确定存在丢帧情况时，生成用于指示至少一个第二图像帧存在丢帧情况的第一指示信息。
可选的，本申请实施例在确定不满足帧率要求时，生成用于指示不满足帧率要求的第二指示信息。
可选的，测试设备可将该第一指示信息发送至任一具有显示功能的设备，以向用户显示该第一指示信息，或者测试设备可以直接显示该第一指示信息。
可选的，测试设备可将该第二指示信息发送至任一具有显示功能的设备，以向用户显示该第二指示信息，或者测试设备可以直接显示该第二指示信息。
本申请实施例中，测试设备根据来自于服务器的多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据，确定图像丢帧率，在图像丢帧率大于预设帧率时，确定不满足帧率要求，在图像丢帧率小于或等于预设帧率时，确定满足帧率要求，对是否满足帧率要求进行识别，能够有效识别显示的帧率对用户观看体验的影响。
上文结合图3和图4，详细描述了本申请的方法实施例，下文结合图5至图7，详细描述本申请的设备实施例，应理解，设备实施例与方法实施例相互对应，类似的描述可以参照方法实施例。
图5示出了根据本申请实施例的测试设备的示意性框图。如图5所示，该测试设备包括：
第一获取单元510，用于获取多个第一图像帧分别对应的第一编码数据。
第二获取单元520，用于获取来自于光敏传感器采集得到的至少一个第二图像帧分别对应的颜色信号；至少一个第二图像帧是终端设备基于多个第一图像帧分别对应的编码数据进行图像渲染后得到的图像帧。
转换单元530，用于对至少一个第二图像帧分别对应的颜色信号进行转换，以得到至少一个第二图像帧分别对应的第二编码数据。
比较单元540，用于对多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据进行比较，以确定是否存在丢帧情况。
其中，多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据均包括M个图像块分别对应的颜色编码数据，M为大于1的整数；图像块在图像帧中具有一种颜色。
可选的，图像块对应的区域具有N种颜色选项，N为大于1的整数。
可选的，N种颜色选项分别对应一种颜色编码数据，且N种颜色选项对应的颜色编码数据均不相同。
可选的，N种颜色选项对应的颜色编码数据的长度均相同。
可选的，测试设备还包括：判断单元550，用于在比较单元540确定存在丢帧情况时，根据多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据判断是否满足帧率要求。
可选的，判断单元550具体用于：根据多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据，确定图像丢帧率。若图像丢帧率大于预设帧率，则确定不满足帧率要求。若图像丢帧率小于或等于预设帧率，则确定满足帧率要求。
可选的，颜色信号包括至少一个颜色通道的亮度值。
上述实施例提供的测试设备，可以执行上述方法实施例测试设备侧的技术方案，其实现原理和技术效果类似，此处不再赘述。
图6示出了根据本申请实施例的终端设备600的示意性框图。如图6所示，该终端设备600包括：
获取单元610，用于获取来自于服务器的多个第一图像帧分别对应的第一编码数据。
渲染单元620，用于基于多个第一图像帧分别对应的第一编码数据，对多个第一图像帧进行图像渲染。
显示单元630，用于显示渲染得到的至少一个第二图像帧，至少一个第二图像帧用于确定是否存在丢帧情况。
其中，多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据均包括M个图像块分别对应的颜色编码数据，M为大于1的整数；图像块在图像帧中具有一种颜色。
可选的，图像块对应的区域具有N种颜色选项，N为大于1的整数。
可选的，N种颜色选项分别对应一种颜色编码数据，且N种颜色选项对应的颜色编码数据均不相同。
可选的，N种颜色选项对应的颜色编码数据的长度均相同。
可选的，至少一个第二图像帧中的每个图像块对应的区域上设置有光敏传感器。
上述实施例提供的终端设备，可以执行上述方法实施例终端设备侧的技术方案，其实现原理和技术效果类似，此处不再赘述。
图7示出了根据本申请实施例的服务器700的示意性框图。如图7所示，该服务器700包括：
获取单元710，用于获取多个第一图像帧分别对应的第一编码数据；
发送单元720，用于将多个第一图像帧分别对应的第一编码数据分别发送至终端设备和测试设备，多个第一图像帧分别对应的第一编码数据用于确定是否存在丢帧情况；
其中，多个第一图像帧分别对应的第一编码数据和至少一个第二图像帧分别对应的第二编码数据均包括M个图像块分别对应的颜色编码数据，M为大于1的整数；图像块在图像帧中具有一种颜色。
可选的，图像块对应的区域具有N种颜色选项，N为大于1的整数。
可选的，N种颜色选项分别对应一种颜色编码数据，且N种颜色选项对应的颜色编码数据均不相同。
可选的，N种颜色选项对应的颜色编码数据的长度均相同。
可选的，获取单元710具体用于：针对多个第一图像帧中的每个第一图像帧，将第一图像帧划分为M个图像块；对M个图像块的颜色进行编码，得到M个图像块分别对应的颜色编码数据；将M个图像块分别对应的颜色编码数据组合，得到第一图像帧对应的编码数据。
上述实施例提供的服务器，可以执行上述方法实施例服务器侧的技术方案，其实现原理和技术效果类似，此处不再赘述。
图8为本申请实施例提供的一种测试设备800示意性结构图。如图8所示的测试设备包括处理器810，处理器810可以从存储器中调用并运行计算机程序，以实现本申请实施例中的方法。
可选地，如图8所示，测试设备800还可以包括存储器820。其中，处理器810可以从存储器820中调用并运行计算机程序，以实现本申请实施例中的方法。
其中，存储器820可以是独立于处理器810的一个单独的器件，也可以集成在处理器810中。
可选地，如图8所示，测试设备800还可以包括收发器830，处理器810可以控制该收发器830与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。
其中，收发器830可以包括发射机和接收机。收发器830还可以进一步包括天线，天线的数量可以为一个或多个。
可选地，该测试设备800可以实现本申请实施例的各个方法中测试设备对应的相应流程，为了简洁，在此不再赘述。
图9为本申请实施例提供的一种终端设备900示意性结构图。如图9所示的测试设备包括处理器910，处理器910可以从存储器中调用并运行计算机程序，以实现本申请实施例中的方法。
可选地，如图9所示，终端设备900还可以包括存储器920。其中，处理器910可以从存储器920中调用并运行计算机程序，以实现本申请实施例中的方法。
其中，存储器920可以是独立于处理器910的一个单独的器件，也可以集成在处理器910中。
可选地，如图9所示，终端设备900还可以包括收发器930，处理器910可以控制该收发器930与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。
其中，收发器930可以包括发射机和接收机。收发器930还可以进一步包括天线，天线的数量可以为一个或多个。
可选地，该终端设备900可以实现本申请实施例的各个方法中终端设备对应的相应流程，为了简洁，在此不再赘述。
图10为本申请实施例提供的一种服务器1000示意性结构图。如图10所示的测试设备包括处理器1010，处理器1010可以从存储器中调用并运行计算机程序，以实现本申请实施例中的方法。
可选地，如图10所示，服务器1000还可以包括存储器1020。其中，处理器1010可以从存储器1020中调用并运行计算机程序，以实现本申请实施例中的方法。
其中，存储器1020可以是独立于处理器1010的一个单独的器件，也可以集成在处理器1010中。
可选地，如图10所示，服务器1000还可以包括收发器1030，处理器1010可以控制该收发器1030与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。
其中，收发器1030可以包括发射机和接收机。收发器1030还可以进一步包括天线，天线的数量可以为一个或多个。
可选地，该服务器1000可以实现本申请实施例的各个方法中服务器对应的相应流程，为了简洁，在此不再赘述。
应理解，本申请实施例的处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可以理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DR RAM)。应注意，本文描述的***和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
应理解，上述存储器为示例性但不是限制性说明，例如，本申请实施例中的存储器还可以是静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)以及直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)等等。也就是说，本申请实施例中的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例还提供了一种计算机可读存储介质，用于存储计算机程序。
可选的，该计算机可读存储介质可应用于本申请实施例中的电子设备，并且该计算机程序使得计算机执行本申请实施例的各个方法中由的相应流程，为了简洁，在此不再赘述。
本申请实施例还提供了一种计算机程序产品，包括计算机程序指令。
可选的，该计算机程序产品可应用于本申请实施例中的电子设备，并且该计算机程序指令使得计算机执行本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。
本申请实施例还提供了一种计算机程序。
可选的，该计算机程序可应用于本申请实施例中的测试设备、终端设备或服务器，当该计算机程序在计算机上运行时，使得计算机执行本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。针对这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (18)

1.一种图像丢帧检测方法，其特征在于，包括：
获取多个第一图像帧分别对应的第一编码数据；
获取来自于光敏传感器采集得到的至少一个第二图像帧分别对应的颜色信号；所述至少一个第二图像帧是终端设备基于所述多个第一图像帧分别对应的编码数据进行图像渲染后得到的图像帧；
对所述至少一个第二图像帧分别对应的颜色信号进行转换，以得到所述至少一个第二图像帧分别对应的第二编码数据；
对所述多个第一图像帧分别对应的多个第一编码数据和所述至少一个第二图像帧分别对应的第二编码数据进行比较，以确定是否存在丢帧情况；
其中，所述多个第一图像帧分别对应的第一编码数据和所述至少一个第二图像帧分别对应的第二编码数据均包括M个图像块分别对应的颜色编码数据，M为大于1的整数；每个所述图像块在所述图像帧中具有一种颜色。
2.根据权利要求1所述的方法，其特征在于，所述图像块对应的区域具有N种颜色选项，N为大于1的整数。
3.根据权利要求2所述的方法，其特征在于，所述N种颜色选项分别对应一种颜色编码数据，且所述N种颜色选项对应的颜色编码数据均不相同。
4.根据权利要求2所述的方法，其特征在于，所述N种颜色选项对应的颜色编码数据的长度均相同。
5.根据权利要求1至4任一项所述的方法，其特征在于，还包括：
若确定存在丢帧情况，则根据所述多个第一图像帧分别对应的第一编码数据和所述至少一个第二图像帧分别对应的第二编码数据判断是否满足帧率要求。
6.根据权利要求5所述的方法，其特征在于，所述根据所述多个第一图像帧分别对应的第一编码数据和所述至少一个第二图像帧分别对应的第二编码数据判断是否满足帧率要求，包括：
根据所述多个第一图像帧分别对应的第一编码数据和所述至少一个第二图像帧分别对应的第二编码数据，确定图像丢帧率；
若所述图像丢帧率大于预设帧率，则确定不满足帧率要求；
若所述图像丢帧率小于或等于所述预设帧率，则确定满足帧率要求。
7.根据权利要求1至4任一项所述的方法，其特征在于，所述颜色信号包括至少一个颜色通道的亮度值。
8.一种图像丢帧检测方法，其特征在于，包括：
获取来自于服务器的多个第一图像帧分别对应的第一编码数据；
基于所述多个第一图像帧分别对应的第一编码数据，对所述多个第一图像帧进行图像渲染；
显示渲染得到的至少一个第二图像帧，所述至少一个第二图像帧用于确定是否存在丢帧情况；
其中，所述多个第一图像帧分别对应的第一编码数据和所述至少一个第二图像帧分别对应的第二编码数据均包括M个图像块分别对应的颜色编码数据，M为大于1的整数；每个所述图像块在所述图像帧中具有一种颜色。
9.根据权利要求8所述的方法，其特征在于，所述图像块对应的区域具有N种颜色选项，N为大于1的整数；
所述N种颜色选项分别对应一种颜色编码数据，且所述N种颜色选项对应的颜色编码数据均不相同；
所述N种颜色选项对应的颜色编码数据的长度均相同。
10.根据权利要求8至9任一项所述的方法，其特征在于，所述至少一个第二图像帧中的每个图像块对应的区域上设置有光敏传感器。
11.一种渲染帧率的检测方法，其特征在于，包括：
获取多个第一图像帧分别对应的第一编码数据；
将所述多个第一图像帧分别对应的第一编码数据分别发送至终端设备和测试设备，所述多个第一图像帧分别对应的第一编码数据用于确定是否存在丢帧情况；
其中，所述多个第一图像帧分别对应的第一编码数据包括M个图像块分别对应的颜色编码数据，M为大于1的整数；每个所述图像块在所述图像帧中具有一种颜色。
12.根据权利要求11所述的方法，其特征在于，所述图像块对应的区域具有N种颜色选项，N为大于1的整数；
所述N种颜色选项分别对应一种颜色编码数据，且所述N种颜色选项对应的颜色编码数据均不相同；
所述N种颜色选项对应的颜色编码数据的长度均相同。
13.根据权利要求11或12所述的方法，其特征在于，所述获取多个第一图像帧分别对应的第一编码数据，包括：
针对所述多个第一图像帧中的每个第一图像帧，将所述第一图像帧划分为M个图像块；
对所述M个图像块的颜色进行编码，得到所述M个图像块分别对应的颜色编码数据；
将所述M个图像块分别对应的颜色编码数据组合，得到所述第一图像帧对应的编码数据。
14.一种测试设备，其特征在于，包括：
第一获取单元，用于获取多个第一图像帧分别对应的第一编码数据；
第二获取单元，用于获取来自于光敏传感器采集得到的至少一个第二图像帧分别对应的颜色信号；所述至少一个第二图像帧是终端设备基于所述多个第一图像帧分别对应的编码数据进行图像渲染后得到的图像帧；
转换单元，用于对所述至少一个第二图像帧分别对应的颜色信号进行转换，以得到所述至少一个第二图像帧分别对应的第二编码数据；
比较单元，用于对所述多个第一图像帧分别对应的第一编码数据和所述至少一个第二图像帧分别对应的第二编码数据进行比较，以确定是否存在丢帧情况；
其中，所述多个第一图像帧分别对应的第一编码数据和所述至少一个第二图像帧分别对应的第二编码数据均包括M个图像块分别对应的颜色编码数据，M为大于1的整数；每个所述图像块在所述图像帧中具有一种颜色。
15.一种终端设备，其特征在于，包括：
获取单元，用于获取来自于服务器的多个第一图像帧分别对应的第一编码数据；
渲染单元，用于基于所述多个第一图像帧分别对应的第一编码数据，对所述多个第一图像帧进行图像渲染；
显示单元，用于显示渲染得到的至少一个第二图像帧，所述至少一个第二图像帧用于确定是否存在丢帧情况；
其中，所述多个第一图像帧分别对应的第一编码数据和所述至少一个第二图像帧分别对应的第二编码数据均包括M个图像块分别对应的颜色编码数据，M为大于1的整数；每个所述图像块在所述图像帧中具有一种颜色。
16.一种服务器，其特征在于，包括：
获取单元，用于获取多个第一图像帧分别对应的第一编码数据；
发送单元，用于将所述多个第一图像帧分别对应的第一编码数据分别发送至终端设备和测试设备，所述多个第一图像帧分别对应的第一编码数据用于确定是否存在丢帧情况；
其中，所述多个第一图像帧分别对应的第一编码数据包括M个图像块分别对应的颜色编码数据，M为大于1的整数；每个所述图像块在所述图像帧中具有一种颜色。
17.一种计算机设备，其特征在于，包括：处理器和存储器，该存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，执行如权利要求1至13中任一项所述的方法。
18.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至13中任一项所述的方法。
CN202110105457.9A 2021-01-26 2021-01-26 图像丢帧检测方法、装置、设备以及存储介质 Pending CN114897758A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202110105457.9A CN114897758A (zh) 2021-01-26 2021-01-26 图像丢帧检测方法、装置、设备以及存储介质
EP22745085.5A EP4216157A4 (en) 2021-01-26 2022-01-18 METHOD FOR DETECTING IMAGE FRAME LOSS, DEVICE, STORAGE MEDIUM AND COMPUTER PROGRAM PRODUCT
PCT/CN2022/072465 WO2022161209A1 (zh) 2021-01-26 2022-01-18 图像丢帧检测方法、设备、存储介质及计算机程序产品
JP2023528036A JP7510009B2 (ja) 2021-01-26 2022-01-18 画像フレーム損失検出方法、テスト機器、端末機器、サーバ、コンピュータ機器、及びコンピュータプログラム
KR1020237016699A KR20230088478A (ko) 2021-01-26 2022-01-18 이미지 프레임 손실 검출 방법, 디바이스, 저장 매체, 및 컴퓨터 프로그램 제품
US17/975,517 US20230052448A1 (en) 2021-01-26 2022-10-27 Method, device, storage medium, and computer program product for detecting image frame loss

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110105457.9A CN114897758A (zh) 2021-01-26 2021-01-26 图像丢帧检测方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN114897758A true CN114897758A (zh) 2022-08-12

Family

ID=82654155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110105457.9A Pending CN114897758A (zh) 2021-01-26 2021-01-26 图像丢帧检测方法、装置、设备以及存储介质

Country Status (6)

Country Link
US (1) US20230052448A1 (zh)
EP (1) EP4216157A4 (zh)
JP (1) JP7510009B2 (zh)
KR (1) KR20230088478A (zh)
CN (1) CN114897758A (zh)
WO (1) WO2022161209A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0921402D0 (en) 2009-12-07 2010-01-20 Regenersis Plc A testing apparatus and method
CN102065318B (zh) * 2010-12-31 2012-10-03 北京中科大洋科技发展股份有限公司 一种检测数字视频***丢帧裂像的***和方法
FI125675B (en) * 2013-05-03 2016-01-15 Optofidelity Oy Procedure, device and computer program product for testing video playback quality
US9591300B2 (en) 2014-12-04 2017-03-07 Spirent Communications, Inc. Video streaming and video telephony downlink performance analysis system
CN108696761B (zh) * 2017-04-08 2022-03-04 腾讯科技（深圳）有限公司 一种图片文件处理方法及其设备、***
US10306270B2 (en) 2017-06-26 2019-05-28 Netflix, Inc. Techniques for detecting media playback errors
CN110602481B (zh) * 2018-06-12 2021-11-16 浙江宇视科技有限公司 一种视频监控***中视频质量检测方法及装置
CN109510990B (zh) * 2018-10-25 2022-03-29 深圳市腾讯信息技术有限公司 图像处理方法及装置、计算机可读存储介质、电子设备
CN111050023A (zh) * 2019-12-17 2020-04-21 深圳追一科技有限公司 视频检测方法、装置、终端设备及存储介质
CN111866433B (zh) * 2020-07-31 2021-06-29 腾讯科技（深圳）有限公司 视频源切换方法、播放方法、装置、设备和存储介质

Also Published As

Publication number Publication date
KR20230088478A (ko) 2023-06-19
EP4216157A1 (en) 2023-07-26
US20230052448A1 (en) 2023-02-16
WO2022161209A1 (zh) 2022-08-04
JP7510009B2 (ja) 2024-07-02
JP2023549769A (ja) 2023-11-29
EP4216157A4 (en) 2024-04-10

Similar Documents

Publication Publication Date Title
US11973979B2 (en) Image compression for digital reality
US9268985B2 (en) Invisible optical label for transmitting information between computing devices
CN107736019B (zh) 车载安防监控方法、***及终端设备
CN112257526B (zh) 一种基于特征交互学习的动作识别方法及终端设备
EP2642760A1 (en) Three-dimensional image processing apparatus and method for adjusting location of sweet spot for displaying multi-view image
CN112967193B (zh) 图像校准方法及装置、计算机可读介质和电子设备
CN112598938A (zh) 基于增强现实的认知功能训练***、方法、装置、设备及存储介质
CN114926754A (zh) 图像检测方法、存储介质及处理器
CN107396082A (zh) 一种图像数据的处理方法和装置
CN110418150B (zh) 一种信息提示方法、设备、***及计算机可读存储介质
CN114897758A (zh) 图像丢帧检测方法、装置、设备以及存储介质
US10969865B2 (en) Method for transmission of eye tracking information, head mounted display and computer device
CN110865911B (zh) 图像测试方法、装置、存储介质、图像采集卡及上位机
CN115834952A (zh) 基于视觉感知的视频帧率检测方法及装置
CN107305692B (zh) 一种确定待测对象的运动信息的方法及装置
CN111476117A (zh) 一种安全帽佩戴检测方法、装置和终端
KR20100119420A (ko) 눈동자 서술자를 이용한 눈 위치 검출 장치 및 그 방법
CN117319815B (zh) 基于图像传感器的视频流识别方法和装置、设备、介质
TWI847965B (zh) 用於數位實境之影像壓縮
TWI840012B (zh) 擴增實境作業程序判斷系統、擴增實境作業程序判斷方法及擴增實境作業程序判斷裝置
US11323682B2 (en) Electronic device, content processing device, content processing system, image data output method, and image processing method
CN110545403B (zh) 一种手术室可视化数据传输方法、装置、介质及终端设备
CN117666764A (zh) 图像显示方法、装置、设备及介质
CN116996658A (zh) 图像显示方法、***、设备及存储介质
CN116188952A (zh) 人脸防误刷方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination