CN115484492A - 界面时延的获取方法及装置 - Google Patents

界面时延的获取方法及装置 Download PDF

Info

Publication number
CN115484492A
CN115484492A CN202211411991.3A CN202211411991A CN115484492A CN 115484492 A CN115484492 A CN 115484492A CN 202211411991 A CN202211411991 A CN 202211411991A CN 115484492 A CN115484492 A CN 115484492A
Authority
CN
China
Prior art keywords
frame
interface
target frame
video
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211411991.3A
Other languages
English (en)
Other versions
CN115484492B (zh
Inventor
李文姣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202211411991.3A priority Critical patent/CN115484492B/zh
Publication of CN115484492A publication Critical patent/CN115484492A/zh
Application granted granted Critical
Publication of CN115484492B publication Critical patent/CN115484492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

本申请实施例提供一种界面时延的获取方法，应用于第一电子设备，第二电子设备基于界面实现第一功能，所述方法包括：控制第二电子设备开启屏幕录制，触发第二电子设备实现第一功能，在第二电子设备完成第一功能后，控制第二电子设备停止屏幕录制，从屏幕录制得到的视频中识别第一目标帧和第二目标帧，第一目标帧包括表示第一功能开启的像素，第二目标帧包括表示第一功能结束的像素，基于第一目标帧的时间戳和第二目标帧的时间戳，获取界面实现第一功能的时延。因为屏幕录制的视频中包括第一功能开启和结束的视频帧，并且基于对视频中的第一目标帧和第二目标帧的时间戳，获取界面实现第一功能的时延，所以无需人工介入，具有较高的自动化程度。

Description

界面时延的获取方法及装置
技术领域
本申请涉及电子信息技术领域，尤其涉及一种界面时延的获取方法及装置。
背景技术
界面是电子设备中运行的操作***以及应用程序等提供的显示内容。界面的常用功能包括但不限于对接收到的操作或指令等进行响应。
界面时延可以理解为界面从接收到操作或指令，直至做出或完成响应的时长。
界面时延是电子设备性能的评价指标之一。如何提高获得界面时延的自动化程度，是需要研究的问题。
发明内容
本申请提供了一种界面时延的获取方法及装置，目的在于解决如何提高获得界面时延的自动化程度的问题。
为了实现上述目的，本申请提供了以下技术方案：
本申请的第一方面提供一种界面时延的获取方法，应用于第一电子设备，第二电子设备基于界面实现第一功能，所述方法包括：控制第二电子设备开启屏幕录制，触发第二电子设备实现第一功能，在第二电子设备完成第一功能后，控制第二电子设备停止屏幕录制，从屏幕录制得到的视频中识别第一目标帧和第二目标帧，第一目标帧包括表示第一功能开启的像素，第二目标帧包括表示第一功能结束的像素，基于第一目标帧的时间戳和第二目标帧的时间戳，获取界面实现第一功能的时延。因为屏幕录制的视频中包括第一功能开启和结束的视频帧，并且基于对视频中的第一目标帧和第二目标帧的时间戳，获取界面实现第一功能的时延，所以无需人工介入，具有较高的自动化程度。
在一些实现方式中，从屏幕录制得到的视频中识别第一目标帧和第二目标帧，包括：响应于视频中的待标识视频帧（任意视频帧）满足第一条件，将待标识视频帧标识为候选第一目标帧，候选第一目标帧中的首帧为第一目标帧，第一条件包括：待标识视频帧与前一帧不相似，且从待标识视频帧识别的字符中不存在目标字符，目标字符表示第一功能完成，响应于待标识视频帧满足第二条件，将待标识视频帧标识为候选第二目标帧，候选第二目标帧中的首帧为第二目标帧，第二条件包括：待标识视频帧与前一帧不相似，且从待标识视频帧识别的字符中存在目标字符。基于相似性和目标字符识别目标帧，具有较高的便利性和准确性。
在一些实现方式中，目标字符基于第一功能的完成界面配置，以提高对第二目标帧的识别准确性。
在一些实现方式中，界面包括第一界面，触发第二电子设备实现第一功能，包括：触发第二电子设备显示第一界面，第一界面包括触发第一功能的第一标识（如P），显示第一标识的第一界面与未显示第一标识的界面不相似，以提升第一标识被识别到的可能性，并降低误识别的可能性。
在一些实现方式中，第一标识与第一界面中显示的对象的样式不同，以提升第一标识被识别到的可能性，并降低误识别的可能性。
在一些实现方式中，第一标识与表示第一功能完成的目标字符不同，以降低误识别的可能性。
在一些实现方式中，基于第一目标帧的时间戳和第二目标帧的时间戳，获取界面实现第一功能的时延，包括：基于第一目标帧的编号（即帧数或序号）、视频的帧率以及总帧数，获取第一目标帧的时间戳，第一目标帧的编号表示第一目标帧在视频中的顺序，基于第二目标帧的编号、视频的帧率以及总帧数，获取第二目标帧的时间戳，第二目标帧的编号表示第二目标帧在视频中的顺序，基于第二目标帧的时间戳与第一目标帧的时间戳之差，获取界面实现第一功能的时延。因为基于视频的时间戳之差获取时延，所以能够避免主观性的影响，具有较高的准确性和客观性。
在一些实现方式中，第一功能包括：响应于基于界面的操作，连接第三电子设备，以获取第二电子设备与第三电子设备连接的时延。
本申请的第二方面提供一种电子设备，包括：一个或多个处理器以及存储器，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，电子设备执行本申请的第一方面提供的界面时延的获取方法。
本申请的第二方面提供一种计算机存储介质，用于存储计算机程序，计算机程序被执行时，具体用于实现本申请的第一方面提供的界面时延的获取方法。
本申请的第四方面提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机或处理器上运行时，使得计算机或处理器执行本申请的第一方面提供的界面时延的获取方法。
附图说明
图1为通过点击蓝牙设备的标识实现手机与已配对蓝牙设备建立连接的示例图；
图2为电脑控制手机的示例图；
图3为本申请实施例公开的一种界面时延的获取方法的流程图；
图4为本申请实施例公开的电脑控制手机录制在蓝牙界面建立手机与已配对蓝牙设备的连接的视频的示例图；
图5和图6为本申请实施例公开的界面时延的获取方法中基于视频获得界面时延的流程图；
图7为本申请实施例公开的电子设备的结构示例图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例涉及的多个，是指大于或等于两个。需要说明的是，在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
图1中的a为用户基于手机中的蓝牙界面A进行操作，使得手机连接蓝牙设备的示例。假设用户以长按手机显示的控制中心中的蓝牙控件，触发手机显示图1中的a所示的蓝牙界面A。蓝牙界面A中显示可连接的蓝牙设备的标识XX1、XX2、以及XX3。假设用户点击标识XX1，如图1中的b所示，在用户点击标识XX1后，标识XX1的右方显示“正在连接”的提示信息，提示蓝牙设备XX1正在与手机建立连接。如图1中的c所示，在蓝牙设备XX1与手机建立蓝牙连接后，标识XX1的右方显示“已连接”的提示信息，以提示蓝牙设备XX1已与手机建立蓝牙连接。
可以理解的是，基于图1中的a-图1中的c所示的蓝牙设备与手机连接的场景，界面时延的示例为：从图1中的a所示的蓝牙界面A接收到用户的点击操作开始，直至图1中的c所示的蓝牙界面显示“已连接”的时长。该时长越短，说明手机连接蓝牙设备的速度越快。
传统的获得界面时延的方式为：人工基于界面输入操作或指令并开始计时，在界面完成对操作或指令的响应后，人工结束计时，得到计时时长。
人工因素可能降低计时时长的准确性和客观性，并且获得界面时延的效率较低，所以能够借助一些工具进行辅助计时，但这些工具往往需要人工触发计时的开始和结束，所以得到的界面时延的准确性和客观性、以及界面时延的获取效率均还有待提高。
为了提高获得界面时延的自动化程度，以获得更为准确和客观的界面时延，本申请实施例提供一种界面时延的获取方法及装置，通过对电子设备的界面响应过程进行录制，并分析录制得到的视频得到界面时延，时长计算过程无需人工介入，因此能够得到更为准确和客观的界面时延，并且能够获得更高的效率。
本申请实施例提供的界面时延的获取方法，用于获得电子设备显示的界面的时延。所述电子设备包括但不限于：手机，平板电脑，桌面型、膝上型、笔记本电脑，超级移动个人计算机（Ultra-mobile Personal Computer，UMPC），手持计算机，上网本，个人数字助理（Personal Digital Assistant，PDA）。以下均以手机为例。
图2为本申请实施例的方法的应用场景示例：电脑与手机通过USB连接。电脑中预先配置界面时延的获取应用程序，图2中，以图标B表示界面时延的获取应用程序的图标。
用户基于图标B启动界面时延的获取应用程序后，显示界面时延的获取应用程序的界面C，假设在界面C中显示已配置的多个测试用例的信息，以界面中C显示以下测试用例为例：
1、在界面通过点击操作，使得电子设备连接已配对的蓝牙设备的时延。
2、在界面通过点击蓝牙开关，以开启蓝牙功能的时延。
3、在界面通过点击操作，连接未配对的蓝牙设备的时延。
4、在界面通过点击操作，开启蓝牙开关并主动重连两个已配对的蓝牙设备的时延。
5、在界面通过点击操作，开启蓝牙开关并主动重连两个未配对的蓝牙设备的时延。
6、在界面通过点击WLAN开关，以开启WLAN功能的时延。
7、在界面通过点击操作，使得电子设备连接WLAN设备的时延。
8、在界面通过点击操作，连接开放WLAN设备的时延。
9、在界面通过点击操作，连接加密WLAN设备的时延。
可以理解的是，以上测试用例中所述的“界面”，为手机实现测试用例所显示的界面，不同测试用例所显示的界面可以相同，例如测试用例1和测试用例3所需的界面均为蓝牙界面，也可以不同。
假设用户在界面B中选择测试用例1，即要获取在手机显示的界面通过点击操作，使得手机连接已配对的蓝牙设备的时延（即第一功能的示例），则电脑上运行的界面时延的获取应用程序执行如图3所示的以下流程：
S1、生成用于存储手机录屏产生的视频流的文件夹，并控制手机开始录屏。
在某些实现方式中，为了便于区分各个文件夹，以当前时间作为文件夹的名称。
在某些实现方式中，通过预先配置在电脑中的手机中的录屏软件的信息（如路径和名称），电脑控制手机启动录屏软件，并通过预先配置在电脑中的手机中的录屏软件的界面中的控件信息，控制手机中的录屏软件开始录屏。
可以理解的是，电脑通过向手机发送携带录屏软件的信息或者控件信息的命令行，控制手机的录屏软件开始录屏。例如，命令行start activity XXX表示启动应用程序XXX，命令行click id/text XXX表示点击标识为XXX的控件或者文本XXX。
在一些实现方式中，手机中的录屏软件可以为手机自带的录屏软件，在此情况下，需要预先将手机自带的录屏软件的信息配置在电脑中。在另一些实现方式中，手机中的录屏软件为电脑推送并指示手机安装的录屏软件。例如电脑通过安卓调试桥接（AndroidDebug Bridge，adb）通道将录屏软件推送到手机，并通过命令行指示手机安装电脑推送的录屏软件。在此情况下，无需再另外在电脑中配置录屏软件的信息。
以图4中的a为例，假设手机还未进入蓝牙界面，手机在电脑的控制下，启动录屏，图4中的a中，以标识L表示正在录屏。可以理解的是，在停止录屏之前，手机中屏幕的变化均会被录制。
S2、控制手机进入蓝牙界面。
图4中的b表示在录屏状态下进入蓝牙界面A。
在某些实现方式中，通过向手机传输相应的命令行，控制手机进入蓝牙界面。
S3、控制手机显示对蓝牙界面上的一个已配对蓝牙设备进行点击的图标。
可以理解的是，显示对蓝牙界面上的已配对蓝牙设备进行点击的图标的目的在于，模拟用户对蓝牙界面上的某个已配对蓝牙设备进行点击的操作，从而触发手机与被点击的蓝牙设备建立蓝牙连接。
因为对蓝牙界面上的已配对蓝牙设备进行点击的图标为后续自动识别包括点击操作的首帧的重要特征，因此，该图标区别于蓝牙界面上的其它图标，以提高后续识别的准确性。以图4中的c为例，以标识P表示蓝牙设备XX1被点击。标识P与蓝牙界面上的其它对象包括但限于图形以及字符具有明显的区别。
以标识P表示的对蓝牙设备XX1的点击操作可以看作模拟点击操作。
可以理解的是，以图4中的d为例，对于蓝牙设备XX1的（模拟）点击操作触发蓝牙设备XX1的右侧显示提示信息“正在连接”，表示手机与蓝牙设备XX1正在建立蓝牙连接。以图4中的e为例，手机与蓝牙设备XX1已建立蓝牙连接的情况下，蓝牙界面中蓝牙设备XX1的右侧显示提示信息“已连接”，表示手机与蓝牙设备XX1已建立蓝牙连接。至此完成测试用例1待测试的场景（可以理解为功能）的操作。
S4、在检测到手机与配对蓝牙设备建立蓝牙连接后，控制手机停止录屏。
在一些实现方式中，可以通过检测手机已连接的设备的信息，判定蓝牙设备XX1是否与手机建立蓝牙连接。可以理解的是，可以通过向手机传输命令行，控制手机停止录屏。
可以理解的是，图4所示的界面示例仅为视频流中的一部分视频帧，而非全部，例如，在b与c之间还存在与b相同和/或与c相同的视频帧，又例如，在d和e之间还存在与d和/或e相同的视频帧。
S5、将录屏视频流存储在文件夹中。
可以理解的是，文件夹为S1中创建的文件夹。在某些实现方式中，电脑通过adb通道从手机中导出录屏视频流，并基于文件夹的路径，将录屏视频流存储在文件夹中。
S6、查找测试用例对应的目标帧。
测试用例对应的目标帧可以理解为，在测试用例表示的场景下，表示事件起止的视频帧。以测试用例1表示的在界面通过点击操作使得电子设备连接已配对的蓝牙设备的场景为例，事件的起点为点击操作，终点为蓝牙设备显示“已连接”。因此，表示事件起点的视频帧为包括点击蓝牙界面中的蓝牙设备标识的操作的首帧，表示事件终点的视频帧为包括显示“已连接”的首帧。
可以理解的是，基于视频帧中的特征，查找目标帧，S6的具体实现方式可参见图5所示。
S7、基于目标帧的时间戳，获得测试用例的界面时延。
可以理解的是，基于目标帧之间的间隔时长，获得界面时延，S7的具体实现方式可参见图5所示。
可以理解的是，在获得界面时延之后，还可以执行如下步骤，以扩展功能：
S8、判断界面时延是否在预设范围内，得到评价结果。
可以理解的是，预设范围能够依据需求预先配置，不同的测试用例所用的预设范围可能相同也可能不同。
S9、保存并输出评价结果。
评价结果能够提示界面时延反映的电子设备的性能，为功能和性能的优化奠定基础。
从图3所示的流程可以看出，本实施例提供的界面时延的获取方法，通过电脑控制手机，模拟用户在手机显示的界面的操作，并录制手机界面对于操作进行响应的过程。在获得录制视频后，通过自动分析视频中的特征，获取目标帧，进而得到目标帧之间的时长。可见，除了选择测试用例之外，均无需人工介入，并且，目标帧之间的时长通过目标帧的时间戳获得，因此，能够减低人工介入对时延准确性的不利影响，提高时延的准确性，又能提高时延的客观性。 并且，图3所示的流程具有较高的自动化程度，从而具有较高的效率。
图5为本申请实施例提供的查找目标帧以及基于目标帧获得界面时延的流程，包括以下步骤：
S501、读取视频文件。
可以理解的是，从S1设置的文件夹下读取视频文件。
在某些实现方式中，存储视频文件中的每一帧。目的在于，基于存储的每一帧执行S502等统计帧参数的目的，以节省用于统计的资源。
S502、获取视频文件的总帧数frame_count、帧率fps_count、总时长times_duration、以及分析日期。
本次流程获得界面时延能够与测试用例的标识和分析日期等对应存储，以便于后续查看。
这里不再赘述各个参数的获取方式。
S503、设置帧计数值i的初始值为1。
帧计数值用于实现视频中的各个图像帧的遍历。初始值设置为1，表示从视频中的第一帧开始遍历。
S504、设置视频中的每一帧的点击标识（ClickFlag）为False，已连接标识（ConnectedFlag）为False。
可以理解的是，S504中的ClickFlag和ConnectedFlag以测试用例1为例设置，不同的测试用例中，用于识别目标帧而设置的特征标识不同。
可以理解的是，S502-S504的执行顺序不作为限定。
S505、判断i是否大于frame_count。
如果i大于frame_count，说明遍历完成，所以执行S512（图6所示），如果否，执行S506。
S506、计算第i帧与第i-1帧之间的相似度。
S507、从第i帧识别字符。
可以理解的是，有可能从第i帧中识别不到字符。
S508、判断第i帧与第i-1帧之间的相似度是否在预设范围内，且从第i帧识别的字符中是否存在目标字符。
可以理解的是，假设视频的首帧为第一帧，即在i为1的情况下，第i-1帧不存在，因此可以确认第i帧与第i-1帧之间的相似度不在预设范围内。
基于测试用例1，目标字符的示例为“已连接”。可以理解的是，不同的测试用例配置的目标字符有可能相同，也有可能不同。
如果第i帧与第i-1帧之间的相似度在预设范围内，说明第i帧与第i-1帧比较相似，如果第i帧与第i-1帧之间的相似度不在预设范围内，说明第i帧与第i-1帧不相似。结合测试用例1，第i帧与第i-1帧不相似说明：第i帧包括表示点击蓝牙设备的像素，而第i-1帧不包括表示点击蓝牙设备的像素，或者，第i帧不包括表示点击蓝牙设备的像素，而第i-1帧包括表示点击蓝牙设备的像素，因此，第i帧有可能是目标帧（首次出现表示点击蓝牙设备的像素的一帧）。也就是说，第i帧与第i-1帧之间不相似，说明两帧之间存在较大的跳变，所以第i帧有可能是目标帧。
如果第i帧识别的字符中不存在目标字符，说明蓝牙设备还未与手机连接，如果第i帧识别的字符中存在目标字符，说明蓝牙设备已与手机连接。
综上，可以理解的是，第i帧与第i-1帧之间的相似度在预设范围内，识别的字符中无论是否存在目标字符，都说明第i帧不是目标帧。因此，还需要继续查找目标帧，所以执行S509。
第i帧与第i-1帧之间的相似度不在预设范围内，且识别的字符中不存在目标字符，说明第i帧有可能是包括表示点击操作的像素的首帧（也有可能第i-1帧包括表示点击操作的像素，第i帧不包括表示点击操作的像素但包括表示正在连接的像素），因此执行S510。
第i帧与第i-1帧之间的相似度不在预设范围内，且识别的文字中存在目标文字，说明第i帧是显示“已连接”的首帧，则执行S511。
S509、将i加1。执行S505-S508。
S510、将第i帧的ClickFlag设置为True，并且将i加1。返回执行S505-S508。
S511、将第i帧的ConnectedFlag设置为True，并且将i加1。返回执行S505-S508。
可以理解的是，S503-S511的目的在于，为视频中的每一帧设置ClickFla以及ConnectedFlag，为以下的时延计算奠定基础。
图6中包括以下步骤：
S512、基于ClickFlag为True的首帧在视频帧中的编号、fps_count以及frame_count，计算ClickFlag为True的首帧的时间戳Click_timestamps。
可以理解的是，编号表示在视频中是第几帧。
S513、基于ConnectedFlag设置为True的首帧在视频帧中的编号、fps_count以及frame_count，计算ConnectedFlag设置为True的首帧的时间戳Connected_timestamps。
S514、计算Connected_timestamps与Click_timestamps之差，得到测试用例1的界面时延。
图5和图6所示的流程中，通过遍历视频中的每个视频帧，查找测试用例对应的目标帧，因为目标帧为测试用例对应的事件的开始和终止，所以，基于目标帧的时间戳获得时长，即为发生测试用例对应的事件的界面的时延。自动识别目标帧以及基于时间戳获得界面时长，无需人工参与计时的起止，以及时长的计算，所以能够得到准确性和客观性更高的结果，并且具有较高的效率。
上述实施例中，以电脑通过USB连接并手机，获得手机中的界面时延为例，可以理解的是，在另一些实现方式中，界面时延的获取应用程序安装在手机中，在手机中运行界面时延的获取应用程序的情况下，界面时延的获取应用程序向手机中的相应模块传输指令，以控制手机执行以图3为例的测试用例对应的流程，得到并自动分析视频，得到界面时延。
在又一些实现方式中，电脑可以替换为其它电子设备。
可以理解的是，以上流程以测试用例1为例，在获取其它测试用例的界面时延的情况下，所采用的指令（命令行）以及表示操作的标识等信息，均可基于测试用例调整，这里不再赘述。
图7为本申请实施例所述的电子设备的结构示例，以手机为例，电子设备可以包括处理器110，内部存储器120，显示屏130，摄像头140，天线1，天线2，移动通信模块150，无线通信模块160以及音频模块170等。
可以理解的是，本实施例示意的结构并不构成对该电子设备的具体限定。在另一些实施例中，该电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器（application processor，AP），调制解调处理器，图形处理器（graphics processingunit，GPU），图像信号处理器（image signal processor，ISP），控制器，视频编解码器，数字信号处理器（digital signal processor，DSP），基带处理器，和/或神经网络处理器（neural-network processing unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
内部存储器120可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器110通过运行存储在内部存储器110的指令，从而执行电子设备的各种功能应用以及数据处理。内部存储器120可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器120的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备的各种功能应用以及数据处理。
电子设备通过GPU，显示屏130，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏130和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏130用于显示图像，视频等。显示屏130包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oled，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备可以包括1个或N个显示屏130，N为大于1的正整数。
电子设备可以通过ISP，摄像头140，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP 用于处理摄像头140反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，颜色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头140中。
摄像头140用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备可以包括1个或N个摄像头140，N为大于1的正整数。
摄像头140可以包括多种类型的摄像头。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样，电子设备可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
内部存储器120可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器120的指令，从而执行电子设备的各种功能应用以及数据处理。内部存储器120可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器120的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备的各种功能应用以及数据处理。
电子设备可以通过音频模块170，扬声器170A，麦克风170B以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备可以通过扬声器170A收听音乐，或收听免提通话。
一些实施例中，扬声器170A可播放本申请实施例提及的带有特效的视频信息。
麦克风170B，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170B发声，将声音信号输入到麦克风170B。
电子设备的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。
移动通信模块150可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。
无线通信模块160可以提供应用在电子设备上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星***(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

Claims (10)

1.一种界面时延的获取方法，其特征在于，应用于第一电子设备，第二电子设备基于界面实现第一功能，所述方法包括：
控制所述第二电子设备开启屏幕录制；
触发所述第二电子设备实现所述第一功能；
在所述第二电子设备完成所述第一功能后，控制所述第二电子设备停止屏幕录制；
从屏幕录制得到的视频中识别第一目标帧和第二目标帧，所述第一目标帧包括表示所述第一功能开启的像素，所述第二目标帧包括表示所述第一功能结束的像素；
基于所述第一目标帧的时间戳和所述第二目标帧的时间戳，获取所述界面实现所述第一功能的时延。
2.根据权利要求1所述的方法，其特征在于，所述从屏幕录制得到的视频中识别第一目标帧和第二目标帧，包括：
响应于所述视频中的待标识视频帧满足第一条件，将所述待标识视频帧标识为候选第一目标帧，所述候选第一目标帧中的首帧为所述第一目标帧，所述第一条件包括：所述待标识视频帧与前一帧不相似，且从所述待标识视频帧识别的字符中不存在目标字符，所述目标字符表示所述第一功能完成；
响应于待标识视频帧满足第二条件，将所述待标识视频帧标识为候选第二目标帧，所述候选第二目标帧中的首帧为所述第二目标帧，所述第二条件包括：所述待标识视频帧与前一帧不相似，且从所述待标识视频帧识别的字符中存在所述目标字符。
3.根据权利要求2所述的方法，其特征在于，所述目标字符基于所述第一功能的完成界面配置。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述界面包括第一界面；
所述触发所述第二电子设备实现所述第一功能，包括：
触发所述第二电子设备显示第一界面，所述第一界面包括触发所述第一功能的第一标识，显示所述第一标识的所述第一界面与未显示所述第一标识的界面不相似。
5.根据权利要求4所述的方法，其特征在于，所述第一标识与所述第一界面中显示的对象的样式不同。
6.根据权利要求5所述的方法，其特征在于，所述第一标识与目标字符不同，所述目标字符表示所述第一功能完成。
7.根据权利要求1-3任一项所述的方法，其特征在于，所述基于所述第一目标帧的时间戳和所述第二目标帧的时间戳，获取所述界面实现所述第一功能的时延，包括：
基于所述第一目标帧的编号、所述视频的帧率以及总帧数，获取所述第一目标帧的时间戳，所述第一目标帧的编号表示所述第一目标帧在所述视频中的顺序；
基于所述第二目标帧的编号、所述视频的帧率以及总帧数，获取所述第二目标帧的时间戳，所述第二目标帧的编号表示所述第二目标帧在所述视频中的顺序；
基于所述第二目标帧的时间戳与所述第一目标帧的时间戳之差，获取所述界面实现所述第一功能的时延。
8.根据权利要求1-3任一项所述的方法，其特征在于，所述第一功能包括：
响应于基于所述界面的操作，连接第三电子设备。
9.一种电子设备，其特征在于，包括：
一个或多个处理器以及存储器；
所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，所述电子设备执行如权利要求1-8任意一项所述的界面时延的获取方法。
10.一种计算机存储介质，其特征在于，用于存储计算机程序，所述计算机程序被执行时，具体用于实现如权利要求1-8任意一项所述的界面时延的获取方法。
CN202211411991.3A 2022-11-11 2022-11-11 界面时延的获取方法及装置 Active CN115484492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211411991.3A CN115484492B (zh) 2022-11-11 2022-11-11 界面时延的获取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211411991.3A CN115484492B (zh) 2022-11-11 2022-11-11 界面时延的获取方法及装置

Publications (2)

Publication Number Publication Date
CN115484492A true CN115484492A (zh) 2022-12-16
CN115484492B CN115484492B (zh) 2023-05-30

Family

ID=84396450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211411991.3A Active CN115484492B (zh) 2022-11-11 2022-11-11 界面时延的获取方法及装置

Country Status (1)

Country Link
CN (1) CN115484492B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813161A (zh) * 2012-11-12 2014-05-21 腾讯科技（深圳）有限公司 延时测试方法和装置
CN108882019A (zh) * 2017-05-09 2018-11-23 腾讯科技（深圳）有限公司 视频播放测试方法、电子设备及***
CN110381309A (zh) * 2019-07-22 2019-10-25 王斌 一种远程视频监控图像传输延时测试方法
CN110442499A (zh) * 2019-07-10 2019-11-12 阿里巴巴集团控股有限公司 测试、提高页面响应性能的方法和装置、终端设备
CN110798682A (zh) * 2019-11-28 2020-02-14 湖南金翎箭信息技术有限公司 一种延时测试***
CN111338954A (zh) * 2020-02-26 2020-06-26 平安银行股份有限公司 一种测试报告的生成方法及设备
CN111614990A (zh) * 2020-05-08 2020-09-01 北京达佳互联信息技术有限公司 加载时长的获取方法、装置及电子设备
CN112055258A (zh) * 2019-06-06 2020-12-08 腾讯科技（深圳）有限公司 加载直播画面的时延测试方法、装置及电子设备
CN112052150A (zh) * 2020-09-03 2020-12-08 中国平安财产保险股份有限公司 页面加载时间检测方法、设备、存储介质及装置
CN114827454A (zh) * 2022-03-15 2022-07-29 荣耀终端有限公司 视频的获取方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813161A (zh) * 2012-11-12 2014-05-21 腾讯科技（深圳）有限公司 延时测试方法和装置
CN108882019A (zh) * 2017-05-09 2018-11-23 腾讯科技（深圳）有限公司 视频播放测试方法、电子设备及***
CN112055258A (zh) * 2019-06-06 2020-12-08 腾讯科技（深圳）有限公司 加载直播画面的时延测试方法、装置及电子设备
CN110442499A (zh) * 2019-07-10 2019-11-12 阿里巴巴集团控股有限公司 测试、提高页面响应性能的方法和装置、终端设备
CN110381309A (zh) * 2019-07-22 2019-10-25 王斌 一种远程视频监控图像传输延时测试方法
CN110798682A (zh) * 2019-11-28 2020-02-14 湖南金翎箭信息技术有限公司 一种延时测试***
CN111338954A (zh) * 2020-02-26 2020-06-26 平安银行股份有限公司 一种测试报告的生成方法及设备
CN111614990A (zh) * 2020-05-08 2020-09-01 北京达佳互联信息技术有限公司 加载时长的获取方法、装置及电子设备
CN112052150A (zh) * 2020-09-03 2020-12-08 中国平安财产保险股份有限公司 页面加载时间检测方法、设备、存储介质及装置
CN114827454A (zh) * 2022-03-15 2022-07-29 荣耀终端有限公司 视频的获取方法及装置

Also Published As

Publication number Publication date
CN115484492B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN106687991B (zh) 用于基于社交关系来设置数字图像的焦点的***和方法
CN112394895B (zh) 画面跨设备显示方法与装置、电子设备
CN113163272B (zh) 视频剪辑方法、计算机设备及存储介质
US12001758B2 (en) Voice information processing method and electronic device
US20160373801A1 (en) Method and device for playing multimedia file
KR20170023699A (ko) 동영상 촬영 방법, 그 장치, 프로그램 및 기록매체
JP2016531362A (ja) 肌色調整方法、肌色調整装置、プログラム及び記録媒体
WO2021179804A1 (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN114115674B (zh) 录音和文档内容的定位方法、电子设备及存储介质
CN114185503B (zh) 多屏交互的***、方法、装置和介质
CN113643728A (zh) 一种音频录制方法、电子设备、介质及程序产品
CN114637890A (zh) 在图像画面中显示标签的方法、终端设备及存储介质
WO2023284591A1 (zh) 视频拍摄方法及装置、电子设备和存储介质
WO2022089034A1 (zh) 视频笔记生成方法及电子设备
CN112269554B (zh) 显示***及显示方法
CN115484492B (zh) 界面时延的获取方法及装置
CN114827454B (zh) 视频的获取方法及装置
CN111314763A (zh) 流媒体播放方法及装置、存储介质与电子设备
US20240098045A1 (en) Chat interaction method, electronic device, and server
CN105430260B (zh) 获取视频图像的方法及装置
CN115730091A (zh) 批注展示方法、装置、终端设备及可读存储介质
CN113204443A (zh) 基于联邦学习框架的数据处理方法、设备、介质及产品
CN112036241A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN112463086A (zh) 一种显示控制方法及电子设备
WO2024140123A1 (zh) 一种定格动画生成方法、电子设备、云端服务器及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant