CN116647727B - 录屏信息收集方法、装置、设备及存储介质 - Google Patents

录屏信息收集方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116647727B
CN116647727B CN202310926909.9A CN202310926909A CN116647727B CN 116647727 B CN116647727 B CN 116647727B CN 202310926909 A CN202310926909 A CN 202310926909A CN 116647727 B CN116647727 B CN 116647727B
Authority
CN
China
Prior art keywords
screen recording
video frame
page
target
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310926909.9A
Other languages
English (en)
Other versions
CN116647727A (zh
Inventor
吴新圣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Post Consumer Finance Co ltd
Original Assignee
China Post Consumer Finance Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Post Consumer Finance Co ltd filed Critical China Post Consumer Finance Co ltd
Priority to CN202310926909.9A priority Critical patent/CN116647727B/zh
Publication of CN116647727A publication Critical patent/CN116647727A/zh
Application granted granted Critical
Publication of CN116647727B publication Critical patent/CN116647727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种录屏信息收集方法、装置、设备及存储介质。该方法包括：在接收到业务请求时向云服务器发送动态码请求，并通过录屏扩展启动录屏功能；在目标用户基于操作步骤对业务请求对应的目标软件进行操作时，通过录屏扩展获取操作过程对应的视频帧，其中包括基于反欺诈动态码验证生成的反欺诈页面；将目标页面识别模型识别过程中达到匹配阈值时所对应的视频帧页面作为目标页面图像；将录屏中所获得的录屏视频、目标页面图像和反欺诈动态码上传至云服务器。由于本发明在录屏过程中实时对视频帧进行分析，同时通过识别反欺诈页面检测用户操作的真实性，对于录屏过程收集的信息能够实时反馈，得到准确性较高、真实性较高的录屏信息。

Description

录屏信息收集方法、装置、设备及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种录屏信息收集方法、装置、设备及存储介质。
背景技术
随着智能手机的普及，各大平台获取用户信息，常用的方式分为两种，一种为客户提前拍摄好相关平台个人信息的图片，录制好视频，在App内提供入口进行相应图片和视频的上传，后台收到资料后进行存储操作，后续异步对客户信息进行分析操作。另一种形式是App内提供录屏直播的形式，将录屏的视频流通过推流的形式推送到视频服务器中，视频服务器中存储视频后续对其进行分析等。
但是第一种通过App收集用户预先拍摄的图片后录制的视频等资料，存证欺诈风险，且因为没有实时的提醒反馈，用户提供的资料并不规范，获取有效信息的效率较低，无形中提高了人力沟通等成本，另一种通过录屏直播形式收集信息，需要额外的视频服务器资源来支持这项服务，这种形式表面上直播的形式，实际的分析工作还是在服务端进行，属于异步的交互形式，在实时反馈方面较差，难以实时判断收集的信息是否正确有效。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种录屏信息收集方法、装置、设备及存储介质，旨在解决传统的个人信息收集方式实时反馈较差，难以实时判断收集的信息是否正确有效的技术问题。
为实现上述目的，本发明提供了一种录屏信息收集方法，所述方法包括以下步骤：
在接收到目标用户的业务请求时，向云服务器发送动态码请求，并通过录屏扩展启动录屏功能，所述云服务器基于所述动态码请求生成反欺诈动态码；
根据所述业务请求跳转至所述业务请求对应的目标软件，并通过TTS语音播报向所述目标用户播报所述业务请求对应的操作步骤；
在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧，所述录屏扩展通过socket服务将所述视频帧进行格式优化获得视频帧页面集，所述视频帧页面集包括基于所述反欺诈动态码验证生成的反欺诈页面；
通过目标页面识别模型对所述视频帧页面集进行页面识别，并将识别过程中达到匹配阈值时所对应的视频帧页面作为目标页面图像；
将所述录屏功能启动过程中所获得的录屏视频、所述目标页面图像和所述反欺诈动态码上传至所述云服务器。
可选地，所述在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧，所述录屏扩展通过socket服务将所述视频帧进行格式优化获得视频帧页面集，包括：
在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧；
所述录屏扩展通过socket服务对所述视频帧进行格式转换，获得所述视频帧对应的I420字节数组，并对所述I420字节数组进行拆分压缩处理，获得处理后的I420字节数组；
在接收到所述录屏扩展传输的处理后的I420字节数组时，对所述处理后的I420字节数组进行还原，获得视频帧页面集。
可选地，所述在接收到所述录屏扩展传输的处理后的I420字节数组时，对所述处理后的I420字节数组进行还原，获得视频帧页面集，包括：
在通过socket服务接收到所述录屏扩展传输的处理后的I420字节数组时，对所述处理后的I420字节数组进行拼接组装，获得I420视频帧集；
对所述I420视频帧集进行格式转换，获得所述I420视频帧集对应的NV12视频帧集；
对所述NV12视频帧集进行***转换，获得视频帧页面集。
可选地，所述通过目标页面识别模型对所述视频帧页面集进行页面识别，并将识别过程中达到匹配阈值时所对应的视频帧页面作为目标页面图像，包括：
通过目标页面识别模型对所述视频帧页面集进行页面识别，获得所述视频帧页面集中视频帧页面对应的预测分数；
按预设页面顺序依次判断所述视频帧页面集中各视频帧页面的预测分数是否达到匹配阈值；
在所述预测分数达到匹配阈值时，将达到所述匹配阈值时所对应的视频帧页面作为目标页面图像。
可选地，所述按预设页面顺序依次判断所述视频帧页面集中各视频帧页面的预测分数是否达到匹配阈值，包括：
根据所述视频帧页面集构建信任队列，所述信任队列基于先进先出原则存储所述视频帧页面集中的各视频帧页面；
按预设页面顺序依次判断所述信任队列中的各视频帧页面是否达到匹配阈值；
相应的，所述在所述预测分数达到匹配阈值时，将达到所述匹配阈值时所对应的视频帧页面作为目标页面图像之后，还包括：
在所述目标页面图像识别结束时，通过所述录屏扩展关闭录屏功能，并获取所述录屏功能启动过程中所录制的录屏视频。
可选地，所述在接收到目标用户的业务请求时，向云服务器发送动态码请求，并通过录屏扩展启动录屏功能，包括：
在接收到目标用户的业务请求时，根据所述业务请求向云服务器发送参数配置请求，所述云服务器基于所述参数配置请求生成录屏过程中所需的录屏配置参数，所述录屏配置参数包括录屏时长和预设页面顺序；
在接收到所述录屏配置参数时，向所述云服务器发送动态码请求，并通过录屏扩展启动录屏功能；
相应的，所述在所述预测分数达到匹配阈值时，将达到所述匹配阈值时所对应的视频帧页面作为目标页面图像之后，还包括：
在定时器计时时长达到所述录屏时长时，通过所述录屏扩展关闭录屏功能，并获取所述录屏功能启动过程中所录制的录屏视频。
可选地，所述将所述录屏功能启动过程中所获得的录屏视频、所述目标页面图像和所述反欺诈动态码上传至所述云服务器之后，还包括：
所述云服务器对所述目标页面图像进行图文转换，获得所述目标页面图像对应的文字信息，所述目标页面图像包括反欺诈页面，所述文字信息包括反欺诈页面信息；
所述云服务器基于所述反欺诈动态码对所述反欺诈页面信息进行验证，并判断验证结果是否符合反欺诈要求，在符合反欺诈要求时，结束录屏信息的收集。
此外，为实现上述目的，本发明还提出一种录屏信息收集装置，所述装置包括：
录屏启动模块，用于在接收到目标用户的业务请求时，向云服务器发送动态码请求，并通过录屏扩展启动录屏功能，所述云服务器基于所述动态码请求生成反欺诈动态码；
语音播报模块，用于根据所述业务请求跳转至所述业务请求对应的目标软件，并通过TTS语音播报向所述目标用户播报所述业务请求对应的操作步骤；
视频帧获取模块，用于在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧，所述录屏扩展通过socket服务将所述视频帧进行格式优化获得视频帧页面集，所述视频帧页面集包括基于所述反欺诈动态码验证生成的反欺诈页面；
页面识别模块，用于通过目标页面识别模型对所述视频帧页面集进行页面识别，并将识别过程中达到匹配阈值时所对应的视频帧页面作为目标页面图像；
信息收集模块，用于将所述录屏功能启动过程中所获得的录屏视频、所述目标页面图像和所述反欺诈动态码上传至所述云服务器。
此外，为实现上述目的，本发明还提出一种录屏信息收集设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的录屏信息收集程序，所述录屏信息收集程序配置为实现如上文所述的录屏信息收集方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有录屏信息收集程序，所述录屏信息收集程序被处理器执行时实现如上文所述的录屏信息收集方法的步骤。
本发明在接收到目标用户的业务请求时，向云服务器发送动态码请求，并通过录屏扩展启动录屏功能，所述云服务器基于所述动态码请求生成反欺诈动态码；根据所述业务请求跳转至所述业务请求对应的目标软件，并通过TTS语音播报向所述目标用户播报所述业务请求对应的操作步骤；在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧，所述录屏扩展通过socket服务将所述视频帧进行格式优化获得视频帧页面集，所述视频帧页面集包括基于所述反欺诈动态码验证生成的反欺诈页面；通过目标页面识别模型对所述视频帧页面集进行页面识别，并将识别过程中达到匹配阈值时所对应的视频帧页面作为目标页面图像；将所述录屏功能启动过程中所获得的录屏视频、所述目标页面图像和所述反欺诈动态码上传至所述云服务器。由于本发明在录屏过程中实时对视频帧进行分析，对于问题操作能实时做出反馈，同时通过识别反欺诈页面检测用户操作的真实性，能够在录屏过程对收集的信息实时反馈，得到准确性较高、真实性较高的录屏信息。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的录屏信息收集设备的结构示意图；
图2为本发明录屏信息收集方法第一实施例的流程示意图；
图3为本发明录屏信息收集方法第一实施例中主工程进行后台配置的流程示意图；
图4为本发明录屏信息收集方法第二实施例的流程示意图；
图5为本发明录屏信息收集方法第二实施例中录屏扩展与主工程通信的流程示意图；
图6为本发明录屏信息收集方法第三实施例的流程示意图；
图7为本发明录屏信息收集方法第三实施例中录屏过程的步骤逻辑示意图；
图8为本发明录屏信息收集装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的录屏信息收集设备的结构示意图。
如图1所示，该录屏信息收集设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM），也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对录屏信息收集设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及录屏信息收集程序。
在图1所示的录屏信息收集设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明录屏信息收集设备中的处理器1001、存储器1005可以设置在录屏信息收集设备中，所述录屏信息收集设备通过处理器1001调用存储器1005中存储的录屏信息收集程序，并执行本发明实施例提供的录屏信息收集方法。
本发明实施例提供了一种录屏信息收集方法，参照图2，图2为本发明录屏信息收集方法第一实施例的流程示意图。
本实施例中，所述录屏信息收集方法包括以下步骤：
步骤S10：在接收到目标用户的业务请求时，向云服务器发送动态码请求，并通过录屏扩展启动录屏功能，所述云服务器基于所述动态码请求生成反欺诈动态码。
需要说明的是，本实施例方法的执行主体可以是具有录屏功能、页面识别以及数据处理的计算服务设备，例如手机、电脑等，还可以是能够实现相同或相似功能的其他电子设备，例如上述录屏信息收集设备，本实施例对此不加以限制。此处以上述录屏信息收集设备（简称信息收集设备）对本实施例和下述各实施例进行具体说明。
可理解的是，业务请求是目标用户需要进行业务操作发送的请求。动态码请求是信息收集设备基于业务请求向云服务器发送的动态码验证请求。反欺诈动态码是云服务器根据动态码请求和业务请求对应生成的动态码，用于目标用户在进行业务操作时的验证。
应理解的是，录屏扩展是在信息收集设备的主工程***的录屏扩展插件，用于对目标用户在业务操作时进行录屏。***录屏扩展插件时，需要配置好录屏扩展和信息收集设备的主工程的group id，用于扩展录屏扩展和主工程的简易通信。
在具体实现中，若目标用户预对某一软件进行业务操作，且该软件需要进行身份验证和操作验证。此时，可通过信息收集设备对其进行录屏信息收集，能够在录屏过程对收集的信息实时反馈，得到准确性较高、真实性较高的录屏信息。首先，目标用户打开信息收集设备，向信息收集设备发送关于该软件的业务请求；此时信息收集设备根据业务请求向云服务器发送动态码请求，获取云服务器生成的反欺诈动态码，用于之后的操作验证。然后信息收集设备开启录屏扩展录制之后的目标用户的操作。
需要说明的是，在录屏之前，还需要对信息收集设备进行后台配置与更新，为便于理解，参考图3，图3为本发明录屏信息收集方法第一实施例中主工程进行后台配置的流程示意图。如图3所示，在录屏之前，进入录屏页面进行前置检查，判断前置检查是否通过。若前置检查正常，则进一步检查信息收集设备本地是否有模型，用于进行页面识别。若存在，则加载初始化模型，若不存在，则下载模型，再进行初始化模型。接着对信息收集设备的TTS播报初始化和保活设置，TTS播报为信息收集设备内置的语音播报功能，初始化设置其声音音色、声音速率、声音音调、声音音量和循环次数等；由于***特性，会对后台程序在超过一段时间后进行***回收，目标用户在进行录屏操作过程中，信息收集设备的主APP处在后台状态，如果不做特殊处理，会在一段时间后被***回收，强制关闭后台程序，因此需要对主APP进行保活操作，例如播放一段无声的音频，设置APP的后台模式，在录屏期间播放音频，录屏结束后，关闭音频播放，达到后台程序保活的效果。然后启动接收视频帧的socket服务，socket服务用于监听主APP与录屏扩展端口的数据回调。最后注册主APP与录屏扩展的通信通知，用于监听主APP前后台切换、APP保活、锁屏处理、录屏状态变化等，确保录屏过程中状态的同步。从而完成录屏前的预处理操作。
步骤S20：根据所述业务请求跳转至所述业务请求对应的目标软件，并通过TTS语音播报向所述目标用户播报所述业务请求对应的操作步骤。
需要说明的是，目标软件是目标用户预进行业务操作所对应的软件。TTS语音播报是一种将文本信息转换为可听见的语音的技术，在目标用户进行业务操作时，信息手机设备可通过TTS语音播报以提醒用户操作步骤。操作步骤是目标用户对目标软件进行业务操作的顺序步骤。
步骤S30：在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧，所述录屏扩展通过socket服务将所述视频帧进行格式优化获得视频帧页面集，所述视频帧页面集包括基于所述反欺诈动态码验证生成的反欺诈页面。
需要说明的是，视频帧是目标用户对目标软件进行操作时，录屏扩展进行录屏时截取的视频帧，用于对关键的操作步骤进行验证。其中，视频帧包括用户输入反欺诈动态码验证生成的反欺诈页面，进行业务操作时对应的业务详情页面，进行业务操作时对应的业务首页等。
可理解的是，在目标用户进行业务操作时，若跳转至动态验证，此时信息收集设备通过TTS语音播报提示操作，目标用户可根据获得的反欺诈动态码，在页面中输入该验证码，同时录屏扩展保存用户进行反欺诈页面验证操作时的页面。进一步的，为提高页面验证的准确性，还可以将用户离开反欺诈页面前的若干张页面图像进行保存。
在具体实现中，信息收集设备在开启录屏后跳转至业务请求对应的目标软件，并开启TTS语音播报向目标用户播报对应的操作步骤。目标用户对所述目标软件进行操作，信息收集设备通过录屏扩展获取目标用户操作过程对应的视频帧。由于录屏扩展内存限制，录屏扩展可对视频帧进行压缩拆分等操作发送给主工程处理。
步骤S40：通过目标页面识别模型对所述视频帧页面集进行页面识别，并将识别过程中达到匹配阈值时所对应的视频帧页面作为目标页面图像。
需要说明的是，目标页面识别模型对是用于对视频帧进行识别的模型。在进行录屏前，已获取了目标软件对应业务请求的关键页面，根据这些预先设置的关键页面可以用于对目标用户进行操作时的页面进行验证。若目标用户进行操作时的页面验证不存在关键页面，则表明用户的操作存在错误或用户存在欺诈行为。目标页面识别模型对视频帧进行识别，可对比录制的视频帧与预设关键页面的文本内容，也可以对比两者之间的相似度，或者其他方式，本实施例对此不加以限制。
可理解的是，匹配阈值是目标页面识别模型对视频帧页面验证匹配时，若匹配数值超过阈值，则验证成功所设置的阈值。目标页面图像是目标页面识别模型对视频帧页面匹配成功对应的页面。
步骤S50：将所述录屏功能启动过程中所获得的录屏视频、所述目标页面图像和所述反欺诈动态码上传至所述云服务器。
需要说明的是，录屏视频是通过录屏扩展的录屏功能启动过程中所录制的视频。
在具体实现中，信息收集设备通过目标页面识别模型对视频帧页面集进行页面识别，将识别过程中达到匹配阈值时所对应的视频帧页面作为目标页面图像。最后将录屏功能启动过程中所录制的录屏视频、上述目标页面图像和反欺诈动态码上传至云服务器，从而完成了目标用户进行业务操作过程的录屏信息的收集。
进一步地，如果需要实现更加灵活的配置，满足业务更多需求，可以对用户录屏过程中的行为做分类，通过行为的排列组合达到更好的收集效果和具备反欺诈的能力。例如，定义用户的行为包括，目标页面达到、目标页面停留时长、目标页面具体交互等，结合配置的语音引导，引导用户完成规定的操作，增加一些随机性操作，可以很好的预防欺诈行为，引导完成目标页面的停留，能提高页面信息收集的成功率。
进一步地，考虑到云服务器对收集信息的验证，本实施例中在步骤S50之后，还包括：所述云服务器对所述目标页面图像进行图文转换，获得所述目标页面图像对应的文字信息，所述目标页面图像包括反欺诈页面，所述文字信息包括反欺诈页面信息；所述云服务器基于所述反欺诈动态码对所述反欺诈页面信息进行验证，并判断验证结果是否符合反欺诈要求，在符合反欺诈要求时，结束录屏信息的收集。
需要说明的是，云服务器可以对目标页面图像做图像转文字识别（OCR），提取业务所需的字段信息，用于对收集的页面做进一步验证，其中包括反欺诈页面图像做图像转文字识别（OCR），提取用户输入的动态码内容，将其与信息收集设备上传的动态码做比较，对比一致时认为所收集的信息符合反欺诈要求。
为便于理解，以上述信息收集设备功能应用在iOS客户端上为例进行说明，并不对本方案进行限定。其具体过程如下：
1、用户在iOS客户端点击业务入口后，iOS客户端向云服务端请求反欺诈动态码，并启动录屏功能。
2、录屏开始后，自动跳转到目标App，并触发本地的TTS语音播报操作步骤，引导用户操作。
3、在录屏启动后，在录屏扩展中每一帧回调函数中，对帧数据进行处理。
4、启动本地socket服务，将视频帧从录屏扩展发送到iOS客户端的主工程中，因为iOS***对录屏扩展的扩展子进程做了内存使用限制，最大内存使用为50M，超过时子进程会崩溃，所以可以对视频帧进行优化发送至主工程中。
5、主工程接收到视频帧页面集数据后，组装视频帧，预处理视频帧后，将其输入到AI模型（即目标页面识别模型）进行运算，得到该帧画面与目标页面的匹配程度分数，分数超过事先设定的阈值时认为匹配到目标页面，保存目标页面图像，并触发本地TTS语音播报提示用户进行下一步操作，重复上述过程，直到完成所有目标页面的匹配和保存。
6、其中，目标页面包括反欺诈页面，客户端通过TTS语音播报第1步中获得的反欺诈动态码，提示用户在页面中输入该验证码，利用第5步方法保存用户离开反欺诈页面前的5张目标页面图像。
7、与此同时，主工程接收到的视频帧写入本地文件存储。
8、iOS客户端将所收集的录屏视频、目标页面图像、反欺诈动态码上传至服务器。
9、服务器针对目标页面图像做图像转文字识别（OCR），提取业务所需的字段信息；服务端针对反欺诈页面图像做图像转文字识别（OCR），提取用户输入内容，将其与客户端上传的动态码做比较，对比一致时认为所收集信息符合反欺诈要求；从而完成业务目标字段的收集，具备可靠的反欺诈能力。
本实施例若目标用户预对某一软件进行业务操作，且该软件需要进行身份验证和操作验证。此时，可通过信息收集设备对其进行录屏信息收集，能够在录屏过程对收集的信息实时反馈，得到准确性较高、真实性较高的录屏信息。首先，目标用户打开信息收集设备，向信息收集设备发送关于该软件的业务请求；此时信息收集设备根据业务请求向云服务器发送动态码请求，获取云服务器生成的反欺诈动态码，用于之后的操作验证。然后信息收集设备开启录屏扩展录制之后的目标用户的操作，并开启TTS语音播报向目标用户播报对应的操作步骤。目标用户对所述目标软件进行操作，信息收集设备通过录屏扩展获取目标用户操作过程对应的视频帧。由于录屏扩展内存限制，录屏扩展可对视频帧进行压缩拆分等操作发送给主工程处理。信息收集设备通过目标页面识别模型对视频帧页面集进行页面识别，将识别过程中达到匹配阈值时所对应的视频帧页面作为目标页面图像。最后将录屏功能启动过程中所录制的录屏视频、上述目标页面图像和反欺诈动态码上传至云服务器，从而完成了目标用户进行业务操作过程的录屏信息的收集。由于本实施例在录屏过程中实时对视频帧进行分析，对于问题操作能实时做出反馈，同时通过识别反欺诈页面检测用户操作的真实性，能够在录屏过程对收集的信息实时反馈，得到准确性较高、真实性较高的录屏信息。
参考图4，图4为本发明录屏信息收集方法第二实施例的流程示意图。
基于上述第一实施例，如图2和图4所示，在本实施例中，考虑到录屏扩展存在内存限制，所述步骤S30包括：
步骤S31：在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧。
步骤S32：所述录屏扩展通过socket服务对所述视频帧进行格式转换，获得所述视频帧对应的I420字节数组，并对所述I420字节数组进行拆分压缩处理，获得处理后的I420字节数组。
需要说明的是，I420字节数组是一种储存格式，对于给定的图像Y、U、V三个分量分开存储，方便传输和重新组合。
步骤S33：在接收到所述录屏扩展传输的处理后的I420字节数组时，对所述处理后的I420字节数组进行还原，获得视频帧页面集。
在具体实现中，在目标用户基于操作步骤对所述目标软件进行操作时，通过录屏扩展获取目标用户操作过程对应的视频帧。此时录屏扩展通过socket服务对视频帧进行格式转换，获得视频帧对应的I420字节数组，并对I420字节数组进行拆分压缩处理，方便传输和重新组合。最后主工程在接收到录屏扩展传输的处理后的I420字节数组时，再进行还原，获得视频帧页面集。从而可以在传输过程中降低录屏扩展的压力，避免了因传输堵塞导致内存暴涨而致使录屏扩展崩溃的情况发生，保证了录屏扩展和主工程的数据传输顺畅。
进一步地，考虑到主工程进行格式转换的效率，本实施例中在步骤S33包括：在通过socket服务接收到所述录屏扩展传输的处理后的I420字节数组时，对所述处理后的I420字节数组进行拼接组装，获得I420视频帧集；对所述I420视频帧集进行格式转换，获得所述I420视频帧集对应的NV12视频帧集；对所述NV12视频帧集进行***转换，获得视频帧页面集。
需要说明的是，NV12视频帧是一种储存格式，在该格式中，U 和 V 分量的分辨率是 Y 分量的一半，与 I420 格式相同。但不同的是，对于给定的图像，Y分量是分开存储的，而U 和V分量则是交错存储的。
应注意的是，I420字节数组的存储格式为三个平面存储，Y、U、V三个分量各自使用单独的Byte型数组存储；NV12视频帧存储格式为两个平面存储，Y平面，UV打包在一个平面，即Y信息存储在一个数组中，UV信息交叉存储在另一个数组中。
可理解的是，主工程在通过socket服务接收到录屏扩展传输的处理后的I420字节数组时，对处理后的I420字节数组进行拼接组装，获得I420视频帧集；然后对I420视频帧集进行格式转换，获得I420视频帧集对应的NV12视频帧集；最后对NV12视频帧集进行***转换，获得符合***识别的视频帧页面集。至此，视频帧从录屏扩展到主工程的传输完成。
为了便于理解，以视频帧从录屏扩展到主工程的传输过程进行说明，但并不对本方案进行限定。参考图5，图5为本发明录屏信息收集方法第二实施例中录屏扩展与主工程通信的流程示意图。由于设备对录屏扩展进程有内存限制，录屏扩展在使用期间的内存占用不能超过50M，一旦超过会自动关闭扩展进程。所以，不能在录屏扩展中做过多的逻辑代码操作，包括模型识别，读写文件等，因此要保证录屏扩展和主工程的数据传输顺畅，不能因为传输堵塞导致内存暴涨等。所以在数据传输时，如图5所示，录屏扩展在获取视频帧前，启动socket服务。在获得视频帧时，考虑将视频帧进行拆分传输，并对其进行等比例的压缩处理，为避免录屏时内存暴涨，需将视频帧进行拆分，将一个视频帧拆分成多个有序，方便重组的数据包，那么平面格式的I420字节数组是一个好的选择；其具体过程为：将视频帧NV12转换为I420帧，然后对I420帧进行压缩，并记录当前帧时间。接着对视频帧拆包，并发送数据包到主工程。主工程通过socket服务接收到数据包时，拼接数据包复原成一帧I420图像，然后将I420图像转换成NV12帧，最后转换成***格式，以符合APP主工程的识别。至此，一个视频帧从录屏扩展到主工程的传输完成。
本实施例在目标用户基于操作步骤对所述目标软件进行操作时，通过录屏扩展获取目标用户操作过程对应的视频帧。此时录屏扩展通过socket服务对视频帧进行格式转换，获得视频帧对应的I420字节数组，并对I420字节数组进行拆分压缩处理，方便传输和重新组合。最后主工程在接收到录屏扩展传输的处理后的I420字节数组时，再进行还原，获得视频帧页面集。从而可以在传输过程中降低录屏扩展的压力，避免了因传输堵塞导致内存暴涨而致使录屏扩展崩溃的情况发生，保证了录屏扩展和主工程的数据传输顺畅。
参考图6，图6为本发明录屏信息收集方法第三实施例的流程示意图。
基于上述各实施例，如图2和图6所示，在本实施例中，考虑状况目标页面识别的效率，所述步骤S40包括：
步骤S41：通过目标页面识别模型对所述视频帧页面集进行页面识别，获得所述视频帧页面集中视频帧页面对应的预测分数。
步骤S42：按预设页面顺序依次判断所述视频帧页面集中各视频帧页面的预测分数是否达到匹配阈值。
需要说明的是，预测分数是目标页面识别模型对视频帧页面进行识别时返回的分数。预设页面顺序是在进行录屏前，获取的目标软件对应业务请求的关键页面，根据这些预先设置的关键页面对目标用户进行操作时的页面进行验证的顺序。
步骤S43：在所述预测分数达到匹配阈值时，将达到所述匹配阈值时所对应的视频帧页面作为目标页面图像。
在具体实现中，信息收集设置通过目标页面识别模型对视频帧页面集进行页面识别，获得视频帧页面集中视频帧页面对应的预测分数。然后按预设页面顺序依次判断视频帧页面集中各视频帧页面的预测分数是否达到匹配阈值，若达到匹配阈值，则验证成功，此时验证成功的视频帧页面作为目标页面图像。从而根据匹配阈值确定目标页面图像，提高目标页面识别的效率。
进一步地，本实施例中在步骤S42包括：根据所述视频帧页面集构建信任队列，所述信任队列基于先进先出原则存储所述视频帧页面集中的各视频帧页面；按预设页面顺序依次判断所述信任队列中的各视频帧页面是否达到匹配阈值；相应的，步骤S43之后还包括：在所述目标页面图像识别结束时，通过所述录屏扩展关闭录屏功能，并获取所述录屏功能启动过程中所录制的录屏视频。
需要说明的是，信任队列是用于页面识别的队列，基于先进先出原则对视频帧页面依次进行识别，可提高目标页面识别的可信程度。
在具体实现中，考虑到识别的目标页面可信程度并非100%，所以可以构建一个大小为10，先进先出的信任队列，存储视频帧页面，在当前队列中的视频帧预测分数均超过设置阈值，则认为当前用户所处页面为目标页面的可信程度较高，截取当前时刻该队列中分数最高的页面做后续展示和目标页面存储。并重复上述步骤的判断和目标页面识别，在目标页面图像识别结束时，通过录屏扩展关闭录屏功能，并获取录屏功能启动过程中所录制的录屏视频。
进一步地，考虑到录屏过程的时长，本实施例中在步骤S10包括：在接收到目标用户的业务请求时，根据所述业务请求向云服务器发送参数配置请求，所述云服务器基于所述参数配置请求生成录屏过程中所需的录屏配置参数，所述录屏配置参数包括录屏时长和预设页面顺序；在接收到所述录屏配置参数时，向所述云服务器发送动态码请求，并通过录屏扩展启动录屏功能；相应的，步骤S43之后还包括：在定时器计时时长达到所述录屏时长时，通过所述录屏扩展关闭录屏功能，并获取所述录屏功能启动过程中所录制的录屏视频。
需要说明的是，参数配置请求是录屏前获取关于业务请求对应的参数的请求。录屏配置参数是从云服务器获取录屏过程中的配置参数，包括录屏的最大时长、语音播报重复次数、播报间隔时长、目标页面顺序等。
在具体实现中，信息收集设备在接收到目标用户的业务请求时，根据业务请求向云服务器发送参数配置请求，所述云服务器基于所述参数配置请求生成录屏过程中所需的录屏配置参数，从云服务器获取录屏过程中的配置参数，包括录屏的最大时长、语音播报重复次数、播报间隔时长、目标页面顺序等。在接收到录屏配置参数时，向云服务器发送动态码请求，并通过录屏扩展启动录屏功能。相应的，在定时器计时时长达到录屏时长时，通过录屏扩展关闭录屏功能，并获取录屏功能启动过程中所录制的录屏视频，以提高录屏的效率，减少录屏时间。
为了便于理解，以主APP、录制扩展和要录制的目标APP为例进行说明，但并不对本方案进行限定。为方便理解，可以定义主APP为A，录制扩展为B，要录制的目标APP为C，目标APP的目标页面为P1、P2，流程为用户通过录屏方式获取目标页面，录制成功后向用户展示获取到的目标页面和录制的视频，其具体过程如下：
（1）用户打开主APP的录屏页面，从云服务端获取录屏过程中的配置参数，包括录屏的最大时长、语音播报重复次数、播报间隔时长、目标页面顺序等。
（2）检查A是否包含最新的目标页面识别模型，如果本地为包含最新模型，下载最新模型；并加载最新模型，初始化模型。
（3）TTS播报初始化和保活设置。TTS播报为A内置的语音播报功能，设置其声音音色、声音速率、声音音调、声音音量和循环次数等，由于***特性，会对后台程序在超过一段时间后进行***回收，在进行录屏操作过程中，主APP都处在后台状态，如果不做特殊处理，会在一段时间后（一般为一分钟）被***回收，强制关闭后台程序，所以需要对主APP进行保活操作。通常的操作为在后台循环播放一段无声的音频，设置APP的后台模式，在录屏期间播放音频，录屏结束后，关闭音频播放，达到后台程序保活的效果。
（4）注册A***通知，监听APP前后台切换、APP保活、锁屏处理、录屏状态变化等，注册和监听A与C的指令通信，例如录屏启动、结束等动作，确保录屏过程中状态的同步。
（5）启动本地socket长连接服务，监听端口数据回调。此时完成录屏的前置操作，开始进入录屏过程，参考图7，图7为本发明录屏信息收集方法第三实施例中录屏过程的步骤逻辑示意图。如图所示，其具体过程如下：
（6）开启录屏。用户开启录屏，判断当前***是否支持应用外录屏，判断当前录屏功能是否被占用，以及手机音量是否打开，均给出相应提示，同时，检测本地是否有历史版本的录屏文件，有则删除，保证本地仅保留一份录屏相关文件。
（7）打开目标软件，并进行语音播报指引。开启录屏直播后，通过URLScheme或者Universal Link形式打开C，后台TTS播报“请登录并打开页面P1”。
（8）启动录屏总时长定时器。与此同时会启动整个录屏总时长的定时器，用于控制录屏时间，避免录制时间超长，定时器触发后会播报语音并结束录屏。
（9）录屏视频帧回调。开启录屏后，录屏扩展会收到视频帧的回调，包含CMSampleBufferRef和RPSampleBufferType对象，代表帧数据结构和帧类型。
（10）拆分并压缩视频帧，并发送视频帧到主工程。由于A对扩展进程有内存限制，扩展在使用期间的内存占用不能超过50M，一旦超过会自动关闭扩展进程。所以，不能在扩展中做过多的逻辑代码操作，包括模型识别，读写文件等，要保证扩展和主工程的数据传输顺畅，不能因为传输堵塞导致内存暴涨等。
基于以上***层面的限制，考虑将视频帧进行拆分传输，并对其进行等比例的压缩处理。***可默认视频帧存储格式为NV12，由于上述内存限制，为避免录屏时内存暴涨，需将视频帧进行拆分，将一个视频帧拆分成多个有序，方便重组的数据包，那么平面格式的I420字节数组是一个好的选择。将NV12格式平面形式的分量，拆分成I420格式Y、U、V三个平面格式的三个Byte数组，选择这种格式是为了方便传输和重新组合。
（11）组装视频帧，语音播报指引用户完成目标操作获得余下其他的视频帧。主工程接收到视频帧拆分的数据包后，对同一时刻的数据包进行组装成完整的I420视频帧，然后还原成最初的NV12格式，至此，一个视频帧从扩展到主工程的传输完成。
（12）在用户完成目标操作时，主工程将视频帧写入文件。主工程直接对I420视频帧进行后续处理，由于I420是单平面存储格式，处理速度更快，不超过0.2ms，结合accelerate库，将I420视频帧（YUV格式）转换为AI模型输入的RGBA格式。
（13）将目标视频帧输入模型获取目标视频帧评估分数。根据AI模型返回的预测分数，并结合步骤（1）中配置的目标页面顺序，满足以下规则认为目标页面识别成功：
1、预测分数大于设置阈值（分数大于及格分判断）。阈值根据自身模型训练情况自行设置，该阈值表示目标页面的可信程度。
2、考虑到识别的目标页面可信程度并非100%，所以构建一个大小为10，先进先出的信任队列，存储视频帧页面，在当前队列中的视频帧预测分数均超过设置阈值，则认为当前用户所处页面为目标页面的可信程度较高，截取当前时刻该队列中分数最高的页面做后续展示和目标页面存储。
（14）完成（13）步骤的P1目标页面后，语音播报“打开页面P2”，并重复（15）步骤的判断和目标页面识别。若预测分数小于设置阈值，则语音播报指引用户完成目标操作对余下其他的视频帧进行判断；若预测分数大于设置阈值，则保存目标页面，并接着判断是否还有目标页面，语音播报指引用户完成目标操作对余下其他的视频帧进行判断。
（15）若不存在其他目标页面，目标页面均识别完成，语音播报提示录屏结束，对录屏现场处理，完成视频文件写操作，停止录屏插件，语音播报“录屏已完成，请返回原APP”，回到主APP。至此，录屏流程结束，输出为目标页面识别的截图以及录屏视频。
在步骤（8）时启动了整个录屏总时长的定时器，用于控制录屏时间，避免录制时间超长。录屏时会判断定时器是否结束，若未结束，则保持步骤（9）的；若结束，录屏时间定时器触发后会播报语音并结束录屏。
本实施例通过上述方法，提供了更加灵活的配置方案，以及对于收集的录屏信息过程能够实时反馈。另外，针对录屏过程中的欺诈问题，例如黑产用户通过展示预先录制好的视频或者拍摄好的图片来尝试绕过资料收集等欺诈手段，上述方案在录屏过程中会对视频帧实时进行分析，对于问题操作能实时做出反馈，还可以通过添加自定义的反欺诈操作流程让用户同步操作，检测用户操作的真实性。最后可以得到准确性较高、真实性较高的用户信息资料。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有录屏信息收集程序，所述录屏信息收集程序被处理器执行时实现如上文所述的录屏信息收集方法的步骤。
参照图8，图8为本发明录屏信息收集装置第一实施例的结构框图。
如图8所示，本发明实施例提出的录屏信息收集装置包括：
录屏启动模块801，用于在接收到目标用户的业务请求时，向云服务器发送动态码请求，并通过录屏扩展启动录屏功能，所述云服务器基于所述动态码请求生成反欺诈动态码；
语音播报模块802，用于根据所述业务请求跳转至所述业务请求对应的目标软件，并通过TTS语音播报向所述目标用户播报所述业务请求对应的操作步骤；
视频帧获取模块803，用于在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧，所述录屏扩展通过socket服务将所述视频帧进行格式优化获得视频帧页面集，所述视频帧页面集包括基于所述反欺诈动态码验证生成的反欺诈页面；
页面识别模块804，用于通过目标页面识别模型对所述视频帧页面集进行页面识别，并将识别过程中达到匹配阈值时所对应的视频帧页面作为目标页面图像；
信息收集模块805，用于将所述录屏功能启动过程中所获得的录屏视频、所述目标页面图像和所述反欺诈动态码上传至所述云服务器。
本实施例若目标用户预对某一软件进行业务操作，且该软件需要进行身份验证和操作验证。此时，可通过信息收集设备对其进行录屏信息收集，能够在录屏过程对收集的信息实时反馈，得到准确性较高、真实性较高的录屏信息。首先，目标用户打开信息收集设备，向信息收集设备发送关于该软件的业务请求；此时信息收集设备根据业务请求向云服务器发送动态码请求，获取云服务器生成的反欺诈动态码，用于之后的操作验证。然后信息收集设备开启录屏扩展录制之后的目标用户的操作，并开启TTS语音播报向目标用户播报对应的操作步骤。目标用户对所述目标软件进行操作，信息收集设备通过录屏扩展获取目标用户操作过程对应的视频帧。由于录屏扩展内存限制，录屏扩展可对视频帧进行压缩拆分等操作发送给主工程处理。信息收集设备通过目标页面识别模型对视频帧页面集进行页面识别，将识别过程中达到匹配阈值时所对应的视频帧页面作为目标页面图像。最后将录屏功能启动过程中所录制的录屏视频、上述目标页面图像和反欺诈动态码上传至云服务器，从而完成了目标用户进行业务操作过程的录屏信息的收集。由于本实施例在录屏过程中实时对视频帧进行分析，对于问题操作能实时做出反馈，同时通过识别反欺诈页面检测用户操作的真实性，能够在录屏过程对收集的信息实时反馈，得到准确性较高、真实性较高的录屏信息。
基于本发明上述录屏信息收集装置第一实施例，提出本发明录屏信息收集装置的第二实施例。
在本实施例中，所述视频帧获取模块803，还用于在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧；所述录屏扩展通过socket服务对所述视频帧进行格式转换，获得所述视频帧对应的I420字节数组，并对所述I420字节数组进行拆分压缩处理，获得处理后的I420字节数组；在接收到所述录屏扩展传输的处理后的I420字节数组时，对所述处理后的I420字节数组进行还原，获得视频帧页面集。
进一步地，所述视频帧获取模块803，还用于在通过socket服务接收到所述录屏扩展传输的处理后的I420字节数组时，对所述处理后的I420字节数组进行拼接组装，获得I420视频帧集；对所述I420视频帧集进行格式转换，获得所述I420视频帧集对应的NV12视频帧集；对所述NV12视频帧集进行***转换，获得视频帧页面集。
进一步地，所述页面识别模块804，还用于通过目标页面识别模型对所述视频帧页面集进行页面识别，获得所述视频帧页面集中视频帧页面对应的预测分数；按预设页面顺序依次判断所述视频帧页面集中各视频帧页面的预测分数是否达到匹配阈值；在所述预测分数达到匹配阈值时，将达到所述匹配阈值时所对应的视频帧页面作为目标页面图像。
进一步地，所述页面识别模块804，还用于根据所述视频帧页面集构建信任队列，所述信任队列基于先进先出原则存储所述视频帧页面集中的各视频帧页面；按预设页面顺序依次判断所述信任队列中的各视频帧页面是否达到匹配阈值；相应的，所述录屏信息收集装置还包括录屏结束模块806，所述录屏结束模块806，用于在所述目标页面图像识别结束时，通过所述录屏扩展关闭录屏功能，并获取所述录屏功能启动过程中所录制的录屏视频。
进一步地，所述录屏启动模块801，还用于在接收到目标用户的业务请求时，根据所述业务请求向云服务器发送参数配置请求，所述云服务器基于所述参数配置请求生成录屏过程中所需的录屏配置参数，所述录屏配置参数包括录屏时长和预设页面顺序；在接收到所述录屏配置参数时，向所述云服务器发送动态码请求，并通过录屏扩展启动录屏功能；相应的，所述录屏结束模块806，还用于在定时器计时时长达到所述录屏时长时，通过所述录屏扩展关闭录屏功能，并获取所述录屏功能启动过程中所录制的录屏视频。
进一步地，所述录屏信息收集装置还包括信息验证模块807，所述信息验证模块807，用于所述云服务器对所述目标页面图像进行图文转换，获得所述目标页面图像对应的文字信息，所述目标页面图像包括反欺诈页面，所述文字信息包括反欺诈页面信息；所述云服务器基于所述反欺诈动态码对所述反欺诈页面信息进行验证，并判断验证结果是否符合反欺诈要求，在符合反欺诈要求时，结束录屏信息的收集。
本发明录屏信息收集装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种录屏信息收集方法，其特征在于，所述录屏信息收集方法包括：
在录屏之前，通过录屏页面进行前置检查，判断前置检查是否正常；若前置检查正常，则检查录屏信息收集设备本地是否存在目标页面识别模型；若存在目标页面识别模型，则加载初始化目标页面识别模型；若不存在目标页面识别模型，则下载目标页面识别模型，并初始化目标页面识别模型；对录屏信息收集设备的TTS语音播报进行初始化和保活设置，初始化设置包括：声音音色、声音速率、声音音调、声音音量和循环次数，保活设置包括：播放无声音频；启动接收视频帧的socket服务，用于监听端口数据回调；注册主APP与录屏扩展的通信通知，用于监听主APP前后台切换、APP保活、锁屏处理和录屏状态变化；
在接收到目标用户的业务请求时，向云服务器发送动态码请求，并通过录屏扩展启动录屏功能，所述云服务器基于所述动态码请求生成反欺诈动态码；
根据所述业务请求跳转至所述业务请求对应的目标软件，并通过TTS语音播报向所述目标用户播报所述业务请求对应的操作步骤；
在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧，所述录屏扩展通过socket服务将所述视频帧进行格式优化获得视频帧页面集，所述视频帧页面集包括基于所述反欺诈动态码验证生成的反欺诈页面；
通过目标页面识别模型对所述视频帧页面集进行页面识别，并将识别过程中达到匹配阈值时所对应的视频帧页面作为目标页面图像；
将所述录屏功能启动过程中所获得的录屏视频、所述目标页面图像和所述反欺诈动态码上传至所述云服务器；
其中，所述在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧，所述录屏扩展通过socket服务将所述视频帧进行格式优化获得视频帧页面集，包括：在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧；所述录屏扩展通过socket服务对所述视频帧进行格式转换，获得所述视频帧对应的I420字节数组，并对所述I420字节数组进行拆分压缩处理，获得处理后的I420字节数组，并记录当前帧时间；在通过socket服务接收到所述录屏扩展传输的处理后的I420字节数组时，对所述处理后的I420字节数组进行拼接组装，获得I420视频帧集；对所述I420视频帧集进行格式转换，获得所述I420视频帧集对应的NV12视频帧集；对所述NV12视频帧集进行***转换，获得视频帧页面集；其中，NV12视频帧的存储格式为两个平面存储，在存储格式中，U和V分量的分辨率是Y 分量的一半，Y分量存储在一个平面，U 和V分量交错存储打包在另一个平面；I420字节数组的存储格式为三个平面存储，Y、U、V三个分量各自使用单独的Byte型数组存储。
2.如权利要求1所述的录屏信息收集方法，其特征在于，所述通过目标页面识别模型对所述视频帧页面集进行页面识别，并将识别过程中达到匹配阈值时所对应的视频帧页面作为目标页面图像，包括：
通过目标页面识别模型对所述视频帧页面集进行页面识别，获得所述视频帧页面集中视频帧页面对应的预测分数；
按预设页面顺序依次判断所述视频帧页面集中各视频帧页面的预测分数是否达到匹配阈值；
在所述预测分数达到匹配阈值时，将达到所述匹配阈值时所对应的视频帧页面作为目标页面图像。
3.如权利要求2所述的录屏信息收集方法，其特征在于，所述按预设页面顺序依次判断所述视频帧页面集中各视频帧页面的预测分数是否达到匹配阈值，包括：
根据所述视频帧页面集构建信任队列，所述信任队列基于先进先出原则存储所述视频帧页面集中的各视频帧页面；
按预设页面顺序依次判断所述信任队列中的各视频帧页面是否达到匹配阈值；
相应的，所述在所述预测分数达到匹配阈值时，将达到所述匹配阈值时所对应的视频帧页面作为目标页面图像之后，还包括：
在所述目标页面图像识别结束时，通过所述录屏扩展关闭录屏功能，并获取所述录屏功能启动过程中所录制的录屏视频。
4.如权利要求3所述的录屏信息收集方法，其特征在于，所述在接收到目标用户的业务请求时，向云服务器发送动态码请求，并通过录屏扩展启动录屏功能，包括：
在接收到目标用户的业务请求时，根据所述业务请求向云服务器发送参数配置请求，所述云服务器基于所述参数配置请求生成录屏过程中所需的录屏配置参数，所述录屏配置参数包括录屏时长和预设页面顺序；
在接收到所述录屏配置参数时，向所述云服务器发送动态码请求，并通过录屏扩展启动录屏功能；
相应的，所述在所述预测分数达到匹配阈值时，将达到所述匹配阈值时所对应的视频帧页面作为目标页面图像之后，还包括：
在定时器计时时长达到所述录屏时长时，通过所述录屏扩展关闭录屏功能，并获取所述录屏功能启动过程中所录制的录屏视频。
5.如权利要求1所述的录屏信息收集方法，其特征在于，所述将所述录屏功能启动过程中所获得的录屏视频、所述目标页面图像和所述反欺诈动态码上传至所述云服务器之后，还包括：
所述云服务器对所述目标页面图像进行图文转换，获得所述目标页面图像对应的文字信息，所述目标页面图像包括反欺诈页面，所述文字信息包括反欺诈页面信息；
所述云服务器基于所述反欺诈动态码对所述反欺诈页面信息进行验证，并判断验证结果是否符合反欺诈要求，在符合反欺诈要求时，结束录屏信息的收集。
6.一种录屏信息收集装置，其特征在于，所述装置包括：
录屏启动模块，用于在接收到目标用户的业务请求时，向云服务器发送动态码请求，并通过录屏扩展启动录屏功能，所述云服务器基于所述动态码请求生成反欺诈动态码；
语音播报模块，用于根据所述业务请求跳转至所述业务请求对应的目标软件，并通过TTS语音播报向所述目标用户播报所述业务请求对应的操作步骤；
视频帧获取模块，用于在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧，所述录屏扩展通过socket服务将所述视频帧进行格式优化获得视频帧页面集，所述视频帧页面集包括基于所述反欺诈动态码验证生成的反欺诈页面；
页面识别模块，用于通过目标页面识别模型对所述视频帧页面集进行页面识别，并将识别过程中达到匹配阈值时所对应的视频帧页面作为目标页面图像；
信息收集模块，用于将所述录屏功能启动过程中所获得的录屏视频、所述目标页面图像和所述反欺诈动态码上传至所述云服务器；
在录屏之前，通过录屏页面进行前置检查，判断前置检查是否正常；若前置检查正常，则检查录屏信息收集设备本地是否存在目标页面识别模型；若存在目标页面识别模型，则加载初始化目标页面识别模型；若不存在目标页面识别模型，则下载目标页面识别模型，并初始化目标页面识别模型；对录屏信息收集设备的TTS语音播报进行初始化和保活设置，初始化设置包括：声音音色、声音速率、声音音调、声音音量和循环次数，保活设置包括：播放无声音频；启动接收视频帧的socket服务，用于监听端口数据回调；注册主APP与录屏扩展的通信通知，用于监听主APP前后台切换、APP保活、锁屏处理和录屏状态变化；
其中，所述在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧，所述录屏扩展通过socket服务将所述视频帧进行格式优化获得视频帧页面集，包括：在所述目标用户基于所述操作步骤对所述目标软件进行操作时，通过所述录屏扩展获取所述目标用户操作过程对应的视频帧；所述录屏扩展通过socket服务对所述视频帧进行格式转换，获得所述视频帧对应的I420字节数组，并对所述I420字节数组进行拆分压缩处理，获得处理后的I420字节数组，并记录当前帧时间；在通过socket服务接收到所述录屏扩展传输的处理后的I420字节数组时，对所述处理后的I420字节数组进行拼接组装，获得I420视频帧集；对所述I420视频帧集进行格式转换，获得所述I420视频帧集对应的NV12视频帧集；对所述NV12视频帧集进行***转换，获得视频帧页面集；其中，NV12视频帧的存储格式为两个平面存储，在存储格式中，U和V分量的分辨率是Y 分量的一半，Y分量存储在一个平面，U 和V分量交错存储打包在另一个平面；I420字节数组的存储格式为三个平面存储，Y、U、V三个分量各自使用单独的Byte型数组存储。
7.一种录屏信息收集设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的录屏信息收集程序，所述录屏信息收集程序配置为实现如权利要求1至5中任一项所述的录屏信息收集方法的步骤。
8.一种存储介质，其特征在于，所述存储介质上存储有录屏信息收集程序，所述录屏信息收集程序被处理器执行时实现如权利要求1至5任一项所述的录屏信息收集方法的步骤。
CN202310926909.9A 2023-07-27 2023-07-27 录屏信息收集方法、装置、设备及存储介质 Active CN116647727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310926909.9A CN116647727B (zh) 2023-07-27 2023-07-27 录屏信息收集方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310926909.9A CN116647727B (zh) 2023-07-27 2023-07-27 录屏信息收集方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116647727A CN116647727A (zh) 2023-08-25
CN116647727B true CN116647727B (zh) 2024-02-06

Family

ID=87619785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310926909.9A Active CN116647727B (zh) 2023-07-27 2023-07-27 录屏信息收集方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116647727B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783822A (zh) * 2019-01-24 2019-05-21 中国—东盟信息港股份有限公司 一种基于验证码的数据样本识别***及其方法
WO2021134237A1 (zh) * 2019-12-30 2021-07-08 深圳市欢太科技有限公司 一种视频录制方法、装置及计算机可读存储介质
CN113852619A (zh) * 2021-09-22 2021-12-28 北京顶象技术有限公司 交互式验证方法、装置和电子设备
CN115471775A (zh) * 2022-09-29 2022-12-13 深圳壹账通智能科技有限公司 基于录屏视频的信息验证方法、装置、设备及存储介质
CN116484880A (zh) * 2023-04-13 2023-07-25 北京京东拓先科技有限公司 信息处理方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009008077A1 (ja) * 2007-07-11 2009-01-15 Fujitsu Limited 利用者認証判定装置、利用者認証判定システム、利用者認証判定プログラムおよび利用者認証判定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783822A (zh) * 2019-01-24 2019-05-21 中国—东盟信息港股份有限公司 一种基于验证码的数据样本识别***及其方法
WO2021134237A1 (zh) * 2019-12-30 2021-07-08 深圳市欢太科技有限公司 一种视频录制方法、装置及计算机可读存储介质
CN113852619A (zh) * 2021-09-22 2021-12-28 北京顶象技术有限公司 交互式验证方法、装置和电子设备
CN115471775A (zh) * 2022-09-29 2022-12-13 深圳壹账通智能科技有限公司 基于录屏视频的信息验证方法、装置、设备及存储介质
CN116484880A (zh) * 2023-04-13 2023-07-25 北京京东拓先科技有限公司 信息处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN116647727A (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN109726624B (zh) 身份认证方法、终端设备和计算机可读存储介质
CN111741356B (zh) 双录视频的质检方法、装置、设备及可读存储介质
CN110602544A (zh) 视频展示方法及装置、电子设备、存储介质
WO2021175019A1 (zh) 音视频录制引导方法、装置、计算机设备及存储介质
CN113163272B (zh) 视频剪辑方法、计算机设备及存储介质
CN108449321B (zh) 登陆方法、服务器和客户端
CN111339806B (zh) 唇语识别模型的训练方法、活体识别方法及装置
CN108920640B (zh) 基于语音交互的上下文获取方法及设备
CN105551488A (zh) 语音控制方法及***
CN109389098B (zh) 一种基于唇语识别的验证方法以及***
CN109271757B (zh) 一种软件的离线激活方法及***
CN110348193A (zh) 验证方法、装置、设备和存储介质
CN108182270A (zh) 搜索内容发送及搜索方法、智能笔、搜索终端及存储介质
CN111586490A (zh) 一种多媒体互动方法、装置、设备及存储介质
CN111931188A (zh) 登陆场景下漏洞测试方法及***
CN116647727B (zh) 录屏信息收集方法、装置、设备及存储介质
CN111128139B (zh) 无侵入式语音测试方法及装置
CN113489846B (zh) 一种语音交互测试方法、装置、设备及计算机存储介质
CN110875905A (zh) 账号管理方法、装置及存储介质
CN114240315A (zh) 一种基于云上稽查执法取证的方法及装置
CN113657132A (zh) 基于二维码识别的***图像识别方法、装置、设备及介质
CN114554131A (zh) 一种高安全性的智慧屏会议内容分享方法、***及介质
CN112165594A (zh) 基于视频通信的业务办理方法、装置、计算机设备
CN112911003A (zh) 电子数据提取方法、计算机设备和存储介质
CN102075329B (zh) 一种用户图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant