CN113760510B - 一种数据采集的优化方法及终端 - Google Patents

Abstract

本发明提供的一种数据采集的优化方法及终端，包括步骤：预注册一个中断程序至主线程中；通过第一异步线程发送中断信号给所述中断程序以控制所述主线程中断；通过所述第一异步线程获取所述主线程的堆栈信息，并写入本地队列中。本发明通过在主线程中注册一个中断程序，并通过一个异步线程发送中断信号给中断程序以控制主线程进入中断，从而异步线程可以在主线程进入中断过程中对线程的堆栈信息进行采集并存入本地队列中，在不影响主线程的情况下，实现堆栈信息的优先收集，从而能够在后续通过回溯的方式获取响应慢的时段的堆栈信息，实现对堆栈的分析目的。

Description

一种数据采集的优化方法及终端

技术领域

本发明涉及数据采集技术领域，具体涉及一种数据采集的优化方法及终端。

背景技术

移动互联网蓬勃发展的今天，存在有各种各样的客户端APP，而每一种的APP在使用过程中，都可能存在响应慢的情况，比如可能是网络问题，可能是机型问题，可能是程序中执行的逻辑出现问题等。当出现这种响应慢的情况时，一般都需要专业的程序员去获取对应的日志信息或者堆栈信息进行分析与解决。而为了获取堆栈日志信息，就需要优先实现堆栈信息的收集，并且需要由程序优先判断哪个部分存在响应慢的场景，但是，当程序判断出响应慢再去收集此时的堆栈信息时，堆栈信息已经间隔了较长的时间，其准确性会降低，所以必须优先收集堆栈信息；而一直开启收集堆栈信息又会对线程堵塞，导致线程进一步的响应慢。

发明内容

本发明所要解决的技术问题是：提供一种数据采集的优化方法及终端，能够在不影响主线程的情况下，实现对堆栈的分析。

为了解决上述技术问题，本发明采用的技术方案为：

一种数据采集的优化方法，包括步骤：

S1、预注册一个中断程序至主线程中；

S2、通过第一异步线程发送中断信号给所述中断程序以控制所述主线程中断；

S3、通过所述第一异步线程获取所述主线程的堆栈信息，并写入本地队列中。

为了解决上述技术问题，本发明提供的另一个技术方案为：

一种数据采集的优化终端，包括存储器、处理器以及存储在存储器上并可在处理器上执行的第一计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、预注册一个中断程序至主线程中；

S2、通过第一异步线程发送中断信号给所述中断程序以控制所述主线程中断；

S3、通过所述第一异步线程获取所述主线程的堆栈信息，并写入本地队列中。

本发明的有益效果在于：通过在主线程中注册一个中断程序，并通过一个异步线程发送中断信号给中断程序以控制主线程进入中断，从而异步线程可以在主线程进入中断过程中对线程的堆栈信息进行采集并存入本地队列中，在不影响主线程的情况下，实现堆栈信息的优先收集，从而能够在后续通过回溯的方式获取响应慢的时段的堆栈信息，实现对堆栈的分析目的。

附图说明

图1为本发明实施例的一种数据采集的优化方法的流程图；

图2为本发明实施例的一种数据采集的优化终端的结构示意图。

标号说明：

1、一种数据采集的优化终端；2、存储器；3、处理器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，一种数据采集的优化方法，包括步骤：

S1、预注册一个中断程序至主线程中；

S2、通过第一异步线程发送中断信号给所述中断程序以控制所述主线程中断；

S3、通过所述第一异步线程获取所述主线程的堆栈信息，并写入本地队列中。

由上述描述可知，本发明的有益效果在于：通过在主线程中注册一个中断程序，并通过一个异步线程发送中断信号给中断程序以控制主线程进入中断，从而异步线程可以在主线程进入中断过程中对线程的堆栈信息进行采集并存入本地队列中，在不影响主线程的情况下，实现堆栈信息的优先收集，从而能够在后续通过回溯的方式获取响应慢的时段的堆栈信息，实现对堆栈的分析目的。

进一步地，所述S2具体为：

所述第一异步线程每隔预设时长向所述中断程序发送所述中断信号，所述中断程序接收到所述中断信号后，控制所述主线程中断。

由上述描述可知，采用第一异步线程定时发送中断信号给中断程序控制整个线程进入中断，使后续第一异步线能实时获取对应时刻的对应堆栈信息、减少堆栈信息收集的时间间隔的同时不会占用线程造成线程的堵塞，也避免了收集堆栈信息间隔较长时间而造成的数据不准确。

进一步地，所述S3之后还包括：

所述主线程退出中断继续执行后续逻辑。

由上述描述可知，第一异步线程在主线程中断过程中快速获取堆栈信息并写入本地队列后立即返回，主线程退出中断继续执行后续线程的逻辑，即获取堆栈信息的方式是通过线程中断，而不是将线程挂起，减少了线程的开销，同时，定时的第一异步线程也只是把堆栈信息记录在本地队列中，未给主线程带来较大的等待时间，避免了线程响应速率的降低。

进一步地，所述S3还包括：

通过第二异步线程将所述本地队列中存储的所述堆栈信息上传至服务端中。

由上述描述可知，通过第二异步线程将存储在客户端本地队列中的堆栈信息上传至服务端，能够在服务端直观查看堆栈信息，便于后续工作人员对堆栈数据进行分析。

进一步地，所述S1还包括：

在预设程序的程序起始点和程序结束点预埋监测点；

所述S3之后还包括步骤：

S4、当所述主线程执行所述预设程序时，按照执行情况触发程序起始点和程序结束点上的监测点以返回开始时间或结束时间给服务端，由所述服务端根据所述开始时间和所述结束时间判断所述预设程序是否存在响应慢场景以在出现响应慢场景时将这段时间的堆栈信息进行聚合展示。

由上述描述可知，在线程的各预设程序的起始点和结束点预埋监测点，用于获取预设程序的执行时间，从而服务端能够根据程序的执行时间判断该程序是否存在响应慢的场景，并能在检测到存在响应慢的场景的情况下从预先由客户端本地队列上传过来的堆栈信息中回溯到该执行时间段内的堆栈信息，从而将其聚合展示以便工作人员直观查看并分析出该响应慢的程序中到底是哪个方法耗时较久从而导致响应慢，能够在一定程度上较为完整的还原某一个时间段之内的具体信息，提供较为准确的堆栈分析数据。

请参照图2，一种数据采集的优化终端，包括存储器、处理器以及存储在存储器上并可在处理器上执行的第一计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、预注册一个中断程序至主线程中；

S2、通过第一异步线程发送中断信号给所述中断程序以控制所述主线程中断；

S3、通过所述第一异步线程获取所述主线程的堆栈信息，并写入本地队列中。

由上述描述可知，本发明的有益效果在于：基于同一技术构思，配合上述的一种数据采集的优化方法，提供一种数据采集的优化终端，通过在主线程中注册一个中断程序，并通过一个异步线程发送中断信号给中断程序以控制主线程进入中断，从而异步线程可以在主线程进入中断过程中对线程的堆栈信息进行采集并存入本地队列中，在不影响主线程的情况下，实现堆栈信息的优先收集，从而能够在后续通过回溯的方式获取响应慢的时段的堆栈信息，实现对堆栈的分析目的。

进一步地，所述S2具体为：

所述第一异步线程每隔预设时长向所述中断程序发送所述中断信号，所述中断程序接收到所述中断信号后，控制所述主线程中断。

由上述描述可知，采用第一异步线程定时发送中断信号给中断程序控制整个线程进入中断，使后续第一异步线能实时获取对应时刻的对应堆栈信息、减少堆栈信息收集的时间间隔的同时不会占用线程造成线程的堵塞，也避免了收集堆栈信息间隔较长时间而造成的数据不准确。

进一步地，所述S3之后还包括：

所述主线程退出中断继续执行后续逻辑。

由上述描述可知，第一异步线程在主线程中断过程中快速获取堆栈信息并写入本地队列后立即返回，主线程退出中断继续执行后续线程的逻辑，即获取堆栈信息的方式是通过线程中断，而不是将线程挂起，减少了线程的开销，同时，定时的第一异步线程也只是把堆栈信息记录在本地队列中，未给主线程带来较大的等待时间，避免了线程响应速率的降低。

进一步地，所述S3还包括：

通过第二异步线程将所述本地队列中存储的所述堆栈信息上传至服务端中。

由上述描述可知，通过第二异步线程将存储在客户端本地队列中的堆栈信息上传至服务端，能够在服务端直观查看堆栈信息，便于后续工作人员对堆栈数据进行分析。

进一步地，所述S1还包括：

在预设程序的程序起始点和程序结束点预埋监测点；

所述S3之后还包括步骤：

S4、当所述主线程执行所述预设程序时，按照执行情况触发程序起始点和程序结束点上的监测点以返回开始时间或结束时间给服务端，由所述服务端根据所述开始时间和所述结束时间判断所述预设程序是否存在响应慢场景以在出现响应慢场景时将这段时间的堆栈信息进行聚合展示。

由上述描述可知，在线程的各预设程序的起始点和结束点预埋监测点，用于获取预设程序的执行时间，从而服务端能够根据程序的执行时间判断该程序是否存在响应慢的场景，并能在检测到存在响应慢的场景的情况下从预先由客户端本地队列上传过来的堆栈信息中回溯到该执行时间段内的堆栈信息，从而将其聚合展示以便工作人员直观查看并分析出该响应慢的程序中到底是哪个方法耗时较久从而导致响应慢，能够在一定程度上较为完整的还原某一个时间段之内的具体信息，提供较为准确的堆栈分析数据。

请参照图1，本发明的实施例一为：

在此之前，需要说明的是，本实施例中涉及到的堆栈信息就是堆栈日志，所谓的堆栈日志，就是某一时刻的程序或者虚拟机运行时间点的内存信息。互联网客户端的线程规定在获取堆栈信息的时候，线程必须是同步停止的，这是程序或虚拟机的特性，无法更改。

因此，旧有的获取堆栈信息的方式如下：

如果程序发生异常，则很容易获取堆栈信息，因为此时程序已经停止运行了。但是当程序正常执行只是有点卡或者响应慢时，则一般只能在程序执行期间将主线程多次进行挂起从而获取堆栈信息，或是等程序完全执行完毕后再获取堆栈信息，但由于程序执行完成后已经过了很长时间，此时获取的堆栈信息可能不准确；而由于挂起线程的方式需要CPU重新分配时间与资源给主线程，存在一定的耗时，同时当线程恢复时，主线程并不是马上就能执行，而是要等待CPU空闲后重新调度才能执行后续线程逻辑，因此线程的频繁挂起与恢复，会大大降低线程的执行效率。

因此，为了克服上述问题，本实施例提供了一种数据采集的优化方法，在获取堆栈信息的时候主线程采用中断状态代替传统的挂起状态，如图1所示，具体包括如下步骤：

S1、预注册一个中断程序至主线程中；

S2、通过第一异步线程发送中断信号给中断程序以控制主线程中断；

S3、通过第一异步线程获取主线程的堆栈信息，并写入本地队列中。

即在本实施例中，通过在主线程中注册一个中断程序，并通过一个异步线程发送中断信号给中断程序以控制主线程进入中断，从而异步线程可以在主线程进入中断过程中对线程的堆栈信息进行采集并存入本地队列中，在不影响主线程的情况下，实现堆栈信息的优先收集，从而能够在后续通过回溯的方式获取响应慢的时段的堆栈信息，实现对堆栈的分析目的。

本发明的实施例二为：

一种数据采集的优化方法，在上述实施例的基础上，在本实施例中，步骤S2具体为：

第一异步线程每隔预设时长向中断程序发送中断信号，中断程序接收到中断信号后，控制主线程中断。

即在本实施例中，采用第一异步线程定时发送中断信号给中断程序控制整个线程进入中断，使后续第一异步线能实时获取对应时刻的对应堆栈信息、减少堆栈信息收集的时间间隔的同时不会占用线程造成线程的堵塞，也避免了收集堆栈信息间隔较长时间而造成的数据不准确。同时，第一异步线程定时发送中断信号这一功能，也可以由预先在客户端设置一个开关，用于控制第一异步线程开启和关闭定时发送终端信号和定时采集堆栈信息的功能，或者设置在服务端中通过后台管理界面由运维人员手动开启开关。

其中，步骤S3之后还包括：

主线程退出中断继续执行后续逻辑。

即在本实施例中，第一异步线程在主线程中断过程中快速获取堆栈信息并写入本地队列后立即返回，主线程退出中断能立即继续执行后续线程的逻辑，即获取堆栈信息的方式是通过线程中断，而不是将线程挂起，减少了线程的开销，同时，定时的第一异步线程也只是把堆栈信息记录在本地队列中，未给主线程带来较大的等待时间，避免了线程响应速率的降低。

本发明的实施例三为：

一种数据采集的优化方法，在上述实施例一或实施例二的基础上，在本实施例中，步骤S3还包括：

通过第二异步线程将本地队列中存储的堆栈信息上传至服务端中。

即在本实施例中，通过第二异步线程将存储在客户端本地队列中的堆栈信息上传至服务端，能够在服务端直观查看堆栈信息，便于后续工作人员对堆栈数据进行分析。

其中，步骤S1还包括：在预设程序的程序起始点和程序结束点预埋监测点。

其中，步骤S3之后还包括步骤：

S4、当主线程执行预设程序时，按照执行情况触发程序起始点和程序结束点上的监测点以返回开始时间或结束时间给服务端，由服务端根据开始时间和结束时间判断预设程序是否存在响应慢场景以在出现响应慢场景时将这段时间的堆栈信息进行聚合展示。

即在本实施例中，在线程的各预设程序的起始点和结束点预埋监测点，用于获取预设程序的执行时间，从而服务端能够根据程序的执行时间判断该程序是否存在响应慢的场景，并能在检测到存在响应慢的场景的情况下从预先由客户端本地队列上传过来的堆栈信息中回溯到该执行时间段内的堆栈信息，从而将其聚合展示以便工作人员直观查看并分析出该响应慢的程序中到底是哪个方法耗时较久从而导致响应慢，能够在一定程度上较为完整的还原某一个时间段之内的具体信息，提供较为准确的堆栈分析数据。

比如，我们每隔10ms收集一次堆栈信息，假设在正常情况下一个程序执行1000ms即可执行完毕，该程序内部存在A、B、C三个小方法。假设正常情况下方法B只需要执行50ms即可执行结束，当其中方法B连续20个收集周期之内都存在时，则可能存在异常导致耗时增加。因此，在方法B执行的起始位置和结束位置分别预埋监测点，并将监测到的时间发送给服务端，服务端判断得到方法B的执行时间超过50ms，即判断得到方法B存在响应慢的异常情况，于是便将方法B执行时间段内所有的堆栈信息找出来并进行聚合操作，比如方法B内部不同周期内的堆栈信息可能会创建不同的对象信息，以及各个对象信息的存在时间多久等这些信息聚合计算，这样就可以分析出如下结果：总的时间段内，方法B执行总耗时多少、其中关键内存对象有多少个、每个内存对象的持续时间又是多少等，并将这些结果展示在服务端中，以便为下一步运维人员根据这些结果进行改进和分析提供数据依据。

另外，由于堆栈信息是某一个时刻点的内存快照信息，本实施例使用异步线程，通过定时的方式在不同的时间点收集多个时刻点的内存快照信息，后续在服务端中把这些内存快照信息聚合起来，能够为运维人员提供一种直观的程序执行过程中内存是如何消耗的说明。

请参照图2，本发明的实施例四为：

一种数据采集的优化终端1，包括存储器2、处理器3以及存储在存储器2上并可在处理器3上运行的计算机程序，处理器3在执行计算机程序时实现如上述实施例一至实施例三中任一实施例的一种数据采集的优化方法中的步骤。

综上所述，本发明提供的一种数据采集的优化方法及终端，通过在主线程中注册一个中断程序，并通过一个异步线程每隔预设时长发送中断信号给中断程序以控制主线程进入中断，从而异步线程可以在主线程进入中断过程中对线程的堆栈信息进行采集并存入本地队列中，减少堆栈信息收集的时间间隔，在不影响主线程的情况下，实现堆栈信息的优先收集，并上传给服务端，在服务端监测到有程序出现响应慢的情况时，能通过回溯的方式获取响应慢的时段的堆栈信息，并最终执行聚合操作并展示，以便工作人员直观查看并分析出该响应慢的程序中到底是哪个方法耗时较久从而导致响应慢，能够在一定程度之上较为完整的还原某一个时间段之内的具体堆栈信息，提供较为准确的堆栈数据，实现对堆栈的分析目的。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种数据采集的优化方法，其特征在于，包括步骤：

S1、预注册一个中断程序至主线程中，在预设程序的程序起始点和程序结束点预埋监测点；

S2、通过第一异步线程发送中断信号给所述中断程序以控制所述主线程中断；

S3、通过所述第一异步线程获取所述主线程的堆栈信息，并写入本地队列中；

S4、当所述主线程执行所述预设程序时，按照执行情况触发程序起始点和程序结束点上的监测点以返回开始时间或结束时间给服务端，由所述服务端根据所述开始时间和所述结束时间判断所述预设程序是否存在响应慢场景以在出现响应慢场景时将这段时间的堆栈信息进行聚合展示。

2.根据权利要求1所述的一种数据采集的优化方法，其特征在于，所述S2具体为：

所述第一异步线程每隔预设时长向所述中断程序发送所述中断信号，所述中断程序接收到所述中断信号后，控制所述主线程中断。

3.根据权利要求1所述的一种数据采集的优化方法，其特征在于，所述S3之后还包括：

所述主线程退出中断继续执行后续逻辑。

4.根据权利要求1所述的一种数据采集的优化方法，其特征在于，所述S3还包括：

通过第二异步线程将所述本地队列中存储的所述堆栈信息上传至服务端中。

5.一种数据采集的优化终端，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上执行的第一计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、预注册一个中断程序至主线程中，在预设程序的程序起始点和程序结束点预埋监测点；

S2、通过第一异步线程发送中断信号给所述中断程序以控制所述主线程中断；

S3、通过所述第一异步线程获取所述主线程的堆栈信息，并写入本地队列中；

S4、当所述主线程执行所述预设程序时，按照执行情况触发程序起始点和程序结束点上的监测点以返回开始时间或结束时间给服务端，由所述服务端根据所述开始时间和所述结束时间判断所述预设程序是否存在响应慢场景以在出现响应慢场景时将这段时间的堆栈信息进行聚合展示。

6.根据权利要求5所述的一种数据采集的优化终端，其特征在于，所述S2具体为：

所述第一异步线程每隔预设时长向所述中断程序发送所述中断信号，所述中断程序接收到所述中断信号后，控制所述主线程中断。

7.根据权利要求5所述的一种数据采集的优化终端，其特征在于，所述S3之后还包括：

所述主线程退出中断继续执行后续逻辑。

8.根据权利要求5所述的一种数据采集的优化终端，其特征在于，所述S3还包括：

通过第二异步线程将所述本地队列中存储的所述堆栈信息上传至服务端中。