CN116437379A - 数据收集性能评估方法、装置和***、存储介质 - Google Patents
数据收集性能评估方法、装置和***、存储介质 Download PDFInfo
- Publication number
- CN116437379A CN116437379A CN202211309033.5A CN202211309033A CN116437379A CN 116437379 A CN116437379 A CN 116437379A CN 202211309033 A CN202211309033 A CN 202211309033A CN 116437379 A CN116437379 A CN 116437379A
- Authority
- CN
- China
- Prior art keywords
- data
- network element
- functional network
- target
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013480 data collection Methods 0.000 title claims abstract description 269
- 238000011156 evaluation Methods 0.000 title claims abstract description 90
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000005259 measurement Methods 0.000 claims abstract description 72
- 238000007405 data analysis Methods 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000003993 interaction Effects 0.000 claims abstract description 20
- 238000004458 analytical method Methods 0.000 claims description 162
- 230000004044 response Effects 0.000 claims description 141
- 230000006870 function Effects 0.000 claims description 87
- 238000013523 data management Methods 0.000 claims description 84
- 230000001960 triggered effect Effects 0.000 claims description 63
- 238000009825 accumulation Methods 0.000 claims description 59
- 238000012549 training Methods 0.000 claims description 57
- 230000001186 cumulative effect Effects 0.000 claims description 35
- 238000001914 filtration Methods 0.000 claims description 12
- 230000006399 behavior Effects 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 20
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000012517 data analytics Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/08—Testing, supervising or monitoring using real traffic
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开涉及一种数据收集性能评估方法、装置和***、存储介质。该数据收集性能评估方法包括：测量功能网元执行数据收集时交互方面的测量数据，其中，所述功能网元为用于实现网络数据分析功能的网元；根据所述测量数据确定收集到数据的质量值；根据收集到数据的质量值，评估所述功能网元的数据收集性能。本公开能够测量和评估用于实现网络数据分析功能的网元的数据收集性能，可以量化和评估用于实现网络数据分析功能的网元收集到的数据质量。
Description
技术领域
本公开涉及无线通信领域，特别涉及一种数据收集性能评估方法、装置和***、存储介质。
背景技术
NWDAF(Network Data Analytics Function，网络数据分析功能网元)是5GC(5G核心网)中的网元，支持从NFs(Network Function，网络功能网元)、AFs(ApplicationFunction，应用功能网元)以及OAM(Operations,Administration,Maintenance，操作维护管理网元)收集数据用于分析。
发明内容
发明人通过研究发现：从运营商的角度来看，NWDAF网元作为一个提供网络数据分析功能的网络功能，数据收集的性能直接影响其分析性能，因此，如何监测NWDAF网元在数据收集方面的性能是一个关键问题。
鉴于以上技术问题中的至少一项，本公开提供了一种数据收集性能评估方法、装置和***、存储介质，能够测量和评估用于实现网络数据分析功能的网元的数据收集性能，可以量化和评估用于实现网络数据分析功能的网元收集到的数据质量。
根据本公开的一个方面，提供一种数据收集性能评估方法，包括：
测量功能网元执行数据收集时交互方面的测量数据，其中，所述功能网元为用于实现网络数据分析功能的网元；
根据所述测量数据确定收集到数据的质量值；
根据收集到数据的质量值，评估所述功能网元的数据收集性能。
在本公开的一些实施例中，所述测量网络数据分析功能所述功能网元执行数据收集时交互方面的测量数据包括：
根据目标服务类型、目标数据源类型和目标数据源，测量所述功能网元为执行目标类型服务而从目标数据源收集数据时对应的交互方面的测量数据，其中，所述目标服务类型包括分析服务、模型训练服务和数据管理服务中的至少一种服务。
在本公开的一些实施例中，根据所述测量数据确定收集到数据的质量值包括：
根据所述测量数据，获取所述功能网元为执行目标类型服务而从目标数据源收集到的数据的缺失情况，其中，所述缺失情况用于量化所述功能网元收集到的数据的质量。
在本公开的一些实施例中，所述测量数据包括所述功能网元发出的请求次数和所述功能网元收到的响应次数，其中，请求方式包括请求和订阅中至少一项，响应方式包括响应和通知中至少一项。
在本公开的一些实施例中，所述测量网络数据分析功能所述功能网元执行数据收集时交互方面的测量数据包括：
测量所述功能网元向目标数据源发送的数据收集请求的次数，在所述功能网元触发数据收集相关的请求或订阅的情况下，将第一累计计数器递增1，其中，第一累计计数器为与所述功能网元触发的数据收集请求或订阅数量相关的累计计数器；
测量所述功能网元从目标数据源收到的数据收集响应的次数，在所述功能网元收到数据收集相关的响应或通知的情况下，将第二累计计数器递增1，其中，第二累计计数器为与所述功能网元收到的数据收集响应或通知数量相关的累计计数器。
在本公开的一些实施例中，所述测量所述功能网元向目标数据源发送的数据收集请求的次数包括：
在所述功能网元为执行分析任务而触发数据收集相关的请求或订阅的情况下，基于不同分析标识，该第一累计计数器包括第一子累计计数器，其中，第一子累计计数器为与分析标识相关的子累计计数器，第一子累计计数器用于测量所述功能网元为执行目标分析标识所指示的分析时所触发的数据收集请求的次数。
在本公开的一些实施例中，所述测量所述功能网元向目标数据源发送的数据收集请求的次数包括：
在所述功能网元为执行模型训练任务而触发数据收集相关的请求或订阅的情况下，基于不同模型标识或分析标识，该第一累计计数器包括第二子累计计数器，第二子累计计数器为与模型标识或分析标识相关的子累计计数器，第二子累计计数器用于测量所述功能网元为训练目标模型标识所指示的模型时所触发的数据收集请求的次数。
在本公开的一些实施例中，所述测量所述功能网元向目标数据源发送的数据收集请求的次数包括：
在所述功能网元为执行数据管理任务而触发数据收集相关的请求或订阅的情况下，基于不同数据管理标识，该第一累计计数器包括第五子累计计数器，第五子累计计数器为与数据管理标识相关的子累计计数器，第五子累计计数器用于测量所述功能网元为执行目标数据管理标识所指示的数据管理任务时所触发的数据收集请求的次数。
在本公开的一些实施例中，所述测量所述功能网元向目标数据源发送的数据收集请求的次数包括：
基于不同数据源，测量第一请求次数、第二请求次数和第三请求次数中的至少一项，其中，第一请求次数为所述功能网元为执行目标分析标识所指示的分析时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数，第二请求次数为所述功能网元训练目标模型标识所指示的模型时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数，第三请求次数为执行目标数据管理标识所指示的数据管理任务时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数。
在本公开的一些实施例中，所述测量所述功能网元从目标数据源收到的数据收集响应的次数包括：
在所述功能网元从目标数据源收集数据用于分析的情况下，基于不同分析标识，该第二累计计数器包括第三子累计计数器，其中，第三子累计计数器为与分析标识相关的子累计计数器，第三子累计计数器用于测量所述功能网元为执行目标分析标识所指示的分析时所收到的数据收集响应的次数。
在本公开的一些实施例中，所述测量所述功能网元从目标数据源收到的数据收集响应的次数包括：
在所述功能网元从目标数据源收集数据用于模型训练的情况下，基于不同模型标识或分析标识，该第二累计计数器包括第四子累计计数器，第四子累计计数器为与模型标识或分析标识相关的子累计计数器，第四子累计计数器用于测量所述功能网元为训练目标模型标识所指示的模型时所收到的数据收集响应的次数。
在本公开的一些实施例中，所述测量所述功能网元从目标数据源收到的数据收集响应的次数包括：
在所述功能网元从目标数据源收集数据用于数据管理的情况下，基于不同数据管理标识，该第二累计计数器包括第六子累计计数器，其中，第六子累计计数器为与数据管理标识相关的子累计计数器，第六子累计计数器用于测量所述功能网元为执行目标数据管理标识所指示的数据管理任务时所收到的数据收集响应的次数。
在本公开的一些实施例中，所述测量所述功能网元从目标数据源收到的数据收集响应的次数包括：
基于不同数据源，测量第一响应次数、第二响应次数和第三响应次数中的至少一项，其中，第一响应次数为所述功能网元为执行目标分析标识所指示的分析时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数，第二响应次数为所述功能网元训练目标模型标识所指示的模型时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数，第三响应次数为所述功能网元为执行目标数据管理标识所指示的数据管理任务时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数。
在本公开的一些实施例中，在所述功能网元为执行分析任务而触发数据收集相关的请求或订阅的情况下，所述根据所述测量数据确定收集到数据的质量值包括：根据第一子累计计数器记录的次数和第三子累计计数器记录的次数，确定所述测量数据的第一质量值，其中，所述第一质量值用于表示所述功能网元为执行目标分析标识所指示的分析所收集到的数据的缺失情况，用于评估所述功能网元为执行所述分析而触发的数据收集服务的性能。
在本公开的一些实施例中，所述根据所述功能网元触发的数据收集请求的次数和所述功能网元收到的数据收集响应的次数，确定所述测量数据的第一质量值包括：
确定第一差值，其中，第一差值为第一子累计计数器记录的次数和第三子累计计数器记录的次数的差值；
将第一差值和第一子累计计数器记录的次数的比值，作为所述测量数据的第一质量值。
在本公开的一些实施例中，在基于不同数据源，测量第一请求次数和第一响应次数的情况下，所述根据所述测量数据确定收集到数据的质量值包括：根据第一请求次数和第一响应次数，确定所述测量数据的第二质量值，其中，所述第二质量值用于表示所述功能网元为执行目标分析标识所指示的分析而从每个目标数据源或每种目标数据源收集到的数据的缺失情况，用于评估所述功能网元为执行所述分析而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。
在本公开的一些实施例中，在所述功能网元为训练目标模型标识或分析标识所指示的模型而触发数据收集服务的情况下，所述根据所述测量数据确定收集到数据的质量值包括：根据第二子累计计数器记录的次数和第四子累计计数器记录的次数，确定所述测量数据的第三质量值，其中，所述第三质量值用于表示所述功能网元为训练目标模型标识或分析标识所指示的模型所收集到的数据的缺失情况，用于评估所述功能网元为训练所述模型而触发的数据收集服务的性能。
在本公开的一些实施例中，在基于不同数据源，测量第二请求次数和第二响应次数的情况下，所述根据所述测量数据确定收集到数据的质量值包括：根据第二请求次数和第二响应次数，确定所述测量数据的第四质量值，其中，所述第四质量值用于表示所述功能网元为训练目标模型标识或分析标识所指示的模型而从每个目标数据源或每种目标数据源收集到的数据的缺失情况，用于评估所述功能网元为训练所述模型而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。
在本公开的一些实施例中，在所述功能网元为执行数据管理任务而触发数据收集相关的请求或订阅的情况下，所述根据所述测量数据确定收集到数据的质量值包括：根据第五子累计计数器记录的次数和第六子累计计数器记录的次数，确定所述测量数据的第五质量值，其中，所述第五质量值用于表示所述功能网元为执行数据管理标识所指示的数据管理任务所收集到的数据的缺失情况，用于评估所述功能网元为执行所述数据管理任务而触发的数据收集服务的性能。
在本公开的一些实施例中，在基于不同数据源，测量第三请求次数和第三响应次数的情况下，所述根据所述测量数据确定收集到数据的质量值包括：根据第三请求次数和第三响应次数，确定所述测量数据的第六质量值，其中，所述第六质量值用于表示所述功能网元为执行数据管理标识所指示的数据管理任务而从每个目标数据源或每种目标数据源收集到的数据的缺失情况，用于评估所述功能网元为执行所述数据管理任务而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。
在本公开的一些实施例中，所述方法还包括：
接收订阅或请求消息，其中，所述订阅或请求消息包括性能评估指令，所述性能评估指令包括过滤信息、和订阅或请求的行为；
根据所述性能评估指令，按照如上述任一实施例所述的方法对所述功能网元的数据收集性能进行评估；
发送通知或响应消息，其中，所述通知或响应消息包括过滤信息、和对订阅或请求操作的响应。
在本公开的一些实施例中，过滤信息包括分析标识列表、模型标识列表和数据管理标识列表中的至少一项，其中，分析标识列表用于支持测量所述功能网元为执行目标分析标识所指示的分析而收集的数据的质量，模型标识列表用于支持测量所述功能网元为训练目标模型标识所指示的模型而收集的数据的质量，数据管理标识列表用于支持测量所述功能网元为执行目标数据管理标识所指示的数据管理任务而收集的数据的质量。
在本公开的一些实施例中，订阅或请求的行为包括以下操作中的至少一项：测量所述功能网元为执行分析而收集的数据的质量；测量所述功能网元为训练模型而收集的数据的质量；测量所述功能网元为执行分析而从目标数据源收集的数据的质量；测量所述功能网元为训练模型而从目标数据源收集的数据的质量；测量所述功能网元为执行数据管理任务而从目标数据源收集的数据的质量。
在本公开的一些实施例中，对订阅或请求操作的响应包括以下响应操作中的至少一项：提供所述功能网元为执行分析而收集的数据的质量；提供所述功能网元为训练模型而收集的数据的质量；提供所述功能网元为执行数据管理任务而收集的数据的质量；提供所述功能网元为执行分析而从目标数据源收集的数据的质量；提供所述功能网元为训练模型而从目标数据源收集的数据的质量；提供所述功能网元为执行数据管理任务而从目标数据源收集的数据的质量。
根据本公开的另一方面，提供一种数据收集性能评估装置，包括：
数据测量模块，被配置为测量功能网元执行数据收集时交互方面的测量数据，其中，所述功能网元为用于实现网络数据分析功能的网元；
质量值确定模块，被配置根据所述测量数据确定收集到数据的质量值；
性能评估模块，被配置根据收集到数据的质量值，评估所述功能网元的数据收集性能。
在本公开的一些实施例中，所述数据收集性能评估装置被配置为执行实现如上述任一实施例所述方法的操作。
根据本公开的另一方面，提供一种数据收集性能评估装置，包括：
存储器，被配置为存储指令；
处理器，被配置为执行所述指令，使得所述数据收集性能评估装置执行实现如上述任一实施例所述方法的操作。
根据本公开的另一方面，提供一种数据收集性能评估***，包括如上述任一实施例所述的数据收集性能评估装置。
根据本公开的另一方面，提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例所述的方法。
本公开能够测量和评估用于实现网络数据分析功能的网元的数据收集性能，可以量化和评估用于实现网络数据分析功能的网元收集到的数据质量。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开数据收集性能评估方法一些实施例的示意图。
图2为本公开一些实施例中用于实现网络数据分析功能的网元从任一5GC NF收集数据的示意图。
图3为本公开一些实施例中用于实现网络数据分析功能的网元“订阅-通知”服务的示意图。
图4为本公开一些实施例中用于实现网络数据分析功能的网元“请求-响应”服务的示意图。
图5为本公开数据收集性能评估方法另一些实施例的示意图。
图6为本公开数据收集性能评估***一些实施例的示意图。
图7为本公开数据收集性能评估装置一些实施例的示意图。
图8为本公开数据收集性能评估装置另一些实施例的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
发明人通过研究发现：实际中，由于数据源或网络传输问题，NWDAF网元向其他NFs、AFs以及OAM请求数据时，部分数据可能会缺失(丢失或未被传输)。数据缺失的越多对NWDAF网元的分析性能影响越大，NWDAF网元在将这些收集到的数据用于分析任务之前，需要对这些数据进行预处理(数据清洗或数据增强)。
因此，本公开收集数据缺失的情况是评估NWDAF网元收集到的数据质量的重要指标。基于该性能指标，可以了解NWDAF网元数据收集的性能，为NWDAF服务的优化提供必要的参考。
鉴于以上技术问题中的至少一项，本公开提供了一种测量用于实现网络数据分析功能的网元的服务性能的方法、装置和***，下面通过具体实施例对本公开进行说明。
图1为本公开数据收集性能评估方法一些实施例的示意图。优选的，本实施例可由本公开数据收集性能评估***或本公开数据收集性能评估装置执行。该方法包括步骤100至步骤400中的至少一个步骤，其中：
步骤100，测量功能网元执行数据收集时交互方面的测量数据，其中，所述功能网元为用于实现网络数据分析功能的网元。
在本公开的一些实施例中，所述功能网元可以为NWDAF网元。
在本公开的一些实施例中，步骤100可以包括：根据目标服务类型、目标数据源类型和目标数据源，测量所述功能网元为执行目标类型服务而从目标数据源收集数据时对应的交互方面的测量数据，其中，所述目标服务类型包括分析服务、模型训练服务和数据管理服务中的至少一种服务。
在本公开的一些实施例中，所述目标数据源类型包括NF(网络功能网元)、AFs(应用功能网元)和OAM(操作维护管理网元)，其中，NF可以为NWDAF网元。
在本公开的一些实施例中，所述测量数据包括所述功能网元发出的请求次数和所述功能网元收到的响应次数，其中，请求方式包括请求和订阅中至少一项，响应方式包括响应和通知中至少一项。
图2为本公开一些实施例中用于实现网络数据分析功能的网元从任一5GC NF收集数据的示意图。所述用于实现网络数据分析功能的网元可以采用“订阅-通知”服务或“请求-响应”服务的方式从任一5GC NF收集数据，下面通过图3和图4进行说明，所述用于实现网络数据分析功能的网元可以为NWDAF网元。
图3为本公开一些实施例中用于实现网络数据分析功能的网元“订阅-通知”服务的示意图。如图3所示，NF_A为服务消费者Consumer，NF_A为用于实现网络数据分析功能的网元(例如可以为NWDAF网元。)，NF_A从NF_B(服务生产者Producer)收集数据。对于图3实施例，步骤100可以包括：测量所述用于实现网络数据分析功能的网元发出的订阅(Subscribe)次数和所述用于实现网络数据分析功能的网元收到的通知(Notify)次数。
图4为本公开一些实施例中用于实现网络数据分析功能的网元“请求-响应”服务的示意图。如图4所示，NF_A为服务消费者，NF_A为用于实现网络数据分析功能的网元，NF_A从NF_B(服务生产者)收集数据。对于图4实施例，步骤100可以包括：测量所述用于实现网络数据分析功能的网元发出的请求(Request)次数和所述用于实现网络数据分析功能的网元收到的响应(Response)次数。
在本公开的一些实施例中，步骤100可以包括步骤110和步骤120中的至少一个步骤，其中：
步骤110，测量所述功能网元向目标数据源发送的数据收集请求的次数，在所述功能网元触发数据收集相关的请求或订阅的情况下，将第一累计计数器(CC)递增1，其中，第一累计计数器为与所述功能网元触发的数据收集请求或订阅数量相关的累计计数器。第一累计计数器的值即为所述功能网元触发的数据收集请求/订阅次数的测量值。
在本公开的一些实施例中，步骤110可以包括步骤111至步骤114中的至少一个步骤，其中：
步骤111，在所述功能网元为执行分析任务而触发数据收集相关的请求或订阅的情况下，基于不同分析标识ID，该第一累计计数器包括第一子累计计数器，其中，第一子累计计数器为与分析标识相关的子累计计数器，第一子累计计数器用于测量所述功能网元为执行目标分析标识所指示的分析时所触发的数据收集请求的次数，即the number ofrequests for analytics(per Analytics ID)。
步骤112，在所述功能网元为执行模型训练任务而触发数据收集相关的请求或订阅的情况下，基于不同模型标识或分析标识，该第一累计计数器包括第二子累计计数器，第二子累计计数器为与模型标识或分析标识相关的子累计计数器，第二子累计计数器用于测量所述功能网元为训练目标模型标识所指示的模型时所触发的数据收集请求的次数，即the number of requests for model training(per Analytics/Model ID)。
步骤113，在所述功能网元为执行数据管理任务而触发数据收集相关的请求或订阅的情况下，基于不同数据管理标识，该第一累计计数器包括第五子累计计数器，第五子累计计数器为与数据管理标识相关的子累计计数器，第五子累计计数器用于测量所述功能网元为执行目标数据管理标识所指示的数据管理任务时所触发的数据收集请求的次数。
步骤114，基于不同数据源，测量第一请求次数、第二请求次数和第三请求次数中的至少一项，其中，第一请求次数为所述功能网元为执行目标分析标识所指示的分析时所触发的面向每个目标数据源的数据收集请求的次数，即，the number of requests toother dataSource_i for analytics(per Analytics ID)，或第一请求次数为所述功能网元为执行目标分析标识所指示的分析时所触发的面向每种目标数据源的数据收集请求的次数；第二请求次数为所述功能网元训练目标模型标识所指示的模型时所触发的面向每个目标数据源的数据收集请求的次数，即，the number of requests to other dataSource_i for model training(per Analytics/Model ID)，第二请求次数为所述功能网元训练目标模型标识所指示的模型时所触发的面向每种目标数据源的数据收集请求的次数；第三请求次数为执行目标数据管理标识所指示的数据管理任务时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数。
步骤120，测量所述功能网元从目标数据源收到的数据收集响应的次数，在所述功能网元收到数据收集相关的响应或通知的情况下，将第二累计计数器递增1，其中，第二累计计数器为与所述功能网元收到的数据收集响应或通知数量相关的累计计数器，第二累计计数器的值即为所述功能网元收到的数据收集响应/通知次数的测量值。
在本公开的一些实施例中，步骤120可以包括步骤121至步骤124中的至少一个步骤，其中：
步骤121，在所述功能网元从目标数据源收集数据用于分析的情况下，基于不同分析标识，该第二累计计数器包括第三子累计计数器，其中，第三子累计计数器为与分析标识相关的子累计计数器，第三子累计计数器用于测量所述功能网元为执行目标分析标识所指示的分析时所收到的数据收集响应的次数(the number of responses for Analyticsper Analytics ID)。
步骤122，在所述功能网元从目标数据源收集数据用于模型训练的情况下，基于不同模型标识或分析标识，该第二累计计数器包括第四子累计计数器，第四子累计计数器为与模型标识或分析标识相关的子累计计数器，第四子累计计数器用于测量所述功能网元为训练目标模型标识所指示的模型时所收到的数据收集响应的次数，即the number ofresponses for model training(per Analytics/Model ID)。
步骤123，在所述功能网元从目标数据源收集数据用于数据管理的情况下，基于不同数据管理标识，该第二累计计数器包括第六子累计计数器，其中，第六子累计计数器为与数据管理标识相关的子累计计数器，第六子累计计数器用于测量所述功能网元为执行目标数据管理标识所指示的数据管理任务时所收到的数据收集响应的次数。
步骤124，基于不同数据源，测量第一响应次数、第二响应次数和第三响应次数中的至少一项，其中，第一响应次数为所述功能网元为执行目标分析标识所指示的分析时所收到的来自每个目标数据源的数据收集响应的次数，即the number of responses fromdataSource_i for analytics(per Analytics ID)，或第一响应次数为所述功能网元为执行目标分析标识所指示的分析时所收到的来自每种目标数据源的数据收集响应的次数；第二响应次数为所述功能网元训练目标模型标识所指示的模型时所收到的来自每个目标数据源的数据收集响应的次数，即the number of responses from other dataSource_ifor model training(per Analytics/Model ID)，或第二响应次数为所述功能网元训练目标模型标识所指示的模型时所收到的来自每种目标数据源的数据收集响应的次数；第三响应次数为所述功能网元为执行目标数据管理标识所指示的数据管理任务时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数。
步骤200，根据所述测量数据确定收集到数据的质量值。
在本公开的一些实施例中，步骤200可以包括：根据所述测量数据，获取所述功能网元为执行目标类型服务而从目标数据源收集到的数据的缺失情况，其中，所述缺失情况用于量化所述功能网元收集到的数据的质量。
在本公开的一些实施例中，步骤200可以包括步骤210至步骤260中的至少一个步骤，其中：
步骤210，在所述功能网元为执行分析任务而触发数据收集相关的请求或订阅的情况下，根据第一子累计计数器记录的次数(所述功能网元触发的数据收集请求的次数)和第三子累计计数器记录的次数(所述功能网元收到的数据收集响应的次数)，确定所述测量数据的第一质量值A，其中，所述第一质量值A用于表示所述功能网元为执行目标分析标识所指示的分析所收集到的数据的缺失情况(数据质量)，用于评估所述功能网元为执行所述分析而触发的数据收集服务的性能。
在本公开的一些实施例中，步骤210可以包括：当所述功能网元为执行目标分析ID所指示的分析而触发数据收集服务时，获取“所述功能网元触发的数据收集请求的次数-所述功能网元收到的数据收集响应的次数”与“所述功能网元触发的数据收集请求的次数”的比值作为第一质量值A。
在本公开的一些实施例中，步骤210可以包括步骤211至步骤212中的至少一个步骤，其中：
步骤211，确定第一差值temp，其中，第一差值为第一子累计计数器记录的次数、和第三子累计计数器记录的次数的差值。
在本公开的一些实施例中，步骤211可以包括：根据公式(1)确定第一差值temp。
temp＝the number of requests for analytics(per Analytics ID)-thenumber of responses for Analytics(per Analytics ID) (1)
步骤212，将第一差值temp和第一子累计计数器记录的次数的比值，作为所述测量数据的第一质量值A。
在本公开的一些实施例中，步骤212可以包括：根据公式(2)确定第一质量值A。
步骤220，在基于不同数据源，测量第一请求次数和第一响应次数的情况下，根据第一请求次数(所述功能网元触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数)和第一响应次数(所述功能网元收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数)，确定所述测量数据的第二质量值Ai，其中，所述第二质量值Ai用于表示所述功能网元为执行目标分析标识所指示的分析而从每个目标数据源或每种目标数据源收集到的数据的缺失情况(数据质量)，用于评估所述功能网元为执行所述分析而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。
在本公开的一些实施例中，步骤220可以包括：基于不同的数据源，若所述功能网元为执行目标分析ID所指示的分析而从其他多个数据源收集数据，分别获取“所述功能网元触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数-所述功能网元收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数”与“所述功能网元触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数”的比值(分别用A1，A2，A3...表示)。
在本公开的一些实施例中，步骤220可以包括步骤221至步骤222中的至少一个步骤，其中：
步骤221，确定第二差值tempi，其中，第二差值为第一请求次数(所述功能网元为执行目标分析标识所指示的分析时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数)和第一响应次数(所述功能网元为执行目标分析标识所指示的分析时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数)的差值。
在本公开的一些实施例中，步骤221可以包括：根据公式(3)确定第二差值tempi。
tempi＝the number of requests to other dataSourcei for analytics(perAnalytics ID)-the number of responses from other dataSourcei for Analytics(per Analytics ID) (3)
步骤222，将第二差值tempi和第一请求次数的比值，作为所述测量数据的第二质量值Ai。
在本公开的一些实施例中，步骤222可以包括：根据公式(4)确定第二质量值Ai。
步骤230，在所述功能网元为训练目标模型标识或分析标识所指示的模型而触发数据收集服务的情况下，根据第二子累计计数器记录的次数和第四子累计计数器记录的次数，确定所述测量数据的第三质量值C，其中，所述第三质量值用于表示所述功能网元为训练目标模型标识或分析标识所指示的模型所收集到的数据的缺失情况(数据质量)，用于评估所述功能网元为训练所述模型而触发的数据收集服务的性能。
在本公开的一些实施例中，步骤230可以包括：当所述功能网元为训练目标模型ID(或分析ID)所指示的模型而触发数据收集服务时，获取“所述功能网元触发的数据收集请求的次数-所述功能网元收到的数据收集响应的次数”与“所述功能网元触发的数据收集请求的次数”的比值(用C表示)。
在本公开的一些实施例中，步骤230可以包括步骤231至步骤232中的至少一个步骤，其中：
步骤231，确定第三差值Temp，其中，第三差值为第二子累计计数器记录的次数和第四子累计计数器记录的次数的差值。
在本公开的一些实施例中，步骤231可以包括：根据公式(5)确定第三差值Temp。
Temp＝the number of requests for model training(per Model ID)-thenumber of responses for model training(per Model ID) (5)
步骤232，将第三差值Temp和第二子累计计数器记录的次数的比值，作为所述测量数据的第三质量值C。
在本公开的一些实施例中，步骤232可以包括：根据公式(6)确定第三质量值C。
步骤240，在基于不同数据源，测量第二请求次数和第二响应次数的情况下，根据第二请求次数和第二响应次数，确定所述测量数据的第四质量值，其中，所述第四质量值用于表示所述功能网元为训练目标模型标识或分析标识所指示的模型而从每个目标数据源或每种目标数据源收集到的数据的缺失情况(数据质量)，用于评估所述功能网元为训练所述模型而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。
在本公开的一些实施例中，步骤240可以包括：基于不同的数据源，当所述功能网元为训练目标模型ID(或分析ID)所指示的模型而触发从其他多个数据源收集数据时，分别获取“所述功能网元触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数-所述功能网元收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数”与“所述功能网元触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数”的比值(分别用T1，T2，T3...表示)。
在本公开的一些实施例中，步骤240可以包括步骤241至步骤242中的至少一个步骤，其中：
步骤241，确定第四差值Tempi，其中，第四差值为第二请求次数(所述功能网元训练目标模型标识所指示的模型时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数)和和第二响应次数(所述功能网元训练目标模型标识所指示的模型时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数)的差值。
在本公开的一些实施例中，步骤241可以包括：根据公式(7)确定第四差值Tempi。
Tempi＝the number of requests to other dataSourcei for model training(per Model ID)-the number of responses from other dataSourcei for modeltraining(per Model ID) (7)
步骤242，将第四差值tempi和第一请求次数的比值，作为所述测量数据的第四质量值Ti。
在本公开的一些实施例中，步骤242可以包括：根据公式(8)确定第四质量值Ti。
步骤250，在所述功能网元为执行数据管理任务而触发数据收集相关的请求或订阅的情况下，根据第五子累计计数器记录的次数(所述功能网元触发的数据收集请求的次数)和第六子累计计数器记录的次数(所述功能网元收到的数据收集响应的次数)，确定所述测量数据的第五质量值，其中，所述第五质量值用于表示所述功能网元为执行数据管理标识所指示的数据管理任务所收集到的数据的缺失情况，用于评估所述功能网元为执行所述数据管理任务而触发的数据收集服务的性能。
在本公开的一些实施例中，步骤250可以包括步骤251至步骤252中的至少一个步骤，其中：
步骤251，确定第五差值，其中，第五差值为第五子累计计数器记录的次数、和第六子累计计数器记录的次数的差值。
步骤252，将第五差值和第五子累计计数器记录的次数的比值，作为所述测量数据的第五质量值。
步骤260，在基于不同数据源，测量第三请求次数和第三响应次数的情况下，根据第三请求次数(所述功能网元触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数)和第三响应次数(所述功能网元收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数)，确定所述测量数据的第六质量值，其中，所述第六质量值用于表示所述功能网元为执行数据管理标识所指示的数据管理任务而从每个目标数据源或每种目标数据源收集到的数据的缺失情况(数据质量)，用于评估所述功能网元为执行所述数据管理任务而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。
在本公开的一些实施例中，步骤260可以包括步骤261至步骤262中的至少一个步骤，其中：
步骤261，确定第六差值，其中，第六差值为第三请求次数(所述功能网元为执行目标数据管理标识所指示的数据管理任务时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数)和第三响应次数(所述功能网元为执行目标数据管理标识所指示的数据管理任务时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数)的差值。
步骤222，将第六差值和第三请求次数的比值，作为所述测量数据的第六质量值。
步骤400，根据收集到数据的质量值，评估所述功能网元的数据收集性能。
为了能够测量和评估用于实现网络数据分析功能的网元的数据收集性能，本公开上述实施例提出了一种量化和评估用于实现网络数据分析功能的网元的收集到的数据质量的方法，可以了解用于实现网络数据分析功能的网元的数据收集性能，为用于实现网络数据分析功能的网元的服务优化提供了必要的参考。
图5为本公开数据收集性能评估方法另一些实施例的示意图。优选的，本实施例可由本公开数据收集性能评估***或本公数据收集性能评估装置执行。图5实施例的步骤100、步骤200和步骤400与图1实施例的步骤100、步骤200和步骤400相同或类似。与图1实施例相比比，图5实施例的方法除了包括步骤100、步骤200和步骤400之外，在步骤200与步骤400之间还可以包括步骤300，其中：
步骤100，测量功能网元执行数据收集时交互方面的测量数据，其中，所述功能网元为用于实现网络数据分析功能的网元。
在本公开的一些实施例中，所述功能网元可以为NWDAF网元。
步骤200，量化所述功能网元数据收集的性能指标。
在本公开的一些实施例中，所述性能指标可以为图1实施例中述测量数据的质量值。
步骤300，增强性能评估服务化架构，支持所述功能网元数据收集性能的量化和评估。
为了实现所述功能网元数据收集质量(性能)评估，需要增强服务化架构(如图6所示)，其中，数据收集性能评估装置可以提供管理功能或服务，可以根据本公开提供的方法，量化所述用于实现网络数据分析功能的网元的数据收集的质量，评估所述用于实现网络数据分析功能的网元的数据收集性能。
本公开对数据收集性能评估装置和性能评估服务消费者装置的部署位置不做限定。
在本公开的一些实施例中，数据收集性能评估装置可以实现为性能评估服务生产者装置。
在本公开的一些实施例中，数据收集性能评估装置和性能评估服务消费者装置可以设置在同一个网元，也可以分别设置在不同的网元。
在本公开的一些实施例中，步骤300可以包括步骤310和步骤320中的至少一个步骤，其中：
步骤310，服务化接口增强。
在本公开的一些实施例中，步骤310可以包括步骤311和步骤312中的至少一个步骤，其中：
步骤311，数据收集性能评估装置接收订阅或请求消息，其中，所述订阅或请求消息包括性能评估指令，所述性能评估指令包括过滤信息、和订阅或请求的行为。
在本公开的一些实施例中，步骤311可以包括：数据收集性能评估装置接收性能评估服务消费者装置发送的订阅或请求消息，其中，所述订阅或请求消息包括性能评估指令，所述性能评估指令包括过滤信息、和订阅或请求的行为。
在本公开的一些实施例中，步骤311可以包括：订阅/请求(subscribe/request)：当事件(性能评估服务)消费者装置请求事件生产者装置评估所述功能网元数据收集性能时，性能评估服务消费者装置还可以指定一条指令，用于向数据收集性能评估装置指示在数据收集性能评估装置评估所述功能网元数据收集性能时所需的行为。
在本公开的一些实施例中，过滤信息(Filter information)包括分析标识列表(Analytics ID list)和模型标识列表(ML Model ID list)中的至少一项，其中，分析标识列表用于支持数据收集性能评估装置测量所述功能网元为执行目标分析标识所指示的分析而收集的数据的质量，模型标识列表用于支持数据收集性能评估装置测量所述功能网元为训练目标模型标识所指示的模型而收集的数据的质量。
在本公开的一些实施例中，订阅或请求的行为(action)包括以下操作中的至少一项：测量所述功能网元为执行分析而收集的数据的质量；测量所述功能网元为训练模型而收集的数据的质量；测量所述功能网元为执行分析而从目标数据源收集的数据的质量；测量所述功能网元为训练模型而从目标数据源收集的数据的质量。
步骤312，数据收集性能评估装置发送通知或响应消息，其中，所述通知或响应消息包括过滤信息、和对订阅或请求操作的响应。
在本公开的一些实施例中，步骤312可以包括：数据收集性能评估装置向性能评估服务消费者装置发送通知或响应消息，其中，所述通知或响应消息包括过滤信息(Filterinformation)、和对订阅或请求操作的响应，其中，过滤信息包括Analytics ID list、MLModel ID list用于指示数据收集质量的测量目标。
在本公开的一些实施例中，步骤312可以包括：通知/响应(notify/response)：事件生产者评估来自事件消费者的订阅或请求，并响应事件消费者。例如，根据事件生产者支持的内容，事件生产者可以接受或拒绝订阅/请求。
在本公开的一些实施例中，对订阅或请求操作的响应包括以下响应操作中的至少一项：提供所述功能网元为执行分析而收集的数据的质量；提供所述功能网元为训练模型而收集的数据的质量；提供所述功能网元为执行分析而从目标数据源收集的数据的质量；提供所述功能网元为训练模型而从目标数据源收集的数据的质量。
图3还给出了本公开一些实施例中性能评估服务的示意图。如图3所示，性能评估服务消费者装置为NF_A，数据收集性能评估装置为NF_B。对于图3实施例，步骤310可以包括：性能评估服务消费者装置向性能评估生产者装置发送订阅(subscribe)消息，请求性能评估生产者装置评估所述功能网元数据收集性能；数据收集性能评估装置评估来自性能评估服务消费者的订阅，向性能评估服务消费者返回通知(notify)消息。
图4还给出了本公开另一些实施例中性能评估服务的示意图。如图4所示，性能评估服务消费者装置为NF_A，数据收集性能评估装置为NF_B。对于图4实施例，步骤310可以包括：性能评估服务消费者装置向性能评估生产者装置发送请求(Request)消息，请求性能评估生产者装置评估所述功能网元数据收集性能；数据收集性能评估装置评估来自性能评估服务消费者的请求(Request)，向性能评估服务消费者返回响应(Response)消息。
步骤320，服务化接口增强。
在本公开的一些实施例中，步骤320可以包括：根据所述性能评估指令，按照如上述任一实施例所述的方法对所述用于实现网络数据分析功能的网元的数据收集性能进行评估。
在本公开的一些实施例中，步骤320可以包括：对数据收集质量分析的action：当事件生产者收到事件消费者的订阅/请求指令时，事件生产者基于指令中包含的信息，确定对数据收集质量分析的目标，对应地执行以下几种行为(action)中的至少一种，其中：
第一、基于本公开上述测量方法，测量所述用于实现网络数据分析功能的网元为执行目标分析ID所指示的分析所收集到的数据的缺失情况(数据质量)。
第二、基于本公开上述测量方法，测量所述用于实现网络数据分析功能的网元为执行目标分析ID所指示的分析而从其他目标数据源收集到的数据的缺失情况(数据质量)。
第三、基于本公开上述测量方法，测量所述用于实现网络数据分析功能的网元为训练目标模型ID(或分析ID)所指示的模型所收集到的数据的缺失情况(数据质量)。
第四、基于本公开上述测量方法，测量所述用于实现网络数据分析功能的网元为训练目标模型ID(或分析ID)所指示的模型而从其他每个数据源收集到的数据的缺失情况(数据质量)。
步骤400，基于上述性能指标和服务化架构评估所述用于实现网络数据分析功能的网元数据收集相关的性能。
本公开上述实施例可以基于服务类型和数据源类型，获取用于实现网络数据分析功能的网元交互方面的测量数据、量化所述用于实现网络数据分析功能的网元收集到的数据的缺失情况(质量)并用于评估所述用于实现网络数据分析功能的网元的数据收集性能。
本公开上述实施例为了能够测量和评估所述用于实现网络数据分析功能的网元的数据收集性能，提出了一种量化和评估所述用于实现网络数据分析功能的网元收集到的数据质量的方法，可以量化所述用于实现网络数据分析功能的网元收集到的数据的质量，可以了解所述用于实现网络数据分析功能的网元的数据收集性能，为所述用于实现网络数据分析功能的网元的服务优化提供了必要的参考：
第1、本公开上述实施例可以获取所述用于实现网络数据分析功能的网元的交互方面数据：根据服务类型和数据源类型，测量所述功能网元为执行目标类型服务而从目标数据源收集数据时对应的交互方面的测量数据，包括请求/订阅次数、响应/通知次数等。
第2、本公开上述实施例可以量化所述用于实现网络数据分析功能的网元收集到的数据的质量：基于上述测量数据，获取所述功能网元为执行目标类型服务而从目标数据源收集到的数据的缺失情况，用于量化所述功能网元收集到的数据的质量，评估所述功能网元数据收集的性能。
第3、本公开上述实施例可以增强服务化架构：增强性能评估服务的接口和内容，用于支持用上述方法实现所述用于实现网络数据分析功能的网元的数据收集性能的评估。
下面通过具体实施例对本公开数据收集性能评估方法进行说明。
实施例一
基于不同的数据源，测量NWDAF网元为执行目标分析ID所指示的分析而从其他目标数据源收集到的数据的缺失情况(数据质量)，评估NWDAF网元为执行所述分析而触发的面向目标数据源的数据收集服务的性能：
Aggregator(聚合器)NWDAF网元为执行目标分析ID所指示的分析，从其他NWDAF网元s收集数据(多个同类型数据源)。
测量Aggregator NWDAF网元为执行目标分析ID所指示的分析时所触发的面向其他每个NWDAF网元的数据收集请求的次数the number of requests to other NWDAF网元_i for analytics(per Analytics ID)。
测量NWDAF网元为执行目标分析ID所指示的分析时所收到的来自其他每个数据源的数据收集响应的次数the number of responses from other NWDAF网元_i foranalytics(per Analytics ID)。
分别获取“Aggregator NWDAF网元触发的面向其他每个NWDAF网元的数据收集请求的次数-Aggregator NWDAF网元收到的来自其他每个NWDAF网元的数据收集响应的次数”与“Aggregator NWDAF网元触发的面向其他每个NWDAF网元的数据收集请求的次数”的比值(分别用A1，A2，A3...表示)。
tempi＝the number of requests to other NWDAFi for analytics(perAnalytics ID)-the number of responses from other NWDAFi for Analytics(perAnalytics ID)；
上述公式中，i＝1，2，3...。
本公开用A1，A3，A3...分别表示Aggregator NWDAF网元为执行目标分析ID所指示的分析而从其他每个NWDAF网元收集到的数据的缺失情况(数据质量)，评估NWDAF网元为执行所述分析而触发的面向每个目标NWDAF网元的数据收集服务的性能；基于A1，A2，A3...可以判断Aggregator从各个数据源收集到的数据的质量，可以为提高NWDAF网元的服务性能提供参考，比如选择合适的数据源获取数据。
实施例二：
基于不同的数据源，测量NWDAF网元为执行目标分析ID所指示的分析而从其他目标数据源收集到的数据的缺失情况(数据质量)，评估NWDAF网元为执行所述分析而触发的面向目标数据源的数据收集服务的性能：
NWDAF网元为执行目标分析ID所指示的分析，从其他NF,NWDAF网元,OAM等收集数据(多个不同类型数据源)。
图7为本公开数据收集性能评估装置一些实施例的示意图。如图7所示，本公开数据收集性能评估装置可以包括数据测量模块71、质量值确定模块72和性能评估模块73，其中：
数据测量模块71，被配置为测量功能网元执行数据收集时交互方面的测量数据，其中，所述功能网元为用于实现网络数据分析功能的网元。
质量值确定模块72，被配置根据所述测量数据确定收集到数据的质量值。
性能评估模块73，被配置根据收集到数据的质量值，评估所述功能网元的数据收集性能。
在本公开的一些实施例中，所述数据收集性能评估装置被配置为执行实现如上述任一实施例(例如图1-图5任一实施例)所述方法的操作。
本公开上述实施例可以测量用于实现网络数据分析功能的网元收集数据时交互方面的数据，量化所述用于实现网络数据分析功能的网元为执行目标类型服务而从目标数据源收集到的数据的质量，评估所述用于实现网络数据分析功能的网元的数据收集性能，为用于实现网络数据分析功能的网元的服务优化提供参考。
图8为本公开数据收集性能评估装置另一些实施例的结构示意图。如图8所示，数据收集性能评估装置包括存储器81和处理器82。
存储器81用于存储指令，处理器82耦合到存储器81，处理器82被配置为基于存储器存储的指令执行实现上述实施例(例如图1-图5任一实施例)所述的数据收集性能评估方法。
如图7所示，该数据收集性能评估装置还包括通信接口83，用于与其它设备进行信息交互。同时，该数据收集性能评估装置还包括总线84，处理器82、通信接口83、以及存储器81通过总线84完成相互间的通信。
存储器81可以包含高速RAM存储器，也可还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器81也可以是存储器阵列。存储器81还可能被分块，并且块可按一定的规则组合成虚拟卷。
此外，处理器82可以是一个中央处理器CPU，或者可以是专用集成电路ASIC，或是被配置成实施本公开实施例的一个或多个集成电路。
本公开上述实施例可以根据服务类型和数据源类型，测量所述用于实现网络数据分析功能的网元为执行目标类型服务而从目标数据源收集数据时对应的交互方面的测量数据。
本公开上述实施例可以基于上述测量数，获取所述用于实现网络数据分析功能的网元为执行目标类型服务而从目标数据源收集到的数据的缺失情况，用于量化所述用于实现网络数据分析功能的网元收集到的数据的质量，评估所述用于实现网络数据分析功能的网元的数据收集性能。
图6为本公开数据收集性能评估***一些实施例的示意图。如图6所示，本公开数据收集性能评估***可以包括数据收集性能评估装置61和性能评估服务消费者装置62，其中：
性能评估服务消费者装置62，被配置为向数据收集性能评估装置发送订阅或请求消息，其中，所述订阅或请求消息包括性能评估指令，所述性能评估指令包括过滤信息、和订阅或请求的行为；
数据收集性能评估装置61，被配置为根据所述性能评估指令，按照如上述任一实施例(例如图1-图5任一实施例)所述的方法对多个用于实现网络数据分析功能的网元60的数据收集性能进行评估；向性能评估服务消费者装置发送通知或响应消息，其中，所述通知或响应消息包括过滤信息、和对订阅或请求操作的响应。
本公开对数据收集性能评估装置和性能评估服务消费者装置的部署位置不做限定。
在本公开的一些实施例中，数据收集性能评估装置61可以实现为性能评估服务生产者装置。
在本公开的一些实施例中，数据收集性能评估装置61和性能评估服务消费者装置62可以设置在同一个网元，也可以分别设置在不同的网元。
在本公开的一些实施例中，数据收集性能评估装置61可以为如上述任一实施例(例如图7或图8实施例)所述的数据收集性能评估装置。
本公开实施例增强了性能评估服务化架构，用于支持上述方法的实现和所述用于实现网络数据分析功能的网元的数据收集性能的评估。
根据本公开的另一方面，提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例(例如图1-图5任一实施例)所述的数据收集性能评估方法。
在本公开的一些实施例中，所述计算机可读存储介质可以为非瞬时性计算机可读存储介质。
本公开实施例提供了一种评估用于实现网络数据分析功能的网元在数据收集方面性能的方法，包括量化方面、服务化架构增强方面、服务内容增强方面等，本公开实施例可以根据服务类型和数据源，量化用于实现网络数据分析功能的网元收集到的数据的质量，了解所述用于实现网络数据分析功能的网元的数据收集性能，为管理者优化所述用于实现网络数据分析功能的网元的服务提供了必要的参考。
本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(***)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在上面所描述的数据收集性能评估装置、性能评估服务消费者装、数据测量模块、质量值确定模块和性能评估模块可以实现为用于执行本申请所描述功能的通用处理器、可编程逻辑控制器(PLC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，所述的程序可以存储于一种非瞬时性计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。
Claims (21)
1.一种数据收集性能评估方法，包括：
测量功能网元执行数据收集时交互方面的测量数据，其中，所述功能网元为用于实现网络数据分析功能的网元；
根据所述测量数据确定收集到数据的质量值；
根据收集到数据的质量值，评估所述功能网元的数据收集性能。
2.根据权利要求1所述的方法，其中，所述测量所述功能网元执行数据收集时交互方面的测量数据包括：
根据目标服务类型、目标数据源类型和目标数据源，测量所述功能网元为执行目标类型服务而从目标数据源收集数据时对应的交互方面的测量数据，其中，所述目标服务类型包括分析服务、模型训练服务和数据管理服务中的至少一种服务。
3.根据权利要求2所述的方法，其中，根据所述测量数据确定收集到数据的质量值包括：
根据所述测量数据，获取所述功能网元为执行目标类型服务而从目标数据源收集到的数据的缺失情况，其中，所述缺失情况用于量化所述功能网元收集到的数据的质量。
4.根据权利要求1-3中的任一项所述的方法，其中：
所述测量数据包括所述功能网元发出的请求次数和所述功能网元收到的响应次数，其中，请求方式包括请求和订阅中至少一项，响应方式包括响应和通知中至少一项。
5.根据权利要求4所述的方法，其中，所述测量网络数据分析功能所述功能网元执行数据收集时交互方面的测量数据包括：
测量所述功能网元向目标数据源发送的数据收集请求的次数，在所述功能网元触发数据收集相关的请求或订阅的情况下，将第一累计计数器递增1，其中，第一累计计数器为与所述功能网元触发的数据收集请求或订阅数量相关的累计计数器；
测量所述功能网元从目标数据源收到的数据收集响应的次数，在所述功能网元收到数据收集相关的响应或通知的情况下，将第二累计计数器递增1，其中，第二累计计数器为与所述功能网元收到的数据收集响应或通知数量相关的累计计数器。
6.根据权利要求5所述的方法，其中，所述测量所述功能网元向目标数据源发送的数据收集请求的次数包括：
在所述功能网元为执行分析任务而触发数据收集相关的请求或订阅的情况下，基于不同分析标识，该第一累计计数器包括第一子累计计数器，其中，第一子累计计数器为与分析标识相关的子累计计数器，第一子累计计数器用于测量所述功能网元为执行目标分析标识所指示的分析时所触发的数据收集请求的次数；
和/或，
在所述功能网元为执行模型训练任务而触发数据收集相关的请求或订阅的情况下，基于不同模型标识或分析标识，该第一累计计数器包括第二子累计计数器，第二子累计计数器为与模型标识或分析标识相关的子累计计数器，第二子累计计数器用于测量所述功能网元为训练目标模型标识所指示的模型时所触发的数据收集请求的次数；
和/或，
在所述功能网元为执行数据管理任务而触发数据收集相关的请求或订阅的情况下，基于不同数据管理标识，该第一累计计数器包括第五子累计计数器，第五子累计计数器为与数据管理标识相关的子累计计数器，第五子累计计数器用于测量所述功能网元为执行目标数据管理标识所指示的数据管理任务时所触发的数据收集请求的次数；
和/或，
基于不同数据源，测量第一请求次数、第二请求次数和第三请求次数中的至少一项，其中，第一请求次数为所述功能网元为执行目标分析标识所指示的分析时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数，第二请求次数为所述功能网元训练目标模型标识所指示的模型时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数，第三请求次数为执行目标数据管理标识所指示的数据管理任务时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数。
7.根据权利要求6所述的方法，其中，所述测量所述功能网元从目标数据源收到的数据收集响应的次数包括：
在所述功能网元从目标数据源收集数据用于分析的情况下，基于不同分析标识，该第二累计计数器包括第三子累计计数器，其中，第三子累计计数器为与分析标识相关的子累计计数器，第三子累计计数器用于测量所述功能网元为执行目标分析标识所指示的分析时所收到的数据收集响应的次数；
和/或，
在所述功能网元从目标数据源收集数据用于模型训练的情况下，基于不同模型标识或分析标识，该第二累计计数器包括第四子累计计数器，第四子累计计数器为与模型标识或分析标识相关的子累计计数器，第四子累计计数器用于测量所述功能网元为训练目标模型标识所指示的模型时所收到的数据收集响应的次数；
和/或，
在所述功能网元从目标数据源收集数据用于数据管理的情况下，基于不同数据管理标识，该第二累计计数器包括第六子累计计数器，其中，第六子累计计数器为与数据管理标识相关的子累计计数器，第六子累计计数器用于测量所述功能网元为执行目标数据管理标识所指示的数据管理任务时所收到的数据收集响应的次数；
和/或，
基于不同数据源，测量第一响应次数、第二响应次数和第三响应次数中的至少一项，其中，第一响应次数为所述功能网元为执行目标分析标识所指示的分析时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数，第二响应次数为所述功能网元训练目标模型标识所指示的模型时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数，第三响应次数为所述功能网元为执行目标数据管理标识所指示的数据管理任务时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数。
8.根据权利要求7所述的方法，其中，在所述功能网元为执行分析任务而触发数据收集相关的请求或订阅的情况下，
所述根据所述测量数据确定收集到数据的质量值包括：根据第一子累计计数器记录的次数和第三子累计计数器记录的次数，确定所述测量数据的第一质量值，其中，所述第一质量值用于表示所述功能网元为执行目标分析标识所指示的分析所收集到的数据的缺失情况，用于评估所述功能网元为执行所述分析而触发的数据收集服务的性能。
9.根据权利要求8所述的方法，其中，所述根据所述功能网元触发的数据收集请求的次数和所述功能网元收到的数据收集响应的次数，确定所述测量数据的第一质量值包括：
确定第一差值，其中，第一差值为第一子累计计数器记录的次数和第三子累计计数器记录的次数的差值；
将第一差值和第一子累计计数器记录的次数的比值，作为所述测量数据的第一质量值。
10.根据权利要求7所述的方法，其中，在基于不同数据源，测量第一请求次数和第一响应次数的情况下，
所述根据所述测量数据确定收集到数据的质量值包括：根据第一请求次数和第一响应次数，确定所述测量数据的第二质量值，其中，所述第二质量值用于表示所述功能网元为执行目标分析标识所指示的分析而从每个目标数据源或每种目标数据源收集到的数据的缺失情况，用于评估所述功能网元为执行所述分析而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。
11.根据权利要求7所述的方法，其中，在所述功能网元为训练目标模型标识或分析标识所指示的模型而触发数据收集服务的情况下，
所述根据所述测量数据确定收集到数据的质量值包括：根据第二子累计计数器记录的次数和第四子累计计数器记录的次数，确定所述测量数据的第三质量值，其中，所述第三质量值用于表示所述功能网元为训练目标模型标识或分析标识所指示的模型所收集到的数据的缺失情况，用于评估所述功能网元为训练所述模型而触发的数据收集服务的性能。
12.根据权利要求7所述的方法，其中，在基于不同数据源，测量第二请求次数和第二响应次数的情况下，
所述根据所述测量数据确定收集到数据的质量值包括：根据第二请求次数和第二响应次数，确定所述测量数据的第四质量值，其中，所述第四质量值用于表示所述功能网元为训练目标模型标识或分析标识所指示的模型而从每个目标数据源或每种目标数据源收集到的数据的缺失情况，用于评估所述功能网元为训练所述模型而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。
13.根据权利要求7所述的方法，其中，在所述功能网元为执行数据管理任务而触发数据收集相关的请求或订阅的情况下，
所述根据所述测量数据确定收集到数据的质量值包括：根据第五子累计计数器记录的次数和第六子累计计数器记录的次数，确定所述测量数据的第五质量值，其中，所述第五质量值用于表示所述功能网元为执行数据管理标识所指示的数据管理任务所收集到的数据的缺失情况，用于评估所述功能网元为执行所述数据管理任务而触发的数据收集服务的性能。
14.根据权利要求7所述的方法，其中，在基于不同数据源，测量第三请求次数和第三响应次数的情况下，
所述根据所述测量数据确定收集到数据的质量值包括：根据第三请求次数和第三响应次数，确定所述测量数据的第六质量值，其中，所述第六质量值用于表示所述功能网元为执行数据管理标识所指示的数据管理任务而从每个目标数据源或每种目标数据源收集到的数据的缺失情况，用于评估所述功能网元为执行所述数据管理任务而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。
15.根据权利要求1-3中的任一项所述的方法，还包括：
接收订阅或请求消息，其中，所述订阅或请求消息包括性能评估指令，所述性能评估指令包括过滤信息、和订阅或请求的行为；
根据所述性能评估指令，按照如权利要求1-12中任一项所述的方法对所述功能网元的数据收集性能进行评估；
发送通知或响应消息，其中，所述通知或响应消息包括过滤信息、和对订阅或请求操作的响应。
16.根据权利要求15所述的方法，其中：
过滤信息包括分析标识列表、模型标识列表和数据管理标识列表中的至少一项，其中，分析标识列表用于支持测量所述功能网元为执行目标分析标识所指示的分析而收集的数据的质量，模型标识列表用于支持测量所述功能网元为训练目标模型标识所指示的模型而收集的数据的质量，数据管理标识列表用于支持测量所述功能网元为执行目标数据管理标识所指示的数据管理任务而收集的数据的质量；
和/或，
订阅或请求的行为包括以下操作中的至少一项：测量所述功能网元为执行分析而收集的数据的质量；测量所述功能网元为训练模型而收集的数据的质量；测量所述功能网元为执行数据管理任务而收集的数据的质量；测量所述功能网元为执行分析而从目标数据源收集的数据的质量；测量所述功能网元为训练模型而从目标数据源收集的数据的质量；测量所述功能网元为执行数据管理任务而从目标数据源收集的数据的质量；
和/或，
对订阅或请求操作的响应包括以下响应操作中的至少一项：提供所述功能网元为执行分析而收集的数据的质量；提供所述功能网元为训练模型而收集的数据的质量；提供所述功能网元为执行数据管理任务而收集的数据的质量；提供所述功能网元为执行分析而从目标数据源收集的数据的质量；提供所述功能网元为训练模型而从目标数据源收集的数据的质量；提供所述功能网元为执行数据管理任务而从目标数据源收集的数据的质量。
17.一种数据收集性能评估装置，包括：
数据测量模块，被配置为测量功能网元执行数据收集时交互方面的测量数据，其中，所述功能网元为用于实现网络数据分析功能的网元；
质量值确定模块，被配置根据所述测量数据确定收集到数据的质量值；
性能评估模块，被配置根据收集到数据的质量值，评估所述功能网元的数据收集性能。
18.根据权利要求17所述的数据收集性能评估装置，其中，所述数据收集性能评估装置被配置为执行实现如权利要求2-16中任一项所述方法的操作。
19.一种数据收集性能评估装置，包括：
存储器，被配置为存储指令；
处理器，被配置为执行所述指令，使得所述数据收集性能评估装置执行实现如权利要求1-16中任一项所述方法的操作。
20.一种数据收集性能评估***，包括如如权利要求17-19中任一项所述的数据收集性能评估装置。
21.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1-16中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211309033.5A CN116437379A (zh) | 2022-10-25 | 2022-10-25 | 数据收集性能评估方法、装置和***、存储介质 |
| PCT/CN2023/118862 WO2024087928A1 (zh) | 2022-10-25 | 2023-09-14 | 数据收集性能评估方法、装置和***、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211309033.5A CN116437379A (zh) | 2022-10-25 | 2022-10-25 | 数据收集性能评估方法、装置和***、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116437379A true CN116437379A (zh) | 2023-07-14 |
Family
ID=87091302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211309033.5A Pending CN116437379A (zh) | 2022-10-25 | 2022-10-25 | 数据收集性能评估方法、装置和***、存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116437379A (zh) |
| WO (1) | WO2024087928A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024087928A1 (zh) * | 2022-10-25 | 2024-05-02 | 中国电信股份有限公司 | 数据收集性能评估方法、装置和***、存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110769455B (zh) * | 2018-07-26 | 2022-05-31 | 华为技术有限公司 | 一种数据收集方法、设备及*** |
| CN110798360B (zh) * | 2019-11-06 | 2022-06-28 | 腾讯科技（深圳）有限公司 | Nwdaf网元的选择方法、装置、电子设备及可读存储介质 |
| CN113709792B (zh) * | 2020-05-22 | 2023-08-15 | 大唐移动通信设备有限公司 | 数据分析处理方法、装置、网络数据分析功能及介质 |
| US11514403B2 (en) * | 2020-10-29 | 2022-11-29 | Accenture Global Solutions Limited | Utilizing machine learning models for making predictions |
| CN114302429B (zh) * | 2021-12-27 | 2023-04-28 | 中国联合网络通信集团有限公司 | Nwdaf网元的确定方法、装置、设备及存储介质 |
| CN116437379A (zh) * | 2022-10-25 | 2023-07-14 | 中国电信股份有限公司 | 数据收集性能评估方法、装置和***、存储介质 |
-
2022
- 2022-10-25 CN CN202211309033.5A patent/CN116437379A/zh active Pending
-
2023
- 2023-09-14 WO PCT/CN2023/118862 patent/WO2024087928A1/zh unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024087928A1 (zh) * | 2022-10-25 | 2024-05-02 | 中国电信股份有限公司 | 数据收集性能评估方法、装置和***、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024087928A1 (zh) | 2024-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105917618B (zh) | 数据转发监视***、数据转发监视方法以及据点*** | |
| CN109039819B (zh) | 时延统计方法、装置、***及存储介质 | |
| CN106649831B (zh) | 一种数据过滤方法及装置 | |
| CN107092544B (zh) | 监控方法及装置 | |
| CN106790487B (zh) | 帮助信息的显示方法、装置及*** | |
| US20150095892A1 (en) | Systems and methods for evaluating a change pertaining to a service or machine | |
| KR100803889B1 (ko) | 클라이언트 단말로 제공되는 서비스 성능 분석 방법 및시스템 | |
| CN110405388B (zh) | 预测焊接质量的方法、装置及电子设备 | |
| CN110601900A (zh) | 一种网络故障预警方法及装置 | |
| CN112636942B (zh) | 业务主机节点的监测方法及装置 | |
| JP2010117757A (ja) | 性能監視システムおよび性能監視方法 | |
| CN116437379A (zh) | 数据收集性能评估方法、装置和***、存储介质 | |
| US20180097705A1 (en) | Backend Resource Costs For Online Service Offerings | |
| CN116662875A (zh) | 接口测绘方法及装置 | |
| CN113162960A (zh) | 一种数据处理方法、装置、设备及介质 | |
| CN104699689B (zh) | 数据处理方法及装置 | |
| CN104994431B (zh) | 一种网站视频关注度的处理方法和装置 | |
| CN107562599A (zh) | 一种参数检测方法及装置 | |
| CN116437363A (zh) | 分析准确性评估方法、装置和***、存储介质 | |
| CN113037685B (zh) | 数据传输方法和电子设备 | |
| US20210208998A1 (en) | Function analyzer, function analysis method, and function analysis program | |
| CN111294411A (zh) | 监控*** | |
| CN108629610B (zh) | 推广信息曝光量的确定方法和装置 | |
| CN116939644A (zh) | Nwdaf网元输出方面性能的测量方法、装置和*** | |
| CN110888811A (zh) | 代码覆盖率信息处理方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |