CN102497435B - 数据业务数据的分发方法及装置 - Google Patents
数据业务数据的分发方法及装置 Download PDFInfo
- Publication number
- CN102497435B CN102497435B CN201110424640.1A CN201110424640A CN102497435B CN 102497435 B CN102497435 B CN 102497435B CN 201110424640 A CN201110424640 A CN 201110424640A CN 102497435 B CN102497435 B CN 102497435B
- Authority
- CN
- China
- Prior art keywords
- business datum
- data
- attribute
- distribution
- template types
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种数据业务数据的分发方法及装置。其中,该方法包括:从上层应用获取数据业务的业务数据;从获取的业务数据的头部读取业务数据的描述信息;根据读取的描述信息确定业务数据所属的业务类型;调用预先设置的与上述业务类型对应的类型模板,检测上述业务数据中记载的属性的取值与类型模板对应的属性要求是否匹配,如果匹配,则确定上述业务数据正常;按照当前分发方式,分发确定正常的上述业务数据。通过本发明,提高了数据业务的业务数据的处理可靠性和准确性。
Description
技术领域
本发明涉及通信领域,具体而言,涉及一种数据业务数据的分发方法及装置。
背景技术
随着电信行业近年来3G业务的迅速推广,海量的数据业务呈现种类多,业务划分复杂,数据源混乱,各业务缺乏共性的特点。目前的数据业务管理以单表为主,大都仅限于分析收入和用户,已经无法满足运营商衡量业务运行状况的需要。如何有效的组织和管理这些***性增长的数据,保证不同数据源的相同指标在不同粒度的统计口径下保持一致,最终满足上层决策支持***的应用,这些都是急需解决的技术难题。
在3G应用不断展开的背景下,数据业务已经日益成为运营商现在和未来最重要的利益增长点。在网络状况不断改善,网络带宽不断加大的情况下,海量的数据业务呈现出种类多、来源杂、缺乏共性,如何组织和管理这些海量数据是业界的一个难题。
这项技术难点在于缺乏一个基于海量数据业务的分发和稽核方法,不仅仅是一个技术问题,还涉对数据业务指标进行汇总和分析,并对数据如何组织和存放进行建模;完善经营信息应用的整体技术架构,增强经营分析***对数据业务的处理能力,提高知识共享程度;通过数据集市组织数据业务信息,构造针对特定主题的通用经营信息应用模型。
现有的技术方案中,对数据业务的处理过程中,数据源混乱、数据不全面,对于相关原始数据、统计的支撑还不到位,没有展现业务的详细经营信息。不同于传统语音业务,数据业务种类多,需求多,而且业务和需求变化也大,而各业务数据源也是千差万别,有来自营帐***,有来自总部下发的数据,有来自渠道分销***的文本文件,也有直接来自经营分析***的数据库表。除了文件格式的不一致,同类文件在结构上也不一样。
另一个现状是数据处理效率低,相比千万级数据量的话音业务来说,数据业务的数据量小很多,因此在经营分析***建立的初期没有考虑对数据业务进行专门的管理和汇总,而只是以业务类型为区分将数据业务与其他业务数据一起存放在数据仓库最底层的ODS层表中。但随着需求的增多,这种弊端日益明显。例如不同需求涉及到多次重复查询,这对***的硬件开销造成了极大压力。
此外数据准确性无法保证,一方面多数据源增加了数据出错的可能性,例如外部输入程序带来的脏数据导致数据丢失和错误,另一方面没有完善的机制来检验数据的有效性。在保证数据源准确的前提下仍然无法确定数据的真实与准确性。
最后是只能接受被动查询,不能主动推送和定制数据。基于数据仓库的经营分析***是面向分析的***,其建立目的是为了方便决策人员进行查询和分析。数据仓库提供数据,以供被动查询使用。但是随着客户需求的不断演进,出现了诸如短信接口,指标上传等需要定时按要求进行分发和推送的新要求。而且这种需求越来越多,因为自动化的数据处理可以大大减少出错的可能。
综上所述,相关技术中数据业务处理存在以下缺陷:现有的海量数据业务处理方法效率不高,无论是被动还是主动查询方式,数据的处理一般采用建索引,这种以空间换时间的方法不能满足需要;准确性也不高,因为涉及数据业务种类多,业务划分复杂,数据源混乱,现有方法无法保证不同数据源的相同指标口径保持一致,也无法自动化验证数据是否一致;***容错性方面,目前的数据采集、准备阶段对脏数据的处理还没有一个完整的标准。
发明内容
针对相关技术中数据业务数据处理准确性不高和可靠性差的问题,本发明提供了一种数据业务数据的分发方法及装置,以至少解决上述问题。
根据本发明的一方面,提供了一种数据业务数据的分发方法,包括:从上层应用获取数据业务的业务数据;从业务数据的头部读取上述业务数据的描述信息;根据上述描述信息确定上述业务数据所属的业务类型;调用预先设置的与上述业务类型对应的类型模板,检测上述业务数据中记载的属性的取值与上述类型模板对应的属性要求是否匹配,如果匹配,则确定上述业务数据正常;按照当前分发方式,分发确定正常的上述业务数据。
优选地,在从上层应用获取数据业务的业务数据之后,上述方法还包括:判断获取的上述业务数据是否完整,如果是,则继续执行从上述业务数据的头部读取上述业务数据流的描述信息的步骤。
优选地,上述方法还包括:从外部数据源中读取预先设置的一个或多个类型模板。
优选地,从外部数据源中读取预先设置的一个或多个类型模板之后,上述方法还包括:判断读取的类型模板的数量是否与预先设置的类型模板数一致;如果一致,对读取的各个类型模板进行合法性检验。
优选地,检测上述业务数据中记载的属性的取值与上述类型模板对应的属性要求是否匹配,包括:调用上述类型模板,检测上述业务数据的总量是否与上述类型模板中设定的数据总量匹配,如果是,则检测上述业务数据中记载的属性的取值与上述类型模板对应的属性要求是否匹配。
优选地,检测上述业务数据中记载的属性的取值与上述类型模板对应的属性要求是否匹配,包括:对于关键数据业务的业务数据,检测上述业务数据中记载的预先设定的属性的取值与上述类型模板对应的属性要求是否匹配;对于除关键数据业务以外的业务数据,随机检测上述业务数据中记载的属性的取值与上述类型模板对应的属性要求是否匹配。
优选地,在按照当前分发方式,分发确定正常的上述业务数据之前,上述方法还包括:从预先设置的分发方式列表中选择与上述业务数据的预定属性的取值匹配的分发方式作为上述当前分发方式。
根据本发明的另一方面,提供了一种数据业务数据的分发装置,包括:获取模块,用于从上层应用获取数据业务的业务数据;读取模块,用于从上述业务数据的头部读取上述业务数据的描述信息;确定模块,用于根据上述描述信息确定上述业务数据所属的业务类型;调用模块,用于调用预先设置的与上述业务类型对应的类型模板;检测模块,用于检测上述业务数据中记载的属性的取值与上述类型模板对应的属性要求是否匹配,如果匹配,则确定上述业务数据正常;分发模块,用于按照当前分发方式,分发确定正常的上述业务数据。
优选地,上述装置还包括:判断模块,用于在上述获取模块从上层应用获取数据业务的业务数据之后,判断获取的上述业务数据是否完整,如果是,则触发上述读取模块从上述业务数据的头部读取上述业务数据流的描述信息。
优选地,上述检测模块包括:第一检测单元,用于检测上述业务数据的总量是否与上述类型模板中设定的数据总量匹配;第二检测单元,用于在上述第一检测单元的检测结果为是的情况下,检测上述业务数据中记载的属性的取值与上述类型模板对应的属性要求是否匹配。
优选地,上述第二检测单元按照以下方式检测上述业务数据中记载的属性的取值与上述类型模板对应的属性要求是否匹配:对于关键数据业务的业务数据,检测上述业务数据中记载的预先设定的属性的取值与上述类型模板对应的属性要求是否匹配;对于除关键数据业务以外的业务数据,随机检测上述业务数据中记载的属性的取值与上述类型模板对应的属性要求是否匹配。
优选地,上述装置还包括:选择模块,用于从预先设置的分发方式列表中选择与上述业务数据的预定属性的取值匹配的分发方式作为上述当前分发方式。
通过本发明,对获取的数据业务数据与预设类型模板进行匹配,检测业务数据的质量,并将检测通过的业务数据用最优的分发方式分发到上层应用。实现了根据业务数据的实际情况,检测业务数据的质量,并根据业务数据的属性的取值选取最优的分发方式,从而提高了数据业务的业务数据的处理可靠性和准确性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的数据业务数据的分发方法的流程图;
图2是根据本发明实施例的数据业务数据的分发装置的结构框图;
图3是根据本发明实施例的一个优选数据业务数据的分发装置的结构框图;
图4是根据本发明实施例的另一优选数据业务数据的分发装置的结构框图;
图5是根据本发明优选实施例的数据业务数据的分发装置的结构框图;
图6是根据本发明优选实施例的数据稽核的流程图;
图7是根据本发明优选实施例的数据分发的流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
针对相关技术中数据业务数据处理过程中的上述问题,本发明实施例提供了一种数据业务数据的分发方法和装置。对数据业务进行分析,将各数据业务的业务数据、客户数据以及其他重要经营信息实现整合,然后采用对数据质量进行检查,发现数据处理过程中存在的问题,能较准确完成稽核业务,有效的实现对海量数据业务的分发任务。
根据本发明实施例,提供了一种数据业务数据的分发方法,如图1所示,该方法可以包括以下几个步骤(步骤S102-步骤S110):
步骤S102,从上层应用获取数据业务的业务数据。
对于数据业务而言,数据分发主要针对上层应用,主要可以分为:报表,联机分析处理(On-Line Analytical Processing,简称为OLAP),指标分析,上传指标和信息提醒接口等。对业务数据分发之前,可以从相关应用和数据业务源中抽取业务数据。
从上层应用获取数据业务的业务数据后,可以对获取的业务数据进行检测和分发,在实际应用中,为了提高检测和分发的稳定性和有效性,在从上层应用获取数据业务的业务数据后,还可以对判断获取的业务数据是否完整,即验证业务数据的完备性。例如,可以通过检查业务数据纪录总数来验证业务数据的完备性,对于数据量较大的业务数据可以先做统计。
步骤S104,从获取的业务数据的头部读取业务数据的描述信息。
步骤S106,根据读取的描述信息确定业务数据所属的业务类型。
步骤S108,调用预先设置的与上述业务类型对应的类型模板,检测上述业务数据中记载的属性的取值与类型模板对应的属性要求是否匹配,如果匹配,则确定上述业务数据正常。
根据实际需要,可以预先配置一个或多个类型模板,在类型模板中设置对业务数据的属性的要求。在确定获取的业务数据的业务类型后,可以从外部数据源中读取预先设置的一个或多个类型模板。在本发明实施例的一个优选实施方式中,为了提高可靠性,可以对类型模板进行验证,例如,可以判断读取的类型模板的数量是否与预先设置的类型模板数一致,在一致的情况下,对读取的各个类型模板进行合法性检验。
在从上层应用获取数据业务的业务数据之后,可以从获取的业务数据中读取业务数据的描述信息。根据读取的描述信息,可以确定获取的业务数据所属的业务类型。在确定获取的业务类型后,可以从预先设置的类型模板中,调用与确定的业务类型对应的类型模板,检测获取的业务数据中记载的属性的取值与类型模板对应的属性要求是否匹配,如果检测结果为是,即记载的属性的取值与类型模板对应的属性要求匹配,可以确定获取的业务数据正常。
例如,从上层应用中获取业务数据后,从业务数据中读取到业务数据的描述信息,确定获取的业务数据所属的业务类型为短信业务。可以从业务的类型模板中调用短信业务的类型模板,检测短信业务数据中记载的接收方号码是否与类型模板中的属性要求匹配。例如,可以设置类型模板中接收方号码要求为11位,那么,如果获取的短信业务数据的接收方号码为11位,则可以确定获取的业务数据正常;否则结束数据分析,生成错误报告。
在本发明实施例的一个优选实施方式中,为了增强检测过程的效率,可以先检测获取的业务数据的总量是否与类型模板中设定的数据总量匹配,在检测结果为是的情况下,进一步检测获取的业务数据中记载的属性的取值与类型模板对应的属性要求是否匹配。如果获取的业务数据的总量与类型模板中设定的数据总量不匹配,则生成检测报告,避免了对属性的取值的检测,从而可以提高检测效率,保证数据的正确定。
对于不同的业务数据,可以采用不同的检测机制。例如,可以按照接口的类型,对数据进行随机检查或定制检查。在本发明实施例的一个优选实施方式中,对于关键数据业务的业务数据,检测获取的业务数据中记载的预先设定的属性的取值与类型模板对应的属性要求是否匹配;对于除关键数据业务以外的业务数据,随机检测业务数据中记载的属性的取值与类型模板对应的属性要求是否匹配。通过本优选实施方式,能够对关键业务数据进行精确检测,保证检测的可靠性,对于非关键业务数据随机检测,提高检测效率。
步骤S110,按照当前分发方式,分发确定正常的上述业务数据。
在实际应用中,针对不同的业务数据可以设置不同的分发方式,例如,可以设置一个分发方式列表,在分发数据时可以从中选用不同的分发方式。在对获取的业务数据检测完成之后,可以从预先设置的分发方式列表中,选择与获取的业务数据的预定属性的取值匹配的分发方式,作为当前分发方式。利用选择的当前分发方式,分发通过检测的业务数据。在业务数据的数据类型可以选择多个分发方式的情况下,可以通过预设的关联分析表计算不同分发方式的适应度,并根据计算所得的适应度选取最优的分发方式。
通过本发明实施例,实现了根据业务数据的实际情况,检测业务数据的质量,并根据业务数据的属性的取值选取最优的分发方式,从而提高数据业务的业务数据的处理可靠性和准确定。
根据本发明实施例,还提供了一种数据业务数据的分发装置,可以用于实现本发明实施例提供的上述方法。
图2是根据本发明实施例的数据业务数据的分发装置的结构框图,如图2所示,该装置可以包括:获取模块10、读取模块20、确定模块30、调用模块40、检测模块50和分发模块60。其中,获取模块10,用于从上层应用获取数据业务的业务数据;读取模块20,用于从获取模块10获取的业务数据的头部读取业务数据的描述信息;确定模块30,用于根据读取模块20读取的描述信息确定业务数据所属的业务类型;调用模块40,用于调用预先设置的与业务类型对应的类型模板;检测模块50,用于检测业务数据中记载的属性的取值与调用模块40调用的类型模板对应的属性要求是否匹配,如果匹配,则确定业务数据正常;分发模块60,用于按照当前分发方式,分发检测模块50检测后确定正常的业务数据。
获取模块10从上层应用获取数据业务的业务数据后,读取模块20可以从获取模块10获取的业务数据的头部读取业务数据的描述信息,以对获取的业务数据进行后续处理,在实际应用中,为了提高检测和分发的稳定性和有效性,在从上层应用获取数据业务的业务数据后,还可以对判断获取的业务数据是否完整,即验证业务数据的完备性。例如,可以通过检查业务数据纪录总数来验证业务数据的完备性,对于数据量较大的业务数据可以先做统计。因此,在本发明实施例的一个优选实施方式中,如图3所示,上述装置还可以包括:判断模块70,用于在获取模块10从上层应用获取数据业务的业务数据之后,判断获取的业务数据是否完整,如果是,则触发读取模块20从业务数据的头部读取业务数据流的描述信息。
为了增强检测过程的效率,可以先检测获取的业务数据的总量是否与类型模板中设定的数据总量匹配,如果获取的业务数据的总量与类型模板中设定的数据总量不匹配,则停止检测生成检测报告,在检测结果为是的情况下,进一步检测获取的业务数据中记载的属性的取值与类型模板对应的属性要求是否匹配。
在本发明实施例的一个优选实施方式中,为了实现上述目的,上述检测模块50可以包括:第一检测单元,用于检测业务数据的总量是否与类型模板中设定的数据总量匹配;第二检测单元,用于在第一检测单元的检测结果为是的情况下,检测业务数据中记载的属性的取值与所述类型模板对应的属性要求是否匹配。通过本优选实施方式,在业务数据的总量与类型模板中设定的数据总量不匹配的情况下,停止检测,避免了对属性的取值的检测,从而可以提高检测效率,保证数据的正确定。
对于不同的业务数据,可以采用不同的检测机制。第二检测单元可以按照以下方式检测业务数据中记载的属性的取值与类型模板对应的属性要求是否匹配:1)对于关键数据业务的业务数据,检测业务数据中记载的预先设定的属性的取值与类型模板对应的属性要求是否匹配;2)对于除关键数据业务以外的业务数据,随机检测业务数据中记载的属性的取值与类型模板对应的属性要求是否匹配。从而能够对关键业务数据进行精确检测,保证检测的可靠性,对于非关键业务数据进行随机检测,提高检测效率。
在对获取的业务数据检测完成之后,可以从预先设置的分发方式列表中,选择与获取的业务数据的预定属性的取值匹配的分发方式,作为当前分发方式。因此,在本发明实施例的一个优选实施方式中,如图4所示,上述装置还包括:选择模块80,用于从预先设置的分发方式列表中选择与业务数据的预定属性的取值匹配的分发方式作为当前分发方式。分发模块60利用选择的当前分发方式,分发通过检测的业务数据。
在本发明的一个优选实施例中,提供了一个基于海量数据业务的组织、分发和稽核的方法,结合数据仓库和数据集市理论中的相关知识,实现了一个包含数据准备层、数据集市层、数据分发层等三层结构的数据业务分发引擎,满足和解决了数据业务分析所面临的问题。在电信经营分析***中的应用表明,本发明优选实施例可以为决策和分析人员分析数据业务信息提供有效的工具,以应对不断变化的市场需求,保证相同数据源的同一指标在分发给不同需求的应用。
根据本发明的一个优选实施例,提供了一种数据业务数据的分发方法及装置,如图5所示,该装置可以包括:数据业务稽核引擎90、数据业务分发引擎100和数据接口110。
其中,数据业务稽核引擎90,相当于本发明上述实施例中的检测模块50。建立了数据业务稽核方法,实现对数据源的集中管理,保证数据流在处理的每个步骤上数据的准确性,避免了因脏数据的出现给***带来的不可预知的影响,满足了数据准确性验证的需要;实现了数据业务的稽核方法,满足了数据准确性验证的需要。
数据业务分发引擎100,相当于本发明上述实施例的分发模块60。结合数据仓库和数据集市理论中的相关知识,实现一个包含数据准备层、数据集市层、数据分发层等三层结构的数据业务分发引擎,满足和解决数据业务分析所面临的问题,实现数据的定时推送功能。
数据接口110,相当于本发明上述实施例中的选择模块80。实现上层应用中需要定制和主动推送的需求,需要定时将按要求汇总的数据发送到指定接口,从被动查询转变到主动推送的数据处理的方式,实现了与现有电信经营分析***的有效数据交流。
下面分别对数据业务稽查引擎90和数据业务分发引擎100的处理流程进行描述。
(一)数据业务稽核引擎90的数据稽核流程
数据稽核为了发现数据处理过程中存在的问题,必须从各个环节上分别采取相应的数据质量检查措施,按照数据处理的主要流程,对每一步检查都制定相应的检查标准。通过对源数据完整性和及时性等方面的检查及时发现问题,以保证在数据在进入分发引擎之前不存在明显的数据质量问题和隐患。
数据源文件的检查主要包括对文件格式、文件大小、记录长度、传送数量等方面的检查;数据源表的检查主要包括对表的属性、数据时间等方面的检查。
图6是根据本发明优选实施例的数据稽核的流程图,如图6所示,该方法可以包括以下几个步骤:
步骤S602,从外部数据源中抽取接口数据文件,列出候选接口If(j),j={0,1,2,...},并检查接口文件个数。
步骤S604,检查接口文件的合法性,发现异常的接口文件进入步骤S616,正常文件进入步骤S606。
步骤S606,进入准备层,从步骤S604中的接口文件Lf(j)中挑选出首项Lf(0),作为当前最适合的接口文件,用作对数据总量做检查;检查发现异常进入步骤S616,正常继续下一步骤。
步骤S608,按照接口的类型,对数据进行随机检查或定制检查,其中关键数据业务的数据,要进行定制检查,其他数据做随机检查,检查发现异常进入步骤S616,正常继续下一步骤。
步骤S610,进入集市层,从进入步骤S608中的接口文件Lf(j)中挑选出首项Lf(0),作为当前最适合的接口文件,用作对数据总量做检查;检查发现异常进入步骤S616,正常继续下一步骤。
步骤S612,按照接口的类型,对数据进行随机检查或定制检查,其中关键数据业务的数据,要进行定制检查,其他数据做随机检查,检查发现异常进入步骤S616,正常继续进行下一步骤。
步骤S614,检查成功的数据,直接生成稽核成功报告并进入步骤S620结束,否则转进入步骤S616。
步骤S616,异常情况处理,并生成稽核错误报告,进入步骤S618。
步骤S618,报警,对异常情况的警告将生成告警文书。
步骤S620,稽核结束。
(二)数据业务分发引擎100的数据分发过程
对于数据业务而言,数据分发主要针对上层应用,主要可以分为报表,OLAP分析、指标分析、上传指标和信息提醒接口。数据业务分发引擎必须要在上层数据源准备好后才能进行,也即验证数据的完备性,一般验证方法是检查数据纪录总数,对于数据量较大的数据表先做统计。
图7是根据本发明优选实施例的数据分发的流程图,如图7所示,该方法可以包括以下几个步骤:
步骤S702,准备数据业务数据,从相关应用和数据业务源中抽取数据。
步骤S704,考察数据准备完毕没有,如果没有就返回步骤S702,准备完毕的数据,从中挑选出合适的集市列表Ds(j),j={0,1,2,...},并将序列中的所有权值映射到{0,1}域内。
步骤S706,进行数据稽核,按照稽核流程对数据进行检查,完成检查任务的进入步骤S708,没有完成的继续进行稽核检查。
步骤S708,从分发方式列表FL(j),j={0,1,2,...},中选择最适合的分发方式FS(k),作为当前分发方式。
步骤S710,进行数据分发,并对分发结果进行判断,如果成功就进入步骤S712,否则进入步骤S714。
步骤S712,分发成功的数据,进行确认操作,并更新分发记录,进入步骤S716。
步骤S714,分发不成功的数据,进行回滚操作,并更新分发记录,如果失败次数为2,进入步骤S716;如果失败次数为1,转进入步骤S706。
步骤S716,数据分发结束。
通过本发明实施例,根据数据业务的实际情况,从各个环节上分别采取相应的数据质量检查措施,按照数据处理的主要流程,对每一步检查都制定相应的检查标准,实现全面监测数据业务的目的。
从以上的描述中,可以看出,本发明实现了如下技术效果:对获取的数据业务数据与预设类型模板进行匹配,检测业务数据的质量,并将检测通过的业务数据用最优的分发方式分发到上层应用。实现了根据业务数据的实际情况,检测业务数据的质量,并根据业务数据的属性的取值选取最优的分发方式,从而提高了数据业务的业务数据的处理可靠性和准确性。同时,对不同的业务数据采用不同的检测和分发机制,能够有效地提高处理效率。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (12)
1.一种数据业务数据的分发方法,其特征在于,包括:
从上层应用获取数据业务的业务数据;
从所述业务数据的头部读取所述业务数据的描述信息;
根据所述描述信息确定所述业务数据所属的业务类型;
调用预先设置的与所述业务类型对应的类型模板,检测所述业务数据中记载的属性的取值与所述类型模板对应的属性要求是否匹配,如果匹配,则确定所述业务数据正常;
按照当前分发方式,分发确定正常的所述业务数据,所述当前分发方式为与获取的业务数据的预定属性的取值匹配的分发方式。
2.根据权利要求1所述的方法,其特征在于,在从上层应用获取数据业务的业务数据之后,所述方法还包括:
判断获取的所述业务数据是否完整,如果是,则继续执行从所述业务数据的头部读取所述业务数据的描述信息的步骤。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
从外部数据源中读取预先设置的一个或多个类型模板。
4.根据权利要求3所述的方法,其特征在于,从外部数据源中读取预先设置的一个或多个类型模板之后,所述方法还包括:
判断读取的类型模板的数量是否与预先设置的类型模板数一致;
如果一致,对读取的各个类型模板进行合法性检验。
5.根据权利要求1所述的方法,其特征在于,检测所述业务数据中记载的属性的取值与所述类型模板对应的属性要求是否匹配,包括:
调用所述类型模板,检测所述业务数据的总量是否与所述类型模板中设定的数据总量匹配,如果是,则检测所述业务数据中记载的属性的取值与所述类型模板对应的属性要求是否匹配。
6.根据权利要求5所述的方法,其特征在于,检测所述业务数据中记载的属性的取值与所述类型模板对应的属性要求是否匹配,包括:
对于关键数据业务的业务数据,检测所述业务数据中记载的预先设定的属性的取值与所述类型模板对应的属性要求是否匹配;
对于除关键数据业务以外的业务数据,随机检测所述业务数据中记载的属性的取值与所述类型模板对应的属性要求是否匹配。
7.根据权利要求1所述的方法,其特征在于,在按照当前分发方式,分发确定正常的所述业务数据之前,所述方法还包括:
从预先设置的分发方式列表中选择与所述业务数据的预定属性的取值匹配的分发方式作为所述当前分发方式。
8.一种数据业务数据的分发装置,其特征在于,包括:
获取模块,用于从上层应用获取数据业务的业务数据;
读取模块,用于从所述业务数据的头部读取所述业务数据的描述信息;
确定模块,用于根据所述描述信息确定所述业务数据所属的业务类型;
调用模块,用于调用预先设置的与所述业务类型对应的类型模板;
检测模块,用于检测所述业务数据中记载的属性的取值与所述类型模板对应的属性要求是否匹配,如果匹配,则确定所述业务数据正常;
分发模块,用于按照当前分发方式,分发确定正常的所述业务数据,所述当前分发方式为与获取的业务数据的预定属性的取值匹配的分发方式。
9.根据权利要求8所述的装置,其特征在于,还包括:
判断模块,用于在所述获取模块从上层应用获取数据业务的业务数据之后,判断获取的所述业务数据是否完整,如果是,则触发所述读取模块从所述业务数据的头部读取所述业务数据的描述信息。
10.根据权利要求8所述的装置,其特征在于,所述检测模块包括:
第一检测单元,用于检测所述业务数据的总量是否与所述类型模板中设定的数据总量匹配;
第二检测单元,用于在所述第一检测单元的检测结果为是的情况下,检测所述业务数据中记载的属性的取值与所述类型模板对应的属性要求是否匹配。
11.根据权利要求10所述的装置,其特征在于,所述第二检测单元按照以下方式检测所述业务数据中记载的属性的取值与所述类型模板对应的属性要求是否匹配:
对于关键数据业务的业务数据,检测所述业务数据中记载的预先设定的属性的取值与所述类型模板对应的属性要求是否匹配;
对于除关键数据业务以外的业务数据,随机检测所述业务数据中记载的属性的取值与所述类型模板对应的属性要求是否匹配。
12.根据权利要求8所述的装置,其特征在于,所述装置还包括:
选择模块,用于从预先设置的分发方式列表中选择与所述业务数据的预定属性的取值匹配的分发方式作为所述当前分发方式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110424640.1A CN102497435B (zh) | 2011-12-16 | 2011-12-16 | 数据业务数据的分发方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110424640.1A CN102497435B (zh) | 2011-12-16 | 2011-12-16 | 数据业务数据的分发方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102497435A CN102497435A (zh) | 2012-06-13 |
CN102497435B true CN102497435B (zh) | 2015-03-18 |
Family
ID=46189220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110424640.1A Expired - Fee Related CN102497435B (zh) | 2011-12-16 | 2011-12-16 | 数据业务数据的分发方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102497435B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103546520B (zh) * | 2012-07-17 | 2018-03-09 | 中兴通讯股份有限公司 | 消息分发方法及装置 |
CN105335401B (zh) * | 2014-07-22 | 2019-02-26 | 阿里巴巴集团控股有限公司 | 数据仓库指标管理方法和装置及*** |
CN105183874A (zh) * | 2015-09-19 | 2015-12-23 | 北京暴风科技股份有限公司 | 一种自维护的分布式数据库代理方法 |
CN105868373B (zh) * | 2016-03-31 | 2019-12-27 | 国网江西省电力有限公司信息通信分公司 | 电力业务信息***关键数据处理方法及装置 |
CN109656519B (zh) * | 2017-10-11 | 2022-09-06 | 北京京东尚科信息技术有限公司 | 一种业务数据自动化接入方法和装置 |
CN109347898B (zh) * | 2018-08-20 | 2021-04-30 | 深圳市梦网科技发展有限公司 | 场景信息的发送方法、显示方法以及服务器和移动终端 |
CN109872081A (zh) * | 2019-03-12 | 2019-06-11 | 北京首汽智行科技有限公司 | 一种业务数据获取、发送方法及*** |
CN111539633A (zh) * | 2020-04-26 | 2020-08-14 | 北京思特奇信息技术股份有限公司 | 一种业务数据质量的稽核方法、***、装置和存储介质 |
CN112070479A (zh) * | 2020-09-03 | 2020-12-11 | 中国平安财产保险股份有限公司 | 任务分发方法、装置、设备及存储介质 |
CN114493107A (zh) * | 2021-12-23 | 2022-05-13 | 北京思特奇信息技术股份有限公司 | 一种任务流程的数据质量校验方法及***、电子设备、存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1855921A (zh) * | 2005-04-28 | 2006-11-01 | 华为技术有限公司 | 自动识别aal5帧封装格式的方法 |
CN1859621A (zh) * | 2006-03-10 | 2006-11-08 | 华为技术有限公司 | 发送业务短信的***及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101932040B (zh) * | 2009-06-26 | 2014-01-01 | 华为技术有限公司 | 寻呼处理方法、通信装置及通信*** |
-
2011
- 2011-12-16 CN CN201110424640.1A patent/CN102497435B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1855921A (zh) * | 2005-04-28 | 2006-11-01 | 华为技术有限公司 | 自动识别aal5帧封装格式的方法 |
CN1859621A (zh) * | 2006-03-10 | 2006-11-08 | 华为技术有限公司 | 发送业务短信的***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102497435A (zh) | 2012-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102497435B (zh) | 数据业务数据的分发方法及装置 | |
CN105868373B (zh) | 电力业务信息***关键数据处理方法及装置 | |
CN103150696A (zh) | 选择目标增值业务潜在客户的方法及装置 | |
CN106462858A (zh) | 通过数据库所有者针对错误认定和/或未覆盖补偿印象数据的方法和装置 | |
CN113762900B (zh) | 一种基于区块链预言机的供应链管理***及方法 | |
CN113487275B (zh) | 一种基于区块链的实验室检测报告管理*** | |
CN101266487A (zh) | 基于网络的制造过程产品质量控制***及方法 | |
CN111177139A (zh) | 基于数据质量体系的数据质量验证监控及预警方法和*** | |
CN113190562A (zh) | 一种报表生成方法、装置及电子设备 | |
CN101330551B (zh) | 一种电信***中的通信记录的核对方法及*** | |
CN109544179B (zh) | 基于重要产品追溯数据服务的运行支撑*** | |
CN116957528B (zh) | 一种对多来源打卡数据自动生成考勤结果的方法及*** | |
CN113379230A (zh) | 基于大数据的巡查调控***及方法 | |
US7987123B1 (en) | Method and system for providing market analysis for wireless data markets | |
CN116595262A (zh) | 商旅方案推荐方法、装置、电子设备及计算机存储介质 | |
CN110209575A (zh) | 测试文档生成方法、装置、电子设备及存储介质 | |
KR101415528B1 (ko) | 분산된 시스템을 위한 데이터 오류 처리 장치 및 방법 | |
CN115345753A (zh) | 一种基于互联网渠道的电力客户消息精准推送方法 | |
CN110838006B (zh) | 用于通用设备的测试*** | |
CN110096556B (zh) | 一种可提高开票智能赋码准确度的***和方法 | |
CN114612127A (zh) | 一种基于大数据的erp信息化***建设方法 | |
CN110689381A (zh) | 一种预警方法及装置 | |
CN106998559B (zh) | 小区检测方法及装置 | |
CN113379211B (zh) | 基于区块链的物流信息平台违约风险管控***及方法 | |
CN117829860B (zh) | 一种基于区块链的工业领域碳账户动态评价方法及云平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150318 Termination date: 20171216 |
|
CF01 | Termination of patent right due to non-payment of annual fee |