CN109086038A - 基于Spark的大数据开发方法及装置、终端 - Google Patents

基于Spark的大数据开发方法及装置、终端 Download PDF

Info

Publication number
CN109086038A
CN109086038A CN201810755408.8A CN201810755408A CN109086038A CN 109086038 A CN109086038 A CN 109086038A CN 201810755408 A CN201810755408 A CN 201810755408A CN 109086038 A CN109086038 A CN 109086038A
Authority
CN
China
Prior art keywords
template
exploitation
development
big data
spark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810755408.8A
Other languages
English (en)
Other versions
CN109086038B (zh
Inventor
刘霄峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qianxun Position Network Co Ltd
Original Assignee
Qianxun Position Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qianxun Position Network Co Ltd filed Critical Qianxun Position Network Co Ltd
Priority to CN201810755408.8A priority Critical patent/CN109086038B/zh
Publication of CN109086038A publication Critical patent/CN109086038A/zh
Application granted granted Critical
Publication of CN109086038B publication Critical patent/CN109086038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/33—Intelligent editors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/20—Software design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本发明适用于大数据开发技术领域，提供了一种基于Spark的大数据开发方法及装置、终端，所述大数据开发方法包括：安装集成开发环境，方便引入模板工程；下载新近的模板工程，同时进行编译打包，生成软件开发工具包；加所述软件开发工具包到所述集成开发环境中，形成一开发模板；新建大数据开发工程，应用所述开发模板进行大数据开发。本发明中，基于模板的开发方式不仅仅提供了封装的类和方法，同时提供了直接可运行的开发模板，提高了开发效率，降低了入门门槛，用最简单有效的方式加快开发进度。

Description

基于Spark的大数据开发方法及装置、终端
技术领域
本发明属于大数据开发技术领域，尤其涉及一种基于Spark的大数据开发方法及装置、终端。
背景技术
近年来越来越多的工具开发包给我们的开发任务带来了极大的便利，即技术人员通过自有的封装手段，将一些依赖和实用方法进行封装，然后他人通过引用的方式进行使用。这种方法是目前最普遍的技术和功能共享方式，但是此类方式也存在一定的弊端，即对于初学者不友好，对于Spark等开发封装的不够彻底，对于很多人无法快速上手。
现有的工具开发包仅提供了封装方法或者父类，通过继承和引用的方式使用，用户对于内部方法需要进行一定的解读才能很好地使用，并且需要通过其他信息来源对Spark开发进行相应了解，才能真正的开始进行任务开发。这样导致了上手较慢，开发困难等问题，增加了额外开发成本。
发明内容
本发明实施例提供了一种基于Spark的大数据开发方法及装置、终端，旨在解决现有技术的开发方式封装不够彻底，无法快速上手的问题。
一种基于Spark的大数据开发方法，包括：
安装集成开发环境，方便引入模板工程；
下载新近的模板工程，同时进行编译打包，生成软件开发工具包；
添加所述软件开发工具包到所述集成开发环境中，形成一开发模板；
新建大数据开发工程，应用所述开发模板进行大数据开发。
优选地，所述安装集成开发环境之后，还包括：安装Maven仓库和IDE的Maven插件。
优选地，所述开发模板包括通用模板，数据清洗模板和Spark算子模板的至少之一。
优选地，所述开发模板包含输入参数的读取和规整、数据的输入和输出以及中间清洗方法的选择。
优选地，所述新建大数据开发工程，应用所述开发模板进行大数据开发的步骤，包括：
根据所述开发模板的代码进行相应改动完成大数据开发，或
继续拓展所述开发模板，简化开发流程，共享代码架构。
优选地，所述开发模板为带有详细注释和能够快速运行的代码，所述应用所述开发模板进行大数据开发的步骤，包括：
根据注释选择需要的数据源写入方法，选择合理的RDD操作算子，选择需要的数据源输入方法；
根据需要对所述代码进行修改或者删减。
本发明还提供一种基于Spark的大数据开发装置，其特征在于，包括：
安装单元，用于安装集成开发环境，方便引入模板工程；
编译单元，用于下载新近的模板工程，同时进行编译打包，生成软件开发工具包；
添加单元，用于添加所述软件开发工具包到所述集成开发环境中，形成一开发模板；
开发单元，用于新建大数据开发工程，应用所述开发模板进行大数据开发。
优选地，所述安装单元还包括：安装Maven仓库和IDE的Maven插件。
本发明还提供一种存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行如下步骤：
安装集成开发环境，方便引入模板工程；
下载新近的模板工程，同时进行编译打包，生成软件开发工具包；
添加所述软件开发工具包到所述集成开发环境中，形成一开发模板；
新建大数据开发工程，应用所述开发模板进行大数据开发。
本发明还提供一种终端，包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
安装集成开发环境，方便引入模板工程；
下载新近的模板工程，同时进行编译打包，生成软件开发工具包；
添加所述软件开发工具包到所述集成开发环境中，形成一开发模板；
新建大数据开发工程，应用所述开发模板进行大数据开发。
本发明实施例中，基于模板的开发方式不仅仅提供了封装的类和方法，同时提供了直接可运行的开发模板，提高了开发效率，降低了入门门槛，用最简单有效的方式加快开发进度。
附图说明
图1为本发明第一实施例提供的一种基于Spark的大数据开发方法的流程图；
图2为本发明第一实施例提供的一种基于Spark的大数据开发方法的一优选方式的流程图；
图3为本发明第二实施例提供的一种基于Spark的大数据开发装置的结构图；
图4为本发明第三实施例提供的一种终端的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例中，一种基于Spark的大数据开发方法，包括：安装集成开发环境，方便引入模板工程；下载新近的模板工程，同时进行编译打包，生成软件开发工具包；添加所述软件开发工具包到所述集成开发环境中，形成一开发模板；新建大数据开发工程，应用所述开发模板进行大数据开发。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
图1示出了本发明第一实施例提供的一种基于Spark的大数据开发方法的流程图，该方法包括：
步骤S1，安装集成开发环境(Integrated Development Environment，IDE)，方便引入模板工程；
IDE一般包括代码编辑器、编译器、调试器和图形用户界面工具。本发明实施例中的IDE可以为IDEA、Eclipse等开发环境。在步骤S1中，在安装集成开发环境后还需要安装Maven仓库和IDE的Maven插件，使开发工具能够引入模板工程。
步骤S2，下载新近的模板工程，同时进行编译打包，生成软件开发工具包(Software Development Kit，SDK)；
本发明实施例中的SDK支持多个版本。SDK中封装了各版本的Spark依赖和通用的方法，例如对各类数据库的访问，对于一些数据的预处理等。以开发一个简单的Spark任务为例，通常情况下，开发Spark任务需要进行Spark的相关知识储备，寻找依赖，搭建开发环境，熟悉接口然后根据Spark编程规范进行定制开发，而且需要了解Spark基于RDD的已有方法。
步骤S3，添加所述软件开发工具包到所述集成开发环境中，形成一开发模板；
具体地，开发模板包括通用模板，数据清洗模板和Spark算子模板的至少之一。开发模板需要依赖于现有的开发工具和相关插件，需要使用到依赖管理插件，需要使用到现有开发工具的模板写入功能。
所有的模板相关依赖会集成到现有的SDK中去，当导入SDK的同时，模板类的所有依赖就会引入完毕，可以一键式完成功能的依赖配置。开发模板的相关依赖通过SDK的方式提供，开发模板并非编译完毕的工具包，而是带有详细注释和能够快速运行的代码，开发模板总共三种，即通用模板，数据清洗模板和Spark算子模板。通用模板即继承了数据源的读取代码，数据的简单处理代码和数据存储代码，数据清洗模板即在通用模板基础上增加了多种ETL过程，例如过滤，去重和归并等，Spark算子模板是在数据清洗模板的基础上增加了一些Spark复杂算子的使用样例，例如Aggregate等。
步骤S4，新建大数据开发工程，应用所述开发模板进行大数据开发；
具体地，新建大数据开发工程，引入SDK后，创建一个开发模板，如此可以使用SDK中的所有功能。模板可以进行二次开发和代码贡献，能够以最小的时间代价完成Spark任务的开发。引入SDK后即完成依赖引入，引入模板类后即完成整个开发模板部署，仅需这两步就完成了Spark的任务开发工程的配置，且对于新用户十分友好，可直接编译运行。
本实施例中，基于模板的开发方式不仅仅提供了封装的类和方法，同时提供了直接可运行的开发模板，提高了开发效率，降低了入门门槛，用最简单有效的方式加快开发进度。
整个大数据开发如下表1：
首先安装IDE，并安装Maven仓库和IDE的Maven插件，使能够引入模板工程；然后依赖管理工具下载新近的模板工程，同时进行编译打包，生成SDK；将SDK添加到IDE中，新建Spark任务工程，引入SDK后，创建一个开发模板，即可开始开发，此时可以使用SDK中的所有功能，同时，多种形态的开发模板提供了可运行的，多样性的程序样例，开发这可以直接根据模板代码进行相应改动，完成开发任务，并且可以继续拓展自己的开发模板，简化开发流程，共享代码架构。
其中，数据源适配可包含MongoDB，HDFS，Hive，Hbase和MySQL等数据源的写入和输出，通用方法包含了对于各类时间规范，如天的起始时间戳，周的起始时间戳，五分钟起始时间戳等多种时间规范场景；还有对于字符串的正则判断，NULL值判断和数据源的动态切换等；同时增加了一些动态参数的配置管理，本地配置关联，HDFS配置关联和KV库配置关联等。三种模板都包含输入参数的读取和规整，数据的输入和输出以及中间清洗方法的选择。
本发明基于模板的大数据开发方式，不仅仅提供了封装的类和方法，同时提供了直接可运行的开发模板，并且根据不同场景进行了分别定制，用户只需要引入，就可以直接运行，同时根据模板样例直接修改可用方法，根据注释完成了对于参数的调节。开发模板对于用户来说是直接可用的，带有详细解读的可知代码，而且每次创建Spark任务的时候，可以直接通过模板进行创建，同时可以根据现有模板进行改进新增，完成自有模板的建立。
本发明实施例方法可以进一步提高开发者的开发效率，降低入门门槛，一站式搭建Spark的大数据开发环境，同时提供了易用的方法，增加了对于多类数据源的支持。
在本实施例的一个优选方案中(见图2)，应用所述开发模板进行大数据开发的步骤，包括：
步骤S5，根据注释选择需要的数据源写入方法，选择合理的RDD操作算子，选择需要的数据源输入方法；
以开发一个简单的Spark任务为例，通常情况下，开发Spark任务需要进行Spark的相关知识储备，寻找依赖，搭建开发环境，熟悉接口然后根据Spark编程规范进行定制开发，而且需要了解Spark基于RDD的已有方法。而拥有本开发方法之后，仅需建立属于自己的MAVEN工程，下载SDK引入，并一起引入模板即可以进行Spark任务的调试。从三大类别中挑选模板类进行创建，根据注释选择需要的数据源写入方法，选择合理的RDD操作算子，选择需要的数据源输入方法。
步骤S6，根据需要对所述代码进行修改或者删减。
开发者无需关心细节，所有的数据源操作和RDD算子操作都会以代码的方式呈现在模板类中，开发者只要根据需要对代码进行修改或者删减即可完成开发。针对有经验的开发者可以选用通用模板进行开发，省去了进行代码规范和数据输入输出编程的代价。用户同时可以自己定制自己的开发模板，可以根据三种类别的模板创建新的模板，当多人协同进行开发时，仅需共享模板即可。
整个SDK的功能如下表2所示：
以上仅为一个简单举例，现实生活中，我们所面临的的入门难，重复劳动一直是困扰开发这的重大难题，而基于模板的开发方式恰恰解决了这一问题。
本发明实施例的大数据开发方法基于现有IDE，直接引入SDK即可，使用方便，本发明模板类可直接运行，并且以代码方式呈现，易于修改，同时方便扩展，建立自己的模板开发类；本发明提高了开发效率，降低了入门门槛，能够适应单兵作战和多人协作等多种模式，用最简单有效的方式加快开发进度。因此，本发明提供的大数据开发方法及平台在大数据开发等多种领域有十分广阔的应用前景。需要说明的是，本发明在实施过程中，需要现有开发工具的支持，本发明包含的数据源广泛，有MongoDB，HDFS，Hive，Hbase，Mysql，Kafka，同时支持的算子包含了Spark官网上的所有RDD算子，包括方法类别和使用样例，虽然同样有人封装过此类的方法包，但是目前为止并没有形成模板，也没有能够支持如此多的数据源，同时没有形成本发明这种一站式的基于模板的快速开发方法。
实施例二：
如图3所示，为本发明第二实施例提供的一种基于Spark的大数据开发装置的结构图，该装置包括：安装单元1、与安装单元1连接的编译单元2、与编译单元2连接的添加单元3、与添加单元3连接的开发单元4，其中：
安装单元1，用于安装集成开发环境，方便引入模板工程；
IDE一般包括代码编辑器、编译器、调试器和图形用户界面工具。本发明实施例中的IDE可以为IDEA、Eclipse等开发环境。在步骤S1中，在安装集成开发环境后还需要安装Maven仓库和IDE的Maven插件，使开发工具能够引入模板工程。
编译单元2，用于下载新近的模板工程，同时进行编译打包，生成软件开发工具包；
本发明实施例中的SDK支持多个版本。SDK中封装了各版本的Spark依赖和通用的方法，例如对各类数据库的访问，对于一些数据的预处理等。以开发一个简单的Spark任务为例，通常情况下，开发Spark任务需要进行Spark的相关知识储备，寻找依赖，搭建开发环境，熟悉接口然后根据Spark编程规范进行定制开发，而且需要了解Spark基于RDD的已有方法。
添加单元3，用于添加所述软件开发工具包到所述集成开发环境中，形成一开发模板；
具体地，开发模板包括通用模板，数据清洗模板和Spark算子模板的至少之一。开发模板需要依赖于现有的开发工具和相关插件，需要使用到依赖管理插件，需要使用到现有开发工具的模板写入功能。
所有的模板相关依赖会集成到现有的SDK中去，当导入SDK的同时，模板类的所有依赖就会引入完毕，可以一键式完成功能的依赖配置。开发模板的相关依赖通过SDK的方式提供，开发模板并非编译完毕的工具包，而是带有详细注释和能够快速运行的代码，开发模板总共三种，即通用模板，数据清洗模板和Spark算子模板。通用模板即继承了数据源的读取代码，数据的简单处理代码和数据存储代码，数据清洗模板即在通用模板基础上增加了多种ETL过程，例如过滤，去重和归并等，Spark算子模板是在数据清洗模板的基础上增加了一些Spark复杂算子的使用样例，例如Aggregate等。
开发单元4，用于新建大数据开发工程，应用所述开发模板进行大数据开发；
具体地，新建大数据开发工程，引入SDK后，创建一个开发模板，如此可以使用SDK中的所有功能。模板可以进行二次开发和代码贡献，能够以最小的时间代价完成Spark任务的开发。
SDK中包括数据源适配，通用方法、配置方法以及各模板。其中，数据源适配可包含MongoDB，HDFS，Hive，Hbase和MySQL等数据源的写入和输出，通用方法包含了对于各类时间规范，如天的起始时间戳，周的起始时间戳，五分钟起始时间戳等多种时间规范场景；还有对于字符串的正则判断，NULL值判断和数据源的动态切换等；同时增加了一些动态参数的配置管理，本地配置关联，HDFS配置关联和KV库配置关联等。三种模板都包含输入参数的读取和规整，数据的输入和输出以及中间清洗方法的选择。
引入SDK后即完成依赖引入，引入模板类后即完成整个开发模板部署，仅需这两步就完成了Spark的任务开发工程的配置，且对于新用户十分友好，可直接编译运行。
本发明基于模板的大数据开发方式，不仅仅提供了封装的类和方法，同时提供了直接可运行的开发模板，并且根据不同场景进行了分别定制，用户只需要引入，就可以直接运行，同时根据模板样例直接修改可用方法，根据注释完成了对于参数的调节。开发模板对于用户来说是直接可用的，带有详细解读的可知代码，而且每次创建Spark任务的时候，可以直接通过模板进行创建，同时可以根据现有模板进行改进新增，完成自有模板的建立。
本实施例中，基于模板的开发方式不仅仅提供了封装的类和方法，同时提供了直接可运行的开发模板，提高了开发效率，降低了入门门槛，用最简单有效的方式加快开发进度。
在本实施例的一个优选方案中，开发单元4还用于：
根据注释选择需要的数据源写入方法，选择合理的RDD操作算子，选择需要的数据源输入方法；
根据需要对所述代码进行修改或者删减。
以开发一个简单的Spark任务为例，通常情况下，开发Spark任务需要进行Spark的相关知识储备，寻找依赖，搭建开发环境，熟悉接口然后根据Spark编程规范进行定制开发，而且需要了解Spark基于RDD的已有方法。而拥有本开发方法之后，仅需建立属于自己的MAVEN工程，下载SDK引入，并一起引入模板即可以进行Spark任务的调试。从三大类别中挑选模板类进行创建，根据注释选择需要的数据源写入方法，选择合理的RDD操作算子，选择需要的数据源输入方法。
开发者无需关心细节，所有的数据源操作和RDD算子操作都会以代码的方式呈现在模板类中，开发者只要根据需要对代码进行修改或者删减即可完成开发。针对有经验的开发者可以选用通用模板进行开发，省去了进行代码规范和数据输入输出编程的代价。用户同时可以自己定制自己的开发模板，可以根据三种类别的模板创建新的模板，当多人协同进行开发时，仅需共享模板即可。
本发明实施例的大数据开发方法基于现有IDE，直接引入SDK即可，使用方便，本发明模板类可直接运行，并且以代码方式呈现，易于修改，同时方便扩展，建立自己的模板开发类；本发明提高了开发效率，降低了入门门槛，能够适应单兵作战和多人协作等多种模式，用最简单有效的方式加快开发进度。因此，本发明提供的大数据开发方法及平台在大数据开发等多种领域有十分广阔的应用前景。需要说明的是，本发明在实施过程中，需要现有开发工具的支持，本发明包含的数据源广泛，有MongoDB，HDFS，Hive，Hbase，Mysql，Kafka，同时支持的算子包含了Spark官网上的所有RDD算子，包括方法类别和使用样例，虽然同样有人封装过此类的方法包，但是目前为止并没有形成模板，也没有能够支持如此多的数据源，同时没有形成本发明这种一站式的基于模板的快速开发方法。
实施例三：
图4示出了本发明第四实施例提供的一种终端的结构图，该终端包括：存储器(memory)41、处理器(processor)42和总线43，该处理器42、存储器41通过总线43完成相互之间的交互通信。
存储器41，用于存储各种数据；
具体地，存储器41用于存储各种数据，例如大数据开发过程中的参数、代码等，此处对此不作限制，该存储器还包括有多个计算机程序。
处理器42，用于调用存储器41中的各种计算机程序，以执行上述实施例一所提供的一种基于Spark的大数据开发方法，例如：
安装集成开发环境，方便引入模板工程；
下载新近的模板工程，同时进行编译打包，生成软件开发工具包；
添加所述软件开发工具包到所述集成开发环境中，形成一开发模板；
新建大数据开发工程，应用所述开发模板进行大数据开发。
本发明还提供一种存储器，该存储器存储有多个计算机程序，该多个计算机程序被处理器调用执行上述实施例一所述的一种基于Spark的大数据开发方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。
专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于Spark的大数据开发方法，其特征在于，包括：
安装集成开发环境，方便引入模板工程；
下载新近的模板工程，同时进行编译打包，生成软件开发工具包；
添加所述软件开发工具包到所述集成开发环境中，形成一开发模板；
新建大数据开发工程，应用所述开发模板进行大数据开发。
2.根据权利要求1所述的大数据开发方法，其特征在于，所述安装集成开发环境之后，还包括：安装Maven仓库和IDE的Maven插件。
3.根据权利要求1所述的大数据开发方法，其特征在于，所述开发模板包括通用模板，数据清洗模板和Spark算子模板的至少之一。
4.根据权利要求1所述的大数据开发方法，其特征在于，所述开发模板包含输入参数的读取和规整、数据的输入和输出以及中间清洗方法的选择。
5.根据权利要求1所述的大数据开发方法，其特征在于，所述新建大数据开发工程，应用所述开发模板进行大数据开发的步骤，包括：
根据所述开发模板的代码进行相应改动完成大数据开发；
继续拓展所述开发模板，简化开发流程，共享代码架构。
6.根据权利要求1所述的大数据开发方法，其特征在于，所述开发模板为带有详细注释和能够快速运行的代码，所述应用所述开发模板进行大数据开发的步骤，包括：
根据注释选择需要的数据源写入方法，选择合理的RDD操作算子，选择需要的数据源输入方法；
根据需要对所述代码进行修改或者删减。
7.一种基于Spark的大数据开发装置，其特征在于，包括：
安装单元，用于安装集成开发环境，方便引入模板工程；
编译单元，用于下载新近的模板工程，同时进行编译打包，生成软件开发工具包；
添加单元，用于添加所述软件开发工具包到所述集成开发环境中，形成一开发模板；
开发单元，用于新建大数据开发工程，应用所述开发模板进行大数据开发。
8.根据权利要求7所述的大数据开发装置，其特征在于，所述安装单元还包括：安装Maven仓库和IDE的Maven插件。
9.一种存储器，所述存储器存储有计算机程序，其特征在于，所述计算机程序被处理器执行如下步骤：
安装集成开发环境，方便引入模板工程；
下载新近的模板工程，同时进行编译打包，生成软件开发工具包；
添加所述软件开发工具包到所述集成开发环境中，形成一开发模板；
新建大数据开发工程，应用所述开发模板进行大数据开发。
10.一种终端，包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任意一项所述的基于Spark的大数据开发方法的步骤。
CN201810755408.8A 2018-07-10 2018-07-10 基于Spark的大数据开发方法及装置、终端 Active CN109086038B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810755408.8A CN109086038B (zh) 2018-07-10 2018-07-10 基于Spark的大数据开发方法及装置、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810755408.8A CN109086038B (zh) 2018-07-10 2018-07-10 基于Spark的大数据开发方法及装置、终端

Publications (2)

Publication Number Publication Date
CN109086038A true CN109086038A (zh) 2018-12-25
CN109086038B CN109086038B (zh) 2022-05-31

Family

ID=64837591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810755408.8A Active CN109086038B (zh) 2018-07-10 2018-07-10 基于Spark的大数据开发方法及装置、终端

Country Status (1)

Country Link
CN (1) CN109086038B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110007900A (zh) * 2019-02-13 2019-07-12 平安科技（深圳）有限公司 工具类调用方法、***、计算机设备和存储介质
CN110928529A (zh) * 2019-11-06 2020-03-27 第四范式（北京）技术有限公司 辅助算子开发的方法和***
CN114722161A (zh) * 2022-06-09 2022-07-08 广州易方信息科技股份有限公司 在ide界面快速查询添加pm单任务状态的方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100726614B1 (ko) * 2006-02-01 2007-06-11 에스케이 텔레콤주식회사 브-엠 기반의 기업용 애플리케이션 개발지원 시스템 및방법
US20090210855A1 (en) * 2008-02-20 2009-08-20 Embarcadero Technologies Inc. Development System with Improved Methodology for Creation and Reuse of Software Assets
CN103713896A (zh) * 2013-12-17 2014-04-09 北京京东尚科信息技术有限公司 用于访问服务器的软件开发工具包生成方法及装置
CN103777944A (zh) * 2013-12-25 2014-05-07 中软信息***工程有限公司 一种基于Eclipse的MIPS平台集成开发环境及其实现方法
CN106250987A (zh) * 2016-07-22 2016-12-21 无锡华云数据技术服务有限公司 一种机器学***台
WO2017114188A1 (zh) * 2015-12-29 2017-07-06 口碑控股有限公司 一种打印装置及打印方法
CN106990965A (zh) * 2017-03-31 2017-07-28 合肥民众亿兴软件开发有限公司 一种软件平台及其开发方法
CN107632817A (zh) * 2017-09-28 2018-01-26 北京昆仑在线网络科技有限公司 一种移动应用高效迭代Spark框架
CN107924305A (zh) * 2015-09-02 2018-04-17 谷歌有限责任公司 软件开发和分发平台
CN107943485A (zh) * 2017-12-11 2018-04-20 北京奇虎科技有限公司 一种补丁编译平台及补丁编译方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100726614B1 (ko) * 2006-02-01 2007-06-11 에스케이 텔레콤주식회사 브-엠 기반의 기업용 애플리케이션 개발지원 시스템 및방법
US20090210855A1 (en) * 2008-02-20 2009-08-20 Embarcadero Technologies Inc. Development System with Improved Methodology for Creation and Reuse of Software Assets
CN103713896A (zh) * 2013-12-17 2014-04-09 北京京东尚科信息技术有限公司 用于访问服务器的软件开发工具包生成方法及装置
CN103777944A (zh) * 2013-12-25 2014-05-07 中软信息***工程有限公司 一种基于Eclipse的MIPS平台集成开发环境及其实现方法
CN107924305A (zh) * 2015-09-02 2018-04-17 谷歌有限责任公司 软件开发和分发平台
WO2017114188A1 (zh) * 2015-12-29 2017-07-06 口碑控股有限公司 一种打印装置及打印方法
CN106250987A (zh) * 2016-07-22 2016-12-21 无锡华云数据技术服务有限公司 一种机器学***台
CN106990965A (zh) * 2017-03-31 2017-07-28 合肥民众亿兴软件开发有限公司 一种软件平台及其开发方法
CN107632817A (zh) * 2017-09-28 2018-01-26 北京昆仑在线网络科技有限公司 一种移动应用高效迭代Spark框架
CN107943485A (zh) * 2017-12-11 2018-04-20 北京奇虎科技有限公司 一种补丁编译平台及补丁编译方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
梅宏: "ABC:基于体系结构、面向构件的软件开发方法", 《软件学报》 *
顾立平，马景源: "《数据馆员的SPARK简明手册》", 31 October 2017, 科学技术文献出版社 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110007900A (zh) * 2019-02-13 2019-07-12 平安科技（深圳）有限公司 工具类调用方法、***、计算机设备和存储介质
CN110928529A (zh) * 2019-11-06 2020-03-27 第四范式（北京）技术有限公司 辅助算子开发的方法和***
CN114722161A (zh) * 2022-06-09 2022-07-08 广州易方信息科技股份有限公司 在ide界面快速查询添加pm单任务状态的方法及装置

Also Published As

Publication number Publication date
CN109086038B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
Seibel Practical common lisp
Rothermel et al. A methodology for testing spreadsheets
Kazman et al. View extraction and view fusion in architectural understanding
CN109086038A (zh) 基于Spark的大数据开发方法及装置、终端
WO2007122640A2 (en) A system and method for automated re-architectureing of legacy systems using object-oriented language
US8046202B1 (en) Generation of intermediate representations based on user specified elements in a graphical model that enable simulation, propagation and code generation
Voudouris et al. iOpt: A software toolkit for heuristic search methods
CN109445832A (zh) 基于编程语言对应用程序进行热更新的方法以及电子设备
Fauth et al. Automated generation of DSP program development tools using a machine description formalism
De Roover et al. The ekeko/x program transformation tool
Pickering et al. Foundations of F♯
Wurdel et al. CTML: Domain and Task Modeling for Collaborative Environments.
Borowski et al. Graph Buddy—an interactive code dependency browsing and visualization tool
Sousa et al. Operationalizing the integration of user interaction specifications in the synthesis of modeling editors
Rieger et al. Challenges and Opportunities of Modularizing Textual Domain-Specific Languages.
Rubin et al. Early experience with the visual programmer's WorkBench
Zarrin et al. An integrated framework to specify domain-specific modeling languages
CN106649095A (zh) 一种面向目标代码的程序静态分析***
CN114721647B (zh) 一种基于无代码应用开发的面向对象编程方法
McIlrath et al. CAFE-the MIT computer aided fabrication environment
Luhunu Survey of template-based code generation
CN106598839A (zh) 一种面向目标代码的程序静态分析方法
Steele The interdisciplinary conceptual design of buildings
Falconer et al. A declarative framework for analysis and optimization
Jha et al. Reusing code for modernization of legacy systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant