WO2014206063A1 - 一种数据交互方法及装置 - Google Patents

一种数据交互方法及装置 Download PDF

Info

Publication number
WO2014206063A1
WO2014206063A1 PCT/CN2014/070105 CN2014070105W WO2014206063A1 WO 2014206063 A1 WO2014206063 A1 WO 2014206063A1 CN 2014070105 W CN2014070105 W CN 2014070105W WO 2014206063 A1 WO2014206063 A1 WO 2014206063A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
information
mining
data mining
metadata
Prior art date
Application number
PCT/CN2014/070105
Other languages
English (en)
French (fr)
Inventor
黄红莉
刘诗凯
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2014206063A1 publication Critical patent/WO2014206063A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata

Definitions

  • the present invention relates to the field of communications, and in particular, to a data interaction method and apparatus.
  • the data extraction, transformation, and loading (ETL, Ext ract Transform Load) system is a data integration system.
  • the ETL system is responsible for acquiring data from various source system databases or file systems. After logic processing such as conversion and cleaning, logic can be used. The processed data is loaded into the corresponding target system according to the business appeal.
  • the intelligent mining (Smar tMiner) system is a data mining system.
  • the intelligent mining system is responsible for extracting or mining knowledge from a large amount of data.
  • the popular point is to obtain valuable information from a large amount of data to support subsequent business promotion and application. .
  • Data integration system and data mining system are two independent systems, each with its own process definition and metadata definition. The only existing relationship between the two is that the data used by the data mining system is generally data integration system for data. Processed output data.
  • Figure 1A the overall architecture diagram for the joint work of the ETL system and the Smar tMiner system.
  • the ETL system 110 acquires data from the source system 120, performs a series of logical processing on the acquired data, and obtains wide table data that meets the requirements of the Smar tMiner system, and loads the wide table data into the target system 130;
  • Smar The tMiner system 140 acquires the wide table data loaded by the ETL system from the target system 130, and performs data mining to load the mining result into the target system 130.
  • Metadata information such as fields of a wide table in a data integration system and a data mining system is in great demand, and in the prior art, the configuration is generally artificial, and the configuration time is Long, the configuration process needs to occupy a large amount of time and resources of the data integration system and the data mining system to realize the configuration of the wide table metadata information in the system, which affects the work efficiency of the data integration system and the data mining system.
  • Summary of the invention The embodiment of the invention provides a data interaction method and device, which can shorten the configuration time of the wide table metadata information in the data mining system and improve the working efficiency of the data mining system.
  • an embodiment of the present invention provides a data interaction method, including:
  • the data mining device receives the first metadata information sent by the data integration device
  • the data mining device performs local configuration of the second binary data information based on the received first metadata information.
  • the first metadata information includes: field definition information of the first data, and storage location information of the first data; the first data is Data generated by the data integration device;
  • the data mining device uses the field definition information of the first data as the field definition information of the second data;
  • the data mining device determines storage location information of the first data as address acquisition information of the second data, wherein the second data is source data of the data mining device.
  • the method further includes:
  • the data mining device determines to perform data mining, acquiring the second data according to the determined address obtaining information of the second data;
  • the data mining device performs data mining processing according to the acquired second data and the field definition information of the second data.
  • the address obtaining information of the second data includes variable information
  • the data mining apparatus is configured according to the determining
  • the obtaining of the second data by the address obtaining information of the second data includes: the data mining device acquiring the specific value of the variable information from the data integration device, and obtaining specific address obtaining information of the second data;
  • the data mining device acquires the second data from the address indicated by the specific address acquisition information of the second data;
  • each information in the address obtaining information of the second data is set to a fixed value
  • the data mining device acquires the second data according to the determined address obtaining information of the second data, and specifically includes: the data mining device acquiring the second data from an address indicated by the address obtaining information of the second data.
  • the data mining apparatus determines that performing data mining includes :
  • the data mining device determines that data mining is performed when the preset mining time is reached. Alternatively, when the data mining device receives the mining process trigger message sent by the data integration device, determining that data mining is performed, the mining process triggers The message is sent after the data integration device completes loading of the first data.
  • an embodiment of the present invention provides a data interaction method, including:
  • the data integration device receives a request of the data mining device for the first metadata information in the data integration device
  • the data integration device transmits the first metadata information to the data mining device, so that the data mining device performs configuration of the second metadata information in the data mining device according to the first metadata information.
  • the first metadata information includes: field definition information of the first data, and storage location information of the first data; the first data is Data generated by the data integration device; and the storage location information of the first data includes variable information; the method further includes:
  • the data integration device transmits the specific value of the variable information in the storage location information determined after the first data is loaded to the data mining device.
  • an embodiment of the present invention provides a data mining apparatus, including:
  • a first sending unit configured to request, when the metadata information is configured, the first metadata information in the data integration device from the data integration device;
  • a first receiving unit configured to receive the first metadata information that is sent by the data integration device according to a request of the first sending unit
  • a configuration unit configured to perform local second metadata information configuration according to the first metadata information received by the first receiving unit.
  • the first metadata information includes: field definition information of the first data, and storage location information of the first data;
  • the first data is data generated by the data integration device;
  • the configuration unit is specifically configured to: determine field definition information of the first data as field definition information of the second data; and store the first data
  • the information is determined as address acquisition information of the second data;
  • the second data is source data of the data mining device.
  • the method further includes:
  • An obtaining unit configured to determine, when performing data mining, acquiring second data according to the determined address obtaining information of the second data
  • a mining unit configured to perform data mining processing according to the second data acquired by the acquiring unit and the field definition information of the second data.
  • the address obtaining information of the second data includes variable information
  • the acquiring unit is specifically configured to: the data integration device Obtaining a specific value of the variable information, obtaining specific address obtaining information of the second data, and acquiring second data from an address indicated by the specific address of the second data;
  • each of the information in the address obtaining information of the second data is set to a fixed value, and the obtaining unit is specifically configured to: obtain the second data from the address indicated by the address obtaining information of the second data.
  • the method further includes:
  • a determining unit configured to determine that data mining is performed when the preset mining time is reached; or, when receiving the mining process trigger message sent by the data integration device, determining to perform data mining, where the mining process trigger message is completed in the data integration device A data is sent after loading.
  • an embodiment of the present invention provides a data integration apparatus, including:
  • a second receiving unit configured to receive a request of the data mining device for the first metadata information in the data integration device
  • a second sending unit configured to send, to the data mining device, the first metadata information corresponding to the request received by the second receiving unit, so that the data mining device performs the data mining device according to the first metadata information.
  • the configuration of the second metadata information is configured to send, to the data mining device, the first metadata information corresponding to the request received by the second receiving unit, so that the data mining device performs the data mining device according to the first metadata information.
  • the first metadata information includes: field definition information of the first data, and storage location information of the first data;
  • the first data is data generated by the data integration device; and the storage location information of the first data includes variable information;
  • the second sending unit is further configured to: the storage location determined after loading the first data The specific value of the variable information in the information is sent to the data mining device.
  • the data mining device determines, when performing data mining, the first metadata information in the data integration device from the data integration device; the data mining device receives the first metadata information sent by the data integration device; The mining device performs local second metadata information configuration according to the received first metadata information; thereby enabling configuration of most of the second metadata information in the data mining device to be directly based on the received first metadata
  • the information without manual manual configuration, reduces the workload and configuration time of the metadata configuration in the data mining device, and improves the working efficiency of the data mining device.
  • Figure 1A is a schematic diagram of the relationship between systems
  • FIG. 1B is a schematic diagram of a field configuration of a data integration system
  • Figure 1 C is a schematic diagram of the storage location information configuration of the data integration system
  • FIG. 2 is a diagram showing an example of an application scenario of the present invention
  • FIG. 3 is a schematic diagram of a first embodiment of a data interaction method according to the present invention.
  • FIG. 4 is a schematic diagram of a second embodiment of a data interaction method according to the present invention.
  • FIG. 5 is a schematic diagram of a third embodiment of a data interaction method according to the present invention.
  • FIG. 6 is a schematic structural diagram of a data mining device according to an embodiment of the present invention.
  • Figure ⁇ is a schematic structural diagram of a data integration device according to an embodiment of the present invention.
  • FIG. 8 is a schematic structural diagram of a data mining apparatus according to an embodiment of the present invention.
  • FIG. 9 is a schematic structural diagram of a data integration apparatus according to an embodiment of the present invention. detailed description
  • the data integration system and the data mining system are two independent systems, so it is necessary to separately configure the metadata in the respective systems.
  • the data processed by the data integration system is the source data of the data mining system, if the two systems respectively configure the elements Data, then the configuration of the metadata is obviously repeated.
  • the configuration of the fields in the wide table in the two systems is obviously repeated, especially when the number of fields in the wide table is large, reaching dozens or even hundreds of fields.
  • the configuration workload of metadata will be very large.
  • the configuration process needs to occupy a large amount of time and resources of the data integration system and the data mining system to realize the configuration of the wide table metadata information in the system, which affects the work efficiency of the data integration system and the data mining system. .
  • FIG. 1B a partial screenshot of a wide table field required for configuration in a data integration system, in which various definition information of fields such as input name, output name, data type, format, description, etc. of each field needs to be configured.
  • the configuration information of the wide table field in the data mining system is configured in the same way. The only difference is that the specific field definition information may be different. However, the configuration information of the wide table field in the two systems is completely independently configured. Not associated;
  • the data integration system loads the generated wide table data into the storage location information in the target system.
  • the storage location information may include information such as a file name, a file path, a file encoding, a compression type, a file type, and the like;
  • the storage location information of the wide table data in the data mining system is configured in the same manner, and the only difference is that The specific storage location information may be different, and the data mining system may obtain the wide table data from the storage location indicated by the storage location information in the target system; the storage location information is completely independent between the two systems, and is not related to each other;
  • the target device is a device that runs the database, and the wide table data can be implemented in the form of a data table.
  • the storage location information of the wide table data may include: API connection information of the Java-based connection database (JavaDataBaseConnect ivi ty, JDBC), user Name
  • the embodiment of the invention provides a data interaction method and device, which can shorten the configuration time of the metadata information in the data mining system and improve the working efficiency of the data mining system.
  • the method includes: a data integration device 210, a target device 220, and a data mining device 230.
  • the data integration system can be run in the data integration device 210, and the target system can be run on the target device 220.
  • the data mining system, the data integration device 210, the target device 220, and the data mining device 230 may be disposed in the same physical device, or may be disposed in different physical devices, as long as three Data interaction between devices can be performed.
  • Step 301 When the data mining device determines to perform metadata information configuration, requesting, by the data integration device, first metadata information in the data integration device;
  • Step 302 The data mining device receives the first metadata information sent by the data integration device.
  • Step 303 The data mining device performs local configuration of the second metadata information according to the received first metadata information.
  • the data integration device when the data mining device determines to perform data mining, the data integration device requests the first metadata information in the data integration device, and performs the second data mining device according to the first metadata information received from the data integration device.
  • the configuration of the metadata information so that the configuration of most of the second metadata information in the data mining device can be directly based on the received first metadata information, without manual manual configuration, reducing the second metadata in the data mining device.
  • the workload and configuration time of information configuration improve the efficiency of the data mining device.
  • FIG. 4 it is a schematic diagram of a second embodiment of a data interaction method according to the present invention.
  • the method includes: Step 401: A data integration apparatus receives a request of a data mining apparatus for first metadata information in a data integration apparatus;
  • Step 402 The data integration device sends the first metadata information to the data mining device, so that the data mining device performs configuration of the second binary data information in the data mining device according to the first metadata information.
  • the data integration device receives the request of the data mining device for the first metadata information in the data integration device; the data integration device sends the first metadata information to the data mining device, so that the data mining device is configured according to The first metadata information is configured to perform second metadata information in the data mining device, so that configuration of most of the second metadata information in the data mining device may be directly based on the received first metadata information. No manual manual configuration is required, which reduces the workload and configuration time of the second metadata information configuration in the data mining device, and improves the working efficiency of the data mining device.
  • 5 is a schematic diagram of a third embodiment of a data interaction method according to the present invention. The method includes: Step 501: A data integration device acquires first metadata information of itself;
  • the data integration device may provide a configuration interface for the information configuration personnel. For example, as shown in FIG. 1B and FIG. 1C, the information configuration personnel input various metadata information in the configuration interface. When various metadata information is configured, The data integration device may acquire the first metadata information correspondingly from the configuration interface.
  • the first metadata information may include: field definition information of the first data, storage location information of the first data, and the like.
  • the first data refers to data generated by the data integration device.
  • the field definition information of the first data may include: an input name, an output name, a data type, a format, a description, and the like of the field; for example, the field definition information of the first field in FIG. 1B includes: the input name and the output name are both USER_ID , the data type is s tr ing; format and description vacancy.
  • the storage location information of the first data may be information of a storage location of the first data in the target device when the first data generated by the data integration device loads the target device.
  • the wide table data generated by the data integration device is implemented differently.
  • the target device is a Hadoop Distributed File System (HFD) or a device running a normal file system
  • the wide table data can be implemented as a text file
  • the wide table data is
  • the storage location information may include: format information of the text, path information, file name, and the like
  • the target device is a device running the database
  • the wide table data may be implemented in a data table manner, and the storage location information of the wide table data may include : JDBC-based API connection information, user name, password, data table name, partition name in the data table, and so on.
  • the data table name is used to indicate a data table in which the data is located; the user name and password are used to access the data table; and the partition name in the data table is used to indicate a specific partition of the data in the data table.
  • the storage location information of the first data may include: a file name, a file path, a file encoding, a compression type, a file type, a single file recording upper limit, and The file name starts with the serial number and other information.
  • the various information in the storage location information of the configured first data may be a fixed value, for example, as shown in FIG. 1C, the file name is TlSC_USER_LOST.dt, the file path is /output/tes t 08 , and the file encoding is UTF. -8, the compression type is uncompressed, the file type is a column separator file, and the like; or, the storage location information of the configured first data may also include The quantity information, for example, when the target device is a device running a normal file system, the file path, the file name, and the like may be set as variable information; when the target device is a device running the database, the data table name, the user name, The password, the partition name in the data table, etc.
  • variable information can be set as variables.
  • the specific value of the variable information may be determined when the data integration device loads the first data to the target device, and the specific variable information may be manually set, or the target device may allocate a specific storage location for the first data.
  • the variable information is determined based on the storage location.
  • the first data generated by the data integration device is used as source data to be processed by the data mining device
  • the first data may be specifically wide table data.
  • the wide table here refers to the file to be processed by the data mining device. Generally, a wide table contains more fields, even dozens or even hundreds of fields.
  • Step 502 The data mining device determines, when the configuration of the second metadata information is performed, the first metadata information in the data integration device to the data integration device.
  • the determining, by the data mining device, the configuration of the second metadata information may include: the data mining device receiving the trigger message configured by the information configuration personnel for the second metadata information.
  • the configuration button for the second metadata information may be provided by the data mining device on the system interface. When the data mining device detects that the information configuration personnel clicks or double-clicks to select the operation of the configuration button, the data mining device receives the data mining device. The trigger message.
  • Step 503 The data integration device sends the local first metadata information to the data mining device, and the data mining device receives the first metadata information sent by the data integration device.
  • the first metadata information may also be set to a version, and different version numbers may be set for different versions or different file names may be set according to files generated by different versions, and the data mining device may carry the first information when requesting the first metadata information.
  • the version number of the metadata information or the corresponding file name so that the data integration device determines the first metadata information requested by the data mining device according to the version number or the file name.
  • the data mining device may carry the file name corresponding to version 2 when requesting the first metadata information.
  • File 2 indicates the first metadata information requested by the data mining device.
  • Step 504 The data mining device performs configuration of the local second metadata information of the data mining device according to the received first metadata information.
  • the data mining device determines the second data according to the field definition information of the first data. Field definition information; the data mining device determines the storage location information of the first data as the address acquisition information of the second data; wherein the second data is source data of the data mining device. If each of the information in the storage location information of the first data is set to a fixed value, each of the information in the address obtaining information of the second data is also a fixed value; if the storage location information of the first data includes the variable information, The variable information is also included in the address acquisition information of the second data.
  • the implementation of determining the field definition information of the second data by the data mining device according to the field definition information of the first data is not limited herein.
  • the field definition information of the first data may be directly determined as the field definition information of the second data; or the data mining device may display the field definition information for determining the first data to the information configuration personnel, and the information configuration personnel
  • the field definition information adjusted by the information configurator is used as the field definition information of the second data.
  • the field definition information of the first data is as shown in Table 1
  • the field definition information of the first data is directly determined as the field definition information of the second data
  • the field definition information of the second data is also as shown in the table. 1 is shown; and if the information configurator deletes the field definition information about the format, the field definition information of the second data is as shown in Table 2.
  • the field definition information of the second data may be directly configured by referring to the field definition information of the first data, and the storage location information of the first data is Obtaining information as the address of the second data, so that the first data can directly serve as source data conforming to the requirements of the data mining device, that is,
  • the second data reduces the workload of configuring the metadata information by the data mining device, and improves the working efficiency of the data mining device.
  • step 501 is performed prior to step 503, so that the data mining device can obtain the metadata information from the data integration device.
  • Step 505 When the data integration device determines to perform data processing, logically processing the source data of the first data according to the field definition information of the first data; and the data integration device loads the processed first data to the target device.
  • the data integration device may directly load the first data into the storage location indicated by the storage location information in the target device; or, when the first data When the variable location information is included in the storage location information, the data integration device may determine the variable information in the storage location information of the first data when the first data is loaded to the target device, thereby obtaining specific storage location information of the first data, Further, the data integration device may load the first data into the storage location indicated by the specific storage location information obtained in the target device.
  • Step 506 The data mining device determines to perform the data mining, and acquires the second data according to the determined address obtaining information of the second data.
  • the data mining device performs data mining according to the acquired second data and the field definition information of the second data. deal with.
  • the data mining device determines that performing the data mining may include: determining that the data mining device determines to perform data mining when the preset mining time is reached; or determining that the data mining device receives the mining process trigger message sent by the data integration device
  • the mining process trigger message is sent after the data integration device completes loading of the first data.
  • the specific time point of the mining time may be set in the data mining device in advance; or the mining process of the data mining device may be performed periodically, and the start time and period of the mining may be preset in the data mining device, and the data mining device
  • the specific mining time can be determined according to the preset period and the starting time of the mining.
  • the specific mining time determination method is not limited herein.
  • the data mining device obtains the second data according to the determined address acquisition information of the second data.
  • the data mining device may obtain the specific value of the variable information from the data integration device. Obtaining specific address acquisition information of the second data; the data mining device obtains the address indicated by the information from the specific address of the second data Or the second data is obtained.
  • the data mining device obtains the second data according to the determined address information of the second data.
  • the data mining device may include: The address indicated by the address obtaining information of the second data acquires the second data.
  • the variable information in the address acquisition information acquired by the data mining device from the data integration device is the variable information in the storage address information of the first data determined by the data integration device when the first data is loaded.
  • the variable information may be: a storage address, a file name in which the data is stored, a time when the data is loaded, etc.; if the target device is a device running the database, the variable information may be For: the partition name of the data in the data table, etc.
  • the data integration device may determine that the first data is determined according to the actual storage location of the first data when the first data is loaded to the target device. The stored file name and the actual storage path. If the first data is the source data of the data mining device, that is, the second data, the data mining device may obtain the file name and the actual storage path where the first data is stored from the data integration device. The specific value of the variable information of the file name and the storage path in the address obtaining information of the second data, thereby obtaining the specific address obtaining information of the second data, and acquiring the second data from the address indicated by the specific address obtaining information. .
  • Step 505 is preferably performed before step 506, so that the data mining device can acquire the second data from the target device; for example, data processing of the data integration device and data mining processing of the data mining device can be performed periodically. And the periods of the two processes are the same, and the execution time of the step 506 in each cycle is later than the time when the first data processed in step 505 is loaded to the target device;
  • step 506 when the data mining device acquires the second data according to the determined address acquisition information of the second data, step 505 may be performed, and thus step 506 The required second data may be obtained; or, step 505 may not be performed, so that the data mining device in step 506 cannot obtain the required second data when acquiring the second data for the first time, at this time: data mining The device may repeat the step of acquiring the second data until the second data is acquired; or the data mining device may send the data processing trigger information to the data integration device when the second data cannot be acquired, triggering the data integration device Go to step 505;
  • the data integration device may, after loading the processed first data to the target device in step 505, send the mining process trigger message to the data mining device, and trigger the data mining device to perform step 506 to perform data mining.
  • the period of the data processing in the data integration device is preferably less than or equal to the period of data mining in the data mining device, so that the data mining device can acquire the first data processed by the data integration device as the second data for data mining processing;
  • the data processing period in the data integration device is three times per month, and the data mining period in the data mining device may be once a month, and the data mining device loads the data integration device three times from the target device each time. The first data to the target device is acquired as the second data for data mining processing.
  • the data integration device when the data mining device determines to perform the metadata information configuration, the data integration device requests the first metadata information in the data integration device, and performs the local second according to the first metadata information received from the data integration device.
  • the configuration of the metadata information so that the configuration of most of the second metadata information in the data mining device can be directly based on the received first metadata information, without manual manual configuration, reducing the metadata configuration in the data mining device.
  • the workload and configuration time increase the efficiency of the data mining device.
  • 6 is a schematic structural diagram of a data mining device according to an embodiment of the present invention.
  • the device 600 includes: a first sending unit 610, configured to request, when configuring metadata information, a first metadata in a data integration device from a data integration device.
  • the first receiving unit 620 is configured to receive the first metadata information that is sent by the data integration device according to the request of the first sending unit 610;
  • the configuration unit 630 is configured to perform local second metadata information configuration according to the first metadata information received by the first receiving unit 620.
  • the first metadata information may include: field definition information of the first data, storage location information of the first data; the first data is data generated by the data integration device; the configuration unit 630 may be specifically configured to: Determining the field definition information of the first data as the field definition information of the second data; determining the storage location information of the first data as the address obtaining information of the second data; The source data of the data mining device.
  • the apparatus 600 may further include:
  • An obtaining unit configured to determine, when performing data mining, acquiring second data according to the determined address obtaining information of the second data;
  • the mining unit is configured to perform data mining processing according to the second data acquired by the acquiring unit and the field definition information of the second data.
  • the address obtaining information of the second data includes variable information
  • the acquiring unit may be specifically configured to: obtain a specific value of the variable information from the data integration device, and obtain specific address obtaining information of the second data; Acquiring the second data according to the address indicated by the specific address obtaining information of the second data;
  • each of the information in the address obtaining information of the second data is set to a fixed value, and the obtaining unit may be configured to: obtain the second data from the address indicated by the address obtaining information of the second data.
  • the apparatus 600 may further include:
  • a determining unit configured to determine that data mining is performed when the preset mining time is reached; or, when receiving the mining process trigger message sent by the data integration device, determining to perform data mining, where the mining process trigger message is completed in the data integration device A data is sent after loading.
  • FIG. 7 is a schematic structural diagram of a data integration apparatus according to an embodiment of the present invention.
  • the apparatus 700 includes: a second receiving unit 710, configured to receive a request of a data mining apparatus for first metadata information in a data integration apparatus;
  • the second sending unit 720 is configured to send the first metadata information corresponding to the request received by the second receiving unit 710 to the data mining device, so that the data mining device performs data mining according to the first metadata information.
  • the configuration of the second metadata information in the device is configured to send the first metadata information corresponding to the request received by the second receiving unit 710 to the data mining device, so that the data mining device performs data mining according to the first metadata information.
  • the first metadata information includes: field definition information of the first data, and storage location information of the first data; the first data is data generated by the data integration device.
  • the storage location information of the first data includes variable information
  • the second sending unit 720 is further configured to: send the specific value of the variable information in the storage location information determined after loading the first data to Data mining device.
  • the data integration device receives the request of the data mining device for the first metadata information in the data integration device; the data integration device sends the corresponding first metadata information to the data mining device, so that the data mining device is configured according to
  • the first metadata information is configured to perform second metadata information in the data mining device, so that configuration of most of the second metadata information in the data mining device may be directly based on the received first metadata information. No manual configuration is required, which reduces the workload and configuration time of metadata configuration in the data mining device, and improves the working efficiency of the data mining device.
  • FIG. 8 is a schematic structural diagram of a data mining apparatus according to an embodiment of the present invention.
  • the data mining apparatus 800 includes: a processor 810, a memory 820, a transceiver 830, and a bus 840.
  • the processor 810, the memory 820, and the transceiver 830 are connected to each other through a bus 840; the bus 840 may be an I SA bus, a PCI bus, or an EI SA bus.
  • the bus can be divided into an address bus, a data bus, a control bus, and the like. For ease of representation, only one thick line is shown in Figure 8, but it does not mean that there is only one bus or one type of bus.
  • the memory 820 is used to store the program.
  • the program can include program code, the program code including computer operating instructions.
  • Memory 820 may include high speed RAM memory and may also include non-volatile memory, such as at least one disk memory.
  • the processor 81 executes the program code for performing local configuration of the second metadata information according to the metadata information received by the transceiver 830.
  • the transceiver 830 is used to connect to other devices and to communicate with other devices. Specifically, the transceiver 830 is configured to: request, by the data integration device, first metadata information in the data integration device; and receive the first metadata information sent by the data integration device.
  • the first metadata information includes: field definition information of the first data, and storage location information of the first data; the first data is data generated by the data integration device; Determining: the field definition information of the first data as the field definition information of the second data; determining the storage location information of the first data as the address obtaining information of the second data; the second data is Source data of the data mining device.
  • the transceiver 830 is further configured to: determine, when performing data mining, acquiring second data according to the determined address obtaining information of the second data;
  • the processor 81 0 is further configured to: obtain the second data obtained by the transceiver 830, and The field definition information of the second data is subjected to data mining processing.
  • the address obtaining information of the second data includes variable information, and the transceiver
  • the 830 is further configured to: obtain a specific value of the variable information from the data integration device, obtain specific address acquisition information of the second data, and obtain second data from an address indicated by the specific address of the second data;
  • each of the information in the address obtaining information of the second data is set to a fixed value, and the transceiver 830 is further configured to: obtain the second data from the address indicated by the address obtaining information of the second data.
  • the processor 810 is further configured to perform data mining by: determining to perform data mining when the preset mining time is reached; or, when receiving, by the transceiver 830, the mining process trigger message sent by the data integration device, Determining to perform data mining, the mining process trigger message is sent after the data integration device completes loading of the first data.
  • the data integration device when the data mining device determines to perform the metadata information configuration, the data integration device requests the first metadata information in the data integration device, and performs the second metadata according to the first metadata information received from the data integration device.
  • the configuration of the information so that the configuration of most of the second metadata information in the data mining device can be directly based on the received first metadata information, without manual manual configuration, reducing the workload of metadata configuration in the data mining device And the configuration time is long, which improves the working efficiency of the data mining device.
  • 9 is a schematic structural diagram of a data integration apparatus according to an embodiment of the present invention.
  • the data integration apparatus 900 includes: a processor 910, a memory 920, a transceiver 930, and a bus 940.
  • the processor 910, the memory 920, and the transceiver 930 are connected to each other through a bus 940; the bus 940 may be an ISA bus, a PCI bus, or an EISA bus.
  • the bus can be divided into an address bus, a data bus, a control bus, and the like. For ease of representation, only one thick line is shown in Figure 9, but it does not mean that there is only one bus or one type of bus.
  • the memory 920 is configured to store a program.
  • the program can include program code, the program code including computer operating instructions.
  • Memory 920 may include high speed RAM memory and may also include non-volatile memory, such as at least one disk memory.
  • the transceiver 930 is used to connect other devices and communicate with other devices. Specifically, the transceiver 930 is configured to: receive, by the data mining device, the first metadata information in the data integration device. And transmitting the corresponding first metadata information to the data mining device, so that the data mining device performs the configuration of the second metadata information in the data mining device according to the first metadata information.
  • the first metadata information may include: field definition information of the first data, and storage location information of the first data; the first data is data generated by the data integration device.
  • the storage location information of the first data includes variable information
  • the 930 is further configured to: send the specific value of the variable information in the storage location information determined after the loading of the first data to the data mining device.
  • the data integration device receives the request of the data mining device for the first metadata information in the data integration device; the data integration device sends the corresponding first metadata information to the data mining device, so that the data mining device is configured according to
  • the first metadata information is configured to perform second metadata information in the data mining device, so that configuration of most of the second metadata information in the data mining device can be directly based on the received first metadata information, without Manual manual configuration reduces the workload and configuration time of metadata configuration in the data mining device, and improves the working efficiency of the data mining device.
  • the technical solution in the embodiments of the present invention may be embodied in the form of a software product in essence or in the form of a software product, and the computer software product may be stored in a storage medium, such as a ROM (Read). On ly Memory (RAM), RAM (Random Acces s Memory), disk, CD, etc., including instructions to enable a computer device (which can be a personal computer, server, or network device) Various embodiments of the various embodiments or embodiments of the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据交互方法及装置，该方法包括：数据挖掘装置确定进行元数据信息配置时，向数据集成装置请求数据集成装置中的第一元数据信息；所述数据挖掘装置接收所述数据集成装置发送的所述第一元数据信息；根据接收到的所述第一元数据信息，所述数据挖掘装置进行本地的第二元数据信息的配置。本发明实施例能够缩短数据挖掘***中第二元数据信息的配置时间，提高数据挖掘***的工作效率。

Description

一种数据交互方法及装置 本申请要求于 2013年 6月 28日提交中国专利局、 申请号为
201310270030. X, 发明名称为 "一种数据交互方法及装置" 的中国专利申 请的优先权， 其全部内容通过引用结合在本申请中。
技术领域
本发明涉及通信领域， 尤其涉及一种数据交互方法及装置。
背景技术
数据提取、 转换、 装载（ETL, Ext ract Transform Load ) ***是一种 数据集成***， ETL ***负责从各种源***的数据库或文件***中获取数 据， 经过转换、 清洗等逻辑处理， 可以将逻辑处理得到的数据根据业务诉 求装载到相应的目标***中。
智能挖掘 ( Smar tMiner ) ***是一种数据挖掘***， 智能挖掘***负 责从大量数据中提取或者挖掘知识， 通俗一点就是从大量的数据中获取有 价值的信息， 以支撑后续的业务推广和应用等。
数据集成***和数据挖掘***是两套独立的***， 各自有各自的流程 定义和元数据定义， 两者之间唯一存在的联系是数据挖掘***所使用的源 数据一般都是数据集成***进行数据处理后的输出数据。 例如图 1A所示， 为 ETL***和 Smar tMiner***联合工作的总体架构图。其中， ETL*** 110 从源*** 120 中获取数据， 对获取到的数据进行一系列的逻辑处理后得到 满足 Smar tMiner***要求的宽表数据，将所述宽表数据装载到目标*** 130 中； Smar tMiner*** 140从目标*** 130中获取 ETL***装载的所述宽表 数据， 进行数据挖掘后将挖掘结果装载到目标*** 130中。
由于宽表中字段数量较多， 可能达到几十甚至上百个字段， 数据集成 ***和数据挖掘***中宽表的字段等元数据信息需求很大， 而现有技术中 一般人为配置， 配置时间长， 配置过程需要占用数据集成***和数据挖掘 ***大量的时间和资源以实现***中宽表元数据信息的配置， 影响了数据 集成***和数据挖掘***的工作效率。 发明内容 本发明实施例中提供了一种数据交互方法及装置， 能够缩短数据挖掘 ***中宽表元数据信息的配置时间， 提高数据挖掘***的工作效率。
第一方面， 本发明实施例提供一种数据交互方法， 包括：
数据挖掘装置确定进行元数据信息配置时， 向数据集成装置请求数据 集成装置中的第一元数据信息；
所述数据挖掘装置接收所述数据集成装置发送的所述第一元数据信 息；
根据接收到的所述第一元数据信息， 所述数据挖掘装置进行本地的第 二元数据信息的配置。
结合上述第一方面， 在第一方面第一种可能的实现方式中， 所述第一 元数据信息包括： 第一数据的字段定义信息、 第一数据的存储位置信息； 所述第一数据是数据集成装置生成的数据；
所述根据接收到的所述第一元数据信息， 数据挖掘装置进行本地的第 二元数据信息的配置， 具体包括：
所述数据挖掘装置将所述第一数据的字段定义信息作为第二数据的字 段定义信息；
所述数据挖掘装置将所述第一数据的存储位置信息确定为所述第二数 据的地址获取信息， 其中所述第二数据是所述数据挖掘装置的源数据。
结合上述第一方面第一种可能的实现方式， 在第一方面第二种可能的 实现方式中， 还包括：
所述数据挖掘装置确定进行数据挖掘时， 根据确定的所述第二数据的 地址获取信息获取第二数据；
所述数据挖掘装置根据获取到的第二数据以及所述第二数据的字段定 义信息进行数据挖掘处理。
结合上述第一方面第二种可能的实现方式， 在第一方面第三种可能的 实现方式中， 所述第二数据的地址获取信息中包含变量信息， 所述数据挖 掘装置根据确定的所述第二数据的地址获取信息获取第二数据， 具体包括： 所述数据挖掘装置从所述数据集成装置获取所述变量信息的具体取值， 得 到所述第二数据的具体地址获取信息； 所述数据挖掘装置从所述第二数据 的具体地址获取信息指示的地址获取第二数据；
或者， 所述第二数据的地址获取信息中每一信息均设置为固定值， 所 述数据挖掘装置根据确定的所述第二数据的地址获取信息获取第二数据， 具体包括： 所述数据挖掘装置从所述第二数据的地址获取信息指示的地址 获取第二数据。
结合上述第一方面第二种可能的实现方式， 和 /或第一方面第三种可能 的实现方式， 在第一方面第四种可能的实现方式中， 所述数据挖掘装置确 定进行数据挖掘包括：
所述数据挖掘装置确定到达预设挖掘时间时， 确定进行数据挖掘； 或者， 所述数据挖掘装置接收到所述数据集成装置发送的挖掘流程触 发消息时， 确定进行数据挖掘， 所述挖掘流程触发消息在数据集成装置完 成第一数据的装载后发送。
第二方面， 本发明实施例提供一种数据交互方法， 包括：
数据集成装置接收数据挖掘装置对于所述数据集成装置中的第一元数 据信息的请求；
所述数据集成装置向所述数据挖掘装置发送所述第一元数据信息， 以 便所述数据挖掘装置根据所述第一元数据信息进行数据挖掘装置中第二元 数据信息的配置。
结合上述第二方面， 在第二方面第一种可能的实现方式中， 所述第一 元数据信息包括： 第一数据的字段定义信息、 第一数据的存储位置信息； 所述第一数据是数据集成装置生成的数据； 且所述第一数据的存储位置信 息中包含变量信息； 该方法还包括：
所述数据集成装置将第一数据加载后确定的所述存储位置信息中变量 信息的具体取值发送给数据挖掘装置。
第三方面， 本发明实施例提供一种数据挖掘装置， 包括：
第一发送单元， 用于确定进行元数据信息配置时， 向数据集成装置请 求数据集成装置中的第一元数据信息；
第一接收单元， 用于接收所述数据集成装置基于第一发送单元的请求 发送的所述第一元数据信息；
配置单元， 用于根据第一接收单元接收到的所述第一元数据信息， 进 行本地第二元数据信息的配置。
结合上述第三方面， 在第三方面第一种可能的实现方式中， 所述第一 元数据信息包括： 第一数据的字段定义信息、 第一数据的存储位置信息； 所述第一数据是数据集成装置生成的数据； 所述配置单元具体用于： 将所 述第一数据的字段定义信息确定为第二数据的字段定义信息； 将所述第一 数据的存储位置信息确定为所述第二数据的地址获取信息； 所述第二数据 是所述数据挖掘装置的源数据。
结合上述第三方面第一种可能的实现方式， 在第三方面第二种可能的 实现方式中， 还包括：
获取单元， 用于确定进行数据挖掘时， 根据确定的所述第二数据的地 址获取信息获取第二数据；
挖掘单元， 用于根据获取单元获取到的第二数据以及所述第二数据的 字段定义信息进行数据挖掘处理。
结合上述第三方面第二种可能的实现方式， 在第三方面第三种可能的 实现方式中， 所述第二数据的地址获取信息中包含变量信息， 获取单元具 体用于： 从数据集成装置获取所述变量信息的具体取值， 得到第二数据的 具体地址获取信息； 从所述第二数据的具体地址获取信息指示的地址获取 第二数据；
或者， 所述第二数据的地址获取信息中每一信息均设置为固定值， 获 取单元具体用于： 从所述第二数据的地址获取信息指示的地址获取第二数 据。
结合上述第三方面第二种可能的实现方式， 和 /或第三方面第三种可能 的实现方式， 在第三方面第四种可能的实现方式中， 还包括：
确定单元， 用于确定到达预设挖掘时间时， 确定进行数据挖掘； 或者， 接收到数据集成装置发送的挖掘流程触发消息时， 确定进行数据挖掘， 所 述挖掘流程触发消息在数据集成装置完成第一数据的装载后发送。
第四方面， 本发明实施例提供一种数据集成装置， 包括：
第二接收单元， 用于接收数据挖掘装置对于数据集成装置中的第一元 数据信息的请求；
第二发送单元， 用于向所述数据挖掘装置发送第二接收单元接收到的 请求所对应的所述第一元数据信息， 以便数据挖掘装置根据所述第一元数 据信息进行数据挖掘装置中的第二元数据信息的配置。
结合上述第四方面， 在第四方面第一种可能的实现方式中， 所述第一 元数据信息包括： 第一数据的字段定义信息、 第一数据的存储位置信息； 所述第一数据是数据集成装置生成的数据； 且所述第一数据的存储位置信 息中包含变量信息； 所述第二发送单元还用于： 将第一数据加载后确定的 所述存储位置信息中变量信息的具体取值发送给数据挖掘装置。
本实施例中， 数据挖掘装置确定进行数据挖掘时， 向数据集成装置请 求数据集成装置中的第一元数据信息； 数据挖掘装置接收所述数据集成装 置发送的所述第一元数据信息； 数据挖掘装置根据接收到的所述第一元数 据信息进行本地第二元数据信息的配置； 从而使得数据挖掘装置中大部分 第二元数据信息的配置可以直接基于接收到的所述第一元数据信息， 无需 人工手动配置， 减少了数据挖掘装置中元数据配置的工作量和配置时长， 提高了数据挖掘装置的工作效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对 实施例中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附 图仅仅是本发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出 创造性劳动的前提下， 还可以根据这些附图获得其他的附图。
图 1A为***间关系示意图；
图 1B为数据集成***字段配置示意图；
图 1 C为数据集成***存储位置信息配置示意图；
图 2为本发明应用场景示例图；
图 3为本发明数据交互方法第一实施例示意图；
图 4为本发明数据交互方法第二实施例示意图；
图 5为本发明数据交互方法第三实施例示意图；
图 6为本发明实施例数据挖掘装置结构示意图；
图 Ί为本发明实施例数据集成装置结构示意图；
图 8为本发明实施例数据挖掘装置结构示意图；
图 9为本发明实施例数据集成装置结构示意图。 具体实施方式
数据集成***和数据挖掘***是两个独立的***， 因此需要分别进行 各自***中元数据的配置。 但是基于背景技术的说明可知， 数据集成*** 处理得到的数据是数据挖掘***的源数据， 如果两个***分别各自配置元 数据， 则元数据的配置显然是重复的， 例如两个***中对于宽表中字段的 配置， 显然就是重复的， 尤其是宽表中字段数量很大， 达到几十甚至上百 个字段时， 元数据的配置工作量将非常巨大， 配置过程需要占用数据集成 ***和数据挖掘***大量的时间和资源以实现***中宽表元数据信息的配 置， 影响了数据集成***和数据挖掘***的工作效率。
例如图 1B中所示，为数据集成***中所需配置的宽表字段的部分截图， 其中， 需要配置每一个字段的输入名称、 输出名称、 数据类型、 格式、 描 述等字段的各种定义信息； 数据挖掘***中宽表字段的定义信息的配置方 式与此相同， 区别仅在于具体的字段定义信息可能不同； 但是， 两个*** 中宽表字段的定义信息的配置是完全独立配置的， 互不关联；
如图 1C中所示， 为当目标***为普通文件***时， 数据集成***中所 需配置的宽表的存储位置信息， 数据集成***将生成的宽表数据加载至目 标***中该存储位置信息指示的存储位置， 所述存储位置信息可以包括文 件名、 文件路径、 文件编码、 压缩类型、 文件类型等信息； 数据挖掘*** 中宽表数据的存储位置信息的配置方式与此相同， 区别仅在于具体的存储 位置信息可能不同， 数据挖掘***可以去目标***中该存储位置信息指示 的存储位置获取宽表数据； 两个***之间设置所述存储位置信息是完全独 立的， 互不关联； 如果目标装置是运行数据库的装置， 则宽表数据可以以 数据表的方式实现， 则该宽表数据的存储位置信息可以包括： 基于 java的 连接数据库（ JavaDataBaseConnect ivi ty, JDBC ) 的 API 连接信息、 用户 名、 密码、 数据表名、 数据表中的分区名等。
本发明实施例中提供了一种数据交互方法及装置， 能够缩短数据挖掘 ***中元数据信息的配置时间， 提高数据挖掘***的工作效率。
首先， 对本发明数据交互方法及装置的应用场景进行举例说明。如图 2 所示， 包括： 数据集成装置 210、 目标装置 220以及数据挖掘装置 230; 其 中， 所述数据集成***可以运行于数据集成装置 210 中， 所述目标***可 以运行于所述目标装置 220中，数据挖掘***可以运行于数据挖掘装置 230 中， 其中， 数据集成装置 210、 目标装置 220以及数据挖掘装置 230可以设 置于相同的物理设备中， 也可以设置于不同的物理设备中， 只要三个装置 之间可以进行数据交互即可。
下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进 行清楚、 完整的描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是全部的实施例。 基于本发明中的实施例， 本领域普通技术人员在没 有付出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的 范围。
参见图 3 , 为本发明数据交互方法第一实施例示意图， 该方法包括： 步骤 301 : 数据挖掘装置确定进行元数据信息配置时， 向数据集成装置 请求数据集成装置中的第一元数据信息；
步骤 302:数据挖掘装置接收所述数据集成装置发送的所述第一元数据 信息；
步骤 303: 根据接收到的所述第一元数据信息，数据挖掘装置进行本地 的第二元数据信息的配置。
本实施例中， 数据挖掘装置确定进行数据挖掘时， 向数据集成装置请 求数据集成装置中的第一元数据信息， 根据从数据集成装置接收到的第一 元数据信息进行数据挖掘装置中第二元数据信息的配置， 从而使得数据挖 掘装置中大部分第二元数据信息的配置可以直接基于接收到的所述第一元 数据信息， 无需人工手动配置， 减少了数据挖掘装置中第二元数据信息配 置的工作量和配置时长， 提高了数据挖掘装置的工作效率。 参见图 4 , 为本发明数据交互方法第二实施例示意图， 该方法包括： 步骤 401 :数据集成装置接收数据挖掘装置对于数据集成装置中第一元 数据信息的请求；
步骤 402:所述数据集成装置向所述数据挖掘装置发送所述第一元数据 信息， 以便数据挖掘装置根据所述第一元数据信息进行数据挖掘装置中第 二元数据信息的配置。
本实施例中， 数据集成装置接收数据挖掘装置对于数据集成装置中第 一元数据信息的请求； 所述数据集成装置向所述数据挖掘装置发送所述第 一元数据信息， 以便数据挖掘装置根据所述第一元数据信息进行数据挖掘 装置中的第二元数据信息的配置， 从而使得数据挖掘装置中大部分第二元 数据信息的配置可以直接基于接收到的所述第一元数据信息， 无需人工手 动配置， 减少了数据挖掘装置中第二元数据信息配置的工作量和配置时长， 提高了数据挖掘装置的工作效率。 参见图 5 , 为本发明数据交互方法第三实施例示意图， 该方法包括： 步骤 501 : 数据集成装置获取自身的第一元数据信息；
其中， 可以由数据集成装置为信息配置人员提供配置界面， 例如图 1B 和图 1C所示， 由信息配置人员在配置界面中对应输入各种元数据信息， 当 各种元数据信息配置完成后， 数据集成装置可以从所述配置界面中相应获 取所述第一元数据信息。
其中第一元数据信息可以包括： 第一数据的字段定义信息、 第一数据 的存储位置信息等。 其中， 第一数据是指数据集成装置生成的数据。
第一数据的字段定义信息可以包括： 字段的输入名称、 输出名称、 数 据类型、 格式、 描述等； 例如， 图 1B中第一个字段的字段定义信息包括： 输入名称和输出名称均为 USER_ ID, 数据类型为 s tr ing; 格式和描述空缺。
第一数据的存储位置信息可以是数据集成装置将自身生成的第一数据 加载至目标装置时， 第一数据在所述目标装置中的存储位置的信息。
其中， 目标装置不同时， 数据集成装置所生成的宽表数据的实现方式 不同。 例如如果目标装置是 Hadoop分布式文件***（Hadoop Di s tr ibuted F i le Sys tem, HDFS )或运行普通文件***的装置， 则宽表数据可以以文本 文件的方式实现， 则该宽表数据的存储位置信息可以包括： 文本的格式信 息、 路径信息、 文件名等； 如果目标装置是运行数据库的装置， 则宽表数 据可以以数据表的方式实现， 则该宽表数据的存储位置信息可以包括： 基 于 JDBC的 API连接信息、 用户名、 密码、数据表名、数据表中的分区名等。 其中， 所述数据表名用于指示数据所在的数据表； 所述用户名、 密码用于 访问该数据表； 所述数据表中的分区名用于指示数据在数据表中的具体分 区。
例如图 1C所示， 当目标装置为运行普通文件***的装置时， 所述第一 数据的存储位置信息可以包括： 文件名、 文件路径、 文件编码、 压缩类型、 文件类型、 单一文件记录上限、 文件名开始序号等信息。
其中， 所配置的第一数据的存储位置信息中的各种信息可以是固定值， 例如图 1C 中所示， 文件名为 TlSC_USER_LOST. dat , 文件路径为 /output/tes t 08 , 文件编码为 UTF-8 , 压缩类型为未压缩， 文件类型为列分 隔符文件等等； 或者， 所配置的第一数据的存储位置信息中也可以包括变 量信息， 例如当目标装置为运行普通文件***的装置， 则所述文件路径、 文件名等即可以设置为变量信息； 当目标装置为运行数据库的装置， 则所 述数据表名、 用户名、 密码、 数据表中的分区名等可以设置为变量。 这里 的变量信息的具体取值可以在数据集成装置将所述第一数据加载至目标装 置时确定， 可以由人为设置具体的变量信息， 也可以由目标装置为第一数 据分配具体的存储位置， 根据该存储位置确定所述变量信息。
当数据集成装置生成的第一数据用于作为数据挖掘装置所需处理的源 数据时， 第一数据可以具体为宽表数据。 这里的宽表是指数据挖掘装置所 需处理的文件， 一般的， 一个宽表中所包含的字段较多， 甚至可以达到几 十甚至上百个字段。
步骤 502: 数据挖掘装置确定进行第二元数据信息的配置时， 向数据集 成装置请求数据集成装置中的第一元数据信息。
其中， 数据挖掘装置确定进行第二元数据信息的配置可以包括： 数据 挖掘装置接收到信息配置人员对于第二元数据信息配置的触发消息。 其中， 可以由数据挖掘装置在***界面上提供关于第二元数据信息的配置按钮， 当数据挖掘装置检测到信息配置人员单击或者双击等选中该配置按钮的操 作时， 表明数据挖掘装置接收到所述触发消息。
步骤 503: 数据集成装置将本地的第一元数据信息发送给数据挖掘装 置， 数据挖掘装置接收数据集成装置发送的第一元数据信息。
其中， 第一元数据信息也可以设置版本， 为不同的版本设置不同的版 本号或者按照不同版本所生成的文件设置不同的文件名称， 则数据挖掘装 置可以在请求第一元数据信息时携带第一元数据信息的版本号或者对应的 文件名称， 以便数据集成装置按照版本号或者文件名称确定数据挖掘装置 所请求的第一元数据信息。
例如，假设版本 1的第一元数据信息存储为文件 1 , 版本 2的第一元数 据信息存储为文件 2 ,则数据挖掘装置可以在请求第一元数据信息时携带版 本 2对应的文件名称一文件 2来指示数据挖掘装置所请求的第一元数据信 息。
步骤 504:数据挖掘装置根据接收到的第一元数据信息进行数据挖掘装 置本地第二元数据信息的配置。
具体的： 数据挖掘装置根据第一数据的字段定义信息确定第二数据的 字段定义信息； 数据挖掘装置将第一数据的存储位置信息确定为第二数据 的地址获取信息； 其中， 所述第二数据是所述数据挖掘装置的源数据。 如 果第一数据的存储位置信息中每一信息均设置为固定值， 则第二数据的地 址获取信息中每一信息也为固定值； 如果第一数据的存储位置信息中包括 变量信息时， 则第二数据的地址获取信息中也包括变量信息。
其中， 数据挖掘装置根据所述第一数据的字段定义信息确定第二数据 的字段定义信息的实现这里不限定。 例如， 可以直接将所述第一数据的字 段定义信息确定为第二数据的字段定义信息； 或者， 数据挖掘装置也可以 将确定第一数据的字段定义信息显示给信息配置人员， 由信息配置人员对 所述第一数据的字段定义信息进行调整后， 将信息配置人员调整后的字段 定义信息作为第二数据的字段定义信息。 例如， 假设第一数据的字段定义 信息如表 1 所示， 则如果直接将所述第一数据的字段定义信息确定为第二 数据的字段定义信息， 则第二数据的字段定义信息也如表 1 所示； 而如果 信息配置人员删除了关于格式的字段定义信息， 则第二数据的字段定义信 息如表 2所示。
表 1
Figure imgf000011_0001
表 2
Figure imgf000011_0002
由于数据集成装置所生成的第一数据是需要作为数据挖掘装置的源数 据的， 所以第二数据的字段定义信息可以直接参照第一数据的字段定义信 息进行配置， 将第一数据的存储位置信息作为第二数据的地址获取信息， 这样所述第一数据就可以直接作为符合数据挖掘装置需求的源数据， 也即 所述第二数据， 从而减少了数据挖掘装置配置元数据信息的工作量， 提高 了数据挖掘装置的工作效率。
其中， 步骤 501最好在步骤 503之前执行， 以便数据挖掘装置可以从 数据集成装置获取到元数据信息。
步骤 505: 数据集成装置确定进行数据处理时，根据第一数据的字段定 义信息对自身的源数据进行逻辑处理； 数据集成装置将处理得到的第一数 据加载到目标装置。
其中， 数据集成装置如何进行源数据的逻辑处理、 如何进行第一数据 的加载这里不贅述。
其中， 当第一数据的存储位置信息中每一信息均设置为固定值时， 数 据集成装置可以直接将第一数据加载到目标装置中上述存储位置信息指示 的存储位置； 或者， 当第一数据的存储位置信息中包括变量信息时， 数据 集成装置可以在将第一数据加载到目标装置时， 确定第一数据的存储位置 信息中的上述变量信息， 从而得到第一数据的具体存储位置信息， 进一步 数据集成装置可以将第一数据加载到目标装置中上述得到的具体存储位置 信息指示的存储位置。
步骤 506: 数据挖掘装置确定进行数据挖掘时，根据确定的第二数据的 地址获取信息获取第二数据； 数据挖掘装置根据获取到的第二数据以及所 述第二数据的字段定义信息进行数据挖掘处理。
其中， 数据挖掘装置确定进行数据挖掘可以包括： 数据挖掘装置确定 到达预设挖掘时间时， 确定进行数据挖掘； 或者， 数据挖掘装置接收到数 据集成装置发送的挖掘流程触发消息时， 确定进行数据挖掘， 挖掘流程触 发消息在数据集成装置完成第一数据的装载后发送。 其中， 可以预先在数 据挖掘装置中设置挖掘时间的具体时间点； 或者， 数据挖掘装置的挖掘处 理可以周期性进行， 则在数据挖掘装置中可以预先设置挖掘的起始时间和 周期， 数据挖掘装置就可以按照预设的周期和挖掘的起始时间确定具体的 挖掘时间， 具体挖掘时间的确定方法这里不限定。
其中， 如果第二数据的地址获取信息中包括变量信息， 数据挖掘装置 根据确定的第二数据的地址获取信息获取第二数据具体可以包括： 数据挖 掘装置从数据集成装置获取变量信息的具体取值 , 得到第二数据的具体地 址获取信息； 数据挖掘装置从第二数据的具体地址获取信息指示的地址获 取第二数据； 或者， 第二数据的地址获取信息中每一信息均设置为固定值， 数据挖掘装置根据确定的第二数据的地址获取信息获取第二数据具体可以 包括： 数据挖掘装置从第二数据的地址获取信息指示的地址获取第二数据。
其中， 数据挖掘装置从数据集成装置获取的地址获取信息中的变量信 息即是数据集成装置在加载第一数据时确定的第一数据的存储地址信息中 的变量信息。 例如， 如果目标装置是 HDFS或者运行普通文件***的装置， 变量信息可以为： 存储地址、 数据被存储的文件名、 数据被加载的时间等； 如果目标装置是运行数据库的装置， 则变量信息可以为： 数据在数据表中 的分区名称等。
例如， 假设第二数据的地址获取信息中包括文件名和存储路径两种变 量信息， 则数据集成装置在将第一数据加载至目标装置时， 可以根据第一 数据的实际存储位置确定第一数据被存储的文件名以及实际存储路径， 如 果第一数据作为数据挖掘装置的源数据， 也即第二数据， 则数据挖掘装置 可以从数据集成装置中获取第一数据被存储的文件名以及实际存储路径， 作为第二数据的地址获取信息中文件名和存储路径两种变量信息的具体取 值， 从而得到第二数据的具体地址获取信息， 从该具体地址获取信息指示 的地址获取所述第二数据。
其中， 步骤 505最好在步骤 506之前执行， 以便数据挖掘装置能够从 目标装置获取到所述第二数据； 例如， 数据集成装置的数据处理以及数据 挖掘装置的数据挖掘处理都可以周期性进行， 且两种处理的周期相同， 且 每个周期中步骤 506的执行时间晚于步骤 505 中将处理得到的第一数据加 载到目标装置的时间；
或者， 如果步骤 505和步骤 506两者之间处理周期等没有任何联系， 步骤 506 中数据挖掘装置根据确定的第二数据的地址获取信息获取第二数 据时， 可能步骤 505已经执行， 从而步骤 506可以获取到所需的第二数据； 或者， 也可能步骤 505未执行， 从而步骤 506 中数据挖掘装置无法在第一 次获取第二数据时获取到所需的第二数据， 这时： 数据挖掘装置可以重复 所述获取第二数据的步骤， 直到获取到第二数据为止； 或者， 数据挖掘装 置也可以在无法获取到第二数据时， 向数据集成装置发送数据处理触发信 息， 触发数据集成装置执行步骤 505 ;
或者， 如果步骤 505和步骤 506两者之间的处理周期等没有任何联系 , 数据集成装置可以在步骤 505中将处理得到的第一数据加载到目标装置后， 向数据挖掘装置发送挖掘流程触发消息， 触发数据挖掘装置执行步骤 506 , 进行数据挖掘。
另外， 数据集成装置中数据处理的周期最好小于等于数据挖掘装置中 数据挖掘的周期， 以便数据挖掘装置能够获取到数据集成装置处理完成的 第一数据作为所述第二数据进行数据挖掘处理； 例如， 数据集成装置中数 据处理的周期为每个月 3 次， 数据挖掘装置中数据挖掘的周期可以为每个 月 1次， 则数据挖掘装置每次从目标装置中将数据集成装置 3次加载至目 标装置的第一数据均获取作为第二数据进行数据挖掘处理。
本实施例中， 数据挖掘装置确定进行元数据信息配置时， 向数据集成 装置请求数据集成装置中的第一元数据信息， 根据从数据集成装置接收到 的第一元数据信息进行本地的第二元数据信息的配置， 从而使得数据挖掘 装置中大部分第二元数据信息的配置可以直接基于接收到的所述第一元数 据信息， 无需人工手动配置， 减少了数据挖掘装置中元数据配置的工作量 和配置时长， 提高了数据挖掘装置的工作效率。 参见图 6 ,为本发明实施例数据挖掘装置结构示意图，该装置 600包括： 第一发送单元 610, 用于确定进行元数据信息配置时， 向数据集成装置 请求数据集成装置中的第一元数据信息；
第一接收单元 620, 用于接收所述数据集成装置基于第一发送单元 610 的请求发送的所述第一元数据信息；
配置单元 630 ,用于根据第一接收单元 620接收到的所述第一元数据信 息， 进行本地第二元数据信息的配置。
可选地， 所述第一元数据信息可以包括： 第一数据的字段定义信息、 第一数据的存储位置信息； 所述第一数据是数据集成装置生成的数据； 配 置单元 630具体可以用于： 将所述第一数据的字段定义信息确定为第二数 据的字段定义信息； 将所述第一数据的存储位置信息确定为所述第二数据 的地址获取信息； 所述第二数据是所述数据挖掘装置的源数据。
可选地， 该装置 600还可以包括：
获取单元， 用于确定进行数据挖掘时， 根据确定的所述第二数据的地 址获取信息获取第二数据； 挖掘单元， 用于根据获取单元获取到的第二数据以及所述第二数据的 字段定义信息进行数据挖掘处理。
可选地， 所述第二数据的地址获取信息中包含变量信息， 获取单元具 体可以用于： 从数据集成装置获取所述变量信息的具体取值， 得到第二数 据的具体地址获取信息； 从所述第二数据的具体地址获取信息指示的地址 获取第二数据；
或者， 所述第二数据的地址获取信息中每一信息均设置为固定值， 获 取单元具体可以用于： 从所述第二数据的地址获取信息指示的地址获取第 二数据。
可选地， 该装置 600还可以包括：
确定单元， 用于确定到达预设挖掘时间时， 确定进行数据挖掘； 或者， 接收到数据集成装置发送的挖掘流程触发消息时， 确定进行数据挖掘， 所 述挖掘流程触发消息在数据集成装置完成第一数据的装载后发送。
本实施例中， 数据挖掘装置确定进行数据挖掘时， 向数据集成装置请 求数据集成装置中的第一元数据信息， 根据从数据集成装置接收到的第一 元数据信息进行本地的第二元数据信息的配置， 从而使得数据挖掘装置中 大部分第二元数据信息的配置可以直接基于接收到的所述第一元数据信 息， 无需人工手动配置， 减少了数据挖掘装置中第二元数据信息的配置的 工作量和配置时长， 提高了数据挖掘装置的工作效率。 参见图 7 ,为本发明实施例数据集成装置结构示意图，该装置 700包括： 第二接收单元 710 ,用于接收数据挖掘装置对于数据集成装置中的第一 元数据信息的请求；
第二发送单元 720 ,用于向所述数据挖掘装置发送第二接收单元 710接 收到的请求所对应的所述第一元数据信息， 以便数据挖掘装置根据所述第 一元数据信息进行数据挖掘装置中第二元数据信息的配置。
可选地， 所述第一元数据信息包括： 第一数据的字段定义信息、 第一 数据的存储位置信息； 所述第一数据是数据集成装置生成的数据。
可选地， 所述第一数据的存储位置信息中包含变量信息， 第二发送单 元 720 还可以用于： 将第一数据加载后确定的所述存储位置信息中变量信 息的具体取值发送给数据挖掘装置。 本实施例中， 数据集成装置接收数据挖掘装置对于数据集成装置中第 一元数据信息的请求； 所述数据集成装置向所述数据挖掘装置发送对应的 第一元数据信息， 以便数据挖掘装置根据所述第一元数据信息进行数据挖 掘装置中的第二元数据信息的配置， 从而使得数据挖掘装置中大部分第二 元数据信息的配置可以直接基于接收到的所述第一元数据信息， 无需人工 手动配置， 减少了数据挖掘装置中元数据配置的工作量和配置时长， 提高 了数据挖掘装置的工作效率。 参见图 8 , 为本发明实施例数据挖掘装置结构示意图， 该数据挖掘装置 800包括： 处理器 810、 存储器 820、 收发器 830和总线 840;
处理器 810、存储器 820、收发器 830通过总线 840相互连接；总线 840 可以是 I SA总线、 PCI总线或 EI SA总线等。 所述总线可以分为地址总线、 数据总线、 控制总线等。 为便于表示， 图 8 中仅用一条粗线表示， 但并不 表示仅有一根总线或一种类型的总线。
存储器 820 , 用于存放程序。 具体地， 程序可以包括程序代码， 所述程 序代码包括计算机操作指令。 存储器 820可能包含高速 RAM存储器， 也可 能还包括非易失性存储器 （non-vo la t i le memory ), 例如至少一个磁盘存 储器。
所述处理器 81 0执行所述程序代码， 用于根据收发器 830接收到的所 述元数据信息进行本地的第二元数据信息的配置。
所述收发器 830用于连接其他设备， 并与其他设备进行通信。 具体的， 收发器 830用于： 向数据集成装置请求数据集成装置中的第一元数据信息； 接收所述数据集成装置发送的所述第一元数据信息。
可选地， 所述第一元数据信息包括： 第一数据的字段定义信息、 第一 数据的存储位置信息； 所述第一数据是数据集成装置生成的数据； 所述处 理器 810具体可以用于： 将所述第一数据的字段定义信息确定为第二数据 的字段定义信息； 将所述第一数据的存储位置信息确定为所述第二数据的 地址获取信息； 所述第二数据是所述数据挖掘装置的源数据。
可选地， 所述收发器 830还可以用于： 确定进行数据挖掘时， 根据确 定的所述第二数据的地址获取信息获取第二数据；
所述处理器 81 0还可以用于： 根据收发器 830获取到的第二数据以及 所述第二数据的字段定义信息进行数据挖掘处理。
可选地， 所述第二数据的地址获取信息中包含变量信息， 所述收发器
830还可以具体用于： 从数据集成装置获取所述变量信息的具体取值，得到 第二数据的具体地址获取信息； 从所述第二数据的具体地址获取信息指示 的地址获取第二数据；
或者， 所述第二数据的地址获取信息中每一信息均设置为固定值， 所 述收发器 830还可以具体用于： 从所述第二数据的地址获取信息指示的地 址获取第二数据。
可选地， 处理器 810还用于通过以下方式确定进行数据挖掘： 确定到 达预设挖掘时间时， 确定进行数据挖掘； 或者， 通过收发器 830接收到数 据集成装置发送的挖掘流程触发消息时， 确定进行数据挖掘， 所述挖掘流 程触发消息在数据集成装置完成第一数据的装载后发送。
本实施例中， 数据挖掘装置确定进行元数据信息配置时， 向数据集成 装置请求数据集成装置中的第一元数据信息， 根据从数据集成装置接收到 的第一元数据信息进行第二元数据信息的配置， 从而使得数据挖掘装置中 大部分第二元数据信息的配置可以直接基于接收到的所述第一元数据信 息， 无需人工手动配置， 减少了数据挖掘装置中元数据配置的工作量和配 置时长， 提高了数据挖掘装置的工作效率。 参见图 9 , 为本发明实施例数据集成装置结构示意图， 该数据集成装置 900包括： 处理器 910、 存储器 920、 收发器 930和总线 940;
处理器 910、存储器 920、收发器 930通过总线 940相互连接；总线 940 可以是 ISA总线、 PCI总线或 EISA总线等。 所述总线可以分为地址总线、 数据总线、 控制总线等。 为便于表示， 图 9 中仅用一条粗线表示， 但并不 表示仅有一根总线或一种类型的总线。
存储器 920, 用于存放程序。 具体地， 程序可以包括程序代码， 所述程 序代码包括计算机操作指令。 存储器 920可能包含高速 RAM存储器， 也可 能还包括非易失性存储器 （non-volat i le memory ), 例如至少一个磁盘存 储器。
所述收发器 930用于连接其他设备， 并与其他设备进行通信。 具体的， 收发器 930用于： 接收数据挖掘装置对于数据集成装置中第一元数据信息 的请求； 向所述数据挖掘装置发送对应的第一元数据信息， 以便数据挖掘 装置根据所述第一元数据信息进行数据挖掘装置中第二元数据信息的配 置。
可选地， 所述第一元数据信息可以包括： 第一数据的字段定义信息、 第一数据的存储位置信息； 所述第一数据是数据集成装置生成的数据。
可选地， 所述第一数据的存储位置信息中包含变量信息， 所述收发器
930还可以用于：将第一数据加载后确定的所述存储位置信息中变量信息的 具体取值发送给数据挖掘装置。
本实施例中， 数据集成装置接收数据挖掘装置对于数据集成装置中第 一元数据信息的请求； 所述数据集成装置向所述数据挖掘装置发送对应的 第一元数据信息， 以便数据挖掘装置根据所述第一元数据信息进行数据挖 掘装置中第二元数据信息的配置， 从而使得数据挖掘装置中大部分第二元 数据信息的配置可以直接基于接收到的所述第一元数据信息， 无需人工手 动配置， 减少了数据挖掘装置中元数据配置的工作量和配置时长， 提高了 数据挖掘装置的工作效率。 本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软 件加必需的通用硬件平台的方式来实现。 基于这样的理解， 本发明实施例 中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的 形式体现出来，该计算机软件产品可以存储在存储介质中，如 R0M( Read On ly Memory , 只读存储器） /RAM ( Random Acces s Memory, 随机存储器）、 磁碟、 光盘等， 包括若干指令用以使得一台计算机设备（可以是个人计算机， 服 务器， 或者网络设备等）执行本发明各个实施例或者实施例的某些部分所 述的方法。
本说明书中的各个实施例均采用递进的方式描述， 各个实施例之间相 同相似的部分互相参见即可， 每个实施例重点说明的都是与其他实施例的 不同之处。 尤其， 对于***实施例而言， 由于其基本相似于方法实施例， 所以描述的比较简单， 相关之处参见方法实施例的部分说明即可。
以上所述的本发明实施方式， 并不构成对本发明保护范围的限定。 任 何在本发明的精神和原则之内所作的修改、 等同替换和改进等， 均应包含 在本发明的保护范围之内。

Claims

权利要求书
1、 一种数据交互方法， 其特征在于， 包括：
数据挖掘装置确定进行元数据信息配置时， 向数据集成装置请求数据 集成装置中的第一元数据信息；
所述数据挖掘装置接收所述数据集成装置发送的所述第一元数据信 息；
根据接收到的所述第一元数据信息， 所述数据挖掘装置进行本地的第 二元数据信息的配置。
2、 根据权利要求 1所述的方法， 其特征在于， 所述第一元数据信息包 括： 第一数据的字段定义信息、 第一数据的存储位置信息； 所述第一数据 是数据集成装置生成的数据；
所述根据接收到的所述第一元数据信息， 数据挖掘装置进行本地的第 二元数据信息的配置， 具体包括：
所述数据挖掘装置将所述第一数据的字段定义信息作为第二数据的字 段定义信息；
所述数据挖掘装置将所述第一数据的存储位置信息确定为所述第二数 据的地址获取信息， 其中所述第二数据是所述数据挖掘装置的源数据。
3、 根据权利要求 2所述的方法， 其特征在于， 还包括：
所述数据挖掘装置确定进行数据挖掘时， 根据确定的所述第二数据的 地址获取信息获取第二数据；
所述数据挖掘装置根据获取到的第二数据以及所述第二数据的字段定 义信息进行数据挖掘处理。
4、 根据权利要求 3所述的方法， 其特征在于， 所述第二数据的地址获 取信息中包含变量信息， 所述数据挖掘装置根据确定的所述第二数据的地 址获取信息获取第二数据， 具体包括： 所述数据挖掘装置从所述数据集成 装置获取所述变量信息的具体取值， 得到所述第二数据的具体地址获取信 息； 所述数据挖掘装置从所述第二数据的具体地址获取信息指示的地址获 取第二数据；
或者， 所述第二数据的地址获取信息中每一信息均设置为固定值， 所 述数据挖掘装置根据确定的所述第二数据的地址获取信息获取第二数据， 具体包括： 所述数据挖掘装置从所述第二数据的地址获取信息指示的地址 获取第二数据。
5、 根据权利要求 3或 4所述的方法， 其特征在于， 所述数据挖掘装置 确定进行数据挖掘包括：
所述数据挖掘装置确定到达预设挖掘时间时， 确定进行数据挖掘； 或者， 所述数据挖掘装置接收到所述数据集成装置发送的挖掘流程触 发消息时， 确定进行数据挖掘， 所述挖掘流程触发消息在数据集成装置完 成第一数据的装载后发送。
6、 一种数据交互方法， 其特征在于， 包括：
数据集成装置接收数据挖掘装置对于所述数据集成装置中的第一元数 据信息的请求；
所述数据集成装置向所述数据挖掘装置发送所述第一元数据信息， 以 便所述数据挖掘装置根据所述第一元数据信息进行数据挖掘装置中第二元 数据信息的配置。
7、 根据权利要求 6所述的方法， 其特征在于， 所述第一元数据信息包 括： 第一数据的字段定义信息、 第一数据的存储位置信息； 所述第一数据 是数据集成装置生成的数据； 且所述第一数据的存储位置信息中包含变量 信息； 该方法还包括：
所述数据集成装置将第一数据加载后确定的所述存储位置信息中变量 信息的具体取值发送给数据挖掘装置。
8、 一种数据挖掘装置， 其特征在于， 包括：
第一发送单元， 用于确定进行元数据信息配置时， 向数据集成装置请 求数据集成装置中的第一元数据信息；
第一接收单元， 用于接收所述数据集成装置基于第一发送单元的请求 发送的所述第一元数据信息；
配置单元， 用于根据第一接收单元接收到的所述第一元数据信息， 进 行本地第二元数据信息的配置。
9、 根据权利要求 8所述的装置， 其特征在于， 所述第一元数据信息包 括： 第一数据的字段定义信息、 第一数据的存储位置信息； 所述第一数据 是数据集成装置生成的数据； 所述配置单元具体用于： 将所述第一数据的 字段定义信息确定为第二数据的字段定义信息； 将所述第一数据的存储位 置信息确定为所述第二数据的地址获取信息； 所述第二数据是所述数据挖 掘装置的源数据。
10、 根据权利要求 9所述的装置， 其特征在于， 还包括：
获取单元， 用于确定进行数据挖掘时， 根据确定的所述第二数据的地 址获取信息获取第二数据；
挖掘单元， 用于根据获取单元获取到的第二数据以及所述第二数据的 字段定义信息进行数据挖掘处理。
11、 根据权利要求 10所述的装置， 其特征在于， 所述第二数据的地址 获取信息中包含变量信息， 获取单元具体用于： 从数据集成装置获取所述 变量信息的具体取值， 得到第二数据的具体地址获取信息； 从所述第二数 据的具体地址获取信息指示的地址获取第二数据；
或者， 所述第二数据的地址获取信息中每一信息均设置为固定值， 获 取单元具体用于： 从所述第二数据的地址获取信息指示的地址获取第二数 据。
12、 根据权利要求 10或 11所述的装置， 其特征在于， 还包括： 确定单元， 用于确定到达预设挖掘时间时， 确定进行数据挖掘； 或者， 接收到数据集成装置发送的挖掘流程触发消息时， 确定进行数据挖掘， 所 述挖掘流程触发消息在数据集成装置完成第一数据的装载后发送。
13、 一种数据集成装置， 其特征在于， 包括：
第二接收单元， 用于接收数据挖掘装置对于数据集成装置中的第一元 数据信息的请求；
第二发送单元， 用于向所述数据挖掘装置发送第二接收单元接收到的 请求所对应的所述第一元数据信息， 以便数据挖掘装置根据所述第一元数 据信息进行数据挖掘装置中的第二元数据信息的配置。
14、 根据权利要求 13所述的装置， 其特征在于， 所述第一元数据信息 包括： 第一数据的字段定义信息、 第一数据的存储位置信息； 所述第一数 据是数据集成装置生成的数据； 且所述第一数据的存储位置信息中包含变 量信息； 所述第二发送单元还用于： 将第一数据加载后确定的所述存储位 置信息中变量信息的具体取值发送给数据挖掘装置。
PCT/CN2014/070105 2013-06-28 2014-01-03 一种数据交互方法及装置 WO2014206063A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310270030.X 2013-06-28
CN201310270030.XA CN104253847B (zh) 2013-06-28 2013-06-28 一种数据交互方法及装置

Publications (1)

Publication Number Publication Date
WO2014206063A1 true WO2014206063A1 (zh) 2014-12-31

Family

ID=52140956

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/070105 WO2014206063A1 (zh) 2013-06-28 2014-01-03 一种数据交互方法及装置

Country Status (2)

Country Link
CN (1) CN104253847B (zh)
WO (1) WO2014206063A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967961A (zh) * 2020-08-17 2020-11-20 中国银行股份有限公司 一种数据挖掘方法和装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740469B (zh) * 2016-03-07 2019-05-28 华为技术有限公司 存储服务器和元数据访问方法
CN110111067A (zh) * 2019-04-12 2019-08-09 河南理工大学 一种多用户交互式网络服务平台及使用其的通信方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030084142A1 (en) * 2001-11-01 2003-05-01 Fabio Casati Method and system for analyzing electronic service execution
CN101477572A (zh) * 2009-01-12 2009-07-08 深圳市里王智通软件有限公司 基于tds过渡数据存储技术的动态数据仓库的方法与***
CN102096684A (zh) * 2009-12-11 2011-06-15 华大天元(北京)电力科技有限公司 电网实时数据集成与共享平台
CN102375734A (zh) * 2010-08-23 2012-03-14 ***通信集团公司 应用产品开发***、方法、装置和运行***、方法、装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7822768B2 (en) * 2004-11-23 2010-10-26 International Business Machines Corporation System and method for automating data normalization using text analytics
CN101196927A (zh) * 2007-12-29 2008-06-11 中国建设银行股份有限公司 一种数据映射方法及一种数据映射装置
CN101364240B (zh) * 2008-10-14 2010-07-21 杭州华三通信技术有限公司 元数据管理方法及装置
CN102117306B (zh) * 2010-01-04 2013-05-22 阿里巴巴集团控股有限公司 Etl数据处理过程的监控方法及其***
US8543527B2 (en) * 2010-01-08 2013-09-24 Oracle International Corporation Method and system for implementing definable actions
CN102236672B (zh) * 2010-05-06 2016-08-24 深圳市腾讯计算机***有限公司 一种数据导入方法及装置
CN103164476A (zh) * 2011-12-16 2013-06-19 ***通信集团公司 一种bi应用元数据描述文件的执行方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030084142A1 (en) * 2001-11-01 2003-05-01 Fabio Casati Method and system for analyzing electronic service execution
CN101477572A (zh) * 2009-01-12 2009-07-08 深圳市里王智通软件有限公司 基于tds过渡数据存储技术的动态数据仓库的方法与***
CN102096684A (zh) * 2009-12-11 2011-06-15 华大天元(北京)电力科技有限公司 电网实时数据集成与共享平台
CN102375734A (zh) * 2010-08-23 2012-03-14 ***通信集团公司 应用产品开发***、方法、装置和运行***、方法、装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967961A (zh) * 2020-08-17 2020-11-20 中国银行股份有限公司 一种数据挖掘方法和装置
CN111967961B (zh) * 2020-08-17 2023-08-22 中国银行股份有限公司 一种数据挖掘方法和装置

Also Published As

Publication number Publication date
CN104253847B (zh) 2017-11-24
CN104253847A (zh) 2014-12-31

Similar Documents

Publication Publication Date Title
CN107391629B (zh) 集群间数据迁移方法、***、服务器及计算机存储介质
US11336583B2 (en) Background processes in update load balancers of an auto scaling group
US10805363B2 (en) Method, device and system for pushing file
US10812566B2 (en) Distributed steam processing
US10719260B2 (en) Techniques for storing and retrieving data from a computing device
JP6626211B2 (ja) ショートリンクを処理する方法及び装置並びにショートリンクサーバ
US20190196875A1 (en) Method, system and computer program product for processing computing task
US10996996B2 (en) Implementing multiple content management service operations
US9646020B2 (en) Integrated format conversion during disk upload
US10038640B2 (en) Managing state for updates to load balancers of an auto scaling group
WO2016070718A1 (zh) 进行文件下载的方法、装置和浏览器
CN109254854A (zh) 异步调用方法、计算机装置及存储介质
WO2020001488A1 (zh) 文件下载方法及装置、客户端和计算机可读存储介质
CN107438101B (zh) 一种单体式应用的服务扩展方法及装置
WO2014206063A1 (zh) 一种数据交互方法及装置
US20230153147A1 (en) Ad-hoc proxy for batch processing task
CN111294377B (zh) 一种依赖关系的网络请求发送方法、终端装置及存储介质
CN108776665B (zh) 一种数据处理方法及装置
CN114238703A (zh) 事件流程编排方法、装置及应用
CN107329832B (zh) 一种数据接收方法及装置
US9424273B2 (en) System and method for asynchronous use of a network-based file system
WO2013097234A1 (zh) 处理业务的方法和***
CN113297305A (zh) 会话状态处理方法、装置、设备和存储介质
CN110909072B (zh) 一种数据表建立方法、装置及设备
CN108023920B (zh) 一种数据包传输方法、设备及应用接口

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14818035

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14818035

Country of ref document: EP

Kind code of ref document: A1