JP2017535842A5 - - Google Patents

Download PDF

Info

Publication number
JP2017535842A5
JP2017535842A5 JP2017515771A JP2017515771A JP2017535842A5 JP 2017535842 A5 JP2017535842 A5 JP 2017535842A5 JP 2017515771 A JP2017515771 A JP 2017515771A JP 2017515771 A JP2017515771 A JP 2017515771A JP 2017535842 A5 JP2017535842 A5 JP 2017535842A5
Authority
JP
Japan
Prior art keywords
import
use case
data
value
procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017515771A
Other languages
Japanese (ja)
Other versions
JP6542880B2 (en
JP2017535842A (en
Filing date
Publication date
Priority claimed from US14/633,158 external-priority patent/US10042849B2/en
Application filed filed Critical
Publication of JP2017535842A publication Critical patent/JP2017535842A/en
Publication of JP2017535842A5 publication Critical patent/JP2017535842A5/ja
Application granted granted Critical
Publication of JP6542880B2 publication Critical patent/JP6542880B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (12)

データを複数のデータソースからデータターゲットに転送する方法であって、
複数の使用事例を指定するメタデータを維持するステップを含み、各々の使用事例は、インポート手順と、1セットのインポートパラメータによって満たされるべき対応する条件とを示すためのデータを含み、前記インポート手順は、前記対応する条件が満たされると、データのインポートのために実行されるべきものであり、前記メタデータは、行および列を含むテーブルの形式で維持され、各々の使用事例は、前記テーブルにおける対応する複数の行として表わされ、前記テーブルの第1の列は、前記複数の行が1セットの入力行および1セットの出力行を含むように、前記行の各々が前記使用事例の入力または前記使用事例の出力のいずれを指定するかを示しており、
前記1セットの入力行は、前記使用事例についての前記対応する条件を指定し、各々の入力行は、対応するインポートパラメータおよびそれぞれの値を示しており、前記方法はさらに、
第1のセットのデータソースから第1のセットのデータターゲットへのデータの転送を要求するインポートコネクタを受取るステップを含み、前記インポートコネクタは、複数のインポートパラメータについてのそれぞれの値を指定し、前記方法はさらに、
前記複数の使用事例のうち、前記インポートコネクタにおいて受取られた対応するインポートパラメータについてのそれぞれの値によって満たされる条件を有する第1の使用事例を選択するステップを含み前記選択するステップは、前記対応するインポートパラメータについて指定されたそれぞれの値が前記1セットの入力行のすべてについての前記インポートコネクタにおいて受取られた値と一致する場合に、前記第1の使用事例を選択するステップを含み、前記方法はさらに、
データを前記第1のセットのデータソースから前記第1のセットのデータターゲットにインポートするために前記第1の使用事例によって示される第1のインポート手順の実行を開始するステップとを含み、前記1セットの出力行のうち第1の出力行は、前記使用事例についての前記インポート手順を示す、方法。
A method for transferring data from multiple data sources to a data target,
Maintaining metadata specifying a plurality of use cases, each use case including data for indicating an import procedure and a corresponding condition to be met by a set of import parameters, the import procedure Is to be executed for data import when the corresponding condition is met, the metadata is maintained in the form of a table containing rows and columns, and each use case is And the first column of the table is such that each of the rows of the use case is such that the rows include a set of input rows and a set of output rows. Indicates whether to specify the input or the output of the use case,
The set of input lines specifies the corresponding conditions for the use case, each input line indicates a corresponding import parameter and a respective value, and the method further includes:
Receiving an import connector requesting transfer of data from a first set of data sources to a first set of data targets, the import connector specifying respective values for a plurality of import parameters; The method is further
Among the plurality of use cases, including the step of selecting the first use case having a condition satisfied by the respective values for the import parameters corresponding with received at the import connector, said selecting step, the corresponding Selecting the first use case if each value specified for the import parameter to be matched matches the value received at the import connector for all of the set of input rows, the method comprising: Furthermore,
Look including the step of initiating the execution of the first import procedure indicated by the first use case to import data from a data source of the first set of data target of the first set, the A method wherein a first output line of a set of output lines indicates the import procedure for the use case .
前記受取るステップ、前記選択するステップおよび前記開始するステップは、前記メタデータだけを変更することによって、データソース、データターゲットおよびインポートパラメータへの変更または追加を実施することができるように、前記インポート手順から外れてソフトウェアプログラムとして実現される、請求項1に記載の方法。   The import procedure so that the receiving, selecting and initiating steps can implement changes or additions to data sources, data targets and import parameters by changing only the metadata. The method of claim 1, wherein the method is implemented as a software program. 前記第1のインポート手順は第1の構成オプションに基づいて動作するように設計されており、
前記メタデータにおける前記第1の使用事例はさらに、前記第1の構成オプションについての第1の値を指定し、前記開始するステップは、前記第1の値に設定された前記第1の構成オプションで前記第1のインポート手順の実行を開始するステップを含む、請求項2に記載の方法。
The first import procedure is designed to operate based on a first configuration option;
The first use case in the metadata further specifies a first value for the first configuration option, and the initiating step includes the first configuration option set to the first value. 3. The method of claim 2, comprising initiating execution of the first import procedure.
前記第1の使用事例において指定された第1のセットのインポートパラメータは、
選択されるべき前記第1の使用事例のためにデータソースが実現される際に適用される記憶技術を示す第1のインポートパラメータと、
選択されるべき前記第1の使用事例のための対応するインポートコネクタに存在するべきデータソースの数を示す第2のインポートパラメータと、
選択されるべき前記第1の使用事例のための対応するインポートコネクタに存在すべきデータターゲットの数を示す第3のインポートパラメータと、
選択されるべき前記第1の使用事例についての、前記データソースからインポートされるべき記録の数を示す第4のインポートパラメータとを含む、請求項3に記載の方法。
The first set of import parameters specified in the first use case is:
A first import parameter indicating a storage technique applied when a data source is realized for the first use case to be selected;
A second import parameter indicating the number of data sources to be present in the corresponding import connector for the first use case to be selected;
A third import parameter indicating the number of data targets to be present in the corresponding import connector for the first use case to be selected;
4. A method according to claim 3, comprising a fourth import parameter indicating the number of records to be imported from the data source for the first use case to be selected.
前記1セットの出力行のうちのいくつかは、前記インポート手順の対応する構成オプションと、前記インポート手順の呼出し中に設定されるべきそれぞれの値とを示す、請求項1〜4のいずれか1項に記載の方法。 Some of the output lines of said set, wherein shows the import procedure corresponding configuration options, and each value to be set during a call of the import procedure, any of the preceding claims 1 The method according to item . 前記受取るステップに応じて、データベースにおける前記インポートコネクタにおいて受取られた前記複数のインポートパラメータについての前記それぞれの値を記憶するステップをさらに含み、
前記1セットの入力行の各々は、前記テーブルの第2の列において、前記データベースから前記対応するインポートパラメータについての値を検索するように設計された対応するプログラム論理を指定し、
前記選択するステップは、前記インポートパラメータについての値を検索し、かつ、前記使用事例において指定された前記条件が前記検索された値によって満たされるかどうかを判断するために、前記1セットの入力行において指定される前記プログラム論理を実行するステップを含む、請求項1〜5のいずれか1項に記載の方法。
Responsive to the receiving step further comprising storing the respective values for the plurality of import parameters received at the import connector in a database;
Each of the set of input rows specifies corresponding program logic designed to retrieve a value for the corresponding import parameter from the database in a second column of the table;
The selecting step retrieves the value for the import parameter and determines whether the condition specified in the use case is satisfied by the retrieved value. 6. A method according to any one of the preceding claims, comprising the step of executing the program logic specified in 1 .
システムがデータを複数のデータソースからデータターゲットに転送することを可能にするための1つ以上の命令のシーケンスをを含むコンピュータプログラムであって、前記システムに含まれる1つ以上のプロセッサによって前記1つ以上の命令実行されることにより、前記システムが、請求項1〜6のいずれか1項に記載の方法を実現できるようにする、コンピュータプログラム A computer program comprising a sequence of one or more instructions for enabling a system to transfer data from a plurality of data sources to a data target, wherein the one by one or more processors included in the system. one result of the above instruction is executed Rukoto, the system, to be able to implement the method according to any one of claims 1 to 6, the computer program. コンピューティングシステムであって、
複数のデータソースと、
複数のデータターゲットと、
複数のインポート手順を提供するためのデータインテグレータシステムとを含み、各々のインポート手順は、データを前記複数のデータソースから前記複数のデータターゲットに転送するように設計されており、前記コンピューティングシステムはさらに、
アドミニストレータシステムを含み、前記アドミニストレータシステムは、
複数の使用事例を指定するメタデータを維持するように動作可能であり、各々の使用事例は、前記複数のインポート手順のうちの1つのインポート手順と、1セットのインポートパラメータによって満たされるべき対応する条件とを示すためのデータを含み、前記インポート手順は、前記対応する条件が満たされるとデータのインポートのために実行されるべきものであり、
前記メタデータは、行および列を含むテーブルの形式で維持され、各々の使用事例は、前記テーブルにおける対応する複数の行として表わされ、前記テーブルの第1の列は、前記複数の行が1セットの入力行および1セットの出力行を含むように、前記行の各々が前記使用事例の入力または前記使用事例の出力のいずれを指定するかを示しており、
前記1セットの入力行は、前記使用事例についての前記対応する条件を指定し、各々の入力行は、対応するインポートパラメータおよびそれぞれの値を示しており、前記アドミニストレータシステムはさらに、
前記複数のデータソースのうち第1のセットのデータソースから前記複数のデータターゲットのうち第1のセットのデータターゲットへのデータの転送を要求するインポートコネクタを受取るよう動作可能であり、前記インポートコネクタは、複数のインポートパラメータについてのそれぞれの値を指定し、前記アドミニストレータシステムはさらに、
前記複数の使用事例のうち、前記インポートコネクタにおいて受取られた対応するインポートパラメータについてのそれぞれの値によって満たされる条件を有する第1の使用事例を選択し、前記選択することは、前記対応するインポートパラメータについて指定されたそれぞれの値が前記1セットの入力行のすべてについての前記インポートコネクタにおいて受取られた値と一致する場合、前記第1の使用事例を選択することを含み、前記アドミニストレータシステムはさらに、
データを前記第1のセットのデータソースから前記第1のセットのデータターゲットにインポートするために前記第1の使用事例によって示される第1のインポート手順の実行を開始するよう動作可能であり、前記第1のインポート手順は前記複数のインポート手順に含まれており
前記1セットの出力行のうち第1の出力行は、前記使用事例についてのインポート手順を示す、コンピューティングシステム。
A computing system,
Multiple data sources,
Multiple data targets,
A data integrator system for providing a plurality of import procedures, each import procedure being designed to transfer data from the plurality of data sources to the plurality of data targets, the computing system comprising: further,
An administrator system, the administrator system comprising:
Operable to maintain metadata specifying a plurality of use cases, each use case corresponding to be satisfied by one of the plurality of import procedures and a set of import parameters Data for indicating conditions, and the import procedure is to be performed for data import when the corresponding conditions are met,
The metadata is maintained in the form of a table containing rows and columns, each use case being represented as a corresponding plurality of rows in the table, and the first column of the table is the plurality of rows Indicates whether each of the lines specifies an input for the use case or an output for the use case to include a set of input lines and a set of output lines;
The set of input lines specifies the corresponding conditions for the use case, each input line indicates a corresponding import parameter and a respective value, and the administrator system further includes:
Operable to receive an import connector requesting transfer of data from a first set of data sources of the plurality of data sources to a first set of data targets of the plurality of data targets; Specifies respective values for a plurality of import parameters, the administrator system further comprising:
Of the plurality of use cases, selecting a first use case having a condition that is satisfied by a respective value for the corresponding import parameter received at the import connector, the selecting includes selecting the corresponding import parameter Selecting the first use case if each value specified for matches a value received at the import connector for all of the set of input rows, the administrator system further comprising:
Operable to initiate execution of a first import procedure indicated by the first use case to import data from the first set of data sources into the first set of data targets; the first import procedure are included in the plurality of import procedure,
A computing system wherein a first output line of the set of output lines indicates an import procedure for the use case .
前記第1のインポート手順は第1の構成オプションに基づいて動作するように設計されており、
前記メタデータにおける前記第1の使用事例はさらに、前記第1の構成オプションについての第1の値を指定し、前記アドミニストレータシステムは、前記第1の値に設定された前記第1の構成オプションで前記第1のインポート手順の実行を開始する、請求項に記載のコンピューティングシステム。
The first import procedure is designed to operate based on a first configuration option;
The first use case in the metadata further specifies a first value for the first configuration option, and the administrator system is configured with the first configuration option set to the first value. The computing system of claim 8 , wherein execution of the first import procedure is started.
前記第1の使用事例において指定された第1のセットのインポートパラメータは、
選択されるべき前記第1の使用事例のためにデータソースが実現される際に適用される記憶技術を示す第1のインポートパラメータと、
選択されるべき前記第1の使用事例のための対応するインポートコネクタに存在すべきデータソースの数を示す第2のインポートパラメータと、
選択されるべき前記第1の使用事例のための対応するインポートコネクタに存在すべきデータターゲットの数を示す第3のインポートパラメータと、
選択されるべき前記第1の使用事例のための、前記データソースからインポートされるべき記録の数を示す第4のインポートパラメータとを含む、請求項に記載のコンピューティングシステム。
The first set of import parameters specified in the first use case is:
A first import parameter indicating a storage technique applied when a data source is realized for the first use case to be selected;
A second import parameter indicating the number of data sources to be present in the corresponding import connector for the first use case to be selected;
A third import parameter indicating the number of data targets to be present in the corresponding import connector for the first use case to be selected;
10. A computing system according to claim 9 , comprising a fourth import parameter indicating the number of records to be imported from the data source for the first use case to be selected.
前記1セットの出力行のうちのいくつかは、前記インポート手順の対応する構成オプションと、前記インポート手順の呼出し中に設定されるべきそれぞれの値とを示す、請求項8〜10のいずれか1項に記載のコンピューティングシステム。 11. A set of any one of claims 8-10 , wherein some of the set of output lines indicate corresponding configuration options of the import procedure and respective values to be set during invocation of the import procedure. The computing system according to item . 前記アドミニストレータシステムはさらに、
前記インポートコネクタを受取ったことに応じて、データベースにおける前記インポートコネクタにおいて受取られた前記複数のインポートパラメータについてのそれぞれの値を記憶するように動作可能であり、
前記1セットの入力行の各々は、前記テーブルの第2の列において、前記データベースから前記対応するインポートパラメータについての値を検索するように設計された対応するプログラム論理を指定し、
前記第1の使用事例を選択するために、前記アドミニストレータシステムは、前記インポートパラメータについての値を検索し、かつ、前記使用事例において指定された条件が前記検索された値によって満たされるかどうかを判断するために、前記1セットの入力行において指定された前記プログラム論理を実行するように動作可能である、請求項8〜11のいずれか1項に記載のコンピューティングシステム。
The administrator system further includes:
Operative to store respective values for the plurality of import parameters received at the import connector in a database in response to receiving the import connector;
Each of the set of input rows specifies corresponding program logic designed to retrieve a value for the corresponding import parameter from the database in a second column of the table;
To select the first use case, the administrator system searches for a value for the import parameter and determines whether a condition specified in the use case is satisfied by the searched value. 12. A computing system as claimed in any one of claims 8 to 11 , operable to execute the program logic specified in the set of input lines to do so.
JP2017515771A 2014-09-22 2015-07-31 Simplified invocation of import procedure to transfer data from data source to data target Active JP6542880B2 (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
IN4619/CHE/2014 2014-09-22
IN4619CH2014 2014-09-22
US14/633,158 US10042849B2 (en) 2014-09-22 2015-02-27 Simplifying invocation of import procedures to transfer data from data sources to data targets
US14/633,158 2015-02-27
PCT/IB2015/055818 WO2016046658A1 (en) 2014-09-22 2015-07-31 Simplifying invocation of import procedures to transfer data from data sources to data targets

Publications (3)

Publication Number Publication Date
JP2017535842A JP2017535842A (en) 2017-11-30
JP2017535842A5 true JP2017535842A5 (en) 2018-08-30
JP6542880B2 JP6542880B2 (en) 2019-07-10

Family

ID=55525908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017515771A Active JP6542880B2 (en) 2014-09-22 2015-07-31 Simplified invocation of import procedure to transfer data from data source to data target

Country Status (4)

Country Link
US (1) US10042849B2 (en)
JP (1) JP6542880B2 (en)
CN (1) CN106687955B (en)
WO (1) WO2016046658A1 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9514205B1 (en) * 2015-09-04 2016-12-06 Palantir Technologies Inc. Systems and methods for importing data from electronic data files
US10133782B2 (en) * 2016-08-01 2018-11-20 Palantir Technologies Inc. Techniques for data extraction
EP3282374A1 (en) 2016-08-17 2018-02-14 Palantir Technologies Inc. User interface data sample transformer
CN110661851A (en) * 2017-03-02 2020-01-07 杭州数梦工场科技有限公司 Data exchange method and device
CN107330028A (en) * 2017-06-23 2017-11-07 北京北信源软件股份有限公司 Expansion application methods and system of a kind of Apache NiFi in terms of source data input database
US10754820B2 (en) 2017-08-14 2020-08-25 Palantir Technologies Inc. Customizable pipeline for integrating data
US11263263B2 (en) 2018-05-30 2022-03-01 Palantir Technologies Inc. Data propagation and mapping system
CN111783371B (en) * 2020-05-28 2023-08-22 安费诺电子装配(厦门)有限公司 Network-based connector design method and electronic equipment
CN112667733A (en) * 2021-03-15 2021-04-16 北京焦点新干线信息技术有限公司 Data warehouse data importing method and system
CN113743948A (en) * 2021-09-18 2021-12-03 中国银行股份有限公司 Method and device for generating transaction information file, electronic equipment and storage medium

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6263427B1 (en) 1998-09-04 2001-07-17 Rise Technology Company Branch prediction mechanism
US6718332B1 (en) * 1999-01-04 2004-04-06 Cisco Technology, Inc. Seamless importation of data
US7164422B1 (en) 2000-07-28 2007-01-16 Ab Initio Software Corporation Parameterized graphs with conditional components
US7793084B1 (en) 2002-07-22 2010-09-07 Mimar Tibet Efficient handling of vector high-level language conditional constructs in a SIMD processor
JP2005293047A (en) * 2004-03-31 2005-10-20 Fujitsu Ltd Data exchange system, method and program
CN101395581A (en) 2006-03-02 2009-03-25 Nxp股份有限公司 Optimised profile-driven compilation method for conditional code for a processor with predicated execution
US7934207B2 (en) 2006-12-19 2011-04-26 Microsoft Corporation Data schemata in programming language contracts
WO2009114615A1 (en) * 2008-03-11 2009-09-17 Virtual Agility, Inc. Techniques for integrating parameterized information request into a system for collaborative work
US20090193039A1 (en) * 2008-01-28 2009-07-30 Apollo Data Technologies, Llc Data driven system for data analysis and data mining
US20110078424A1 (en) 2009-09-30 2011-03-31 International Business Machines Corporation Optimizing program code using branch elimination
US9134977B2 (en) 2010-02-26 2015-09-15 Red Hat, Inc. Compiler operation for handling conditional statements
CN101877728B (en) * 2010-06-25 2014-12-31 中兴通讯股份有限公司 Method and device for converting and forwarding network addresses
US8380661B2 (en) * 2010-10-05 2013-02-19 Accenture Global Services Limited Data migration using communications and collaboration platform
US8533698B2 (en) 2011-06-13 2013-09-10 Microsoft Corporation Optimizing execution of kernels
US9569471B2 (en) * 2011-08-01 2017-02-14 Hewlett Packard Enterprise Development Lp Asset model import connector
WO2013147879A1 (en) 2012-03-30 2013-10-03 Intel Corporation Dynamic branch hints using branches-to-nowhere conditional branch
CN103957268B (en) * 2014-05-08 2017-04-12 中国人民解放军61741部队 Rule-driven data transmission method
US20160063880A1 (en) * 2014-08-27 2016-03-03 Apollo Education Group, Inc. Activity repository

Similar Documents

Publication Publication Date Title
JP2017535842A5 (en)
US11120022B2 (en) Processing a database query using a shared metadata store
JP2017530469A5 (en)
JP2020522779A5 (en)
JP2016539427A5 (en)
US8468146B2 (en) System and method for creating search index on cloud database
JP2019535065A5 (en)
WO2016036820A4 (en) Managing invocation of tasks
JP2021522570A5 (en)
JP2016189214A5 (en)
Lee et al. SQL-to-NoSQL schema denormalization and migration: a study on content management systems
US10002178B2 (en) Storage cluster data shifting
JP2017503281A5 (en)
JP2010191999A5 (en)
JP2014518415A5 (en)
US9210219B2 (en) Systems and methods for consistent hashing using multiple hash rings
US20140122484A1 (en) System and Method for Flexible Distributed Massively Parallel Processing (MPP) Database
US20180129661A1 (en) Hash table structure for optimizing hash join operations in a relational database system
US9740748B2 (en) Similarity and ranking of databases based on database metadata
JP2016531355A5 (en)
JP2017535842A (en) Simplify calling the import procedure to transfer data from the data source to the data target
RU2015142983A (en) FORCED EVENT MANAGEMENT
GB2519761A (en) A method and a system for distributed processing of data records
JP2015522887A5 (en)
JP2014059861A5 (en)