JP2015537293A - データ系統システム - Google Patents
データ系統システム Download PDFInfo
- Publication number
- JP2015537293A JP2015537293A JP2015537696A JP2015537696A JP2015537293A JP 2015537293 A JP2015537293 A JP 2015537293A JP 2015537696 A JP2015537696 A JP 2015537696A JP 2015537696 A JP2015537696 A JP 2015537696A JP 2015537293 A JP2015537293 A JP 2015537293A
- Authority
- JP
- Japan
- Prior art keywords
- data
- source
- target
- record
- column
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 claims abstract description 239
- 238000006243 chemical reaction Methods 0.000 claims description 82
- 238000013499 data model Methods 0.000 claims description 66
- 238000000034 method Methods 0.000 claims description 26
- 238000013501 data transformation Methods 0.000 claims description 13
- 230000010354 integration Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 description 122
- 238000000844 transformation Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 27
- 238000011144 upstream manufacturing Methods 0.000 description 21
- 238000004458 analytical method Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000000644 propagated effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000001902 propagating effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 230000037396 body weight Effects 0.000 description 2
- 238000013498 data listing Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009533 lab test Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 101150011375 Tab2 gene Proteins 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013502 data validation Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005534 hematocrit Methods 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Document Processing Apparatus (AREA)
Abstract
Description
この出願は、2012年10月18日に出願された米国仮特許出願連続番号第61/715,428号の優先権を主張し、その主題がここに引用により援用される。
1つの実施形態はコンピュータシステムに向けられ、より特定的にはデータを管理するコンピュータシステムに向けられる。
報告および分析に用いられるデータを格納するのにデータウェアハウスを用いることができる。コンピュータシステムは、複数の分散されたソースからデータを集め、データモデル中の集積データをデータウェアハウス内に格納することができる。ユーザは、格納されたデータに基づくデータ検討、データ分析、およびデータマイニングの準備のために変換をデータに適用することができる。さらに、データを、コメント、エラー報告、タグ、およびフラグ/状態情報などの関連情報としばしば関連付けることができる。
1つの実施形態は、1つ以上のデータテーブルを含むデータウェアハウスのデータ系統を追跡するシステムであり、各々のデータテーブルは1つ以上のデータ記録を含む。システムは、目標データ要素を1つ以上のソースデータ要素にマッピングし、目標データ要素は目標データテーブル定義の列を含み、各々のソースデータ要素はソーステーブル定義の列を含む。システムはさらに、1つ以上の補助列を含んで1つ以上のソースサロゲートキーを格納するように目標テーブル定義を拡張する。システムはさらに、各ソースデータ要素毎に、ソースサロゲートキーを格納する目標テーブル中の補助列の列アイデンティティとともに、目標データ要素および対応のソースデータ要素のマッピングを表わすデータ系統マッピングシステムテーブル内にデータ系統マッピングシステム記録を格納する。システムはさらに、目標データ記録が作成されるかまたは修正されるときに目標データ記録の1つ以上の補助列内に1つ以上のソースサロゲートキー値を格納する。システムはさらに、各目標データ記録毎に、ソースデータ記録および対応の目標データ記録ソースサロゲートキー値のマッピングを表わすシャドウシステムテーブル内に1つ以上のシャドウシステム記録を格納する。データ系統は、1つ以上のデータ系統マッピングシステム記録、1つ以上のシャドウシステム記録、および1つ以上のソースサロゲートキーを含む。
1つの実施形態では、データウェアハウス内に格納することができる1組のデータに対して施される1つ以上の変換の道筋を通したータ系統追跡を提供することができるシステムが提供され、1組のデータは1つ以上のテーブル内に格納され、各々のテーブルは1つ以上のデータ記録を含む。「変換」または「データ変換」は、第1の形式の1つ以上のデータ記録を第2の形式の1つ以上のデータ記録に転換することであり、データ記録は1つ以上のデータ値を含むことができる。所与の目標データ要素について、システムは、目標データ要素を発生した1組のソースデータ要素および1組のソースデータ要素から目標データ要素への経路を同定することができ、「データ要素」は、データ記録の列の中に格納されるデータ値を含む。同様に、所与のソースデータ要素について、システムは、ソースデータ要素から導出される正確な組の目標データ要素およびソースデータ要素から目標データ要素の各々への経路を同定することができる。このように、システムは、データウェアハウス内の格納されたデータに加えて、データ系統追跡情報を与えて、格納されたデータの徹底的な分析をさらに容易にすることができる。ある実施形態では、データウェアハウス内の格納されたデータを1つ以上の「データ記録」内に格納することができ、データ系統追跡情報を1つ以上の「システム記録」内に格納することができる。ここで定義されるように、「データ記録」は、データウェアハウスのデータを格納する任意の種類の記録であることができ、「システム記録」は、データ系統追跡情報を格納する任意の種類の記録であることができる。
1950で、第1の関連オブジェクトマッピングシステム記録が削除される。フローは1955に進む。
このように、1つの実施形態では、データウェアハウス内に格納することができる1組のデータのデータ系統追跡を与えることができるシステムを提供することができ、1組のデータは1つ以上のテーブル内に格納され、各々のテーブルは1つ以上のデータ記録を含む。所与の目標データ要素については、システムは、目標データ要素を発生した1組のソースデータ要素を同定することができ、「データ要素」はデータ記録の列を含む。同様に、所与のソースデータ要素については、システムは、ソースデータ要素から導出される1組の目標データ要素およびソースデータ要素から1組の目標データ要素への経路を同定することができる。システムによって与えられるデータ経路追跡は格納されたデータの徹底的な分析をさらに容易にすることができる。
Claims (27)
- プロセッサによって実行されると、1つ以上のデータテーブルを備えるデータウェアハウスのデータ系統をプロセッサに追跡させる命令を格納したコンピュータ読出可能媒体であって、各々のデータテーブルは1つ以上のデータ記録を備え、前記追跡は、
目標データ要素を1つ以上のソースデータ要素にマッピングすることを備え、前記目標データ要素は目標データテーブル定義の列を備え、各々のソースデータ要素はソーステーブル定義の列を備え、さらに
1つ以上の補助列を備えて1つ以上のソースサロゲートキーを格納するように前記目標テーブル定義を拡張することと、
各ソースデータ要素毎に、ソースサロゲートキーを格納する前記目標テーブル中の補助列の列アイデンティティとともに、前記目標データ要素および対応のソースデータ要素のマッピングを表わすデータ系統マッピングシステムテーブル内にデータ系統マッピングシステム記録を格納することと、
前記目標データ記録が作成されるかまたは修正されるときに前記目標データ記録の前記1つ以上の補助列内に1つ以上のソースサロゲートキー値を格納することと、
各目標データ記録毎に、前記ソースデータ記録および対応の目標データ記録ソースサロゲートキー値のマッピングを表わすシャドウシステムテーブル内に1つ以上のシャドウシステム記録を格納することとを備え、
前記データ系統は、前記1つ以上のデータ系統マッピングシステム記録、前記1つ以上のシャドウシステム記録、および前記1つ以上のソースサロゲートキーを備える、コンピュータ読出可能媒体。 - 前記目標データ要素は、データ変換を用いて前記1つ以上のソースデータ要素から導出され、
各々のソースサロゲートキーは、前記対応のソースデータ要素を備える前記ソースデータ記録のアイデンティティを備え、
前記データ系統マッピングシステム記録は、前記対応のソースデータ要素、前記目標データ要素、および前記1つ以上の補助列を備え、
前記シャドウシステム記録は、前記ソースデータ記録を同定するソースサロゲートキー値、前記対応の目標データ記録を同定する目標サロゲートキー値、および1つ以上の補助列値を備える、請求項1に記載のコンピュータ読出可能媒体。 - 前記追跡はさらに、
前記データ系統を用いてマッピングされる前記1つ以上のデータ要素からデータ要素を選択することと、
前記データ系統を用いて、ユーザインターフェイス内に、前記選択されたデータ要素にマッピングされる1つ以上のデータ要素を表示することとを備える、請求項1に記載のコンピュータ読出可能媒体。 - 前記1つ以上のサロゲートキーのうちの各サロゲートキーは、前記ソースデータ記録を備えるソースデータテーブルのアイデンティティを備える、請求項1に記載のコンピュータ読出可能媒体。
- 前記追跡はさらに、
各目標データ要素毎に、好ましいソースデータ要素として前記1つ以上のソースデータ要素のうち1つのソースデータ要素を選択することと、
選択された1つ以上の前記好ましいソースデータ要素に基づいて前記データ系統の好ましいソース経路を作成することとを備える、請求項1に記載のコンピュータ読出可能媒体。 - 前記データウェアハウスは1つ以上の順序付けされたデータモデルを備え、各々の順序付けされたデータモデルは1つ以上のデータテーブルを備え、後続のデータモデルの1つ以上のデータテーブルはデータ変換を用いて先のデータモデルの少なくとも1つのテーブルから形成される、請求項1に記載のコンピュータ読出可能媒体。
- 前記追跡はさらに、前記目標データ記録の補助列内にピボット列アイデンティティを格納することを備え、前記ピボット列アイデンティティは前記ソースデータ記録のピボット列を同定する、請求項1に記載のコンピュータ読出可能媒体。
- 前記追跡はさらに、前記目標データ記録の第1の補助列内にフィルタ列アイデンティティを格納することを備え、前記フィルタ列アイデンティティは前記ソースデータ記録のフィルタ列を同定し、さらに前記追跡は、
前記目標データ記録の第2の補助列内にフィルタ値を格納することを備え、前記フィルタ値は前記ソースデータ記録のフィルタ値である、請求項1に記載のコンピュータ読出可能媒体。 - 前記データ変換は、直接マッピング変換、統合変換、合体変換、横縦アンピボット変換、縦横ピボット変換、またはケース変換のうち1つである、請求項2に記載のコンピュータ読出可能媒体。
- 前記データ系統マッピングシステム記録は前記データ変換の種類をさらに備える、請求項2に記載のコンピュータ読出可能媒体。
- 選択された前記データ要素にマッピングされる前記データ要素の前記表示は、各データ要素毎に前記データ系統内の前記データ要素の位置を表示することをさらに備える、請求項3に記載のコンピュータ読出可能媒体。
- 前記追跡はさらに、前記1つ以上のソースデータ要素への前記目標データ要素の前記マッピングに基づいて、前記1つ以上の補助列を前記目標データ記録に自動的に追加することを備える、請求項1に記載のコンピュータ読出可能媒体。
- データウェアハウスのデータ系統を追跡するためのコンピュータで実現される方法であって、
目標データ要素を1つ以上のソースデータ要素にマッピングすることを備え、前記目標データ要素は目標データテーブル定義の列を備え、各々のソースデータ要素はソーステーブル定義の列を備え、さらに
1つ以上の補助列を備えて1つ以上のソースサロゲートキーを格納するように前記目標テーブル定義を拡張することと、
各ソースデータ要素毎に、ソースサロゲートキーを格納する前記目標テーブル中の補助列の列アイデンティティとともに、前記目標データ要素および対応のソースデータ要素のマッピングを表わすデータ系統マッピングシステムテーブル内にデータ系統マッピングシステム記録を格納することと、
前記目標データ記録が作成されるかまたは修正されるときに前記目標データ記録の前記1つ以上の補助列内に1つ以上のソースサロゲートキー値を格納することと、
各目標データ記録毎に、前記ソースデータ記録および対応の目標データ記録ソースサロゲートキー値のマッピングを表わすシャドウシステムテーブル内に1つ以上のシャドウシステム記録を格納することとを備え、
前記データ系統は、前記1つ以上のデータ系統マッピングシステム記録、前記1つ以上のシャドウシステム記録、および前記1つ以上のソースサロゲートキーを備える、コンピュータで実現される方法。 - 前記目標データ要素は、データ変換を用いて前記1つ以上のソースデータ要素から導出され、
各々のソースサロゲートキーは、前記対応のソースデータ要素を備える前記ソースデータ記録のアイデンティティを備え、
前記データ系統マッピングシステム記録は、前記対応のソースデータ要素、前記目標データ要素、および前記1つ以上の補助列を備え、
前記シャドウシステム記録は、前記ソースデータ記録を同定するソースサロゲートキー値、前記対応の目標データ記録を同定する目標サロゲートキー値、および1つ以上の補助列値を備える、請求項13に記載のコンピュータで実現される方法。 - 前記データ系統を用いてマッピングされる前記1つ以上のデータ要素からデータ要素を選択することと、
前記データ系統を用いて、ユーザインターフェイス内に、前記選択されたデータ要素にマッピングされる1つ以上のデータ要素を表示することとをさらに備える、請求項13に記載のコンピュータで実現される方法。 - 前記1つ以上のサロゲートキーのうちの各サロゲートキーは、前記ソースデータ記録を備えるソースデータテーブルのアイデンティティを備える、請求項13に記載のコンピュータで実現される方法。
- 各目標データ要素毎に、好ましいソースデータ要素として、前記1つ以上のソースデータ要素のうち1つのソースデータ要素を選択することと、
選択された1つ以上の前記好ましいソースデータ要素に基づいて前記データ系統の好ましいソース経路を作成することとをさらに備える、請求項13に記載のコンピュータで実現される方法。 - 前記データウェアハウスは1つ以上の順序付けされたデータモデルを備え、各々の順序付けされたデータモデルは1つ以上のデータテーブルを備え、後続のデータモデルの1つ以上のデータテーブルはデータ変換を用いて先のデータモデルの少なくとも1つのテーブルから形成される、請求項13に記載のコンピュータで実現される方法。
- データウェアハウスのデータ系統を追跡するためのシステムであって、
プロセッサと、
1つ以上の命令を格納するように構成されるメモリと、
目標データ要素を1つ以上のソースデータ要素にマッピングするように構成されるデータ系統マッピングモジュールとを備え、前記目標データ要素は目標データテーブル定義の列を備え、各々のソースデータ要素はソーステーブル定義の列を備え、さらに
1つ以上の補助列を備えて1つ以上のソースサロゲートキーを格納するように前記目標テーブル定義を拡張するように構成される拡張モジュールと、
各ソースデータ要素毎に、ソースサロゲートキーを格納する前記目標テーブル中の補助列の列アイデンティティとともに、前記目標データ要素および対応のソースデータ要素のマッピングを表わすデータ系統マッピングシステムテーブル内にデータ系統マッピングシステム記録を格納するように構成されるデータ系統格納モジュールとを備え、
前記データ系統格納モジュールは、前記目標データ記録が作成されるかまたは修正されるときに前記目標データ記録の前記1つ以上の補助列内に1つ以上のソースサロゲートキー値を格納するようにさらに構成され、
前記データ系統格納モジュールは、各目標データ記録毎に、前記ソースデータ記録および対応の目標データ記録ソースサロゲートキー値のマッピングを表わすシャドウシステムテーブル内に1つ以上のシャドウシステム記録を格納するようにさらに構成され、
前記データ系統は、前記1つ以上のデータ系統マッピングシステム記録、前記1つ以上のシャドウシステム記録、および前記1つ以上のソースサロゲートキーを備える、システム。 - 前記目標データ要素は、データ変換を用いて前記1つ以上のソースデータ要素から導出され、
各々のソースサロゲートキーは、前記対応のソースデータ要素を備える前記ソースデータ記録のアイデンティティを備え、
前記データ系統マッピングシステム記録は、前記対応のソースデータ要素、前記目標データ要素、および前記1つ以上の補助列を備え、
前記シャドウシステム記録は、前記ソースデータ記録を同定するソースサロゲートキー値、前記対応の目標データ記録を同定する目標サロゲートキー値、および1つ以上の補助列値を備える、請求項19に記載のシステム。 - 前記データ系統を用いてマッピングされる前記1つ以上のデータ要素からデータ要素を選択するように構成されるデータ要素選択モジュールと、
前記データ系統を用いて、ユーザインターフェイス内に、選択された前記データ要素にマッピングされる1つ以上のデータ要素を表示するように構成されるデータ要素表示モジュールとをさらに備える、請求項19に記載のシステム。 - 前記1つ以上のサロゲートキーのうちの各サロゲートキーは、前記ソースデータ記録を備えるソースデータテーブルのアイデンティティを備える、請求項19に記載のシステム。
- 前記追跡はさらに、
各目標データ要素毎に、好ましいソースデータ要素として、前記1つ以上のソースデータ要素のうち1つのソースデータ要素を選択するように構成されるデータ要素選択モジュールと、
選択された1つ以上の前記好ましいソースデータ要素に基づいて前記データ系統の好ましいソース経路を作成するように構成される好ましいソース経路モジュールとをさらに備える、請求項19に記載のシステム。 - 前記データウェアハウスは1つ以上の順序付けされたデータモデルを備え、各々の順序付けされたデータモデルは1つ以上のデータテーブルを備え、後続のデータモデルの1つ以上のデータテーブルはデータ変換を用いて先のデータモデルの少なくとも1つのテーブルから形成される、請求項19に記載のシステム。
- プロセッサによって実行されると、1つ以上のデータテーブルを備えるデータウェアハウスのデータ系統をプロセッサに追跡させる命令を格納したコンピュータ読出可能媒体であって、各々のデータテーブルは1つ以上のデータ記録を備え、前記追跡は、
目標データ要素を1つ以上のソースデータ要素にマッピングすることを備え、前記目標データ要素は目標データテーブル定義の列を備え、各々のソースデータ要素はソーステーブル定義の列を備え、さらに
各ソースデータ要素毎に、前記目標データ要素および対応のソースデータ要素のマッピングを表わすデータ系統マッピングシステムテーブル内にデータ系統マッピングシステム記録を格納することと、
各目標データ記録毎に、前記ソースデータ記録および対応の目標データ記録のマッピングを表わすシャドウシステムテーブル内に1つ以上のシャドウシステム記録を格納することとを備え、
前記データ系統は、前記1つ以上のデータ系統マッピングシステム記録および前記1つ以上のシャドウシステム記録を備える、コンピュータ読出可能媒体。 - データウェアハウスのデータ系統を追跡するためのコンピュータで実現される方法であって、
目標データ要素を1つ以上のソースデータ要素にマッピングすることを備え、前記目標データ要素は目標データテーブル定義の列を備え、各々のソースデータ要素はソーステーブル定義の列を備え、さらに
各ソースデータ要素毎に、前記目標データ要素および対応のソースデータ要素のマッピングを表わすデータ系統マッピングシステムテーブル内にデータ系統マッピングシステム記録を格納することと、
各目標データ記録毎に、前記ソースデータ記録および対応の目標データ記録のマッピングを表わすシャドウシステムテーブル内に1つ以上のシャドウシステム記録を格納することとを備え、
前記データ系統は、前記1つ以上のデータ系統マッピングシステム記録および前記1つ以上のシャドウシステム記録を備える、コンピュータで実現される方法。 - データウェアハウスのデータ系統を追跡するためのシステムであって、
プロセッサと、
1つ以上の命令を格納するように構成されるメモリと、
目標データ要素を1つ以上のソースデータ要素にマッピングするように構成されるデータ系統マッピングモジュールとを備え、前記目標データ要素は目標データテーブル定義の列を備え、各々のソースデータ要素はソーステーブル定義の列を備え、さらに
各目標データ記録毎に、前記ソースデータ記録および対応の目標データ記録のマッピングを表わすシャドウシステムテーブル内に1つ以上のシャドウシステム記録を格納するように構成されるデータ系統格納モジュールを備え、
前記データ系統格納モジュールは、各目標データ記録毎に、前記ソースデータ記録および対応の目標データ記録のマッピングを表わすシャドウシステムテーブル内に1つ以上のシャドウシステム記録を格納するようにさらに構成され、
前記データ系統は、前記1つ以上のデータ系統マッピングシステム記録および前記1つ以上のシャドウシステム記録を備える、システム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261715428P | 2012-10-18 | 2012-10-18 | |
US61/715,428 | 2012-10-18 | ||
US13/803,883 | 2013-03-14 | ||
US13/803,883 US9075860B2 (en) | 2012-10-18 | 2013-03-14 | Data lineage system |
PCT/US2013/053370 WO2014062277A1 (en) | 2012-10-18 | 2013-08-02 | Data lineage system |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015537293A true JP2015537293A (ja) | 2015-12-24 |
JP2015537293A5 JP2015537293A5 (ja) | 2016-08-04 |
JP6238993B2 JP6238993B2 (ja) | 2017-11-29 |
Family
ID=50486269
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015537696A Active JP6238993B2 (ja) | 2012-10-18 | 2013-08-02 | データ系統システム |
JP2015537697A Active JP6306599B2 (ja) | 2012-10-18 | 2013-08-02 | 関連情報伝播システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015537697A Active JP6306599B2 (ja) | 2012-10-18 | 2013-08-02 | 関連情報伝播システム |
Country Status (5)
Country | Link |
---|---|
US (2) | US9063998B2 (ja) |
EP (1) | EP2909748B1 (ja) |
JP (2) | JP6238993B2 (ja) |
CN (2) | CN104737154B (ja) |
WO (2) | WO2014062278A1 (ja) |
Families Citing this family (88)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010065623A1 (en) | 2008-12-02 | 2010-06-10 | Ab Initio Software Llc | Visualizing relationships between data elements and graphical representations of data element attributes |
US10725984B2 (en) * | 2012-03-16 | 2020-07-28 | Nec Corporation | Time series data device, time series data processing method and time series data processing program storage medium |
US9659042B2 (en) * | 2012-06-12 | 2017-05-23 | Accenture Global Services Limited | Data lineage tracking |
CN102857949B (zh) * | 2012-09-14 | 2018-11-20 | 中兴通讯股份有限公司 | 一种规划数据一致性保证的方法和装置 |
JP6036835B2 (ja) * | 2012-09-18 | 2016-11-30 | 日本電気株式会社 | 時系列データ処理装置、時系列データ処理方法及び時系列データ処理プログラム |
US9852153B2 (en) | 2012-09-28 | 2017-12-26 | Ab Initio Technology Llc | Graphically representing programming attributes |
US20140214753A1 (en) * | 2012-12-28 | 2014-07-31 | Joseph Guerra | Systems and methods for multi-source data-warehousing |
US9477786B2 (en) * | 2013-03-15 | 2016-10-25 | Ab Initio Technology Llc | System for metadata management |
US9928283B2 (en) * | 2013-04-15 | 2018-03-27 | Validus Solutions, Inc. | Tracing data through a transformation process using tracer codes |
US9734223B2 (en) * | 2013-06-14 | 2017-08-15 | International Business Machines Corporation | Difference determination in a database environment |
US20150012315A1 (en) * | 2013-07-02 | 2015-01-08 | Bank Of America Corporation | Data lineage role-based security tools |
US10142378B2 (en) * | 2014-01-30 | 2018-11-27 | Symantec Corporation | Virtual identity of a user based on disparate identity services |
CA2955380C (en) | 2014-07-18 | 2021-03-16 | Ab Initio Technology Llc | Managing lineage information |
AU2015292700B2 (en) * | 2014-07-24 | 2020-03-26 | Ab Initio Technology Llc. | Data lineage summarization |
US11892913B2 (en) * | 2015-01-05 | 2024-02-06 | Rubrik, Inc. | Data lineage based multi-data store recovery |
KR102054568B1 (ko) * | 2015-02-11 | 2020-01-22 | 아브 이니티오 테크놀로지 엘엘시 | 필터링 데이터 계통 다이어그램 |
CN107251021B (zh) * | 2015-02-11 | 2021-07-02 | 起元科技有限公司 | 过滤数据沿袭图 |
US10409802B2 (en) | 2015-06-12 | 2019-09-10 | Ab Initio Technology Llc | Data quality analysis |
US11308053B2 (en) * | 2015-10-27 | 2022-04-19 | Teradata Us, Inc. | Buffered data-loading in column-partitioned database tables |
JP6455466B2 (ja) * | 2016-03-02 | 2019-01-23 | 京セラドキュメントソリューションズ株式会社 | 表示操作装置およびプログラム |
US11847040B2 (en) | 2016-03-16 | 2023-12-19 | Asg Technologies Group, Inc. | Systems and methods for detecting data alteration from source to target |
US11086751B2 (en) * | 2016-03-16 | 2021-08-10 | Asg Technologies Group, Inc. | Intelligent metadata management and data lineage tracing |
US10007674B2 (en) * | 2016-06-13 | 2018-06-26 | Palantir Technologies Inc. | Data revision control in large-scale data analytic systems |
US10915508B2 (en) | 2016-06-30 | 2021-02-09 | Global Ids, Inc. | Data linking |
WO2018061070A1 (ja) * | 2016-09-27 | 2018-04-05 | 株式会社日立製作所 | 計算機システム及び分析ソースデータ管理方法 |
US10915545B2 (en) | 2016-09-29 | 2021-02-09 | Microsoft Technology Licensing, Llc | Systems and methods for dynamically rendering data lineage |
CA3043586A1 (en) * | 2016-11-09 | 2018-05-17 | Ab Initio Technology Llc | Systems and methods for determining relationships among data elements |
WO2018102691A1 (en) | 2016-12-01 | 2018-06-07 | Ab Initio Technology Llc | Generating, accessing, and displaying lineage metadata |
US10379825B2 (en) | 2017-05-22 | 2019-08-13 | Ab Initio Technology Llc | Automated dependency analyzer for heterogeneously programmed data processing system |
US11328000B1 (en) * | 2017-07-05 | 2022-05-10 | Liberty Mutual Insurance Company | Method, apparatus and computer program product for transforming structured hierarchical data into flattened lineage and attribute tables |
US10481880B2 (en) | 2017-07-11 | 2019-11-19 | Bank Of America Corporation | Code lineage tool |
US10474443B2 (en) | 2017-07-11 | 2019-11-12 | Bank Of America Corporation | Code lineage tool |
CN107357904B (zh) * | 2017-07-14 | 2020-12-18 | 上海瀚银信息技术有限公司 | 一种领域模型数据管理*** |
US10698884B2 (en) | 2017-11-06 | 2020-06-30 | Bank Of America Corporation | Dynamic lineage validation system |
US11057500B2 (en) | 2017-11-20 | 2021-07-06 | Asg Technologies Group, Inc. | Publication of applications using server-side virtual screen change capture |
US10769165B2 (en) * | 2017-12-20 | 2020-09-08 | Sap Se | Computing data lineage across a network of heterogeneous systems |
US10331660B1 (en) * | 2017-12-22 | 2019-06-25 | Capital One Services, Llc | Generating a data lineage record to facilitate source system and destination system mapping |
US10877740B2 (en) | 2017-12-29 | 2020-12-29 | Asg Technologies Group, Inc. | Dynamically deploying a component in an application |
US10812611B2 (en) | 2017-12-29 | 2020-10-20 | Asg Technologies Group, Inc. | Platform-independent application publishing to a personalized front-end interface by encapsulating published content into a container |
US11611633B2 (en) | 2017-12-29 | 2023-03-21 | Asg Technologies Group, Inc. | Systems and methods for platform-independent application publishing to a front-end interface |
US11030248B2 (en) | 2018-04-18 | 2021-06-08 | Palantir Technologies Inc. | Resource dependency system and graphical user interface |
CN108763308A (zh) * | 2018-04-24 | 2018-11-06 | 北京首都机场动力能源有限公司 | 一种供电站资料查询管理方法以及*** |
CN112753029A (zh) * | 2018-09-20 | 2021-05-04 | 华为技术有限公司 | 用于基于图的查询分析的***和方法 |
US10601712B1 (en) | 2018-10-10 | 2020-03-24 | Bank Of America Corporation | System for performing a variation control in a data network |
US10621033B1 (en) | 2018-10-10 | 2020-04-14 | Bank Of America Corporation | System for generating dataflow lineage information in a data network |
US10812357B2 (en) | 2018-10-10 | 2020-10-20 | Bank Of America Corporation | System for performing a timeless control in a data network |
US10623298B1 (en) | 2018-10-10 | 2020-04-14 | Bank Of America Corporation | System for performing an integrated data quality control in a data network |
US10803051B2 (en) | 2018-10-10 | 2020-10-13 | Bank Of America Corporation | System for performing a lineage control in a data network |
US11256701B2 (en) | 2019-01-02 | 2022-02-22 | Bank Of America Corporation | Interactive lineage mapping system |
CN110008231B (zh) * | 2019-03-19 | 2021-04-27 | 福建省天奕网络科技有限公司 | MySQL数据回溯方法、存储介质 |
US11093483B2 (en) * | 2019-03-22 | 2021-08-17 | Microsoft Technology Licensing, Llc | Multilevel data lineage view |
US10481961B1 (en) | 2019-04-02 | 2019-11-19 | Capital One Services, Llc | API and streaming solution for documenting data lineage |
US11194845B2 (en) * | 2019-04-19 | 2021-12-07 | Tableau Software, LLC | Interactive lineage analyzer for data assets |
US11934457B2 (en) * | 2019-05-22 | 2024-03-19 | People.ai, Inc. | Systems and methods for maintaining confidence scores of entity associations derived from systems of record |
US11762634B2 (en) | 2019-06-28 | 2023-09-19 | Asg Technologies Group, Inc. | Systems and methods for seamlessly integrating multiple products by using a common visual modeler |
US11334591B2 (en) * | 2019-08-14 | 2022-05-17 | Palantir Technologies Inc. | Multi-language object cache |
US11003645B1 (en) * | 2019-10-04 | 2021-05-11 | Palantir Technologies Inc. | Column lineage for resource dependency system and graphical user interface |
US11941137B2 (en) | 2019-10-18 | 2024-03-26 | Asg Technologies Group, Inc. | Use of multi-faceted trust scores for decision making, action triggering, and data analysis and interpretation |
US11886397B2 (en) | 2019-10-18 | 2024-01-30 | Asg Technologies Group, Inc. | Multi-faceted trust system |
US11055067B2 (en) | 2019-10-18 | 2021-07-06 | Asg Technologies Group, Inc. | Unified digital automation platform |
US11269660B2 (en) | 2019-10-18 | 2022-03-08 | Asg Technologies Group, Inc. | Methods and systems for integrated development environment editor support with a single code base |
US11693982B2 (en) | 2019-10-18 | 2023-07-04 | Asg Technologies Group, Inc. | Systems for secure enterprise-wide fine-grained role-based access control of organizational assets |
US11829421B2 (en) | 2019-11-08 | 2023-11-28 | Tableau Software, LLC | Dynamic graph generation for interactive data analysis |
US11334268B2 (en) | 2020-01-10 | 2022-05-17 | International Business Machines Corporation | Data lineage and data provenance enhancement |
US11182359B2 (en) | 2020-01-10 | 2021-11-23 | International Business Machines Corporation | Data deduplication in data platforms |
US11714826B2 (en) | 2020-02-27 | 2023-08-01 | Intuitive Data Analytics, LLC | Generation and adaptation of visualizations from one or more data sets stored using a single-branch approach |
US11531687B2 (en) * | 2020-04-02 | 2022-12-20 | Jpmorgan Chase Bank, N.A. | Method and apparatus for application of an N-dimensional hypercube datatype |
US11681721B2 (en) * | 2020-05-08 | 2023-06-20 | Jpmorgan Chase Bank, N.A. | Systems and methods for spark lineage data capture |
US11449362B2 (en) | 2020-05-20 | 2022-09-20 | Zeotap Gmbh | Resource distribution |
US11436204B2 (en) | 2020-06-04 | 2022-09-06 | Bank Of America Corporation | Enterprise data flow lineage from enterprise data testing metadata |
CN111767267B (zh) * | 2020-06-18 | 2024-05-10 | 杭州数梦工场科技有限公司 | 元数据处理方法、装置、电子设备 |
US11436134B2 (en) * | 2020-07-09 | 2022-09-06 | Jpmorgan Chase Bank, N.A. | Method and apparatus for data integration framework |
US20220116201A1 (en) * | 2020-10-09 | 2022-04-14 | Sap Se | Automated development, deployment and integration service for distributed ledger-enabled applications |
US11849330B2 (en) | 2020-10-13 | 2023-12-19 | Asg Technologies Group, Inc. | Geolocation-based policy rules |
US11520801B2 (en) | 2020-11-10 | 2022-12-06 | Bank Of America Corporation | System and method for automatically obtaining data lineage in real time |
US11429578B2 (en) * | 2020-11-19 | 2022-08-30 | International Business Machines Corporation | Custom tag definition and translation in a database |
CN112434071B (zh) * | 2020-12-15 | 2021-07-20 | 北京三维天地科技股份有限公司 | 一种基于数据图谱的元数据血缘关系与影响分析平台 |
CN113268547B (zh) * | 2021-01-03 | 2022-10-11 | 复旦大学 | 面向业务协同流程的多事件业务世系数据融合方法 |
CN112328608B (zh) * | 2021-01-06 | 2021-04-13 | 北京云真信科技有限公司 | 一种基于bitmap的多维数据查询*** |
WO2022160335A1 (en) * | 2021-02-01 | 2022-08-04 | Paypal, Inc. | Graphical user interface to depict data lineage information in levels |
CN112966036B (zh) * | 2021-03-10 | 2023-02-21 | 浪潮云信息技术股份公司 | 一种基于逻辑模型构建主数据服务的方法 |
US11681503B2 (en) * | 2021-04-27 | 2023-06-20 | International Business Machines Corporation | Machine learning visual code and action generation |
US11789967B2 (en) | 2021-05-07 | 2023-10-17 | Bank Of America Corporation | Recovering from data processing errors by data error detection and correction |
US11734238B2 (en) | 2021-05-07 | 2023-08-22 | Bank Of America Corporation | Correcting data errors for data processing fault recovery |
US20220404935A1 (en) * | 2021-06-17 | 2022-12-22 | Adp, Llc | Dual panel mapping modal |
US11853304B2 (en) | 2021-08-27 | 2023-12-26 | Striveworks Inc. | System and method for automated data and workflow lineage gathering |
US11714790B2 (en) | 2021-09-30 | 2023-08-01 | Microsoft Technology Licensing, Llc | Data unification |
US11907241B2 (en) * | 2022-06-17 | 2024-02-20 | Hewlett Packard Enterprise Development Lp | Data recommender using lineage to propagate value indicators |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6389429B1 (en) * | 1999-07-30 | 2002-05-14 | Aprimo, Inc. | System and method for generating a target database from one or more source databases |
US20110060718A1 (en) * | 2009-09-04 | 2011-03-10 | Song You | Method and Apparatus for Organizing Hierarchical Data in a Relational Database |
JP2011517352A (ja) * | 2008-02-26 | 2011-06-02 | アビニシオ テクノロジー エルエルシー | データ関連性のグラフ表現 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5625816A (en) * | 1994-04-05 | 1997-04-29 | Advanced Micro Devices, Inc. | Method and system for generating product performance history |
US6343295B1 (en) * | 1998-12-16 | 2002-01-29 | Microsoft Corporation | Data lineage |
US6434558B1 (en) | 1998-12-16 | 2002-08-13 | Microsoft Corporation | Data lineage data type |
US7117219B1 (en) * | 2000-05-05 | 2006-10-03 | Group 1 Software, Inc. | Method and apparatus for creating a lineage of a data field in a data flow system |
US7168014B2 (en) | 2003-04-01 | 2007-01-23 | Fujitsu Limited | Propagating an error through a network |
US7493570B2 (en) * | 2005-09-12 | 2009-02-17 | International Business Machines Corporation | User interface options of a data lineage tool |
JP4496153B2 (ja) * | 2005-10-21 | 2010-07-07 | オムロン株式会社 | データ収集システム、分岐装置、データ収集装置、分岐方法、データ収集方法およびプログラム |
US8560498B2 (en) | 2005-11-22 | 2013-10-15 | International Business Machines Corporation | Propagate delta information from an enterprise information system |
US7933890B2 (en) | 2006-03-31 | 2011-04-26 | Google Inc. | Propagating useful information among related web pages, such as web pages of a website |
US20070255741A1 (en) | 2006-04-28 | 2007-11-01 | Business Objects, S.A. | Apparatus and method for merging metadata within a repository |
US8205189B2 (en) | 2006-07-13 | 2012-06-19 | Oracle International Corporation | Method and system for definition control in a data repository application |
US7707183B2 (en) * | 2006-07-21 | 2010-04-27 | Netiq Corporation | Methods, systems and computer program products for monitoring changes to objects on a computer system using information models and baselines |
CN1952936A (zh) * | 2006-11-15 | 2007-04-25 | 高晓松 | 一种信息关联***及方法 |
CA2593233A1 (en) | 2007-07-06 | 2009-01-06 | Cognos Incorporated | System and method for federated member-based data integration and reporting |
WO2010065623A1 (en) * | 2008-12-02 | 2010-06-10 | Ab Initio Software Llc | Visualizing relationships between data elements and graphical representations of data element attributes |
US8165990B2 (en) | 2009-06-15 | 2012-04-24 | Microsoft Corporation | Conversion of an application database to minimize time in single-user access mode |
EP2478433A4 (en) * | 2009-09-16 | 2016-09-21 | Ab Initio Technology Llc | MAPPING DATA SET ELEMENTS |
US10437846B2 (en) | 2010-05-28 | 2019-10-08 | Oracle International Corporation | System and method for providing data flexibility in a business intelligence server using an administration tool |
US20110313969A1 (en) | 2010-06-17 | 2011-12-22 | Gowda Timma Ramu | Updating historic data and real-time data in reports |
US8819010B2 (en) | 2010-06-28 | 2014-08-26 | International Business Machines Corporation | Efficient representation of data lineage information |
US8380493B2 (en) | 2010-10-01 | 2013-02-19 | Microsoft Corporation | Association of semantic meaning with data elements using data definition tags |
CN102446187B (zh) * | 2010-10-13 | 2016-06-15 | 上海众恒信息产业股份有限公司 | 业务信息关联方法及关联装置 |
US8688625B1 (en) * | 2010-12-31 | 2014-04-01 | United Services Automobile Association (Usaa) | Extract, transform, and load application complexity management framework |
US20120310875A1 (en) | 2011-06-03 | 2012-12-06 | Prashanth Prahlad | Method and system of generating a data lineage repository with lineage visibility, snapshot comparison and version control in a cloud-computing platform |
US8577938B2 (en) | 2011-08-23 | 2013-11-05 | Accenture Global Services Limited | Data mapping acceleration |
US8930303B2 (en) | 2012-03-30 | 2015-01-06 | International Business Machines Corporation | Discovering pivot type relationships between database objects |
US9659042B2 (en) * | 2012-06-12 | 2017-05-23 | Accenture Global Services Limited | Data lineage tracking |
-
2013
- 2013-03-14 US US13/804,049 patent/US9063998B2/en active Active
- 2013-03-14 US US13/803,883 patent/US9075860B2/en active Active
- 2013-08-02 CN CN201380054267.2A patent/CN104737154B/zh active Active
- 2013-08-02 WO PCT/US2013/053373 patent/WO2014062278A1/en active Application Filing
- 2013-08-02 EP EP13759331.5A patent/EP2909748B1/en active Active
- 2013-08-02 JP JP2015537696A patent/JP6238993B2/ja active Active
- 2013-08-02 CN CN201380054920.5A patent/CN104737166B/zh active Active
- 2013-08-02 WO PCT/US2013/053370 patent/WO2014062277A1/en active Application Filing
- 2013-08-02 JP JP2015537697A patent/JP6306599B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6389429B1 (en) * | 1999-07-30 | 2002-05-14 | Aprimo, Inc. | System and method for generating a target database from one or more source databases |
JP2011517352A (ja) * | 2008-02-26 | 2011-06-02 | アビニシオ テクノロジー エルエルシー | データ関連性のグラフ表現 |
US20110060718A1 (en) * | 2009-09-04 | 2011-03-10 | Song You | Method and Apparatus for Organizing Hierarchical Data in a Relational Database |
Also Published As
Publication number | Publication date |
---|---|
WO2014062278A1 (en) | 2014-04-24 |
CN104737154B (zh) | 2017-12-05 |
US9063998B2 (en) | 2015-06-23 |
US9075860B2 (en) | 2015-07-07 |
US20140114905A1 (en) | 2014-04-24 |
CN104737166A (zh) | 2015-06-24 |
CN104737166B (zh) | 2018-09-18 |
EP2909748A1 (en) | 2015-08-26 |
WO2014062277A1 (en) | 2014-04-24 |
CN104737154A (zh) | 2015-06-24 |
EP2909748B1 (en) | 2020-07-29 |
US20140114907A1 (en) | 2014-04-24 |
JP2015537294A (ja) | 2015-12-24 |
JP6238993B2 (ja) | 2017-11-29 |
JP6306599B2 (ja) | 2018-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6306599B2 (ja) | 関連情報伝播システム | |
US11562025B2 (en) | Resource dependency system and graphical user interface | |
US11132359B2 (en) | Systems and methods for grouping and enriching data items accessed from one or more databases for presentation in a user interface | |
US11321346B2 (en) | Minimized and collapsed resource dependency path | |
US11288290B2 (en) | Building reports | |
US11238961B2 (en) | Automatic knowledge-based feature extraction from electronic medical records | |
CA2701046C (en) | Analysis of a system for matching data records | |
US20160147869A1 (en) | Method and system for indexing, relating and managing information about entities | |
US20170017708A1 (en) | Entity-relationship modeling with provenance linking for enhancing visual navigation of datasets | |
US9147040B2 (en) | Point-in-time query system | |
US9626388B2 (en) | Metadata automated system | |
US11636162B2 (en) | Multi-database document search system architecture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160613 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160613 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171010 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171031 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6238993 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |