JP2017527913A - 経験属性による体系化されていないデータのソースの分析、選定、及び取り込みのためのシステム及びプロセス - Google Patents
経験属性による体系化されていないデータのソースの分析、選定、及び取り込みのためのシステム及びプロセス Download PDFInfo
- Publication number
- JP2017527913A JP2017527913A JP2017512333A JP2017512333A JP2017527913A JP 2017527913 A JP2017527913 A JP 2017527913A JP 2017512333 A JP2017512333 A JP 2017512333A JP 2017512333 A JP2017512333 A JP 2017512333A JP 2017527913 A JP2017527913 A JP 2017527913A
- Authority
- JP
- Japan
- Prior art keywords
- data
- data source
- source
- attribute
- confounding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 254
- 230000008569 process Effects 0.000 title claims abstract description 175
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000011143 downstream manufacturing Methods 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims description 30
- 230000008451 emotion Effects 0.000 claims description 26
- 238000005352 clarification Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000010200 validation analysis Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 48
- 238000004422 calculation algorithm Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 12
- 239000012634 fragment Substances 0.000 description 12
- 238000012360 testing method Methods 0.000 description 10
- 238000013459 approach Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000008676 import Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000009931 harmful effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 101000695861 Arabidopsis thaliana Brefeldin A-inhibited guanine nucleotide-exchange protein 5 Proteins 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010924 continuous production Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000002360 explosive Substances 0.000 description 2
- 239000000796 flavoring agent Substances 0.000 description 2
- 235000019634 flavors Nutrition 0.000 description 2
- 230000037406 food intake Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 239000003607 modifier Substances 0.000 description 2
- 235000013550 pizza Nutrition 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Machine Translation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Complex Calculations (AREA)
Abstract
Description
本出願は、2014年9月3日に出願された米国特許仮出願第62/045,398号の優先権を主張しており、この米国特許仮出願の内容は、ここでの言及によって本明細書に援用される。
a)エンティティ抽出−テキストから名詞、動詞、及び修飾語などの関心の対象の個々の構成要素を導出する
b)感情分析−コンテンツの意図された語調及び感情へと属性を与える
c)語義明確化−テキストをより計算可能な構成体へと還元する(例えば、トークン化)
d)言語変換−自然言語処理(NLP)による書き換え、翻訳、及び解釈を含む
を含む種々の技術が現れてきている。
a)皮肉:通り一遍の解釈からもたらされる意味とは反対の隠された意味を伝達するようなやり方で並べられた単語又は述語
・例:XYZ Oil Co.は、あなたが自然破壊を好むならばビジネス相手として優れた企業だ。
b)新語:新たに作られ、且つ何らかの共有の意味を有するように集合的に理解される単語又は語句
・例:−ハッシュタグ
c)文法変化又は不適切な表現のテキスト:意図的又は意図的でないが誤りであり、曖昧又は確定しない解釈につながる単語の使用
・例:FBIは爆発物でテロリストを追っている。
d)句読点:曖昧又は矛盾する解釈につながる非標準的又は一貫性のないやり方での句読点の使用或いは句読点の欠如
・例:「新芽及び葉を食す(Eats shoots and leaves)」対「食べて、シュートして、去る(Eats, shoots, and leaves)」
e)多言語データ:外国語からの単語及び語句の挿入(公式、非公式、及び口語体の外来語、外来表現、及び翻訳借用語句を含む)
・例:彼は、彼の意図を完全に理解することを難しくする言葉では言い表せない何かを有していた。
f)スペリング:一貫性を欠き、誤っており、或いは確定しない解釈につながる創作され、誤っており、或いは借用されたスペリング
・例:そこにいるの?(RU There?)
g)難読化/暗号化:推論又は解釈を混乱させるデータの意図的な変換
h)コンテクスト:データそのものにおいてもたらされるコンテクストの不足ゆえに、外的連続性又は外部に保持されるテキストへの依存が大きくなること
・例:「彼のスライスは最高だった!」[ケーキ? ピザ? テニスのショット?]
i)マルチメディア:テキスト及び他のメディア形式が1つのメッセージ又はデータにおいて組み合わせられ、全体として理解しなければ曖昧又は理解し得ない意味を生み出している
・例:「我々がXYZ Beverage Co.の新たな味と考えるものはこれだ」と書き添えられたピクチャ
1.
a.コスト及び許される使用を含むデータの利用可能性;
b.コンテンツの豊富さ、経験的結論を形成ために充分な例を観察するためのケイパビリティ;
c.検討にすでに含まれる事前のソースとの重なり合いの程度;及び
d.データソースにおける既知のバイアス
などの因子を考慮して確立されるべき同意された基準にもとづいていくつかのデータソースを選択。
2.
a.存在;
b.決定的な属性;及び
c.推論された領域における観察の程度
を測定するための自動又は手動/ハイブリッドA/B/Cテストを構築。
3.テストを実行し、且つ
a.単純記述統計学;及び
b.基本視覚化
を含む結果を評価。
4.評価者の楽観主義/悲観主義などのバイアスの尺度。
5.各々の仮説がどの程度観察されたか、及び仮説の基準を呈さない領域の残りの部分に対する全体的な評価への影響について、結論を形成。
a.選択されたサンプルに対する各々の仮説の影響を判断。
b.関連性を立証できると仮定し、仮説の次元に従って種々のソースを査定するためのスコア付けシステムを開発。
b.話し手グループの均質性の影響;
c.話し手グループ内の共有メタファ(環境又は共有体験のいずれかによって導入される);
d.或る言語から他の言語への借用語;及び
e.話し手の多様性(例えば、ネイティブスピーカ対非ネイティブスピーカ、デジタルネイティブ対デジタルイミグラント)
など、観察の期間において現れるさらなる交絡的態様が存在し得る。
a)エンティティ抽出
b)語義明確化
c)感情分析
d)言語抽出
e)基本メタデータ
(ただし、これらに限られるわけではない)を含み、多数の次元にわたって属性を生成するために、データソース150Aのコーパスを分析する。
a)データソース150Aに類似したファイルを全体として取り込むルールを設定する
b)データソース150Aからのファイルを分割し、且つ特定の基準を満たす部分だけを取り込む
c)データソース150Aからのファイル全体を取り込むが、ソースごとのクオリティレベルインジケータでデータにフラグを付ける
d)データソース150Aからのファイルを常に拒絶するルールを設定する
e)データソース150Aからのファイルを仮に取り込むが、追加的な確証を待って保持し、且つ機能210による対象を定めたウェブディスカバリを開始させる
を含むことができる。
a)データソース150Aを選定し、
b)データソース150Aのコンテンツを意味のあるサブセットへと分割し、且つ
c)データソース150Aからのデータをデータの消費者であるダウンストリームプロセス220へと取り込む
ために、プロセス205によって生成されたデータ、すなわち処理212を使用する。
本出願は、2014年9月3日に出願された米国特許仮出願第62/045,398号の優先権を主張しており、この米国特許仮出願の内容は、ここでの言及によって本明細書に援用される。
a)エンティティ抽出−テキストから名詞、動詞、及び修飾語などの関心の対象の個々の構成要素を導出する
b)感情分析−コンテンツの意図された語調及び感情へと属性を与える
c)語義明確化−テキストをより計算可能な構成体へと還元する(例えば、トークン化)
d)言語変換−自然言語処理(NLP)による書き換え、翻訳、及び解釈を含む
を含む種々の技術が現れてきている。
a)皮肉:通り一遍の解釈からもたらされる意味とは反対の隠された意味を伝達するようなやり方で並べられた単語又は述語
・例:XYZ Oil Co.は、あなたが自然破壊を好むならばビジネス相手として優れた企業だ。
b)新語:新たに作られ、且つ何らかの共有の意味を有するように集合的に理解される単語又は語句
・例:−ハッシュタグ
c)文法変化又は不適切な表現のテキスト:意図的又は意図的でないが誤りであり、曖昧又は確定しない解釈につながる単語の使用
・例:FBIは爆発物でテロリストを追っている。
d)句読点:曖昧又は矛盾する解釈につながる非標準的又は一貫性のないやり方での句読点の使用或いは句読点の欠如
・例:「新芽及び葉を食す(Eats shoots and leaves)」対「食べて、シュートして、去る(Eats, shoots, and leaves)」
e)多言語データ:外国語からの単語及び語句の挿入(公式、非公式、及び口語体の外来語、外来表現、及び翻訳借用語句を含む)
・例:彼は、彼の意図を完全に理解することを難しくする言葉では言い表せない何かを有していた。
f)スペリング:一貫性を欠き、誤っており、或いは確定しない解釈につながる創作され、誤っており、或いは借用されたスペリング
・例:そこにいるの?(RU There?)
g)難読化/暗号化:推論又は解釈を混乱させるデータの意図的な変換
h)コンテクスト:データそのものにおいてもたらされるコンテクストの不足ゆえに、外的連続性又は外部に保持されるテキストへの依存が大きくなること
・例:「彼のスライスは最高だった!」[ケーキ? ピザ? テニスのショット?]
i)マルチメディア:テキスト及び他のメディア形式が1つのメッセージ又はデータにおいて組み合わせられ、全体として理解しなければ曖昧又は理解し得ない意味を生み出している
・例:「我々がXYZ Beverage Co.の新たな味と考えるものはこれだ」と書き添えられたピクチャ
1.
a.コスト及び許される使用を含むデータの利用可能性;
b.コンテンツの豊富さ、経験的結論を形成ために充分な例を観察するためのケイパビリティ;
c.検討にすでに含まれる事前のソースとの重なり合いの程度;及び
d.データソースにおける既知のバイアス
などの因子を考慮して確立されるべき同意された基準にもとづいていくつかのデータソースを選択。
2.
a.存在;
b.決定的な属性;及び
c.推論された領域における観察の程度
を測定するための自動又は手動/ハイブリッドA/B/Cテストを構築。
3.テストを実行し、且つ
a.単純記述統計学;及び
b.基本視覚化
を含む結果を評価。
4.評価者の楽観主義/悲観主義などのバイアスの尺度。
5.各々の仮説がどの程度観察されたか、及び仮説の基準を呈さない領域の残りの部分に対する全体的な評価への影響について、結論を形成。
a.選択されたサンプルに対する各々の仮説の影響を判断。
b.関連性を立証できると仮定し、仮説の次元に従って種々のソースを査定するためのスコア付けシステムを開発。
b.話し手グループの均質性の影響;
c.話し手グループ内の共有メタファ(環境又は共有体験のいずれかによって導入される);
d.或る言語から他の言語への借用語;及び
e.話し手の多様性(例えば、ネイティブスピーカ対非ネイティブスピーカ、デジタルネイティブ対デジタルイミグラント)
など、観察の期間において現れるさらなる交絡的態様が存在し得る。
a)エンティティ抽出
b)語義明確化
c)感情分析
d)言語抽出
e)基本メタデータ
(ただし、これらに限られるわけではない)を含み、多数の次元にわたって属性を生成するために、データソース150Aのコーパスを分析する。
a)データソース150Aに類似したファイルを全体として取り込むルールを設定する
b)データソース150Aからのファイルを分割し、且つ特定の基準を満たす部分だけを取り込む
c)データソース150Aからのファイル全体を取り込むが、ソースごとのクオリティレベルインジケータでデータにフラグを付ける
d)データソース150Aからのファイルを常に拒絶するルールを設定する
e)データソース150Aからのファイルを仮に取り込むが、追加的な確証を待って保持し、且つ機能210による対象を定めたウェブディスカバリを開始させる
を含むことができる。
a)データソース150Aを選定し、
b)データソース150Aのコンテンツを意味のあるサブセットへと分割し、且つ
c)データソース150Aからのデータをデータの消費者であるダウンストリームプロセス220へと取り込む
ために、プロセス205によって生成されたデータ、すなわち処理212を使用する。
Claims (18)
- データソースからデータを受け取ることと、
ルールに従って前記データソースの属性を判断し、それによって属性を得ることと、
前記データにおける交絡的特性を特定するために前記データを分析することと、
前記属性のクオリティ尺度を算出し、それによって重み付けされた属性を得ることと、
前記交絡的特性のクオリティ尺度を算出し、それによって重み付けされた交絡的特性を得ることと、
処理を生成するために、前記重み付けされた属性及び前記重み付けされた交絡的特性を分析することと、
前記処理に従って前記データをフィルタ処理し、それによって抽出されたデータを得ることと、
前記抽出されたデータをダウンストリームプロセスへと渡すことと、
を含む方法。 - 前記処理にもとづいてフィードバックを生成することと、
前記フィードバックにもとづいて前記方法を改善することと、
を更に含む、請求項1に記載の方法。 - 新たなデータソースを発見するために、前記処理にもとづいて、自動化されたデータディスカバリプロセスを設定及び実行することと、
前記新たなデータソースを検索することと、
を更に含む、請求項1に記載の方法。 - 前記分析は、エンティティ抽出、語義明確化、感情分析、言語抽出、言語変換、及び基本メタデータで構成されるグループから選択される次元において実行される、請求項1に記載の方法。
- 前記交絡的特性は、皮肉、新語、文法変化、不適切な表現のテキスト、句読点、多言語データ、スペリング、難読化、暗号化、コンテクスト、及びメディアの組み合わせの使用で構成されるグループから選択される、請求項1に記載の方法。
- 前記処理は、(a)前記データソースに類似したファイルを全体として取り込むルールを設定する、(b)前記データソースからのファイルを分割し、特定の基準を満たす部分だけを取り込む、(c)前記データソースからのファイル全体を取り込むが、ソースごとのクオリティレベルインジケータでデータにフラグを付ける、(d)前記データソースからのファイルを常に拒絶するルールを設定する、及び(e)前記データソースからのファイルを仮に取り込むが、さらなる確証を待って保持する、で構成されるグループから選択される、請求項1に記載の方法。
- プロセッサと、
メモリと
を備えており、
前記メモリは、
データソースからデータを受け取ることと、
ルールに従って前記データソースの属性を判断し、それによって属性を得ることと、
前記データにおける交絡的特性を特定するために前記データを分析することと、
前記属性のクオリティ尺度を算出し、それによって重み付けされた属性を得ることと、
前記交絡的特性のクオリティ尺度を算出し、それによって重み付けされた交絡的特性を得ることと、
処理を生成するために、前記重み付けされた属性及び前記重み付けされた交絡的特性を分析することと、
前記処理に従って前記データをフィルタ処理し、それによって抽出されたデータを得ることと、
前記抽出されたデータをダウンストリームプロセスへと渡すことと、
を前記プロセッサに実行させるために前記プロセッサによる読み取りが可能である命令を含んでいる、システム。 - 前記命令は、
前記処理にもとづいてフィードバックを生成することと、
前記フィードバックにもとづいて前記方法を改善することと、
を前記プロセッサに更に実行させる、請求項7に記載のシステム。 - 前記命令は、
新たなデータソースを発見するために、前記処理にもとづいて、自動化されたデータディスカバリプロセスを設定及び実行することと、
前記新たなデータソースを検索することと、
を前記プロセッサに更に実行させる、請求項7に記載のシステム。 - 前記プロセッサに前記データの分析を実行させる前記命令は、エンティティ抽出、語義明確化、感情分析、言語抽出、言語変換、及び基本メタデータで構成されるグループから選択される次元において前記データを分析することを前記プロセッサに実行させる、請求項7に記載のシステム。
- 前記交絡的特性は、皮肉、新語、文法変化、不適切な表現のテキスト、句読点、多言語データ、スペリング、難読化、暗号化、コンテクスト、及びメディアの組み合わせの使用で構成されるグループから選択される、請求項7に記載のシステム。
- 前記処理は、(a)前記データソースに類似したファイルを全体として取り込むルールを設定する、(b)前記データソースからのファイルを分割し、且つ特定の基準を満たす部分だけを取り込む、(c)前記データソースからのファイル全体を取り込むが、ソースごとのクオリティレベルインジケータでデータにフラグを付ける、(d)前記データソースからのファイルを常に拒絶するルールを設定する、及び(e)前記データソースからのファイルを仮に取り込むが、さらなる確証を待って保持する、で構成されるグループから選択される、請求項7に記載のシステム。
- データソースからデータを受け取ることと、
ルールに従って前記データソースの属性を判断し、それによって属性を得ることと、
前記データにおける交絡的特性を特定するために前記データを分析することと、
前記属性のクオリティ尺度を算出し、それによって重み付けされた属性を得ることと、
前記交絡的特性のクオリティ尺度を算出し、それによって重み付けされた交絡的特性を得ることと、
処理を生成するために、前記重み付けされた属性及び前記重み付けされた交絡的特性を分析することと、
前記処理に従って前記データをフィルタ処理し、それによって抽出されたデータを得ることと、
前記抽出されたデータをダウンストリームプロセスへと渡すことと、
をプロセッサに実行させるために該プロセッサによる読み取りが可能である命令を含んでいる、記憶装置。 - 前記命令は、
前記処理にもとづいてフィードバックを生成することと、
前記フィードバックにもとづいて前記方法を改善することと、
を前記プロセッサに更に実行させる、請求項13に記載の記憶装置。 - 前記命令は、
新たなデータソースを発見するために、前記処理にもとづいて、自動化されたデータディスカバリプロセスを設定及び実行することと、
前記新たなデータソースを検索することと、
を前記プロセッサに更に実行させる、請求項13に記載の記憶装置。 - 前記プロセッサに前記データの分析を実行させる前記命令は、エンティティ抽出、語義明確化、感情分析、言語抽出、言語変換、及び基本メタデータで構成されるグループから選択される次元において前記データを分析することを前記プロセッサに実行させる、請求項13に記載の記憶装置。
- 前記交絡的特性は、皮肉、新語、文法変化、不適切な表現のテキスト、句読点、多言語データ、スペリング、難読化、暗号化、コンテクスト、及びメディアの組み合わせの使用で構成されるグループから選択される、請求項13に記載の記憶装置。
- 前記処理は、(a)前記データソースに類似したファイルを全体として取り込むルールを設定する、(b)前記データソースからのファイルを分割し、且つ特定の基準を満たす部分だけを取り込む、(c)前記データソースからのファイル全体を取り込むが、ソースごとのクオリティレベルインジケータでデータにフラグを付ける、(d)前記データソースからのファイルを常に拒絶するルールを設定する、及び(e)前記データソースからのファイルを仮に取り込むが、さらなる確証を待って保持する、で構成されるグループから選択される、請求項13に記載の記憶装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462045398P | 2014-09-03 | 2014-09-03 | |
US62/045,398 | 2014-09-03 | ||
PCT/US2015/048322 WO2016036940A1 (en) | 2014-09-03 | 2015-09-03 | System and process for analyzing, qualifying and ingesting sources of unstructured data via empirical attribution |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017527913A true JP2017527913A (ja) | 2017-09-21 |
JP6605022B2 JP6605022B2 (ja) | 2019-11-13 |
Family
ID=55402706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017512333A Active JP6605022B2 (ja) | 2014-09-03 | 2015-09-03 | 経験属性による体系化されていないデータのソースの分析、選定、及び取り込みのためのシステム及びプロセス |
Country Status (11)
Country | Link |
---|---|
US (1) | US10621182B2 (ja) |
EP (1) | EP3189478A4 (ja) |
JP (1) | JP6605022B2 (ja) |
KR (1) | KR101991086B1 (ja) |
CN (1) | CN107077640B (ja) |
AU (1) | AU2015311934B2 (ja) |
CA (1) | CA2959651C (ja) |
PH (1) | PH12017500366A1 (ja) |
RU (1) | RU2674331C2 (ja) |
SG (2) | SG10201901913XA (ja) |
WO (1) | WO2016036940A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10318591B2 (en) | 2015-06-02 | 2019-06-11 | International Business Machines Corporation | Ingesting documents using multiple ingestion pipelines |
US11093318B2 (en) | 2017-06-23 | 2021-08-17 | International Business Machines Corporation | Data integration process refinement and rejected data correction |
US20190385241A1 (en) * | 2018-06-18 | 2019-12-19 | Adp, Llc | Bill payment mechanism for payroll deduction |
US11163737B2 (en) * | 2018-11-21 | 2021-11-02 | Google Llc | Storage and structured search of historical security data |
US20200175028A1 (en) * | 2018-12-04 | 2020-06-04 | Owned Outcomes Inc. | System and method for ingesting data |
WO2022098941A1 (en) | 2020-11-06 | 2022-05-12 | The Dun & Bradstreet Corporation | System and method for email signature extraction from unstructured text |
CN113901094B (zh) * | 2021-09-29 | 2022-08-23 | 北京百度网讯科技有限公司 | 一种数据处理方法、装置、设备及存储介质 |
US20240144275A1 (en) * | 2022-10-28 | 2024-05-02 | Hint, Inc. | Real-time fraud detection using machine learning |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11259389A (ja) * | 1998-03-10 | 1999-09-24 | Gaara:Kk | 電子掲示板システム |
US20100332424A1 (en) * | 2009-06-30 | 2010-12-30 | International Business Machines Corporation | Detecting factual inconsistencies between a document and a fact-base |
US20120123767A1 (en) * | 2010-11-12 | 2012-05-17 | International Business Machines Corporation | Automatically assessing document quality for domain-specific documentation |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7055095B1 (en) * | 2000-04-14 | 2006-05-30 | Picsel Research Limited | Systems and methods for digital document processing |
WO2002005061A2 (en) | 2000-07-06 | 2002-01-17 | David Paul Felsher | Information record infrastructure, system and method |
US7778849B1 (en) * | 2000-11-06 | 2010-08-17 | Golden Hour Data Systems, Inc. | Data accuracy filter for integrated emergency medical transportation database system |
US7464097B2 (en) * | 2002-08-16 | 2008-12-09 | Sap Ag | Managing data integrity using a filter condition |
US20050108630A1 (en) * | 2003-11-19 | 2005-05-19 | Wasson Mark D. | Extraction of facts from text |
WO2005083597A1 (en) * | 2004-02-20 | 2005-09-09 | Dow Jones Reuters Business Interactive, Llc | Intelligent search and retrieval system and method |
JP2008506165A (ja) | 2004-06-18 | 2008-02-28 | リール・トゥー・リミテッド | データ集合の目録作成および探索のための方法およびシステム |
US7392229B2 (en) * | 2005-02-12 | 2008-06-24 | Curtis L. Harris | General purpose set theoretic processor |
US7849090B2 (en) * | 2005-03-30 | 2010-12-07 | Primal Fusion Inc. | System, method and computer program for faceted classification synthesis |
US20080005194A1 (en) * | 2006-05-05 | 2008-01-03 | Lockheed Martin Corporation | System and method for immutably cataloging and storing electronic assets in a large scale computer system |
US20080208820A1 (en) * | 2007-02-28 | 2008-08-28 | Psydex Corporation | Systems and methods for performing semantic analysis of information over time and space |
CN101796508B (zh) | 2007-08-31 | 2013-03-06 | 微软公司 | 歧义敏感自然语言处理***中的共指消解 |
CN100587693C (zh) * | 2007-10-30 | 2010-02-03 | 金蝶软件(中国)有限公司 | 从多个数据源获取数据的方法及*** |
JP4922240B2 (ja) | 2008-06-04 | 2012-04-25 | ヤフー株式会社 | Web検索において選択的に擬似フィードバック処理を適用する検索処理装置、方法及びプログラム |
US20100179930A1 (en) * | 2009-01-13 | 2010-07-15 | Eric Teller | Method and System for Developing Predictions from Disparate Data Sources Using Intelligent Processing |
US9002755B2 (en) * | 2013-02-05 | 2015-04-07 | scenarioDNA | System and method for culture mapping |
CN103544255B (zh) * | 2013-10-15 | 2017-01-11 | 常州大学 | 基于文本语义相关的网络舆情信息分析方法 |
CN103942340A (zh) * | 2014-05-09 | 2014-07-23 | 电子科技大学 | 一种基于文本挖掘的微博用户兴趣识别方法 |
US9483768B2 (en) * | 2014-08-11 | 2016-11-01 | 24/7 Customer, Inc. | Methods and apparatuses for modeling customer interaction experiences |
-
2015
- 2015-09-03 JP JP2017512333A patent/JP6605022B2/ja active Active
- 2015-09-03 WO PCT/US2015/048322 patent/WO2016036940A1/en active Application Filing
- 2015-09-03 EP EP15837731.7A patent/EP3189478A4/en not_active Ceased
- 2015-09-03 RU RU2017110788A patent/RU2674331C2/ru active
- 2015-09-03 AU AU2015311934A patent/AU2015311934B2/en active Active
- 2015-09-03 SG SG10201901913XA patent/SG10201901913XA/en unknown
- 2015-09-03 SG SG11201701613YA patent/SG11201701613YA/en unknown
- 2015-09-03 KR KR1020177008662A patent/KR101991086B1/ko active IP Right Grant
- 2015-09-03 US US14/844,623 patent/US10621182B2/en active Active
- 2015-09-03 CA CA2959651A patent/CA2959651C/en active Active
- 2015-09-03 CN CN201580059999.XA patent/CN107077640B/zh active Active
-
2017
- 2017-02-28 PH PH12017500366A patent/PH12017500366A1/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11259389A (ja) * | 1998-03-10 | 1999-09-24 | Gaara:Kk | 電子掲示板システム |
US20100332424A1 (en) * | 2009-06-30 | 2010-12-30 | International Business Machines Corporation | Detecting factual inconsistencies between a document and a fact-base |
US20120123767A1 (en) * | 2010-11-12 | 2012-05-17 | International Business Machines Corporation | Automatically assessing document quality for domain-specific documentation |
Non-Patent Citations (1)
Title |
---|
赤峯 享,他: ""大規模Web情報分析のための分析対象ページの段階的選択"", 言語処理学会第17回年次大会 発表論文集[CD−ROM], JPN6018019820, 7 March 2011 (2011-03-07), pages pp.41−44(B1−3) * |
Also Published As
Publication number | Publication date |
---|---|
CA2959651A1 (en) | 2016-03-10 |
KR101991086B1 (ko) | 2019-06-20 |
PH12017500366A1 (en) | 2017-07-17 |
AU2015311934A1 (en) | 2017-04-06 |
WO2016036940A1 (en) | 2016-03-10 |
SG10201901913XA (en) | 2019-04-29 |
CN107077640B (zh) | 2021-07-06 |
CN107077640A (zh) | 2017-08-18 |
EP3189478A4 (en) | 2018-03-07 |
US20160063001A1 (en) | 2016-03-03 |
CA2959651C (en) | 2021-04-20 |
RU2674331C2 (ru) | 2018-12-06 |
KR20170046772A (ko) | 2017-05-02 |
BR112017004341A2 (pt) | 2017-12-05 |
RU2017110788A3 (ja) | 2018-10-03 |
US10621182B2 (en) | 2020-04-14 |
SG11201701613YA (en) | 2017-03-30 |
AU2015311934B2 (en) | 2020-09-24 |
RU2017110788A (ru) | 2018-10-03 |
EP3189478A1 (en) | 2017-07-12 |
JP6605022B2 (ja) | 2019-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6605022B2 (ja) | 経験属性による体系化されていないデータのソースの分析、選定、及び取り込みのためのシステム及びプロセス | |
Nouh et al. | Understanding the radical mind: Identifying signals to detect extremist content on twitter | |
Stamatatos et al. | Overview of the PAN/CLEF 2015 evaluation lab | |
Aisopos et al. | Content vs. context for sentiment analysis: a comparative analysis over microblogs | |
Yang et al. | Anatomy of an AI-powered malicious social botnet | |
JP6776310B2 (ja) | ユーザ−入力コンテンツと連関するリアルタイムフィードバック情報提供方法およびシステム | |
US9244910B2 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
Przybyła et al. | When classification accuracy is not enough: Explaining news credibility assessment | |
Syaifudin et al. | Twitter data mining for sentiment analysis on peoples feedback against government public policy | |
Tassone et al. | Utilizing deep learning and graph mining to identify drug use on Twitter data | |
Nirmala et al. | Twitter data analysis for unemployment crisis | |
Theophilo et al. | Explainable artificial intelligence for authorship attribution on social media | |
Geetha et al. | Sensitive keyword extraction based on cyber keywords and LDA in Twitter to avoid regrets | |
Gruppi et al. | Tell me who your friends are: Using content sharing behavior for news source veracity detection | |
Rawat et al. | Detection of fake news using machine learning | |
Saha et al. | Application of Factor Graph Model in Stress Detection Using Social Network Messages | |
Chan et al. | Social media harvesting | |
Samory et al. | Content attribution ignoring content | |
Nandan et al. | Sentiment Analysis of Twitter Classification by Applying Hybrid-Based Techniques | |
A. Semary et al. | Enhancing machine learning-based sentiment analysis through feature extraction techniques | |
Wong et al. | Language independent models for COVID-19 fake news detection: Black box versus white box models | |
Chlasta | Sentiment analysis model for Twitter data in Polish language | |
Nayeem et al. | An analysis of election prediction using social media data network: a review | |
Pathak | An integrated approach towards automated fact-checking | |
Kebede et al. | Anonymous author similarity identification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170517 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170328 |
|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20170426 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170517 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180605 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180905 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190611 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191015 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6605022 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |