JP5818740B2 - テキストデータストリームに含まれるアイテムの中から出現頻度の高いアイテムを特定する方法、装置及びコンピュータプログラム - Google Patents
テキストデータストリームに含まれるアイテムの中から出現頻度の高いアイテムを特定する方法、装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JP5818740B2 JP5818740B2 JP2012094026A JP2012094026A JP5818740B2 JP 5818740 B2 JP5818740 B2 JP 5818740B2 JP 2012094026 A JP2012094026 A JP 2012094026A JP 2012094026 A JP2012094026 A JP 2012094026A JP 5818740 B2 JP5818740 B2 JP 5818740B2
- Authority
- JP
- Japan
- Prior art keywords
- memory
- item
- identification information
- stored
- count number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/316—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
- H04L43/022—Capturing of monitoring data by sampling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Life Sciences & Earth Sciences (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
11 CPU
12 メモリ
13 記憶装置
14 I/Oインタフェース
15 ビデオインタフェース
16 可搬型ディスクドライブ
17 通信インタフェース
18 内部バス
90 可搬型記録媒体
100 コンピュータプログラム
Claims (15)
- 複数階層のメモリを有するコンピュータ・システムによりテキストデータストリームに含まれるアイテムの中から出現頻度の高いアイテムを特定する方法であって、
前記コンピュータ・システムは、
前記複数階層のメモリのうち上位階層のメモリに、アイテムを識別する識別情報、及び該アイテムのカウント数を記憶し、
前記複数階層のメモリのうち前記上位階層のメモリよりも下位階層のメモリに、前記識別情報のみを記憶し、
前記方法は、
テキストデータストリームの入力を受け付けるステップと、
入力を受け付けたテキストデータストリームを分割したバケットに含まれるアイテムの識別情報が前記上位階層のメモリに記憶されていることに応答して、該アイテムのカウント数をインクリメントし、前記下位階層のメモリに記憶されていることに応答して、該アイテムの識別情報を初期カウント数とともに前記上位階層のメモリへ移動させ、どちらにも記憶されていないことに応答して、該アイテムの識別情報を初期カウント数とともに新たに前記上位階層のメモリに記憶するステップと
を含む方法。 - 前記上位階層のメモリに、前記識別情報に対応付けてカウント数の誤差を記憶し、
前記上位階層のメモリに記憶されたカウント数及び誤差に基づいて、前記上位階層のメモリに記憶されている識別情報に対応するアイテムごとの単位バケット当たりのカウント数を算出するステップと、
算出した単位バケット当たりのカウント数が第一の閾値より小さいことに応答して、該アイテムの識別情報を前記下位階層のメモリへ移動させるステップとをさらに含む請求項1に記載の方法。 - 前記第一の閾値は、前記アイテムの出現頻度を現在カウントしているバケット番号である請求項2に記載の方法。
- 前記アイテムのカウント数が第二の閾値より小さいことに応答して、該アイテムの識別情報を、前記上位階層のメモリ及び前記下位階層のメモリから削除するステップを含む請求項1乃至3のいずれか一項に記載の方法。
- 前記上位階層のメモリは、前記複数階層のメモリのうち最上位階層のメモリである請求項1乃至4のいずれか一項に記載の方法。
- テキストデータストリームに含まれるアイテムの中から出現頻度の高いアイテムを特定する装置であって、
複数階層のメモリを備え、
該複数階層のメモリのうち上位階層のメモリに、アイテムを識別する識別情報、及び該アイテムのカウント数を記憶し、
前記複数階層のメモリのうち前記上位階層のメモリよりも下位階層のメモリに、前記識別情報のみを記憶するデータ構造を有し、
テキストデータストリームの入力を受け付ける入力受付手段と、
入力を受け付けたテキストデータストリームを分割したバケットに含まれるアイテムの識別情報が前記上位階層のメモリに記憶されていることに応答して、該アイテムのカウント数をインクリメントし、前記下位階層のメモリに記憶されていることに応答して、該アイテムの識別情報を初期カウント数とともに前記上位階層のメモリへ移動させ、どちらにも記憶されていないことに応答して、該アイテムの識別情報を初期カウント数とともに新たに前記上位階層のメモリに記憶する記憶メモリ制御手段と
を備える装置。 - 前記上位階層のメモリに、前記識別情報に対応付けてカウント数の誤差を記憶しておき、
前記上位階層のメモリに記憶されたカウント数及び誤差に基づいて、前記上位階層のメモリに記憶されている識別情報に対応するアイテムごとの単位バケット当たりのカウント数を算出する算出手段と、
算出した単位バケット当たりのカウント数が第一の閾値より小さいことに応答して、該アイテムの識別情報を前記下位階層のメモリへ移動させるメモリ間移動手段と
を備える請求項6に記載の装置。 - 前記第一の閾値は、前記アイテムの出現頻度を現在カウントしているバケット番号である請求項7に記載の装置。
- 前記アイテムのカウント数が第二の閾値より小さいことに応答して、該アイテムの識別情報を、前記上位階層のメモリ及び前記下位階層のメモリから削除する削除手段を備える請求項6乃至8のいずれか一項に記載の装置。
- 前記上位階層のメモリは、前記複数階層のメモリのうち最上位階層のメモリである請求項6乃至9のいずれか一項に記載の装置。
- テキストデータストリームに含まれるアイテムの中から出現頻度の高いアイテムを特定する装置で実行することが可能なコンピュータプログラムであって、
前記装置は、複数階層のメモリを備え、
該複数階層のメモリのうち上位階層のメモリに、アイテムを識別する識別情報、及び該アイテムのカウント数を記憶し、
前記複数階層のメモリのうち前記上位階層のメモリよりも下位階層のメモリに、前記識別情報のみを記憶するデータ構造を有し、
前記装置を、
テキストデータストリームの入力を受け付ける入力受付手段、及び
入力を受け付けたテキストデータストリームを分割したバケットに含まれるアイテムの識別情報が前記上位階層のメモリに記憶されていることに応答して、該アイテムのカウント数をインクリメントし、前記下位階層のメモリに記憶されていることに応答して、該アイテムの識別情報を初期カウント数とともに前記上位階層のメモリへ移動させ、どちらにも記憶されていないことに応答して、該アイテムの識別情報を初期カウント数とともに新たに前記上位階層のメモリに記憶する記憶メモリ制御手段
として機能させるコンピュータプログラム。 - 前記上位階層のメモリに、前記識別情報に対応付けてカウント数の誤差を記憶しておき、
前記装置を、
前記上位階層のメモリに記憶されたカウント数及び誤差に基づいて、前記上位階層のメモリに記憶されている識別情報に対応するアイテムごとの単位バケット当たりのカウント数を算出する算出手段、及び
算出した単位バケット当たりのカウント数が第一の閾値より小さいことに応答して、該アイテムの識別情報を前記下位階層のメモリへ移動させるメモリ間移動手段
として機能させる請求項11に記載のコンピュータプログラム。 - 前記第一の閾値は、前記アイテムの出現頻度を現在カウントしているバケット番号である請求項12に記載のコンピュータプログラム。
- 前記装置を、
前記アイテムのカウント数が第二の閾値より小さいことに応答して、該アイテムの識別情報を、前記上位階層のメモリ及び前記下位階層のメモリから削除する手段
として機能させる請求項11乃至13のいずれか一項に記載のコンピュータプログラム。 - 前記上位階層のメモリは、前記複数階層のメモリのうち最上位階層のメモリである請求項11乃至14のいずれか一項に記載のコンピュータプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012094026A JP5818740B2 (ja) | 2012-04-17 | 2012-04-17 | テキストデータストリームに含まれるアイテムの中から出現頻度の高いアイテムを特定する方法、装置及びコンピュータプログラム |
US13/799,951 US9292439B2 (en) | 2012-04-17 | 2013-03-13 | Method, device and computer program for identifying items having high frequency of occurrence among items included in a text data stream |
DE102013205819.5A DE102013205819B4 (de) | 2012-04-17 | 2013-04-03 | Verfahren, Einheit und Computerprogramm zum Identifizieren von Elementen mit einer hohen Auftrittshäufigkeit bei Elementen, die in einem Textdatenstrom enthalten sind |
CN201310132171.5A CN103377147B (zh) | 2012-04-17 | 2013-04-16 | 用于标识具有最高出现频率的项目的方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012094026A JP5818740B2 (ja) | 2012-04-17 | 2012-04-17 | テキストデータストリームに含まれるアイテムの中から出現頻度の高いアイテムを特定する方法、装置及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013222337A JP2013222337A (ja) | 2013-10-28 |
JP5818740B2 true JP5818740B2 (ja) | 2015-11-18 |
Family
ID=49232362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012094026A Expired - Fee Related JP5818740B2 (ja) | 2012-04-17 | 2012-04-17 | テキストデータストリームに含まれるアイテムの中から出現頻度の高いアイテムを特定する方法、装置及びコンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9292439B2 (ja) |
JP (1) | JP5818740B2 (ja) |
CN (1) | CN103377147B (ja) |
DE (1) | DE102013205819B4 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10922347B2 (en) * | 2016-01-28 | 2021-02-16 | Hyland Switzerland Sàrl | Hierarchical dictionary with statistical filtering based on word frequency |
US11860780B2 (en) | 2022-01-28 | 2024-01-02 | Pure Storage, Inc. | Storage cache management |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9606927D0 (en) | 1996-04-02 | 1996-06-05 | Memory Corp Plc | Data storage devices |
JP3409986B2 (ja) * | 1997-01-31 | 2003-05-26 | 株式会社東芝 | 多値メモリ |
JPH10260881A (ja) | 1997-03-19 | 1998-09-29 | Toshiba Corp | キャッシュ装置および同装置に適用されるエントリ管理方法 |
US6732237B1 (en) | 2000-08-29 | 2004-05-04 | Oracle International Corporation | Multi-tier caching system |
US20040088432A1 (en) | 2002-10-31 | 2004-05-06 | Hubbard Eric D. | Management of attribute data |
JP4513878B2 (ja) | 2008-03-04 | 2010-07-28 | 沖電気工業株式会社 | 統計処理方法及び装置並びに統計処理方法のプログラム |
US20090183037A1 (en) | 2008-01-16 | 2009-07-16 | Oki Electric Industry Co., Ltd. | Statistical processing apparatus capable of reducing storage space for storing statistical occurrence frequency data and a processing method therefor |
US7937388B2 (en) * | 2008-08-20 | 2011-05-03 | International Business Machines Corporation | Probabilistic lossy counting |
US20110107042A1 (en) * | 2009-11-03 | 2011-05-05 | Andrew Herron | Formatting data storage according to data classification |
US8931088B2 (en) * | 2010-03-26 | 2015-01-06 | Alcatel Lucent | Adaptive distinct counting for network-traffic monitoring and other applications |
US8386717B1 (en) * | 2010-09-08 | 2013-02-26 | Symantec Corporation | Method and apparatus to free up cache memory space with a pseudo least recently used scheme |
US8725779B1 (en) * | 2011-05-06 | 2014-05-13 | Aggregate Knowledge, Inc. | System and method for counting and storing events as scalar quantities in skewed counting environments |
US8682864B1 (en) * | 2012-06-20 | 2014-03-25 | Google Inc. | Analyzing frequently occurring data items |
-
2012
- 2012-04-17 JP JP2012094026A patent/JP5818740B2/ja not_active Expired - Fee Related
-
2013
- 2013-03-13 US US13/799,951 patent/US9292439B2/en not_active Expired - Fee Related
- 2013-04-03 DE DE102013205819.5A patent/DE102013205819B4/de active Active
- 2013-04-16 CN CN201310132171.5A patent/CN103377147B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN103377147A (zh) | 2013-10-30 |
CN103377147B (zh) | 2016-03-30 |
US9292439B2 (en) | 2016-03-22 |
US20130275677A1 (en) | 2013-10-17 |
DE102013205819A1 (de) | 2013-10-17 |
JP2013222337A (ja) | 2013-10-28 |
DE102013205819B4 (de) | 2020-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6362316B2 (ja) | バッファ・プールをメモリ常駐型データのための常在インメモリ・ストレージとして用いた、ハイブリッド・テーブル実装のための方法、システム、およびコンピュータ・プログラム製品 | |
JP5088668B2 (ja) | 計算機負荷見積システム、計算機負荷見積方法、計算機負荷見積プログラム | |
US11216434B2 (en) | Systems and methods for performing tree-structured dataset operations | |
US9971698B2 (en) | Using access-frequency hierarchy for selection of eviction destination | |
US7730171B2 (en) | Decoupled logical and physical data storage within a database management system | |
WO2012176923A1 (ja) | 匿名化指標決定装置及び方法、並びに匿名化処理実行システム及び方法 | |
CN110795363B (zh) | 一种存储介质的热页预测方法和页面调度方法 | |
CN105989015B (zh) | 一种数据库扩容方法和装置以及访问数据库的方法和装置 | |
JP5818740B2 (ja) | テキストデータストリームに含まれるアイテムの中から出現頻度の高いアイテムを特定する方法、装置及びコンピュータプログラム | |
JP5790755B2 (ja) | データベース管理装置及びデータベース管理方法 | |
US9552298B2 (en) | Smart pre-fetch for sequential access on BTree | |
Lee et al. | SFM: Mitigating read/write amplification problem of LSM-tree-based key-value stores | |
US11914740B2 (en) | Data generalization apparatus, data generalization method, and program | |
CN113094336A (zh) | 基于Cuckoo哈希的文件***目录管理方法及*** | |
KR101699779B1 (ko) | 플래시 메모리의 색인 방법 | |
US7360043B1 (en) | Method and apparatus for efficiently determining rank in an LRU list | |
US20130246842A1 (en) | Information processing apparatus, program, and data allocation method | |
US11461299B2 (en) | Key-value index with node buffers | |
KR101543855B1 (ko) | 중복된 자료 개수의 근사치를 추정하는 방법 및 시스템 | |
US20190227734A1 (en) | Tracking information related to free space of containers | |
Jabarov et al. | R-Tree for phase change memory | |
JP5953262B2 (ja) | データ索引装置、データ索引方法及びプログラム | |
KR101993555B1 (ko) | Rcc와 쿠쿠 해시 테이블을 이용한 lrfu 기반의 캐시 교체 방법 및 시스템 | |
JP6926540B2 (ja) | 情報処理装置、コンポーネント配置方法及びコンポーネント配置プログラム | |
JP5953277B2 (ja) | データ索引装置、データ索引方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141001 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150831 |
|
RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20150908 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150929 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5818740 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |