JP2011186954A - データ管理装置及びデータ管理方法 - Google Patents
データ管理装置及びデータ管理方法 Download PDFInfo
- Publication number
- JP2011186954A JP2011186954A JP2010053795A JP2010053795A JP2011186954A JP 2011186954 A JP2011186954 A JP 2011186954A JP 2010053795 A JP2010053795 A JP 2010053795A JP 2010053795 A JP2010053795 A JP 2010053795A JP 2011186954 A JP2011186954 A JP 2011186954A
- Authority
- JP
- Japan
- Prior art keywords
- data
- filter
- stage
- entry
- bloom filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】複数段のブルームフィルタの1段目が、複数のデータブロックと少なくとも同一数のフィルタ部f(1)に分割され、p(pは2以上の整数)段目が、(p−1)段目のフィルタ部を複数個まとめた大きさのフィルタ部に分割される。データのハッシュ値を用いてデータのエントリを登録する登録部13は、1段目において、データが記憶されているデータブロックに対応するフィルタ部にデータのエントリを登録するとともに、p段目において、1段目のブルームフィルタでデータのエントリが登録されたフィルタ部に対応するフィルタ部にデータのエントリを登録する。検索部15は、検索対象のデータのエントリが1段目のブルームフィルタのフィルタ部のいずれに登録されているかを、ブルームフィルタの段数の大きい側から絞り込みながら検索する。
【選択図】図2
Description
b=x(h-1) …(1)
まず、データ(エントリ)の登録方法について、図4のフローチャートに沿って、その他の図面を適宜参照しつつ説明する。なお、本処理の前提として、データは、HDD20に対して入力されるが、HDD20から削除されることはないものとする。
次に、データ(エントリ)の検索方法について、図7のフローチャートに沿って、その他の図面を適宜参照しつつ説明する。
FPR=(1−(1−1/m)kn)k≒(1−e(-kn/m))k …(2)
h=log(b)/log(x)+1 …(3)
M=k×x×log(b)/log(x) …(3)
14 メモリ(メモリ手段)
15 検索部(検索手段)
16 ハッシュ値生成部(ハッシュ値生成手段)
18 多段ブルームフィルタ
100 情報処理システム(データ管理装置)
Claims (2)
- 複数のデータブロックを有し、当該データブロック上にデータを記憶する記憶手段と、
前記データのハッシュ値を生成するハッシュ値生成手段と、
複数段のブルームフィルタを有し、当該ブルームフィルタの1段目が、前記複数のデータブロックと少なくとも同一数のフィルタ部に分割され、p(pは2以上の整数)段目が、(p−1)段目のフィルタ部を複数個まとめた大きさのフィルタ部に分割された、メモリ手段と、
前記データのハッシュ値を用いて前記データのエントリを複数段のブルームフィルタそれぞれに登録する登録手段と、
前記複数段のブルームフィルタの各フィルタ部に、検索対象のデータのエントリが登録されている可能性があるか否かを、前記ハッシュ値生成手段において生成された前記検索対象のデータのハッシュ値を用いて検索する検索手段と、を備え、
前記登録手段は、前記1段目のブルームフィルタにおいて、前記データが記憶されているデータブロックに対応するフィルタ部に前記データのエントリを登録するとともに、前記p段目のブルームフィルタにおいて、前記1段目のブルームフィルタで前記データのエントリが登録されたフィルタ部に対応するフィルタ部に前記データのエントリを登録し、
前記検索手段は、前記検索対象のデータのエントリが前記1段目のブルームフィルタのフィルタ部のいずれに登録されているかを、前記ブルームフィルタの段数の大きい側から絞り込みながら検索することを特徴とするデータ管理装置。 - 記憶手段が有する複数のデータブロックにデータを記憶する工程と、
前記データのハッシュ値を生成する工程と、
前記複数のデータブロックと少なくとも同一数のフィルタ部に分割された1段目のブルームフィルタと、(p−1)段目(pは2以上の整数)のブルームフィルタのフィルタ部を複数個まとめた大きさのフィルタ部に分割されたp(pは2以上の整数)段目のブルームフィルタと、を含む複数段のブルームフィルタに、前記ハッシュ値を用いて前記データのエントリを登録する工程と、
前記複数段のブルームフィルタに検索対象のデータのエントリが登録されているか可能性があるか否かを、前記検索対象のデータのハッシュ値から検索する工程と、を含み、
前記登録する工程では、前記1段目のブルームフィルタにおいて、前記データが記憶されているデータブロックに対応するフィルタ部に前記データのエントリを登録し、前記p段目のブルームフィルタにおいて、前記1段目のブルームフィルタで前記データのエントリが登録されたフィルタ部に対応するフィルタ部に前記データのエントリを登録し、
前記検索する工程では、前記検索対象のデータのエントリが前記1段目のブルームフィルタのフィルタ部のいずれに登録されているかを、前記ブルームフィルタの段数の大きい側から絞り込みながら検索することを特徴とするデータ管理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010053795A JP5359941B2 (ja) | 2010-03-10 | 2010-03-10 | データ管理装置及びデータ管理方法 |
US13/028,409 US8255406B2 (en) | 2010-03-10 | 2011-02-16 | Data management using multi-state bloom filter |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010053795A JP5359941B2 (ja) | 2010-03-10 | 2010-03-10 | データ管理装置及びデータ管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011186954A true JP2011186954A (ja) | 2011-09-22 |
JP5359941B2 JP5359941B2 (ja) | 2013-12-04 |
Family
ID=44560924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010053795A Expired - Fee Related JP5359941B2 (ja) | 2010-03-10 | 2010-03-10 | データ管理装置及びデータ管理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8255406B2 (ja) |
JP (1) | JP5359941B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103440249A (zh) * | 2013-07-23 | 2013-12-11 | 南京烽火星空通信发展有限公司 | 一种非结构化数据快速检索的***及方法 |
JP2014130549A (ja) * | 2012-12-28 | 2014-07-10 | Fujitsu Ltd | ストレージ装置、制御方法、および制御プログラム |
US10007436B2 (en) | 2013-03-29 | 2018-06-26 | Fujitsu Limited | Storage control apparatus and control method of storage control apparatus |
US10048866B2 (en) | 2013-03-29 | 2018-08-14 | Fujitsu Limited | Storage control apparatus and storage control method |
EP3835971A1 (en) | 2019-12-10 | 2021-06-16 | Fujitsu Limited | Data processing apparatus, data processing program, and data processing method |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9740714B2 (en) * | 2014-02-06 | 2017-08-22 | International Business Machines Corporation | Multilevel filters for cache-efficient access |
US10509769B1 (en) * | 2014-06-12 | 2019-12-17 | EMC IP Holding Company LLC | Method to efficiently track I/O access history |
US9940356B2 (en) * | 2014-07-31 | 2018-04-10 | International Business Machines Corporation | Efficient join-filters for parallel processing |
CN104199781A (zh) * | 2014-08-14 | 2014-12-10 | 深圳百科信息技术有限公司 | 一种基于共享内存的内存碎片分配方法和装置 |
US10198325B2 (en) | 2016-05-24 | 2019-02-05 | Mastercard International Incorporated | Method and system for desynchronization recovery for permissioned blockchains using bloom filters |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008102795A (ja) * | 2006-10-19 | 2008-05-01 | Fuji Xerox Co Ltd | ファイル管理装置、システム及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1996025801A1 (en) * | 1995-02-17 | 1996-08-22 | Trustus Pty. Ltd. | Method for partitioning a block of data into subblocks and for storing and communicating such subblocks |
US7814129B2 (en) * | 2005-03-11 | 2010-10-12 | Ross Neil Williams | Method and apparatus for storing data with reduced redundancy using data clusters |
JP4722620B2 (ja) | 2005-08-19 | 2011-07-13 | Kddi株式会社 | 暗号化文書検索方法および暗号化文書検索システム |
US7894358B2 (en) * | 2007-03-15 | 2011-02-22 | Cisco Technology, Inc. | Detection of heavy users of network resources |
US9179305B2 (en) * | 2009-06-11 | 2015-11-03 | Qualcomm Incorporated | Bloom filter based device discovery |
US8996568B2 (en) * | 2009-07-14 | 2015-03-31 | Qualcomm Incorporated | Methods and apparatus for efficiently processing multiple keyword queries on a distributed network |
US8352490B2 (en) * | 2009-10-22 | 2013-01-08 | Vmware, Inc. | Method and system for locating update operations in a virtual machine disk image |
US8396873B2 (en) * | 2010-03-10 | 2013-03-12 | Emc Corporation | Index searching using a bloom filter |
-
2010
- 2010-03-10 JP JP2010053795A patent/JP5359941B2/ja not_active Expired - Fee Related
-
2011
- 2011-02-16 US US13/028,409 patent/US8255406B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008102795A (ja) * | 2006-10-19 | 2008-05-01 | Fuji Xerox Co Ltd | ファイル管理装置、システム及びプログラム |
Non-Patent Citations (2)
Title |
---|
三橋孝平、外2名: "階層型Bloom Filterを用いた分散ファイル管理", 第15回データ工学ワークショップ(DEWS2004)論文集 [ONLINE], JPN6013038637, 18 June 2004 (2004-06-18), ISSN: 0002600080 * |
若林繁寿、外1名: "B木構造に基づくBloomフィルタの提案", 情報処理学会研究報告, vol. 第2008巻、第117号, JPN6013038634, 20 November 2008 (2008-11-20), pages 43 - 48, ISSN: 0002600079 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014130549A (ja) * | 2012-12-28 | 2014-07-10 | Fujitsu Ltd | ストレージ装置、制御方法、および制御プログラム |
US10007436B2 (en) | 2013-03-29 | 2018-06-26 | Fujitsu Limited | Storage control apparatus and control method of storage control apparatus |
US10048866B2 (en) | 2013-03-29 | 2018-08-14 | Fujitsu Limited | Storage control apparatus and storage control method |
CN103440249A (zh) * | 2013-07-23 | 2013-12-11 | 南京烽火星空通信发展有限公司 | 一种非结构化数据快速检索的***及方法 |
EP3835971A1 (en) | 2019-12-10 | 2021-06-16 | Fujitsu Limited | Data processing apparatus, data processing program, and data processing method |
US11372576B2 (en) | 2019-12-10 | 2022-06-28 | Fujitsu Limited | Data processing apparatus, non-transitory computer-readable storage medium, and data processing method |
Also Published As
Publication number | Publication date |
---|---|
JP5359941B2 (ja) | 2013-12-04 |
US20110225182A1 (en) | 2011-09-15 |
US8255406B2 (en) | 2012-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5359941B2 (ja) | データ管理装置及びデータ管理方法 | |
US8271462B2 (en) | Method for creating a index of the data blocks | |
JP4669067B2 (ja) | 動的フラグメントマッピング | |
TWI515561B (zh) | 使用快閃記憶體之頁結構的資料樹儲存方法、系統以及電腦產品 | |
JP5842768B2 (ja) | 重複除去装置、重複除去方法及び重複除去プログラム | |
JP5499825B2 (ja) | データベース管理方法、データベースシステム、プログラム及びデータベースのデータ構造 | |
JP2012526320A5 (ja) | ||
KR102310246B1 (ko) | 세컨더리 인덱스 생성 방법 및 세컨더리 인덱스 저장 장치 | |
CN107305586A (zh) | 索引生成方法、索引生成装置及搜索方法 | |
CN108255912B (zh) | 一种表项数据存储、查询方法及其装置 | |
US8909897B2 (en) | Method for generating a delta for compressed data | |
JP5790755B2 (ja) | データベース管理装置及びデータベース管理方法 | |
JP5382383B2 (ja) | データベース処理装置、データベース処理方法、プログラム及びデータベースのデータ構造 | |
JP2013149061A (ja) | 文書類似性評価システム、文書類似性評価方法およびコンピュータ・プログラム | |
US9286934B2 (en) | Data duplication in tape drives | |
JP5664467B2 (ja) | 検索プログラム、検索方法、検索装置、およびノード | |
JP6110354B2 (ja) | 異種記憶サーバおよびそのファイル記憶方法 | |
TWI420306B (zh) | 支援重複數據刪除程序的數據區塊查詢方法 | |
JP5626561B2 (ja) | 情報処理システム及びそのデータ管理方法 | |
JP5526985B2 (ja) | 検索プログラム、検索装置、および検索方法 | |
JP5354606B2 (ja) | データ蓄積装置及び方法及びプログラム及びデータ検索装置及び方法及びプログラム | |
US20160103623A1 (en) | Method for controlled collision of hash algorithm based on nand flash memory | |
JP5402377B2 (ja) | キーワード選択装置、方法、プログラム及びシステム | |
US20160098422A1 (en) | File accessing system and file accessing method thereof | |
JP2012247866A (ja) | ソート時のキー削減方法及び装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120910 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130806 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5359941 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |