JP2009123019A - データ圧縮装置、データ伸長装置およびデータ圧縮方法 - Google Patents
データ圧縮装置、データ伸長装置およびデータ圧縮方法 Download PDFInfo
- Publication number
- JP2009123019A JP2009123019A JP2007297193A JP2007297193A JP2009123019A JP 2009123019 A JP2009123019 A JP 2009123019A JP 2007297193 A JP2007297193 A JP 2007297193A JP 2007297193 A JP2007297193 A JP 2007297193A JP 2009123019 A JP2009123019 A JP 2009123019A
- Authority
- JP
- Japan
- Prior art keywords
- data
- schema
- index
- schema files
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/14—Tree-structured documents
- G06F40/143—Markup, e.g. Standard Generalized Markup Language [SGML] or Document Type Definition [DTD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/14—Tree-structured documents
- G06F40/146—Coding or compression of tree-structured data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Document Processing Apparatus (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【解決手段】圧縮の対象となる複数の構造化データと各々に対応する複数のスキーマファイルとを入力する入力手段と、入力された複数のスキーマファイルの内、少なくとも2つのスキーマファイルが含まれるスキーマファイルの組に対して、共通のボキャブラリ集合を導出し、当該共通のボキャブラリ集合に含まれるボキャブラリの各々に対しインデックスを関連付けるインデックスデータを生成するインデックスデータ生成手段と、スキーマファイルの組に含まれるスキーマファイルに対応する構造化データの各々について、インデックスデータに基づいて構造化データ内のボキャブラリを対応するインデックスに置換する置換手段と、を備える。
【選択図】図1
Description
本発明に係るデータ圧縮装置の第1実施形態として、XML形式で記述した構造化データを圧縮するデータ圧縮装置を例に挙げて以下に説明する。
図1は、第1実施形態に係るデータ圧縮装置の内部構成を示す図である。なお、当該データ圧縮装置により圧縮された構造化データを元の構造化データに復元するデータ伸長装置も併せて示している。
図2は、ISOで仕様が策定されているスキーマ言語であるRelax NG(http://www.relaxng.org/spec−20011203.html)で記述したスキーマの例を示す図である。ここでは、書籍リストに係る異なる2つのバージョンのスキーマである”booklist1.rng”(図2(a))および”booklist2.rng”(図2(b))を示している。また、住所リストに係る異なる2つのバージョンのスキーマである”addresslist1.rng”(図2(c))および”addresslist2.rng”(図2(d))を示している。
次に、第1実装形態であるデータ圧縮装置100におけるデータ圧縮処理の流れについて説明する。
{list, book, isbn, name, price, stock, writer}
となる。
{list, book, isbn, name, price, stock}
がボキャブラリ(共通のボキャブラリ集合)として登録される。
= (Vi・Vj)/|Vi||Vj|
ここで、
sim(i,j): スキーマiとスキーマjの類似度
Vi: スキーマiのボキャブラリを表すベクトル
Vj: スキーマjのボキャブラリを表すベクトル
T: Vi,Vjのなす角度
である。算出される値は0から1の間の値であり、0の場合は類似する部分が無いことを示し、1の場合は完全一致することを示す。
{list, book, isbn, name, price, stock, writer}
となる。
同様に、図4(b)から以下の成分をもつベクトルが生成される。
ステップS1208では、スキーマ類似度算出部112は、上述の導出関数を用い、類似度を求め、スキーマ類似度一覧表118に値を登録する。例えば、”booklist1.rng”と”booklist2.rng”との類似度は以下のよう導出される。
= (Vbooklist1.rng・Vbooklist2.rng)/|Vbooklist1.rng||Vbooklist2.rng|
= (1*1)+(1*1)+(1*1)+(1*1)+(1*1)+(1*1)+(0*1)
/(1+1+1+1+1+1+0)1/2 * (1+1+1+1+1+1+1)1/2
= 6/(42)1/2 = 0.93
同様に、他のスキーマ間の類似度はそれぞれ以下のように算出される。
sim(booklist1.rng, addresslist2.rng) = 0.33
sim(booklist2.rng, addresslist1.rng) = 0.31
sim(booklist2.rng, addresslist2.rng) = 0.31
sim(addresslist1.rng, addresslist2.rng) = 0.71
図14は、ボキャブラリ置換処理(S1002)の詳細フローチャートである。
次に、データ伸長装置200におけるデータ伸長処理全体の流れについて説明する。なお、以下の説明では、圧縮データ233、インデックスデータ232、圧縮管理データ231は、データ伸長装置200の記憶部230にコピーされているものとする。ただし、これらのデータをネットワークケーブル300を介してデータ圧縮装置100の記憶部130から読み取るよう構成してもよい。
上述の第1実施形態において、スキーマ類似度一覧生成処理(S1304)においては、ボキャブラリのベクトル化によりスキーマ間の類似度を導出した。しかし、類似度の導出に他の手法を適用しても良い。
(b) http://example.org/booklist/2.0
このように、名前空間URIの文字列を決める際、URIの末尾に策定日付や数字でバージョン番号を指定するような運用を行うことにより、言語バージョン間で多くのボキャブラリが共有されていると仮定できる。その場合、名前空間URIの文字列比較で行うことにより類似度の算出処理を高速化することができる。
= 1 名前空間URIのバージョン番号を除く文字列(部分文字列)が同一
= 0 (上記以外)
つまり、部分文字列が同一である場合を類似度が高いと判定する。
sim(booklist1.rng, addresslist1.rng) = 0
sim(booklist1.rng, addresslist2.rng) = 0
sim(booklist2.rng, addresslist1.rng) = 0
sim(booklist2.rng, addresslist2.rng) = 0
sim(addresslist1.rng, addresslist2.rng) = 1
図17は、変形例に係るスキーマ類似度一覧表を示す図である。
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
Claims (9)
- 構造化データを圧縮処理するデータ圧縮装置であって、
圧縮の対象となる複数の構造化データと該複数の構造化データの各々に対応する複数のスキーマファイルとを入力する入力手段と、
入力された複数のスキーマファイルの内、少なくとも2つのスキーマファイルが含まれるスキーマファイルの組に対して、共通のボキャブラリ集合を導出し、該共通のボキャブラリ集合に含まれるボキャブラリの各々に対しインデックスを関連付けるインデックスデータを生成するインデックスデータ生成手段と、
前記スキーマファイルの組に含まれるスキーマファイルに対応する構造化データの各々について、前記インデックスデータに基づいて構造化データ内のボキャブラリを対応するインデックスに置換する置換手段と、
を備えることを特徴とするデータ圧縮装置。 - 前記インデックスデータ生成手段は、入力された複数のスキーマファイルに含まれるスキーマファイル間の類似度を導出する類似度導出手段を備えており、
前記スキーマファイルの組は、前記類似度導出手段により導出された類似度が予め指定された値以上であるスキーマファイルの組であることを特徴とする請求項1に記載のデータ圧縮装置。 - 前記類似度導出手段は、
入力された複数のスキーマファイルの各々に対し当該スキーマファイルに含まれるボキャブラリの一覧表を生成し、該一覧表に基づいて前記複数のスキーマファイルに含まれるスキーマファイル間の類似度を導出することを特徴とする請求項2に記載のデータ圧縮装置。 - 前記共通のボキャブラリ集合は、前記スキーマファイルの組に含まれるボキャブラリの和集合であることを特徴とする請求項1乃至3の何れか一項に記載のデータ圧縮装置。
- 前記類似度導出手段は、前記和集合に基づいて前記スキーマファイルの組に含まれるスキーマファイルの各々に対応するベクトルを生成し類似度を導出することを特徴とする請求項4に記載のデータ圧縮装置。
- 前記類似度導出手段は、前記複数のスキーマファイルの各々で定義された名前空間の文字列に基づいて類似度を導出することを特徴とする請求項2に記載のデータ圧縮装置。
- 請求項1乃至6の何れか一項に記載のデータ圧縮装置によって圧縮処理された圧縮構造化データを伸長処理するデータ伸長装置であって、
伸長の対象となる圧縮構造化データを入力する入力手段と、
入力された圧縮構造化データが圧縮された際に前記データ圧縮装置により生成されたインデックスデータを取得する取得手段と、
前記インデックスデータに基づいて圧縮構造化データに含まれるインデックスを対応するボキャブラリに置換する置換手段と、
を備えることを特徴とするデータ伸長装置。 - 構造化データを圧縮処理するデータ圧縮方法であって、
圧縮の対象となる複数の構造化データと該複数の構造化データの各々に対応する複数のスキーマファイルとを入力する入力工程と、
入力された複数のスキーマファイルの内、少なくとも2つのスキーマファイルが含まれるスキーマファイルの組に対して、共通のボキャブラリ集合を導出し、該共通のボキャブラリ集合に含まれるボキャブラリの各々に対しインデックスを関連付けるインデックスデータを生成するインデックスデータ生成工程と、
前記スキーマファイルの組に含まれるスキーマファイルに対応する構造化データの各々について、前記インデックスデータに基づいて構造化データ内のボキャブラリを対応するインデックスに置換する置換工程と、
を備えることを特徴とするデータ圧縮方法。 - コンピュータを請求項1乃至6の何れか一項に記載のデータ圧縮装置として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007297193A JP5379372B2 (ja) | 2007-11-15 | 2007-11-15 | データ圧縮装置、データ伸長装置およびデータ圧縮方法 |
US12/270,766 US8229975B2 (en) | 2007-11-15 | 2008-11-13 | Data compression apparatus, data decompression apparatus, and method for compressing data |
EP08169174A EP2077505B1 (en) | 2007-11-15 | 2008-11-14 | Data compression apparatus and method for compressing data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007297193A JP5379372B2 (ja) | 2007-11-15 | 2007-11-15 | データ圧縮装置、データ伸長装置およびデータ圧縮方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009123019A true JP2009123019A (ja) | 2009-06-04 |
JP5379372B2 JP5379372B2 (ja) | 2013-12-25 |
Family
ID=40460164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007297193A Expired - Fee Related JP5379372B2 (ja) | 2007-11-15 | 2007-11-15 | データ圧縮装置、データ伸長装置およびデータ圧縮方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8229975B2 (ja) |
EP (1) | EP2077505B1 (ja) |
JP (1) | JP5379372B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015015864A1 (ja) * | 2013-07-31 | 2015-02-05 | 株式会社日立ソリューションズ | センサデータ収集システム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9128912B2 (en) * | 2012-07-20 | 2015-09-08 | Fujitsu Limited | Efficient XML interchange schema document encoding |
US9876507B2 (en) * | 2013-02-22 | 2018-01-23 | Sap Se | Semantic compression of structured data |
JP2015115652A (ja) * | 2013-12-09 | 2015-06-22 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001067348A (ja) * | 1999-06-21 | 2001-03-16 | Fujitsu Ltd | 構造化文書の圧縮方法および圧縮装置並びに構造化文書圧縮プログラムを記録したコンピュータ読取可能な記録媒体 |
JP2002269068A (ja) * | 2001-03-12 | 2002-09-20 | Shigenori Tanaka | 構造化文書処理装置 |
US20030088543A1 (en) * | 2001-10-05 | 2003-05-08 | Vitria Technology, Inc. | Vocabulary and syntax based data transformation |
JP2004518231A (ja) * | 2001-02-05 | 2004-06-17 | エクスプウェイ | 文書の構造化された記述を圧縮するための方法 |
JP2005018672A (ja) * | 2003-06-30 | 2005-01-20 | Hitachi Ltd | 構造化文書の圧縮方法 |
JP2005258682A (ja) * | 2004-03-10 | 2005-09-22 | Nippon Telegraph & Telephone East Corp | スキーマ変換方法、スキーマ変換装置、スキーマ変換用プログラム、およびプログラム記録媒体 |
JP2006344171A (ja) * | 2005-06-10 | 2006-12-21 | Canon Inc | 情報処理装置、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 |
JP2007052556A (ja) * | 2005-08-16 | 2007-03-01 | Tokyo Institute Of Technology | 複数のxml文書の類似度検出方法および類似性検出システム、ならびに複数のxml文書の統合方法 |
JP2007293874A (ja) * | 2007-05-18 | 2007-11-08 | Degital Works Kk | 文書の圧縮格納方法及び装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5970490A (en) * | 1996-11-05 | 1999-10-19 | Xerox Corporation | Integration platform for heterogeneous databases |
US5835912A (en) * | 1997-03-13 | 1998-11-10 | The United States Of America As Represented By The National Security Agency | Method of efficiency and flexibility storing, retrieving, and modifying data in any language representation |
JP3859313B2 (ja) | 1997-08-05 | 2006-12-20 | 富士通株式会社 | タグ文書の圧縮装置および復元装置,圧縮方法および復元方法,圧縮/復元装置および圧縮/復元方法並びに圧縮,復元もしくは圧縮/復元プログラムを記録したコンピュータ読み取り可能な記録媒体 |
US6675355B1 (en) * | 2000-03-16 | 2004-01-06 | Autodesk, Inc. | Redline extensible markup language (XML) schema |
US6826566B2 (en) * | 2002-01-14 | 2004-11-30 | Speedtrack, Inc. | Identifier vocabulary data access method and system |
DE10351897A1 (de) * | 2003-07-15 | 2005-02-17 | Siemens Ag | Verfahren zur Codierung von strukturierten Dokumenten |
JP4168946B2 (ja) | 2004-01-29 | 2008-10-22 | Kddi株式会社 | 文書データの符号化又は復号化方法及びそのプログラム |
US7348904B2 (en) * | 2004-02-19 | 2008-03-25 | Telefonaktiebolaget Lm Ericsson (Publ) | Selective updating of compression dictionary |
US7281002B2 (en) * | 2004-03-01 | 2007-10-09 | International Business Machine Corporation | Organizing related search results |
US20050278139A1 (en) * | 2004-05-28 | 2005-12-15 | Glaenzer Helmut K | Automatic match tuning |
US8954400B2 (en) * | 2004-09-13 | 2015-02-10 | International Business Machines Corporation | Method, system and program product for managing structured data |
US7596574B2 (en) * | 2005-03-30 | 2009-09-29 | Primal Fusion, Inc. | Complex-adaptive system for providing a facted classification |
US7849090B2 (en) * | 2005-03-30 | 2010-12-07 | Primal Fusion Inc. | System, method and computer program for faceted classification synthesis |
US7606781B2 (en) * | 2005-03-30 | 2009-10-20 | Primal Fusion Inc. | System, method and computer program for facet analysis |
US7844557B2 (en) * | 2006-05-16 | 2010-11-30 | Sony Corporation | Method and system for order invariant clustering of categorical data |
US7761394B2 (en) * | 2006-05-16 | 2010-07-20 | Sony Corporation | Augmented dataset representation using a taxonomy which accounts for similarity and dissimilarity between each record in the dataset and a user's similarity-biased intuition |
US7774288B2 (en) * | 2006-05-16 | 2010-08-10 | Sony Corporation | Clustering and classification of multimedia data |
JP4146479B2 (ja) * | 2006-09-28 | 2008-09-10 | 株式会社東芝 | 構造化文書検索装置、構造化文書検索方法および構造化文書検索プログラム |
-
2007
- 2007-11-15 JP JP2007297193A patent/JP5379372B2/ja not_active Expired - Fee Related
-
2008
- 2008-11-13 US US12/270,766 patent/US8229975B2/en not_active Expired - Fee Related
- 2008-11-14 EP EP08169174A patent/EP2077505B1/en not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001067348A (ja) * | 1999-06-21 | 2001-03-16 | Fujitsu Ltd | 構造化文書の圧縮方法および圧縮装置並びに構造化文書圧縮プログラムを記録したコンピュータ読取可能な記録媒体 |
JP2004518231A (ja) * | 2001-02-05 | 2004-06-17 | エクスプウェイ | 文書の構造化された記述を圧縮するための方法 |
JP2002269068A (ja) * | 2001-03-12 | 2002-09-20 | Shigenori Tanaka | 構造化文書処理装置 |
US20030088543A1 (en) * | 2001-10-05 | 2003-05-08 | Vitria Technology, Inc. | Vocabulary and syntax based data transformation |
JP2005018672A (ja) * | 2003-06-30 | 2005-01-20 | Hitachi Ltd | 構造化文書の圧縮方法 |
JP2005258682A (ja) * | 2004-03-10 | 2005-09-22 | Nippon Telegraph & Telephone East Corp | スキーマ変換方法、スキーマ変換装置、スキーマ変換用プログラム、およびプログラム記録媒体 |
JP2006344171A (ja) * | 2005-06-10 | 2006-12-21 | Canon Inc | 情報処理装置、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 |
JP2007052556A (ja) * | 2005-08-16 | 2007-03-01 | Tokyo Institute Of Technology | 複数のxml文書の類似度検出方法および類似性検出システム、ならびに複数のxml文書の統合方法 |
JP2007293874A (ja) * | 2007-05-18 | 2007-11-08 | Degital Works Kk | 文書の圧縮格納方法及び装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015015864A1 (ja) * | 2013-07-31 | 2015-02-05 | 株式会社日立ソリューションズ | センサデータ収集システム |
JP2015028742A (ja) * | 2013-07-31 | 2015-02-12 | 株式会社日立ソリューションズ | センサデータ収集システム |
Also Published As
Publication number | Publication date |
---|---|
US8229975B2 (en) | 2012-07-24 |
JP5379372B2 (ja) | 2013-12-25 |
EP2077505B1 (en) | 2013-01-09 |
EP2077505A2 (en) | 2009-07-08 |
US20090132569A1 (en) | 2009-05-21 |
EP2077505A3 (en) | 2011-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8756489B2 (en) | Method and system for dynamic assembly of form fragments | |
US20170277672A1 (en) | Information processing device, information processing method, and computer program product | |
CN101271390A (zh) | 修改xml数据结构的软件、***和方法 | |
WO2017036348A1 (zh) | 一种可扩展标记语言xml文档的压缩、解压方法和装置 | |
JP5379372B2 (ja) | データ圧縮装置、データ伸長装置およびデータ圧縮方法 | |
EP1870821A1 (en) | Structured data conversion method | |
JP2014521159A (ja) | 文書の圧縮、解凍及び照会のための方法及び装置 | |
US9189464B2 (en) | Method and system for XML multi-transform | |
JP5867540B2 (ja) | プログラム生成装置、プログラム生成装置の制御方法、およびプログラム | |
JP2015197826A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN102171696A (zh) | 定制资料的生成方法和装置 | |
JP2010267092A (ja) | 情報処理装置、情報処理方法 | |
JP6795767B2 (ja) | 情報処理装置と、その処理方法及びプログラム | |
JP2005056085A (ja) | データ構造変換プログラム | |
KR20220079073A (ko) | 멀티미디어 변환 콘텐츠 제작 서비스 제공장치의 제작 인터페이스 장치 | |
JP5230193B2 (ja) | データ検索装置、データ検索方法、及びコンピュータプログラム | |
KR20220079042A (ko) | 서비스 제공 프로그램 기록매체 | |
KR20220079029A (ko) | 문서 기반 멀티 미디어 콘텐츠 자동 제작 서비스 제공 방법 | |
CN101799758A (zh) | 规格管理装置 | |
JP7048912B2 (ja) | 情報処理装置と、その処理方法及びプログラム | |
JP6700559B2 (ja) | 情報処理装置と、その処理方法及びプログラム | |
JP2010157165A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN101350919B (zh) | 记录装置、记录方法 | |
JP6756967B2 (ja) | 情報処理装置と、その処理方法及びプログラム | |
JP2008158753A (ja) | 情報処理装置、情報処理方法、情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100901 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121009 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130304 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130927 |
|
LAPS | Cancellation because of no payment of annual fees |