JP2007124561A - データ圧縮方法及び圧縮データ送信方法 - Google Patents
データ圧縮方法及び圧縮データ送信方法 Download PDFInfo
- Publication number
- JP2007124561A JP2007124561A JP2005317343A JP2005317343A JP2007124561A JP 2007124561 A JP2007124561 A JP 2007124561A JP 2005317343 A JP2005317343 A JP 2005317343A JP 2005317343 A JP2005317343 A JP 2005317343A JP 2007124561 A JP2007124561 A JP 2007124561A
- Authority
- JP
- Japan
- Prior art keywords
- data
- initial value
- dictionary
- character string
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
- H03M7/4006—Conversion to or from arithmetic code
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99942—Manipulating data structure, e.g. compression, compaction, compilation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】サンプルデータ中の文字列を先頭3文字(“ABC”)が等しい文字列同士のグループに分類する。各グループから、サンプルデータ中において最も出現頻度が高い文字列(最頻出文字列)を1個づつ抽出する。各グループから抽出した最頻出文字列を出現頻度順に初期値として辞書に登録する。
【選択図】図3
Description
従来のスライド辞書を利用したデータ圧縮方法では、過去に出現した部分列を辞書に登録(学習)する。一般的に、辞書が完成するには8KB程度のデータ読み込みが必要とされている。そのため、データ量が小さいと圧縮するのに十分な登録(学習)ができないため、十分な圧縮率が得られない。
図22(a)は、初期値作成用のサンプルデータに存在する文字列の種類を木構造(tree structure)で示したものである。同図(a)に示す木構造の各ノードの文字“a”、“b”、“c”、“d”はサンプルデータ内の文字を示し、その下の矩形内の数字はそれらの文字の各文字列内での出現頻度を示す。
また、本出願人は、図21に示すようなSLC(Super Lossless Data Compression)方式のデータ圧縮方式を提案している(日本特許第3541930号、米国特許6,320,522 B1)。
本発明のデータ圧縮方法の第1態様は、サンプルデータ内の文字列を、先頭n文字が同じである文字列同士のグループに分類し、該各グループから最頻出文字列を検出し、該最頻出文字列を辞書に初期値として登録することを特徴とする。
上記本発明の圧縮データ送信方法において、例えば、前記サーバは、提供するサービスの種別毎に辞書情報を保有し、クライアントにサービスを提供する際には、そのサービスに対応した辞書を用いて、クライアントに送信するデータを圧縮するようにしてもよい。
また、上記本発明の圧縮データ送信方法において、例えば、前記サーバは、請求項1または2記載のデータ圧縮方法によって生成された辞書情報を複数保有し、前記クライアントにデータを送信する際には、該データの圧縮効率が最も良い辞書情報を用いて前記データを圧縮するようにしてもよい。
また、上記により生成した複数の辞書のうち適切な辞書を用いて送信データを圧縮することができるようになる。
[本発明の原理(その1)]
図1は、本発明の被圧縮データの符号化方法を説明する図である。
図1に示す例では“compression”という文字列(初期値)が、圧縮対象の文字列“compression&decomptession…”の前に仮想的に出現したものとみなしている。被圧縮データの先頭位置は「1」に設定されている。また、図1では、学習済みのハッシュ表14を示している。
1.複数のサンプルデータを用意し、それらのサンプルデータに出現する文字列を、先頭n文字が等しい文字列同士のグループに分類する。
2.手順1で分類した各グループから最頻出文字列(最も出現頻度が高い文字列)を検出する。
3.手順2で求めた各グループの最頻出文字列を、頻度の高い順にスライド辞書にその初期値として登録する。
同図では、手順1によって作成される、先頭3文字が“ABC”である文字列の分類を木構造で示している。この例では、先頭3文字が“ABC”である文字列として、“ABC”に続く後続文字列が“BBBC”、“BCDC”、・・・、“CDEF”である文字列が示されている。木構造において、その各ノードに配置された文字の下の数字はその文字の出現頻度である。この例では、“ABC”の後続文字列が“BCDC”となっている文字列、すなわち、“ABCBCDC”という文字列が8回出現し、最も出現頻度が高くなっている。したがって、先頭3文字が“ABC”である文字列群の中から、“ABCBCDC”という文字列が最頻出文字列のうち最長文字列として検出される。同様にして、先頭3文字が“ABC”以外の文字列についても、最頻出文字列のうち最長の文字列を検出することができる。
[本発明の原理(その2)]
辞書としてハッシュ表を使用する際、図4に示すように、ハッシュ値の位置情報を順次学習して行く過程で、既に、位置情報がハッシュ表に登録された文字列が後続する文字列中に存在すると、即ち、偶然に同じハッシュ値をとる異なる文字列が存在すると、新たに出現した文字列の位置情報により既存の位置情報が上書きされてしまう。図4の例では、“compression”の位置情報が「1」から「k」に上書きされている。
同図に示す木構造においては、先頭3文字が“ABC”と“XYZ”のハッシュ値が同じ値(=100)となっている。このため、先頭3文字が“ABC”または“XYZ”となっている文字列の中から最頻出文字列を検出し、それを初期値としてハッシュ表に登録する。図5に示す例では、“XYZCDEF”が8回出現しており最頻出文字列かつ最長文字列となっている。
以上のようにしてハッシュ表に初期値を順次登録していくことにより、ハッシュ表に登録された初期値の位置情報の上書きが防止される。ハッシュ表には一つのハッシュ値に対して1つの位置情報のみしか登録されないからである。
[第1の実施例]
本発明の第1実施例は、初期値作成用の情報処理装置、データ圧縮側の情報処理装置及びデータ復元側の情報処理装置を備えたシステムである。
初期値作成用の情報処理装置100は、圧縮プログラム110、サンプルデータ120及び初期値作成プログラム130を備えている。これらは、情報処理装置100が備えるメモリや外部記憶装置(ストレージ)に格納される。
頻度カウンタ131は、サンプルデータ1〜4に出現する全ての文字列を、その先頭3文字が同じ文字列同士に分類し、先頭3文字が同じ文字列の中から最頻出文字列を検出するために使用される。頻度カウンタ131は、先頭3文字と頻度を格納する領域を備えており、この領域に先頭3文字が同じ文字列がポインタで連結されるような構成となっている。上記構成は、個々の先頭3文字毎に設けられる。上記リストの要素は、サンプルデータNo、文字列の開始位置及び終了位置から構成される。
データ圧縮側の情報処理装置140は、圧縮プログラム150をメモリまたは外部記憶装置等に保持している。圧縮プログラム150は、データを圧縮、復元するプログラムであり、内部に、ハッシュ表151、初期値(初期値文字列)152及びハッシュ関数153を保持している。辞書151、初期値152、及びハッシュ関数153は、図6の情報処理装置130の圧縮プログラム110が保有するハッシュ表111、初期値112及びハッシュ関数113と同様な構成・機能を有するので、それらの詳しい説明は省略する。
データ復元側の情報処理装置160は、圧縮プログラム170をメモリまたは外部記憶装置等に保持している。圧縮プログラム170は、データを圧縮、復元するプログラムであり、内部に、辞書(ハッシュ表)171、初期値(初期値文字列)172及びハッシュ関数173を保持している。辞書171、初期値172、及びハッシュ関数173は、図6の情報処理装置130の圧縮プログラム110が保有するハッシュ表111、初期値112及びハッシュ関数113と同様な構成・機能を有するので、それらの詳しい説明は省略する。
図9を参照しながら、第1実施例の処理の概要を説明する。{事前処理}
データの圧縮、復元をする前に、事前処理として、初期値の生成と辞書(ハッシュ表)の学習を行う。辞書の学習とは、辞書に初期値とその位置情報を登録する処理のことである。
(1)サンプルデータから初期値を生成する(ステップS1)。
(2)生成された初期値の位置情報を辞書に学習させ、辞書を完成させる(ステップS2)。
{圧縮処理}
図9(b)を参照しながら、データ圧縮処理の手順を説明する。このデータ圧縮処理は、情報処理装置140が圧縮プログラム150を実行することによって行われる。
(1)外部記憶装置に格納されている初期値と辞書をメモリ上にロードする(ステップS3)。
(2)初期値と辞書を基に被圧縮データを圧縮して圧縮データを生成する(ステップS4)。
{復元処理}
図9(b)を参照しながら、圧縮データの復元処理を説明する。このデータ復元処理は、情報処理装置160が圧縮プログラム170を実行することによって行われる。
(1)外部記憶装置に格納されている初期値と辞書をメモリ上にロードする(ステップS5)。
(2)初期値と辞書を基に圧縮データから被圧縮データを復元する(ステップS6)。
{初期値生成処理と辞書の生成処理の詳細}
図10は、情報処理装置100が初期値作成プログラム130を実行することによって行う初期値生成処理と辞書の生成処理(辞書に学習処理)の詳細を説明するフローチャートである。図11〜図14は、図10のフローチャートに示す処理の理解を容易にするための図である。
この結果、図11に示すように“COM”、“OMP”、“MPR”、・・・、“ARE”の文字列が抽出される。
最初に、“COM”が選択される。
ステップS13においては、後続文字(終了位置の次の文字)の中で最頻出する文字を検出し、その最頻出文字を後続最頻出文字保持部132に格納する。
次に、ステップS13で検出した最頻出文字の出現数(サンプルデータ1〜4での出現数)を頻度カウンタ131の「頻度」に加算する(ステップS14)。
次に、頻度カウンタ131に格納されている「終了位置」の次の位置の文字(後続文字)が最頻出文字であるか判別する(ステップS15)。そして、最頻出文字である場合にはステップS16に進み、そうでない場合にはステップS17に進む。
この結果、“COM”の場合には、頻度カウンタ131に保持された4つの文字列の「終了位置」が1文字分後方に移動する(図13(c)参照)。
この判別において、後続文字が全て異なると判別された場合にはステップS19に進み、そうでない場合には更に後続の最頻出文字を探索するためにステップS13に戻る。
“COM”の場合、2回目のステップS15の判別処理で、サンプルデータ4の後続文字のみが“A”であり、サンプルデータ1〜3の後続文字は全て“R”(最頻出文字)であると判別される。この結果、ステップS17で、頻度カウンタ131からサンプルデータ4の文字列“COMPA” に該当するポインタが削除されると共に、ステップS16で頻度カウンタ131の後続最頻出文字保持部132に“R”が格納される(図13(d)参照)。
ステップS19に進む直前において、“COM”に関する頻度カウンタ131と後続最頻出文字保持部132の内容は図13(e)に示すようになっている。すなわち、後続最頻出文字保持部132には“ ”が格納され、頻度カウンタ131には、サンプルデータ1とサンプルデータ2内の文字列“COMPPRESS_”に関する開始位置と終了位置が格納され、頻度には22が格納されている。
頻度カウンタ131に保持されている次の先頭3文字“OMP”について、“COM”と同様にステップS13〜S19の処理が行われる。
“ARE”に関してステップS13〜S19の処理が終了し、ステップS11で抽出した全ての先頭3文字についてステップS13〜S19の処理が完了すると、ステップS20に進む。
{初期値作成プログラムの変形例}
図16は、初期値作成プログラムの変形例の構成を示すブロック図である。
頻度カウンタ141は、「ハッシュ値」、「頻度」、及び{「サンプルデータNo.」、「開始位置」、「終了位置」}の組で構成される要素のリストを備えている。このリストは、初期値作成プログラム130のリストと同様な構成である。
初期値作成プログラム140が初期値を登録する処理は、図10のフローチャートと略同様のアルゴリズムによって実現できる。すなわち、「文字」の代わりに「ハッシュ値」を処理対象とするように図10のフローチャートを変更することにより、初期値作成プログラム140の初期値登録処理のアルゴリズムを実現できる。
[第2の実施例]
図17は、本発明のデータ圧縮方法を適用した第2の実施例のシステム構成図である。
クライアント330は、フロントエンドサーバ300からXMLデータ251またはHTMLデータ252を受信する際、初期値識別情報320をフロントエンドサーバ300から受信する。
図18は、APサーバ(APサーバ200、210)が初期値とハッシュ表を生成する処理を説明するフローチャートである。
フロントエンドサーバ300は、登録テーブル313に、受信したハッシュ表の名称(ハッシュ表名)と初期値の名前(初期値名)を登録する(ステップS201)。
続いて、上記ハッシュ表と上記初期値に関する情報(サーバID、ハッシュ表名、初期値名)を登録テーブル313に登録する(ステップS203)。
同図のフローチャートにおいて、ステップS301〜303がフロントエンドサーバ300の処理であり、ステップS304、395がクライアント330の処理である。
そして、上記圧縮されたデータと上記データ圧縮で使用された初期値に対応する初期値識別情報320を、ネットワーク321を介してクライアント330に送信する(ステップS303)。
このように、第2の実施例では、APサーバ側で、提供するアプリケーション(サービス)でクライアント330に送信するデータを圧縮・復元するための初期値と辞書(ハッシュ表)を作成し、それらをフロントエンドサーバ300に送信する。フロントエンドサーバ300は、APサーバから受信した初期値と辞書を登録テーブル313により管理すると共に、それらを初期値識別情報320と共にネットワーク321を介してクライアント330に送信する。
この場合、例えば、実際に送受信されるデータである被圧縮データを、サーバまたはクライアントのいずれかが上記複数の辞書で実際に圧縮してみて、最も圧縮効率の良い辞書を圧縮用の辞書として採用し、該採用した辞書に関する情報を通信相手へ通知する構成にしてもよい。
また、クライアントがサーバにデータを送信する際に、該データを保有している辞書を用いて圧縮してからサーバに送信するような構成にしてもよい。
上記実施例の説明においては、被圧縮データとしてテキストデータを圧縮する例について説明したが、本発明は、これに限定されることなく、例えば、ソースプログラムや実行形式のプログラム(バイナリデータ)の圧縮などにも適用可能である。
サンプルデータから初期値を生成し、該初期値を予め辞書に登録してから該辞書を用いてデータを符号化するデータ圧縮方法において、
サンプルデータ内の文字列を、先頭n文字が同じである文字列同士のグループに分類し、
該各グループから最頻出文字列を検出し、該最頻出文字列を該辞書に該初期値として登録する、
ことを特徴とするデータ圧縮方法。
(付記2)
サンプルデータから初期値を生成し、該初期値を予め辞書に登録してから該辞書を用いてデータを符号化するデータ圧縮方法において、
サンプルデータ内の文字列を、先頭n文字のハッシュ値が同じ文字列同士のグループに分類し、
該各グループから最頻出文字列を検出し、該最頻出文字列を該辞書に登録する、
ことを特徴とするデータ圧縮方法。
(付記3)
付記1または2記載のデータ圧縮方法であって、
前記最頻出文字列を検出する際、前記先頭n文字に後続する各文字の出現頻度を求め、
それらの出現頻度に基づいて最頻出文字列として決定することを特徴とするデータ圧縮方法。
(付記4)
付記3記載のデータ圧縮方法であって、
前記先頭n文字に後続する各文字の出現頻度の総和が最も大きい文字列を最頻出文字列として決定することを特徴とするデータ圧縮方法。
(付記5)
サーバが付記1または2記載のデータ圧縮方法により生成された辞書情報を保有し、
該サーバはクライアントに前記辞書情報を送信し、
前記サーバと前記クライアント間でデータの送受信を行う際には、該データを前記辞書情報により圧縮してから送受信する、
ことを特徴とする圧縮データ送信方法。
(付記6)
付記5記載の圧縮データ送信方法であって、
前記サーバは、提供するサービス毎に前記辞書情報を保有することを特徴とすることを特徴とする圧縮データ送信方法。
(付記7)
付記5記載の圧縮データ送信方法であって、
前記サーバは、前記クライアントとデータの送受信を行う前に、前記辞書情報を前記クライアントに配信する。
(付記8)
付記5記載の圧縮データ送信方法であって、
前記サーバは、提供するサービスの種別毎に前記辞書情報を保有し、クライアントにサービスを提供する際には、そのサービスに対応した前記辞書情報を用いて、クライアントに送信するデータを圧縮することを特徴とする圧縮データ送信方法。
(付記9)
付記5記載の圧縮データ送信方法であって、
前記クライアントは、サーバから提供されるサービスの種別毎に前記辞書情報を保有し、サーバにデータを送信する際には、そのサービスに対応した前記辞書情報を用いて前記データを圧縮することを特徴とする圧縮データ送信方法。
(付記10)
付記5記載の圧縮データ送信方法であって、
前記サーバは、付記1または2記載のデータ圧縮方法によって生成された前記辞書情報を複数保有し、前記クライアントにデータを送信する際には、該データの圧縮効率が最も良い前記辞書情報を用いて前記データを圧縮することを特徴とする圧縮データ送信方法。
(付記11)
付記5記載の圧縮データ送信方法であって、
前記クライアントは、付記1または2記載のデータ圧縮方法によって生成された前記辞書情報を複数保有し、前記サーバにデータを送信する際には、該データの圧縮効率が最も良い辞書を用いて前記データを圧縮することを特徴とする圧縮データ送信方法。
(付記12)
サンプルデータから初期値を生成し、該初期値を予め辞書に登録してから該辞書を用いてデータを符号化するデータ圧縮処理をコンピュータに実行させるプログラムであって、
サンプルデータ内の文字列を、先頭n文字が同じである文字列同士のグループに分類するステップと、
該各グループから最頻出文字列を検出し、該最頻出文字列を該辞書に該初期値として登録するステップと、
を備える処理をコンピュータに実行させるプログラム。
(付記13)
サンプルデータから初期値を生成し、該初期値を予め辞書に登録してから該辞書を用いてデータを符号化するデータ圧縮処理をコンピュータに実行させるプログラムであって、
サンプルデータ内の文字列を、先頭n文字のハッシュ値が同じ文字列同士のグループに分類するステップと、
該各グループから最頻出文字列を検出し、該最頻出文字列を該辞書に登録するステップと、
を備える処理をコンピュータに実行させることを特徴とするプログラム。
(付記14)
付記12または13項記載のプログラムであって、
前記最頻出文字列を検出する際、前記先頭n文字に後続する各文字の出現頻度を求め、
それらの出現頻度に基づいて最頻出文字列として決定するステップを備える処理をコンピュータに実行させることを特徴とするプログラム。
(付記15)
サンプルデータから初期値を生成し、該初期値を予め辞書に登録してから該辞書を用いてデータを符号化するデータ圧縮装置において、
サンプルデータ内の文字列を、先頭n文字が同じである文字列同士のグループに分類する手段と、
該各グループから最頻出文字列を検出し、該最頻出文字列を該辞書に該初期値として登録する手段と、
を備えることを特徴とするデータ圧縮装置。
(付記16)
サンプルデータから初期値を生成し、該初期値を予め辞書に登録してから該辞書を用いてデータを符号化するデータ圧縮装置において、
サンプルデータ内の文字列を、先頭n文字のハッシュ値が同じ文字列同士のグループに分類する手段と、
該各グループから最頻出文字列を検出し、該最頻出文字列を該辞書に登録する手段と、
を備えることを特徴とするデータ圧縮装置。
(付記17)
付記15または16記載のデータ圧縮装置であって、
前記登録手段は、前記最頻出文字列を検出する際、前記先頭n文字に後続する各文字の出現頻度を求め、それらの出現頻度に基づいて最頻出文字列として決定する手段を備えることを特徴とするデータ圧縮装置。
(付記18)
付記17記載のデータ圧縮方法であって、
前記登録手段は、前記先頭n文字に後続する各文字の出現頻度の総和が最も大きい文字列を最頻出文字列として決定する手段を備えることを特徴とするデータ圧縮装置。
21−1〜21−4 サンプルデータ
24 初期値
100 初期値作成用の情報処理装置
110 圧縮プログラム
111 ハッシュ表
112 初期値(初期値文字列)
113 ハッシュ関数
120 サンプルデータ
130 初期値作成プログラム
131 頻度カウンタ
132 後続最頻出ハッシュ値保持部
133 登録チェック部
140 圧縮側の情報処理装置
150 圧縮プログラム
151 ハッシュ表
152 初期値(初期値文字列)
153 ハッシュ関数
160 復元側のプログラム
170 圧縮プログラム
171 ハッシュ表
172 初期値(初期値文字列)
173 ハッシュ関数
200 APサーバ1
201 XML用サンプルデータ
210 APサーバ2
211 HTML用サンプルデータ
220 初期値作成プログラム
231、241 ハッシュ表
251 XMLデータ
252 HTMLデータ
300 フロントエンドサーバ
310 圧縮プログラム
311 ハッシュ表
312 初期値(初期値文字列)
313 登録テーブル
321 ネットワーク
330 クライアント
340 圧縮プログラム
341 ハッシュ表
342 初期値(初期値文字列)
343 登録テーブル
Claims (5)
- サンプルデータから初期値を生成し、該初期値を予め辞書に登録してから該辞書を用いてデータを符号化するデータ圧縮方法において、
サンプルデータ内の文字列を、先頭n文字が同じである文字列同士のグループに分類し、
該各グループから最頻出文字列を検出し、該最頻出文字列を該辞書に該初期値として登録する、
ことを特徴とするデータ圧縮方法。 - サンプルデータから初期値を生成し、該初期値を予め辞書に登録してから該辞書を用いてデータを符号化するデータ圧縮方法において、
サンプルデータ内の文字列を、先頭n文字のハッシュ値が同じ文字列同士のグループに分類し、
該各グループから最頻出文字列を検出し、該最頻出文字列を該辞書に登録する、
ことを特徴とするデータ圧縮方法。 - サーバが請求項1または2記載のデータ圧縮方法により生成された辞書情報を保有し、
該サーバはクライアントに前記辞書情報を送信し、
前記サーバと前記クライアント間でデータの送受信を行う際には、該データを前記辞書情報により圧縮してから送受信する、
ことを特徴とする圧縮データ送信方法。 - 請求項3記載の圧縮データ送信方法であって、
前記サーバは、提供するサービスの種別毎に前記辞書情報を保有し、クライアントにサービスを提供する際には、そのサービスに対応した前記辞書情報を用いて、クライアントに送信するデータを圧縮することを特徴とする圧縮データ送信方法。 - 請求項3記載の圧縮データ送信方法であって、
前記サーバは、請求項1または2記載のデータ圧縮方法によって生成された前記辞書情報を複数保有し、前記クライアントにデータを送信する際には、該データの圧縮効率が最も良い前記辞書情報を用いて前記データを圧縮することを特徴とする圧縮データ送信方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005317343A JP4456554B2 (ja) | 2005-10-31 | 2005-10-31 | データ圧縮方法及び圧縮データ送信方法 |
US11/343,290 US7310055B2 (en) | 2005-10-31 | 2006-01-31 | Data compression method and compressed data transmitting method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005317343A JP4456554B2 (ja) | 2005-10-31 | 2005-10-31 | データ圧縮方法及び圧縮データ送信方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006066951A Division JP4456574B2 (ja) | 2006-03-13 | 2006-03-13 | 圧縮データ送信方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007124561A true JP2007124561A (ja) | 2007-05-17 |
JP4456554B2 JP4456554B2 (ja) | 2010-04-28 |
Family
ID=37995583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005317343A Expired - Fee Related JP4456554B2 (ja) | 2005-10-31 | 2005-10-31 | データ圧縮方法及び圧縮データ送信方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7310055B2 (ja) |
JP (1) | JP4456554B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9219497B2 (en) | 2012-09-21 | 2015-12-22 | Fujitsu Limited | Compression device, compression method, and recording medium |
US9496895B2 (en) | 2012-12-19 | 2016-11-15 | Fujitsu Limited | Compression method and decompression method |
WO2018193707A1 (ja) * | 2017-04-20 | 2018-10-25 | 富士通株式会社 | 情報処理装置、プログラム、情報処理方法及びデータ構造 |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070080481A (ko) * | 2006-02-07 | 2007-08-10 | 삼성전자주식회사 | 노래 가사를 이용하여 하이라이트 구간을 검색하는 장치 및그 방법 |
EP2013974B1 (en) * | 2006-04-07 | 2018-07-11 | Data Storage Group | Data compression and storage techniques |
US7770091B2 (en) * | 2006-06-19 | 2010-08-03 | Monro Donald M | Data compression for use in communication systems |
US7836396B2 (en) * | 2007-01-05 | 2010-11-16 | International Business Machines Corporation | Automatically collecting and compressing style attributes within a web document |
US7511638B2 (en) * | 2007-07-12 | 2009-03-31 | Monro Donald M | Data compression for communication between two or more components in a system |
US7511639B2 (en) * | 2007-07-12 | 2009-03-31 | Monro Donald M | Data compression for communication between two or more components in a system |
US7737869B2 (en) * | 2007-07-12 | 2010-06-15 | Monro Donald M | Symbol based data compression |
US8290681B2 (en) * | 2007-10-29 | 2012-10-16 | GM Global Technology Operations LLC | Method and apparatus to produce a smooth input speed profile in mode for a hybrid powertrain system |
US7953881B1 (en) * | 2008-06-12 | 2011-05-31 | Juniper Networks, Inc. | Network characteristic-based compression of network traffic |
US7868788B2 (en) * | 2008-06-17 | 2011-01-11 | The Hong Kong University Of Science And Technology | System and method for encoding data based on a compression technique with security features |
US7786903B2 (en) | 2008-10-06 | 2010-08-31 | Donald Martin Monro | Combinatorial coding/decoding with specified occurrences for electrical computers and digital data processing systems |
US7864086B2 (en) | 2008-10-06 | 2011-01-04 | Donald Martin Monro | Mode switched adaptive combinatorial coding/decoding for electrical computers and digital data processing systems |
US7786907B2 (en) | 2008-10-06 | 2010-08-31 | Donald Martin Monro | Combinatorial coding/decoding with specified occurrences for electrical computers and digital data processing systems |
US7791513B2 (en) | 2008-10-06 | 2010-09-07 | Donald Martin Monro | Adaptive combinatorial coding/decoding with specified occurrences for electrical computers and digital data processing systems |
KR101049699B1 (ko) * | 2009-07-17 | 2011-07-15 | (주)이스트소프트 | 데이터의 압축방법 |
JP5234030B2 (ja) * | 2010-03-15 | 2013-07-10 | オムロン株式会社 | タグ通信装置、タグ通信装置の制御方法、およびタグ通信装置制御プログラム |
US8972488B2 (en) * | 2010-09-28 | 2015-03-03 | Redis Labs Ltd. | System, methods, and media for providing in-memory non-relational databases |
US8484170B2 (en) | 2011-09-19 | 2013-07-09 | International Business Machines Corporation | Scalable deduplication system with small blocks |
JP5966673B2 (ja) * | 2012-06-28 | 2016-08-10 | 富士通株式会社 | 符号処理のためのプログラム及びデータ構造 |
CN103795490B (zh) * | 2012-10-30 | 2017-09-19 | 深圳中兴网信科技有限公司 | 一种数据传输加速的方法及*** |
WO2014147672A1 (ja) * | 2013-03-22 | 2014-09-25 | 富士通株式会社 | 圧縮装置、圧縮方法、辞書生成装置、辞書生成方法、伸長装置、伸長方法、伸長プログラムおよび情報処理システム |
US9335987B2 (en) * | 2013-12-09 | 2016-05-10 | International Business Machines Corporation | Data object with common statement series |
US9435652B2 (en) * | 2013-12-19 | 2016-09-06 | Novatel Wireless, Inc. | Dynamic routing intelligent vehicle enhancement system |
JP2016170750A (ja) * | 2015-03-16 | 2016-09-23 | 富士通株式会社 | データ管理プログラム、情報処理装置およびデータ管理方法 |
US9953058B1 (en) | 2015-07-29 | 2018-04-24 | Levyx, Inc. | Systems and methods for searching large data sets |
US10693495B2 (en) * | 2017-10-10 | 2020-06-23 | The Boeing Company | Data collection device with efficient data compression |
CN112905551B (zh) * | 2019-12-04 | 2022-04-29 | 阿里巴巴集团控股有限公司 | 数据压缩方法、装置、电子设备及计算机可读存储介质 |
DE102019220084B3 (de) | 2019-12-18 | 2021-03-04 | Continental Automotive Gmbh | Verfahren, ein Sender und ein System zur kontinuierlichen Optimierung der Datenkomprimierung unter Verwendung häufigkeitsbasierter Wörterbuch-Nachschlagetabellen in einem Fahrzeug |
CN111193752A (zh) * | 2020-02-28 | 2020-05-22 | 广州市百果园信息技术有限公司 | 一种数据压缩的方法、装置、压缩服务器和存储介质 |
CN111782660A (zh) * | 2020-07-17 | 2020-10-16 | 支付宝(杭州)信息技术有限公司 | 基于键值存储的数据压缩的方法和*** |
JP2023128936A (ja) * | 2022-03-04 | 2023-09-14 | キオクシア株式会社 | 情報処理装置及び初期辞書作成方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03247167A (ja) * | 1990-02-26 | 1991-11-05 | Fujitsu Ltd | データ圧縮方式 |
JPH03270417A (ja) * | 1990-03-20 | 1991-12-02 | Fujitsu Ltd | データ圧縮方法および圧縮データのデータ復元方法 |
JPH05241778A (ja) * | 1992-03-03 | 1993-09-21 | Fujitsu Ltd | データ圧縮及び復元方式 |
JPH05241775A (ja) * | 1992-02-28 | 1993-09-21 | Fujitsu Ltd | データ圧縮方式 |
JPH05241777A (ja) * | 1992-02-28 | 1993-09-21 | Fujitsu Ltd | データ圧縮方式 |
JPH10261969A (ja) * | 1997-03-19 | 1998-09-29 | Hitachi Ltd | データ圧縮方法および装置 |
JPH11168390A (ja) * | 1997-12-03 | 1999-06-22 | Fujitsu Ltd | データ圧縮装置及びデータ復元装置,データ圧縮方法及びデータ復元方法,データ圧縮/復元用辞書作成装置並びにデータ圧縮プログラム又はデータ復元プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2000269822A (ja) * | 1999-03-12 | 2000-09-29 | Fujitsu Ltd | データ圧縮装置、及びデータ復元装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5274805A (en) * | 1990-01-19 | 1993-12-28 | Amalgamated Software Of North America, Inc. | Method of sorting and compressing data |
US5254990A (en) * | 1990-02-26 | 1993-10-19 | Fujitsu Limited | Method and apparatus for compression and decompression of data |
JPH0554077A (ja) * | 1991-08-29 | 1993-03-05 | Nec Corp | 単語辞書検索装置 |
JP3541930B2 (ja) | 1998-08-13 | 2004-07-14 | 富士通株式会社 | 符号化装置及び復号化装置 |
-
2005
- 2005-10-31 JP JP2005317343A patent/JP4456554B2/ja not_active Expired - Fee Related
-
2006
- 2006-01-31 US US11/343,290 patent/US7310055B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03247167A (ja) * | 1990-02-26 | 1991-11-05 | Fujitsu Ltd | データ圧縮方式 |
JPH03270417A (ja) * | 1990-03-20 | 1991-12-02 | Fujitsu Ltd | データ圧縮方法および圧縮データのデータ復元方法 |
JPH05241775A (ja) * | 1992-02-28 | 1993-09-21 | Fujitsu Ltd | データ圧縮方式 |
JPH05241777A (ja) * | 1992-02-28 | 1993-09-21 | Fujitsu Ltd | データ圧縮方式 |
JPH05241778A (ja) * | 1992-03-03 | 1993-09-21 | Fujitsu Ltd | データ圧縮及び復元方式 |
JPH10261969A (ja) * | 1997-03-19 | 1998-09-29 | Hitachi Ltd | データ圧縮方法および装置 |
JPH11168390A (ja) * | 1997-12-03 | 1999-06-22 | Fujitsu Ltd | データ圧縮装置及びデータ復元装置,データ圧縮方法及びデータ復元方法,データ圧縮/復元用辞書作成装置並びにデータ圧縮プログラム又はデータ復元プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2000269822A (ja) * | 1999-03-12 | 2000-09-29 | Fujitsu Ltd | データ圧縮装置、及びデータ復元装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9219497B2 (en) | 2012-09-21 | 2015-12-22 | Fujitsu Limited | Compression device, compression method, and recording medium |
US9496895B2 (en) | 2012-12-19 | 2016-11-15 | Fujitsu Limited | Compression method and decompression method |
WO2018193707A1 (ja) * | 2017-04-20 | 2018-10-25 | 富士通株式会社 | 情報処理装置、プログラム、情報処理方法及びデータ構造 |
JP2018181196A (ja) * | 2017-04-20 | 2018-11-15 | 富士通株式会社 | 情報処理装置、プログラム、情報処理方法及びデータ構造 |
US11222068B2 (en) | 2017-04-20 | 2022-01-11 | Fujitsu Limited | Information processing device, information processing method, and data structure |
JP7003435B2 (ja) | 2017-04-20 | 2022-01-20 | 富士通株式会社 | 情報処理装置、プログラム、情報処理方法及びデータ構造 |
Also Published As
Publication number | Publication date |
---|---|
JP4456554B2 (ja) | 2010-04-28 |
US20070096953A1 (en) | 2007-05-03 |
US7310055B2 (en) | 2007-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4456554B2 (ja) | データ圧縮方法及び圧縮データ送信方法 | |
US9727574B2 (en) | System and method for applying an efficient data compression scheme to URL parameters | |
CN103970793B (zh) | 信息查询方法、客户端及服务器 | |
JP5989781B2 (ja) | モバイル環境における漸進的パターンマッチングのための方法および装置 | |
CN102594809B (zh) | 一种文件快速扫描方法和*** | |
CN114731162A (zh) | 压缩数据的部分下载 | |
CN115208414B (zh) | 数据压缩方法、数据压缩装置、计算机设备及存储介质 | |
WO2013097812A1 (zh) | 一种下载字库文件的方法和*** | |
CN111259217A (zh) | 一种***的存档方法、装置及计算机可读存储介质 | |
JP4548184B2 (ja) | 圧縮規則生成方法、圧縮通信装置及びプログラム | |
CN108563795B (zh) | 一种加速压缩流量正则表达式匹配的Pairs方法 | |
US20120110025A1 (en) | Coding order-independent collections of words | |
CN104052774B (zh) | 一种数据传输方法及*** | |
CN113449829B (zh) | 基于光学字符识别技术的数据传输方法及相关装置 | |
JP4456574B2 (ja) | 圧縮データ送信方法 | |
CN110598057B (zh) | 一种面向遥测数据的数据搜索方法及装置 | |
CN108573069B (zh) | 一种加速压缩流量正则表达式匹配的Twins方法 | |
CN114039801B (zh) | 一种短链接生成方法、解析方法和***、设备、存储介质 | |
CN116127945A (zh) | 网络链接处理方法和装置、电子设备、存储介质 | |
CN107690057B (zh) | 会议视频数据交互方法及装置 | |
CN115865457A (zh) | 一种网络攻击行为的识别方法、服务器及介质 | |
CN113204683A (zh) | 信息重构方法和装置、存储介质及电子设备 | |
CN113473171A (zh) | 资源处理方法及装置 | |
US20170048303A1 (en) | On the fly statistical delta differencing engine | |
CN109840294B (zh) | 电子元件配套资料查询方法、存储介质及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100202 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100205 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130212 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140212 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |