JPH05181913A - 昇順整数列データの圧縮および復号システム - Google Patents

Abstract

(57)【要約】 【目的】 昇順整数列データの圧縮および復号における
計算量を少なくし、処理時間を短縮する。 【構成】 昇順整数列データＤ１を除算部１２で除算
し、得られた商を商記憶比較部１４においてそれまでの
古い商と比較し、商が変化した場合のみ商の差と余りを
圧縮数列Ｄ２として保存し、商が変化しない場合には余
りのみを保存する。除算によってデータ量が減るため、
圧縮および復号の処理時間が短縮される。また、データ
量ー全体にわたるパラメータを必要としないため、デー
タの追加、削除が可能である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、単調増加的に配列され
た昇順整数列データの圧縮および復号システムに関し、
特にデータベースから必要な情報を取り出すためのデー
タベース検索システムにおいて検索されるデータが単調
増加的に配列された整数列データである場合のそのデー
タの圧縮および復号システムに関する。

【０００２】

【従来の技術】従来、データを圧縮および復号する方法
の代表的なものとしては、ハフマン法、シャノン・ファ
ノ法、ギルバート・ムーア法、ランレングス符号化法な
どが知られている。たとえばハフマン法を用いたものと
しては特開平２−７８３２３号などが挙げられる。

【０００３】

【発明が解決しようとする課題】これらの方法は主とし
て、データの文字ごとの出現頻度を測定し、頻度の高い
ものから優先的にデータのサイズを圧縮するものであ
る。これらの方法は、任意の形態のデータに適用できる
利点がある反面、圧縮、復号に数段階の処理を必要とす
るため、特に速度が要求される際には不向きである。

【０００４】本発明は、上記のような問題に鑑み、単調
増加的（昇順）に配列された整数列データを高速で圧縮
するとともに、圧縮されたデータを記憶する記憶手段の
容量を小さくすることのできる圧縮および復号システム
を提供することを目的とする。

【０００５】

【課題を解決するための手段】本発明の圧縮および復号
システムは、昇順に配列された整数列データの圧縮およ
び復号において、昇順に配列された整数列データについ
て除算を行う除算手段と、除算手段により得られた商を
すでに記憶された古い商と比較し、得られた商が古い商
よりも大きい場合にこれらの商の差を出力する商記憶比
較手段と、商記憶比較手段から商の差が出力された場合
には商の差とともに除算手段により得られた余りを記憶
し、商記憶比較手段から商の差が出力されない場合には
除算手段により得られた余りのみを記憶する記憶手段
と、記憶手段に記憶された商の差および余りのデータか
ら元の整数列データを復号する復号手段とを具備する。

【０００６】

【作用】本発明によれば、圧縮時には昇順に配列された
データを除算し、得られた商をそれまでの古い商と比較
して商の差がある場合にのみ商の差を保存するとともに
余りを保存し、商の差がない場合には余りのデータのみ
を保存するようにしている。したがって、従来の一般的
な圧縮符号化方法に比べて計算量を大幅に節約できるか
ら、高速で圧縮および復号を行うことができる。また、
統計量のようなデータ全体にわたるパラメータを必要と
しないため、データの追加や削除を容易に実施すること
ができる。

【０００７】

【実施例】図１には、本発明によるシステムの一実施例
が示されている。同図に示すように、整数列データＤ１
は３２０、３３３、４０１．．．と、単調増加的（昇
順）に配列されている。これらのデータはたとえば３２
ビットで表される。整数列データＤ１は圧縮装置におい
て、除算部１２に送られる。除算部１２は入力されたデ
ータに対して所定の値によって除算を行う。本実施例で
は入力されたデータを２５５で割る。得られた商は商記
憶比較部１４に送られ、余りは圧縮数列Ｄ２処理部１６
に送られる。

【０００８】商記憶比較部１４は入力された新しい商Ｐ
new を記憶されている古い商Ｐoldと比較する。古い商
Ｐold は初期値として０が与えられる。商記憶比較部１
４はＰnew ＞Ｐold の場合には、桁上がりを示すマーク
文字Ｃおよび商の差Ｐnew −Ｐold を圧縮数列Ｄ２処理
部１６に送るとともに、記憶されていた古い商Ｐoldに
代えて新しい商Ｐnew を記憶する。この条件を満たさな
い場合には、商記憶比較部１４は圧縮数列Ｄ２処理部１
６へ何らデータを送らない。

【０００９】本実施例においては、最初のデータ３２０
を２５５で割ると、商１、余り６５が得られるが、古い
商Ｐold の初期値として０が与えられているため、Ｐne
w ＞Ｐold を満たし、商記憶比較部１４は桁上がりを示
すマーク文字Ｃおよび商の差１を圧縮数列Ｄ２処理部１
６に送るとともに、記憶されていた古い商０に代えて新
しい商１を記憶する。

【００１０】圧縮数列Ｄ２処理部１６は、商記憶比較部
１４から送られた桁上がりを示すマーク文字Ｃおよび商
の差１、および除算部１２から送られた余り６５を記憶
する。

【００１１】次に整数列データＤ１として３３３が送ら
れると、除算部１２はこれを同様に２５５で割る。この
場合には商１、余り７８となる。商記憶比較部１４は新
しい商Ｐnew を記憶されている古い商Ｐold と比較す
る。この場合にはＰnew およびＰold はいずれも１であ
るから、上記の条件Ｐnew ＞Ｐold を満たさない。した
がって、圧縮数列Ｄ２処理部１６には除算部１２からの
余りのデータのみが送られる。

【００１２】同様の動作を繰り返すことにより、圧縮数
列Ｄ２処理部１６には圧縮されたデータが順次送られ
る。これらの圧縮データは保存部１８に記憶される。

【００１３】復号においては、保存部１８に記憶された
圧縮データが圧縮数列Ｄ２処理部１６に取り出され、読
み取り部２２により読み取られる。読み取り部２２は、
圧縮データに桁上がりを示すマーク文字Ｃが出現した場
合には、その直後のデータをバイアス記憶部２４に送
る。また、マーク文字Ｃの出現の有無にかかわらず、余
りのデータを加算部２６に送る。

【００１４】たとえば本実施例における最初の圧縮デー
タは、桁上がりを示すマーク文字Ｃがあるから、その直
後のデータ１をバイアス記憶部２４に送る。また、余り
のデータ６５を加算部２６に送る。

【００１５】バイアス記憶部２４は、同図に示すよう
に、商に基づく値Ｉを保存し、読み取り部２２からマー
ク文字Ｃの直後のデータΔＰ、すなわち商の差が送られ
た場合には除数Ｌと商の差ΔＰとの積Ｌ×ΔＰを、それ
まで保存されていた値Ｉに加算し、得られた値を新たな
値Ｉとして保存するとともに、加算部２６へ出力する。
Ｉの初期値は０とされる。

【００１６】本実施例においては、上記のようにマーク
文字Ｃの直後のデータΔＰとして１が送られており、除
数Ｌは２５５であるから、バイアス記憶部２４は２５５
×１をＩの初期値０に加算した値２５５を保存するとと
もに、加算部２６へ出力する。

【００１７】加算部２６は、バイアス記憶部２４から送
られるＩと読み取り部２２から送られる余りを加算す
る。この例では、バイアス記憶部２４から送られる２５
５と読み取り部２２から送られる余り６５を加算し、復
号データ３２０を得る。得られた復号データは復元数列
Ｄ３保持部２８に送られ、必要に応じて出力される。

【００１８】本実施例によれば、上記のように圧縮時に
昇順データを除数Ｌで除算し、得られた商をそれまでの
古い商と比較して商の差がある場合にのみ商の差を保存
するとともに余りを保存し、商の差がない場合には余り
のデータのみを保存するようにしている。したがって、
従来の一般的な圧縮符号化方法に比べて計算量を大幅に
節約できるから、高速で圧縮および復号を行うことがで
きる。また、統計量のようなデータ全体にわたるパラメ
ータを必要としないため、データの追加や削除を容易に
実施することができる。

【００１９】本発明による圧縮および復号システムは、
各種の昇順に配列された整数列データの圧縮および復号
に適用できる。たとえば次のようなデータ検索システム
におけるデータの処理に適用できる。

【００２０】図２は、本発明が適用される一実施例を示
す近傍特徴量の抽出によるパターン検索システムのデー
タフロー図である。この検索システムでは、予め全対象
物件から事象（情報）の位相情報を全て捨象した近傍特
徴量データを作成し、そのデータ群に対して全物件検索
を行なう。検索のアルゴリズムは、学習ステップと検索
ステップとからなる。学習ステップでは、物件毎に近傍
特徴量行列が位相情報として作成される。検索ステップ
では、検索キーと近傍特徴量行列とのマッチング演算が
行なわれ、物件ごとにマッチング度（類似度）を示す評
価結果を得る。以下、各ステップについて説明する。

【００２１】（１）、学習ステップ 図２に於いて、検索対象１０は、例えば日本語、英語、
ドイツ語、フランス語、ヘブライ語、ロシア語などの文
書データ、或いは量子化された波形数値データ、化学構
造式、遺伝子情報などである。このような検索対象に対
して、まず正規化手段Ｓ１により正規化の処理を行な
う。一般に検索対象は、情報の最小単位（文書であれば
アルファベットなどの文字、数値チャートであれば、あ
る時刻における実数値など）の列で表現されている。そ
れをなんらかの方法でｎ階調の整数列に変換する。これ
をデータの正規化と呼ぶ。

【００２２】例えば、英文書データの場合、ＡＳＣＩＩ
コード表をそのまま用いることにより、次のような２５
６階調の数値表現として実現される。 …… This is a pen. …… 84｜104 ｜105 ｜115 ｜32｜105 ｜115 ｜32｜97｜32｜112 ｜101 ｜110 ｜46｜

【００２３】上記のコードにおいては、Ｔが84、ｈが10
4 ．．と対応している。

【００２４】正規化されたデータ２０は、次に学習手段
Ｓ２により近傍特徴量行列３０の形式に畳込まれる。こ
こで近傍特徴量をとる演算式は種々考えられる。この演
算式は検索の鋭さ（過検出の少なさ）にも影響を与え
る。

【００２５】今、ｉ番目の物件（文書）のｊ番目のデー
タ（文字）をＣ_i,j とし、Ｃ_i,j に関する量子化量ｘと
Ｃ_i,j の前方ｋ近傍に関する量子化量ｙを次のようにし
て求める。ここでは、検索される対象物件（文書）がｎ
個あるとし、そのうちのｉ番目の物件の量子化について
説明する。ｉ番目の物件において、図３に示すように正
規化された数値列135,64,37,71,101,...が並んでいると
すると、Ｃ_i,j に関する量子化量ｘは、 ｘ＝f(Ｃ_i,j ） Ｃ_i,j の前方ｋ近傍に関する量子化量ｙは ｙ＝g(Ｃ_i,j , Ｃ_i,j+1,Ｃ_i,j+2,...., Ｃ_i,j+k ) で求められる。

【００２６】ここで、f(Ｃ_i,j ）はＣ_i,j に関するｎ段
階量子化関数である。すなわち、ｉ番目の物件のｊ番目
のデータＣ_i,j について所定の演算を行って得られる値
であり、１〜ｎのいずれかの整数で表される。したがっ
て、得られたｘの値によって図４に示す行列（座標）に
おいてｘ軸方向の位置が１〜ｎの範囲で定まる。

【００２７】また、g(Ｃ_i,j , Ｃ_i,j+1,Ｃ_i,j+2,....,
Ｃ_i,j+k ) は、Ｃ_i,j の前方ｋ近傍に関するｍ段階量子
化関数である。すなわち、ｉ番目の物件のｊ番目のデー
タＣ_i,j とそのデータの近傍の所定の数のデータについ
て所定の演算を行って得られる値であり、１〜ｍのいず
れかの整数で表される。たとえば図３に示すようにｊ番
目のデータＣ_i,j が１３５であり、ｋが３の場合には、
Ｃ_i,j+1,Ｃ_i,j+2,Ｃ_i,j+3 としてデータ１３５に続くデ
ータ６４、３７、７１を抽出し、これらのデータとデー
タ１３５との相関について所定の演算を行う。ｊ番目の
データＣ_i,j が次の６４の場合には、Ｃ_i,j+1,Ｃ_i,j+2,
Ｃ_i,j+3 としてデータ６４に続くデータ３７、７１、１
０１を抽出し、これらのデータとデータ６４との相関に
ついて所定の演算を行う。

【００２８】このようにして得られたｙの値によって、
図４に示す行列（座標）におけるｙ軸方向の位置が１〜
ｍの範囲で定まる。したがって、上記のようにｘ、ｙを
求めることによって図４に示す行列（座標）における位
置が定まる。

【００２９】本システムでは、各物件情報は、上記のよ
うにして求めたｘ、ｙに対して物件の通番ｉと重みｗ
（x,y,i)の組として記憶される。重みｗ（x,y,i)は、デ
ータｘ、ｙ、ｉから所定の演算によって求められるが、
通常は重みｗ（x,y,i)の値は１に固定される。

【００３０】上記のようにして求められたデータＣ_i,j
ごとにｘ、ｙの値に基づき図４に棒によって示されるよ
うに、データを記憶する。すなわち、データＣ_i,j の
ｘ、ｙの値によって定められる座標の位置に、その物件
の通番ｉとその重みｗ（x,y,i)を組みとしたデータを記
憶する。同図ではこのようなデータが記憶されるごとに
棒の長さが延びるように表されている。通常は重みｗ
（x,y,i)は１とされるから、物件の通番ｉのデータのみ
がｘ、ｙの値によって定められる座標の位置に記憶され
てゆく。この物件の通番ｉのデータは昇順に配列された
整数データであるから、前述の方法による圧縮および復
号に適している。したがって、前述の圧縮を行うことに
より、高速でデータを圧縮し、データの記憶容量を小さ
くすることができる。

【００３１】この様にして作成された近傍特徴量行列に
物件の識別番号を付加して構造ファイル４０として保存
する。

【００３２】（２）、検索ステップ まず検索キー５０を入力する。例えば、"This is a pe
n."を検索キーとする。この検索キー５０に対して学習
ステップと同一の正規化方法に基づく正規化手段Ｓ３に
よりキー情報を整数列に正規化する。 84｜104 ｜105 ｜115 ｜32｜105 ｜115 ｜32｜97｜32｜112 ｜101 ｜110 ｜46｜

【００３３】次に、検索手段Ｓ４において、学習ステッ
プと同一の自己相関計算式f() 、g() を用いて各物件に
対応する正規化された数値列の先頭からｘ、ｙの組の系
列を作成する。次に、このｘ、ｙの組の系列に基づい
て、物件ｋに対する検索キーの含有度数ω_k として、Ｖ
（ｘ_j,ｙ_j,ｋ）をｊ＝１〜ｍについて合計することによ
り算出する。

【００３４】ただし、Ｖ（ｘ_j,ｙ_j,ｋ）は、物件情報リ
ストが物件ｉについての重みを持つ場合、はその重みに
等しく、持たない場合には０と定める。

【００３５】したがって、検索すべき数値列のｘ、ｙの
組に対応する図４のｘ、ｙの位置にデータがある場合
（棒がある場合）には、別に設けられた記憶手段のその
データに示される物件の通番ｉの格納箇所にその重みの
値を記憶させる。

【００３６】次に、評価結果出力手段Ｓ５において、物
件毎に得られた構造評価値score （合致度）を完全一致
の場合の評価値（この場合は、文字数−ｋ、）で割っ
て、検索キーの含有確率を求め、評価結果のリスト７０
を得る。更にソート手段Ｓ６において、このリスト７０
を含有確率の降順にソートしソート済みリスト８０を得
る。

【００３７】このソート済みリスト８０が検索結果であ
り、その上位物件を参照することにより、検索キーが物
件中に含まれている確率が高い物件名を知ることができ
る。含有確率は、完全一致及び不完全一致の全てについ
て求まるから、あいまい一致検索を行なうことができ
る。

【００３８】また、検索キーの全情報についての全物件
探索であるから、検索もれが発生する確率は、本質的に
零であると言う特徴がある。

【００３９】また、１つの物件に対する検索キーの評価
時間は、キーの文字数のみに依存し、物件の大きさには
依存しない。従って、非常に高速に検索を行なうことが
できる。

【００４０】また検索結果のリストどうしの論理演算を
行うことにより、検索条件に対するＡＮＤ、ＯＲなどの
検索演算処理も高速に実行できる。式（１）の自己相関
式は上述の例の他に種々考えることができる。例えば、 f: x→x g: (x,y)→x-y （または｜x-y ｜） とすれば、隣接文字及び一つ置きの文字の差分（または
差分の絶対値）を相関情報として近傍特徴量行列を作る
ことができる。また幾つかの文字列の個々の文字整数値
に対し四則演算を施すことにより近傍特徴量を取り出し
てもよい。

【００４１】近傍特徴量は、各物件の全データを対象と
し取り出さなくてもよい。例えば、物件データ中の特定
の一つまたは一つ以上の整数値、特定の範囲の整数値、
或いはデータ列を構成する各バイト中の特定の１つまた
は一つ以上のビットを除外して近傍特徴量を捨象しても
よい。また日本語文書のように２バイト文字で構成され
ている場合には、例えば上位バイトを除外して下位バイ
トを対象として近傍特徴量を取り出してもよい。

【００４２】上述の例では、近傍特徴量によって生成さ
れる行列は、２５６次のビット行列であり、これは８K
バイトに相当する。従って、１物件のデータが１K バイ
ト程度であるデータベースでは、効率のよいシステムで
あるとは言えない。そこで上記のようなデータ圧縮手段
Ｓ７を設けてデータ圧縮を行なって構造ファイル４０の
容量を減らすのがよい。

【００４３】図５にデータ圧縮法の一例を示す。この例
では、２５６次の近傍特徴量行列の各要素毎に要素値が
１である物件名４０ａ（識別コード）を１バイト／件の
データ列として蓄積する。従って、要素値が０である物
件名は不要データとして除外する。

【００４４】物件数が２５５個以上ある場合には、物件
名４０ａは１バイトで表せないので、下位の１バイトの
みを蓄積する。例えば、物件数が１万件の場合、物件名
は２バイトで表されるが、そのうちの下位１バイトを使
用する。そして物件名コードが２５５を越える毎にデー
タ列にマーカ４０ｂを挿入する。

【００４５】検索時には、検索キーの近傍特徴量の各々
に該当する構造ファイルのデータ列を取り出し、物件名
毎の出現度数テーブルを作成する。この際、マーカ４０
ｂを越える毎に物件名コードに２５５を加える。このよ
うにして作成した出現度数テーブルに基づいて図２の評
価結果リスト７０が得られる。

【００４６】なお物件名コードのデータ列が例えば全物
件中の半分以上ある場合には、その近傍特徴量行列要素
は各物件について共通であると見なして、その要素を削
除してもよい。

【００４７】上述の実施例において，正規化手段Ｓ１、
学習手段Ｓ２、正規化手段Ｓ３、検索手段Ｓ４、評価結
果出力手段Ｓ５、ソート手段Ｓ６、データ圧縮手段Ｓ７
は、コンピュータプログラムによって構成することがで
きるが、論理回路素子を用いて専用のハードウエアを構
成してもよい。

【００４８】

【発明の効果】本発明の従来の一般的な圧縮符号化方法
に比べて計算量を大幅に節約できるから、高速で圧縮お
よび復号を行うことができる。また、統計量のようなデ
ータ全体にわたるパラメータを必要としないため、デー
タの追加や削除を容易に実施することができる。

【図面の簡単な説明】

【図１】本発明による圧縮復号システムの一実施例のデ
ータフロー図である。

【図２】本発明による圧縮復号システムを適用するデー
タベース検索システムのデータフロー図である。

【図３】近傍情報の量子化を示す図である。

【図４】記憶される情報構造を示す図である。

【図５】圧縮された近傍特徴量のデータ構成図である。

【符号の説明】

１０ 検索対象 １２ 除算部 １４ 商記憶比較部 １６ 圧縮数列Ｄ２処理部 １８ 保存部 ２０ 正規化データ ２２ 読み取り部 ２４ バイアス記憶部 ２６ 加算部 ２８ 復元数列Ｄ３保持部 ３０ 近傍特徴量行列 ４０ 構造ファイル ５０ 検索キー ６０ 正規化キー ７０ 評価結果リスト ８０ ソート済みリスト Ｓ１ 正規化手段 Ｓ２ 学習手段 Ｓ３ 正規化手段 Ｓ４ 検索手段 Ｓ５ 評価結果出力手段 Ｓ６ ソート手段 Ｓ７ データ圧縮手段

Claims (4)

【特許請求の範囲】
1. 【請求項１】 昇順に配列された整数列データの圧縮お
   よび復号システムにおいて、 昇順に配列された整数列データについて除算を行う除算
   手段と、 前記除算手段により得られた商をすでに記憶された古い
   商と比較し、前記得られた商が前記古い商よりも大きい
   場合にこれらの商の差を出力する商記憶比較手段と、 前記商記憶比較手段から前記商の差が出力された場合に
   は前記商の差とともに前記除算手段により得られた余り
   を記憶し、前記商記憶比較手段から前記商の差が出力さ
   れない場合には前記除算手段により得られた余りのみを
   記憶する記憶手段と、 前記記憶手段に記憶された前記商の差および余りのデー
   タから元の整数列データを復号する復号手段とを具備す
   ることを特徴とする昇順整数列データの圧縮および復号
   システム。
2. 【請求項２】 前記商記憶比較手段は、前記得られた商
   が前記古い商よりも大きい場合に桁上がりを示すマーク
   とともに前記商の差を出力することを特徴とする請求項
   １の昇順整数列データの圧縮および復号システム。
3. 【請求項３】 検索対象の物件毎にその近傍特徴量を記
   憶した記憶手段と、 検索キーの近傍特徴量と検索対象の上記近傍特徴量との
   合致度を物件毎に求め、物件番号を合致度の降順に出力
   する検索手段とを具備するデータベース検索に用いられ
   ることを特徴とする請求項１の昇順整数列データの圧縮
   および復号システム。
4. 【請求項４】 検索対象のｉ番目の物件のｊ番目のデー
   タ列Ｃ_i,j に関する量子化量ｘとその近傍のｋ個のデー
   タ列Ｃ_i,j+1,Ｃ_i,j+2,...., Ｃ_i,j+k に関する量子化量
   ｙとを ｘ＝f(Ｃ_i,j ） ｙ＝g(Ｃ_i,j , Ｃ_i,j+1,Ｃ_i,j+2,...., Ｃ_i,j+k ) によって求め、得られたｘ、ｙの値に基づいて定められ
   る記憶手段の位置にその物件の通番ｉを記憶するデータ
   ベース検索に用いられることを特徴とする請求項３の昇
   順整数列データの圧縮および復号システム。