JPH03116268A - 文字属性管理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、シフト文字により各文字に対する文字も一ド
の長さの変わり目を示し、且つ各文字に対する属性を定
義している言語処理システムにおける文字属性管理方式
に関する。

（従来の技術） 近年の情報処理システムにおいては、日本語データの処
理機能が必要不可欠となってきている。

日本語の字は漢字を含めると数万種にもなるので、日本
語の字を１バイトで表現することはできない。

従って、情報処理システムにおいては、この１バイトで
表現できない文字に対する処理系を作成しなければなら
ないので、様々な問題が発生している。即ち、アルファ
ベットを標準とした１バイトコード系を拡張して、１文
字を２バイトで表現する日本語コード系を構成したこと
に起因する問題である。このように２バイトで表現され
た文字を２バイト文字という。いま、２バイト文字が、
２バイト文字の始まりを表すシフト文字（ここでは仮に
ｌ’−ＫＩＪとする）と２バイト文字の終わりを表すシ
フト文字（ここでは仮に「ＫＯ」とする）ではさまれて
構成され、それ以外は１バイト文字で゛あるような日本
語処理システムを考える。１バイト文字とは１バイトだ
けで表現された文字と定義して以下では用いる。

このようなシステムにおける文字属性管理方式では、１
バイト文字の各文字に対する種々の属性の有無を表すビ
ットテーブルを用意していた。例えば、１バイトが８ビ
ツトの文字で３２種類の属性を管理しようとすると、要
素（文字の種類）が２５６となり、１要素当り４バイト
（即ち３２ビツト）のテーブルが必要となる。そして、
文字コードをそのままビットテーブルの要素番号とし、
この属性テーブルの内容の参照および更新をしている。

また、全ての２バイト文字に属性を与えるためには、２
バイトを一文字とする全ての文字に対するビットテーブ
ルを用意していた。例えば、１バイトを８ビツトとする
と２バイト文字では要素数が６５５３６となり、これら
の要素数に対応するテーブルの内容を前者と同様に参照
し更新していた。この場合には、１バイト文字にはその
１バイ−βの文字コードの前に０を補い、その１バイト
文字を２バイト文字として扱っていた。

（発明が解決しようとする課題） 上に述べた従来の方式では、１バイト文字の各文字に対
する種々の属性の有無を表すビットテーブルを用意した
場合、１バイト文字だけに属性を与えることができ、２
バイト文字には属性が与えられない。例えば、１バイト
文字の空白には、単語の区切りであるという属性を与え
られるが、２バイト文字にはそのような属性が与えられ
ないので、２バイト文字の空白は、この区切りとしての
役割を果すことができない。

また、２バイトを１文字とする全ての文字に対するビッ
トテーブルを用意する場合は、テーブルとして２５６に
バイトもの大量な記憶領域が必要となり、しかも、使用
している領域は極わずかで無駄な領域が非常に多い。こ
のような場合に２バイト文字を参照したとき、１バイト
文字の前１バイトに０を補った２バイトなのか、２バイ
ト文字の１バイト目が０の２バイト文字なのか区別がつ
かな′□くなるので、このような文字には属性が与えら
れない。

（課題を解決するための手段） 本発明の文字属性管理方式は、上記目的を達成するため
に、シフト文字により各文字に対する文字コードの長さ
の変わり目を示し、且つ各文字に対する属性を定義して
いる言語処理システムにおける文字属性管理方式におい
て、 前記各文字の文字コードの長さに対応してそれぞれ設け
られたｎバイトコードテーブルと、該ｎバイトコードテ
ーブルの先頭アドレスが設定されるアドレスレジスタと
、シフト文字チェック手段と、テーブルスイッチ手段と
、バイトコードテーブル検索手段と、属性ビットテーブ
ル参照手段とを設けてなり、 前記ｎバイトコードテーブルは、前記文字コードの各バ
イトに対応したコードテーブルを備え、該コードテーブ
ルの各エントリには、次のコードテーブルのアドレスを
示すポインタ情報または前記属性を示す情報が設定され
る第１フィールドと、該エントリに対応する文字がシフ
ト文字か否かを該エントリに対応する文字指定ビットが
設定される第２フィールドと、前記第１フィールドに設
定されている情報がポインタ情報か前記属性を示す情報
かを指定する指定ビットが設定される第３フィールドと
が含まれ、 前記シフト文字チェック手段は、入力された文字に対す
る文字コードの第１バイト目のコードに対応する前記ｎ
バイトコードを入力し、前記アドレスレジスタの第２フ
ィールドに設定されているシフト文字指定ビットを判定
し、該シフト文字指定ビットがシフト文字を示すときは
前記入力された文字の文字コードの長さを調べ、 前記テーブルスイッチ手段は、前記シフト文字判定手段
により調べられた文字コードの長さに対応する前記ｎバ
イトコードテーブルの先頭アドレスを前記アドレスレジ
スタに設定し、 前記バイトコードテーブル検索手段は、文字コードを入
力し、前記アドレスレジスタで示されるｎバイトコード
テーブルにおけるコードテーブルｄｌントリで且つ前記
入力された第１バイト目のコードに対応するエントリの
第３フィールドの指定ビットがポインタ情報である旨を
示すか属性を示す情報である旨を示すかを判定し、該指
定ビットがポインタ情報である旨を示すときは、そのコ
ードテーブルのエントリのポインタ情報で示されるコー
ドテーブルのエントリで且つ前記入力された文字コード
に対応するエントリの指定ビットが属性を示すまでコー
ドテーブルを順次に検索し、前記属性ビットテーブル参
照手段は、前記バイドテーブル検索手段により前記指定
ビットが属性を示す情報である旨を示すと判定されると
、そのエントリ内の属性情報を取り出す。

（実施例） 次に、本発明の実施例について図面を参照して詳細に説
明する。

第１図は本発明の一実施例の構成図である。文字属性参
照部１１は、シフト文字チェック部１２、テーブルスイ
ッチ部１３、バイトコードテーブル検索部１４および属
性ビットテーブル参照部１５へｇ構成されている。また
、文字属性定義部１６は、バイトコードテーブル作成部
１７および属性ビットテーブル設定部１８から構成され
ている。

コードテーブル群１９には、１バイト〜ｎバイトコード
テーブルが含まれている。

シフト文字チェック部１２では、各文字を構成している
文字コードの、１バイト目のシフトビットがたっている
か否かをチェックする。シフト文字は、あらかじめシス
テム内で定義されているので、１バイト目のバイトコー
ドテーブルの対応する要素のシフトビットがたっていれ
ば、残りの文字コードを１バイトずつ定義された文字コ
ードと一致するかどうかをチェックすることにより、シ
フト文字であるかどうかを判定することができる。

シフト文字であればテーブルスイッチ部１３を起動し、
シフト文字でなければバイトコードテーブル検索部１４
を起動する。

テーブルスイッチ部１３では、シフト文字チェック部１
２で判定された文字のバイト数に応じてコードテーブル
群１９内のバイトコードテーブルを選択し、そのポイン
タをレジスタＣＴに入れる。

なお、レジスタＣＴには、あらかじめ初期値として１バ
イトコードテーブルへのポインタが設定されている。

バイトコードテーブル検索部１４では、対応するバイト
コードテーブルの要素がポインタか属性ビットテーブル
かを判断し、もしポインタなら、次のバイトコードテー
ブルの要素を検索する。ポインタではなく属性ビットテ
ーブルなら属性ビットテーブル参照部１５を起動する。

属性ビットテーブル参照部１５では、属性ビットテーブ
ルを参照し、その文字の属性を得る。文字に属性が定義
されていない場合、バイトコードテーブルの要素にはｎ
ｕｌｌを入れておくものとする。

バイトコードテーブル作成部１７では、属性を定義する
時、最下位バイトに対応するバイトコードテーブル以外
のバイトコードテーブルの文字コードの値番目の要素が
ｎｕｌｌならば、バイトコードテーブルを作成し、ｎｕ
ｌｌの入っていたとご−に新しく作られたバイトコード
テーブルへのポインタを入れ、これを最下位バイトに対
するバイトコードテーブルが作られるまで続け、ｎｕｌ
ｌでなければ各文字に対応するバイトコードテーブルを
たどる。

属性ビットテーブル設定部１８では、最下位バイトに対
するバイトコードテーブルの文字コードの値番目の要素
がｎｕｌｌの場合に、属性ビットテーブルを作成してそ
の文字を定義する。ｎｕｌｌでないなら、属性ビットテ
ーブルを更新してその文字の属性を定義する。

第２図（ａ）はｎバイト文字の構成例を示し、第２図（
ｂ）はそのｎバイト文字のｎバイトコードテーブルの構
成例を示す。１文字がｎバイトからなるｎバイト文字の
情報をもつｎバイトコードテーブルは、各バイトに対応
して、１バイトで表現できる数の語を単位とする要素を
持ち、そのコードの値を要素番号とするテーブルから構
成されている。１バイト目に対応したｎバイトコードテ
ーブル２１の要素には、次の２バイト目に対応した６バ
イトコードテーブル２２へのポインタか、シフトビット
のたったポインタか、ｎｕｌｌかいずれかが格納され、
また、ｎバイト目に対応したｎバイトコードテーブル２
３には、属性ビットテーブルか、ｎ　ｕ　Ｉ　１かが格
納されている。それ以外のｎバイトコードテーブルには
、次のｎバイトコードテーブルへのポインタか、ｎｕｌ
ｌかが格納されている。ただし、１バイトコードテーブ
ルの場合、各要素には、属性ビットテーブルか、シフト
ビットのたった属性ビットテーブルか、ｎｕｌｌかが格
納されている。このような構成にすると、ｎバイト文字
の属性を得るためには、１バイト目に対応するｎバイト
コードテーブルの１バイト目のコードの値番目の要素を
参照し、その要素の指す２バイト目に対応するｎバイト
コードテーブルの２バイト目のコードの値番目の要素を
参照し、これを続けて、最後に、ｎバイト目に対応する
ｎバイトコードテーブルのｎバイト目のコードの値番目
の要素、つまり属性を表す属性ビットテーブルを参照す
ればよい。

次に、バイトコードテーブルの要素の内容について第３
図を参照して説明する。第３図（ａ）に示すように、ポ
インタが４バイトのデータである場合、全てのデータを
４バイトの整数倍となる記憶装置の番地に格納する。こ
のようにすることにより、最上位ビットを第３１ビツト
、最下位ビットを第０ビツトとしたとき、第１ビツト目
をシフト文字であるかないかの判定ビットとして用い、
第０ビツトが０なら、第３図（ａ）に示すように、その
ビットテーブルはポインタを表し、１なら、第３図（ｂ
）に示すように、属性ビットテーブルを表すものとする
。第１ビツト目が１ならば、対応する文字はシフト文字
である。このように定義することにより、シフトビット
３３．３４のたったビットテーブルがポインタである場
合、その値から２を引くことによって、その要素をポイ
ンタとして使用することができる。

第４図は第１図実施例の処理を示す流れ図である。

次に、１バイト文字を表すＥＢＣＤＩＣカタカフ ナコードと２バイトの日本語文字を表すＪＩＰＳ（Ｅ）
コードを例として具体的に本実施例の動作について説明
する。ここで日本語文字の始めと終わりを表すシフト文
字ｒＫ　ｌ　、ｒＫＯＪは、１６進表現で３Ｆ７５と３
Ｆ７６の２バイトとする。

以下、“３Ｆ７５”Ｘのような表現は１６進数を表する
ものとする。“ＡＢ日本Ｃ″を読んだ際の処理について
説明する。“ＡＢ日本Ｃ”の１６進表現は第５図に示す
通りである。まず１文字目の“Ａ”については、レジス
タＣＴの初期値であるポインタが指す第６図（ａ）の１
バイトコードテーブルの第“Ｃ１”Ｘ番目の要素を参照
する。その文字がシフト文字かどうかを判定するために
その要素の第１ビツト目が「０」か否かを調べる（ステ
ップ５７１）。“Ａ”はシフト文字ではなく１バイト文
字なので、その要素の第１ビツトは０で第０ビツトは「
１」が設定されている。従って、その要素は、文字“Ａ
”に対する属性ビットテーブルとなる。この要素５２内
の属性ビットテーブルを参照することにより（ステップ
８７６）、”　Ａ−Ｊ　（７）　ｉ性を得、Ｓｏとヵ資
き、。次、）２文字目の“Ｂ”についても同様に属性を
得ることができる。

３文字目のｒＫＩＪについては、１バイトコードテーブ
ルの第“３Ｆ”Ｘ番目の要素５１を参照する。その要素
の第１ビツトを調べる（ステップ５７１）と１が設定さ
れているので次の“７５”Ｘについて、“３Ｆ７５″Ｘ
がシステムで定義されたシフト文字の文字コードと一致
しているが否かを調べる（ステップ５７４）。“３Ｆ７
５”Ｘは、２バイト文字の始めを表すシフト文字の文字
コードと一致するので、次にシフト文字が現れるまでつ
づく文字コードは２バイト文字であると判定され、レジ
スタＣＴには、２バイトコードテーブルへのポインタを
設定する（ステップ５７５）。

４文字目の“日”については、レジスタＣＴがさす第６
図（ｂ）に示す、バイトコードテーブルの第“Ｃ６”Ｘ
番目の要素５３を参照すると、第０．１ビット共にＯで
あり（ステップ８７１，５７２）、この要素５３にはポ
インタが設定されているど背定されるので、そのポイン
タが指す次の２バイトコードテーブルを参照する（ステ
ップ５７３）。その２バイトコードテーブルの第“６Ａ
″Ｘ番目の要素５４は、文字“日”に対する属性ビット
テーブルであるので、これを参照することによフて（ス
テップ８７６）“日”の属性を得ることができる。５文
字目の“本”についても同様の操作によって属性を得る
ことができる。６文字目のｒＫＯＪについては、２バイ
トコードテーブルの第“３Ｆ″Ｘ番目の要素５１を参照
し、第１ビツトを調べる（ステップ５７１）と１がたっ
ているので次の“７６”Ｘについて、“３Ｆ７６”Ｘが
“３Ｆ７５”Ｘ同様システム内で定義されているシフト
文字の文字コードと一致するかどうか調べる（ステップ
５７４）。これは２バイト文字の終わりを表すシフト文
字の文字コードと一致するので、レジスタＣＴに１バイ
トコードテーブルへのポインタを入れる（ステップ５７
５）。７文字目の“Ｃ″については、”Ａ”、”Ｂ”と
同様に属性を得ることができる。

次に、ｒＫ　ＩＪ　、ｒＫＯＪではさまれた２バイト文
字の文字コードが、“３Ｆ７０”Ｘであるような場合に
ついて説明する。まず、第７図に示す２バイトコードテ
ーブルの第“３Ｆ″Ｘ番目の要素６１を参照すると、第
１ビツトに１が設定されているので（ステップ５７１）
、次の１バイト、“７０”Ｘについて、”３Ｆ７０”Ｘ
がシステム内で定義されたシフト文字コードと一致する
か否かのチェックを行う（ステップ５７４）。本システ
ム上のシフト文字コードのどれとも一致しないので、’
３Ｆ７０″又はシフト文字ではないと判定される。従っ
て、”３Ｆ７０″又はシフト文字ではなく、通常の２バ
イト文字としての属性を得なければならないので、シフ
トビットのたっていた“３Ｆ″Ｘまで２バイト戻って、
再度処理を行う。２バイトコードテーブルの第“３Ｆ″
Ｘ番目の要素から２を引くと（第７図の処理６２）、第
１ビツトがＯになりポインタとして参照することができ
るようになるので（ステップ５７２）、そのポインタの
指す２バイトコードテーブルの第“７０”Ｘ番目の要素
６３に設定されている属性ビットテーブルを参照するこ
とによって（ステップ５７６）、２バイト文字“３Ｆ７
０”Ｘの属性を得ることができる。

（発明の効果） 以上に説明したように本発明の文字属性管理方式は、複
数バイト文字の各々のバイトに対してバイトコードテー
ブルを作成し、最下位バイトのコードテーブルに対して
は、属性ビットテーブルを作成することによって、１文
字を構成する長さが異なる文字に対してどの文字にも同
等に属性を与えることができる。また、複数バイト文字
に対して、それぞれバイトコードテーブルを作成し、文
字を構成するバイト数に応じて、バイトコードテーブル
を使い分けることによって、同一の処理で文字属性の参
照および更新を効率良く、高速に行うことができる。

【図面の簡単な説明】

第１図は本発明の一実施例の構成図、 第２図（ａ）はｎバイトコードの例を示す図、第２図（
ｂ）はそのｎバイトコードに対するｎバイトコードテー
ブルの例を示す図、 第３図（ａ）はポインタの内容例を示す図、第３図（ｂ
）は属性ビットテーブルの内容例を示す図、 第４図は第１図実施例の処理を示す流れ図、第５図は第
１図実施例に入力される文字列の例を示す図、 第６図は第５図の文字列に対するバイトコードテーブル
の内容を示す図、 第７図は第５図の文字列でシフトビットがセットされて
いるときのバイトコードテーブルの内容例を示す図であ
る。 １１・・・文字属性参照部、１２・・・シフト文字チェ
ック部、１３・・・テーブルスイッチ部、１４・・・バ
イトコードテーブル検索部、１５・・・属性ビットテー
ブル参照部、１６・・・文字属性定義部、１７・・・バ
イトコードテーブル作成部、１８・・・属性ビットテー
ブル設定部、１９・・・コードテーブル群。

Claims (1)

1. 【特許請求の範囲】 シフト文字により各文字に対する文字コードの長さの変
   わり目を示し、且つ各文字に対する属性を定義している
   言語処理システムにおける文字属性管理方式において、 前記各文字の文字コードの長さに対応してそれぞれ設け
   られたｎバイトコードテーブルと、該ｎバイトコードテ
   ーブルの先頭アドレスが設定されるアドレスレジスタと
   、シフト文字チェック手段と、テーブルスイッチ手段と
   、バイトコードテーブル検索手段と、属性ビットテーブ
   ル参照手段とを設けてなり、 前記ｎバイトコードテーブルは、前記文字コードの各バ
   イトに対応したコードテーブルを備え、該コードテーブ
   ルの各エントリには、次のコードテーブルのアドレスを
   示すポインタ情報または前記属性を示す情報が設定され
   る第１フィールドと、該エントリに対応する文字がシフ
   ト文字か否かを示すシフト文字指定ビットが設定される
   第２フィールドと、前記第１フィールドに設定されてい
   る情報がポインタ情報か前記属性を示す情報かを指定す
   る指定ビットが設定される第３フィールドとが含まれ、 前記シフト文字チェック手段は、入力された文字に対す
   る文字コードの第１バイト目のコードに対応する前記ｎ
   バイトコードテーブルにおけるコードテーブルのエント
   リの第２フィールドに設定されているシフト文字指定ビ
   ットを判定し、該シフト文字指定ビットがシフト文字を
   示すときは前記入力された文字の文字コードの長さを調
   べ、前記テーブルスイッチ手段は、前記シフト文字判定
   手段により調べられた文字コードの長さに対応する前記
   ｎバイトコードテーブルの先頭アドレスを前記アドレス
   レジスタに設定し、 前記バイトコードテーブル検索手段は、文字コードを入
   力し、前記アドレスレジスタで示されるｎバイトコード
   テーブルにおけるコードテーブルのエントリで且つ前記
   入力された第１バイト目のコードに対応するエントリの
   第３フィールドの指定ビットがポインタ情報である旨を
   示すか属性を示す情報である旨を示すかを判定し、該指
   定ビットがポインタ情報である旨を示すときは、そのコ
   ードテーブルのエントリのポインタ情報で示されるコー
   ドテーブルのエントリで且つ前記入力された文字コード
   に対応するエントリの指定ビットが属性を示すまでコー
   ドテーブルを順次に検索し、前記属性ビットテーブル参
   照手段は、前記バイドテーブル検索手段により前記指定
   ビットが属性を示す情報である旨を示すと判定されると
   、そのエントリ内の属性情報を取り出すことを特徴とす
   る文字属性管理方式。