JP4845523B2 - 文字処理装置、方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、単語ラティスを使用して入力された複数の単語についての読み（たとえば、ひらがなやローマ字）の文字列を読みに対応する表記（漢字、かな混じり漢字、英文字など）に変換する文字処理装置、方法、プログラムおよび記録媒体に関する。

従来、単語ラティスを使用してかな漢字変換を行なう方法が知られている。単語ラティスは、非特許文献１に記載されているように、入力の複数の読み、あるいはこれらの入力の読みに対応する複数の表記を、その接続順に並べたネットワークである。このネットワークを構成する各表記の各々は、ノードと呼ばれる。接続順に並べられた複数のノード全体はパスと呼ばれる。このノードとなる表記は単語辞書を参照して得られる。単語辞書は、１つの読みとこの読みに対応する１つ表記（見出し語とも呼ばれる）を１つのレコードの中に含み、異なる複数のレコードで構成した読み−表記変換辞書である。

たとえば、「とっきょちょう」という読みを与えると、
パス１ 「とっきょ」→「町」
パス２ 「とっきょ」→「庁」
パス３ 「特許」→「庁」 ．．．．
などの複数のパスを有する単語ラティスがかな漢字変換装置のメモリ上でＣＰＵにより作成される。

ＣＰＵは、各パス上の連続する所定数、通常、よく使用される個数は１〜３個のノードの出現確率を言語辞書を参照して取得し、次に１つのパス上の全ノードの出現確率を積算することにより、１つのパスにおけるノードの出現確率を計算する。ちなみに、言語辞書は、所定数個の表記の文字列とその出現確率を１つのレコードの中に含み、複数のレコードで構成される辞書である。

上述の例で言えば、「とっきょ」、「町」、Ａ１（出現確率の値）が言語辞書の１つのレコードとなる。

上述の処理手順を繰り返して、ＣＰＵは単語ラティス上の全てのパスについての出現確率を計算する。ＣＰＵは計算された複数の出現確率の中の最も高いパスの確率を検出する。最も高い出現確率を有するパスの示すノードのつながり（系列）が与えられた読みの文字列に対応する最有力のかな漢字変換結果と決定される。(非特許文献１)
決定された最有力のかな漢字変換結果がディスプレイの表示画面に表示されて、ユーザの確定操作後、文書処理装置（ワードプロセッサ用のプログラム）に、確定されたかな漢字変換結果が引き渡される。ユーザが頻繁に使用する表記の文字列についての使用頻度を言語辞書の出現確率に反映することも行なわれている。

http://www.jaist.ac.jp/~kshirai/lec/i223/07.pdf 『N-gramの部分的強調による定型表現への言語モデル適応手法』 (電通学会論文誌Vol.J86-D-II No12、2003年12月)

このような文字処理方法では、入力された読みの文字列は、出現頻度の高い表記に変換されるが、時として、不具合が生じる。たとえば、地名、会社名、ことわざなどの表現で、多数の単語で構成される連語などでは、表記はあらかじめ定められている。ところで、統計的な言語モデルの開発において、ある単語パスの出現確率は、一般に、コーパスと呼ばれる統計資料の出現確率に基づいて計算される。ところが、地名などの固有名詞やことわざなどは、コーパスで出現する確率は通常高くなく、信頼できる確率は設定することが難しい。したがって、固有名詞の類は決まった表記があるのに、統計的に計算するとそのような変換結果を保証できないこととなってしまう。
上述のこのような連語の読みが入力された場合、上述の文字処理手法では、複数のパスを作成し、パスの出現確率を計算するので、初期の使用常態では慣用表現とは異なるかな漢字変換結果となってしまう場合がある。

そこで、本発明の目的は、単語ラティスを使用し、慣用的に使用される連語への変換と、同じ読みを有する連語以外の表記への変換とをバランスよく行なうことが可能な文字処理装置、方法、プログラムおよび記録媒体を提供することにある。

なお、他の従来技術としては、以下のものがある。

１． 該当固有名詞等を、長い単位で辞書に登録する。そうすると、長い範囲を１語で押さえているため、長い登録単語が第１候補になりすい。
２． 辞書・文法の与える確率に、辞書・文法のコンパイル時、ないし、かな漢字変換の実行時に、重み調整を加え、第１候補になりやすいようにする。(非特許文献２)

第１の方法は、第１候補に出やすくなるのだが、その長い範囲でタイピングしたときにだけ有効で、その長い範囲で候補一覧を生成せざるをえないという問題がある。

第２の方法は、複雑な計算が必要となり、実用的な手法は存在しない。

本発明は、これら従来のアプローチを取らず、第１の方法のように、あたかも長い単語列を、内部的に複数の単語から構成されるという情報を持ったまま、１単語であるかのように仮想的に辞書に持つ。そして、長い単位でマッチングして、パスの出現確率を計算し、変換結果の第１候補を所望の文字列として決定した後に、構成単語列に分割し、候補生成などの後続の処理を行う。

このような目的を達成するために、請求項１の発明は、単語ラティスを使用して複数の単語の読みの文字列を対応する複数の表記の文字列に変換する文字処理装置であって、
複数の連語の読み文字列と、対応する表記の文字列を１つのレコードとなし、異なる複数のレコードを有する連語辞書を記憶した第１の記憶手段と、
変換対象の複数の単語の読みの文字列で前記連語辞書を検索し、当該複数の単語の読みの文字列と同じ読みの連語辞書中の文字列に対応する複数の単語の表記の文字列を取得する検索手段と、
該検索手段の検索により得られる複数の連語の表記の文字列を複数のノードとして前記単語ラティスに追加する第１の情報処理手段と、
複数の単語の表記を１組となし、複数組の出現確率を記憶した第２の記憶手段と、
前記複数の連語の表記の出現確率を記憶した第３の記憶手段と、
前記第２の記憶手段および第３の記憶手段に記憶された出現確率に基づき、前記連語の表記の文字列がノードとして追加された単語ラティス上の最も出現確率が高くなるパス上の表記の文字列を変換候補として取得する第２の情報処理手段と、
使用頻度に従って前記第２の記憶手段に記憶された出現確率を更新する第３の情報処理手段と
を具え、前記第２の記憶手段および第３の記憶手段は同一の単語についての出現確率を記憶することを許容されており、当該同一の単語については第３の記憶手段に記憶された出願確率が、前記第２の記憶手段に記憶された出現確率よりも予め高く設定され、前記第２の記憶手段に記憶された前記同一の単語の出現確率は使用頻度に応じて前記第３の情報処理手段の更新処理により、高くなることを特徴とする。

請求項２の発明は、前記第１の記憶手段を第３の記憶手段として使用し、前記レコードの中に、出現確率を含めることを特徴とする。

請求項３の発明は、単語ラティスを使用して複数の単語の読みの文字列を対応する複数の表記の文字列に変換する文字処理装置の文字処理方法であって、
前記文字処理装置は複数の連語の読み文字列と、対応する表記の文字列を１つのレコードとなし、異なる複数のレコードを有する連語辞書を記憶した第１の記憶手段、複数の単語の表記を１組となし、複数組の出現確率を記憶した第２の記憶手段と、前記複数の連語の表記の出現確率を記憶した第３の記憶手段検索手段、第１の情報処理手段、第２の情報処理手段および第３の処理手段を有し、
前記検索手段により、変換対象の複数の単語の読みの文字列で前記連語辞書を検索し、当該複数の単語の読みの文字列と同じ読みの連語辞書中の文字列に対応する複数の単語の表記の文字列を取得し、
前記検索手段の検索により得られる複数の単語の表記の文字列を複数のノードとして前記単語ラティスに第１の情報処理手段により追加し、
前記第２の記憶手段および第３の記憶手段に記憶された出現確率に基づき、前記連語の表記の文字列がノードとして追加された単語ラティス上の最も出現確率が高くなるパス上の表記の文字列を変換候補として前記第２の情報処理手段により取得し、
前記第３の情報処理手段により使用頻度に従って前記第２の記憶手段に記憶された出現確率を更新し、
前記第２の記憶手段および第３の記憶手段は同一の単語についての出現確率を記憶することを許容されており、当該同一の単語については第３の記憶手段に記憶された出願確率が、前記第２の記憶手段に記憶された出現確率よりも予め高く設定され、前記第２の記憶手段に記憶された前記同一の単語の出現確率は使用頻度に応じて前記第３の情報処理手段の更新処理により、高くなること特徴とする。

請求項４の発明は、前記第１の記憶手段を第３の記憶手段として使用し、前記レコードの中に、出現確率を含めることを特徴とする請求項３に記載の文字処理方法。

請求項５の発明は、単語ラティスを使用して複数の単語の読みの文字列を対応する複数の表記の文字列に変換する文字処理装置のための文字処理プログラムであって、
前記文字処理装置は複数の連語の読み文字列と、対応する表記の文字列を１つのレコードとなし、異なる複数のレコードを有する連語辞書を記憶した第１の記憶手段、複数の単語の表記を１組となし、複数組の出現確率を記憶した第２の記憶手段と、前記複数の連語の表記の出現確率を記憶した第３の記憶手段、検索手段、第１の情報処理手段および第２の情報処理手段を有し、
前記検索手段により、変換対象の複数の単語の読みの文字列で前記連語辞書を検索し、当該複数の単語の読みの文字列と同じ読みの連語辞書中の文字列に対応する複数の単語の表記の文字列を取得するステップと、
前記検索手段の検索により得られる複数の単語の表記の文字列を複数のノードとして前記単語ラティスに前記第１の情報処理手段により追加するステップと、
前記第２の記憶手段および第３の記憶手段に記憶された出現確率に基づき、前記連語の表記の文字列がノードとして追加された単語ラティス上の最も出現確率が高くなるパス上の表記の文字列を変換候補として前記第２の情報処理手段により取得するステップと、
前記第３の情報処理手段により使用頻度に従って前記第２の記憶手段に記憶された出現確率を更新するステップと
を備え、
前記第２の記憶手段および第３の記憶手段は同一の単語についての出現確率を記憶することを許容されており、当該同一の単語については第３の記憶手段に記憶された出願確率が、前記第２の記憶手段に記憶された出現確率よりも予め高く設定され、前記第２の記憶手段に記憶された前記同一の単語の出現確率は使用頻度に応じて前記第３の情報処理手段の更新処理により、高くなること特徴とする。

請求項６の発明は、前記第１の記憶手段を第３の記憶手段として使用し、前記レコードの中に、出現確率を含めることを特徴とする。

請求項７の発明は、請求項５または６に記載のプログラムを記録したことを特徴とする。

連語辞書から取得した単語の表記を単語ラティスにノードとして追加することにより、従来では初期の使用状態で、慣用表記が変換結果とならない問題を改善する。また、使用頻度に応じて、慣用表記と同じ読みを有する、慣用表記以外の表記が変換結果となるので、バランスのよい変換結果が得られる。

以下、図面を参照して本発明の実施形態を詳細に説明する。

（実施形態１）
実施形態１の文字処理装置のシステム構成の一例を図１に示す。文字処理装置としては汎用のパーソナルコンピュータ、携帯電話機など、情報処理機能を有する種々の情報処理装置を使用することができる。

図１において、１０はＣＰＵであり、後述の文字処理プログラムを使用して、本発明に係わる文字処理を実行する。ＣＰＵ１０が本発明の検索手段、第１および第２の情報処理手段として機能する。

２０はＲＯＭおよびRAMを有するシステムメモリであり、ＣＰＵ１０に対する入出力データを一時記憶する。

３０は入力装置であり、たとえば、キーボードなどの読みの文字列を入力する装置を使用することができる。キーボード以外にも、たとえば、読みの文字列を記憶した記憶媒体から読みの文字列を読み取るデータ読取装置、通信により外部機器から読みの文字列を入力する通信装置を入力装置３０として使用することができる。

４０はハードディスク（ＨＤ）であり、文字処理プログラムおよび文字処理で使用する後述の辞書を記憶する。ハードディスク４０が本発明の第１〜第３の記憶手段として機能する。

５０はディスプレイであり、文字処理プログラムにより決定された編間候補を表示する。

図２は図１のハードディスク４０に実装されるソフトウェアの構成を示す。

１００は単語ラティスを使用して複数の単語の読みの文字列を対応する複数の表記の文字列に変換する文字処理プログラムである。１１０は単語辞書であり、従来と同様、１つの単語の読みの文字列および対応する表記の文字列を１つのレコードとなし、複数の異なるレコードを記載している。

１２０は、言語辞書であり、複数の単語の表記および対応する出現確率を記載している。実施形態１では言語辞書１２０は従来と同様とすることができる。

１３０は本発明に係わる連語辞書であり、慣用的に使用される複数の連語（たとえば、地名、会社名などの固有表現、ことわざなど）について、読みの文字列および表記の文字列、各連語の出現確率を１つのレコードとなし、異なる複数のレコードを連語辞書１３０に記載している。

なお、単語数が少ない場合、連語辞書１３０に記載する連語の文字列と同じ表記の文字列を言語辞書１２０にも記載しておく。この場合、連語辞書１３０の方の出現確率が言語辞書１２０の出現確率よりも予め高く設定しておくことに注意されたい。

実施形態１では単語辞書１１０を記憶するハードディスク４０が本発明の第２の記憶手段として機能し、連語辞書１３０を記憶するハードディスク４０が本発明の第１および第３の記憶手段として機能する。

図３は文字処理プログラム１００の中の本発明に係わるプログラム部分の処理手順を示す。図４および５はシステムメモリ２０上に構築される単語拉致を理解が容易なようにネットワークの形態で示している。

図３〜図５を参照しながら、文字処理装置の動作を説明する。

入力装置３０から読みの文字列として「とっきょちょう」が入力され、変換候補として「特許庁」が得られるまでのＣＰＵ１０の処理内容を説明する。

図３のステップＳ１０で、ＣＰＵ１０はシステムメモリ２０上に図４に示す単語ラティスを従来と同様の方法で、構築する。簡単に述べると、ＣＰＵ１０は読みの文字列「とっきょ」で単語辞書１１０を検索し、「とっきょ」、「トッキョ」および「特許」を変換可能な表記の文字列として取得する。取得した３つの文字列をそれぞれ、システムメモリ２０に記憶する。つぎに、ＣＰＵ１０は残りの読みの文字列「ちょう」に対応する変換可能な表記の文字列「ちょう」、「チョウ」、「町」．．．「庁」を単語辞書１１０から検索により取得する。

取得した読みの文字列が、先ほど取得した直前の単語の表記の文字列と関連付けられてシステムメモリ２０に記憶される。関連付けの方法としては、直前の表記が記憶された記憶アドレスを属性情報として取得した表記にもたせる方法、表形態に記憶するなどの方法が広く知られているので、当業者は好適な方法を使用すればよい。

この例では２つの単語についての読みの文字列が入力された例であるが、３つ以上の単語が入力された場合には、以下、単語単位で読みの文字列に対応する表記の文字列をＣＰＵ１０が取得して、単語ラティスを構築する。

続いて、ＣＰＵ１０は図３のステップＳ２０に進む。ここで、ＣＰＵ１０は、本発明の検索手段として、入力の読みの文字列、この場合、「とっきょちょう」で、連語辞書１３０を検索する。この検索により連語辞書１３０から連語の表記「特許庁」とその出現確率Ａ１が得られる。

手順はステップＳ３０に進み、ＣＰＵ１０はシステムメモリ２０上の単語ラティス（図４参照）に取得した連語の表記「特許」、「庁」をノードとして図５に示すように追加する。取得した連語の各単語をノードとしてもよいし、全体をノードとしてもよい。図５の例は単語をノードとしている。なお、追加したノードで構成されるパスをこの実施形態ではバイパス（符号１０１０）と呼ぶことにする。バイパス１０１０は従来のパスと区別するためにバイパスであることを示す属性情報が与えられる。

手順はＳ４０に進み、図５の単語ラティス上の各パスの出現確率をＣＰＵ１０が計算する。図５の例では、第１のパスは「とっきょ」→「チョウ」であるので、「とっきょ」＋「チョウ」で言語辞書１２０が検索され、対応の出現確率Ｂ１をＣＰＵ１０により取得する。

このようにして、単語辞書１１０によりノードを取得したパス（図４）については、言語辞書１２０から出現確率を取得する。

バイパス１０１０上のノード「特許」、「庁」については、ステップＳ２０で連語辞書１３０から出現確率Ａ１が得られているので、ＣＰＵ１０は各パスについて、相互に比較し、たとえば、ソーティングと呼ばれる情報処理手法を使用して、最も高い出現確率を有するパスを検出する。検出されたパス上のノードを結合した表記の文字列がＣＰＵ１０によりは読みの文字列「とっきょちょう」に対する変換候補としてディスプレイ５０により取得されて表示される（ステップＳ４０）。以後、ユーザは従来と同様に、入力装置３０を使用して確定、あるいは変換の指示をＣＰＵ１０に与えて、ユーザが望む変換結果を取得する。

この例では、文字処理装置の初期使用状態では「とっきょちょう」について、連語辞書１３０から取得した表記で構成される図５のパス１０１０の出現確率が最高値を持つことになる。このため、図５のバイパス１０１０上のノード（特許庁）が変換候補として決定される。

その後、ユーザが「特許庁」という表記を頻繁に使用すると、従来と同様、言語辞書１２０上の「特許庁」に対応する出現頻度が高くなるように更新され、図５のバイパス１０００上のノード（特許庁）が変換候補として決定される。

もしも「特許町」という町に住む人がこの文字処理装置を使用して住所を入力すると、言語辞書１２０に記載された「特許町」の出現頻度がユーザの使用に応じて更新されるので、このユーザが「とっきょちょう」と文字処理装置入力した場合には「特許町」が変換結果として得られることになる。

以上説明したよう、単語ラティスに連語辞書１３０から取得した表記をノードとして追加することにより、従来では初期の使用状態では、慣用表現がかならずしも変換結果とならない問題を解決することができる。

（実施形態２）
実施形態１では連語の出現確率を連語辞書１３０に読みの文字列、表記の文字列と共に記載していたが、出現確率を言語辞書１２０に記載してもよいし、また、別の辞書やテーブルに記載してもよい。

以上、述べた実施形態は本発明の説明のための例示である。本発明の技術思想は特許請求の範囲に示されており、この技術思想に基づき、上述の実施形態に対する種々の改良形態が存在することは当業者であれば容易に理解し得よう。

本発明実施形態のハードウェア構成を示すブロック図である。 本発明実施形態のソフトウェアの構成を示すブロック図である。 本発明実施形態の文字処理手順を示すフローチャートである。 単語ラティスの一例を示す説明図である。 ノードが追加された単語ラティスを示す説明図である。

符号の説明

１０ ＣＰＵ
２０ システムメモリ
３０ 入力装置
４０ ハードディスク
５０ ディスプレイ

Claims (7)

1. 単語ラティスを使用して複数の単語の読みの文字列を対応する複数の表記の文字列に変換する文字処理装置であって、
   複数の連語の読み文字列と、対応する表記の文字列を１つのレコードとなし、異なる複数のレコードを有する連語辞書を記憶した第１の記憶手段と、
   変換対象の複数の単語の読みの文字列で前記連語辞書を検索し、当該複数の単語の読みの文字列と同じ読みの連語辞書中の文字列に対応する複数の単語の表記の文字列を取得する検索手段と、
   該検索手段の検索により得られる複数の連語の表記の文字列を複数のノードとして前記単語ラティスに追加する第１の情報処理手段と、
   複数の単語の表記を１組となし、複数組の出現確率を記憶した第２の記憶手段と、
   前記複数の連語の表記の出現確率を記憶した第３の記憶手段と、
   前記第２の記憶手段および第３の記憶手段に記憶された出現確率に基づき、前記連語の表記の文字列がノードとして追加された単語ラティス上の最も出現確率が高くなるパス上の表記の文字列を変換候補として取得する第２の情報処理手段と、
   使用頻度に従って前記第２の記憶手段に記憶された出現確率を更新する第３の情報処理手段と
   を具え、前記第２の記憶手段および第３の記憶手段は同一の単語についての出現確率を記憶することを許容されており、当該同一の単語については第３の記憶手段に記憶された出願確率が、前記第２の記憶手段に記憶された出現確率よりも予め高く設定され、前記第２の記憶手段に記憶された前記同一の単語の出現確率は使用頻度に応じて前記第３の情報処理手段の更新処理により、高くなることを特徴とする文字処理装置。
2. 前記第１の記憶手段を第３の記憶手段として使用し、前記レコードの中に、出現確率を
   含めることを特徴とする請求項１に記載の文字処理装置。
3. 単語ラティスを使用して複数の単語の読みの文字列を対応する複数の表記の文字列に変換する文字処理装置の文字処理方法であって、
   前記文字処理装置は複数の連語の読み文字列と、対応する表記の文字列を１つのレコードとなし、異なる複数のレコードを有する連語辞書を記憶した第１の記憶手段、複数の単語の表記を１組となし、複数組の出現確率を記憶した第２の記憶手段と、前記複数の連語の表記の出現確率を記憶した第３の記憶手段検索手段、第１の情報処理手段、第２の情報処理手段および第３の処理手段を有し、
   前記検索手段により、変換対象の複数の単語の読みの文字列で前記連語辞書を検索し、当該複数の単語の読みの文字列と同じ読みの連語辞書中の文字列に対応する複数の単語の表記の文字列を取得し、
   前記検索手段の検索により得られる複数の単語の表記の文字列を複数のノードとして前記単語ラティスに第１の情報処理手段により追加し、
   前記第２の記憶手段および第３の記憶手段に記憶された出現確率に基づき、前記連語の表記の文字列がノードとして追加された単語ラティス上の最も出現確率が高くなるパス上の表記の文字列を変換候補として前記第２の情報処理手段により取得し、
   前記第３の情報処理手段により使用頻度に従って前記第２の記憶手段に記憶された出現確率を更新し、
   前記第２の記憶手段および第３の記憶手段は同一の単語についての出現確率を記憶することを許容されており、当該同一の単語については第３の記憶手段に記憶された出願確率が、前記第２の記憶手段に記憶された出現確率よりも予め高く設定され、前記第２の記憶手段に記憶された前記同一の単語の出現確率は使用頻度に応じて前記第３の情報処理手段の更新処理により、高くなること特徴とする文字処理装置の文字処理方法。
4. 前記第１の記憶手段を第３の記憶手段として使用し、前記レコードの中に、出現確率を含めることを特徴とする請求項３に記載の文字処理装置の文字処理方法。
5. 単語ラティスを使用して複数の単語の読みの文字列を対応する複数の表記の文字列に変換する文字処理装置のための文字処理プログラムであって、
   前記文字処理装置は複数の連語の読み文字列と、対応する表記の文字列を１つのレコードとなし、異なる複数のレコードを有する連語辞書を記憶した第１の記憶手段、複数の単語の表記を１組となし、複数組の出現確率を記憶した第２の記憶手段と、前記複数の連語の表記の出現確率を記憶した第３の記憶手段、検索手段、第１の情報処理手段および第２の情報処理手段を有し、
   前記検索手段により、変換対象の複数の単語の読みの文字列で前記連語辞書を検索し、当該複数の単語の読みの文字列と同じ読みの連語辞書中の文字列に対応する複数の単語の表記の文字列を取得するステップと、
   前記検索手段の検索により得られる複数の単語の表記の文字列を複数のノードとして前記単語ラティスに前記第１の情報処理手段により追加するステップと、
   前記第２の記憶手段および第３の記憶手段に記憶された出現確率に基づき、前記連語の表記の文字列がノードとして追加された単語ラティス上の最も出現確率が高くなるパス上の表記の文字列を変換候補として前記第２の情報処理手段により取得するステップと、
   前記第３の情報処理手段により使用頻度に従って前記第２の記憶手段に記憶された出現確率を更新するステップと
   を備え、
   前記第２の記憶手段および第３の記憶手段は同一の単語についての出現確率を記憶することを許容されており、当該同一の単語については第３の記憶手段に記憶された出願確率が、前記第２の記憶手段に記憶された出現確率よりも予め高く設定され、前記第２の記憶手段に記憶された前記同一の単語の出現確率は使用頻度に応じて前記第３の情報処理手段の更新処理により、高くなること特徴とする文字処理プログラム。
6. 前記第１の記憶手段を第３の記憶手段として使用し、前記レコードの中に、出現確率を含めることを特徴とする請求項５に記載の文字処理プログラム。
7. 請求項５または６に記載のプログラムを記録したことを特徴とする記録媒体。

Images