JP6558856B2

JP6558856B2 - 形態素解析装置、モデル学習装置、及びプログラム

Info

Publication number: JP6558856B2
Application number: JP2016073077A
Authority: JP
Inventors: いつみ斉藤; 九月貞光; 久子浅野; 松尾　義博; 義博松尾
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2016-03-31
Filing date: 2016-03-31
Publication date: 2019-08-14
Anticipated expiration: 2036-03-31
Also published as: JP2017182707A

Description

本発明は、形態素解析装置、モデル学習装置、及びプログラムに関する。

従来より、正規表記語に対して揺らいだ表記である崩れ表記語を獲得するためのモデルを学習する手法が提案されている。教師データを用いた手法としては、非特許文献１及び非特許文献２に記載されている識別学習に基づく表記正規化と形態素解析を用いた手法が挙げられる。

また、非特許文献３に記載されているように、文字変換ルールを用いた表記正規化と形態素解析手法が知られている。

図８及び図９に、従来技術を説明するための図を示す。図８に示すように、従来技術では入力文を受け付けると、文字列変換を考慮した辞書引きによる単語ラティスの生成が行われる。そして、生成された単語ラティスに基づいて、最適形態素列の選択が行われる。

文字列変換では、予め生成された文字列変換モデル（ルール）によって正規語が列挙され、例えば「ーっ→ｎｕｌｌ」「ん→の」「ねー→ない」などの文字列変換が考慮されて辞書引きが行われる。例えば、図９に示すように、入力文「すーっごくうれしぃ」が入力された場合、「ーっ→ｎｕｌｌ」の文字列変換が行われる。そして、入力文から「ーっ」が削除された文字列が辞書引きされ、「すーっごく」は正規語である「すごく」に該当する。

また、言語モデルの素性によって正規語列の評価が行われ、正規語の言語モデルによる正規語列の起こりやすさと、文字列変換確率（Ｐ（ｎｕｌｌ|ーっ））等を素性とした目的関数が定義される。

Nobuhiro Kaji and Masaru Kitsuregawa. , "Accurate word segmentation and pos tagging for japanese microblogs: Corpus annotation and joint modeling with lexical normalization.", In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 99-109,Doha, Qatar, October 2014 Association for Computational Linguistics. Itsumi Saito, Kugatsu Sadamitsu, Hisako Asano,and "Yoshihiro Matsuo. Morphological analysis for japanese noisy text based on character-level and word-level normalization." , In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers, pp.1773-1782, Dublin, Ireland, August 2014. Dublin City University and Association for Computational Linguistics. 勝木他、「web上の多彩な言語バリエーションに対応した頑健な形態素解析」、（2011）、言語処理学会、第１７回年次大会発表論文集

入力文の文字列を動的展開する場合、従来技術では同じルールに関しては全て同じコスト（確率）が付与されていた。しかし、同じルールに関して同一コストを与えてしまうと、解析の悪化が起こりうる。例えば、「っ→ｎｕｌｌ」のルールを動的展開する場合、Ｐ（ｎｕｌｌ｜っ）はどのような文脈でも同じコストとなる。例えば、「すっごい→すごい」の変換コストと「いってきた」→「いてきた」の変換コストが同一となる。

また、通常の言語モデルを用いて正規語列を評価する場合、単語の表層そのものを用いるため、考慮する文脈が長くなるほど、スパースなモデルになってしまい、特にコーパスに出現しなかったｎ−ｇｒａｍ確率を適切に評価することが難しい。

本発明は、上記問題点を解決するために成されたものであり、表記正規化と形態素解析とを精度よく行うことができる形態素解析装置、モデル学習装置、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る形態素解析装置は、入力テキストに対して、正規表記語、又は正規表記語に対する揺らいだ表記である崩れ表記語である単語分割候補であって、前記崩れ表記語に対する正規表記語及び品詞が付与された単語分割候補の各々に対応するノード及び連結される単語分割候補に対応するノードを結んだエッジからなるグラフ構造であるラティスを生成するラティス生成部と、前記ラティス生成部により生成された前記ラティスにおける前記ノードを結んだ各経路に対する、前記経路上の各ノードの前記単語分割候補の各々についての、単語レベルのニューラルネットワーク言語モデルを用いて算出される、前記単語分割候補に付与された正規表記語より前に出現する正規表記語列を表すベクトル表記が与えられたときの、前記単語分割候補に付与された正規表記語を表すベクトル表記の確率、又は前記経路上の各ノードの前記単語分割候補の各々に付与された正規表記語の各文字ついての、文字レベルのニューラルネットワーク言語モデルを用いて算出される、前記文字より前に出現する正規表記の文字列を表すベクトル表記が与えられたときの、前記文字を表すベクトル表記の確率を素性として含む素性ベクトルと、テキストに対する形態素解析を行うための予め学習されたモデルとに基づいて、前記ラティス生成部によって生成されたラティスにおける前記ノードを結んだ各経路のうち、前記素性ベクトルと前記モデルとから得られるスコアが最適となる経路を選択し、選択した経路が表す形態素解析結果を出力する形態素解析部と、を含んで構成されている。

第２の発明に係るモデル学習装置は、正規表記語に対する揺らいだ表記である崩れ表記語に対する正規化表記である正規表記語を含む形態素解析結果の正解データが付与されたテキストに対して、正規表記語、又は正規表記語に対する揺らいだ表記である崩れ表記語である単語分割候補であって、前記崩れ表記語に対する正規表記語及び品詞が付与された単語分割候補の各々に対応するノード及び連結される単語分割候補に対応するノードを結んだエッジからなるグラフ構造であるラティスを生成するラティス生成部と、前記ラティス生成部により生成された前記ラティスにおける、前記ノードを結んだ各経路に対する、前記経路上の各ノードの前記単語分割候補の各々についての、単語レベルのニューラルネットワーク言語モデルを用いて算出される、前記単語分割候補に付与された正規表記語より前に出現する正規表記語列を表すベクトル表記が与えられたときの、前記単語分割候補に付与された正規表記語を表すベクトル表記の確率、又は前記経路上の各ノードの前記単語分割候補の各々に付与された正規表記語の各文字ついての、文字レベルのニューラルネットワーク言語モデルを用いて算出される、前記文字より前に出現する正規表記の文字列を表すベクトル表記が与えられたときの、前記文字を表すベクトル表記の確率を素性として含む素性ベクトルと、前記形態素解析結果の正解データとに基づいて、テキストに対する形態素解析を行うためのモデルを学習するモデル学習部と、を含んで構成されている。

第３の発明に係るプログラムは、コンピュータを、上記第１の発明に係る形態素解析装置又は上記第２の発明に係るモデル学習装置の各部として機能させるためのプログラムである。

本発明の形態素解析装置、及びプログラムによれば、入力テキストに対してラティスを生成し、ラティスにおけるノードを結んだ各経路に対する、経路上の各ノードの単語分割候補の各々についての、単語レベルのニューラルネットワーク言語モデルを用いて算出される正規表記語を表すベクトル表記の確率、及び文字レベルのニューラルネットワーク言語モデルを用いて算出される、文字を表すベクトル表記の確率を素性として含む素性ベクトルと、テキストに対する形態素解析を行うための予め学習されたモデルとに基づいて、生成されたラティスにおけるノードを結んだ各経路のうち、素性ベクトルとモデルとから得られるスコアが最適となる経路を選択し、選択した経路が表す形態素解析結果を出力することにより、表記正規化と形態素解析とを精度よく行うことができる、という効果が得られる。

また、本発明のモデル学習装置、及びプログラムによれば、崩れ表記語に対する正規表記語を含む形態素解析結果の正解データが付与されたテキストに対して、ラティスを生成し、ラティスにおける、ノードを結んだ各経路に対する、経路上の各ノードの単語分割候補の各々についての、単語レベルのニューラルネットワーク言語モデルを用いて算出される、正規表記語を表すベクトル表記の確率、及び文字レベルのニューラルネットワーク言語モデルを用いて算出される、文字を表すベクトル表記の確率を素性として含む素性ベクトルと、形態素解析結果の正解データとに基づいて、テキストに対する形態素解析を行うためのモデルを学習することにより、表記正規化と形態素解析とを精度よく行うためのモデルを学習することができる、という効果が得られる。

崩れ表記語の一例を示す図である。本発明の実施の形態に係る形態素解析装置の構成を示すブロック図である。生成されるラティスの一例を示す図である。素性の一例と出力される形態素解析結果の一例を示す図である。本発明の実施の形態に係るモデル学習装置の構成を示すブロック図である。本発明の実施の形態に係るモデル学習装置におけるモデル学習処理ルーチンを示すフローチャートである。本発明の実施の形態に係る形態素解析装置における形態素解析処理ルーチンを示すフローチャートである。従来技術を説明するための説明図である。従来技術を説明するための説明図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態の概要＞
本発明の実施の形態は、例えば、従来の形態素解析器では考慮されていないｗｅｂ上の崩れた表記を頑健に解析するための技術である。

本発明の実施の形態では、崩れた表記（以下、崩れ表記と称する）とは、口語調やｗｅｂ上特有の書き言葉など、新聞などの正書法では現れない表記をいう。

崩れ表記としては、例えば図１に示すように、「うるせーな」「すっげーー」「すんばらしい」等の口語調の崩れ表記、「ぁりがとう」「いぃなー」等の小書き文字の崩れ表記、「ウレシイ」「イッテキタ」等のカタカナ化された崩れ表記、「あいす」「がっこう」「せんせい」等のひらがな化された崩れ表記、「やばかた」「しますた」「まぢ」等のネット語の崩れ表記などがある。

本実施の形態では、上記のような崩れ表記に対し、文字レベルのニューラルネットワーク言語モデルを用いて、文字列の並びによって異なるコスト（確率値）を表す素性を算出することにより、文字列の動的展開による変換精度の向上を試みる。

また、単語レベルのニューラルネットワーク言語モデルを用いて正規語の並びを評価することにより、すべての（既知）単語列に対して文脈を考慮した異なる確率を素性として算出する。

＜本発明の実施の形態に係る形態素解析装置の構成＞

次に、本発明の実施の形態に係る形態素解析装置の構成について説明する。図２に示すように、本発明の実施の形態に係る形態素解析装置１００は、ＣＰＵと、ＲＡＭと、後述する形態素処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この形態素解析装置１００は、機能的には図２に示すように入力部１０と、演算部２０と、出力部４０とを備えている。

入力部１０は、解析対象である入力テキストを受け付ける。

演算部２０は、文字列変換モデル記憶部２２と、形態素解析辞書２４と、ラティス生成部２６と、形態素解析モデル記憶部２８と、形態素解析部３０とを備える。

文字列変換モデル記憶部２２には、予め生成された文字列変換モデルが記憶されている。文字列変換モデルは、入力された崩れ表記語を、正規表記語へ文字列変換する。

形態素解析辞書２４には、語の表記、品詞、読みなどの情報が格納されている。本実施形態では、形態素解析辞書２４に存在している語を「正規表記語」と定義し、正規表記語の表記を「正規表記」と定義する。また、形態素解析辞書２４には存在せず、正規表記語の異形として出現する語を「崩れ表記語」とし、崩れ表記語の表記を「崩れ表記」とする。崩れ表記語は、正規表記語に対する揺らいだ表記である。また、テキストで出現した表記であり、正規表記語と崩れ表記語の双方を含む表記を「表出表記」とする。

形態素解析辞書２４には、一般的な形態素解析辞書を用いることができ、例えばＪｔａｇ辞書（出願人によって整備されている辞書）などを用いることができる。Ｊｔａｇ辞書に格納されている情報の一例としては、例えば以下のようなものがある。

（Ｊｔａｇ辞書に格納されている情報の一例）
かっぱ-寿司,名詞:固有:組織,100,カッパ'-ズシ,,,,,374:428,88

ラティス生成部２６は、入力部１０によって受け付けられた入力テキストに対して、文字列変換モデル記憶部２２に記憶された文字列変換モデルと、形態素解析辞書２４に格納された正規表記語の各々とに基づいて、単語分割候補のラティスを生成する。ここで、ラティスとは、正規表記語又は崩れ表記語である単語分割候補であって、崩れ表記語に対する正規化表記候補である正規表記語及び品詞が付与された単語分割候補の各々に対応するノード及び連結される単語分割候補に対応するノードを結んだエッジからなるグラフ構造である。

具体的には、ラティス生成部２６は、文字列変換モデル記憶部２２に記憶された文字列変換モデルと、形態素解析辞書２４に格納された正規表記語の各々とに基づいて、入力テキストに含まれる文字列を文字列変換モデルで拡張して辞書引きを行い、単語分割候補の各々を取得する。そして、ラティス生成部２６は、取得した単語分割候補の各々に基づいて、ラティスを生成する。なお、文字列変換モデルによる文字列の変換は、予め辞書に展開されていてもよい。

図３に、ラティスの一例を示す。図３に示すように、入力テキスト「すーっごくうれしぃ」が入力された場合、ラティス生成部２６は、崩れ表記語「すーっごく」が正規表記語「すごく」に変換された単語分割候補と、崩れ表記語「すーっごく」が「すー」「っ」「ごく」に分割された単語分割候補とを含むラティスを生成する。

形態素解析モデル記憶部２８には、後述するモデル学習装置２００によって予め学習された、テキストに対する形態素解析を行うためのモデルが記憶されている。

形態素解析部３０は、ラティス生成部２６によって生成されたラティスの各経路に対する、予め生成された単語レベルのニューラルネットワーク言語モデルを用いて算出された素性及び予め生成された文字レベルのニューラルネットワーク言語モデルを用いて算出された素性を含む素性ベクトルと、テキストに対する形態素解析を行うための予め学習されたモデルとに基づいて、入力テキストの形態素解析を行う。

本発明の実施の形態では、単語レベルのニューラルネットワーク言語モデルと、文字レベルのニューラルネットワーク言語モデルとを用いて素性を算出する。

ここで、単語レベルのニューラルネットワーク言語モデルについて説明する。ニューラルネットワーク言語モデルは、単語をベクトルによって表現し、ベクトル表現に基づく次単語の予測を行う。従来の言語モデルが固定長の文脈において単語の表層そのものを用いて単語列のもっともらしさを表現するのに対し、ニューラルネットワーク言語モデルは、単語のベクトル表現を用いて次の単語を予測するため、スパース性を軽減することができる。以下の式（１）〜（５）に、ニューラルネットワーク言語モデルに関する式を示す（参考文献１参照）。

ここで、上記式（１）におけるｘ（ｔ）はニューラルネットワーク言語モデルの入力層を表す。また、ｗ（ｔ）は時刻ｔにおける単語を表すベクトル表記であり、ｓ（ｔ−１）は文脈を表す。また、ｓ_ｊ（ｔ）は隠れ層を表し、ｙ_ｋ（ｔ）は時刻ｔにおける求めたい単語の出現確率を表す。なお、ｋは単語のインデックスを表す。また、上記式（２）におけるｕ_ｊｉは、隠れ層ｓ_ｊ（ｔ）の入力層ｘ_ｉ（ｔ）に対する重みを表す。また、上記式（３）におけるｖ_ｋｊは、出現確率ｙ_ｋ（ｔ）の隠れ層ｓ_ｊ（ｔ）に対する重みを表す。

［参考文献１］Mikolov et al.,“Recurrent neural network based language model”, InterSpeech,2010

単語レベルのニューラルネットワーク言語モデルの上記式（２）における重みｕ_ｊｉ及び上記式（３）における重みｖ_ｋｊは、形態素解析済みのコーパスから得られる単語の並びを教師データとして、予め学習される。

また、文字レベルのニューラルネットワーク言語モデルは、単語レベルのニューラルネットワーク言語モデルにおいて、単語を文字に置き換えたものである。また、文字レベルのニューラルネットワーク言語モデルの上記式（２）における重みｕ_ｊｉ及び上記式（３）における重みｖ_ｋｊは、コーパスから得られる文字の並びを教師データとして、予め学習される。

ニューラルネットワーク言語モデルを用いた形態素解析部３０の具体的な処理について以下説明する。

まず、形態素解析部３０は、ラティスの単語分割候補の各々について、単語分割候補の正規表記語をベクトル表記へ変換する。正規表記語とベクトル表記とは、予め対応付けられている。例えば、ベクトル表記の一例として、単語の意味ベクトルを用いることができる。また、形態素解析部３０は、ラティスの単語分割候補の各々について、単語分割候補の正規表記語を構成する各文字をベクトル表記へ変換する。文字とベクトル表記とは、予め対応付けられている。なお、語列のベクトル表記及び文字列のベクトル表記は、状態ｓ（ｔ）として計算される。

形態素解析部３０は、ラティス生成部２６により生成されたラティスにおけるノードを結んだ各経路に対して、当該経路上の各ノードの単語分割候補の各々について、単語レベルのニューラルネットワーク言語モデルを用いて、正規表記語のベクトル表記と、正規表記語より前の出現する正規表記語列を表すベクトル表記とに基づいて、当該単語分割候補に付与された正規表記語より前の出現する正規表記語列を表すベクトル表記が与えられたときの、当該単語分割候補に付与された正規表記語を表すベクトル表記の確率を、素性として算出する。

次に、形態素解析部３０は、ラティス生成部２６により生成されたラティスにおけるノードを結んだ各経路に対して、当該経路上の各ノードの単語分割候補の各々の正規表記語を構成する各文字について、文字レベルのニューラルネットワーク言語モデルを用いて、文字のベクトル表記と、当該文字より前の出現する正規表記の文字列を表すベクトル表記とに基づいて、当該文字より前の出現する正規表記の文字列を表すベクトル表記が与えられたときの、当該文字を表すベクトル表記の確率を、素性として算出する。

次に、形態素解析部３０は、ラティス生成部２６によって生成されたラティスの各経路に対する、単語レベルのニューラルネットワーク言語モデルを用いて算出された素性と、文字レベルのニューラルネットワーク言語モデルを用いて算出された素性とを含む素性ベクトルと、形態素解析モデル記憶部２８に格納されたテキストに対する形態素解析を行うためのモデルとに基づいて、ラティス生成部２６によって生成されたラティスにおけるノードを結んだ各経路のうち、素性ベクトルとモデルとから得られるスコアが最適となる経路を選択し、選択した経路が表す形態素解析結果を出力する。

具体的には、形態素解析部３０は、以下の式（６）に従って、形態素解析結果を出力する。

上記式（６）におけるｗは表出表記列、ｖは正規表記列、ｔは品詞列を表し、Ｌ（ｓ）は入力テキストｓに対する形態素ラティスを表す。また、Ｗはテキストに対する形態素解析を行うための予め学習されたモデルのパラメータであり、重みベクトルである。パラメータＷは、後述するモデル学習装置により予め学習される。

また、上記式（６）におけるｆ（ｗ，ｖ，ｔ）は、単語レベルのニューラルネットワーク言語モデルを用いて算出された素性と、文字レベルのニューラルネットワーク言語モデルを用いて算出された素性とを含む素性ベクトルである。本実施形態では、経路上の単語分割候補の各々について単語レベルのニューラルネットワーク言語モデルから算出される確率Ｐ（ｖ｜ｖｌ）の統計値、及び経路上の単語分割候補の各々を構成する文字の各々について文字レベルのニューラルネットワーク言語モデルから算出される確率Ｐ（ｓ｜ｓｌ）の統計値が、素性ベクトルｆ（ｗ，ｖ，ｔ）に導入される。ただし、ｖｌは正規語ｖより前に出現した正規語列、ｓｌは正規語を構成する文字ｓより前に出現した正規文字列を表す。

例えば、経路上の単語分割候補の各々について単語レベルのニューラルネットワーク言語モデルから算出される確率Ｐ（ｖ｜ｖｌ）を対数へ変換し、対数に変換された値の総和を素性とすることができる。また、同様に、経路上の単語分割候補の各々を構成する文字の各々について文字レベルのニューラルネットワーク言語モデルから算出される確率Ｐ（ｓ｜ｓｌ）を対数へ変換し、対数に変換された値の総和を素性とすることができる。

また、上記式（６）における（ｗ＾，ｖ＾，ｔ＾）は、表出表記、正規表記、及び品詞の各々の最適系列を表す。

図４に、ラティスと形態素結果の一例を示す。図４に示すように、ラティス生成部２６によって、入力テキスト「すーっごくうれしぃ」からラティスが生成される。そして、形態素解析部３０は、上記式（６）に従って、形態素解析結果を出力する。ここで、上記式（６）の素性ベクトルｆ（ｗ，ｖ，ｔ）には、図４に示すように、例えば、単語レベルのニューラルネットワーク言語モデルを用いて算出された確率Ｐ（うれし｜ごく，っ，すー，ｂｏｓ）＝0.00001、又はＰ（うれし｜すごく，ｂｏｓ）＝0.0025が含まれる。また、素性ベクトルｆ（ｗ，ｖ，ｔ）には、図４に示すように、文字レベルのニューラルネットワーク言語モデルを用いて算出された確率Ｐ（う｜く，ご，っ，ー，す，ｂｏｓ）＝0.00021、又はＰ（う｜く，ご，す，ｂｏｓ）＝0.0125が含まれる。

また、最適系列（ｗ＾，ｖ＾，ｔ＾）としては、図４に示すように、表出表記である形態素列として「すーっごく」「うれし」「い」が出力され、品詞列として「副詞」「形容詞語幹」「形容詞接尾辞」が出力され、正規表記を表す正規語列として「すごく」「うれし」「い」が出力される。

そして、形態素解析装置１００は、形態素解析部３０により最終的に得られた形態素結果を出力部４０に出力する。

＜本発明の実施の形態に係るモデル学習装置の構成＞

次に、本発明の実施の形態に係るモデル学習装置の構成について説明する。図５に示すように、本発明の実施の形態に係るモデル学習装置２００は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このモデル学習装置２００は、機能的には図５に示すように入力部５０と、演算部６０と、出力部７０とを備えている。

モデル学習装置２００により学習されたモデルは、形態素解析装置に適用され、任意のテキストに対して形態素解析を行うと共に正規表記語を求めるために用いることができる。

入力部５０は、崩れ表記語に対する正規化表記である正規表記語を含む形態素解析結果の正解データが付与されたテキストを受け付ける。正解データは、形態素の正解（例えば、単語分割、品詞）が付与されたデータである。

演算部６０は、正解データテキスト記憶部６２と、ラティス生成部６４と、モデル学習部６６と、形態素解析モデル記憶部６８とを備えている。

正解データテキスト記憶部６２には、入力部５０によって受け付けられた、正解データが付与されたテキストが記憶される。

ラティス生成部６４は、正解データテキスト記憶部６２に格納されたテキストに対して、ラティス生成部２６と同様に、ラティスを生成する。

モデル学習部６６は、ラティス生成部６４により生成されたラティスにおける単語分割候補の各々についての、単語レベルのニューラルネットワーク言語モデルを用いて算出される素性及び文字レベルのニューラルネットワーク言語モデルを用いて算出される素性を含む素性ベクトルと、形態素解析結果の正解データとに基づいて、テキストに対する形態素解析を行うためのモデルのパラメータＷを学習する。

なお、素性ベクトルは、形態素解析装置１００で算出する素性ベクトルと同様である。

形態素解析モデル記憶部６８には、モデル学習部６６によって学習された、テキストに対する形態素解析を行うためのモデルのパラメータＷが記憶される。

そして、モデル学習装置２００は、形態素解析モデル記憶部６８に格納されたモデルを出力部７０に出力する。

＜本発明の実施の形態に係るモデル学習装置の作用＞

次に、本発明の実施の形態に係るモデル学習装置２００の作用について説明する。入力部５０において正解データが付与されたテキストからなるテキスト集合を受け付けると、テキスト集合が正解データテキスト記憶部６２に格納される。そして、モデル学習装置２００は、図６に示すモデル学習処理ルーチンを実行する。

まず、ステップＳ１００で、ラティス生成部６４は、正解データテキスト記憶部６２に格納されたテキスト集合に含まれる、正解データが付与されたテキストの各々に対して、ラティスを生成する。

ステップＳ１０２で、モデル学習部６６は、上記ステップＳ１００でテキスト各々に対して生成されたラティスにおける単語分割候補の各々についての、単語レベルのニューラルネットワーク言語モデルを用いて算出される素性及び文字レベルのニューラルネットワーク言語モデルを用いて算出される素性を含む素性ベクトルと、形態素解析結果の正解データとに基づいて、テキストに対する形態素解析を行うためのモデルのパラメータＷを学習する。

ステップＳ１０４で、モデル学習部６６は、形態素解析を行うためのモデルを形態素解析モデル記憶部６８に格納する。

ステップＳ１０６で、上記ステップＳ１０４で形態素解析モデル記憶部６８に格納されたモデルを出力部７０により出力し処理を終了する。

＜本発明の実施の形態に係る形態素解析装置の作用＞

次に、本発明の実施の形態に係る形態素解析装置１００の作用について説明する。モデル学習装置２００によって予め学習された、形態素解析を行うためのモデルが形態素解析装置１００に入力されると、形態素解析装置１００は、形態素解析を行うためのモデルを形態素解析モデル記憶部２８へ格納する。そして、入力部１０が入力テキストを受け付けると、形態素解析装置１００は、図７に示す形態素解析処理ルーチンを実行する。

ステップＳ２００で、入力部１０は、入力テキストを受け付ける。

ステップＳ２０２で、ラティス生成部２６は、入力部１０によって受け付けた入力テキストに対して、文字列変換モデル記憶部２２に記憶された文字列変換モデルと、形態素解析辞書２４に格納された正規表記語とに基づいて、ラティスを生成する。

ステップＳ２０４で、形態素解析部３０は、形態素解析モデル記憶部２８に格納された形態素解析を行うためのモデルのパラメータＷを読み込む。

ステップＳ２０５で、形態素解析部３０は、上記ステップＳ２０２で生成されたラティスの単語分割候補の各々について、単語分割候補の正規表記語をベクトル表記へ変換する。また、形態素解析部３０は、上記ステップＳ２０２で生成されたラティスの単語分割候補の各々の正規表記語を構成する各文字について、当該文字をベクトル表記へ変換する。

ステップＳ２０６で、形態素解析部３０は、上記ステップＳ２０２で生成されたラティスにおけるノードを結んだ各経路に対して、単語レベルのニューラルネットワーク言語モデルを用いて、経路上の各ノードの単語分割候補の各々についての、正規表記語を表すベクトル表記の確率を、素性として算出する。また、形態素解析部３０は、上記ステップＳ２０２で生成されたラティスにおけるノードを結んだ各経路に対して、文字レベルのニューラルネットワーク言語モデルを用いて、経路上の各ノードの単語分割候補の各々の正規表記語の各文字について、当該文字を表すベクトル表記の確率を、素性として算出する。そして、形態素解析部３０は、各経路に対して、単語レベルのニューラルネットワーク言語モデルによって算出された素性と文字レベルのニューラルネットワーク言語モデルによって算出された素性とを含む素性ベクトルを生成する。

ステップＳ２０８で、形態素解析部３０は、上記ステップＳ２０２で生成されたラティスと、上記ステップＳ２０６で各経路に対して生成された素性ベクトルと、上記ステップＳ２０４で読み込まれた形態素解析を行うためのモデルのパラメータとに基づいて、上記式（６）に従って、形態素解析結果を出力する。

ステップＳ２１０で、上記ステップＳ２０８で出力された形態素解析結果を出力部４０により出力し処理を終了する。

以上説明したように、本発明の実施の形態に係る形態素解析装置によれば、入力テキストに対してラティスを生成し、ラティスにおけるノードを結んだ各経路に対する、経路上の各ノードの単語分割候補の各々についての、単語レベルのニューラルネットワーク言語モデルを用いて算出される正規表記語を表すベクトル表記の確率、及び文字レベルのニューラルネットワーク言語モデルを用いて算出される、文字を表すベクトル表記の確率を素性として含む素性ベクトルと、テキストに対する形態素解析を行うための予め学習されたモデルとに基づいて、生成されたラティスにおけるノードを結んだ各経路のうち、素性ベクトルとモデルとから得られるスコアが最適となる経路を選択し、選択した経路が表す形態素解析結果を出力することにより、表記正規化と形態素解析とを精度よく行うことができる。

また、本発明の実施の形態に係るモデル学習装置によれば、崩れ表記語に対する正規表記語を含む形態素解析結果の正解データが付与されたテキストに対して、ラティスを生成し、ラティスにおける、ノードを結んだ各経路に対する、経路上の各ノードの単語分割候補の各々についての、単語レベルのニューラルネットワーク言語モデルを用いて算出される、正規表記語を表すベクトル表記の確率、及び文字レベルのニューラルネットワーク言語モデルを用いて算出される、文字を表すベクトル表記の確率を素性として含む素性ベクトルと、形態素解析結果の正解データとに基づいて、テキストに対する形態素解析を行うためのモデルを学習することにより、表記正規化と形態素解析と行うためのモデルを精度よく学習することができる。

また、文字レベルのニューラルネットワーク言語モデルを用いて素性を算出することにより、文字列の並びによって異なる変換コストが考慮されることにより、より妥当な変換コストを考慮することができる。

また、単語レベルのニューラルネットワーク言語モデルを用いて素性を算出することにより、より広範囲な文脈が考慮され、正規表記語列の妥当性が適切に評価可能になる

また、正規化表記の変換候補の尤もらしさを評価する関数において、文字レベル及び単語レベルのニューラルネットワーク言語モデルを用いることにより、高精度な正規化が可能になる

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述した実施の形態では、文字レベルのニューラルネットワーク言語モデルを用いて算出された素性と、単語レベルのニューラルネットワーク言語モデルを用いて算出された素性を含む素性ベクトルを用いる場合を例に説明したが、これに限定されるものではない。例えば、文字レベルのニューラルネットワーク言語モデルを用いて算出された素性及び単語レベルのニューラルネットワーク言語モデルを用いて算出された素性の何れか一方を含む素性ベクトルを用いてもよい。

また、上述の形態素解析装置１００は、文字列変換モデル記憶部２２、形態素解析辞書２４、及び形態素解析モデル記憶部２８を備えている場合について説明したが、例えば文字列変換モデル記憶部２２、形態素解析辞書２４、及び形態素解析モデル記憶部２８の少なくとも１つが形態素解析装置１００の外部装置に設けられ、形態素解析装置１００は、外部装置と通信手段を用いて通信することにより、文字列変換モデル記憶部２２、形態素解析辞書２４、及び形態素解析モデル記憶部２８を参照するようにしてもよい。

また、上述のモデル学習装置２００についても、外部装置に設けられた、正解データテキスト記憶部６２、及び形態素解析モデル記憶部６８と通信手段を用いて通信することにより、正解データテキスト記憶部６２、及び形態素解析モデル記憶部６８を参照するようにしてもよい。

また、上記実施の形態では、形態素解析装置１００とモデル学習装置２００とを別々の装置として構成する場合を例に説明したが、形態素解析装置１００とモデル学習装置２００とを１つの装置として構成してもよい。

上述の形態素解析装置及びモデル学習装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

１０入力部
２０演算部
２２文字列変換モデル記憶部
２４形態素解析辞書
２６ラティス生成部
２８形態素解析モデル記憶部
３０形態素解析部
４０出力部
５０入力部
６０演算部
６２正解データテキスト記憶部
６４ラティス生成部
６６モデル学習部
６８形態素解析モデル記憶部
７０出力部
１００形態素解析装置
２００モデル学習装置

Claims

入力テキストに対して、正規表記語、又は正規表記語に対する揺らいだ表記である崩れ表記語である単語分割候補であって、前記崩れ表記語に対する正規表記語及び品詞が付与された単語分割候補の各々に対応するノード及び連結される単語分割候補に対応するノードを結んだエッジからなるグラフ構造であるラティスを生成するラティス生成部と、
前記ラティス生成部により生成された前記ラティスにおける前記ノードを結んだ各経路に対する、前記経路上の各ノードの前記単語分割候補の各々についての、
単語レベルのニューラルネットワーク言語モデルを用いて算出される、前記単語分割候補に付与された正規表記語より前に出現する正規表記語列を表すベクトル表記が与えられたときの、前記単語分割候補に付与された正規表記語を表すベクトル表記の確率、又は
前記経路上の各ノードの前記単語分割候補の各々に付与された正規表記語の各文字ついての、文字レベルのニューラルネットワーク言語モデルを用いて算出される、前記文字より前に出現する正規表記の文字列を表すベクトル表記が与えられたときの、前記文字を表すベクトル表記の確率
を素性として含む素性ベクトルと、テキストに対する形態素解析を行うための予め学習されたモデルとに基づいて、
前記ラティス生成部によって生成されたラティスにおける前記ノードを結んだ各経路のうち、前記素性ベクトルと前記モデルとから得られるスコアが最適となる経路を選択し、選択した経路が表す形態素解析結果を出力する形態素解析部と、
を含む形態素解析装置。
正規表記語に対する揺らいだ表記である崩れ表記語に対する正規化表記である正規表記語を含む形態素解析結果の正解データが付与されたテキストに対して、正規表記語、又は正規表記語に対する揺らいだ表記である崩れ表記語である単語分割候補であって、前記崩れ表記語に対する正規表記語及び品詞が付与された単語分割候補の各々に対応するノード及び連結される単語分割候補に対応するノードを結んだエッジからなるグラフ構造であるラティスを生成するラティス生成部と、
前記ラティス生成部により生成された前記ラティスにおける、前記ノードを結んだ各経路に対する、前記経路上の各ノードの前記単語分割候補の各々についての、
単語レベルのニューラルネットワーク言語モデルを用いて算出される、前記単語分割候補に付与された正規表記語より前に出現する正規表記語列を表すベクトル表記が与えられたときの、前記単語分割候補に付与された正規表記語を表すベクトル表記の確率、又は
前記経路上の各ノードの前記単語分割候補の各々に付与された正規表記語の各文字ついての、文字レベルのニューラルネットワーク言語モデルを用いて算出される、前記文字より前に出現する正規表記の文字列を表すベクトル表記が与えられたときの、前記文字を表すベクトル表記の確率を素性として含む素性ベクトルと、前記形態素解析結果の正解データとに基づいて、テキストに対する形態素解析を行うためのモデルを学習するモデル学習部と、
を含むモデル学習装置。
コンピュータを、請求項１に記載の形態素解析装置の各部として機能させるためのプログラム。
コンピュータを、請求項２に記載のモデル学習装置の各部として機能させるためのプログラム。