JP2009294747A - 統計的機械翻訳装置 - Google Patents

Abstract

【課題】特定のクラスの入力文をより安定して頑健に翻訳するＳＭＴシステムを提供する。
【解決手段】ＳＭＴシステム３０は、ソース文４８のクラスメンバーシップを表す確率ベクトルＷ１、Ｗ２及びＷ３を決定する分類器９２と。それぞれのクラスのトレーニングデータで統計的にトレーニングされたクラス特定ＳＭＴサブシステムと、サブシステムから出力された確率を補間することによって計算されたターゲット言語の可能な単語シーケンスの確率に従って、最も尤度の高い翻訳仮説５０を推定するためのデコーダ９６とを含む。
【選択図】 図１

Description

この発明は統計的機械翻訳（Ｓｔａｔｉｓｔｉｃａｌ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ：ＳＭＴ）に関し、特に、クラス依存ＳＭＴの改良に関する。

音声認識において、モデルの品質を改善するのに、トピック依存モデリングが有効であることが知られている。最近、機械翻訳分野での実験により（先行技術の非特許文献１、２及び３）、クラスに特定のモデルもまた、翻訳に有用であることが示された。非特許文献１では、トピック依存性は、デコード処理開始前にデータを集合に分け、その後、前処理パスでソース文の全てによって学習を済ませた分類器により、ソース文のクラスを予測し、予測されたクラスに特定の別々のモデルを用いて、これらの集合を独立してデコードすることによって実現される。
ヒロフミ ヤマモトら、２００７年。統計的機械翻訳のためのバイリンガルクラスタベースモデル。ＥＭＮＬＰ−ＣｏＮＬＬ−２００７（ＡＣＬ２００７に続くコンピュータによる自然言語学習ジョイントミーティング、自然言語処理大会における実験方法カンファレンス）、プラハ、チェコ共和国、第５１４−５２３ページ。

（Hirofumi Yamamoto et al. 2007. Bilingual cluster based models for statistical machine translation. EMNLP-CoNLL-2007 (Conference on Empirical Methods in Natural Language Processing Conference on Computational Natural Language Learning Joint Meeting following ACL 2007), Prague, Czech Republic; pp. 514-523.）
アンドリュー フィンチら、２００７年。ＮＩＣＴ／ＡＴＲ ＩＷＳＬＴ２００７のための音声翻訳システム。ＩＷＳＬＴ２００７年、トレント、イタリア。

（Andrew Finch et al. 2007. The NICT/ATR speech translation system for IWSLT 2007. IWSLT 2007, Trento, Italy.）
ジョージ フォスター 及びローランド クーン、２００７年。ＳＭＴのための混合モデルの適応。統計的機械翻訳に関する第２回ワークショップ予稿集、ＡＣＬ、第１２８−１３５ページ、プラハ、チェコ共和国。

（George Foster and Roland Kuhn. 2007. Mixture-model adaptation for SMT. In Proceedings of the Second Workshop on Statistical Machine Translation, ACL, pp. 128-135, Prague, Czech Republic.）

トピック依存、又はクラス依存のモデリングは機械翻訳の精度を改善する。しかし、精度は分類器の精度に大きく左右される。もし入力された文が誤ったトピック又はクラスに分類されてしまうと、翻訳の精度は非常に劣化する。

従って、この発明の目的の一つは、特定のクラスの入力文をより安定して頑健に翻訳することのできるＳＭＴ装置を提供することである。

この発明の別の目的は、特定のクラスの入力文をより安定してより高い精度で頑健に翻訳することのできるＳＭＴ装置を提供することである。

この発明の第１の局面に従った統計的機械翻訳装置は、ソース文のクラスメンバーシップを表す確率のベクトルを決定するための手段を含む。ベクトルの要素は、ソース文の確率が予め定められたクラスの集合の１つに属する確率を表す。装置はさらに、予め定められたクラスの集合のクラスそれぞれについて設けられた、複数個のクラス特定統計的サブデコーダを含む。デコーダはそれぞれのクラスのトレーニングデータのそれぞれの集合によって統計的にトレーニングされる。デコーダの各々はソース文中の単語又は単語シーケンスの各々についてターゲット言語での翻訳単語又は単語シーケンスの確率を出力する。装置はさらに、ターゲット言語の可能な単語シーケンスの確率に従って、前記ソース文の前記ターゲット言語における最も尤度の高い翻訳仮説を推定する手段を含む。ターゲット言語の可能な単語シーケンスの確率は、複数個のサブデコーダによって出力される確率をターゲット言語の単語又は単語シーケンスの各々について、確率ベクトルに従って補間することによって計算される。

クラスメンバーシップを決定する手段は、確率ベクトルを決定する。ベクトルの要素はソース文がそれぞれのクラスに属する確率を表す。複数個の統計的サブデコーダはソース文中の単語又は単語シーケンスの各々についてターゲット言語での翻訳単語又は単語シーケンスの確率を出力する。推定手段は、単語又は単語シーケンスの確率に従って、最も尤度の高い翻訳仮説を推定し、これらはサブデコーダによって出力される確率を補間することによって計算される。

好ましくは、複数個のクラスは一般クラスと複数個の特定クラスとを含み、前記複数個の特定クラスは、前記一般クラスを分割したものである。

より好ましくは、一般クラスに対応する前記ベクトルの１要素は、０から１の範囲の定数である。

さらに好ましくは、装置は前記ベクトルの要素を正規化して、前記要素の和が１となるようにするための正規化手段をさらに含む。

前記確率のベクトルを決定するための手段は、最大エントロピモデルに基づいて統計的にトレーニングされ、前記クラスのそれぞれにメンバーシップ確率を割当ててもよい。

好ましくは、前記複数個のクラス特定統計的サブデコーダの各々は、クラス特定言語モデル、クラス特定翻訳モデル、クラス特定長さモデル、若しくはクラス特定ディストーションモデル、又はこれらモデルの任意の組合せに従って確率を計算する。

この発明のアプローチは、多くの点において先行技術の非特許文献１を一般化したものである。この発明の技術により、デコード処理そのものにおいて多数のモデルの集合を利用することが可能になる。クラス特定モデルの集合の各々の寄与分は、後述するように、補間重みの集合によって、デコードの間に動的に制御される。これらの重みは、文ごとに変更可能である。以前のアプローチでは、本質的に、補間の重みは（ソース文がモデルと同じトピックであることを示す）１であるか、又は（ソース文が異なるトピックであることを示す）０であるか、のどちらかであった。

本発明の利点の一つは、これが柔軟なアプローチである、ということである。すなわち、ソース文は、多数のクラスに様々な程度で属することができる。ここでは、確率分類器を用いて、クラスメンバーシップを表す確率のベクトルを決定した。これらの確率は、補間されたモデルの集合において、それぞれのクラス依存モデルについて、混合重みとして直接使用される。

この発明のシステムの別の特徴は、これが、クラス特定モデルの集合とともに、全てのデータから構築された一般モデルを含むことである。この結果、正確で安定した翻訳が得られる。

この実施の形態のアプローチは、クラス依存のモデルの点で、先行する全てのアプローチと異なる。先行技術の非特許文献１以前には、クラス依存の言語モデルのみが用いられていた。非特許文献１及び３はともに、これを拡張して翻訳モデルを含めている。この発明のアプローチでは、ディストーション及びターゲット長さモデルを含みうるすべてのモデルが、単一のフレームワーク内でＳＭＴシステムに組合されている。

バイリンガルコーパスは、文の対の集合体である。各対は、第１の言語の文と第２の言語の文とを含む。各文は他方の翻訳である。バイリンガルコーパス中の文は単語又は音素にセグメント化され、品詞ラベルを付されている。

言語モデル（ＬＭ）は、Ｎ−１個の他の単語がその前に出現するという条件での、単語の出現確率を与える。Ｎ−グラムＬＭは、バイリンガルコーパスのトレーニング集合のターゲット部分から得られる統計により、構築（トレーニング）される。

翻訳モデル（ＴＭ）は、第１の言語の単語が第２の言語の別の単語にされる確率を与える。この実施の形態では、ＴＭはトレーニング集合から統計的に得られる。

長さモデル（ＬｅＭ）は平均に対して翻訳（ターゲット）中の単語が１つ付加されるたびにペナルティを与える。長さモデルはトレーニング集合中の文の対のターゲット部分から得られる。

ディストーションモデル（ＤＭ）はターゲット言語において２つの隣り合った句に対応付けられた、２つのソース言語の句の相対的距離に対するペナルティを与える。ＤＭはトレーニング集合から統計的に得られる。

１．始めに
この実施の形態は、多数のＳＭＴシステムを重み付けして組合せ、システム中の全てのモデルについて、トピック依存モデル間の確率的に柔軟な重みづけを可能にする。この実施の形態はこの技術を応用したもので、疑問文及び叙述文のためのクラスベースのモデルを構築し組合せることによって、対話システムの品質を改善する。

この実施の形態のＳＴＭシステムは、全てのモデルのクラス依存の形式がデコード処理に直接統合される点で、先行するクラス依存の翻訳方法と異なる。この実施の形態のシステムは、モデルの間の確率的な混合重みを用いるが、この重みはソースセグメントの特性に依存してセグメントごとにダイナミックに変更可能である。

この実施の形態のシステムはクラス依存のモデルを用いた質問及び叙述文の翻訳に関する。これを達成するために、このシステムは対話文の２つのクラス、すなわち質問と叙述、の一つに当てはまる文に対処するために特別に構築された２つのモデルの集合を、一般のクラスを扱うために構築された第３の集合と統合する。

この実施の形態の目的のために、疑問文と、それ以外とを区別したい。表現を簡潔にするために、以下の明細書中では、疑問文を「質問」とし、それ以外を「叙述」と呼ぶことにする。トレーニングに用いられるバイリンガルコーパス中の文には各々、「質問」又は「叙述」のラベルが付されているものとする。

２．システムの概観
２．１システムアーキテクチャ
後述する図１は、このシステムの全体構造を示す。データはクラスに分けられ、さらに各クラスについて、トレーニングセットと開発セットとに細分される。３個の完全なＳＭＴシステムが構築される。各クラスのための１つと、両方のクラスからのデータについての１つとである。確率分類器（次の項で述べる）もまた、トレーニングデータの完全なセットからトレーニングされる。

用いられる機械翻訳デコーダは、デコードされるべき各ソース単語シーケンスについて与えられる補間重みのベクトルに従って、全てのサブシステムからの全てのモデルを線形補間可能である。こうするために、検索に先立って、デコーダはまず、各サブシステムからの句（フレーズ）テーブルをマージしなければならない。全ての句テーブルの句の全てが、デコードの間に用いられる。１つのサブシステムのテーブルで発現するが他のサブシステムのテーブルでは発現しない句も用いられるが、トレーニング中にこの句を獲得しなかったサブシステムによるサポートはない（ゼロ確率）。探索処理は、典型的な多段句ベースデコーダにおけるのと同様に行われる。

一般モデルのための重みは、このパラメータを、一般開発セットに対してＢＬＥＵスコアが最大になるように調整することによって設定される。この重みは、一般モデルに割当てられるべき確率の大きさを決定し、全ての文のデコードの間、固定されたままである。確率の大きさの残りの部分は実行時に、各文について動的に、クラス特定モデルの間で分割される。各クラスに割当てられる割合は、単に、分類器によって割当られたソース文のクラスメンバーシップ確率である。

３．質問予測
３．１問題の概要
ある特定のクラス（この実施の形態では、疑問又は叙述）のソース文が与えられる場合、生成されるターゲット文が確実に適切なクラスであることが望まれる。これは必ずしも、ソースで質問が与えられるとターゲットで質問が生成されなければならない、という意味ではない。しかし、少なくとも直観的には、ソースの質問からはターゲットの質問が、ソースの叙述からはターゲットの叙述が生成できるはずだと仮定するのが合理的であろう。これが合理的なのは、機械翻訳エンジンの役割が、ソースから可能な全ての翻訳を生成することではなく、１つの受容可能な翻訳を生成できるようにすることだからである。この仮定から、進むべきもっともふさわしい方策が２つ導かれる。

１．ソース文のクラスを予測し、これを用いてターゲットを生成するのに用いられるデコード処理を制約すること。

２．ターゲットのクラスを予測すること。

後述する実験では、最も正確であると思われたため、第２の方法を選択したが、いずれの戦略にも相応の利点があると思われる。

３．２最大エントロピ分類器
この実施の形態では、最大エントロピ（Ｍａｘｉｍｕｍ Ｅｎｔｒｏｐｙ：ＭＥ）分類器を用い、語彙的特徴量の集合を用いて入力ソース文が属するクラスを決定する。すなわち、分類器を用いて、クラス特定モデルの混合重みを設定する。最近は、この様な分類器が、さまざまな自然言語処理課題において多数の語彙的特徴量を利用して有力なモデルを生成している。例えば、ロナルド ローゼンフェルド、１９９６を参照（ロナルド ローゼンフェルド、１９９６年。適応的統計的言語モデル化への最大エントロピアプローチ。コンピュータ音声及び言語。１０：１８７−２２８）（Ronald Rosenfeld. 1996. A maximum entropy approach to adaptive statistical language modeling. Computer Speech and Language. 10:187-228）ＭＥモデルは以下の形の指数モデルである。

ここで、
ｔは予測されるクラス、
ｃはｔの文脈、
γは正規化係数、
Ｋはモデル中の特徴量の数、
α_ｋは特徴量ｆ_ｋの重み、
ｆ_ｋは二次特徴量関数、
ｐ_０はデフォルトモデルであり、
これらはソース文中の、文のクラスを予測するための特徴量である。

さらに、文中で出現するものを、文頭及び文末で出現するｎグラムと区別するために、単語シーケンス中に文頭トークン（＜ｓ＞）と文末トークンとを導入した。これは、「質問語」又は文が質問であることを示す単語が、（たとえば、英語のｗｈ−＜ｗｈａｔ，ｗｈｅｒｅ，ｗｈｅｎ＞、マレー語の−ｋａｈ語−＜ａｐａｋａｈ，ｄｉｍａｎａｋａｈ，ｋａｐａｎｋａｈ＞のように）文頭にしばしば見出されるか、（日本語の＜ｋａ＞又は中国語の＜ｍａ＞のように）文末にしばしば見出される、という観察に基づくものである。

このｎグラム抽出を採用したのは、誤りの分析から、“ｅｘｃｕｓｅ ｍｅ ｐｌｅａｓｅ ｗｈｅｒｅ ｉｓ…”等の文を扱うには、文の内側からのｎグラムが必要であることが示されたためである。簡単な例文とその文から生成された特徴量の集合を図１１に示し、詳細は後述する。

この発明のＭＥモデルを実現するために、Ｌｅ ＺｈａｎｇのＭＥモデリングツールキットを用いた。（ＬｅＺｈａｎｇ。２００４年。Ｐｙｔｈｏｎ及びＣ＋＋用最大エントロピモデリングツールキット）（Le Zhang. 2004. Maximum Entropy Modeling Toolkit for Python and C++, [http://homepages.inf.ed.ac.uk/s0450736/maxent_toolkit.html]）。これらのモデルは、Ｌ―ＢＦＧＳパラメータ推定によってトレーニングされ、トレーニングの間、平滑化のためにガウス事前分布を用いた。「Ｌ−ＢＦＧＳ」は非線形最適化問題を解決するための周知のソフトウェアパッケージである。

デコーダからのｎベスト出力をとり、ソース及びターゲット分類器に従ったクラスが一致するリストの中で最も高い翻訳仮説を選択する。

４．システム構成
図１はこの実施の形態のＳＭＴシステム３０の全体構造を示す。図１を参照して、ＳＭＴシステム３０は、クラス依存ＳＭＴモデル、ソース文を分類するために用いられる分類器モデル、及びＳＭＴデコーダ内で用いられる句テーブルをトレーニングするためのトレーニングモジュール４４を含む。トレーニングセット４２はトレーニングデータとして用いられる。トレーニングモジュール４４はさらに、一般ＳＭＴモデルに割当てられる重みＷ１を推定する。重みは、開発セット４０に基づいて推定される。バイリンガルコーパスはクラスに分けられ、さらに、各クラスについてトレーニングセットと開発セットとに細分される。

ＳＭＴシステム３０はさらに、ソース言語の入力文４８をターゲット言語の翻訳５０に翻訳するための統計的機械翻訳（Ｓｔａｔｉｓｔｉｃａｌ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ：ＳＭＴ）装置４６を含む。ＳＭＴ装置４６はトレーニングモジュール４４によってトレーニングされたモデルと、トレーニングモジュール４４によって推定された重みＷ１とに基づいて、統計的に翻訳を行う。

トレーニングモジュール４４は、入力文の特徴量の組が与えられると、その文が質問である確率を分類器モデル１１０に基づいて計算するように、分類器モデル１００をトレーニングするための分類器トレーニングモジュール７２と、クラス依存ＳＭＴモデル１１２の３つの集合、すなわち一般、質問に特定、叙述に特定のモデルをトレーニングするためのＳＭＴトレーニングモジュール７４と、バイリンガルコーパスのトレーニングセット４２から抽出された句テーブル１１４を生成するための、句テーブル生成モジュール７６と、開発セット４０に基づいて、一般ＳＭＴモデルの一般集合に割当られた重みＷ１を推定するための重み推定モジュール７０とを含む。

ＳＭＴ装置４６は、分類器モデル１１０、クラス依存ＳＭＴモデル１１２の３つの集合、句テーブル１１４及び重み推定モジュール７０によって推定された重み１１６（Ｗ１）を記憶するための記憶部９０を含む。

ＳＭＴ装置４６はさらに、入力文４８が質問文である確率Ｐ_Ｑを推定する分類器９２と、翻訳処理の間に一般ＳＭＴモデル、質問に特定のＳＭＴモデル及び叙述に特定のＳＭＴモデルに基づいて、重みＷ１、Ｗ２及びＷ３の和が１になるように計算される、確率に割当てられる重みＷ１、Ｗ２及びＷ３を正規化する正規化モジュール９４と、ソース言語の入力文４８を、統計的機械翻訳方法を利用してターゲット言語の翻訳５０に翻訳するためのＳＭＴモジュール９６とを含む。ＳＭＴモジュール９６は、一般集合から由来する確率に代えて、ＳＭＴモデル１１２の３つの集合からくる確率の重みづけ合計で仮説の確率を計算する点を除き、通常のＳＭＴモジュールである。

図２は図１のＳＭＴトレーニングモジュール７４とクラス依存ＳＭＴモデル１１２の３つの集合とを示す詳細なブロック図である。

図２を参照して、クラス依存ＳＭＴモデル１１２の３つの集合は、一般ＳＭＴモデルの集合１６０、質問に特定のＳＭＴモデルの集合１６２、及び叙述に特定のＳＭＴモデルの集合１６４を含む。

一般ＳＭＴモデル１６０は、言語モデル１８０、翻訳モデル１８２、長さモデル１８４、及びディストーションモデル１８６を含む。

言語モデル（ＬＭ）はＮ−１個の他の単語が直前に出現しているという条件での、単語の出現の確率を与える。Ｎ−グラムＬＭはバイリンガルコーパスのトレーニングセット４２のターゲット部から得られる統計から構築（トレーニング）される。

翻訳モデル（ＴＭ）は第１の言語の単語が、第２の言語の単語に翻訳される確率を与える。この実施の形態では、ＴＭ１８２はバイリンガルコーパスのトレーニングセット４２から得られる。

長さモデル（ＬｅＭ）は平均に対して翻訳（ターゲット）中の単語が１つ増えるたびにペナルティを与える。長さモデル１８４はバイリンガルコーパスのトレーニングセット４２の文の対のうちターゲット部から得られる。

ディストーションモデル（ＤＭ）は、２つの近接するターゲット言語の句に対応付けされる２つのソース言語の句の相対的距離に対してペナルティを与える。ＤＭ１８６はバイリンガルコーパスのトレーニングセット４２から統計的に得られる。

同様に、質問に特定のＳＭＴモデル１６２の集合はＬＭ２００、ＴＭ２０２、ＬｅＭ２０４、及びＤＭ２０６を含み、叙述に特定のＳＭＴモデル１６４の集合はＬＭ２２０、ＴＭ２２２、ＬｅＭ２２４、及びＤＭ２２６を含む。

ＳＭＴトレーニングモジュール７４は、トレーニングセット４２の全体に基づいて、一般ＳＭＴモデル１６０の集合をトレーニングするための一般ＳＭＴトレーニングモジュール１３０と、トレーニングセット４２から文の対であってターゲット側に質問を含むものを抽出する、質問抽出モジュール１３２と、質問抽出モジュール１３２によって抽出された文の対に基づいて、質問に特定のＳＭＴモデル１６２をトレーニングするための質問特定ＳＭＴトレーニングモジュール１３４と、トレーニングセット４２から文の対であってターゲット側に叙述を含むものを抽出する叙述抽出モジュール１３６と、叙述抽出モジュール１３６によって抽出された文の対に基づいて、叙述に特定のＳＭＴモデル１６４をトレーニングするための、叙述特定ＳＭＴトレーニングモジュール１３８とを含む。

図３は、図１に示す句テーブル生成モジュール７６のブロック図である。図１を参照して、句テーブル生成モジュール７６は、バイリンガルコーパスのトレーニングセット４２の対の各々のソース文とターゲット文とを対応付ける自動アライメントモジュール２４０と、自動アライメントモジュール２４０によって対応付けされたソース文とターゲット文とを特定しその句を抽出する句抽出モジュール２４２と、を含む。

自動アライメントモジュール２４０は、ソース文の各単語をターゲット文の対応の単語と対応付ける。句抽出モジュール２４２はソース文中の特定の単語シーケンスであってターゲット文中の連続した単語と対応付けされたものを句の対として抽出し、これらを一般句テーブル２４４に記憶する。

同様に、句テーブル生成モジュール７６はさらに、質問特定句テーブル２５４を生成するための、自動アライメントモジュール２５０及び句抽出モジュール２５２と、叙述特定句テーブル２６４を生成するための自動アライメントモジュール２６０及び句抽出モジュール２６２とを含む。

句テーブル生成モジュール７６はさらに、一般句テーブル２４４、質問特定句テーブル２５４及び叙述特定句テーブル２６４をマージするためのテーブルマージモジュール２７０を含む。句テーブル１１４を生成するにあたって、１つのサブシステムのテーブルで出現するが別のサブシステムのテーブルには出現しない句も用いられるが、トレーニング中にこの句を獲得しないサブシステムからのサポートはない（ゼロ確率）。

図４は図１に示した、分類器トレーニングモジュール７２の詳細なブロック図であり、これは入力文の特徴量の予め定められた組を受け、ＭＥモデルに基づいてその文が質問である確率を出力する、質問特定分類器９２のためのＭＥ（最大エントロピ）モデルをトレーニングするためのものである。

図４を参照して、分類器トレーニングモジュール７２は、バイリンガルコーパスのトレーニングセット４２のソース文の各々から特徴量の予め定められた組を抽出する特徴量抽出モジュール２９０と、特徴量の組と、ソース文のラベル（質問／叙述）とを記憶する記憶部２９２と、確率分類モデル１１０を計算するための最大エントロピモデリングモジュール２９４とを含む。最大エントロピモデリングモジュール２９４は最大エントロピツールキットで実現される。このようなツールキットのいくつかがインターネット上で入手可能である。

図５は図１に示す重み推定モジュール７０のブロック図である。図５を参照して、重み推定モジュール７０はバイリンガルコーパスの開発セット４０とＳＭＴ装置４６とを利用して、翻訳セット３１０について計算された平均ＢＬＥＵスコアが最も高くなるように、一般ＳＭＴの重みＷ１を最適化する。

重み推定モジュール７０は翻訳セット３１０内の全ての翻訳のＢＬＥＵスコアを評価するＢＬＥＵ評価器３２０を含む。翻訳セット３１０は、開発セット４０内の全てのソース文の、ＳＭＴ装置４６によるターゲット言語への翻訳を含む。ＢＬＥＵ評価器３２０は開発セット４０内の文の対のうちターゲット部分を、基準翻訳として使用する。

重み推定モジュール７０はさらに、ＢＬＥＵ評価器３２０によって評価された翻訳のＢＬＥＵスコアを記憶するための記憶部３２２と、翻訳と評価との繰返しにより一般ＳＭＴ確率についての重み３２６（Ｗ１）を最適化するための重み最適化モジュール３２４とを含む。後述するように、重みＷ１の最適化に先立って、分類器モデル１１０及びクラス特定ＳＭＴモデル１１２と句テーブル１１４との３つの組が生成される。従って、重みＷ１の最適化は、各々が０から１までの範囲の重みの組について全てのソース文を繰返し翻訳し、最も高いＢＬＥＵスコアが得られる値を見出すことによって可能となる。

図６は図１に示すＳＭＴモジュール９６のブロック図である。図６を参照して、ＳＭＴモジュール９６は、入力文４８を受け、一般ＳＭＴモデル１６０の集合に基づいて、ＬｅＭ及びＤＭペナルティとともにそのＳＭＴ（ＳＭ及びＴＭ）確率を出力する一般ＳＭＴサブシステム３４０と、ターゲット言語からの確率及びペナルティの各々を図１の正規化モジュール９４からの重みＷ１で乗算する重みづけモジュール３５０と、入力文４８を受け、質問特定ＳＭＴモデル１６２に基づいて、ＬｅＭ及びＤＭペナルティとともにそのＳＭＴ確率を出力する質問特定ＳＭＴサブシステム３４２と、質問特定ＳＭＴサブシステム３４２からの確率及びペナルティの各々を乗算し、入力文４８を受け叙述特定ＳＭＴモデルに基づいてＬｅＭ及びＤＭペナルティとともにそのＳＭＴ確率を出力するための重みづけモジュール３５２と、入力文４８を受け、叙述特定ＳＭＴモデル１６４に基づいて、ＬｅＭ及びＤＭペナルティとともにそのＳＭＴ確率を出力する叙述特定ＳＭＴサブシステム３４４と、ＬＭ及びＴＭの値の各々を質問特定及び叙述とともに乗算する重みづけモジュール３５４と、を含む。

ＳＭＴモジュール９６はさらに、重みづけられたＬＭ、ＴＭ、ＬｅＭペナルティとＤＭペナルティとを合計する合計モジュール３６０と、ＬＭ及びＴＭ確率とＬｅＭ及びＤＭペナルティとの合計を受け、句テーブル１１４を利用して、入力文４８の翻訳のｎベスト仮説を探索する多段フレーズベースデコーダ３６２とを含む。

図７は重みづけモジュール３５２の簡略化したブロック図である。図７を参照して、重みづけモジュール３５２は、質問特定ＳＭＴサブシステム３４２からのＬＭ確率を重みＷ２で乗算する乗算器４００と、質問特定ＳＭＴサブシステム３４２からのＴＭ確率を重みＷ２で乗算する乗算器４０２と、質問特定ＳＭＴサブシステム３４２からのＬｅＭペナルティを重みＷ２で乗算する乗算器４０４と、質問特定ＳＭＴサブシステム３４２からのＤＭペナルティを重みＷ２で乗算する乗算器４０６と、を含む。

図示しないが、重みづけモジュール３５０及び３５４は重みづけモジュール３５２と同様の構造を有する。しかしながら、重みづけモジュール３５０及び３５４の重みはそれぞれＷ１とＷ３とである。重みづけモジュール３５０、３５２及び３５４の出力は合計モジュール３６０に与えられる。

図８は図６に示す合計モジュール３６０のブロック図である。図６を参照して、合計モジュール３６０は、重みづけモジュール３５０、３５２及び３５４から出力されるＬＭ確率、ＴＭ確率、ＬｅＭペナルティ及びＤＭペナルティをそれぞれ計算するための４つの合計回路４２０、４２２、４２４及び４２６を含む。合計回路４２０、４２２、４２４及び４２６の出力はデコーダ３６２の入力に与えられ、これは、これらの値に基づいて翻訳の最も確率の高い仮説を探索する。

図９は、分類器９２によって推定された確率Ｐ_Ｑに基づいて、クラスメンバーシップを表す重みベクトルの要素である重みＷ１、Ｗ２及びＷ３の合計が１となるように、重みＷ２及びＷ３を正規化するための正規化モジュール９４のブロック図である。重みＷ１は、一旦重み推定モジュール７０によって最適化されると、固定されたままである。従って、正規化モジュール９４はＷ２とＷ３との合計が１−Ｗ１となるように、Ｗ２及びＷ３に対するＰ_Ｑと１−Ｐ_Ｑとを正規化する。

具体的には、正規化モジュール９４は、数値定数「１」を記憶するための記憶部４４０と、一方入力が分類器９２からの確率Ｐ_Ｑを受けるように結合され、他方入力が記憶装置４４０に結合されて、定数１と確率Ｐ_Ｑとの差、すなわち１−Ｐ_Ｑを出力する減算器４４２と、一方入力が重みＷ１を受けるように結合され、他方入力が記憶装置４４０に結合されて、定数１と重みＷ１との差を出力する減算器４４４と、一方入力が減算器４４４の出力を受けるように結合され、他方入力が分類器９２からの確率Ｐ_Ｑを受けるように結合された乗算器４４６と、一方入力が減算器４４４の出力を受けるように結合され、他方入力が減算器４４２の出力を受けるように結合された乗算器４４８と、を含む。

減算器４４２及び４４４の出力はそれぞれ、１−Ｐ_Ｑと１−Ｗ１とに等しい。従って、乗算器４４６及び４４８の出力Ｗ２及びＷ３は、それぞれＰ_Ｑ＊（１−Ｗ１）と、（１−Ｐ_Ｑ）＊（１−Ｗ１）とに等しい。Ｗ１、Ｗ２及びＷ３の合計、すなわちＷ１＋Ｐ_Ｑ＊（１−Ｗ１）＋（１−Ｐ_Ｑ）＊（１−Ｗ１）は１に等しい。

図１０は図１に示す分類器９２のブロック図である。図１０を参照して、分類器９２は、図４に示す特徴量抽出モジュール２９０によって抽出されたのと同じ特徴量の組を入力文４８から抽出するための特徴量抽出モジュール４６０と、分類器モデル１１０（図１を参照）及び特徴量抽出モジュール４６０によって抽出された入力文４８の特徴量の組に基づいて、入力文４８の確率Ｐ_Ｑを計算するための確率計算モジュール４６２と、を含む。

図１１はターゲット文のクラスを予測するためにＭＥモデルにおいて述語として用いられる、文“＜ｓ＞ｗｈｅｒｅ ｉｓ ｔｈｅ ｓｔａｔｉｏｎ＜／ｓ＞”から抽出されたｎグラム（ｎ≦３）の組を示す。この組は、４個のユニグラム（＜ｓ＞ｗｈｅｒｅ，ｉｓ，ｔｈｅ，ｓｔａｔｉｏｎ＜／ｓ＞）、３個のバイグラム（＜ｓ＞ｗｈｅｒｅ ｉｓ，ｉｓ ｔｈｅ，ｔｈｅ ｓｔａｔｉｏｎ＜／ｓ＞）、及び２個のトライグラム（＜ｓ＞ｗｈｅｒｅ ｉｓ ｔｈｅ，ｉｓ ｔｈｅ ｓｔａｔｉｏｎ＜／ｓ＞）を含む。ｎグラムの特徴量の説明を簡潔にするため、図１ではｎを３とした。しかし、ｎの数は３に限られない。後述するように、発明者らは実験では５グラム特徴量（ｎ＝５）を用いている。

５．動作
＜全体手順＞
ＳＭＴシステムは以下のように動作する。ＳＭＴシステム３０は大まかに言って２つの動作段階を含む。トレーニング段階と翻訳段階である。

図１２を参照して、トレーニング段階は４つのサブ段階を含む。クラス依存ＳＭＴモデル１１２のトレーニング（ステップ５００）と、分類器モデル１１０のトレーニング（ステップ５０２）と、句テーブル１１４の生成（ステップ５０４及び５０６）と、開発セット４０の一般モデルのための重みＷ１の最適化（ステップ５０８）と、である。ステップ５００から５０８が完了すると、ＳＭＴシステム３０は何らかの入力文を翻訳する準備が整う。

［ＳＭＴモデルのトレーニング（ステップ５００）］
図２を参照して、一般ＳＭＴトレーニングモジュール１３０はトレーニングセット４２の全データに基づいて一般ＳＭＴモデル１６０をトレーニングする。ＳＭＴモデルのトレーニングは通常の方法で行われる。

質問抽出モジュール１３２はトレーニングセット４２から、各々がターゲット側に質問文を含む文の対を抽出する。質問特定ＳＭＴトレーニングモジュール１３４は、質問抽出モジュール１３２によって抽出された文の対に基づいて、質問特定ＳＭＴモジュール１６２をトレーニングする。トレーニングの方法は、一般ＳＭＴトレーニングモジュール１３０と同様である。

叙述抽出モジュール１３６は、トレーニングセット４２から、各々がターゲット側に叙述文を含む文の対を抽出する。叙述特定ＳＭＴトレーニングモジュール１３８は、叙述抽出モジュール１３６によって抽出された文の対に基づいて、叙述特定ＳＭＴモジュール１６４をトレーニングする。トレーニングの方法は、ＳＭＴトレーニングモジュール１３０及び質問特定ＳＭＴトレーニングモジュール１３４と同様である。

［分類器モデル１１０のトレーニング（ステップ５０２）］
図４を参照して、特徴量抽出モジュール２９０は、トレーニングセット４２の文の対のソース文の各々から図１０に示す特徴量抽出モジュール４６０によって抽出されるのと同じ特徴量の組を抽出する。記憶部２９２は抽出された特徴量の組をターゲット側の文の各々の文ラベル（質問／叙述）とともに記憶する。その後最大エントロピモデリングモジュール２９４が記憶部２９２に記憶された特徴量の組と文ラベルとに基づいて、式（１）に従って分類モデル１１０のパラメータを計算する。

［句テーブルの生成（ステップ５０４及び５０６）］
図３を参照して、自動アライメントモジュール２４０は、トレーニングセット４２の文の対の各々について、ソース文の単語とターゲット文の単語とを対応付ける。句抽出モジュール２４２は、対応付けされた文の対から、句の対を抽出する。ここで、句抽出モジュール２４２は、ターゲット文中の連続した単語に対応付けられたソース文中の連続した単語のシーケンスを見出し、これら単語シーケンスの対を句の翻訳対として抽出する。抽出した句の対は、一般句テーブル２４４に記憶される。

自動アライメントモジュール２５０は、トレーニングセット４２の「質問」というラベルを付された文の対の各々において、ソース文の単語とターゲット文の単語とを対応付ける。句抽出モジュール２５２は、一般句テーブル２４４と同様に、対応付けされた文の対から句の対を抽出する。抽出された句の対は、質問特定句テーブル２５４に記憶される。

自動アライメントモジュール２５０はトレーニングセット４２の「叙述」というラベルを付された文の対の各々において、ソース文の単語とターゲット文の単語とを対応付ける。句抽出モジュール２６２は、句抽出モジュール２４２及び一般句テーブル２４４と同様に、対応付けされた文の対から句の対を抽出する。抽出された句の対は、叙述特定句テーブル２６４に記憶される。

テーブルマージモジュール２７０は、一般句テーブル２４４、質問特定句テーブル２５４及び叙述特定句テーブル２６４をマージする。ここで、テーブル２４４、２５４及び２６４の１つ又は２つで出現する句の対は、句テーブル１１４に記憶される。しかし、この句をトレーニング中に獲得しなかったサブシステムにはサポートがない（ゼロ確率）。

［重みＷ１の最適化（ステップ５０８）］
重みＷ１の最適化には開発セット４０が用いられる。図５を参照して、開発セット４０内のソース文の各々がＳＭＴ装置４６によって翻訳され、翻訳セット３１０ができる。ＢＬＥＵ評価器３２０が翻訳の各々のＢＬＥＵスコアを評価する。開発セット４０内のターゲット側の文は、この評価において基準翻訳として用いられる。ＢＬＥＵスコアの平均が計算され記憶される。

次のサイクルで、重みＷ１の値をわずかに変えて、同様のＢＬＥＵ評価が行われる。こうして、最少誤差トレーニングにより（フランツ Ｊ オック、２００３年。統計的機械翻訳のための最少誤差率トレーニング、ＡＣＬ予稿集）（Franz J. Och, 2003. Minimum error rate training for statistical machine translation, Proceedings ACL.）、一般モデルの重みＷ１が最適化される。

一旦最適化されると、重みＷ１は文のデコード（翻訳）の間、固定されたままである。

［ＳＭＴモジュール９６による翻訳］
ラベル（質問／叙述）なしの入力文４８が分類器９２（図１及び図１０を参照）に与えられると、特徴量抽出モジュール４６０は入力文４８から特徴量の組を抽出し、その特徴量の組を確率計算モジュール４６２に与える。確率計算モジュール４６２は、特徴量の組を分類器モデル１１０に適用することによって、入力文４８が質問である確率を計算する。計算された確率Ｐ_Ｑは正規化モジュール９４の減算器４４２及び乗算器４４６の入力に与えられる。分類器９２から与えられた確率Ｐ_Ｑに基づいて、正規化モジュール９４は、重みＷ１、Ｗ２及びＷ３の和が１となるように重みＷ２及びＷ３を正規化し、重みＷ１、Ｗ２及びＷ３をＳＭＴモジュール９６に与える。

図６を参照して、一般ＳＭＴサブシステム３４０、質問特定ＳＭＴサブシステム３４２及び叙述特定ＳＭＴサブシステム３４４は、特徴量の組が与えられると、一般ＳＭＴモデル１６０、質問特定ＳＭＴモデル１６２及び叙述特定ＳＭＴモデル１６４にそれぞれ基づいて、仮説の確率を独立に計算する。ＬＭ及びＴＭ確率と、ＬｅＭ及びＤＭペナルティとが一般ＳＭＴサブシステム３４０、質問特定ＳＭＴサブシステム３４２及び叙述特定ＳＭＴサブシステム３４４から重みづけモジュール３５０、３５２及び３５４にそれぞれ与えられ、重みＷ１、Ｗ２及びＷ３によってそれぞれ重みづけられる。

重みづけられたＬＭ及びＴＭ確率と重みづけられたＬｅＭ及びＤＭペナルティとは合計モジュール３６０に与えられ（図８を参照）、ここで重みづけモジュール３５０、３５２及び３５４からのＬＭ確率が加算される。同様に、重みづけモジュール３５０、３５２及び３５４からのＴＭ確率が加算される。ＬｅＭ確率及びＤＭペナルティも同様に加算される。このようにして得られたＬＭ確率、ＴＭ確率、ＬｅＭペナルティ及びＤＭペナルティはデコーダ３６２に与えられる。

デコーダはこれらの値に基づいて、入力文４８の翻訳の最もそれらしい仮説を検索し、ｎベスト仮説を出力する。

６．実験
６．１ 実験データ
提案された技術を評価するために、旅行会話コーパスについて実験を行った。実験用コーパスは、ＢＴＥＣコーパスの旅行用構成課題であり（キクイら、２００３年。音声対音声翻訳のためのコーパスの生成。ＥＵＲＯＳＰＥＥＣＨ予稿集、第３８１−３８４ページ）、(Kikui, et al., 2003. Creating Corpora for Speech-to-Speech Translation. In Proceedings of EUROSPEECH, pages 381-384)英語をターゲットとし、他の言語の各々をソース言語とした。トレーニング、開発、及び評価コーパス統計はテーブル１に示すとおりである。評価コーパスでは、一文につき１６個の参照翻訳文がある。
（テーブル１）

データはクラスに分けられ（質問及び叙述）、さらに各クラスについてトレーニングセットと開発セットとに細分された。１０００個の文が開発データとして取除けられ、残りがトレーニングに用いられた。

実験は様々な異なる言語に対して行われた。これらを以下のキーで表す：アラビア語（ａｒ）、デンマーク語（ｄａ）、ドイツ語（ｄｅ）、英語（ｅｎ）、スペイン語（ｅｓ）、フランス語（ｆｒ）、インドネシア語（マレー語）（ｉｄ）、イタリア語（ｉｔ）、日本語（ｊａ）、韓国語（ｋｏ）、マレーシア語（マレー語）（ｍｓ）、オランダ語（ｎｌ）、ポルトガル語（ｐｔ）、ロシア語（ｒｕ）、タイ語（ｔｈ）、ベトナム語（ｖｉ）、中国語（ｚｈ）である。

［デコーダ］
実験で用いたデコーダ、ＣｌｅｏｐＡＴＲａ（クレオパトラ）は、ＰＨＡＲＡＯＨ（ファラオ）（フィリップ コーエン、２００４年。ファラオ：句ベースの統計的機械翻訳モデルのためのビームサーチデコーダ。機械翻訳：実際のユーザから研究まで：第６回ＡＭＴＡカンファレンス、ワシントンＤＣ，シュプリンガーフェラーク、第１１５−１２４ページ）（Philipp Koehn. 2004. Pharaoh: a beam search decoder for phrase-based statistical machine translation models. Machine translation: from real users to research: 6th conference of AMTA, Washington, DC, Springer Verlag, pp. 115-124.）及びＭＯＳＥＳ（モーゼ）（フィリップ コーエンら、２００７年。モーゼ：統計的機械翻訳のためのオープンソースツールキット、ＡＣＬ２００７：デモ及びポスターセッション予稿集、プラハ、チェコ共和国、第１７７−１８０ページ）（Philipp Koehn et al., 2007. Moses: open source toolkit for statistical machine translation, ACL 2007: proceedings of demo and poster sessions, Prague, Czech Republic, pp. 177-180.）デコーダと同じ原理で動作する、出願人組織内のフレーズベースの統計的デコーダである。デコーダはこれらの実験で、ＭＯＳＥＳとほぼ同一の出力を生成するように構成された。デコーダは、モデルの多数の組を扱い、重みづけられた入力を受容し、デコードの間にダイナミックな補間処理を組入れるように修正された。

［実際的な問題］
提案されたアプローチについて最も懸念されるのは、多数のモデルを扱う場合に起こりうる、リソースについての過大な要求である。しかしながら、この実験で用いるデコーダの重要な特徴の一つは、そのモデルをディスクに置き、モデルのうち、手元の文をデコードするのに必要な部分のみをロードできる能力である。これによって、多数のモデルをロードする際に、デコード時間をそれとわかるほど悪化させることなく、メモリのオーバーヘッドが減じられる。さらに、検索開始前に、各文のモデルのほとんどについて、補間可能性を前もって計算することができ、これによって検索メモリと処理時間の両方を減じることができる。

［デコード条件］
デコーダパラメータの調整のために、それぞれの開発コーパスを用いて、ＢＬＥＵスコアに対する最少誤差トレーニングを行った。ＳＲＩ言語モデリングツールキット（アンドレアス ストルク１９９９年。ＳＲＩＬＭ−拡張可能言語モデルツールキット）（Andreas Stolcke. 1999. SRILM - An Extensible Language Model Toolkit. http://www.speech.sri.com/projects/srilm/）とウィットン−ベル平滑化を用いて構築した５グラム言語モデルを用いた。モデルは長さモデルを含み、さらに、ＰＨＡＲＡＯＨデコーダで用いられる単純な距離ベースのディストーションモデルも含む。

［補間重みの調整］
補間重みは、０から１の範囲で０．１ずつ増分する重みの組によって開発セットのＢＬＥＵスコアを最大化することで調整された。図１３はこの発明の２つのモデルの重みパラメータに対する挙動を示したものである。

図１３を参照して、破線５２２で示す中国語（ｚｈ）から英語への翻訳のＢＬＥＵスコアは、重みＷ１をゼロから増加させても改善が見られなかった。これに対して、実線５２０で示すインドネシア語（マレー語）（ｉｄ）から英語への翻訳の場合、Ｗ１を約２にするとＢＬＥＵスコアは最大となった。これは、ソース言語とターゲット言語との組合せに対する、このシステムの依存性を示す。

［評価スキーム］
ここで提案するアプローチの利点をバランスよく見るために、実験では、このシステムの評価に６種類の評価技術を用いた。すなわち、ＢＬＥＵ（キショー パピネニら、２００１年。Ｂｌｅｕ：機械翻訳の自動評価方法。ＩＢＭ調査レポート、ＲＣ２２１７６、９月１７日）（Kishore Papineni et al., 2001. Bleu: a method for automatic evaluation of machine translation. IBM Research Report, RC22176, September 17.）、ＮＩＳＴ（ジョージ ドディントン、２００２。ｎグラムの同時出現統計を用いた機械翻訳品質の自動評価。人間言語技術カンファレンス予稿集、サンディエゴ、カリフォルニア、第１３８−１４５ページ）（George Doddington. 2002 Automatic evaluation of machine translation quality using n-gram co-occurrence statistics. Proceedings of Human Language Technology Conference, San Diego, California, pp. 138-145.）、ＷＥＲ（Ｗｏｒｄ Ｅｒｒｏｒ Ｒａｔｅ：単語誤り率）、ＰＥＲ(Ｐｏｓｉｔｉｏｎ ｉｎｄｅｐｅｎｄｅｎｔ ＷＥＲ：位置独立ＷＥＲ)、ＧＴＭ（Ｇｅｎｅｒａｌ Ｔｅｘｔ Ｍａｔｃｈｅｒ：汎用テキスト一致器）、及びＭＥＴＥＯＲ（サタニエフ バネリジ及びアロン ラビ、２００５年。人の判断との相関が改善されたＭＴ評価のための自動メトリック、ＡＣＬ―２００５：機械翻訳及び／又は要約のための内在的及び外在的評価尺度に関するワークショップ、第６５−７２ページ）（Satanjeev Banerjee and Alon Lavie. 2005. METEOR:an automatic metric for MT evaluation with improved correlation with human judgments. ACL-2005: Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72.）である。

６．２分類精度
分類器の性能（トレーニングセットの１０分割相互検証による）を表２に示す。ソース（同じ言語）とターゲット（英語）の句読法を予測する分類精度の数字を示した。当然のことながら、全てのシステムで、それ自身の句読法はより良く予測された。表でスコアが悪いものは、言語的特性（おそらくは、ソース文の質問がターゲットではしばしば陳述として表わされる）又はコーパス自体の特性を反映してものであろう。全ての言語について、分類器の精度は、特にコーパスそのものに一貫性を欠く可能性があること（従ってこの実験でのテストデータもそうであること）を考えれば、満足のいくものと思われる。

６．３翻訳の品質
ＳＭＴシステムの性能を表３に示す。

この表から、評価された実験条件のほとんどについて、全データでトレーニングされたＳＭＴシステムからなるベースラインシステムにくらべ、このシステムの性能が勝っていることが明らかである。性能が劣化している数値部分では、１つを除く全てで、結果は統計的には有意なものではなく、全ての事例で、他のＭＴ評価メトリックスは改善を示した。いくつかの言語対では驚くべき改善が見られ、特に、この技術を用いると、マレー語ｉｄとｍｓはいずれもＢＬＥＵが３．５ポイントも改善された。

興味深いことに、マレー語の親戚であるオランダ語も、実質的に改善された。これは、利得に関する言語学的説明を証拠立てるものである。マレー語は非常に簡潔で規則正しい質問の構造を有し、質問語が質問文のはじめに出現し（ターゲット言語と同様に）、その言語において（たとえば英語の“ｄｏ”と異なり）他の機能を果たすことはない。おそらくこの表現の単純さのために、この発明のクラス特定モデルが、データ分割によってデータが減少したにも関わらず、データを良好にモデル化できたものと思われる。

別の要因は、分類器の性能と思われ、これは全ての言語において高かった（約９８％）。残念ながら、表のスコアの多様性の裏にある理由を知るのは困難である。大きな要因の一つは、コーパスの品質の差と、ソースコーパスとターゲットコーパスとの関係とであろう。いくつかのコーパスは互いの直訳であり、他のものは別の言語からの重訳である。中国語がこの様な言語の一つであり、中国語と関連の深い日本語とタイ語では非常にうまくいったにも関わらず、この言語ではベースラインから改善できなかった理由がこれで説明できるかもしれない。

［先行する方法との比較］
ここで提案した方法を、このシステムのハード重みを用いた実現例と比較するための実験を行った。その目的は、このフレームワーク内で、先行技術の非特許文献１で提案されたシステムにできる限り近づいてみることであった。分類確率でクラス特定モデルに重みを付けることに代えて、１と０との重みを用いた。これを達成するために、分類器からの確率を、確率が＞０．５であれば１の重みを与え、そうでなければ０の重みを用いるように２値化処理した。このシステムの性能を、表４の「ハード」という見出しの欄に示す。１つを除く全ての条件下で、このシステムよりも、発明で提案したアプローチのほうが性能が勝っているか、又は等しかった。

表４の、「分類器なし」のラベルの欄は、発明のシステムの分類器の有効性を示している。これらの結果から、質問モデルと叙述モデルとの間の補間に等しい重み（０．５）を用いる効果が示された。このシステムは、分類器を用いたシステムほどではないが、相当の性能を示した。

７．結論
上述の実施の形態では、質問に特定のＳＭＴエンジンと叙述に特定のＳＭＴエンジンとからの２つのモデルを単一のデコード処理に組合せた。しかし、この発明は２つのクラスのシステムに限定されるものではない。式１から明らかなとおり、この発明は３又はそれ以上のクラスを含むシステムに適用可能である。

この技術は、構成要素モデル間の確率による柔軟な重みづけでのトピック依存デコード処理を可能にする。実験は、疑問文と叙述文とのクラスにクラス特定モデルを構築することで、会話データに対するこの発明の実施の形態の有効性を示した。多数の言語対及びＭＴ評価メトリックスを用いた技術の広範な評価は、この発明の有効性を示す。ほとんどの場合、モデル補間なしのシステムに対し優位な改善を示すことができ、いくつかの言語対に対してはこのアプローチが優越している。全ての言語対の中で最も改善されたのはマレーシア語（マレー語）と英語であり、ベースラインシステムに対しＢＬＥＵが４．７ポイント（０．４６３から０．５１０）上昇した。

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。

この発明の１実施の形態のＳＭＴシステム３０の全体ブロック図である。 図１に示すクラス依存ＳＭＴモデル１１２の３つの組とＳＭＴトレーニングモジュール７４の詳細なブロック図である。 句テーブル生成モジュール７６の詳細なブロック図である。 分類器トレーニングモジュール７２の詳細なブロック図である。 重み推定モジュール７０ブロック図である。 ＳＭＴモジュール９６の詳細なブロック図である。 重みづけモジュール３５２の簡略化されたブロック図である。 合計モジュール３６０の簡略化されたブロック図である。 正規化モジュール９４のブロック図である。 分類器９２の簡略化されたブロック図である。 「＜ｓ＞ｗｈｅｒｅ ｉｓ ｔｈｅ ｓｔａｔｉｏｎ＜／ｓ＞」の文から抽出されたｎグラム特徴量の組の例を示す図である。 ＳＭＴシステム３０の動作処理を示すフローチャートである。 実験に用いられたモデルのうち２つ、すなわち中国語（ｚｈ）とインドネシア語（ｉｄ）との、それらの重みパラメータに対する挙動を示す図である。

符号の説明

３０ ＳＭＴシステム
４０ 開発セット
４２ トレーニングセット
４４ トレーニングモジュール
４６ ＳＭＴ装置
４８ 入力文
５０ 翻訳
７０ 重み推定モジュール
７２ 分類器トレーニングモジュール
７４ ＳＭＴトレーニングモジュール
７６ 句テーブル生成モジュール
９２ 分類器
９６ ＳＭＴモジュール
１１０ 分類器モデル
１１２ クラス特定ＳＭＴモデル
１１４ 句テーブル
１３０ ＳＭＴトレーニングモジュール
１３４ 質問特定ＳＭＴトレーニングモジュール
１３８ 叙述特定ＳＭＴトレーニングモジュール
１６０ 一般ＳＭＴモデル
１６２ 質問特定ＳＭＴモデル
１６４ 叙述特定ＳＭＴモデル
２９０及び４６０ 特徴量抽出モジュール
２９４ 最大エントロピモデリングモジュール
３２４ 重み最適化モジュール
３４０ 一般ＳＭＴサブシステム
３４２ 質問特定ＳＭＴサブシステム
３４４ 叙述特定ＳＭＴサブシステム
３６２ デコーダ

Claims (6)

1. ソース文のクラスメンバーシップを表す確率のベクトルを決定するための手段を含み、前記ベクトルの要素はソース文が予め定められたクラスの集合の１つに属する確率を表し、さらに、
   前記予め定められたクラスの集合のクラスそれぞれについて設けられた、複数個のクラス特定統計的サブデコーダをさらに含み、前記デコーダはそれぞれのクラスのトレーニングデータのそれぞれの集合によって統計的にトレーニングされ、前記デコーダの各々は前記ソース文中の単語又は単語シーケンスの各々について、ターゲット言語での翻訳単語又は単語シーケンスの確率を出力し、
   前記ターゲット言語の可能な単語シーケンスの確率に従って、前記ソース文の前記ターゲット言語における最も尤度の高い翻訳仮説を推定するための手段をさらに含み、前記ターゲット言語の可能な単語シーケンスの前記確率は、前記複数個のサブデコーダによって出力される確率を前記ターゲット言語の単語又は単語シーケンスの各々についての前記確率ベクトルに従って補間することによって計算される、統計的機械翻訳装置。
2. 前記複数個のクラスは一般クラスと複数個の特定クラスとを含み、
   前記複数個の特定クラスは、前記一般クラスを分割したものである、請求項１に記載の統計的機械翻訳装置。
3. 前記一般クラスに対応する前記ベクトルの１要素は、０から１の範囲の定数である、請求項１又は請求項２に記載の統計的機械翻訳装置。
4. 前記ベクトルの要素を正規化して、前記要素の和が１となるようにするための正規化手段をさらに含む、請求項１〜請求項３のいずれかに記載の統計的機械翻訳装置。
5. 前記確率のベクトルを決定するための手段は、最大エントロピモデルに基づいて統計的にトレーニングされ、前記クラスのそれぞれにメンバーシップ確率を割当てる、請求項１〜請求項４のいずれかに記載の統計的機械翻訳装置。
6. 前記複数個のクラス特定統計的サブデコーダの各々は、クラス特定言語モデル、クラス特定翻訳モデル、クラス特定長さモデル、又はクラス特定ディストーションモデル、又はこれらモデルの任意の組合せに従って確率を計算する、請求項１〜請求項５のいずれかに記載の統計的機械翻訳装置。

Images