JP3936687B2

JP3936687B2 - 機械翻訳文の評価方法、および機械翻訳文の評価装置

Info

Publication number: JP3936687B2
Application number: JP2003307240A
Authority: JP
Inventors: 圭志安田; 英一郎隅田; 玄一郎菊井; 誠一山本
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2003-08-29
Filing date: 2003-08-29
Publication date: 2007-06-27
Anticipated expiration: 2023-08-29
Also published as: JP2005078318A

Description

本発明は、機械翻訳文の評価方法、および機械翻訳文の評価装置に関する。

近年、機械翻訳装置が数多く実用化されているが、原文の内容によっては適切に翻訳されない場合がある。そのため、機械翻訳装置の利用時および開発時にその翻訳結果の質を評価することが重要である。

機械翻訳装置による翻訳文を評価するのに、通常行なわれている方法は、評価者が主観で翻訳文の質のランク付けを行なう方法である。この方法を第１の評価方法ということにする。この第１の評価方法では、評価の信頼性が高いが、原文の言語と翻訳文の言語の双方に精通した評価者を必要とする。通常、機械翻訳装置のユーザは、翻訳文の言語に精通していないはずなので、この評価方法は、開発段階などの限られた場面でのみ有効である。そこで、次のような第２および第３の評価方法が提案されている。

第２の評価方法は、例文とそれに対する正解翻訳文を予め用意しておく。例文を機械翻訳装置に入力して、機械翻訳装置が出力した翻訳文と正解翻訳文とが一致するか、または類似するかを自動的に判定する方法である（たとえば、非特許文献１を参照）。

第３の評価方法は、機械翻訳装置によって得られた翻訳文（順方向の翻訳文）を、さらに原文の言語に翻訳して逆方向の翻訳文を作成する。評価者がこの逆方向の翻訳文の質を評価し、これを順方向の翻訳文の評価とする。つまり、この方法は、逆方向の翻訳文の質が良ければ、順方向の翻訳文の質も良いとみなし、逆方向の翻訳文の質が悪ければ、順方向の翻訳文の質も悪いとみなすものである（たとえば、非特許文献２を参照）。
K.Yasuda, F.Sugaya, T.Takezawa, S.Yamamoto and M.Yanagida, 2003. Application of automatic evaluation methods to measuring a capability of speech translation system, In 10th Conference of European Chapter of the Association for Computational Linguistica(EACL), pages 371-378. R.Frederking, A.W.Black, H.D.Brown, J.Moody and E.Steinhrecher, 2002, Field Testing the Tongues Speech-to-Speech Machine Translation System, In Proceedings of International Conference on Language Resources and Evaluation(LREC), pages 160-164.

しかしながら、第２および第３の評価方法も、以下のような問題がある。

第２の評価方法では、正解翻訳文を予め人手で作成しておかなければならず、労力を要するとともに、例文に対する翻訳文の質しか知ることができない。

また、第３の評価方法では、順方向の翻訳文の質が良であるにもかかわらず、逆方向の翻訳文の質が悪い場合や、順方向の翻訳文の質が悪いのにもかかわらず、逆方向の翻訳文の質が良い場合もありうるので、評価の信頼性が低い。

それゆれに、本発明の目的は、例文の翻訳文だけでなくすべての翻訳文に対する評価が可能で、評価の信頼性が高く、かつ労力が少ない機械翻訳文の評価方法、および機械翻訳文の評価装置を提供することである。

上記課題を解決するために、本発明は、第１の言語で表わされた原文を第２の言語に機械翻訳した順方向翻訳文の良否を評価する機械翻訳文の評価装置の評価方法であって、評価装置が、原文を取得する第１のステップと、評価装置が、原文を順方向機械翻訳部によって機械翻訳して第２の言語の順方向翻訳文を取得する第２のステップと、評価装置が、ｎ種類（ｎ≧２）の逆方向機械翻訳部によって順方向翻訳文を第１の言語に機械翻訳してｎ個の逆方向翻訳文を生成する第３のステップと、評価装置が、順方向機械翻訳部による順方向翻訳文の良否を評価するために、ｎ個の逆方向翻訳文と原文との一致または類似を調べてその結果を提示する第４のステップとを有する。

好ましくは、第４のステップでは、評価装置が、各逆方向翻訳文と原文との類似度を表わすスコアを算出し、算出された最大のスコアを提示する。

好ましくは、第４のステップでは、評価装置が、各逆方向翻訳文と原文との類似度を表わすスコアを算出し、算出された最大のスコアを有する逆方向翻訳文を原文とともに提示する。

好ましくは、第４のステップでは、評価装置が、各逆方向翻訳文について、原文と完全一致するか否かを判定し、ｎ個の逆方向翻訳文のうち完全一致するものがあるか否かを提示する。

好ましくは、評価方法は、評価装置が、第２のステップで取得した順方向翻訳文のパラフレーズを行なって、ｍ個（ｍ≧２）の順方向翻訳文を得るステップをさらに含み、第３のステップでは、評価装置が、各逆方向機械翻訳部によってｍ個の順方向翻訳文を第１の言語に機械翻訳することによって、（ｎ×ｍ）個の逆方向翻訳文を生成し、第４のステップでは、評価装置が、（ｎ×ｍ）個の逆方向翻訳文と原文との一致または類似を調べて、その結果を提示する。

好ましくは、評価方法は、評価装置が、第３のステップで取得したｎ個の逆方向翻訳文のそれぞれについて、パラフレーズを行なってｍ個（ｍ≧２）の逆方向翻訳文を得ることによって、（ｎ×ｍ）個の逆方向翻訳文を得るステップをさらに含み、第４のステップでは、評価装置が、（ｎ×ｍ）個の逆方向翻訳文と原文との一致または類似を調べて、その結果を提示する。

好ましくは、評価方法は、評価装置が、第１のステップで取得した原文のパラフレーズを行なって、ｍ個（ｍ≧２）の原文を得るステップをさらに含み、第４のステップでは、評価装置が、ｎ個の逆方向翻訳文とｍ個の原文との一致または類似を調べて、その結果を提示する。

また、本発明は、第１の言語で表わされた原文を第２の言語に機械翻訳した順方向翻訳文の良否を評価する機械翻訳文の評価装置であって、原文を第２の言語の順方向翻訳文に機械翻訳する順方向機械翻訳部と、各々が、順方向翻訳文を第１の言語に機械翻訳して逆方向翻訳文を生成するｎ個（ｎ≧２）の逆方向機械翻訳部と、順方向翻訳文の良否を評価するために、ｎ個の逆方向翻訳部が生成したｎ個の逆方向翻訳文と、順方向翻訳文の原文との一致または類似を調べて、その結果を提示する評価部とを備える。

好ましくは、評価部は、各逆方向翻訳文と原文との類似度を表わすスコアを算出し、算出した最大のスコアを出力する。

好ましくは、評価部は、各逆方向翻訳文と原文との類似度を表わすスコアを算出し、算出した最大のスコアを有する逆方向翻訳文を原文とともに出力する。

好ましくは、評価部は、各逆方向翻訳文について、原文と完全一致するか否かを判定し、ｎ個の逆方向翻訳文のうち完全一致するものがあるか否かを出力する。

好ましくは、順方向翻訳文のパラフレーズを行なって、ｍ個（ｍ≧２）の順方向翻訳文を得るパラフレーズ部をさらに備え、ｎ個の逆方向翻訳部の各々は、ｍ個の順方向翻訳文を第１の言語に機械翻訳して、ｍ個の逆方向翻訳文を生成し、評価部は、ｎ個の逆方向翻訳部が生成する（ｎ×ｍ）個の逆方向翻訳文と原文との一致または類似を調べて、その結果を提示する。

好ましくは、各々が、各逆方向翻訳文のパラフレーズを行なってｍ個の逆方向翻訳文を得るｎ個のパラフレーズ部をさらに備え、評価部は、ｎ個のパラフレーズ部による（ｎ×ｍ）個の逆方向翻訳文と、原文との一致または類似を調べて、その結果を提示する。

好ましくは、原文のパラフレーズを行なって、ｍ個（ｍ≧２）の原文を得るパラフレーズ部をさらに備え、評価部は、ｎ個の逆方向翻訳文とｍ個の原文との一致または類似を調べて、その結果を提示する。

本発明に係る機械翻訳文の評価方法および機械翻訳文の評価装置によれば、例文の翻訳文だけでなくすべての翻訳文に対する評価が可能で、評価の信頼性を高く、かつ労力を少なくすることができる。

以下、本発明の実施の形態について図面を用いて説明する。

［第１の実施形態］
図１は、第１の実施形態に係る機械翻訳文評価装置の構成を示す。同図を参照して、この機械翻訳文評価装置１９は、順方向機械翻訳部１１と、順方向翻訳文評価部１０と、この順方向翻訳文評価部１０による評価結果を表示する表示装置１４とから構成される。

順方向機械翻訳部１１は、日本語で表された原文を英語に翻訳して、順方向翻訳文を出力する。この順方向翻訳文が順方向翻訳文評価部１０に送られて、評価される。順方向翻訳文評価部１０は、逆方向機械翻訳部１２ａ，１２ｂ，１２ｃと、評価部１３とを備える。

逆方向機械翻訳部１２ａ〜１２ｃは、それぞれ異なる種類の翻訳エンジンである。逆方向機械翻訳部１２ａ〜１２ｃは、それぞれ、英語で表された順方向翻訳文を日本語に翻訳して、日本語の逆方向翻訳文を出力する。

図２は、評価部１３の具体的な構成を示す。評価部１３は、ＤＰ(Dynamic Programming)マッチング部１５と、最大スコア特定部１６とを備える。

ＤＰマッチング部１５は、順方向機械翻訳部１１に入力された原文と、逆方向機械翻訳部１２ａから出力された逆方向翻訳文Ａとの類似度を求めるため、ＤＰマッチングを行ない、次の式にしたがってマッチングスコアＳＡを出力する。

ＳＡ＝（Ｔ−Ｓａ−Ｉａ−Ｄａ）／Ｔ
ここで、Ｔは、原文の語数、Ｓａは、逆方向翻訳文Ａで置換された語（原文の語と異なる逆方向翻訳文Ａの語）の数、Ｉａは、逆方向翻訳文Ａで挿入された語（つまり、逆方向翻訳文Ａにあって、原文にない語）の数、Ｄａは、逆方向翻訳文Ａで削除された語（つまり、原文にあって、逆方向翻訳文Ａにない語）の数を示す。

また、ＤＰマッチング部１５は、順方向機械翻訳部１１に入力された原文と、逆方向機械翻訳部１２ｂから出力された逆方向翻訳文Ｂとの類似度を求めるため、ＤＰマッチングを行ない、次の式にしたがってマッチングスコアＳＢを出力する。

ＳＢ＝（Ｔ−Ｓｂ−Ｉｂ−Ｄｂ）／Ｔ
ここで、Ｔは、原文の語数、Ｓｂは、逆方向翻訳文Ｂで置換された語（原文の語と異なる逆方向翻訳文Ｂの語）の数、Ｉｂは、逆方向翻訳文Ｂで挿入された語（つまり、逆方向翻訳文Ｂにあって、原文にない語）の数、Ｄｂは、逆方向翻訳文Ｂで削除された語（つまり、原文にあって、逆方向翻訳文Ｂにない語）の数を示す。

さらに、ＤＰマッチング部１５は、順方向機械翻訳部１１に入力された原文と、逆方向機械翻訳部１２ｃから出力された逆方向翻訳文Ｃとの類似度を求めるため、ＤＰマッチングを行ない、次の式にしたがってマッチングスコアＳＣを出力する。

ＳＣ＝（Ｔ−Ｓｃ−Ｉｃ−Ｄｃ）／Ｔ
ここで、Ｔは、原文の語数、Ｓｃは、逆方向翻訳文Ｃで置換された語（原文の語と異なる逆方向翻訳文Ｃの語）の数、Ｉｃは、逆方向翻訳文Ｃで挿入された語（つまり、逆方向翻訳文Ｃにあって、原文にない語）の数、Ｄｃは、逆方向翻訳文Ｃで削除された語（つまり、原文にあって、逆方向翻訳文Ｃにない語）の数を示す。

最大スコア特定部１６は、マッチングスコアＳＡ、ＳＢ、およびＳＣを受けて、それらの最大スコアを特定して、表示装置１４に出力する。

表示された最大スコアが高いときには順方向翻訳文の質が良いと自動評価でき、最大スコアが低いときには順方向翻訳文の質が悪いと自動評価することができる。本実施の形態により３つの逆方向翻訳文を用いたことによって、この自動評価の信頼性が増加したことが後述する実験（１）および（２）によって証明された。

図３は、第１の実施形態に係る機械翻訳文評価装置による機械翻訳文の評価処理の動作手順を示すフローチャートである。同図を参照して、機械翻訳文の評価処理の手順を説明する。

順方向機械翻訳部１１は、たとえば、図４に示す日本語の原文α「ホテルの予約をお願いします。」を取得して、原文αを英語に翻訳して順方向翻訳文β「I’d like to reserve a room.」を生成する（Ｓ１０１）。

逆方向機械翻訳部１２ａ，１２ｂ，１２ｃは、順方向機械翻訳部１１から順方向翻訳文β「I’d like to reserve a room.」を取得する。

逆方向機械翻訳部１２ａは、順方向翻訳文βを日本語に翻訳して、図４に示す逆方向翻訳文Ａ「部屋の予約をしたいんです。」を生成する（Ｓ１０２）。

逆方向機械翻訳部１２ｂは、順方向翻訳文βを日本語に翻訳して、図４に示す逆方向翻訳文Ｂ「部屋を差し控えたい。」を生成する（Ｓ１０３）。

逆方向機械翻訳部１２ｃは、順方向翻訳文βを日本語に翻訳して、図４に示す逆方向翻訳文Ｃ「余裕を確保したい。」を生成する（Ｓ１０４）。

評価部１３のＤＰマッチング部１５は、原文αと逆方向翻訳文ＡとのＤＰマッチングを行ない、マッチングスコアＳＡを算出する。図５に示すように、Ｔは６、Ｓａは３、Ｉａは１、Ｄａは０なので、マッチングスコアＳＡは１／３となる（Ｓ１０５）。

評価部１３のＤＰマッチング部１５は、原文αと逆方向翻訳文ＢとのＤＰマッチングを行ない、マッチングスコアＳＢを算出する。図５に示すように、Ｔは６、Ｓｂは３、Ｉｂは０、Ｄｂは２なのでマッチングスコアＳＢは１／６となる（Ｓ１０６）。

評価部１３のＤＰマッチング部１５は、原文αと逆方向翻訳文ＣとのＤＰマッチングを行ない、マッチングスコアＳＣを算出する。図５に示すように、Ｔは６、Ｓｃは４、Ｉｃは０、Ｄｃは２なのでマッチングスコアＳＣは０となる（Ｓ１０７）。

最大スコア特定部１６は、最大スコアである１／３を表示装置１４に出力する（Ｓ１０８）。

以上のように、本実施の形態に係る機械翻訳文の評価方法および機械翻訳文の評価装置によれば、３つの逆方向翻訳文と原文とのＤＰマッチングを行ない、最大スコアを順方向翻訳文の自動評価の結果とすることができるので、例文の翻訳文だけでなくすべての翻訳文に対する評価を可能とし、評価の労力を少なくし、かつ評価の信頼性を高くすることできる。

［第２の実施形態］
本実施の形態に係る機械翻訳文評価装置と、図１に示す第１の実施形態に係る機械翻訳文評価装置とは、評価部のみが相違する。

図６は、第２の実施形態に係る評価部２３の具体的な構成を示す。評価部２３は、第１の実施の形態と同一のＤＰマッチング部１５と、最大スコア逆方向翻訳文特定部２６とを備える。

最大スコア逆方向翻訳文特定部２６は、マッチングスコアＳＡ、ＳＢ、およびＳＣを受けて、それらの最大スコアを特定して、最大スコアを有する逆方向翻訳文と、原文とを表示装置１４に出力する。

最大スコアを有する逆方向翻訳文と、原文とが表示されるので、評価者がこれらが類似していると主観的に判断すると、順方向翻訳文の質が良いと主観評価でき、これらが類似していないと主観的に判断すると、順方向翻訳文の質が悪いと主観評価できる。本実施の形態により３つの逆方向翻訳文を用いたことによって、この主観評価の信頼性が増加したことが後述する実験（１）および（３）によって証明された。

図７は、第２の実施形態に係る機械翻訳文評価装置による機械翻訳文の評価処理の動作手順を示すフローチャートである。同図を参照して、機械翻訳文の評価処理の手順を説明する。

順方向機械翻訳部１１は、第１の実施形態と同様のたとえば、図４に示す日本語の原文α「ホテルの予約をお願いします。」を取得して、原文αを英語に翻訳して順方向翻訳文β「I’d like to reserve a room.」を生成する（Ｓ２０１）。

逆方向機械翻訳部１２ａは、順方向翻訳文βを日本語に翻訳して、図４に示す逆方向翻訳文Ａ「部屋の予約をしたいんです。」を生成する（Ｓ２０２）。

逆方向機械翻訳部１２ｂは、順方向翻訳文βを日本語に翻訳して、図４に示す逆方向翻訳文Ｂ「部屋を差し控えたい。」を生成する（Ｓ２０３）。

逆方向機械翻訳部１２ｃは、順方向翻訳文βを日本語に翻訳して、図４に示す逆方向翻訳文Ｃ「余裕を確保したい。」を生成する（Ｓ２０４）。

評価部１３のＤＰマッチング部１５は、原文αと逆方向翻訳文ＡとのＤＰマッチングを行ない、マッチングスコアＳＡを算出する。図５に示すように、Ｔは６、Ｓａは３、Ｉａは１、Ｄａは０なので、マッチングスコアＳＡは１／３となる（Ｓ２０５）。

評価部１３のＤＰマッチング部１５は、原文αと逆方向翻訳文ＢとのＤＰマッチングを行ない、マッチングスコアＳＢを算出する。図５に示すように、Ｔは６、Ｓｂは３、Ｉｂは０、Ｄｂは２なのでマッチングスコアＳＢは１／６となる（Ｓ２０６）。

評価部１３のＤＰマッチング部１５は、原文αと逆方向翻訳文ＣとのＤＰマッチングを行ない、マッチングスコアＳＣを算出する。図５に示すように、Ｔは６、Ｓｃは４、Ｉｃは０、Ｄｃは２なのでマッチングスコアＳＣは０となる（Ｓ２０７）。

最大スコア逆方向翻訳文特定部２６は、最大スコアである１／３を有する逆方向翻訳文Ａ「I’d like to reserve a room.」と、原文「ホテルの予約をお願いします。」とを表示装置１４に出力する（Ｓ２０８）。

以上のように、本実施の形態に係る機械翻訳文の評価方法および機械翻訳文の評価装置によれば、最大スコアを有する逆方向翻訳文と、原文とが表示されるので、評価者がこれらを比較することによって順方向翻訳文の主観評価を行なうことができるので、例文の翻訳文だけでなくすべての翻訳文に対する評価を可能とし、評価の労力を少なくし、かつ評価の信頼性を高くすることできる。

［第３の実施形態］
本実施の形態に係る機械翻訳文評価装置と、図１に示す第１の実施形態に係る機械翻訳文評価装置とは、評価部のみが相違する。

図８は、第３の実施形態に係る評価部３３の具体的な構成を示す。評価部３３は、完全一致判定部３１からなる。

完全一致判定部３１は、原文と逆方向翻訳文Ａとが完全一致するとき、原文と逆方向翻訳文Ｂとが完全一致するとき、または原文と逆方向翻訳文Ｃとが完全一致するときには、完全一致した旨を表示装置１４に出力する。ここで、完全一致とは、２つの文の語がすべて一致すること、つまり、２つの文がまったく同一であることをいう。

完全一致判定部３１は、原文と逆方向翻訳文Ａとが完全一致しないとき、原文と逆方向翻訳文Ｂとが完全一致しないとき、かつ原文と逆方向翻訳文Ｃとが完全一致しないときには、完全一致しない旨を表示装置１４に出力する。

完全一致した旨が表示されたときには順方向翻訳文の質が良いと自動評価でき、完全一致しない旨が表示されたときには順方向翻訳文の質が悪いと自動評価することができる。本実施の形態により３つの逆方向翻訳文を用いたことによって、この自動評価の信頼性が増加したことが後述する実験（１）によって証明された。

図９は、第３の実施形態に係る機械翻訳文評価装置による機械翻訳文の評価処理の動作手順を示すフローチャートである。同図を参照して、機械翻訳文の評価処理の手順を説明する。

順方向機械翻訳部１１は、第１の実施形態と同様のたとえば、図４に示す日本語の原文α「ホテルの予約をお願いします。」を取得して、原文αを英語に翻訳して順方向翻訳文β「I’d like to reserve a room.」を生成する（Ｓ３０１）。

逆方向機械翻訳部１２ａは、順方向翻訳文βを日本語に翻訳して、図４に示す逆方向翻訳文Ａ「部屋の予約をしたいんです。」を生成する（Ｓ３０２）。

逆方向機械翻訳部１２ｂは、順方向翻訳文βを日本語に翻訳して、図４に示す逆方向翻訳文Ｂ「部屋を差し控えたい。」を生成する（Ｓ３０３）。

逆方向機械翻訳部１２ｃは、順方向翻訳文βを日本語に翻訳して、図４に示す逆方向翻訳文Ｃ「余裕を確保したい。」を生成する（Ｓ３０４）。

評価部１３の完全一致判定部３１は、原文αと逆方向翻訳文Ａとが完全一致するときには、完全一致した旨を表示装置１４に出力する（Ｓ３０５，Ｓ３０６）。

評価部１３の完全一致判定部３１は、Ｓ３０５で完全一致しないと判定されたが、原文αと逆方向翻訳文Ｂとが完全一致するときには、完全一致した旨を表示装置１４に出力する（Ｓ３０７，Ｓ３０６）。

評価部１３の完全一致判定部３１は、Ｓ３０５，Ｓ３０７で完全一致しないと判定されたが、原文αと逆方向翻訳文Ｃとが完全一致するときには、完全一致した旨を表示装置１４に出力する（Ｓ３０８，Ｓ３０６）。

評価部１３の完全一致判定部３１は、Ｓ３０５，Ｓ３０７，Ｓ３０８で完全一致しないと判定されたときに、完全一致しない旨を表示装置１４に出力する（Ｓ３０９）。

以上のように、本実施の形態に係る機械翻訳文の評価方法および機械翻訳文の評価装置によれば、３つの逆方向翻訳文と原文とが完全一致するか否かを判定し、完全一致するか否かを順方向翻訳文の自動評価の結果とすることができるので、例文の翻訳文だけでなくすべての翻訳文に対する評価を可能とし、評価の労力を少なくし、かつ評価の信頼性を高くすることできる。

［第４の実施形態］
図１０は、第４の実施形態に係る機械翻訳文評価装置の構成を示す。同図を参照して、この機械翻訳文評価装置４９の順方向翻訳文評価部４０は、第１パラフレーズ部４１と、逆方向機械翻訳部１２ａ，１２ｂ，１２ｃと、第２パラフレーズ部４２ａ，４２ｂ，４２ｃと、第３パラフレーズ部４４と、評価部４３とからなる。

第１パラフレーズ部４１は、順方向機械翻訳部１１が出力した順方向翻訳文を順方向翻訳文０として、順方向翻訳文０をパラフレーズ（言い換え）して、順方向翻訳文１〜９を作成する。図１１（ａ）は、順方向翻訳文０「I’d like to reserve a room.」をパラフレーズした例を示す。同図に示すように、順方向翻訳文０をパラフレーズして、順方向翻訳文１「I want to reserve a room.」が作成される。

逆方向機械翻訳部１２ａ，１２ｂ，１２ｃは、それぞれ異なる種類の翻訳エンジンである。逆方向機械翻訳部１２ａ，１２ｂ，１２ｃは、それぞれ、英語で表された順方向翻訳文０〜９を翻訳して日本語の逆方向翻訳文Ａ０〜Ａ９，Ｂ０〜Ｂ９，Ｃ０〜Ｃ９を出力する。

第２パラフレーズ部４２ａは、逆方向翻訳文Ａ０〜Ａ９のうちの１個の逆方向翻訳文ごとに、パラフレーズした９個の逆方向翻訳文を作成することにより、１００個の逆方向翻訳文Ａ０〜Ａ９９を得る。図１１（ｂ）は、逆方向翻訳文Ａ０「部屋の予約をしたいんです。」をパラフレーズした例を示す。同図に示すように、逆方向翻訳文Ａ０をパラフレーズした逆方向翻訳文Ａ１「部屋の予約を御願いします。」が作成される。

第２パラフレーズ部４２ｂは、逆方向翻訳文Ｂ０〜Ｂ９のうちの１個の逆方向翻訳文ごとに、パラフレーズした９個の逆方向翻訳文を作成することにより、１００個の逆方向翻訳文Ｂ０〜Ｂ９９を得る。

第２パラフレーズ部４２ｃは、逆方向翻訳文Ｃ０〜Ｃ９のうちの１個の逆方向翻訳文ごとに、パラフレーズした９個の逆方向翻訳文を作成することにより、１００個の逆方向翻訳文Ｃ０〜Ｃ９９を得る。

第３パラフレーズ部４４は、順方向機械翻訳部１１に入力された原文を原文０として、原文０をパラフレーズして、原文１〜９を作成する。図１１（ｃ）は、原文０「ホテルの予約を御願いします。」をパラフレーズした例を示す。同図に示すように、原文０をパラフレーズした原文１「部屋の予約を御願いします。」が作成される。

評価部４３は、原文０〜９のいずれかと、逆方向翻訳文Ａ０〜Ａ９９，Ｂ０〜Ｂ９９，Ｃ０〜Ｃ９９のいずれかとが完全一致するときには、完全一致した旨を表示装置１４に出力する。評価部４３は、原文０〜９のどれも、逆方向翻訳文Ａ０〜Ａ９９，Ｂ０〜Ｂ９９，Ｃ０〜Ｃ９９のどれとも完全一致しないときには、完全一致しない旨を表示装置１４に出力する。

図１２は、第４の実施形態に係る機械翻訳文評価装置による機械翻訳文の評価処理の動作手順を示すフローチャートである。同図を参照して、機械翻訳文の評価処理の手順を説明する。

順方向機械翻訳部１１は、日本語の原文を取得して、原文を英語に翻訳して順方向翻訳文を生成する（Ｓ４０１）。

第１パラフレーズ部４１は、順方向機械翻訳部１１が出力した順方向翻訳文をパラフレーズすることにより、順方向翻訳文０〜９を得る（Ｓ４０２）。

逆方向機械翻訳部１２ａは、順方向翻訳文０〜９を日本語に翻訳して、逆方向翻訳文Ａ０〜Ａ９を生成する（Ｓ４０３）。

逆方向機械翻訳部１２ｂは、順方向翻訳文０〜９を日本語に翻訳して、逆方向翻訳文Ｂ０〜Ｂ９を生成する（Ｓ４０４）。

逆方向機械翻訳部１２ｃは、順方向翻訳文０〜９を日本語に翻訳して、逆方向翻訳文Ｃ０〜Ｃ９を生成する（Ｓ４０５）。

第２パラフレーズ部４２ａは、逆方向翻訳文Ａ０〜Ａ９をパラフレーズすることにより、逆方向翻訳文Ａ０〜Ａ９９を得る（Ｓ４０６）。

第２パラフレーズ部４２ｂは、逆方向翻訳文Ｂ０〜Ｂ９をパラフレーズすることにより、逆方向翻訳文Ｂ０〜Ｂ９９を得る（Ｓ４０７）。

第２パラフレーズ部４２ｃは、逆方向翻訳文Ｃ０〜Ｃ９をパラフレーズすることにより、逆方向翻訳文Ｃ０〜Ｃ９９を得る（Ｓ４０８）。

第３パラフレーズ部４４は、順方向機械翻訳部１１に入力された原文をパラフレーズして、原文０〜９を得る（Ｓ４０９）。

評価部４３は、原文０〜９のいずれかと、逆方向翻訳文Ａ０〜Ａ９９，Ｂ０〜Ｂ９９，Ｃ０〜Ｃ９９のいずれかとが完全一致するときには、完全一致した旨を表示装置１４に出力する（Ｓ４１０，Ｓ４１１）。

評価部４３は、Ｓ４０１で完全一致しないと判定されたときには、完全一致しない旨を表示装置１４に出力する（Ｓ４１０，Ｓ４１２）。

以上のように、本実施の形態に係る機械翻訳文の評価方法および機械翻訳文の評価装置によれば、３種類の逆方向翻訳およびパラフレーズを組合せることによって生成された多量の文を用いて、原文と逆方向翻訳文とが完全一致するか否かの自動評価を行なうので、例文の翻訳文だけでなくすべての翻訳文に対する評価を可能とし、評価の労力を少なくし、かつ評価の信頼性を高くすることできる。

（変形例）
本発明は、上記実施の形態に限定されるものではなく、たとえば、以下の変形例も包含する。

（１）文間の類似度計算
本発明の実施形態では、ＤＰマッチングを行なうことによって文間の類似度を算出したが、これに限定するものではなく、その他の文間の類似度を計算する手法を用いてもよい。

（２）主観評価時の逆方向翻訳文の表示
本発明の第２の実施形態では、マッチングスコアが最大の逆方向翻訳文を表示装置に出力するものとしたが、これに限定するものではない。たとえば、逆方向翻訳部が１０個あるような場合には、マッチングスコアが１位〜５位の逆方向翻訳文を表示装置に出力するものとしてもよい。

（３）パラフレーズ部
本発明の第４の実施形態では、順方向翻訳文評価部は、第１パラフレーズ部、第２パラフレーズ部、および第３パラフレーズ部を備えるものとしたが、これらのうち、１つのパレフレーズ部のみを備えるものとしてもよく、あるいは、任意の２つのパラフレーズ部を備えるものとしてもよい。

（４）評価部
本発明の実施の形態では、評価部によって評価が行なわれるものとしたが、評価部による評価を行なうことなく、逆方向翻訳文Ａ，Ｂ，Ｃをそのまま表示装置に送って表示するものとしてもよい。

（５）評価の提示
本発明の実施の形態では、評価部による評価結果は表示装置に送られて表示されたが、これに限定するものではなく、音声などによって評価結果を通知するものとしてもよい。

（６）第４の実施形態における評価部
本発明の第４の実施形態では、評価部として、第３の実施形態と同様の評価部（完全一致判定部）を用いたが、第１または第２の実施形態における評価部を用いてもよい。

（７）逆方向機械翻訳部
本発明の実施形態では、３個の逆方向機械翻訳部を備えるものとしたが、これに限定するものではなく、ｎ個（ｎ≧２）の逆方向機械翻訳部を備えるものであればよい。

（８）パラフレーズ部
本発明の実施形態では、各パラフレーズ部は、元の文から９個の文を生成することによって１０個の文を出力したが、これに限定するものではなく、ｍ個（ｍ≧２）の文を出力するものであればよい。

（実験結果）
（１）実験１（複数の逆方向翻訳文を用いた評価方法の有効性について）
実験１では、順方向機械翻訳部が出力した順方向翻訳文を、評価者がＡ〜Ｄの４段階にランク付けを行なった。これは、従来の第１の評価方法に相当する。ここで、Ａランクは、「情報および文法において問題なし」を表わし、Ｂランクは、「重要でない情報が抜けていたり、文法に欠陥があるが、簡単に理解できる」を表わし、Ｃランクは、「不完全だが、努力すれば理解でき、容認可能」を表わし、Ｄランクは、「重要な情報が誤訳されているため、意味不明」を表わす。

そして、主観評価した順方向翻訳文を逆方向翻訳装置で翻訳して、逆方向翻訳文を生成し、逆方向翻訳文と原文とが完全一致しているか否かを調べた。この方法は、本発明の第３の実施形態の評価方法に相当する。そして、次の２つの確率を算出した。

（ａ）主観評価がＡランクのうち、逆方向翻訳文が原文と完全一致している確率Ｐ（Ｓ_match｜Ｒ_A）を算出した。

図１３（ａ）は、Ｄ³、ＳＡＴ、およびＴＤＭＴの３種類の翻訳エンジンのいずれかを順方向機械翻訳部として用い、ＨＰＡＴ、ＳＡＴ、ＴＤＭＴ、およびマルチＭＴの４種類の翻訳エンジンのいずれかを逆方向機械翻訳装置として用いた場合の、各組合せごとの確率Ｐ（Ｓ_match｜Ｒ_A）を示す。

ここで、翻訳エンジンＤ³は、文献Ａ「E.Sumita, Y.Akiba, T.Doi, A.Finch, K.Imamura, M.Paul, M.Shimohata and T.Watanabe, 2003, A corpus-centered approach to spoken language translation, In 10th Conference of the Europe Chapter of the Association for Computational Linguistics(EACL), pages 171-174」に記載されている。

また、翻訳エンジンＳＡＴも、文献Ａに記載されている。

また、翻訳エンジンＴＤＭＴは、文献Ｂ「E.Sumita, S.Yamada, K.Yamamoto, M.Paul, H.Kashioka, K.Ishikawa and S.Shirai, 1999, Solutions to problems inherent in spoken language translation, The atr-matrix approach, In Proceeding of Machine Translation Summit(MT Summit), pages 229-235」に記載されている。

また、翻訳エンジンＨＰＡＴは、文献Ｃ「K.Imamura, 2002, Application of translation knowledge acquired by hierarchical phrase alignment for pattern-based mt, In Proceedings of the 9th International Conference on Theoretical and Methodological Issues in Machine Translation(TMI), pages 74-85」に記載されている。

また、マルチＭＴは、ＨＰＡＴ、ＳＡＴ、およびＴＤＭＴの３種類を用いて逆方向翻訳することを意味する。この場合には、３つの逆方向翻訳文のうち、１つでも原文と完全一致したときには、マルチＭＴで完全一致したと評価し、３つの逆方向翻訳文のいずれもが原文と完全一致しないときに、マルチＭＴで完全一致しないと評価する。

図１３（ａ）に示すように、単一の逆方向機械翻訳装置（ＨＰＡＴ、ＳＡＴ、ＴＤＭＴ）の場合には、確率Ｐ（Ｓ_match｜Ｒ_A）は０．１〜０．２５である。これに対して、逆方向機械翻訳装置をマルチＭＴにすると、確率Ｐ（Ｓ_match｜Ｒ_A）は、平均して約０．３５である
つまり、順方向機械翻訳部としていずれの翻訳エンジンを用いても、逆方向機械翻訳装置をマルチＭＴにすると、単一の逆方向機械翻訳装置（ＨＰＡＴ、ＳＡＴ、ＴＤＭＴ）にするよりも、確率Ｐ（Ｓ_match｜Ｒ_A）が少なくとも０．１ほど高くなる。

したがって、本実施の形態のように、複数種類の逆方向機械翻訳装置による複数個の逆方向翻訳文を用いた場合に、１個の逆方向機械翻訳装置による１個の逆方向翻訳文を用いた場合に比べて、逆方向翻訳文で良と評価されたときに、順方向翻訳文が良である可能性が高いということができる。

（ｂ）主観評価がＢ、Ｃ、またはＤランクのうち、逆方向翻訳文が原文と完全一致している確率Ｐ（Ｓ_match｜Ｒ_bcd）を算出した。

図１３（ｂ）は、Ｄ³、ＳＡＴ、およびＴＤＭＴの３種類の翻訳エンジンのいずれかを順方向機械翻訳部として用い、ＨＰＡＴ、ＳＡＴ、ＴＤＭＴ、およびマルチＭＴの４種類の翻訳エンジンのいずれかを逆方向機械翻訳装置として用いた場合の、各組合せごとの確率Ｐ（Ｓ_match｜Ｒ_bcd）を示す。

図１３（ｂ）に示すように、順方向機械翻訳部としていずれの翻訳エンジンを用いても、逆方向機械翻訳をマルチＭＴにすると、単一の逆方向機械翻訳装置（ＨＰＡＴ、ＳＡＴ、ＴＤＭＴ）にするよりも、確率Ｐ（Ｓ_match｜Ｒ_bcd）が増加しているが、その増加量は、多くても０．０４２であり微小である。

したがって、本実施の形態のように、複数種類の逆方向機械翻訳装置による複数個の逆方向翻訳文を用いた場合には、１個の逆方向機械翻訳装置による１個の逆方向翻訳文を用いた場合に比べて、逆方向翻訳文で良と評価されたときに、順方向翻訳文が不良である可能性が少し高くなるが、その差は、無視できるということができる。

以上より、複数種類の逆方向機械翻訳装置による逆方向翻訳文を用いた場合には、１個の逆方向機械翻訳装置による逆方向翻訳文を用いた場合よりも、逆方向翻訳文で良と評価されたことをもって順方向翻訳文が良であると評価し、逆方向翻訳文で不良と評価されたことをもって順方向翻訳文が不良でありと評価しても、評価が誤る可能性が少ないといえる。

（２）実験２（第１の実施形態の自動評価の有効性）
実験２では、順方向機械翻訳部が出力した順方向翻訳文を、評価者がＡ〜Ｄの４ランクで主観評価を行なった。この方法は、従来の第１の評価方法に相当する。ここで、Ａランクに対してランクＦＲ＝３を割当て、Ｂランクに対してランクＦＲ＝２を割当て、Ｃランクに対してランクＦＲ＝１を割当て、Ｄランクに対してランクＦＲ＝０を割当てた。そして、次の（ａ）〜（ｃ）を行なった。

（ａ）主観評価された順方向翻訳文と正解順方向翻訳文とのＤＰマッチングを行ない、マッチングスコアＥＳａを算出した。この方法は、従来の第２の評価方法に相当する。ランクＦＲとマッチングスコアＥＳａとの相関値Ｃａを計算した。

（ｂ）主観評価された順方向翻訳文を１つの逆方向機械翻訳装置で翻訳して、得られた逆方向翻訳文と原文とのＤＰマッチングを行ない、マッチングスコアＥｓｂを算出した。ランクＦＲとマッチングスコアＥＳｂとの相関値Ｃｂを計算した。

（ｃ）主観評価された順方向翻訳文を３つの逆方向機械翻訳装置で翻訳して、得られた３つの逆方向翻訳文と原文とのＤＰマッチングを行ない、マッチングスコアの最大値ＥＳｃを算出した。この方法は、本発明の第１の実施形態の評価方法に相当する。ランクＦＲとマッチングスコアＥＳｃとの相関値Ｃｃを計算した。

図１４は、順方向機械翻訳部として、Ｄ³、ＳＡＴ、またはＴＤＭＴを用いたそれぞれの場合について、実験（２）の結果である相関値Ｃａ、Ｃｂ、およびＣｃを示す。

同図に示すように、従来の第１の評価方法と従来の第２の評価方法との相関値（Ｃａ）が高いが、従来の第１の評価方法と本発明の第１の実施形態の評価方法との相関値（Ｃｃ）とそれほど差がないといえる。

したがって、本発明の第１の実施形態による評価方法による評価結果は、労力のかかる従来の第２の評価方法と同様に、信頼性の高い従来の第１の評価方法による評価結果と、類似するといえる。

（３）実験３（第２の実施形態の主観評価の有効性）
実験３では、順方向機械翻訳部が出力した順方向翻訳文を、Ａ〜Ｄの４段階で主観評価し、（２）と同様にしてランクＦＲを割当てた。この方法は、従来の第１の評価方法に相当する。そして、次の（ａ）〜（ｃ）を行なった。

（ａ）主観評価された順方向翻訳文を１つの逆方向機械翻訳装置で翻訳して、得られた逆方向翻訳文をＡ〜Ｄの４段階で主観評価し、（２）と同様にしてランクＢＲａを割当てた。この方法は、従来の第３の評価方法に相当する。ランクＦＲとランクＢＲａとの相関値Ｃａを計算した。

（ｂ）主観評価された順方向翻訳文を３つの逆方向機械翻訳装置で翻訳して、得られた３つの逆方向翻訳文と原文とのＤＰマッチングを行ない、マッチングスコアが最大の逆方向翻訳文をＡ〜Ｄの４段階で主観評価し、（２）と同様にしてランクＢＲｂを割当てた。この方法は、本発明の第２の実施形態の評価方法に相当する。ランクＦＲとランクＢＲｂとの相関値Ｃｂを計算した。

（ｃ）主観評価された順方向翻訳文を３つの逆方向機械翻訳装置で翻訳して、得られた３つの逆方向翻訳文をＡ〜Ｄの４段階で主観評価し、評価が最良のものを選択して、（２）と同様にしてランクＢＲｃを割当てた。この方法は、変形例（４）の評価方法に相当する。ランクＦＲとランクＢＲｃとの相関値Ｃｃを計算した。

図１５は、順方向機械翻訳部として、Ｄ³、ＳＡＴ、またはＴＤＭＴを用いたそれぞれの場合について、実験（３）の結果である相関値Ｃａ、Ｃｂ、およびＣｃを示す。

同図に示すように、従来の第１の評価方法と従来の第３の評価方法との相関値（Ｃａ）よりも、従来の第１の評価方法と本発明の第２の実施形態の評価方法との相関値（Ｃｂ）が高く、従来の第１の評価方法と本発明の変形例（４）の評価方法との相関値（Ｃｃ）が高い。

したがって、本発明の第２の実施形態による評価方法および本発明の変形例（４）による評価結果は、従来の第３の評価方法による評価結果よりも、信頼性の高い従来の第１の評価方法による評価結果と類似するといえる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

第１の実施形態に係る機械翻訳文評価装置の構成を示す図である。第１の実施形態に係る評価部１３の具体的な構成を示す図である。第１の実施形態に係る機械翻訳文評価装置による機械翻訳文の評価処理の動作手順を示すフローチャートである。原文α、順方向翻訳文β、および逆方向翻訳文Ａ，Ｂ，Ｃを示す図である。マッチングスコアＳＡ，ＳＢ，ＳＣの算出の例を示す図である。第２の実施形態に係る評価部２３の具体的な構成を示す図である。第２の実施形態に係る機械翻訳文評価装置による機械翻訳文の評価処理の動作手順を示すフローチャートである。第３の実施形態に係る評価部３３の具体的な構成を示す図である。第３の実施形態に係る機械翻訳文評価装置による機械翻訳文の評価処理の動作手順を示すフローチャートである。第４の実施形態に係る機械翻訳文評価装置の構成を示す図である。（ａ）は、順方向翻訳文０のパラフレーズの例を示す図であり、（ｂ）は、逆方向翻訳文Ａ０のパラフレーズの例を示す図であり、（ｃ）は、原文０のパラフレーズの例を示す図である。第４の実施形態に係る機械翻訳文評価装置による機械翻訳文の評価処理の動作手順を示すフローチャートである。（ａ）は、３種類の翻訳エンジンのいずれかを順方向機械翻訳部として用い、４種類の翻訳エンジンのいずれかを逆方向機械翻訳装置として用いた場合の、各組合せごとの確率Ｐ（Ｓ_match｜Ｒ_A）を示す図であり、（ｂ）は、３種類の翻訳エンジンのいずれかを順方向機械翻訳部として用い、４種類の翻訳エンジンのいずれかを逆方向機械翻訳装置として用いた場合の、各組合せごとの確率Ｐ（Ｓ_match｜Ｒ_bcd）を示す図である。順方向機械翻訳部として、Ｄ³、ＳＡＴ、またはＴＤＭＴを用いたそれぞれの場合について、実験（２）の結果である相関値Ｃａ、Ｃｂ、およびＣｃを示す図である。順方向機械翻訳部として、Ｄ³、ＳＡＴ、またはＴＤＭＴを用いたそれぞれの場合について、実験（３）の結果である相関値Ｃａ、Ｃｂ、およびＣｃを示す図である。

符号の説明

１０，４０順方向翻訳文評価部、１１順方向機械翻訳部、１２ａ，１２ｂ，１２ｃ逆方向機械翻訳部、１３，２３，３３，４３評価部、１４表示装置、１５ＤＰマッチング部、１６最大スコア特定部、１９，４９機械翻訳文評価装置、２６最大スコア逆方向翻訳文特定部、３１完全一致判定部、４１第１パラフレーズ部、４２ａ，４２ｂ，４２ｃ第２パラフレーズ部、４４第３パラフレーズ部。

Claims

第１の言語で表わされた原文を第２の言語に機械翻訳した順方向翻訳文の良否を評価する機械翻訳文の評価装置であって、
原文を取得して第２の言語の順方向翻訳文に機械翻訳する順方向機械翻訳部と、
各々が、前記順方向翻訳文を第１の言語に機械翻訳して逆方向翻訳文を生成するｎ個（ｎ≧２）の逆方向機械翻訳部と、
前記ｎ個の逆方向翻訳部が生成したｎ個の逆方向翻訳文と、前記原文との一致または類似度を表わすスコアに基づいて、前記順方向翻訳文の良否を評価する評価部とを備えた機械翻訳文の評価装置。
前記評価部は、前記各逆方向翻訳文と前記原文との類似度を表わすスコアを算出し、算出した最大のスコアを出力する、請求項１記載の機械翻訳文の評価装置。
前記評価部は、前記各逆方向翻訳文と前記原文との類似度を表わすスコアを算出し、算出した最大のスコアを有する逆方向翻訳文を前記原文とともに出力する、請求項１記載の機械翻訳文の評価装置。
前記評価部は、前記各逆方向翻訳文について、前記原文と完全一致するか否かを判定し、前記ｎ個の逆方向翻訳文のうち完全一致するものがあるか否かを出力する、請求項１記載の機械翻訳文の評価装置。
前記順方向翻訳文のパラフレーズを行なって、ｍ個（ｍ≧２）の順方向翻訳文を得るパラフレーズ部をさらに備え、
前記ｎ個の逆方向翻訳部の各々は、前記ｍ個の順方向翻訳文を第１の言語に機械翻訳して、ｍ個の逆方向翻訳文を生成し、
前記評価部は、前記ｎ個の逆方向翻訳部が生成する（ｎ×ｍ）個の逆方向翻訳文と前記原文との一致または類似度を表わすスコアに基づいて、前記順方向翻訳文の良否を評価する、請求項１記載の機械翻訳文の評価装置。
各々が、前記逆方向翻訳文のパラフレーズを行なってｍ個（ｍ≧２）の逆方向翻訳文を得るｎ個のパラフレーズ部をさらに備え、
前記評価部は、前記ｎ個のパラフレーズ部による（ｎ×ｍ）個の逆方向翻訳文と、前記原文との一致または類似度を表わすスコアに基づいて、前記順方向翻訳文の良否を評価する、請求項１記載の機械翻訳文の評価装置。
原文のパラフレーズを行なって、ｍ個（ｍ≧２）の原文を得るパラフレーズ部をさらに備え、
前記評価部は、前記ｎ個の逆方向翻訳文と前記ｍ個の原文との一致または類似度を表わすスコアに基づいて、前記順方向翻訳文の良否を評価する、請求項１記載の機械翻訳文の評価装置。