JP2003141115A - 単語間の翻訳関係を計算する方法 - Google Patents
単語間の翻訳関係を計算する方法Info
- Publication number
- JP2003141115A JP2003141115A JP2002180457A JP2002180457A JP2003141115A JP 2003141115 A JP2003141115 A JP 2003141115A JP 2002180457 A JP2002180457 A JP 2002180457A JP 2002180457 A JP2002180457 A JP 2002180457A JP 2003141115 A JP2003141115 A JP 2003141115A
- Authority
- JP
- Japan
- Prior art keywords
- word
- words
- unit
- relevance score
- identifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
- G06F40/45—Example-based machine translation; Alignment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
い単語間の翻訳関係を計算する方法を提供する。 【解決手段】 並行2カ国語トレーニングコーパスを構
文解析し、内容語に分ける(300〜302)。他の単
語が出現する言語L2のセンテンスに対し2カ国語コー
パスで整合処理したセンテンス内に出現する、言語L1
の単語からなる内容語の各ペアの単語関連性スコアを付
ける(304)。単語のペアは、ペアの一方が他方の単
語と、センテンス内のすべての単語のうち最も高い関連
性を持つ場合に、整合処理されたセンテンスのペアにお
いて「リンク」されているとみなされる。複合語の出現
は、処理されスコアが付けられたトレーニングデータ内
の整合済みセンテンスの各ペア内の、リンクされた単語
の最大の接続集合を識別することにより、トレーニング
データ内で仮定される(306)。
Description
を計算する方法に関する。より詳しくは、異なる言語の
単語間の翻訳関係を学習する統計的手法である単語間の
翻訳関係を計算する方法及び機械翻訳システムをトレー
ニングする方法に関する。
ト入力を受け取り、それを第2の言語に翻訳し、その第
2の言語のテキスト出力を供給するシステムである。そ
うする際に、このようなシステムは、通常、翻訳用語集
を使用して、学習時に取得した内容語間の対応関係、つ
まり翻訳関係を取得する。
lation lexicon)を導出する一般的なア
プローチは、並行2カ国語コーパス(parallel
bilingual corpus)の整合処理した
(aligned)センテンスで第1の言語L1の単語
と第2の言語L2の単語との間の関連性の程度の測定基
準を選択する作業を伴う。単語の組(L1の単語とL2
の単語からなる)は、選択された関連性の測定基準によ
るランクで順序付けられる。しきい値を選択し、翻訳用
語集を関連性の程度がそのしきい値を超える単語のすべ
ての組で構成する。
は、類似性距離(similarity metri
c)(単語間の関連性の程度の測定基準)は単語が整合
処理した並行テキストコーパスの対応する領域(たとえ
ば、センテンス)内に同時に出現する頻度に基づく。単
語の異なる組に対する関連性スコア(associat
ion scores)が計算され、それらの単語の組
は、その関連性スコアの降順で並べ替えられる。再び、
しきい値が選択され、関連性スコアがしきい値を超える
単語の組が翻訳用語集内のエントリになる。
る。問題の1つは、関連性スコアは通常、互いに無関係
に計算されるという点である。たとえば、kを言語L1
の異なる単語を表す整数として言語L1の単語を記号V
kで表し、kを言語L2の異なる単語を表す整数として
言語L2の単語をWkで表すものとする。そこで、Vと
Wの並びで、整合処理した2つのテキストセグメントを
表す。WkおよびVkが類似2カ国語文脈(たとえば、
整合処理したセンテンス内)に出現した場合、妥当な類
似性距離があれば、それらの間に高い関連性スコアが得
られ、これは、分布の相互依存性を反映する。
似の文脈(たとえば、同じセンテンス内)にも現れる。
その場合、VkとVk+1の分布間に強い相互依存性も
ある。そのため、WkとVkが類似の文脈内に現れ、V
kとVk+1が類似の文脈内に現れた場合、WkとV
k+1も類似の文脈内に現れるという問題が生じる。こ
れは、WkとVkとの関連性およびVk+1とVkとの
関連性によってのみ生じるため間接的関連(indir
ect association)と呼ばれている。互
いに無関係に関連性スコアを計算する従来の方法では、
直接的関連(たとえば、WkとVkの間の)と間接的関
連(たとえば、WkとVk+1の間の関連)を区別でき
ない。このため、間接的関連でいっぱいの翻訳用語集が
生成され、正しくない場合もあることは驚くべきことで
はない。
ュータソフトウェアの翻訳されたマニュアルからなる並
行フランス語英語コーパスを考える。このコーパスで
は、英語の用語「file system」と「sys
tem files」は出現頻度の非常に高いものであ
る。同様に、対応するフランス語の用語
カ国語のコロケーション(co−location)は
共通なので、fichier/systemと
nslation pairs)も、関連性スコアがか
なり高くなる。これらのスコアは、実際、多くの真の翻
訳ペアのスコアよりも高くなることがある。
してきた。たとえば、Melamed著「Automa
tic Construction of Clean
Broad−Coverage Translati
on Lexicons」(Second Confe
rence of the Associationf
or Machine Translation in
the America′s(AMTA 199
6)、Montreal Canada)はこの問題を
取り上げている。
が、同じ単語の一方または両方を伴う関連性がなおいっ
そう高いペアがある整合処理されたセンテンスから導出
された場合に、関連性の高い単語ペアを翻訳として無視
することによりこの問題に対処している。つまり、関連
性は強いほど信頼性が高く、そのため直接的関連性は間
接的関連性よりも強いということになる。したがって、
Vを含むセグメント(またはセンテンス)とWおよび
W′の両方を含むセグメント(またはセンテンス)とを
整合処理した場合、エントリ(V,W)および(V,
W′)は両方とも、翻訳用語集内に現れてはならない。
もし現れた場合、少なくとも1つが不正である可能性が
ある。直接的関連は間接的関連よりも強い傾向があると
仮定しているため、最も高い関連性スコアを持つエント
リは、正しい関連と選択されたスコアである。
ier」と
em」を含む並行な英語とフランス語のセンテンス内
で、fichier/systemおよび
ier/file」および
テンスにおいてかなり高くなる可能性があるからであ
る。
報告されていたののよりもかなり高い対象範囲レベルに
拡張すると報告されているが、これは欠点である。たと
えば、実装する作業はきわめて複雑で、面倒であり、実
行もまたかなり時間を要すると思われる。
問題点としてはほかに、複合語(compound)
(または、複合語を形成する多単語シーケンス)が挙げ
られる。このような複合語は、他の言語では単一の単語
に翻訳され、また別の言語では複数の単語に翻訳され
る。従来の手法では、語彙翻訳関係には単一の単語のみ
が関わると想定していた。もちろん、次の複合語のリス
トからわかるように、このように想定することは明らか
に正しくない。 Base_de_donnees/database Mot_de_passe/password Sauvegarder/back_up Annuler/roll_back Ouvrir_session/log_on
複合語は他方の言語の単一の単語として翻訳される。た
だし、最後の例では、一方の言語の複合語は他方の言語
の複合語として翻訳され、複合語の個々の構成要素のそ
れぞれは、他方の複合語の個々の構成要素の1つに意味
のある形で翻訳することはできない。たとえば、「ou
vrir」は通常「open」と翻訳されるが、「lo
g」または「on」として適切に翻訳することはできな
い。同様に、「session」は通常「sessio
n」として翻訳されるが、これもまた、「log」とも
「on」とも適切に翻訳することはできない。
試みの1つについては、Melamedによる「Aut
omatic Discovery of Non−C
ompositional Compounds in
Parallel Data」(Conferenc
e on Empirical Methods in
Natural Language Process
ing(EMNLP97)Providence、Rh
ode Island(1997))でも説明されてい
る。Malamedは、候補複合語(candidat
e compound)を伴う試行翻訳モデル(tri
al translation model)およびそ
うでない基本翻訳モデル(base translat
ionmodel)という2つの翻訳モデルを誘導して
いる。Melamedの目的関数の値が基本モデルより
も試行モデルでのほうが大きい場合に、複合語は有効で
あるとみなされる。そうでない場合は、候補複合語は無
効であるとみなされる。ただし、Melamedが潜在
的複合語を選択するために使用している方法は、きわめ
て複雑であり、計算コストが高いが、それは、試行翻訳
モデルの構築による検証の方法だからである。
単語間の翻訳関係を学習する方法は、複雑で実行のため
のコストが高いという点において、未だ改善の余地があ
った。
たもので、その目的とするところは、実装が複雑でな
く、実行する時間の効率が高い単語間の翻訳関係を計算
する方法を提供することにある。
グコーパスを構文解析し、内容語に分ける。他の単語が
出現する言語L2のセンテンスに対し2カ国語コーパス
で整合処理したセンテンス内に出現する、言語L1の単
語からなる内容語の各ペアの単語関連性スコアを付け
る。単語のペアは、単語の一方がセンテンス内の単語の
うち、他方の単語と最も関連性が高い場合に整合処理セ
ンテンスのペア内で「リンク」されているとみなされ
る。複合語の出現は、処理されスコアが付けられたトレ
ーニングデータ内の整合済みセンテンスの各ペア内の、
リンクされた単語の最大の接続集合を識別することによ
り、トレーニングデータ内で仮定される。これら最大の
接続集合の1つが言語の一方または両方で複数の単語を
含む場合に、その言語内の単語のサブセットは複合語と
して仮定される。元の入力テキストは書き換えられ、仮
定された複合語は単一の融合したトークンで置き換えら
れる。関連性スコアは、複合語(融合トークンで置き換
えられている)と入力テキスト内の残りの個々の単語つ
いて再計算される。関連性スコアを再度計算するが、た
だし、このときは、等しく強いまたはより強い他の関連
性がトレーニングコーパス内の整合処理センテンスの特
定のペア内にない場合のみ、関連性スコアを計算する際
に同時出現を考慮する。
た後、しきい値よりも高い関連性スコアを持つ単語ペア
またはトークンペアとして識別できる。
2カ国語コーパスを含むトレーニングデータに複合語の
出現を仮定する方法またはシステムとして実現すること
もできる。
ptoids)」の翻訳を識別する方法を含み、これに
より、タイトルまたはその他の特別なフレーズを意味
し、それらの単語はすべて先頭を大文字で始める。(キ
ャプトイドの翻訳の検索ではフランス語やスペイン語な
どの言語において特別な問題が生じ、それらは規則によ
り、このような項目の最初の単語のみが先頭が大文字
で、キャプトイド翻訳の範囲は決定しにくい。)その実
施形態では、複合語はまず、ソース言語(source
language)(たとえば英語)で識別される。
これは、最初の単語が大文字で始まり、連続する文字列
内の後のトークンは小文字で始まらない、テキストの文
字列を検索することで行う。次に、複合語がターゲット
テキスト内にあると仮定するが、そのために、大文字で
始まる単語を検索し、対応する複合語の可能な開始位置
としてフラグを立てる。次に、ターゲットテキストを左
から右に走査し、ソーステキスト内で識別された複合語
内の単語に最も強く関連付けられている後続の単語にフ
ラグを立てるが、最も関連性の高い単語が続く限り、所
定の数まで(たとえば2)、連続する最も関連性が高い
わけではない単語を許容する。
識別された複合語において単語に対する関連性が最も高
いわけではない、所定の数を超える(たとえば、2より
も多い)連続する単語が見つかるまで、または関連性が
最も高い単語がターゲットテキストに存在しなくなるま
で、または句読点に達するまで続けることができる。
施形態を詳細に説明する。なお、各図面において同様の
機能を有する箇所には同一の符号を付している。
るが、本発明を適用できる図解した1つの環境であっ
て、本発明は他の環境でも使用できる。
ータ20のブロック図である。図1および関連する説明
は、本実施形態を実施できる適当なコンピューティング
環境について簡潔に述べた一般的な説明である。必要で
はないが、本実施形態は、少なくとも一部は、パーソナ
ルコンピュータによって実行されるプログラムモジュー
ルなどのコンピュータ実行可能命令の一般的状況におい
て説明される。一般に、プログラムモジュールには、特
定のタスクを実行する、あるいは特定の抽象データ型を
実装するルーチン、プログラム、オブジェクト、コンポ
ーネント、データ構造などが含まれる。さらに、当業者
には、本実施形態が、携帯型デバイス、マルチプロセッ
サシステム、マイクロプロセッサベースのまたはプログ
ラム可能な家電製品、ネットワークPC、ミニコンピュ
ータ、メインフレームコンピュータなど、他のコンピュ
ータシステム構成でも実施できることは明白であろう。
本実施形態は、さらに、通信ネットワークを介してリン
クされているリモート処理デバイスによってタスクが実
行される分散コンピューティング環境で実用することも
できる。分散コンピューティング環境では、プログラム
モジュールをローカルとリモートの両方のメモリ記憶デ
バイスに配置できる。
ステム例は、従来のパーソナルコンピュータ20の形態
の汎用コンピューティングデバイスを使用し、プロセッ
サ21、システムメモリ22、およびシステムメモリを
含む各種システムコンポーネントをプロセッサ21に結
合するシステムバス23を備える。システムバス23に
は、メモリバスまたはメモリコントローラ、周辺機器バ
ス、およびさまざまなバスアーキテクチャを使用するロ
ーカルバスを含む数種類のバス構造がある。システムメ
モリは、読み取り専用メモリ(ROM)24およびラン
ダムアクセスメモリ(RAM)25を備える。起動時な
どにパーソナルコンピュータ20内の要素間の情報伝送
を助ける基本ルーチンを含む基本入出力システム(BI
OS)26は通常、ROM 24に格納される。パーソ
ナルコンピュータ20はさらに、ハードディスク(図に
は示されていない)への読み書きを行うハードディスク
ドライブ27、リムーバル磁気ディスク29への読み書
きを行う磁気ディスクドライブ28、およびCD−RO
Mまたはその他の光媒体などのリムーバル可能光ディス
ク31への読み書きを行う光ディスクドライブ30を備
える。ハードディスクドライブ27、磁気ディスクドラ
イブ28、および光ディスクドライブ30は、ハードデ
ィスクドライブインタフェース32、磁気ディスクドラ
イブインタフェース33、および光ドライブインタフェ
ース34によりそれぞれ、システムバス23に接続され
る。ドライブおよび関連したコンピュータ読み取り可能
媒体は、コンピュータ20用のコンピュータ読み取り可
能命令、データ構造、プログラムモジュール、およびそ
の他のデータを格納する不揮発性ストレージを備える。
ドディスク、リムーバル可能磁気ディスク29、および
リムーバル可能光ディスク31を採用しているが、当業
者であれば、磁気カセット、フラッシュメモリカード、
デジタルビデオディスク、ベルヌーイカートリッジ、ラ
ンダムアクセスメモリ(RAM)、読み取り専用メモリ
(ROM)などのコンピュータからアクセス可能なデー
タを格納できる他のタイプのコンピュータ読み取り可能
媒体もオペレーティング環境で使用できることも理解す
るであろう。
ィスク31、ROM 24またはRAM 25には、オ
ペレーティングシステム35、1つまたは複数のアプリ
ケーションプログラム36、その他のプログラムモジュ
ール37、およびプログラムデータ38などのプログラ
ムモジュールをいくつでも格納できる。ユーザは、キー
ボード40およびポインティングデバイス42などの入
力デバイスを介してパーソナルコンピュータ20にコマ
ンドおよび情報を入力できる。他の入力デバイス(図に
示されていない)としては、マイク、ジョイスティッ
ク、ゲームパッド、衛星放送受信アンテナ、スキャナな
どがある。これらの入力デバイスやその他の入力デバイ
スは、システムバス23に結合されているシリアルポー
トインタフェース45を介してプロセッサ21に接続さ
れることが多いが、サウンドカード、パラレルポート、
ゲームポート、またはユニバーサルシリアルバス(US
B)などの他のインタフェースにより接続することもで
きる。モニタ47やその他のタイプの表示デバイスも、
ビデオアダプタ48などのインタフェースを介してシス
テムバス23に接続される。モニタ47に加えて、パー
ソナルコンピュータは通常、スピーカやプリンタ(図に
示されていない)などの他の周辺出力デバイスを備える
場合もある。
コンピュータ49などの1つまたは複数のリモートコン
ピュータへの論理接続を使用してネットワーク環境で動
作することもできる。リモートコンピュータ49は、他
のパーソナルコンピュータ、サーバ、ルータ、ネットワ
ークPC、ピアデバイスまたはその他の共通ネットワー
クノードでもよく、通常は、パーソナルコンピュータ2
0に関係する上述の要素の多くまたはすべてを含むが、
メモリストレージデバイス50のみが図1に示されてい
る。図1に示されている論理接続は、ローカルエリアネ
ットワーク(LAN)51とワイドエリアネットワーク
(WAN)52を含む。このようなネットワーキング環
境は、事務所、企業規模のコンピュータネットワーク、
イントラネットおよびインターネットではよくある。
合は、パーソナルコンピュータ20はネットワークイン
タフェースまたはネットワークアダプタ53を介してロ
ーカルエリアネットワーク51に接続される。WANネ
ットワーキング環境で使用する場合は、パーソナルコン
ピュータ20は通常、モデム54またはインターネット
などのワイドエリアネットワーク52上で通信を確立す
るためのその他の手段を備える。モデム54は、内蔵で
も外付けでもよいが、シリアルポートインタフェース4
6を介してシステムバス23に接続される。ネットワー
ク環境では、パーソナルコンピュータ20またはその一
部に関して述べたプログラムモジュールは、リモートメ
モリ記憶媒体に格納できる。図に示されているネットワ
ーク接続は例であり、コンピュータ間に通信リンクを確
立するのにその他手段を使用できることは理解されるで
あろう。
る環境あるいは状況であっても、単語間の翻訳関係を導
出することができる。これから説明する機械翻訳アーキ
テクチャは、1つの環境または状況にすぎない。
図2に示されている機械翻訳アーキテクチャに関連して
説明する。したがって、このアーキテクチャについて詳
述する前に、論理形式について簡単に説明すると役立つ
であろう。論理形式および論理形式を生成するためのシ
ステムと方法の詳細は、「METHOD AND SY
STEM FOR COMPUTING SEMANT
IC LOGICALFORMS FROM SYNT
AX TREES」という表題の1999年10月12
日に発行された、Heidornなどの米国特許第59
66686号に記載されている。ただし、簡単な論理形
式は、入力テキストに対して形態素解析を実行して、文
法関係で強化されている従来の句構造解析を出力するこ
とにより生成される。構文解析でさらに処理し、テキス
ト入力内の内容語間のラベル付き依存関係を記述するグ
ラフ構造である論理形式を導出する。論理形式では、あ
る種の構文代替(たとえば、能動/受動)を正規化し、
センテンス内の照応関係と長い距離の依存関係の両方を
解決する。
結合された2つの単語からなる(たとえば、部分、時
刻、上位語、論理的主語、原因、定義域、場所、方法、
資料、手段、修飾語句、プロセッサ、目的、準上位語、
同意語、論理的目的語、およびユーザ)。論理形式は、
センテンスなどの、単一テキスト入力を表す接続論理関
係のグラフである。主に、1つの論理関係で構成され
る。論理形式では、構造的関係(つまり、構文および意
味論的関係)、特に入力文字列内の重要な単語間の引数
および/または修飾関係を記述する。
構文解析から論理形式を構築する特定のコードは、機械
翻訳システムが動作するさまざまなソース言語およびタ
ーゲット言語間で共有される。共有アーキテクチャを使
用すると、異なる言語から論理形式セグメントの整合処
理をするタスクが簡素化されるが、それは、2つの言語
の表面上異なる構成は類似のあるいは同一の論理形式表
現に頻繁に圧縮されるからである。
る機械翻訳システム200のアーキテクチャのブロック
図である。システム200は、構文解析コンポーネント
204および206、統計的単語関連学習コンポーネン
ト208(この環境で本発明の大部分が置かれてい
る)、論理形式整合処理コンポーネント210、語彙知
識ベース構築コンポーネント212、2カ国語辞書21
4、辞書マージコンポーネント216、転送マッピング
データベース218、および更新された2カ国語辞書2
20を含む。実行時に、システムは解析コンポーネント
222、照合コンポーネント224、転送コンポーネン
ト226、および生成コンポーネント228を利用す
る。
て、システムのトレーニングを行う。2カ国語コーパス
は、整合処理された翻訳済みセンテンスを含む(たとえ
ば、英語などのソース言語またはターゲット言語の一方
のセンテンスと、スペイン語やフランス語などのソース
言語またはターゲット言語の他方の翻訳結果との整合処
理)。トレーニングのときに、整合処理された2カ国語
コーパスからシステム200に、ソースセンテンス23
0(翻訳すべきセンテンス)とターゲットセンテンス2
32(ソースセンテンスの翻訳)を送る。構文解析コン
ポーネント204および206は、整合処理された2カ
国語コーパスからセンテンスを構文解析し、ソース論理
形式234とターゲット論理形式236を出力する。構
文解析時に、センテンス内の単語が正規化単語形式(題
句)に変換される。「題句(lemma)」という用語
は、ここでは、内容語の語幹または基語を意味する。た
とえば、「sleep」は表層形式(surface
forms)「sleep」、「sleeping」、
および「slept」の題句である。ただし、本発明の
一実施形態は内容語題句に適用される一方で、他の実施
形態では本発明は代わりに表層形式に適用することがで
きるが、パフォーマンスが幾分落ちることがあることに
注意されたい。いずれの場合も、題句が統計的単語関連
性学習コンポーネント208に送られる。信頼できるそ
れぞれの集まりが得られるまで、単一単語と複数単語の
両方の関連が学習コンポーネント208により、繰り返
し仮定され、スコアが付けられる。統計的単語関連性学
習コンポーネント208は、学習した単一単語翻訳ペア
238と複数単語ペア240を出力する。
ネント216に送られ、このコンポーネントを使用し
て、追加エントリを2カ国語辞書214に加えて、更新
された2カ国語辞書220を形成する。新しいエントリ
は、複数単語ペア240を表す。
34およびターゲット論理形式236とともに、論理形
式整合処理コンポーネント210に送られる。コンポー
ネント210はまず、ソース論理形式234とターゲッ
ト論理形式236のノード間の仮語彙対応関係を確立す
る。これは、統計的単語関連学習コンポーネント208
の単一単語翻訳ペア238で増強された2カ国語語彙
(または2カ国語辞書)214の翻訳ペアを使用して行
う。可能な対応関係を確立した後、整合処理コンポーネ
ント210は、語彙および構造特性の両方に応じて、論
理形式ノードの整合処理を行い、論理形式転送マッピン
グ242を作成する。
は、2カ国語辞書情報214と単一単語ペア238を使
用して論理形式間のリンクを描画する。ソース論理形式
234およびターゲット論理形式236で見つける頻度
に基づき転送マッピングをフィルタ処理し、語彙知識ベ
ース構築コンポーネント212に送る。
も2回トレーニングデータ内に現れていない場合、転送
マッピングデータベース218の構築に使用されない
が、他の望ましい頻度をフィルタとして使用することも
できる。さらに、出現頻度以外の他のフィルタ処理手法
も使用できることに注意されたい。たとえば、入力セン
テンスの完全解析から形成するかどうかに基づき、また
転送マッピングを作成するために使用される論理形式の
完全整合処理を行うかどうかに基づき、転送マッピング
のフィルタ処理を行うことができる。
言語の論理形式またはその一部を第2の言語の論理形式
またはその一部にリンクする転送マッピングを含む転送
マッピングデータベース218を構築する。転送マッピ
ングデータベース218をこうして作成してから、シス
テム200を実行時翻訳に合わせて構成する。
50が解析コンポーネント222に送られる。解析コン
ポーネント222は、ソースセンテンス250を受け取
り、ソースセンテンス入力に基づいてソース論理形式2
52を作成する。
実施例では、ソースセンテンス250は、スペイン語の
センテンス「Haga click en el bo
ton de opcion」で、これは、英語の「C
lick the option button」、ま
たは「Make click in the butt
on of option」に翻訳される。
ト224に送る。照合コンポーネント224は、ソース
論理形式252と転送マッピングデータベース218の
論理形式と照合し、リンクされた論理形式254を取得
しようとする。複数の転送マッピングにより、ソース論
理形式252の一部の照合を行うことができる。照合コ
ンポーネント224は、照合題句、音声の一部、および
その他の特徴情報を持つデータベース218内の照合転
送マッピングの最良の集合を検索する。大きい(より具
体的な)転送マッピングは、図からわかるように、小さ
な(より一般的な)転送マッピングよりも好ましい。サ
イズの等しいマッピングで、照合コンポーネント224
では図からわかるように高い頻度のマッピングが好まし
い。マッピングはさらに、決して衝突しないとした場合
にソース論理形式252のオーバーラップする一部を照
合することもできる。
った後、照合コンポーネント224は、転送マッピング
が受け取る対応するターゲット論理形式セグメントのコ
ピーに対する、ソース論理形式252のノードのリンク
を作成し、リンクされた論理形式254を生成する。
ーネント224からリンクされた論理形式254を受け
取り、ターゲット翻訳の基礎を形成するターゲット論理
形式256を作成する。そのためには、ソース論理形式
252のリンクが指しているターゲット論理形式セグメ
ントが組み合わされるリンクされた論理形式254の上
から下への横断を実行する。場合によっては複雑な複数
単語マッピングに対し論理形式セグメントを組み合わせ
て1つにした場合、個々のノード間で照合コンポーネン
ト224によって設定されるサブリンクを使用して、修
飾語などの正しい付加点(attachment po
int)を求める。必要ならばデフォルトの付加点が使
用される。
場合、ソース論理形式252のノードとその関係が単に
ターゲット論理形式256にコピーされるだけである。
デフォルトの単一単語翻訳はそれでも、これらのノード
に対して転送マッピングデータベース218内に見つか
り、ターゲット論理形式256に挿入することができ
る。ただし、何も見つからなければ、翻訳は図からわか
るように、整合処理時に使用した更新された2カ国語辞
書220から取得できる。
るように、ルールベースのアプリケーション独立の生成
コンポーネントであり、ターゲット論理形式256から
ターゲット文字列(または出力ターゲットセンテンス)
258にマップする。生成コンポーネント228には、
図からわかるように、入力論理形式のソース言語に関し
て何も情報がない場合があり、また転送コンポーネント
226により受け渡される情報のみを操作する。生成コ
ンポーネント228はさらに、図からわかるように、こ
の情報を1カ国言語(たとえば、そのターゲット言語
の)辞書とともに使用し、ターゲットセンテンス258
を出力する。そのため、一つの一般的な生成コンポーネ
ント228は、各言語に十分である。
は、統計的単語関連学習コンポーネント208に関して
さらに具体的なものになる。現在の状況では論理形式で
機械翻訳アーキテクチャにより動作するコンポーネント
208を示しているが、これは必ずしも当てはまるわけ
ではないことに、再び注意されたい。むしろ、コンポー
ネント208は単に、トークン化されている整合処理さ
れている(または個々の単語に分割されている)コーパ
スで動作することができる。コンポーネント208はさ
らに、機械翻訳機で動作する以外に、他のタスクを実行
することもできる。たとえば、辞書作成にコンポーネン
ト208を使用したり、あるいは単に異なる言語の単語
間の単語関連性スコアまたは関係を生成することがで
き、機械翻訳機の状況で動作する必要はない。上では例
のみで説明している。
(または異なる言語の単語のペア間の翻訳関係)を導出
する方法を示す流れ図である。まず、コンポーネント2
08は、整合処理した2カ国語コーパスにアクセスす
る。これは、ブロック300で示される。コーパスを構
文解析して、成分単語に分割する(たとえば、上述の題
句、ただし表層形式でも保持できる)。これは、ブロッ
ク302で示される。もちろん、上記の状況で、コンポ
ーネント204および206を構文解析してソース論理
形式234とターゲット論理形式236に分割すること
により整合処理されたコーパスを構文解析する。ただ
し、本実施形態は、構文解析で論理形式に変換されるテ
キスト入力での動作に限定されないが、その代わりに、
単に整合処理されたコーパスを構文解析で内容語に分け
る必要がある。さらに、パーサはさらに、いくつかの語
彙複合語を単一のユニットであるかのようにも識別でき
る。このような複数単語表現を用語集に入れた場合、特
定の意味または用途があるため、あるいは固有名詞、場
所の名前、時刻式、日付、測定式などの多数の一般的カ
テゴリに含まれるため、複数単語として識別される。
れ、構文解析された2カ国語コーパスの個別単語ペアの
単語関連性スコアを計算する。これは、ブロック304
で示される。トレーニングコーパス内の単語ペア間の統
計的単語関連性を示すスコアを与える単語関連性距離を
使用することができるが、本実施形態では、Dunni
ng「Accurate Methods for t
he Statistics of Surprise
and Coincidence,Computat
ional Linguistics、19(1):6
1−74(1993)」でDunningが述べている
対数尤度比を使用する。この統計量を使用して、トレー
ニングデータ内の言語1(WL1)の単語または題句の
全体的な頻度を、言語2(WL2)の単語または題句が
与えられる言語1(WL1)の単語または題句の頻度と
比較する(つまり、WL2が出現するL2のセンテンス
と整合処理されるL1のセンテンス内にWL1が出現す
る頻度)。したがって、対数尤度比の統計値の適用は、
WL1とWL2の間の観測された正の関連性が偶発的な
ものでない確率の測定基準となる。
も切り詰めることができる。つまり、単語関連性スコア
を計算するプロセスで、大きなトレーニングコーパスの
多くの単語(または題句)ペアに対して関連性スコアを
生成する。したがって、一実施例では、単語ペアの集合
を切り詰めて、翻訳ペアとしてみなせる確率が少なくと
も少しはあるペアに後の処理を制限する。発見的手法の
一実施例では、このしきい値を同時出現1回とそれぞれ
他の出現1回を含む単語または題句のペアの関連性の度
合いに設定する。
ングデータ内の複合語の出現を仮定し、仮定したコンポ
ーネントを単一のトークンで置き換える。これは、ブロ
ック306で示される。一般化された例は役立つ場合が
ある。
理センテンス内の単語の並びを示している。英語の並び
の単語は、Exで表され、フランス語の並びの単語はF
xで表される。英語の並びからフランス語の並びへの矢
印は、対応する英単語はフランス語の単語のうちどれと
最も強い関連性を持つかを示す。したがって、たとえ
ば、E1はF1と最も強い関連性を持つことがわかる。
フランス語の並びから英語の並びへの矢印は、単語関連
性スコアに基づき対応するフランス語単語が英単語のう
ちどの単語と最も強い関連性を持つかを示している。し
たがって、例では、F1はE1と最も強い関連性を持つ
こともわかる。各英単語は対応するフランス語単語と最
も強い関連性を持ち、そのフランス語単語は対応する英
単語と最も強い関連性を持つため、英語の単語の並びと
フランス語の単語の並びとの間に単純な1対1対応関係
があるといえる。
の間の1対1の対応関係を示している。図4(b)は図
4(a)と幾分異なるが、それは、英単語E1はフラン
ス語単語F2と最も強い関連性を持ち、英単語E2はフ
ランス語単語F1と最も強い関連性を持つからである。
ただし、フランス語単語F1はさらに、英単語E2と最
も強い関連性を持ち、フランス語単語F2は英単語E1
と最も強い関連性を持つ。したがって、それでも単語の
並びの間に1対1の対応関係があるが、フランス語単語
の順序は、英単語の順序と少し異なる。
いる。図5では、英単語E1およびE4はフランス語単
語F1およびF4とそれぞれ1対1の関連を持つ。しか
し、英単語E2はフランス語単語F2と最も強い関連性
を持ち、フランス語単語F2は英単語E2と最も強い関
連性を持ち、フランス語単語F3も英単語E2と最も強
い関連性を持つ。したがって、英単語E2およびE3、
フランス語単語F2およびF3は1対1の関係を持たな
い。このような1対1対応関係を欠いているということ
は、正しい翻訳を得るために複合語を仮定する必要があ
ることを強く示している。図6に関して詳しく説明して
いるように、英単語E2およびE3、フランス語単語F
2およびF3は複合語と仮定され、元の入力テキスト内
の融合したトークン(たとえば、E2_E3とF2_F
3)で置き換えられる。
入力テキスト(つまり、複合語と残りの個々の単語)の
関連性スコアを再計算する。これは、図3のブロック3
08で示される。これは、基本的に、ブロック304で
示されるステップを繰り返しており、テキストは仮定し
た複合語に関して書き換えられる。
し、このときに、整合処理されたセンテンス内に同じ強
さまたはさらに強い他の関連がない場合に同時出現のみ
を考慮する。これは、ブロック310で示される。つま
り、翻訳に必要な複合語すべてを正しく識別し、トレー
ニングデータで単一項目として正しく識別され再公式化
されていると仮定すると、トレーニングデータはすべて
の翻訳が1対1であるかのように取り扱うことができ
る。したがって、真の翻訳ペアは常に相互に所定の整合
処理されたセンテンスペアと最も強い関連性を持つとの
仮定に基づき、ランク付き翻訳ペアの最終集合を選択す
る。そこで、ブロック310で示される関連性スコアの
再計算は、ブロック308により示されているのとまっ
たく同じ方法で実行されるが、ただし、所定の整合処理
されたセンテンスペアに存在する単語(または題句また
は複合語題句)間で、WL1がWL2と一意的に最も強
い関連性を持ち、WL2がWL1と一意的に最も強い関
連性を持つ場合のみ異なる言語(WL1およびWL2)
の単語は同時出現があるとみなされる。ステップ308
で計算された関連を使用して、この決定を下す。関連の
最終集合は関連性の強さの降順で並べ替えられる。
きい値を超えている単語および/または複合語のペアは
互いの翻訳として識別される。これは、ブロック312
で示される。しきい値は、経験に基づいて選択するか、
または最終ペアリストにある結果の言語解析に基づいて
選択するか、または他の望ましい手法を使用して選択す
ることができる。
いるように、複合語をどのように仮定するかについて詳
細に説明している流れ図である。整合処理されたセンテ
ンス内の元の単語の並びの直接的な1対1対応関係がな
い場合に図5に示されている例に関して説明する。
の単語ごとに、コンポーネント208はそのペアの他の
センテンス内の最も強く関連付けられている単語を識別
する。つまり、コンポーネント208は、基本的に、図
5に示されているグラフまたはグラフの表現を構成す
る。これは、図6のブロック320で示される。
の最大接続単語集合を見つける。これは、ブロック32
2で示される。基本的に、コンポーネント208は、作
成されたグラフを調べて、グラフ内の項目をグループ化
(または円で囲む)でき、矢印がその領域の外に伸びて
いない領域を識別する。これは、図7で示されている破
線で表されている。破線の1つに囲まれている単語のグ
ループのそれぞれが、最大の接続集合として識別され
る。したがって最大接続集合内のすべての項目は、最大
接続集合内のその項目と最も強い関連性を持ち、最大接
続集合の外部の項目とさらに強い関連性を持つものはな
い。
合を2つの異なる言語に分割し、各言語内の最大接続集
合の複数単語コンポーネントが複合語であると仮定す
る。これは、ブロック324で示される。たとえば、図
8は図7の最大接続集合が、英単語の並びとフランス語
単語の並びを分ける水平線で分割されていることを示し
ている。そこでコンポーネント208では、各言語の最
大接続集合の複数単語コンポーネント(英語のコンポー
ネントE2およびE3とフランス語のコンポーネントF
2とF3)は複合語であると仮定する。これは、たとえ
ば、「ouvrir_session」および「log
_on」などの複合語を識別する。
ファイルを書き換えて、仮定されている複合語(E2と
E3、F2とF3)を融合トークンで置き換える。これ
は、ブロック326で示される。図9は、このステップ
を詳細に説明している。図9で、用語E2_E3は、元
のテキスト内の項目E2およびE3に対応する英語のト
ークンを表し、用語F2_F3は元のフランス語入力テ
キスト内の単語F2およびF3を表すトークンに対応す
る。こうしてトークンを仮定し書き換えると、複合語と
残りの個々の単語の単語関連性スコアを計算する場合に
処理は図3のブロック308に関して継続する。
トの構文解析の際に生じる他の問題に対処するためにも
使用できる。さまざまな種類のテキスト、特にある種の
技術的なテキストでは、フレーズは通常の方法では使用
されず、その代わりに、その特定の定義域での何かの名
前として使用される。たとえば、センテンス「Clic
k to remove the View As W
eb Page check mark.」は、非定形
動詞句の構文形式を持つ語句「View AsWeb
Page」を含む。しかし、このセンテンスでは、それ
が固有名詞であるかのように使用される。パーサがこの
フレーズの特別な使用を認識しない場合、実質的にセン
テンスを正しく構文解析することは不可能である。
方法で取り扱うことができるが、それは主に、英語にお
ける先頭文字を大文字にする規則によりこのようなフレ
ーズを認識することが簡単になるからである。構文解析
する前に入力テキストをトークン化するために使用され
るトークナイザ(tokenizer)は、「View
As Web Page」などの先頭文字が大文字の
単語の並びは、語彙化された複数単語表現として取り扱
うべきであると仮定する。複数単語のこのサブクラス
は、ここでは「キャプトイド」と呼ばれる。
別することは非常に難しい。これは主に、他の言語(た
とえば、フランス語やスペイン語など)の先頭文字を大
文字にする規則では、このような表現の最初の単語のみ
について、先頭文字を大文字にするからである。したが
って、キャプトイドの開始と終了の位置を決定すること
は英語では比較的直截的であるが、他の言語では非常に
難しい。
訳を識別し、パーサで使用する、または機械翻訳システ
ムの他のさまざまな場所で使用する翻訳用語集に追加
し、キャプトイドを正確に翻訳できるようにする。本実
施形態は、英語のこのようなキャプトイドは直截的な方
法で識別できるという事実を利用し、また複合語を識別
するのに使用できる本実施形態の特徴を利用する。図1
0は、本発明の一実施形態によるキャプトイドの翻訳を
識別する方法をわかりやすく説明する流れ図である。
らのトレーニングデータを受け取る。これは、ブロック
350で示される。次に、トレーニングデータをトーク
ン化し、トレーニングデータ内のさまざまな異なる単語
を取得する。トレーニングデータを単語に切り分けられ
る市販のトークナイザを使用できる。これは、ブロック
352で示される。次に、キャプトイドを含む複数単語
複合語が識別される。これは、ブロック354で示され
る。一実施形態では、単語の並びの中の最初の単語の先
頭文字が大文字で始まり、単語の並びの中の後の単語は
小文字で始まらない場合、単語の並びを検索して英語の
キャプトイドを識別する。これにより、「3.0」など
の英字以外のもののキャプトイドを表示できる。キャプ
トイドを識別したら、各キャプトイドを構成する単語の
並びの中の単語はキャプトイドごとに単一のトークンと
してグループ化される。そのために、キャプトイドを形
成する各単語の並び内の単語の間に下線を入れる。
352が出力したトークンについて単語関連性スコアま
たは統計量を計算し、さらに識別されたキャプトイド内
の個々の単語について単語関連性スコアまたは統計量を
計算する。各キャプトイド内の個々の単語は、単にキャ
プトイドの要素を下線マークで区切ることにより、直截
的な方法で識別できる。単語関連性の計算は、図10の
ブロック356で示される。
イザによってソース言語内で識別されるキャプトイドに
対応するターゲット言語内の対応する複合語を仮定す
る。これは、ブロック357で示される。識別されたキ
ャプトイドに対応する複合語を仮定することについて
は、図11に関して詳細に説明する。
データを書き換えて、仮定された複合語を単一のトーク
ンで置き換える。これは、図10のブロック358で示
される。
はターゲット言語(たとえばフランス語)内の項目が大
文字から始まる複数単語である場合にトレーニングデー
タ内の項目のペアについて単語関連性スコアを再計算す
る。これは、ブロック360で示される。これは、図1
0に示されているプロセスはキャプトイドの翻訳を識別
することを目的にしているからである。したがって、ス
テップ360で、単語関連性スコアは、翻訳ペア内の項
目のうち少なくとも1つがキャプトイド(つまり、大文
字で始まる複数単語)である場合に項目について再計算
するだけでよい。その結果得られるペアは、関連性スコ
アの強さに応じて順序付けられる。
フィルタ処理を行い、トレーニングデータ全体において
翻訳ペア内のいずれかの項目について強さが等しいまた
はより強い関連性がない翻訳ペアのみを含むようにす
る。これは、ブロック362で示される。このステップ
で適用される制限は、たとえば、図3のブロック310
で適用されるものよりも厳しいことがわかる。これは、
単一単語は異なる文脈で複数の翻訳を持つ場合がある
が、キャプトイドで表される複雑な複数単語の並べ替え
は通常、実質的にすべての文脈で同じ翻訳を受け取ると
期待できるからである。したがって、コーパス全体にわ
たって相互に一意的に最も強い関連性のあるキャプトイ
ドを伴う翻訳のみが受理される。
るために、他のフィルタを翻訳ペアの生成に対し配置で
きることも注意されたい。たとえば、翻訳ペアは、この
プロセスで構成された複数単語の1つであるターゲット
項目のみ(フランス語がターゲット言語であるフランス
語項目など)を含むものに制限できる。同様に、翻訳ペ
アを、英語項目が複数単語であり、成分単語のすべてが
大文字の先頭文字を持つもののみを含むように制限でき
る。さらに、フランス語は一般に、英語よりも冗長な言
語とみなされているため、翻訳ペアは、フランス語項目
が少なくとも英語項目と同じ数の単語を含むもののみを
含むように制限できる。もちろん、これらの制限を他の
言語に合わせて少し手直しすることもできる。
に、しきい値を決定し、そのしきい値を満たす単語関連
性スコアを持つ翻訳ペアのみを互いの翻訳とみなし、残
りを破棄することができる。
の翻訳は図からわかるように、構文解析コンポーネント
204および206で使用する翻訳用語集にフィードバ
ックされる。また、複数単語ペア240としてフィード
フォワードし、更新された2カ国語辞書220を得るた
めに、辞書マージコンポーネント216により2カ国語
辞書214に追加することができる。
れているように、識別されたキャプトイドに対応する複
合語がどのように仮定されているかを示す詳細な流れ図
である。図11に示されているプロセスでは、ソース言
語(たとえば英語)のキャプトイドがすでに識別されて
いると想定する。したがって、図11に示されているプ
ロセスは、キャプトイドがすでにソース言語内で識別さ
れている場合に、ターゲット言語でキャプトイドの翻訳
のみを識別しようとするという点で、単方向性であると
みなせる。
イドと、単一ユニットとしてみなされるキャプトイド内
の個々の単語)を表すトークンについて単語関連性スコ
アを計算した後、複合語を仮定するこのプロセスが実行
されることにも注意されたい。一実施例では、ターゲッ
ト単語(たとえばフランス語の単語)とソース複数単語
の成分単語(たとえば、英語の複数単語内の成分単語)
との関連性スコアがターゲット言語の単語とソース言語
内の複数単語全体との関連性スコアよりも高い場合、前
記の最も高いスコアを使用して、ターゲット言語の単語
(たとえばフランス語の単語)とソース言語の複数単語
(たとえば、英語の複数単語)との関連性の程度を表
す。
で先頭文字が大文字の単語で始まるソース複数単語と最
も強い関連性のある、ターゲット単語(たとえばフラン
ス語の単語)の集合のみが複合語の基準として検討する
ために予約される。
となる整合処理ペアのターゲット言語でセンテンスを走
査する作業を左から右に開始する。これは、ブロック3
70で示される。この走査は、大文字で始まる単語を検
索するために実行される。これは、ブロック372で示
される。このような単語が見つかり、センテンス内の最
初の単語である場合、識別された複合語(たとえば英語
の複数単語)内の単語に最も密接に関連するかどうかを
判別する。そのような場合、識別されたキャプトイドの
翻訳である対応する複合語の可能な開始位置としてフラ
グが立てられる。これは、図11のブロック374で示
される。
の単語でない場合(つまり、センテンスの最初の単語で
ない場合)、キャプトイド(たとえば、英語の複数単
語)の翻訳の可能な開始位置としてフラグが立てられ
る。これは、ブロック376で示される。
208は左から右へターゲットテキストを走査し、識別
されたキャプトイド内の単語と最も強い関連性を持つ後
続の単語にフラグを立てる。そうする際に、コンポーネ
ント208では、識別されたキャプトイド内の単語と最
も高い関連性を持つ単語が後に続く限り、識別されたキ
ャプトイド内の単語と最も高い関連性を持つわけではな
い最大2つまでの隣接する単語を許容する。これは、ブ
ロック378で示される。このためシステムは、ソース
複数単語内の何かと高い関連性を持たない可能性のある
機能単語(フランス語の機能単語など)を説明できる。
これら条件が満たされている限り、ターゲットセンテン
ス内のそれぞれの後続単語はターゲット複数単語に追加
される(ソーステキスト内の識別されたキャプトイドの
翻訳)。
プトイド内の単語と最も高い関連性を持たないターゲッ
トテキスト内の2つよりも多い隣接する単語を見つける
か、または識別されたキャプトイド内の単語と最も高い
関連性を持つターゲットテキスト内の単語がそれ以上な
いか、または句読点記号に遭遇するまでこの走査を続け
る。これは、ブロック380で示される。
翻訳として仮定すると、トレーニングデータを書き換え
て、仮定した複合語を単一のトークンで置き換え、関連
性スコアを再計算し、翻訳ペアをフィルタ処理した場合
に、図10のブロック358から処理が再び継続され
る。これは、ブロック358、360、および362で
示されており、上で詳細に説明している。
ペアと複合語の間の翻訳関係を導出する簡単な統計的ア
プローチが得られる。本実施形態は、その手法の実装が
あまり複雑でなく、実行する時間も資源もあまり必要な
いという点で従来システムに勝っている。本実施形態
は、さらに、複合語とキャプトイドの翻訳関係を導出す
る機能を高めている。
説明したが、当業者は本発明の趣旨と範囲を逸脱するこ
となく形式と詳細に変更を加えられることを認識するで
あろう。
語ペアと複合語の間の翻訳関係を導出する簡単な統計的
アプローチが得られ、また、その手法の実装があまり複
雑でなく、実行する時間も資源もあまり必要ないという
効果を奏する。
ある。
チャの詳細ブロック図である。
訳関係を導出する一実施形態を説明する流れ図である。
関連性の関係を示す図で、(a)は英語とフランス語の
整合処理センテンス内の単語の並び、(b)は単語の並
びの間の1対1の対応関係を示す図である。
関連性の関係を示す図である。
れ図である。
ンスのペア内の単語の最大接続集合を識別する動作を説
明する図である。
仮定する動作を説明する図である。
書き換えた入力文字列の図である。
る流れ図である。
仮定する方法を説明する流れ図である。
Claims (30)
- 【請求項1】 単語間の翻訳関係を計算する方法であっ
て、 コーパス内の整合処理された2カ国語ユニットの複数の
集合それぞれの中で単語の同時出現に基づいて、単語ペ
アについて単語関連性スコアを計算するステップと、 前記単語関連性スコアに基づいて前記ユニット内の仮定
した複合語を識別するステップと、 前記仮定した複合語を与えられて、前記単語関連性スコ
アを再計算するステップと、 再計算された前記単語関連性スコアに基づいて翻訳関係
を取得するステップとを備えたことを特徴とする方法。 - 【請求項2】 前記整合処理された2カ国語ユニットは
センテンスを含むことを特徴とする請求項1に記載の方
法。 - 【請求項3】 前記整合処理された2カ国語ユニットは
論理形式を含むことを特徴とする請求項1に記載の方
法。 - 【請求項4】 翻訳関係を取得するステップは、 単語のペア、複合語のペア、および複合語/単語のペア
を含む、ペアの同時出現を考慮して、整合処理されたユ
ニットのペア内の単語関連性スコアを再計算するステッ
プを、整合処理されたユニットのペア内のすべての単語
間で前記ペアが互いに一意的に最も強い関連性を持つ場
合にのみ、繰り返して、最終的な単語関連性スコアを求
めるステップを含むことを特徴とする請求項1に記載の
方法。 - 【請求項5】 翻訳関係を取得するステップは、 前記最終的な単語関連性スコアに基づいてペアをランク
付けするステップをさらに含むことを特徴とする請求項
4に記載の方法。 - 【請求項6】 翻訳関係を取得するステップは、 対応する前記最終的単語関連性スコアがしきい値レベル
を超えている場合に、 互いの翻訳としてペアを選択するステップをさらに含む
ことを特徴とする請求項5に記載の方法。 - 【請求項7】 前記仮定した複合語が与えられると、前
記単語関連性スコアを再計算するステップは、 各仮定した複合語をトークンで置き換えて書き換えられ
たコーパスを取得するステップと、 前記書き換えられたコーパス内の前記整合処理されたユ
ニットについて前記単語関連性スコアを再計算するステ
ップとを含むことを特徴とする請求項1に記載の方法。 - 【請求項8】 仮定した複合語を識別するステップは、 第1の言語の第1のユニットと第2の言語の第2のユニ
ットとを持つ整合処理されたユニットペアを選択するス
テップと、 前記第1のユニット内の単語と前記第2のユニット内の
単語との1対1対応関係を示すことができない前記単語
関連性スコアに基づいて、仮定した複合語を識別するス
テップとを含むことを特徴とする請求項1に記載の方
法。 - 【請求項9】 1対1対応関係を示すことができない前
記単語関連性スコアに基づいて、仮定した複合語を識別
するステップは、 前記第1のユニット内の単語ごとに、前記第2のユニッ
ト内で最も関連性の強い単語を識別するステップと、 前記第2のユニット内の単語ごとに、前記第1のユニッ
ト内で最も関連性の強い単語を識別するステップとを含
むことを特徴とする請求項8に記載の方法。 - 【請求項10】 1対1対応関係を示すことができない
前記単語関連性スコアに基づいて、仮定した複合語を識
別するステップは、 第1と第2のユニット内の識別された最も関連性の強い
単語に基づき、第1と第2のユニット内の単語の最大接
続集合を識別するステップをさらに含むことを特徴とす
る請求項9に記載の方法。 - 【請求項11】 仮定した複合語を識別するステップ
は、 第1および第2のユニットのそれぞれで、各複数単語最
大接続集合内の単語を、仮定した複合語として識別する
ステップをさらに含むことを特徴とする請求項10に記
載の方法。 - 【請求項12】 単語関連性スコアを計算する前に、前
記コーパスにアクセスするステップをさらに備えたこと
を特徴とする請求項1に記載の方法。 - 【請求項13】 前記コーパスを構文解析して個々の単
語を取得するステップをさらに備えたことを特徴とする
請求項12に記載の方法。 - 【請求項14】 単語関連性スコアを計算した後、単語
関連性スコアに基づきさらなる処理の対象にならないよ
うに単語ペアを切り詰めるステップをさらに備えたこと
を特徴とする請求項1に記載の方法。 - 【請求項15】 切り詰めるステップは、 単語関連性スコアが所定のしきい値スコアを下回る場合
に、さらに処理されることのないように単語ペアを除く
ステップを含むことを特徴とする請求項14に記載の方
法。 - 【請求項16】 単語関連性スコアを計算するステップ
は、 前記整合処理された2カ国語ユニットのそれぞれの単語
の表層形式に基づいて、前記単語関連性スコアを計算す
るステップを含むことを特徴とする請求項1に記載の方
法。 - 【請求項17】 単語関連性スコアを計算するステップ
の前に、前記整合処理された2カ国語ユニットのそれぞ
れの単語を題句に変換するステップを備えたことを特徴
とする請求項1に記載の方法。 - 【請求項18】 機械翻訳システムをトレーニングする
方法であって、 整合処理した2カ国語複数単語ユニットのコーパスを取
得するステップと、 前記整合処理したユニット内の単語の同時出現に基づい
て、前記コーパス内の単語ペアについて単語関連性スコ
アを計算するステップと、 前記整合処理したユニット内の単語間の1対1対応関係
がないことに基づいて、仮定した複合語を識別するステ
ップと、 前記単語関連性スコアと前記仮定した複合語に基づい
て、前記機械翻訳システムをトレーニングするステップ
とを備えたことを特徴とする方法。 - 【請求項19】 仮定した複合語を識別するステップ
は、 第1の言語の第1のユニットと第2の言語の第2のユニ
ットとを持つ整合処理されたユニットペアを選択するス
テップと、 前記第1のユニット内の単語と前記第2のユニット内の
単語との1対1対応関係を示すことができない前記単語
関連性スコアに基づいて、仮定した複合語を識別するス
テップとを含むことを特徴とする請求項18に記載の方
法。 - 【請求項20】 1対1対応関係を示すことができない
前記単語関連性スコアに基づいて、仮定した複合語を識
別するステップは、 前記第1のユニット内の単語ごとに、前記第2のユニッ
ト内で最も関連性の強い単語を識別するステップと、 前記第2のユニット内の単語ごとに、前記第1のユニッ
ト内で最も関連性の強い単語を識別するステップとを含
むことを特徴とする請求項19に記載の方法。 - 【請求項21】 1対1対応関係を示すことができない
前記単語関連性スコアに基づいて、仮定した複合語を識
別するステップは、 第1と第2のユニット内の識別された最も関連性の強い
単語に基づいて、第1と第2のユニット内の単語の最大
接続集合を識別するステップをさらに含むことを特徴と
する請求項20に記載の方法。 - 【請求項22】 仮定した複合語を識別するステップ
は、 第1および第2のユニットのそれぞれで、各複数単語の
最大接続集合内の単語を、仮定した複合語として識別す
るステップをさらに含むことを特徴とする請求項21に
記載の方法。 - 【請求項23】 仮定した複合語を識別した後に、 前記仮定した複合語を与えられて、前記単語関連性スコ
アを再計算するステップをさらに備えたことを特徴とす
る請求項18に記載の方法。 - 【請求項24】 単語ペア、複合語ペア、および複合語
/単語ペアを含む、ペアの同時出現を考慮して、整合処
理されたユニットのペア内の単語関連性スコアを再計算
するステップを、整合処理されたユニットのペア内のす
べての単語間で前記ペアが互いに一意的に最も強い関連
性を持つ場合にのみ、繰り返して、最終的に単語関連性
スコアを求めるステップをさらに備えたことを特徴とす
る請求項23に記載の方法。 - 【請求項25】 最終的な単語関連性スコアに基づいて
ペアをランク付けするステップをさらに備えたことを特
徴とする請求項24に記載の方法。 - 【請求項26】 対応する前記最終的単語関連性スコア
がしきい値レベルを超えている場合に、互いの翻訳とし
てペアを選択するステップをさらに備えたことを特徴と
する請求項25に記載の方法。 - 【請求項27】 前記仮定した複合語が与えられると、
前記単語関連性スコアを再計算するステップは、 各仮定した複合語をトークンで置き換えて書き換えられ
たコーパスを取得するステップと、 前記書き換えられたコーパス内の前記整合処理されたユ
ニットについて前記単語関連性スコアを再計算するステ
ップを含むことを特徴とする請求項23に記載の方法。 - 【請求項28】 前記単語関連性スコアと前記仮定した
複合語に基づいて前記機械翻訳システムをトレーニング
するステップは、 選択した翻訳に基づき言語の一方のユニットを言語の他
方のユニットにマッピングする転送マッピングを生成す
るステップを含むことを特徴とする請求項26に記載の
方法。 - 【請求項29】 単語関連性スコアを計算する前に、単
語を題句に変換するステップをさらに備えたことを特徴
とする請求項18に記載の方法。 - 【請求項30】 単語が該単語の表層形式であることを
特徴とする請求項18に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US29951001P | 2001-06-20 | 2001-06-20 | |
US60/299,510 | 2001-06-20 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003141115A true JP2003141115A (ja) | 2003-05-16 |
JP2003141115A5 JP2003141115A5 (ja) | 2005-10-20 |
JP4491187B2 JP4491187B2 (ja) | 2010-06-30 |
Family
ID=23155117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002180457A Expired - Fee Related JP4491187B2 (ja) | 2001-06-20 | 2002-06-20 | 単語間の翻訳関係を計算する方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US7191115B2 (ja) |
EP (1) | EP1308851B1 (ja) |
JP (1) | JP4491187B2 (ja) |
ES (1) | ES2604752T3 (ja) |
Families Citing this family (177)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1266313A2 (en) | 1999-03-19 | 2002-12-18 | Trados GmbH | Workflow management system |
US20060116865A1 (en) | 1999-09-17 | 2006-06-01 | Www.Uniscape.Com | E-services translation utilizing machine translation and translation memory |
US7016829B2 (en) * | 2001-05-04 | 2006-03-21 | Microsoft Corporation | Method and apparatus for unsupervised training of natural language processing units |
WO2002097663A1 (en) * | 2001-05-31 | 2002-12-05 | University Of Southern California | Integer programming decoder for machine translation |
US7191115B2 (en) | 2001-06-20 | 2007-03-13 | Microsoft Corporation | Statistical method and apparatus for learning translation relationships among words |
AU2002316581A1 (en) | 2001-07-03 | 2003-01-21 | University Of Southern California | A syntax-based statistical translation model |
EP1306775A1 (en) * | 2001-10-29 | 2003-05-02 | BRITISH TELECOMMUNICATIONS public limited company | Machine translation |
AU2003269808A1 (en) * | 2002-03-26 | 2004-01-06 | University Of Southern California | Constructing a translation lexicon from comparable, non-parallel corpora |
EP1349079A1 (en) * | 2002-03-28 | 2003-10-01 | BRITISH TELECOMMUNICATIONS public limited company | Machine translation |
US7356457B2 (en) * | 2003-02-28 | 2008-04-08 | Microsoft Corporation | Machine translation using learned word associations without referring to a multi-lingual human authored dictionary of content words |
US7319949B2 (en) * | 2003-05-27 | 2008-01-15 | Microsoft Corporation | Unilingual translator |
US8548794B2 (en) * | 2003-07-02 | 2013-10-01 | University Of Southern California | Statistical noun phrase translation |
US7711545B2 (en) * | 2003-07-02 | 2010-05-04 | Language Weaver, Inc. | Empirical methods for splitting compound words with application to machine translation |
WO2005036303A2 (en) * | 2003-09-11 | 2005-04-21 | Eli Abir | Knowledge system method and apparatus |
CA2549769A1 (en) * | 2003-12-15 | 2005-06-30 | Laboratory For Language Technology Incorporated | System, method, and program for identifying the corresponding translation |
US7983896B2 (en) | 2004-03-05 | 2011-07-19 | SDL Language Technology | In-context exact (ICE) matching |
US7698125B2 (en) * | 2004-03-15 | 2010-04-13 | Language Weaver, Inc. | Training tree transducers for probabilistic operations |
US8296127B2 (en) | 2004-03-23 | 2012-10-23 | University Of Southern California | Discovery of parallel text portions in comparable collections of corpora and training using comparable texts |
US20050216253A1 (en) * | 2004-03-25 | 2005-09-29 | Microsoft Corporation | System and method for reverse transliteration using statistical alignment |
US8666725B2 (en) | 2004-04-16 | 2014-03-04 | University Of Southern California | Selection and use of nonstatistical translation components in a statistical machine translation framework |
JP4424057B2 (ja) * | 2004-05-10 | 2010-03-03 | 富士ゼロックス株式会社 | 学習装置およびプログラム |
US8477331B2 (en) * | 2004-05-27 | 2013-07-02 | Property Publications Pte Ltd. | Apparatus and method for creating an electronic version of printed matter |
WO2006042321A2 (en) * | 2004-10-12 | 2006-04-20 | University Of Southern California | Training for a text-to-text application which uses string to tree conversion for training and decoding |
CN100454303C (zh) * | 2005-01-07 | 2009-01-21 | 松下电器产业株式会社 | 联想辞典制作装置 |
US7478090B2 (en) * | 2005-01-14 | 2009-01-13 | Saffron Technology, Inc. | Methods, systems and computer program products for analogy detection among entities using reciprocal similarity measures |
US20060282256A1 (en) * | 2005-06-13 | 2006-12-14 | Werner Anna F | Translation method utilizing core ancient roots |
US8886517B2 (en) | 2005-06-17 | 2014-11-11 | Language Weaver, Inc. | Trust scoring for language translation systems |
US8676563B2 (en) | 2009-10-01 | 2014-03-18 | Language Weaver, Inc. | Providing human-generated and machine-generated trusted translations |
US7680647B2 (en) * | 2005-06-21 | 2010-03-16 | Microsoft Corporation | Association-based bilingual word alignment |
US7974833B2 (en) | 2005-06-21 | 2011-07-05 | Language Weaver, Inc. | Weighted system of expressing language information using a compact notation |
US7389222B1 (en) | 2005-08-02 | 2008-06-17 | Language Weaver, Inc. | Task parallelization in a text-to-text system |
US7813918B2 (en) * | 2005-08-03 | 2010-10-12 | Language Weaver, Inc. | Identifying documents which form translated pairs, within a document collection |
KR100739726B1 (ko) * | 2005-08-30 | 2007-07-13 | 삼성전자주식회사 | 문자열 매칭 방법 및 시스템과 그 방법을 기록한 컴퓨터판독 가능한 기록매체 |
US7624020B2 (en) * | 2005-09-09 | 2009-11-24 | Language Weaver, Inc. | Adapter for allowing both online and offline training of a text to text system |
US7957953B2 (en) * | 2005-10-03 | 2011-06-07 | Microsoft Corporation | Weighted linear bilingual word alignment model |
US20070083357A1 (en) * | 2005-10-03 | 2007-04-12 | Moore Robert C | Weighted linear model |
US10319252B2 (en) * | 2005-11-09 | 2019-06-11 | Sdl Inc. | Language capability assessment and training apparatus and techniques |
US8024653B2 (en) * | 2005-11-14 | 2011-09-20 | Make Sence, Inc. | Techniques for creating computer generated notes |
US8041556B2 (en) * | 2005-12-01 | 2011-10-18 | International Business Machines Corporation | Chinese to english translation tool |
US7536295B2 (en) | 2005-12-22 | 2009-05-19 | Xerox Corporation | Machine translation using non-contiguous fragments of text |
JP4961755B2 (ja) * | 2006-01-23 | 2012-06-27 | 富士ゼロックス株式会社 | 単語アライメント装置、単語アライメント方法、単語アライメントプログラム |
JP5122486B2 (ja) | 2006-02-17 | 2013-01-16 | グーグル・インコーポレーテッド | 分散型モデルの符号化及び適応可能なスケーラブルアクセス処理 |
CN101030197A (zh) * | 2006-02-28 | 2007-09-05 | 株式会社东芝 | 双语词对齐方法和装置、训练双语词对齐模型的方法和装置 |
US8943080B2 (en) | 2006-04-07 | 2015-01-27 | University Of Southern California | Systems and methods for identifying parallel documents and sentence fragments in multilingual document collections |
US7542893B2 (en) * | 2006-05-10 | 2009-06-02 | Xerox Corporation | Machine translation using elastic chunks |
US9020804B2 (en) * | 2006-05-10 | 2015-04-28 | Xerox Corporation | Method for aligning sentences at the word level enforcing selective contiguity constraints |
US8886518B1 (en) | 2006-08-07 | 2014-11-11 | Language Weaver, Inc. | System and method for capitalizing machine translated text |
US8521506B2 (en) | 2006-09-21 | 2013-08-27 | Sdl Plc | Computer-implemented method, computer software and apparatus for use in a translation system |
JP4481972B2 (ja) * | 2006-09-28 | 2010-06-16 | 株式会社東芝 | 音声翻訳装置、音声翻訳方法及び音声翻訳プログラム |
US9235573B2 (en) | 2006-10-10 | 2016-01-12 | Abbyy Infopoisk Llc | Universal difference measure |
US9645993B2 (en) | 2006-10-10 | 2017-05-09 | Abbyy Infopoisk Llc | Method and system for semantic searching |
US8145473B2 (en) | 2006-10-10 | 2012-03-27 | Abbyy Software Ltd. | Deep model statistics method for machine translation |
US9047275B2 (en) | 2006-10-10 | 2015-06-02 | Abbyy Infopoisk Llc | Methods and systems for alignment of parallel text corpora |
US9984071B2 (en) | 2006-10-10 | 2018-05-29 | Abbyy Production Llc | Language ambiguity detection of text |
US9633005B2 (en) | 2006-10-10 | 2017-04-25 | Abbyy Infopoisk Llc | Exhaustive automatic processing of textual information |
US8214199B2 (en) * | 2006-10-10 | 2012-07-03 | Abbyy Software, Ltd. | Systems for translating sentences between languages using language-independent semantic structures and ratings of syntactic constructions |
US8195447B2 (en) | 2006-10-10 | 2012-06-05 | Abbyy Software Ltd. | Translating sentences between languages using language-independent semantic structures and ratings of syntactic constructions |
US8548795B2 (en) * | 2006-10-10 | 2013-10-01 | Abbyy Software Ltd. | Method for translating documents from one language into another using a database of translations, a terminology dictionary, a translation dictionary, and a machine translation system |
US20080086298A1 (en) * | 2006-10-10 | 2008-04-10 | Anisimovich Konstantin | Method and system for translating sentences between langauges |
JP5082374B2 (ja) * | 2006-10-19 | 2012-11-28 | 富士通株式会社 | フレーズアラインメントプログラム、翻訳プログラム、フレーズアラインメント装置およびフレーズアラインメント方法 |
US8433556B2 (en) | 2006-11-02 | 2013-04-30 | University Of Southern California | Semi-supervised training for statistical word alignment |
US9122674B1 (en) | 2006-12-15 | 2015-09-01 | Language Weaver, Inc. | Use of annotations in statistical machine translation |
US8468149B1 (en) | 2007-01-26 | 2013-06-18 | Language Weaver, Inc. | Multi-lingual online community |
US8615389B1 (en) | 2007-03-16 | 2013-12-24 | Language Weaver, Inc. | Generation and exploitation of an approximate language model |
US8959011B2 (en) | 2007-03-22 | 2015-02-17 | Abbyy Infopoisk Llc | Indicating and correcting errors in machine translation systems |
US8831928B2 (en) * | 2007-04-04 | 2014-09-09 | Language Weaver, Inc. | Customizable machine translation service |
US8825466B1 (en) | 2007-06-08 | 2014-09-02 | Language Weaver, Inc. | Modification of annotated bilingual segment pairs in syntax-based machine translation |
US8812296B2 (en) | 2007-06-27 | 2014-08-19 | Abbyy Infopoisk Llc | Method and system for natural language dictionary generation |
US8260619B1 (en) | 2008-08-22 | 2012-09-04 | Convergys Cmg Utah, Inc. | Method and system for creating natural language understanding grammars |
US8548791B2 (en) * | 2007-08-29 | 2013-10-01 | Microsoft Corporation | Validation of the consistency of automatic terminology translation |
JP5342760B2 (ja) * | 2007-09-03 | 2013-11-13 | 株式会社東芝 | 訳語学習のためのデータを作成する装置、方法、およびプログラム |
JP5008144B2 (ja) * | 2008-02-13 | 2012-08-22 | 独立行政法人情報通信研究機構 | 対訳情報生成装置、対訳情報生成方法、及びプログラム |
US8340634B2 (en) | 2009-01-28 | 2012-12-25 | Headwater Partners I, Llc | Enhanced roaming services and converged carrier networks with device assisted services and a proxy |
US8270952B2 (en) | 2009-01-28 | 2012-09-18 | Headwater Partners I Llc | Open development system for access service providers |
US8391834B2 (en) | 2009-01-28 | 2013-03-05 | Headwater Partners I Llc | Security techniques for device assisted services |
US8548428B2 (en) | 2009-01-28 | 2013-10-01 | Headwater Partners I Llc | Device group partitions and settlement platform |
US8275830B2 (en) | 2009-01-28 | 2012-09-25 | Headwater Partners I Llc | Device assisted CDR creation, aggregation, mediation and billing |
US8635335B2 (en) | 2009-01-28 | 2014-01-21 | Headwater Partners I Llc | System and method for wireless network offloading |
US8406748B2 (en) | 2009-01-28 | 2013-03-26 | Headwater Partners I Llc | Adaptive ambient services |
US8346225B2 (en) | 2009-01-28 | 2013-01-01 | Headwater Partners I, Llc | Quality of service for device assisted services |
US8402111B2 (en) | 2009-01-28 | 2013-03-19 | Headwater Partners I, Llc | Device assisted services install |
US8832777B2 (en) | 2009-03-02 | 2014-09-09 | Headwater Partners I Llc | Adapting network policies based on device service processor configuration |
US8626115B2 (en) | 2009-01-28 | 2014-01-07 | Headwater Partners I Llc | Wireless network service interfaces |
US8589541B2 (en) | 2009-01-28 | 2013-11-19 | Headwater Partners I Llc | Device-assisted services for protecting network capacity |
US9262409B2 (en) | 2008-08-06 | 2016-02-16 | Abbyy Infopoisk Llc | Translation of a selected text fragment of a screen |
US8560298B2 (en) * | 2008-10-21 | 2013-10-15 | Microsoft Corporation | Named entity transliteration using comparable CORPRA |
RU2399959C2 (ru) * | 2008-10-29 | 2010-09-20 | Закрытое акционерное общество "Авикомп Сервисез" | Способ автоматизированной обработки текста на естественном языке путем его семантической индексации, способ автоматизированной обработки коллекции текстов на естественном языке путем их семантической индексации и машиночитаемые носители |
TWI403911B (zh) * | 2008-11-28 | 2013-08-01 | Inst Information Industry | 中文辭典建置裝置和方法,以及儲存媒體 |
US8332205B2 (en) * | 2009-01-09 | 2012-12-11 | Microsoft Corporation | Mining transliterations for out-of-vocabulary query terms |
US8768852B2 (en) * | 2009-01-13 | 2014-07-01 | Amazon Technologies, Inc. | Determining phrases related to other phrases |
US9569770B1 (en) | 2009-01-13 | 2017-02-14 | Amazon Technologies, Inc. | Generating constructed phrases |
US8706644B1 (en) | 2009-01-13 | 2014-04-22 | Amazon Technologies, Inc. | Mining phrases for association with a user |
US8706643B1 (en) | 2009-01-13 | 2014-04-22 | Amazon Technologies, Inc. | Generating and suggesting phrases |
US11985155B2 (en) | 2009-01-28 | 2024-05-14 | Headwater Research Llc | Communications device with secure data path processing agents |
US11218854B2 (en) | 2009-01-28 | 2022-01-04 | Headwater Research Llc | Service plan design, user interfaces, application programming interfaces, and device management |
US10798252B2 (en) | 2009-01-28 | 2020-10-06 | Headwater Research Llc | System and method for providing user notifications |
US9392462B2 (en) | 2009-01-28 | 2016-07-12 | Headwater Partners I Llc | Mobile end-user device with agent limiting wireless data communication for specified background applications based on a stored policy |
US10326800B2 (en) | 2009-01-28 | 2019-06-18 | Headwater Research Llc | Wireless network service interfaces |
US9706061B2 (en) | 2009-01-28 | 2017-07-11 | Headwater Partners I Llc | Service design center for device assisted services |
US8793758B2 (en) | 2009-01-28 | 2014-07-29 | Headwater Partners I Llc | Security, fraud detection, and fraud mitigation in device-assisted services systems |
US10492102B2 (en) | 2009-01-28 | 2019-11-26 | Headwater Research Llc | Intermediate networking devices |
US10779177B2 (en) | 2009-01-28 | 2020-09-15 | Headwater Research Llc | Device group partitions and settlement platform |
US9980146B2 (en) | 2009-01-28 | 2018-05-22 | Headwater Research Llc | Communications device with secure data path processing agents |
US9572019B2 (en) | 2009-01-28 | 2017-02-14 | Headwater Partners LLC | Service selection set published to device agent with on-device service selection |
US10200541B2 (en) | 2009-01-28 | 2019-02-05 | Headwater Research Llc | Wireless end-user device with divided user space/kernel space traffic policy system |
US9351193B2 (en) | 2009-01-28 | 2016-05-24 | Headwater Partners I Llc | Intermediate networking devices |
US10264138B2 (en) | 2009-01-28 | 2019-04-16 | Headwater Research Llc | Mobile device and service management |
US11973804B2 (en) | 2009-01-28 | 2024-04-30 | Headwater Research Llc | Network service plan design |
US9954975B2 (en) | 2009-01-28 | 2018-04-24 | Headwater Research Llc | Enhanced curfew and protection associated with a device group |
US9571559B2 (en) | 2009-01-28 | 2017-02-14 | Headwater Partners I Llc | Enhanced curfew and protection associated with a device group |
US8745191B2 (en) | 2009-01-28 | 2014-06-03 | Headwater Partners I Llc | System and method for providing user notifications |
US9270559B2 (en) | 2009-01-28 | 2016-02-23 | Headwater Partners I Llc | Service policy implementation for an end-user device having a control application or a proxy agent for routing an application traffic flow |
US9858559B2 (en) | 2009-01-28 | 2018-01-02 | Headwater Research Llc | Network service plan design |
US10057775B2 (en) | 2009-01-28 | 2018-08-21 | Headwater Research Llc | Virtualized policy and charging system |
US10237757B2 (en) | 2009-01-28 | 2019-03-19 | Headwater Research Llc | System and method for wireless network offloading |
US10841839B2 (en) | 2009-01-28 | 2020-11-17 | Headwater Research Llc | Security, fraud detection, and fraud mitigation in device-assisted services systems |
US10064055B2 (en) | 2009-01-28 | 2018-08-28 | Headwater Research Llc | Security, fraud detection, and fraud mitigation in device-assisted services systems |
US10715342B2 (en) | 2009-01-28 | 2020-07-14 | Headwater Research Llc | Managing service user discovery and service launch object placement on a device |
US9755842B2 (en) | 2009-01-28 | 2017-09-05 | Headwater Research Llc | Managing service user discovery and service launch object placement on a device |
US9578182B2 (en) | 2009-01-28 | 2017-02-21 | Headwater Partners I Llc | Mobile device and service management |
US9647918B2 (en) | 2009-01-28 | 2017-05-09 | Headwater Research Llc | Mobile device and method attributing media services network usage to requesting application |
US9253663B2 (en) | 2009-01-28 | 2016-02-02 | Headwater Partners I Llc | Controlling mobile device communications on a roaming network based on device state |
US9557889B2 (en) | 2009-01-28 | 2017-01-31 | Headwater Partners I Llc | Service plan design, user interfaces, application programming interfaces, and device management |
US10484858B2 (en) | 2009-01-28 | 2019-11-19 | Headwater Research Llc | Enhanced roaming services and converged carrier networks with device assisted services and a proxy |
US10248996B2 (en) | 2009-01-28 | 2019-04-02 | Headwater Research Llc | Method for operating a wireless end-user device mobile payment agent |
US9955332B2 (en) | 2009-01-28 | 2018-04-24 | Headwater Research Llc | Method for child wireless device activation to subscriber account of a master wireless device |
US9565707B2 (en) | 2009-01-28 | 2017-02-07 | Headwater Partners I Llc | Wireless end-user device with wireless data attribution to multiple personas |
US10783581B2 (en) | 2009-01-28 | 2020-09-22 | Headwater Research Llc | Wireless end-user device providing ambient or sponsored services |
US9262403B2 (en) | 2009-03-02 | 2016-02-16 | Sdl Plc | Dynamic generation of auto-suggest dictionary for natural language translation |
GB2468278A (en) * | 2009-03-02 | 2010-09-08 | Sdl Plc | Computer assisted natural language translation outputs selectable target text associated in bilingual corpus with input target text from partial translation |
US8108391B1 (en) * | 2009-03-12 | 2012-01-31 | Google Inc. | Identifying non-compositional compounds |
US8185373B1 (en) * | 2009-05-05 | 2012-05-22 | The United States Of America As Represented By The Director, National Security Agency, The | Method of assessing language translation and interpretation |
US20100299132A1 (en) * | 2009-05-22 | 2010-11-25 | Microsoft Corporation | Mining phrase pairs from an unstructured resource |
US9298700B1 (en) * | 2009-07-28 | 2016-03-29 | Amazon Technologies, Inc. | Determining similar phrases |
US8990064B2 (en) | 2009-07-28 | 2015-03-24 | Language Weaver, Inc. | Translating documents based on content |
CN101996166B (zh) * | 2009-08-14 | 2015-08-05 | 张龙哺 | 双语句对模式化记录方法以及翻译方法和翻译*** |
US10007712B1 (en) | 2009-08-20 | 2018-06-26 | Amazon Technologies, Inc. | Enforcing user-specified rules |
US8380486B2 (en) | 2009-10-01 | 2013-02-19 | Language Weaver, Inc. | Providing machine-generated translations and corresponding trust levels |
US8799658B1 (en) | 2010-03-02 | 2014-08-05 | Amazon Technologies, Inc. | Sharing media items with pass phrases |
US10417646B2 (en) | 2010-03-09 | 2019-09-17 | Sdl Inc. | Predicting the cost associated with translating textual content |
TWI434187B (zh) * | 2010-11-03 | 2014-04-11 | Inst Information Industry | 文字轉換方法與系統 |
CN102486770B (zh) * | 2010-12-02 | 2014-09-17 | 财团法人资讯工业策进会 | 文字转换方法与*** |
US9128929B2 (en) | 2011-01-14 | 2015-09-08 | Sdl Language Technologies | Systems and methods for automatically estimating a translation time including preparation time in addition to the translation itself |
US8655640B2 (en) * | 2011-03-02 | 2014-02-18 | Raytheon Bbn Technologies Corp. | Automatic word alignment |
US11003838B2 (en) | 2011-04-18 | 2021-05-11 | Sdl Inc. | Systems and methods for monitoring post translation editing |
US20130024184A1 (en) * | 2011-06-13 | 2013-01-24 | Trinity College Dublin | Data processing system and method for assessing quality of a translation |
US8694303B2 (en) | 2011-06-15 | 2014-04-08 | Language Weaver, Inc. | Systems and methods for tuning parameters in statistical machine translation |
US8886515B2 (en) | 2011-10-19 | 2014-11-11 | Language Weaver, Inc. | Systems and methods for enhancing machine translation post edit review processes |
US8942973B2 (en) | 2012-03-09 | 2015-01-27 | Language Weaver, Inc. | Content page URL translation |
US8989485B2 (en) | 2012-04-27 | 2015-03-24 | Abbyy Development Llc | Detecting a junction in a text line of CJK characters |
US8971630B2 (en) | 2012-04-27 | 2015-03-03 | Abbyy Development Llc | Fast CJK character recognition |
US10261994B2 (en) | 2012-05-25 | 2019-04-16 | Sdl Inc. | Method and system for automatic management of reputation of translators |
JP2014078132A (ja) * | 2012-10-10 | 2014-05-01 | Toshiba Corp | 機械翻訳装置、方法およびプログラム |
US9152622B2 (en) | 2012-11-26 | 2015-10-06 | Language Weaver, Inc. | Personalized machine translation via online adaptation |
US20140278357A1 (en) * | 2013-03-14 | 2014-09-18 | Wordnik, Inc. | Word generation and scoring using sub-word segments and characteristic of interest |
WO2014159862A1 (en) | 2013-03-14 | 2014-10-02 | Headwater Partners I Llc | Automated credential porting for mobile devices |
US9213694B2 (en) | 2013-10-10 | 2015-12-15 | Language Weaver, Inc. | Efficient online domain adaptation |
RU2592395C2 (ru) | 2013-12-19 | 2016-07-20 | Общество с ограниченной ответственностью "Аби ИнфоПоиск" | Разрешение семантической неоднозначности при помощи статистического анализа |
RU2586577C2 (ru) | 2014-01-15 | 2016-06-10 | Общество с ограниченной ответственностью "Аби ИнфоПоиск" | Фильтрация дуг в синтаксическом графе |
EP3113034A4 (en) * | 2014-02-28 | 2017-07-12 | Rakuten, Inc. | Information processing system, information processing method and information processing program |
JP5850512B2 (ja) * | 2014-03-07 | 2016-02-03 | 国立研究開発法人情報通信研究機構 | 単語アライメントスコア算出装置、単語アライメント装置、及びコンピュータプログラム |
CN104239291B (zh) * | 2014-08-18 | 2017-06-06 | 网来云商环球信息技术(武汉)有限公司 | 一种准确翻译国际贸易合同的方法 |
CN104239292B (zh) * | 2014-08-18 | 2017-07-28 | 武汉传神信息技术有限公司 | 一种获取专业词汇译文的方法 |
RU2596600C2 (ru) | 2014-09-02 | 2016-09-10 | Общество с ограниченной ответственностью "Аби Девелопмент" | Способы и системы обработки изображений математических выражений |
CN104408078B (zh) * | 2014-11-07 | 2019-02-12 | 北京第二外国语学院 | 一种基于关键词的中英双语平行语料库构建方法 |
US9626358B2 (en) | 2014-11-26 | 2017-04-18 | Abbyy Infopoisk Llc | Creating ontologies by analyzing natural language texts |
CN107193807B (zh) * | 2017-05-12 | 2021-05-28 | 北京百度网讯科技有限公司 | 基于人工智能的语言转换处理方法、装置及终端 |
JP2019082860A (ja) * | 2017-10-30 | 2019-05-30 | 富士通株式会社 | 生成プログラム、生成方法及び生成装置 |
US10635863B2 (en) | 2017-10-30 | 2020-04-28 | Sdl Inc. | Fragment recall and adaptive automated translation |
US10817676B2 (en) | 2017-12-27 | 2020-10-27 | Sdl Inc. | Intelligent routing services and systems |
WO2020056199A1 (en) * | 2018-09-14 | 2020-03-19 | Jpmorgan Chase Bank, N.A. | Systems and methods for automated document graphing |
US11449676B2 (en) * | 2018-09-14 | 2022-09-20 | Jpmorgan Chase Bank, N.A. | Systems and methods for automated document graphing |
JP7147439B2 (ja) * | 2018-09-28 | 2022-10-05 | 株式会社リコー | 言語処理方法、言語処理プログラム及び言語処理装置 |
US11256867B2 (en) | 2018-10-09 | 2022-02-22 | Sdl Inc. | Systems and methods of machine learning for digital assets and message creation |
CN110781689B (zh) * | 2019-10-25 | 2021-08-06 | 北京小米智能科技有限公司 | 信息处理方法、装置及存储介质 |
CN112735392B (zh) * | 2020-12-31 | 2024-04-16 | 中国科学技术大学 | 语音处理方法、装置、设备及存储介质 |
US11966711B2 (en) * | 2021-05-18 | 2024-04-23 | International Business Machines Corporation | Translation verification and correction |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2177525B (en) * | 1985-05-14 | 1989-08-16 | Sharp Kk | Translation system |
US4914590A (en) * | 1988-05-18 | 1990-04-03 | Emhart Industries, Inc. | Natural language understanding system |
NL8900587A (nl) * | 1989-03-10 | 1990-10-01 | Bso Buro Voor Systeemontwikkel | Werkwijze voor het bepalen van de semantische verwantheid van lexicale componenten in een tekst. |
US5418717A (en) * | 1990-08-27 | 1995-05-23 | Su; Keh-Yih | Multiple score language processing system |
US5477451A (en) * | 1991-07-25 | 1995-12-19 | International Business Machines Corp. | Method and system for natural language translation |
US5267156A (en) * | 1991-12-05 | 1993-11-30 | International Business Machines Corporation | Method for constructing a knowledge base, knowledge base system, machine translation method and system therefor |
US5541836A (en) * | 1991-12-30 | 1996-07-30 | At&T Corp. | Word disambiguation apparatus and methods |
US5366556A (en) * | 1992-01-10 | 1994-11-22 | Robert Prince | Process and apparatus for production of diamond-like films |
US6278967B1 (en) * | 1992-08-31 | 2001-08-21 | Logovista Corporation | Automated system for generating natural language translations that are domain-specific, grammar rule-based, and/or based on part-of-speech analysis |
GB2279164A (en) * | 1993-06-18 | 1994-12-21 | Canon Res Ct Europe Ltd | Processing a bilingual database. |
US5510981A (en) * | 1993-10-28 | 1996-04-23 | International Business Machines Corporation | Language translation apparatus and method using context-based translation models |
US5850561A (en) * | 1994-09-23 | 1998-12-15 | Lucent Technologies Inc. | Glossary construction tool |
JPH09128396A (ja) * | 1995-11-06 | 1997-05-16 | Hitachi Ltd | 対訳辞書作成方法 |
DE69837979T2 (de) | 1997-06-27 | 2008-03-06 | International Business Machines Corp. | System zum Extrahieren einer mehrsprachigen Terminologie |
US7020601B1 (en) * | 1998-05-04 | 2006-03-28 | Trados Incorporated | Method and apparatus for processing source information based on source placeable elements |
US6885985B2 (en) * | 2000-12-18 | 2005-04-26 | Xerox Corporation | Terminology translation for unaligned comparable corpora using category based translation probabilities |
US7054803B2 (en) * | 2000-12-19 | 2006-05-30 | Xerox Corporation | Extracting sentence translations from translated documents |
US6990439B2 (en) * | 2001-01-10 | 2006-01-24 | Microsoft Corporation | Method and apparatus for performing machine translation using a unified language model and translation model |
US7734459B2 (en) * | 2001-06-01 | 2010-06-08 | Microsoft Corporation | Automatic extraction of transfer mappings from bilingual corpora |
US7050964B2 (en) * | 2001-06-01 | 2006-05-23 | Microsoft Corporation | Scaleable machine translation system |
US7191115B2 (en) | 2001-06-20 | 2007-03-13 | Microsoft Corporation | Statistical method and apparatus for learning translation relationships among words |
AU2002316581A1 (en) * | 2001-07-03 | 2003-01-21 | University Of Southern California | A syntax-based statistical translation model |
US6721967B2 (en) * | 2002-07-22 | 2004-04-20 | Earl J. Braxton | Modular portable comfort station |
US7249012B2 (en) | 2002-11-20 | 2007-07-24 | Microsoft Corporation | Statistical method and apparatus for learning translation relationships among phrases |
US7356457B2 (en) | 2003-02-28 | 2008-04-08 | Microsoft Corporation | Machine translation using learned word associations without referring to a multi-lingual human authored dictionary of content words |
-
2002
- 2002-06-17 US US10/173,252 patent/US7191115B2/en not_active Expired - Lifetime
- 2002-06-20 ES ES02013732.9T patent/ES2604752T3/es not_active Expired - Lifetime
- 2002-06-20 JP JP2002180457A patent/JP4491187B2/ja not_active Expired - Fee Related
- 2002-06-20 EP EP02013732.9A patent/EP1308851B1/en not_active Expired - Lifetime
-
2006
- 2006-01-13 US US11/331,537 patent/US7366654B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP1308851A3 (en) | 2007-12-12 |
US20060116867A1 (en) | 2006-06-01 |
EP1308851A2 (en) | 2003-05-07 |
JP4491187B2 (ja) | 2010-06-30 |
US20020198701A1 (en) | 2002-12-26 |
EP1308851B1 (en) | 2016-09-07 |
ES2604752T3 (es) | 2017-03-09 |
US7191115B2 (en) | 2007-03-13 |
US7366654B2 (en) | 2008-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4491187B2 (ja) | 単語間の翻訳関係を計算する方法 | |
US7050964B2 (en) | Scaleable machine translation system | |
JP4694121B2 (ja) | 句の間の翻訳関係を学習するための統計的な方法および装置 | |
US8275605B2 (en) | Machine language translation with transfer mappings having varying context | |
KR101130444B1 (ko) | 기계번역기법을 이용한 유사문장 식별 시스템 | |
Adriani et al. | Stemming Indonesian: A confix-stripping approach | |
JP4256891B2 (ja) | 機械翻訳の精度を向上させる技術 | |
US7158930B2 (en) | Method and apparatus for expanding dictionaries during parsing | |
US9053090B2 (en) | Translating texts between languages | |
US20080059146A1 (en) | Translation apparatus, translation method and translation program | |
KR20040102329A (ko) | 기계 번역기를 훈련하기 위한 방법 및 시스템 | |
Jabbar et al. | An Analytical Analysis of Text Stemming Methodologies in Information Retrieval and Natural Language Processing Systems | |
Sharoff et al. | Using comparable corpora to solve problems difficult for human translators | |
Kolak | Rapid resource transfer for multilingual natural language processing | |
JPH09311858A (ja) | 文章の照応関係解析装置 | |
JP2004163991A (ja) | ソースシーケンスから情報を復元するための方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050616 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20061226 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061226 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070326 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070410 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070709 |
|
RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20070709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070710 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070828 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100302 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100405 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130409 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4491187 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130409 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140409 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |