JPH0769910B2 - スピーチ部分の決定方法 - Google Patents
スピーチ部分の決定方法Info
- Publication number
- JPH0769910B2 JPH0769910B2 JP1024794A JP2479489A JPH0769910B2 JP H0769910 B2 JPH0769910 B2 JP H0769910B2 JP 1024794 A JP1024794 A JP 1024794A JP 2479489 A JP2479489 A JP 2479489A JP H0769910 B2 JPH0769910 B2 JP H0769910B2
- Authority
- JP
- Japan
- Prior art keywords
- speech
- word
- probability
- frequency
- message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 67
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 230000001755 vocal effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims 1
- 230000003938 response to stress Effects 0.000 claims 1
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000002224 dissection Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 7
- 210000003484 anatomy Anatomy 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 206010048232 Yawning Diseases 0.000 description 4
- 239000012530 fluid Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000035622 drinking Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001915 proofreading effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 240000002768 Alpinia galanga Species 0.000 description 1
- 235000006887 Alpinia galanga Nutrition 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/04—Speaking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L13/10—Prosody rules derived from text; Stress or intonation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Description
【発明の詳細な説明】 発明の分野 本発明はスピーチ部分決定の方法と、名詞句解剖の中間
方法を含み、そして、スピーチ合成、スピーチ認識、ラ
イターの訓練、校正、割出し及びデータ検索を含む、ス
ピーチ部分決定の結果の利用方法に関する。
方法を含み、そして、スピーチ合成、スピーチ認識、ラ
イターの訓練、校正、割出し及びデータ検索を含む、ス
ピーチ部分決定の結果の利用方法に関する。
発明の背景 特に、スピーチの異なる部分(複数)として使用するこ
とができるワードの場合、スピーチ部分を決定する能力
は英語の使用の場合に多くの種々の問題に関連している
ということが長い間認識されている。例えば、ピッチ、
継続期間及びエネルギーを含むスピーチの「強勢」はワ
ードのスピーチの特定部分及びそれらの文における順序
に依存する。従って、スピーチの合成には、人間のスピ
ーチのように響く結果を発生するために入力された記載
又は非言葉のテキストのスピーチ部分の解析が必要とな
る。
とができるワードの場合、スピーチ部分を決定する能力
は英語の使用の場合に多くの種々の問題に関連している
ということが長い間認識されている。例えば、ピッチ、
継続期間及びエネルギーを含むスピーチの「強勢」はワ
ードのスピーチの特定部分及びそれらの文における順序
に依存する。従って、スピーチの合成には、人間のスピ
ーチのように響く結果を発生するために入力された記載
又は非言葉のテキストのスピーチ部分の解析が必要とな
る。
更に、スピーチ部分の自動決定は自動的なスピーチ認
識、コンピュータの補助による方法を用いてのライター
の教育及び訓練、ワード処理のワークステーションで発
生される書類の編集及び校正、書類の割出し及びデータ
ベースからのワード依存データの種々の形状の検索にお
いて重要な役割を演じ得る。
識、コンピュータの補助による方法を用いてのライター
の教育及び訓練、ワード処理のワークステーションで発
生される書類の編集及び校正、書類の割出し及びデータ
ベースからのワード依存データの種々の形状の検索にお
いて重要な役割を演じ得る。
例えば、これらの使用の幾つかはAT&T's Writer's Wor
kbench商標の種々の形式で見ることができる。又、1988
年1月、The Atlantic MonthlyのBarbara Wallaffに
よる論文「The Literate Computer」、pp.64ff、特にペ
ージ68、最後の2つのパラグラフを参照。割出しに対す
るスピーチ部分の関係は1986年4月1日にC.L.Rayeに対
し発行された米国特許第4,58チ,218号に見ることができ
る。
kbench商標の種々の形式で見ることができる。又、1988
年1月、The Atlantic MonthlyのBarbara Wallaffに
よる論文「The Literate Computer」、pp.64ff、特にペ
ージ68、最後の2つのパラグラフを参照。割出しに対す
るスピーチ部分の関係は1986年4月1日にC.L.Rayeに対
し発行された米国特許第4,58チ,218号に見ることができ
る。
これまで、スピーチ部分の自動決定の2つの主な方法が
文献で述べられており、そして、ある程度使用されてき
た。その第1は問題の特定状態を検出するように設計さ
れた多種類の「特別(ad hoc)」規則に依存している。
これらの規則は、例えば、スピーチ部分を予測するワー
ドの終りの使用又はその何らかの改変に関するものであ
ってもよい。スピーチ部分決定のいくつかの特別規則は
UNIXTM Operating Systemで動作するWriter's Workbenc
h商標のアプリケーションプログラムで使用されてい
る。これらのルールは、それらが旨く解決することがで
きる状態において非常に制限的であり、そして、基本的
な単一性を欠く傾向がある。これらの技術はBell Telep
hone Laboratories,Incorpolatedの1978年6月、Comput
er Science Technical Report、No.81、におけるL.
L.Cherryによる「PARTS-A System for Asigning Word C
lasses to English Text」に記載されている。
文献で述べられており、そして、ある程度使用されてき
た。その第1は問題の特定状態を検出するように設計さ
れた多種類の「特別(ad hoc)」規則に依存している。
これらの規則は、例えば、スピーチ部分を予測するワー
ドの終りの使用又はその何らかの改変に関するものであ
ってもよい。スピーチ部分決定のいくつかの特別規則は
UNIXTM Operating Systemで動作するWriter's Workbenc
h商標のアプリケーションプログラムで使用されてい
る。これらのルールは、それらが旨く解決することがで
きる状態において非常に制限的であり、そして、基本的
な単一性を欠く傾向がある。これらの技術はBell Telep
hone Laboratories,Incorpolatedの1978年6月、Comput
er Science Technical Report、No.81、におけるL.
L.Cherryによる「PARTS-A System for Asigning Word C
lasses to English Text」に記載されている。
より大きな基礎的な単一性を潜在的に持つ第2の主な方
法は英国、University of Lancaster,1983年ICAME New
s、Vol.7、pp.13〜33においてG.Leech外による論文「Th
e Automatic Tagging of the LOB Corpus」に記載され
た「nグラム」技術である。ここに記載された技術の一
部はスピーチの次々の部分の起りそうな組み合せに関す
る特定の規則に基づく、特定の先行又は後続のワードの
スピーチ部分の現在の最良の選択にスピーチの割当て部
分を依存させる。この解析の場合、種々の特別規則も使
用されるので、全体として、この方法は依然として望ま
しい精度には至らない。更に、この方法は有機的な仕方
では語彙の確率を模擬しない。
法は英国、University of Lancaster,1983年ICAME New
s、Vol.7、pp.13〜33においてG.Leech外による論文「Th
e Automatic Tagging of the LOB Corpus」に記載され
た「nグラム」技術である。ここに記載された技術の一
部はスピーチの次々の部分の起りそうな組み合せに関す
る特定の規則に基づく、特定の先行又は後続のワードの
スピーチ部分の現在の最良の選択にスピーチの割当て部
分を依存させる。この解析の場合、種々の特別規則も使
用されるので、全体として、この方法は依然として望ま
しい精度には至らない。更に、この方法は有機的な仕方
では語彙の確率を模擬しない。
上記の技術は、上記の考慮のため及び結果が失望させる
ものだったために当業界の研究者の間には大した興味を
抱かせなかった。
ものだったために当業界の研究者の間には大した興味を
抱かせなかった。
全く、どの「nグラム」技術も貧弱な結果を生じるであ
ろうと考えられていた。それは、その技術が、文の有り
得る構造を充分広く見又は全体的に見ることができない
からである。一方、文のスピーチ部分を解析する場合に
人間の精神がとる全体的な見方の種類をコンピュータ内
に頑丈にプログラムすることは不可能であった。これに
は、1980年米国マサチューセッツ州、キャンブリッジMI
T Pressにより発行されたM.Marcusによる本、A Theory
of Syntactic Recognition for Natural Langua
geを参照。従って、「nグラム」ワードの発生頻度の解
析と対照される、「nグラム」型スピーチ部分の決定
は、別の研究の場合に使用される完全に「タグ付き」テ
キストのより大きな体部を発生するに役立つようなタス
クに大いに限定されている。このために、結果は非常に
有能な人間の介在によって訂正されなければならない。
ろうと考えられていた。それは、その技術が、文の有り
得る構造を充分広く見又は全体的に見ることができない
からである。一方、文のスピーチ部分を解析する場合に
人間の精神がとる全体的な見方の種類をコンピュータ内
に頑丈にプログラムすることは不可能であった。これに
は、1980年米国マサチューセッツ州、キャンブリッジMI
T Pressにより発行されたM.Marcusによる本、A Theory
of Syntactic Recognition for Natural Langua
geを参照。従って、「nグラム」ワードの発生頻度の解
析と対照される、「nグラム」型スピーチ部分の決定
は、別の研究の場合に使用される完全に「タグ付き」テ
キストのより大きな体部を発生するに役立つようなタス
クに大いに限定されている。このために、結果は非常に
有能な人間の介在によって訂正されなければならない。
それにも関わらず、上に最初に述べた全ての用途におい
て、容易に適用することができるように、「nグラム」
技術のように比較的簡単な技術により高度の確率でスピ
ーチ部分を識別し得ることが望ましい。
て、容易に適用することができるように、「nグラム」
技術のように比較的簡単な技術により高度の確率でスピ
ーチ部分を識別し得ることが望ましい。
発明の要約 本発明の一つの特徴によれば、スピーチ部分は個々のワ
ードの語彙の確率(probabilities)と規格化された3
つのワードの文脈の確率との積を最適化することにより
メッセージのワードにスピーチ部分が割り当てられる。
規格化は含まれる2つのワードの文脈の確率を使用す
る。(文の終点どうしの間の複数の空間を含む)文の終
点、区切点及び低頻度で発生するワードは語彙の確率を
割り当てられ、そして、そうでない場合は、それらがあ
たかもワードであるかのように処理されるので、前のn
グラムのスピーチ部分の割り当て及び特別(ad hoc)規
則の前の使用の場合に遭遇する不連続は回避される傾向
がある。この技術の一般性はそれにより確立される。
ードの語彙の確率(probabilities)と規格化された3
つのワードの文脈の確率との積を最適化することにより
メッセージのワードにスピーチ部分が割り当てられる。
規格化は含まれる2つのワードの文脈の確率を使用す
る。(文の終点どうしの間の複数の空間を含む)文の終
点、区切点及び低頻度で発生するワードは語彙の確率を
割り当てられ、そして、そうでない場合は、それらがあ
たかもワードであるかのように処理されるので、前のn
グラムのスピーチ部分の割り当て及び特別(ad hoc)規
則の前の使用の場合に遭遇する不連続は回避される傾向
がある。この技術の一般性はそれにより確立される。
本発明の他の特徴によれば、以前割当られたスピーチ部
分をワードが有しているメッセージは、その名詞句をス
ピーチ合成用のそれらの使用を容易にする方法で識別し
ている。この名詞句の解剖は又他の用途をもつもであっ
てもよい。特に名詞句の解剖方法は、ワードのすべての
開始又は終における名詞句の開始及終を最初に割当てて
最低の確率の割当を除去することによりこの割当を徐徐
に除去し、ついに非常に高い確率の非帰納的割当のみが
残るようになる非常に蓋然性ある方法である。非帰納的
割当とは、名詞句内に部分的又は全体的に存在する名詞
句の割当が保持されないということを意味する。
分をワードが有しているメッセージは、その名詞句をス
ピーチ合成用のそれらの使用を容易にする方法で識別し
ている。この名詞句の解剖は又他の用途をもつもであっ
てもよい。特に名詞句の解剖方法は、ワードのすべての
開始又は終における名詞句の開始及終を最初に割当てて
最低の確率の割当を除去することによりこの割当を徐徐
に除去し、ついに非常に高い確率の非帰納的割当のみが
残るようになる非常に蓋然性ある方法である。非帰納的
割当とは、名詞句内に部分的又は全体的に存在する名詞
句の割当が保持されないということを意味する。
あるいは又、この本発明の特徴の方法は他の名詞句内で
完全に起るいくつかの高効率の名詞句を保持することも
できる。これはこの割当が、例えば、スピーチ合成にお
いて有用であるからである。
完全に起るいくつかの高効率の名詞句を保持することも
できる。これはこの割当が、例えば、スピーチ合成にお
いて有用であるからである。
常に除去されるある名詞句の割当は(例えば、文の始ま
りのところで)対応する始まりのない終又は(例えば文
の終において)終のない始まりであるが、本方法はさら
に名詞句の始め及終の低確率での割当を除去し、または
別の表現でいえば、最高の確率の割当のみを保持する。
りのところで)対応する始まりのない終又は(例えば文
の終において)終のない始まりであるが、本方法はさら
に名詞句の始め及終の低確率での割当を除去し、または
別の表現でいえば、最高の確率の割当のみを保持する。
本発明の補助的な特徴によれば、他の低確率の名詞句は
始から終までメッセージの各文を反復的に走査し、各走
査において始めと終よりなる各対ごとにそれらの確率を
計算し、文の領域について前に得た最高の確率に近い又
はこの確率より上の積でこれらの組合せを保持すること
により除去され、又は少なくとも他の高確立の名詞句と
は矛盾しなくなる。
始から終までメッセージの各文を反復的に走査し、各走
査において始めと終よりなる各対ごとにそれらの確率を
計算し、文の領域について前に得た最高の確率に近い又
はこの確率より上の積でこれらの組合せを保持すること
により除去され、又は少なくとも他の高確立の名詞句と
は矛盾しなくなる。
本発明の更に他の特徴によれば、本スピーチ部分割当方
法の出力は本名詞句解剖方法への入力としてもよい。こ
の文脈では両方法において使用される最大可能性最適化
技術は相互に補強しあう傾向がある。これは単独で各方
法が従来技術の方法に比較して性能が優れているからで
ある。
法の出力は本名詞句解剖方法への入力としてもよい。こ
の文脈では両方法において使用される最大可能性最適化
技術は相互に補強しあう傾向がある。これは単独で各方
法が従来技術の方法に比較して性能が優れているからで
ある。
本発明に更に他の特徴によれば、本スピーチ部分割当方
法の出力は本名詞句解剖方法への入力としてもよい。こ
の文脈では両方法において使用される最大可能性最適化
技術は相互に補強しあう傾向がある。これは単独で各方
法が従来技術の方法に比較して性能が優れているからで
ある。
法の出力は本名詞句解剖方法への入力としてもよい。こ
の文脈では両方法において使用される最大可能性最適化
技術は相互に補強しあう傾向がある。これは単独で各方
法が従来技術の方法に比較して性能が優れているからで
ある。
本発明の他の特徴及び利点は図面と共に以下の詳細な説
明を読むことにより明らかとなろう。
明を読むことにより明らかとなろう。
例示的な実施例の説明 第1図の方法では、例示のために、メッセージ読み取ら
れ、そして電子的な形で記憶されていたテキストメッセ
ージであったと仮定する。第1の段階では、ブロック11
で示したように1文づつ記憶テキストを読むこととな
る。この段階では文の境界を決定することが必要であ
る。このためには多くの公知の技術が存在するが、どの
終止符も文を終らせるという最初の仮定をし、そして、
終止符が更に使用されたかも知れないということを本方
法が続いて示すときにはその文とその結果を放棄した
い。
れ、そして電子的な形で記憶されていたテキストメッセ
ージであったと仮定する。第1の段階では、ブロック11
で示したように1文づつ記憶テキストを読むこととな
る。この段階では文の境界を決定することが必要であ
る。このためには多くの公知の技術が存在するが、どの
終止符も文を終らせるという最初の仮定をし、そして、
終止符が更に使用されたかも知れないということを本方
法が続いて示すときにはその文とその結果を放棄した
い。
いずれにしても、この方法は各文を終りから始めて処理
しはじめる。
しはじめる。
続く段階は3つの一般的な以下の段階にグループ別けす
ることができる。ワードのトークン化(ブロック12): 文の終りから始めてスピーチ部分の語彙の確率の計算
(ブロック13)、及び もちろん、文脈上のスピーチ部分の確率を最適化し(ブ
ロック14)、一般的な最終段階(15)でスピーチ部分の
解析の多くの考えられる用途のどれに対してもその結果
を適用することである。
ることができる。ワードのトークン化(ブロック12): 文の終りから始めてスピーチ部分の語彙の確率の計算
(ブロック13)、及び もちろん、文脈上のスピーチ部分の確率を最適化し(ブ
ロック14)、一般的な最終段階(15)でスピーチ部分の
解析の多くの考えられる用途のどれに対してもその結果
を適用することである。
これらの一般的な段階は以下に説明するように、多くの
更に詳細な段階に分けることができる。
更に詳細な段階に分けることができる。
ワードのトークン化においては、スピーチ部分の解析に
対する通常の言語学的試みの小さくはあるが重要ないく
つかの改変をする。それにも関わらず、便宜上、1982年
Houghton Mifflin Co.出版のW.Nelson Francis外による
「Frequency Analysis of English Usage」なる題名の
本の「List of Tags」頁6〜8で述べられたと同じスピ
ーチ部分の名称を使用する。これらは本例の理解に役立
つときは常に本明細書で繰り返される。
対する通常の言語学的試みの小さくはあるが重要ないく
つかの改変をする。それにも関わらず、便宜上、1982年
Houghton Mifflin Co.出版のW.Nelson Francis外による
「Frequency Analysis of English Usage」なる題名の
本の「List of Tags」頁6〜8で述べられたと同じスピ
ーチ部分の名称を使用する。これらは本例の理解に役立
つときは常に本明細書で繰り返される。
トークン化は区切り点及びかっこのようなワードといく
つかの非ワードの識別を含む。更に、Francis外による
本の基礎を形成したようなテキストのタグ付き体部(テ
キストの先行体部は普通「Brown Corpus」と呼ぶ)に新
しい組の空白スペースの頻度を発生するために各文の終
止符の後に2つの空白空間を割当ることが重要であると
いうことが解った。このプロセスに関わるトークンの種
類は文の実際のワードと文の終りが得られたというプロ
セスを知らせる構造表示子である。これらの構造表示子
には、例えば、終止符に関する機械読み取り可能文字の
ような文末表示子、テキストのワードと共に原稿、フィ
ールド又はファイルに記憶された対応のフォーマット形
成文字により示されるヘディング又はパラグラグ表示
子、及びファイルの終り表示子がある。
つかの非ワードの識別を含む。更に、Francis外による
本の基礎を形成したようなテキストのタグ付き体部(テ
キストの先行体部は普通「Brown Corpus」と呼ぶ)に新
しい組の空白スペースの頻度を発生するために各文の終
止符の後に2つの空白空間を割当ることが重要であると
いうことが解った。このプロセスに関わるトークンの種
類は文の実際のワードと文の終りが得られたというプロ
セスを知らせる構造表示子である。これらの構造表示子
には、例えば、終止符に関する機械読み取り可能文字の
ような文末表示子、テキストのワードと共に原稿、フィ
ールド又はファイルに記憶された対応のフォーマット形
成文字により示されるヘディング又はパラグラグ表示
子、及びファイルの終り表示子がある。
少し前を見ると、文の各最終ワードはその終止符及び続
く空白部分に対する確率と共に測定される文脈の確率を
有するということが解る。これらの3つは「3グラム」
を形成し、従って、確率の解析は「スピーチの特定部分
としてのこのワードが文をどの程度終らせるだろうか
?」という問題を調査することになる。この場合、この
位置における終止符を観察する文脈の確率は非常に高く
(ほぼ1.0)、そして、文脈上の空白の確率は1.0であ
る。いずれにしても、これらの確率は規格化された確率
の分子と分母の両方で同一であるので、結果としての文
脈の確率は、文の終りにあるスピーチの主題部分を見る
まさに測定された確率であり、テキストの総体から表に
作ることができ、そして、コンピュータの永久記憶装置
に記憶することができる統計値である。
く空白部分に対する確率と共に測定される文脈の確率を
有するということが解る。これらの3つは「3グラム」
を形成し、従って、確率の解析は「スピーチの特定部分
としてのこのワードが文をどの程度終らせるだろうか
?」という問題を調査することになる。この場合、この
位置における終止符を観察する文脈の確率は非常に高く
(ほぼ1.0)、そして、文脈上の空白の確率は1.0であ
る。いずれにしても、これらの確率は規格化された確率
の分子と分母の両方で同一であるので、結果としての文
脈の確率は、文の終りにあるスピーチの主題部分を見る
まさに測定された確率であり、テキストの総体から表に
作ることができ、そして、コンピュータの永久記憶装置
に記憶することができる統計値である。
ブロック12に関連して述べたように、観察されるワード
と文字をトークン化した後に、本方法は次のごとく発生
頻度に依存するスピーチ部分の文脈上の確率(スピーチ
部分iを与えられたワードjを観察する確率)を計算す
る。もしも問題の全てのワードの全ての意味がBrown Co
rpusにおける合理的に高い周波数で現れるならば、その
計算は、スピーチの部分に関わらずその全発生頻度によ
り割られる、特定のスピーチ部分としてのワードの観察
された発生頻度の単なる商となろう。
と文字をトークン化した後に、本方法は次のごとく発生
頻度に依存するスピーチ部分の文脈上の確率(スピーチ
部分iを与えられたワードjを観察する確率)を計算す
る。もしも問題の全てのワードの全ての意味がBrown Co
rpusにおける合理的に高い周波数で現れるならば、その
計算は、スピーチの部分に関わらずその全発生頻度によ
り割られる、特定のスピーチ部分としてのワードの観察
された発生頻度の単なる商となろう。
本発明では、次のごとく低発生頻度のワード又は文字に
ついてはこの計算を取り換える。Zifの法則の下では、
どれだけテキストを見ようとも、わずか数回のみ現れる
ワードの大きな尾部分が常に存在するということを考え
る。Brown Corpusでは例えば、40,000個のワードが5回
以下現れる。もしもyawnのようなワードが名詞として1
回、動詞として1回現れるならば、そのワードが形容詞
である確率は何であるか?これはより多くの情報なしに
は云うことは不可能である。幸にも、辞書はある程度こ
の問題を緩和するに役立つ。辞書における可能性の頻度
のカウントに1つのtheを加える。例えば、yawnは辞書
には名詞か又は動詞のいずれかとして偶然リストされ
る。従って、可能性は緩和される。この場合、可能性は
変らないままである。平滑の前後共yawnは50%の回数で
名詞と評価され、その残りの回数で動詞として評価され
る。yawnが形容詞である見込みはない。
ついてはこの計算を取り換える。Zifの法則の下では、
どれだけテキストを見ようとも、わずか数回のみ現れる
ワードの大きな尾部分が常に存在するということを考え
る。Brown Corpusでは例えば、40,000個のワードが5回
以下現れる。もしもyawnのようなワードが名詞として1
回、動詞として1回現れるならば、そのワードが形容詞
である確率は何であるか?これはより多くの情報なしに
は云うことは不可能である。幸にも、辞書はある程度こ
の問題を緩和するに役立つ。辞書における可能性の頻度
のカウントに1つのtheを加える。例えば、yawnは辞書
には名詞か又は動詞のいずれかとして偶然リストされ
る。従って、可能性は緩和される。この場合、可能性は
変らないままである。平滑の前後共yawnは50%の回数で
名詞と評価され、その残りの回数で動詞として評価され
る。yawnが形容詞である見込みはない。
ある他の場合には、平滑化により大きな差が生じる。今
ワードのcansを考える。このワードはBrown corpusでは
複数の名詞として5回現れ、そして、動詞としては現れ
ない。語彙(及びその形態論的ルーチン)は幸運にも両
方の確率を与える。従って、訂正された評価ではcansは
複数名詞として6/7回現れ、そして、動詞として1/7回現
れる。
ワードのcansを考える。このワードはBrown corpusでは
複数の名詞として5回現れ、そして、動詞としては現れ
ない。語彙(及びその形態論的ルーチン)は幸運にも両
方の確率を与える。従って、訂正された評価ではcansは
複数名詞として6/7回現れ、そして、動詞として1/7回現
れる。
従って、訓練材料、完全な辞書に従って、スピーチの各
存在しそうな部分として各観察された発生頻度に「1」
を加え、そして、そこから語彙の確率を計算する。
存在しそうな部分として各観察された発生頻度に「1」
を加え、そして、そこから語彙の確率を計算する。
このワードについて本発明の確率研究木を構成し始める
ために、評価され正規化された語彙の確率を、即ち、ス
ピーチ部分Zを与えられたスピーチ部分Yを観察する
「2グラム」頻度によって割算され、すでに決定された
後続のスピーチ部分YとZを与えられたスピーチ部分X
を観察する頻度を語彙の確率に掛算する。この後者の2
つのデータはFrancis外によりこれらの人々の本で言及
されたすでにタグ付きの総体から表に作ることができ
る。この表に作られたデータはコンピュータメモリに記
憶される。
ために、評価され正規化された語彙の確率を、即ち、ス
ピーチ部分Zを与えられたスピーチ部分Yを観察する
「2グラム」頻度によって割算され、すでに決定された
後続のスピーチ部分YとZを与えられたスピーチ部分X
を観察する頻度を語彙の確率に掛算する。この後者の2
つのデータはFrancis外によりこれらの人々の本で言及
されたすでにタグ付きの総体から表に作ることができ
る。この表に作られたデータはコンピュータメモリに記
憶される。
それが有り得る1つおきのスピーチ部分ごとに主題のワ
ードに関する上記の方法の繰り返しを開始し、前の組の
計算から最大の確率のみを保持する。文の最後のワード
の手前に進む前に、最後のワードに対する最大の成果の
確率に到達した。
ードに関する上記の方法の繰り返しを開始し、前の組の
計算から最大の確率のみを保持する。文の最後のワード
の手前に進む前に、最後のワードに対する最大の成果の
確率に到達した。
このプロセスについては2つのことをすでに観察するこ
とができる。先ず、積に使用される語彙の確率は連続体
に沿って存在するが、Leech外の文献で使用されたよう
に3つの任意割当値の内の1つのものではない。第2
に、数学の応用は、実際には、文の終りに存在すること
が分るワードの場合には些細な事のように見えるかもし
れないが、重要な点はそれがどこでも使用される同一の
数学であるということである。
とができる。先ず、積に使用される語彙の確率は連続体
に沿って存在するが、Leech外の文献で使用されたよう
に3つの任意割当値の内の1つのものではない。第2
に、数学の応用は、実際には、文の終りに存在すること
が分るワードの場合には些細な事のように見えるかもし
れないが、重要な点はそれがどこでも使用される同一の
数学であるということである。
更に完全で特定な例を与え始める場合には、確率の評価
がFrancis外により言及されてはいるが上記の解析には
含まれていないタグ付きのBrown Corpusでの訓練により
得られたということを記憶しておく。それは割当られ、
そして、手で苦労してチェックされたスピーチ部分タグ
を持つ約1,000,000個のワードの総体である。
がFrancis外により言及されてはいるが上記の解析には
含まれていないタグ付きのBrown Corpusでの訓練により
得られたということを記憶しておく。それは割当られ、
そして、手で苦労してチェックされたスピーチ部分タグ
を持つ約1,000,000個のワードの総体である。
本方法の処理は本来厳密に局部的なものであり、そし
て、一般的には、例えば、助動詞の可能性あるものの使
用を決定するために名詞句の両側を調べる方法は有して
いないということを考えると本方法の性能全体は驚く程
良好であった。
て、一般的には、例えば、助動詞の可能性あるものの使
用を決定するために名詞句の両側を調べる方法は有して
いないということを考えると本方法の性能全体は驚く程
良好であった。
辞書の全ての確率が等しい重みを与えられる必要がある
場合、文解剖は極めて困難である。辞書は可能なものに
焦点を合せ、そして、ありそうなものには焦点を合せな
い傾向がある。些細な文章である「I see a bird(私は
鳥を見る)」を考えてみる。実際上は、文の各ワードは
明確である。Francis及びKuceraによれば、ワード「I
(私)」は5838回の観察の内5837回(100%)名詞とし
て現れ、「see(見る)」は772回の観察の内771回(100
始め%)動詞として現れ、「a(1羽の)」は23019の
観察の内23013回(100%)冠詞として現れ、そして、
「bird(鳥)」は26回の観察の内26回(100%)名詞と
して現れる。しかしながら、ウェブスター第7版New Co
llegiath Dictionaryによれば、各ワードはあいまいで
ある。タグの所望の割当(スピーチ部分)の外に、最初
の3つのワードは名詞としてリストされ、そして、最後
のワードは自動詞としてリストされる。文解剖部により
これらのもっともらしい割当は統語論的に悪い形状であ
るとして除外されればと人は望むかもしれないが、不幸
にして従来技術はその結果を達成する一貫した方法を有
してはいない。文解剖部は次の形、即ち、 ・[NP[N city(市)][N school(学校)][N comm
ittee(委員会)][N meeting(会議)]]の名詞句を
受け入れようとする場合には、次のものを除外すること
ができない。
場合、文解剖は極めて困難である。辞書は可能なものに
焦点を合せ、そして、ありそうなものには焦点を合せな
い傾向がある。些細な文章である「I see a bird(私は
鳥を見る)」を考えてみる。実際上は、文の各ワードは
明確である。Francis及びKuceraによれば、ワード「I
(私)」は5838回の観察の内5837回(100%)名詞とし
て現れ、「see(見る)」は772回の観察の内771回(100
始め%)動詞として現れ、「a(1羽の)」は23019の
観察の内23013回(100%)冠詞として現れ、そして、
「bird(鳥)」は26回の観察の内26回(100%)名詞と
して現れる。しかしながら、ウェブスター第7版New Co
llegiath Dictionaryによれば、各ワードはあいまいで
ある。タグの所望の割当(スピーチ部分)の外に、最初
の3つのワードは名詞としてリストされ、そして、最後
のワードは自動詞としてリストされる。文解剖部により
これらのもっともらしい割当は統語論的に悪い形状であ
るとして除外されればと人は望むかもしれないが、不幸
にして従来技術はその結果を達成する一貫した方法を有
してはいない。文解剖部は次の形、即ち、 ・[NP[N city(市)][N school(学校)][N comm
ittee(委員会)][N meeting(会議)]]の名詞句を
受け入れようとする場合には、次のものを除外すること
ができない。
・[NP[NI][N see(見る)][N a(1羽の)][N
bird(鳥)]](ここで「NP」は「名詞句」を表し、そ
して、「N」は「名詞」を表す)。
bird(鳥)]](ここで「NP」は「名詞句」を表し、そ
して、「N」は「名詞」を表す)。
同様にして文解剖部は恐らく自動詞としての鳥を受け入
れなければならないであろう。これは次の場合に統語論
的に悪いものが存在しないからである、 ・[S[NP[NI][N see(見る)][N a(1羽
の)]][VP[V bird(鳥)]]]。ここで「S」は
「主語」を表し、「VP」は「動詞句」を表し、そして、
「V」は「動詞」を表す。
れなければならないであろう。これは次の場合に統語論
的に悪いものが存在しないからである、 ・[S[NP[NI][N see(見る)][N a(1羽
の)]][VP[V bird(鳥)]]]。ここで「S」は
「主語」を表し、「VP」は「動詞句」を表し、そして、
「V」は「動詞」を表す。
これらのスピーチ部分の割当は間違ってはいないが、極
めて起りそうもないことである。
めて起りそうもないことである。
文「I see a bird(私は鳥を見る)」をもう1度考え
る。問題は語彙及び文脈の確率(これら両者はTagged B
rown Coupsuから評価される)を最適化するワードに対
するスピーチ部分の割当を見つけることである。語彙の
確率は次の頻度から評価される(PPSS=単数名詞、NP=
固有名詞、VP=動詞、UH=間投詞、IN=前置詞、AT=冠
詞、NN=名詞): 語彙の確率は明白な方法で評価される。例えば、 「I(私)」が代名詞である確率、Prob(PPSS|「I
(私)」)は頻度(PPSS「I(私)」)/頻度
(「私」)即ち5837/5838と評価される。「see(見
る)」が動詞である確率は771/772であると評価され
る。他の語彙の確率の評価は同一パターンに従う。
る。問題は語彙及び文脈の確率(これら両者はTagged B
rown Coupsuから評価される)を最適化するワードに対
するスピーチ部分の割当を見つけることである。語彙の
確率は次の頻度から評価される(PPSS=単数名詞、NP=
固有名詞、VP=動詞、UH=間投詞、IN=前置詞、AT=冠
詞、NN=名詞): 語彙の確率は明白な方法で評価される。例えば、 「I(私)」が代名詞である確率、Prob(PPSS|「I
(私)」)は頻度(PPSS「I(私)」)/頻度
(「私」)即ち5837/5838と評価される。「see(見
る)」が動詞である確率は771/772であると評価され
る。他の語彙の確率の評価は同一パターンに従う。
文脈の確率、続く2つのスピーチ部分YとZを与えられ
たスピーチ部分Xを見る確率は2グラムスピーチ部分の
頻度YZで3グラムスピーチ部分の頻度XYZを割ることに
よって評価される。従って、例えば、冠詞及び名詞の前
に動詞を見る確率は頻度(VB、AT、NN)に対する頻度
(AT、NN)の比即ち3412/53091=0.064と評価される。
同一の文脈において名詞を見る確率は頻度(NN、AT、N
N)に対する53091の比、即ち、629/53091=0.01と評価
される。他の文脈の確率の評価は同一パターンに従う。
たスピーチ部分Xを見る確率は2グラムスピーチ部分の
頻度YZで3グラムスピーチ部分の頻度XYZを割ることに
よって評価される。従って、例えば、冠詞及び名詞の前
に動詞を見る確率は頻度(VB、AT、NN)に対する頻度
(AT、NN)の比即ち3412/53091=0.064と評価される。
同一の文脈において名詞を見る確率は頻度(NN、AT、N
N)に対する53091の比、即ち、629/53091=0.01と評価
される。他の文脈の確率の評価は同一パターンに従う。
語彙の確率と文脈の確率の積を最適化するワードに対す
るスピーチ部分タグの割当を見つけるために研究がなさ
れている。概念的には、この研究により入力ワードに対
するスピーチ部分のあらゆる可能な割当が列挙される。
この場合、4つの入力ワードがあるがその3つはあいま
いな2つの方法であり入力ワードに対するスピーチ部分
の一組2*2*2*1=8個の可能な割当を次のごとく発
生する: この8個の文の各々は次に語彙の確率と文脈の確率の積
により値を付けられ、そして、最良のシーケンスが選択
される。この場合、第1のシーケンスが抜群である。
るスピーチ部分タグの割当を見つけるために研究がなさ
れている。概念的には、この研究により入力ワードに対
するスピーチ部分のあらゆる可能な割当が列挙される。
この場合、4つの入力ワードがあるがその3つはあいま
いな2つの方法であり入力ワードに対するスピーチ部分
の一組2*2*2*1=8個の可能な割当を次のごとく発
生する: この8個の文の各々は次に語彙の確率と文脈の確率の積
により値を付けられ、そして、最良のシーケンスが選択
される。この場合、第1のシーケンスが抜群である。
実際、この値付け機能は2つ以上のワードを続けて見る
ことができないので、全ての可能な割当を列挙すること
は必要ではない。換言すれば、スピーチ部分のシーケン
スを列挙する方法では、ある場合には恐らく、あるシー
ケンスは他のシーケンスと競争できず、従って、放棄さ
れる。この事実のために、O(n)の通路のみが列挙さ
れる。この最適化を以下に例で示す: まず「bird(鳥)」に対するスピーチ部分の全ての割当
を見付け、そして、その部分的なシーケンスに値を付け
る。今後、全ての値は対数確率として解釈されるべきで
ある。
ことができないので、全ての可能な割当を列挙すること
は必要ではない。換言すれば、スピーチ部分のシーケン
スを列挙する方法では、ある場合には恐らく、あるシー
ケンスは他のシーケンスと競争できず、従って、放棄さ
れる。この事実のために、O(n)の通路のみが列挙さ
れる。この最適化を以下に例で示す: まず「bird(鳥)」に対するスピーチ部分の全ての割当
を見付け、そして、その部分的なシーケンスに値を付け
る。今後、全ての値は対数確率として解釈されるべきで
ある。
(−4.848072「NN」) 「a(1羽)」に対するスピーチ部分の全ての割合を見
付けて値を付ける。この点では、2つの通路が存在す
る、即ち、 (−7.4453945「AT」「NN」) (−15.01957「IN」「NN」) 次に「see(見る)」の割当を見付けて値を付ける。こ
の点では、通路の数は依然として対数的に増大している
ように思われる。
付けて値を付ける。この点では、2つの通路が存在す
る、即ち、 (−7.4453945「AT」「NN」) (−15.01957「IN」「NN」) 次に「see(見る)」の割当を見付けて値を付ける。こ
の点では、通路の数は依然として対数的に増大している
ように思われる。
(−10.1914“VB"“AT"“NN") (−18.54318“VB"“IN"“NN") (−29.974142“UH"“AT"“NN") (−36.53299“UH"“IN"“NN") 次に「I(私)は」の割当を見付けて値を付ける。尚、
「a(1羽)」はフランス語の前置詞INであると仮定す
ることはもはや必要ではない。それは、4つの全ての通
路、即ち、PPSS VB IN NN、NN VB IN NN、PPSS UH IN N
N及びNP UH IN NNは何らかの他の通路よりもよく記録す
ることができず、相対値を任意の追加入力が変え得る方
法は存在しないからである。特に、通路PPSS VB IN NN
は通路PPSS VB AT NNよりも低い値を付け、そして、追
加入力はPPSS VB IN NNを助けない。これは文脈の値付
け機能がスピーチの3つの部分の有限の窓を有している
からであり、そして、それは現存のPPSS及びVBの反対側
をみるには充分ではないからである。
「a(1羽)」はフランス語の前置詞INであると仮定す
ることはもはや必要ではない。それは、4つの全ての通
路、即ち、PPSS VB IN NN、NN VB IN NN、PPSS UH IN N
N及びNP UH IN NNは何らかの他の通路よりもよく記録す
ることができず、相対値を任意の追加入力が変え得る方
法は存在しないからである。特に、通路PPSS VB IN NN
は通路PPSS VB AT NNよりも低い値を付け、そして、追
加入力はPPSS VB IN NNを助けない。これは文脈の値付
け機能がスピーチの3つの部分の有限の窓を有している
からであり、そして、それは現存のPPSS及びVBの反対側
をみるには充分ではないからである。
(−12.297581“PPSS"“VB"“AT"“NN") (−24.177242“NP"“VB"“AT"“NN") (−35.667458“PPSS"“UH"“AT"“NN") (−44.33943“NP"“UH"“AT"“NN) 研究では、範囲外のワードに関する空白のスピーチ部分
を仮定してもう2つの繰り返しを続行する。
を仮定してもう2つの繰り返しを続行する。
(−13.262333空白“PPSS"“VB"“AT"“NN") (−26.5196"空白“NP"“VB"“AT"“NN") 最後に、結果はPPSS VB AT NNである。
(−13.262333 blank blank“PPSS"“VB"“AT"“NN") 幾分更に面白い例はCan they can cans.(かれらは水飲
みコップをかん詰めにできるか)であり、 cans(水飲みコップ)は (−5.456845「NNS」)、ここで「NNS」は「複数名詞」
を表す。
みコップをかん詰めにできるか)であり、 cans(水飲みコップ)は (−5.456845「NNS」)、ここで「NNS」は「複数名詞」
を表す。
can(かん詰めにする)は (−12.603266“NN"“NNS") (−15.935471“VB"“NNS") (−15.946739“MD"“NNS") ここで「MD」は「典型的な助動詞」を表す。
they(彼等)は (−18.02618“PPSS"“MD"“NNS") (−18.779934“PPSS"“VB"“NNS") (−21.411636“PPSS"“NN"“NNS") CAN (−21.766554“MD"“PPSS"“VB"“NNS") (−26.454851“NN"“PPSS"“MD"“NNS") (−28.306572“VB"“PPSS"“MD"“NNS") (−21.932137空白“MD"“PPSS"“VB"“NNS") (−30.170452空白“VB"“PPSS"“MD"“NNS") (−31.453785空白“NN"“PPSS"“MD"“NNS") そして結果はCan/MD they/PPSS can/VB cans/NNSであ
る。
る。
確率を最適化する・・・この方法の他の詳細について
は、表Aを参照。
は、表Aを参照。
この説明はブロック14の動作の説明によって動作の説明
を完結する。
を完結する。
ブロック15で発生する利用の例としては、表示は概念的
に最も簡単ではあるが、特に、人間のオペレータを持つ
相互作用方式では依然として実際的である。第3図と第
4図の説明では以下に更に精巧な例を与える。しかしな
がら、先ず、もう1つのツールを説明することが望まし
い。このツールは本方法の拡張を用いる名詞句の解剖で
ある。
に最も簡単ではあるが、特に、人間のオペレータを持つ
相互作用方式では依然として実際的である。第3図と第
4図の説明では以下に更に精巧な例を与える。しかしな
がら、先ず、もう1つのツールを説明することが望まし
い。このツールは本方法の拡張を用いる名詞句の解剖で
ある。
同様な確率論的な方法は非常に高い精度で単一名詞句を
突き止めるように適用されてきた。ここに提案された方
法は先行解剖の確率論的な類似物である。どの2つのカ
テゴリー(終り又は非終り)の間に開き又は閉じかっこ
を挿入すべきかどうかを述べる表を先行解剖が利用する
ということを思い出してみる。ここに提案された方法は
スピーチの全ての対の部分の間に閉じたかっこ及び開い
たかっこの確率を与える表を利用している。サンプルは
スピーチの5つの部分AT、(冠詞)、NN(単数名詞)、
NNS(非単数名詞)、VB(無語尾変化動詞)、IN(前置
詞)について以下に示してある。これらの確率はBrown
Corpusから選択された訓練材料の約40,000語から評価さ
れた。この訓練材料は面倒な半自動手段により名詞句
(複数)に解剖された。
突き止めるように適用されてきた。ここに提案された方
法は先行解剖の確率論的な類似物である。どの2つのカ
テゴリー(終り又は非終り)の間に開き又は閉じかっこ
を挿入すべきかどうかを述べる表を先行解剖が利用する
ということを思い出してみる。ここに提案された方法は
スピーチの全ての対の部分の間に閉じたかっこ及び開い
たかっこの確率を与える表を利用している。サンプルは
スピーチの5つの部分AT、(冠詞)、NN(単数名詞)、
NNS(非単数名詞)、VB(無語尾変化動詞)、IN(前置
詞)について以下に示してある。これらの確率はBrown
Corpusから選択された訓練材料の約40,000語から評価さ
れた。この訓練材料は面倒な半自動手段により名詞句
(複数)に解剖された。
確率論的な解剖部は入力としてスピーチの一連の部分を
与えられ、そして、名詞句の始めと終りに対応するかっ
こを挿入するよう要求される。概念的には、解剖部は入
力の全ての可能な解剖を列挙し、そして、先行確率によ
りそれらの各々に値を付ける。例えば、入力シーケン
ス:NN VBを考える。このシーケンスにかっこを付けるに
は次の5つの可能な方法がある(帰納は考えない): ・NN VB ・[NN]VB ・[NN VB] ・[NN][VB] ・NN [VB] これらの解剖の各々は6個の先行確率を掛けることによ
り値をつけられる。開いた/閉じたかっこの確率は(NN
の前、NNの後又はVBの後の)3つの位置のどれにも現れ
る(又は現れない)。最高の値をもつ解剖は出力として
戻される。
与えられ、そして、名詞句の始めと終りに対応するかっ
こを挿入するよう要求される。概念的には、解剖部は入
力の全ての可能な解剖を列挙し、そして、先行確率によ
りそれらの各々に値を付ける。例えば、入力シーケン
ス:NN VBを考える。このシーケンスにかっこを付けるに
は次の5つの可能な方法がある(帰納は考えない): ・NN VB ・[NN]VB ・[NN VB] ・[NN][VB] ・NN [VB] これらの解剖の各々は6個の先行確率を掛けることによ
り値をつけられる。開いた/閉じたかっこの確率は(NN
の前、NNの後又はVBの後の)3つの位置のどれにも現れ
る(又は現れない)。最高の値をもつ解剖は出力として
戻される。
この方法はこの方法が如何に簡単であるかを考慮すると
極めて具合よく行われるが、かっこの数を過小評価し、
そして、2つの名詞句を一緒にしてしまう何らかの傾向
がある。
極めて具合よく行われるが、かっこの数を過小評価し、
そして、2つの名詞句を一緒にしてしまう何らかの傾向
がある。
第2図で記載したように、名詞句の解剖はその入力とし
て第1図のスピーチ部分の割当からの出力をとる。しか
しながら、それはスピーチ部分の他のどの割当技術の結
果を使用することもできる。
て第1図のスピーチ部分の割当からの出力をとる。しか
しながら、それはスピーチ部分の他のどの割当技術の結
果を使用することもできる。
いずれの場合にも、ブロック22では、全ての可能な名詞
句の境界が割当られる。ブロック23では、非対の境界が
取り除かれる。各文ごとに、これらはこの文の始めの所
にある終りの境界と、この文の終りのところの開始の境
界を(空白部分を含む)有する。
句の境界が割当られる。ブロック23では、非対の境界が
取り除かれる。各文ごとに、これらはこの文の始めの所
にある終りの境界と、この文の終りのところの開始の境
界を(空白部分を含む)有する。
ブロック24の処理は名詞句の境界の各々の筋の通った割
当に関する確率の木の創作を含む。最高の確率の割当
は、ブロック25で示したように、後での処理、例えば、
結果の利用のために保持される。
当に関する確率の木の創作を含む。最高の確率の割当
は、ブロック25で示したように、後での処理、例えば、
結果の利用のために保持される。
次に本発明の更に特定した利用を述べる。スピーチ部分
のタグ付けはスピーチ合成、スピーチ認識、スペル訂
正、校正、質問の応答、機械翻訳及び大きなテキストデ
ータベースの調査(例えはパテント、新聞)を含む多く
の領域における潜在的な利用の場合の重要な実際問題で
ある。本発明者は、明らかに、発音はスピーチ部分に時
々依存する特にスピーチ合成の用途に興味を持ってい
る。そして、発音がスピーチ部分に依存する次の3つの
例を考えてみる。
のタグ付けはスピーチ合成、スピーチ認識、スペル訂
正、校正、質問の応答、機械翻訳及び大きなテキストデ
ータベースの調査(例えはパテント、新聞)を含む多く
の領域における潜在的な利用の場合の重要な実際問題で
ある。本発明者は、明らかに、発音はスピーチ部分に時
々依存する特にスピーチ合成の用途に興味を持ってい
る。そして、発音がスピーチ部分に依存する次の3つの
例を考えてみる。
第1に、“Wind(風)”のような言葉が存在する。この
場合、この名詞は動詞とは異なる母音を有している。即
ち、名詞「wind(風)」は「the wind is strong(風が
強い)」の場合のように短い母音を有している。一方、
動詞「wind(巻く)」は「Do not forget to wind your
watch(時計のねじを巻くのを忘れるな)」の場合によ
うに長い母音を有している。
場合、この名詞は動詞とは異なる母音を有している。即
ち、名詞「wind(風)」は「the wind is strong(風が
強い)」の場合のように短い母音を有している。一方、
動詞「wind(巻く)」は「Do not forget to wind your
watch(時計のねじを巻くのを忘れるな)」の場合によ
うに長い母音を有している。
第2に、発音「that」には「Did you see THAT(それを
見たか)?」の場合のように強制が置かれ、これは、
「It is a shame that he is leaving(彼が行ってしま
うのは残念だ)」の場合のように補足詞「that」とは異
なっている。
見たか)?」の場合のように強制が置かれ、これは、
「It is a shame that he is leaving(彼が行ってしま
うのは残念だ)」の場合のように補足詞「that」とは異
なっている。
第3に、「oily FLUID(油性流体)」と「TRANSMISSION
fluid(伝送流体)」との差に注意する。概して、「oi
ly FLUID」のような形容詞−名詞のシーケンスは一般的
には右側に強勢が置かれるが、「TRANSMISSION fluid」
のような名詞−名詞のシーケンスは一般的には左側に強
勢が置かれる。これは例えば、1984年ロンドンのJeorge
Allen & Unroin発行のEnglish Word Stressにおい
てErik Fudgeにより述べられている。これらは合成装置
が正確なスピーチ部分情報を利用した場合にはより自然
に響くと思われる多くの構成の内のわずか3つのもので
ある。
fluid(伝送流体)」との差に注意する。概して、「oi
ly FLUID」のような形容詞−名詞のシーケンスは一般的
には右側に強勢が置かれるが、「TRANSMISSION fluid」
のような名詞−名詞のシーケンスは一般的には左側に強
勢が置かれる。これは例えば、1984年ロンドンのJeorge
Allen & Unroin発行のEnglish Word Stressにおい
てErik Fudgeにより述べられている。これらは合成装置
が正確なスピーチ部分情報を利用した場合にはより自然
に響くと思われる多くの構成の内のわずか3つのもので
ある。
第3図では、スピーチ部分タグ付け部31は第1図の方法
を使用するコンピュータである。名詞句解剖部32は第2
図の方法を使用するコンピュータである。
を使用するコンピュータである。名詞句解剖部32は第2
図の方法を使用するコンピュータである。
スピーチ部分タグ付け部31と名詞句解剖部32の出力は統
語論解析機で利用されてC.H.Coker外に発行された米国
特許代3,704,345号の第1図の絶対強勢信号発生器18に
入力信号を提供する。
語論解析機で利用されてC.H.Coker外に発行された米国
特許代3,704,345号の第1図の絶対強勢信号発生器18に
入力信号を提供する。
現在説明されている規則の例としては、名詞句について
の規則を述べる。Fudgeの本のページ144〜149の付録5.1
を注意されたし。
の規則を述べる。Fudgeの本のページ144〜149の付録5.1
を注意されたし。
他の点では、第3図の実施例の動作はCokerの特許の第
1図の実施例に似ている。
1図の実施例に似ている。
同様に、第4図の実施例では、スピーチ部分タグ付け部
41は第1図に説明したように機能し、そして、名詞句解
剖部42は第2図において記載したように機能する。
41は第1図に説明したように機能し、そして、名詞句解
剖部42は第2図において記載したように機能する。
その場合、名詞句及びスピーチ部分情報はテキスト編集
システム43で利用されるが、このシステム43はF.R.Lang
e外に与えられた米国特許第4,674,065号で記載された種
類のものである。特に、スピーチ部分タグ付け部41と名
詞句解剖部42はその中に編集表示を発生するのを助ける
ためにLange外の特許における「スピーチ部分」部33に
対する置換物を与える。これに固有の精度のため第1図
及び第2図の本発明の方法は従来技術の場合よりも更に
有用な編集表示を発生するはずである。
システム43で利用されるが、このシステム43はF.R.Lang
e外に与えられた米国特許第4,674,065号で記載された種
類のものである。特に、スピーチ部分タグ付け部41と名
詞句解剖部42はその中に編集表示を発生するのを助ける
ためにLange外の特許における「スピーチ部分」部33に
対する置換物を与える。これに固有の精度のため第1図
及び第2図の本発明の方法は従来技術の場合よりも更に
有用な編集表示を発生するはずである。
あるいは又、テキスト編集システム43は1981年2月Bell
Telephone Laboratories、Incorporated発行のCompute
r Science Technical Report、No.91 L.L.Cherry外
による「Writing Tools-The STYLE & Diction Program
s」に記載されたWriter's Workbench商標システムであ
ってもよい。本発明の方法はその中において「PARATS」
と示した方法の置換となろう。
Telephone Laboratories、Incorporated発行のCompute
r Science Technical Report、No.91 L.L.Cherry外
による「Writing Tools-The STYLE & Diction Program
s」に記載されたWriter's Workbench商標システムであ
ってもよい。本発明の方法はその中において「PARATS」
と示した方法の置換となろう。
明らかに、本発明の種々の変形は本発明の意図及び範囲
から逸脱せずに成し得る。
から逸脱せずに成し得る。
例えば、Fudgeの本の強勢規則を実施する1つの方法はC
ambridgeのCambridge University Pressによる本、From
Test to Speach:The MIT Talk System(1987)
においてJonathan Allen外により、特に、第10章、「Th
e Fundamental FrequencyGenrerator」で開示されたア
ルゴリズムによるものであろう。
ambridgeのCambridge University Pressによる本、From
Test to Speach:The MIT Talk System(1987)
においてJonathan Allen外により、特に、第10章、「Th
e Fundamental FrequencyGenrerator」で開示されたア
ルゴリズムによるものであろう。
更に、語彙の確率は平滑化により改善することができる
確率のみではない。文脈の頻度もまたZipfの法則に従う
ように見える。即ち、スピーチの3つの部分の全てのシ
ーケンスよりなる組の場合、対数紙におけるそのランク
に対してシーケンスの頻度をプロットしたとき、古典的
な線形関係及びほとんど−1の勾配を観察した。明らか
に、平滑技術は文脈頻度の代替物にも充分応用できる。
同じことは又名詞句の解剖の場合に使用される先行確率
についても云える。
確率のみではない。文脈の頻度もまたZipfの法則に従う
ように見える。即ち、スピーチの3つの部分の全てのシ
ーケンスよりなる組の場合、対数紙におけるそのランク
に対してシーケンスの頻度をプロットしたとき、古典的
な線形関係及びほとんど−1の勾配を観察した。明らか
に、平滑技術は文脈頻度の代替物にも充分応用できる。
同じことは又名詞句の解剖の場合に使用される先行確率
についても云える。
本発明の技術はスピーチ認識のような他の用途にも関連
を有する。スピーチ部分の文脈確率は認識することがで
きる話し言葉の場合に恐らくより良い選択が可能となろ
う。
を有する。スピーチ部分の文脈確率は認識することがで
きる話し言葉の場合に恐らくより良い選択が可能となろ
う。
本発明の技術はC.W.Tompson外に対して1987年4月18日
に発行された米国特許第4,688,194号に開示されたデー
タベースに呼び掛けるシステムにおいて記載されたスピ
ーチ部分のタグ付きの直接の代りとなり得る。
に発行された米国特許第4,688,194号に開示されたデー
タベースに呼び掛けるシステムにおいて記載されたスピ
ーチ部分のタグ付きの直接の代りとなり得る。
本発明の他の変形例及び応用例も又本発明の意図及び範
囲内にある。
囲内にある。
表 A フォームのファイルを入力 〈word〉〈pos〉〈lex_prob〉〈pos〉〈lex_prob〉〈po
s〉〈lex_prob〉・・・ 〈word〉〈pos〉〈lex_prob〉〈pos〉〈lex_prob〉〈po
s〉〈lex_prob〉・・・ 〈word〉〈pos〉〈lex_prob〉〈pos〉〈lex_prob〉〈po
s〉〈lex_prob〉・・・ ・ ・ ・ 〈word〉〈pos〉〈lex_prob〉〈pos〉〈lex_prob〉〈po
s〉〈lex_prob〉・・・ 各ワードは文中のワード(トークン)に(逆の順序で)
対応する。〈pos〉と〈lex_prob〉はスピーチと語彙の
確率の一部である。
s〉〈lex_prob〉・・・ 〈word〉〈pos〉〈lex_prob〉〈pos〉〈lex_prob〉〈po
s〉〈lex_prob〉・・・ 〈word〉〈pos〉〈lex_prob〉〈pos〉〈lex_prob〉〈po
s〉〈lex_prob〉・・・ ・ ・ ・ 〈word〉〈pos〉〈lex_prob〉〈pos〉〈lex_prob〉〈po
s〉〈lex_prob〉・・・ 各ワードは文中のワード(トークン)に(逆の順序で)
対応する。〈pos〉と〈lex_prob〉はスピーチと語彙の
確率の一部である。
スピーチ部分の最良のシーケンスを出力 new_active_paths:={} :非通路の組 通路は一連のスピーチ部分とスコアの記録である。変数
の旧_active_pathは一組のI通路まで初期化され、この
通路は一連の非スピーチ部分とIDの確率値を含む。
の旧_active_pathは一組のI通路まで初期化され、この
通路は一連の非スピーチ部分とIDの確率値を含む。
old_active_paths:={〈paths:[],score:1.0〉}I
通路の組 入力: line:readlin() if(line=end_of_file) goto finish word:=popfield(line) while(ライン空いてない) pos:=popfield(line) lex_prob:=popfield(line) loop for old_path in old_active_paths old_paths:=old_path>parts old score:=old_path>score new_parts:=concalonaic(old_paths, pos) new_score:=lex_prob*old score* contextual_prob (new_paths) new_path:=make_record(new_paths, new_score) if(new_score>score of paths in new_active_paths with the same last two parts of speech) new_active_paths:=add new_path to new_active_paths old_active_paths:=new_active_paths new_active paths:={} goto input 完成: find path in new_active_paths with best score output path−>parts contextual_prob(|…xyz|): return(freq(xyz)/freq(XY)) 出力ファイル: 空白 空白 NN AT VB PPSS 空白 空白 Trace of old_active_paths: (以後値は対数確率と解釈するものとする) ワード“鳥”を処理後,“old_active_paths is{〈部
分:[NN 空白 空白]の値は:−4.848072〉}ワード
“a"を処理後old_active_paths is{〈部分:[AT NN
空白空白]の値は:−7.4453945〉 〈部分:IN NN空白 空白]の値は:−15.01957〉}ワー
ド“see(見る)”の後に {〈部分:[VB AT NN 空白 空白]の値は:−10.191
4〉 〈部分:[VB IN NN 空白 空白]の値は:−18.5431
8〉 〈部分:[UH AT NN 空白 空白]の値は:−29.97414
2〉 〈部分:[UH IN NN空白 空白]の値は:−36:5329
9〉} ワード“I"の後で {〈部分:[PPSS VB AT NN 空白 空白]の値は:−1
2.927581〉 〈部分:[NP VB AT NN 空白 空白]の値は:−24.17
7242〉 〈部分:[PPSS UH AT NN 空白 空白]の値は:−35.
667458〉 〈部分:[NP UH AT NN 空白 空白]の値は:−44.33
943〉} 範囲外のワードの空白スピーチ部分を仮定して更に2回
サーチを繰返す {〈部分:[空白 PPSS VB AT NN空白 空白]の値
は:−13.262333〉 〈部分:[空白 NN VB AT NN 空白 空白]の値は:
−26.5196〉} 最後に {〈部分:[空白空白 PPSS VB AT NN 空白 空白]
の値は:−13.262333〉}
通路の組 入力: line:readlin() if(line=end_of_file) goto finish word:=popfield(line) while(ライン空いてない) pos:=popfield(line) lex_prob:=popfield(line) loop for old_path in old_active_paths old_paths:=old_path>parts old score:=old_path>score new_parts:=concalonaic(old_paths, pos) new_score:=lex_prob*old score* contextual_prob (new_paths) new_path:=make_record(new_paths, new_score) if(new_score>score of paths in new_active_paths with the same last two parts of speech) new_active_paths:=add new_path to new_active_paths old_active_paths:=new_active_paths new_active paths:={} goto input 完成: find path in new_active_paths with best score output path−>parts contextual_prob(|…xyz|): return(freq(xyz)/freq(XY)) 出力ファイル: 空白 空白 NN AT VB PPSS 空白 空白 Trace of old_active_paths: (以後値は対数確率と解釈するものとする) ワード“鳥”を処理後,“old_active_paths is{〈部
分:[NN 空白 空白]の値は:−4.848072〉}ワード
“a"を処理後old_active_paths is{〈部分:[AT NN
空白空白]の値は:−7.4453945〉 〈部分:IN NN空白 空白]の値は:−15.01957〉}ワー
ド“see(見る)”の後に {〈部分:[VB AT NN 空白 空白]の値は:−10.191
4〉 〈部分:[VB IN NN 空白 空白]の値は:−18.5431
8〉 〈部分:[UH AT NN 空白 空白]の値は:−29.97414
2〉 〈部分:[UH IN NN空白 空白]の値は:−36:5329
9〉} ワード“I"の後で {〈部分:[PPSS VB AT NN 空白 空白]の値は:−1
2.927581〉 〈部分:[NP VB AT NN 空白 空白]の値は:−24.17
7242〉 〈部分:[PPSS UH AT NN 空白 空白]の値は:−35.
667458〉 〈部分:[NP UH AT NN 空白 空白]の値は:−44.33
943〉} 範囲外のワードの空白スピーチ部分を仮定して更に2回
サーチを繰返す {〈部分:[空白 PPSS VB AT NN空白 空白]の値
は:−13.262333〉 〈部分:[空白 NN VB AT NN 空白 空白]の値は:
−26.5196〉} 最後に {〈部分:[空白空白 PPSS VB AT NN 空白 空白]
の値は:−13.262333〉}
第1図は本発明によるスピーチ部分割当方法の流れ図で
あって、 第2図は本発明による名詞句解剖方法の流れ図であり、 第3図は第1図と第2図の方法を使用するスピーチ合成
装置のブロック線図であり、及び 第4図は第1図の方法を使用するテキスト編集のブロッ
ク線図である。
あって、 第2図は本発明による名詞句解剖方法の流れ図であり、 第3図は第1図と第2図の方法を使用するスピーチ合成
装置のブロック線図であり、及び 第4図は第1図の方法を使用するテキスト編集のブロッ
ク線図である。
Claims (8)
- 【請求項1】メッセージの記憶された表現を電子的に読
み取り、 各ワードがスピーチの特定部分となるべき語彙の確率を
発生し、及び この主題となるワードに関する語彙の確率に応答すると
共に少なくとも1つの隣接ワードがスピーチの特定部分
となる文脈の確率に応答して、主題のワードがスピーチ
の特定部分となる文脈の確率を選択する段階を有する種
類のメッセージのワードにスピーチの一部分(スピーチ
部という)を割当る自動化方法において、 前記語彙の確率を発生する段階は、 特定のワード、文の前後の空間、及び句読点の符号を、
前記メッセージの非言葉の記録の場合に経験的に決定さ
れる発生頻度を持つ言葉として表現し、 少なくとも特定のワードに関するスピーチ部分の頻度を
平滑化する段階を有し、及び 前記文脈の確率を選択する段階は、少なくとも次のワー
ドを有する近くのワードのスピーチ部分に関する文脈の
確率を最大にすることを含むことを特徴とするスピーチ
部分の決定方法。 - 【請求項2】全ての生じ得る名詞句の境界を割当て、 全ての非対の境界を除去し、及び 文脈上の名詞句の境界の確率を最適化する段階を更に有
することを特徴とする請求項1記載の決定方法。 - 【請求項3】前記最適化段階の結果に依存してワードの
強勢を割当る段階を有することを更に特徴とする請求項
2記載の決定方法。 - 【請求項4】割当られたワードの強勢に応答して前記メ
ッセージに対応するスピーチを合成する手段を更に有す
ることを特徴とする請求項3記載の決定方法。 - 【請求項5】メッセージ内の文脈上の誤りを検出するた
めにこのメッセージ内のワードに関する選択された文脈
上の最高の確率を使用することを更に特徴とする請求項
2記載の決定方法。 - 【請求項6】メッセージ内で、このメッセージ内の各名
詞の付近のワードが名詞句の一部となるかどうかを評価
し、そして、その結果生じる評価を利用する段階を有す
る種類の、適正な確率でスピーチ部分が割当られている
名詞句の始めと終りを決定する自動化方法において、 全ての有り得る名詞句の境界を割当て、 全ての非対の境界を除去し、及び 文脈上の名詞句の境界の確率を最適化する段階を更に有
することを特徴とするスピーチ部分の決定方法。 - 【請求項7】近くのワードのスピーチの部分に関してn
グラム解析によりメッセージ内におけるスピーチ部分を
割当て、そして、この割当段階が、 メッセージの非言葉の記録の場合における経験的に決定
された発生頻度を持つワードとして特定の非ワードを表
し、 前記非ワードの異なる使用の文脈上のスピーチ部分の確
率に関係して特定のスピーチ部分となるべきメッセージ
内の互いの近くのワードの規格化された最適な文脈の確
率を計算する段階を有し、この規格化された文脈の確率
は、空白空間を含む、文の終りにおいて開始することに
より全て決定される、2グラムスピーチ部分の確率によ
り割られた、3グラムスピーチ部分の確率であることを
特徴とする請求項1又は6記載の決定方法。 - 【請求項8】前記発生する段階はスピーチの特定部分と
して比較的低い発生頻度を持つワードのスピーチ部分の
使用について辞書を参照することにより頻度を平滑化
し、及び 前記選択する段階は、 文脈の確率の語彙の確率の積を決定し、及び 同一ワードに関する前の積を越える積を保持することを
含む、数個の可能なスピーチ部分の組み合せに関し前記
決定する段階を反復する段階を更に有し、 前記文脈の確率の語彙の確率の積を決定する場合に、 前記語彙の確率はスピーチの全ての部分としてのワード
の発生頻度により割られた、スピーチの特定部分として
の前記ワードの発生頻度の商として評価され、 前記文脈の確率は2グラム頻度により3グラム頻度を割
ることにより評価され、この場合、 3グラム頻度は2つの続くワードについて既に決定され
ているスピーチの2つの続く部分に対するシーケンスに
おけるスピーチのその特定部分の発生頻度であり、そし
て、 2グラム頻度は、次に続くワードについて既に決定され
ているスピーチの次に続く部分に対するシーケンスにお
いて次のワードのスピーチの特定部分の発生頻度である
ことを特徴とする請求項1記載の決定方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US07/152,740 US5146405A (en) | 1988-02-05 | 1988-02-05 | Methods for part-of-speech determination and usage |
US152,740 | 1988-02-05 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH01224796A JPH01224796A (ja) | 1989-09-07 |
JPH0769910B2 true JPH0769910B2 (ja) | 1995-07-31 |
Family
ID=22544213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP1024794A Expired - Fee Related JPH0769910B2 (ja) | 1988-02-05 | 1989-02-04 | スピーチ部分の決定方法 |
Country Status (9)
Country | Link |
---|---|
US (1) | US5146405A (ja) |
EP (1) | EP0327266B1 (ja) |
JP (1) | JPH0769910B2 (ja) |
KR (1) | KR970006402B1 (ja) |
AU (1) | AU617749B2 (ja) |
CA (1) | CA1301345C (ja) |
DE (1) | DE68923981T2 (ja) |
ES (1) | ES2076952T3 (ja) |
IN (1) | IN175380B (ja) |
Families Citing this family (195)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5530863A (en) * | 1989-05-19 | 1996-06-25 | Fujitsu Limited | Programming language processing system with program translation performed by term rewriting with pattern matching |
US5157759A (en) * | 1990-06-28 | 1992-10-20 | At&T Bell Laboratories | Written language parser system |
US5418717A (en) * | 1990-08-27 | 1995-05-23 | Su; Keh-Yih | Multiple score language processing system |
JP2764343B2 (ja) * | 1990-09-07 | 1998-06-11 | 富士通株式会社 | 節/句境界抽出方式 |
NL9100849A (nl) * | 1991-05-16 | 1992-12-16 | Oce Nederland Bv | Werkwijze voor het met behulp van een computersysteem corrigeren van een fout in een, in een natuurlijke taal gestelde zin, alsmede een inrichting geschikt voor het uitvoeren van deze werkwijze. |
US5477451A (en) * | 1991-07-25 | 1995-12-19 | International Business Machines Corp. | Method and system for natural language translation |
US5475796A (en) * | 1991-12-20 | 1995-12-12 | Nec Corporation | Pitch pattern generation apparatus |
US5541836A (en) * | 1991-12-30 | 1996-07-30 | At&T Corp. | Word disambiguation apparatus and methods |
US5267345A (en) * | 1992-02-10 | 1993-11-30 | International Business Machines Corporation | Speech recognition apparatus which predicts word classes from context and words from word classes |
US5383120A (en) * | 1992-03-02 | 1995-01-17 | General Electric Company | Method for tagging collocations in text |
US5293584A (en) * | 1992-05-21 | 1994-03-08 | International Business Machines Corporation | Speech recognition system for natural language translation |
JPH06195373A (ja) * | 1992-12-24 | 1994-07-15 | Sharp Corp | 機械翻訳装置 |
US5440481A (en) * | 1992-10-28 | 1995-08-08 | The United States Of America As Represented By The Secretary Of The Navy | System and method for database tomography |
JPH0756957A (ja) * | 1993-08-03 | 1995-03-03 | Xerox Corp | ユーザへの情報提供方法 |
US5873056A (en) * | 1993-10-12 | 1999-02-16 | The Syracuse University | Natural language processing system for semantic vector representation which accounts for lexical ambiguity |
WO1995010832A1 (en) * | 1993-10-15 | 1995-04-20 | At & T Corp. | A method for training a system, the resulting apparatus, and method of use thereof |
JP2986345B2 (ja) * | 1993-10-18 | 1999-12-06 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 音声記録指標化装置及び方法 |
US5510981A (en) * | 1993-10-28 | 1996-04-23 | International Business Machines Corporation | Language translation apparatus and method using context-based translation models |
SE513456C2 (sv) * | 1994-05-10 | 2000-09-18 | Telia Ab | Metod och anordning vid tal- till textomvandling |
US5537317A (en) * | 1994-06-01 | 1996-07-16 | Mitsubishi Electric Research Laboratories Inc. | System for correcting grammer based parts on speech probability |
US5485372A (en) * | 1994-06-01 | 1996-01-16 | Mitsubishi Electric Research Laboratories, Inc. | System for underlying spelling recovery |
US5610812A (en) * | 1994-06-24 | 1997-03-11 | Mitsubishi Electric Information Technology Center America, Inc. | Contextual tagger utilizing deterministic finite state transducer |
US5850561A (en) * | 1994-09-23 | 1998-12-15 | Lucent Technologies Inc. | Glossary construction tool |
US5721938A (en) * | 1995-06-07 | 1998-02-24 | Stuckey; Barbara K. | Method and device for parsing and analyzing natural language sentences and text |
AU5969896A (en) * | 1995-06-07 | 1996-12-30 | International Language Engineering Corporation | Machine assisted translation tools |
CA2221762C (en) * | 1995-06-13 | 2002-08-20 | British Telecommunications Public Limited Company | Ideal phonetic unit duration adjustment for text-to-speech system |
US5873660A (en) * | 1995-06-19 | 1999-02-23 | Microsoft Corporation | Morphological search and replace |
US5828991A (en) * | 1995-06-30 | 1998-10-27 | The Research Foundation Of The State University Of New York | Sentence reconstruction using word ambiguity resolution |
US5794177A (en) * | 1995-07-19 | 1998-08-11 | Inso Corporation | Method and apparatus for morphological analysis and generation of natural language text |
US5680628A (en) * | 1995-07-19 | 1997-10-21 | Inso Corporation | Method and apparatus for automated search and retrieval process |
US5721902A (en) * | 1995-09-15 | 1998-02-24 | Infonautics Corporation | Restricted expansion of query terms using part of speech tagging |
US5819260A (en) * | 1996-01-22 | 1998-10-06 | Lexis-Nexis | Phrase recognition method and apparatus |
SG49804A1 (en) * | 1996-03-20 | 1998-06-15 | Government Of Singapore Repres | Parsing and translating natural language sentences automatically |
US5999896A (en) * | 1996-06-25 | 1999-12-07 | Microsoft Corporation | Method and system for identifying and resolving commonly confused words in a natural language parser |
US5878386A (en) * | 1996-06-28 | 1999-03-02 | Microsoft Corporation | Natural language parser with dictionary-based part-of-speech probabilities |
US5802533A (en) * | 1996-08-07 | 1998-09-01 | Walker; Randall C. | Text processor |
US6279017B1 (en) * | 1996-08-07 | 2001-08-21 | Randall C. Walker | Method and apparatus for displaying text based upon attributes found within the text |
US6823301B1 (en) * | 1997-03-04 | 2004-11-23 | Hiroshi Ishikura | Language analysis using a reading point |
US7672829B2 (en) * | 1997-03-04 | 2010-03-02 | Hiroshi Ishikura | Pivot translation method and system |
AU9455498A (en) * | 1997-09-24 | 1999-04-12 | Scansoft, Inc. | Apparatus and method for distinguishing similar-sounding utterances in speech recognition |
US6182028B1 (en) | 1997-11-07 | 2001-01-30 | Motorola, Inc. | Method, device and system for part-of-speech disambiguation |
US6260008B1 (en) * | 1998-01-08 | 2001-07-10 | Sharp Kabushiki Kaisha | Method of and system for disambiguating syntactic word multiples |
US6098042A (en) * | 1998-01-30 | 2000-08-01 | International Business Machines Corporation | Homograph filter for speech synthesis system |
GB9806085D0 (en) * | 1998-03-23 | 1998-05-20 | Xerox Corp | Text summarisation using light syntactic parsing |
CN1159662C (zh) | 1998-05-13 | 2004-07-28 | 国际商业机器公司 | 连续语音识别中的标点符号自动生成装置及方法 |
US6167370A (en) * | 1998-09-09 | 2000-12-26 | Invention Machine Corporation | Document semantic analysis/selection with knowledge creativity capability utilizing subject-action-object (SAO) structures |
US6185524B1 (en) * | 1998-12-31 | 2001-02-06 | Lernout & Hauspie Speech Products N.V. | Method and apparatus for automatic identification of word boundaries in continuous text and computation of word boundary scores |
EP1266313A2 (en) | 1999-03-19 | 2002-12-18 | Trados GmbH | Workflow management system |
DE19942171A1 (de) * | 1999-09-03 | 2001-03-15 | Siemens Ag | Verfahren zur Satzendebestimmung in der automatischen Sprachverarbeitung |
US20060116865A1 (en) | 1999-09-17 | 2006-06-01 | Www.Uniscape.Com | E-services translation utilizing machine translation and translation memory |
AU2621301A (en) * | 1999-11-01 | 2001-05-14 | Kurzweil Cyberart Technologies, Inc. | Computer generated poetry system |
US7725307B2 (en) | 1999-11-12 | 2010-05-25 | Phoenix Solutions, Inc. | Query engine for processing voice based queries including semantic decoding |
US7392185B2 (en) | 1999-11-12 | 2008-06-24 | Phoenix Solutions, Inc. | Speech based learning/training system using semantic decoding |
US7050977B1 (en) * | 1999-11-12 | 2006-05-23 | Phoenix Solutions, Inc. | Speech-enabled server for internet website and method |
US9076448B2 (en) | 1999-11-12 | 2015-07-07 | Nuance Communications, Inc. | Distributed real time speech recognition system |
US6665640B1 (en) | 1999-11-12 | 2003-12-16 | Phoenix Solutions, Inc. | Interactive speech based learning/training system formulating search queries based on natural language parsing of recognized user queries |
US6633846B1 (en) | 1999-11-12 | 2003-10-14 | Phoenix Solutions, Inc. | Distributed realtime speech recognition system |
US6615172B1 (en) | 1999-11-12 | 2003-09-02 | Phoenix Solutions, Inc. | Intelligent query engine for processing voice based queries |
US7120574B2 (en) | 2000-04-03 | 2006-10-10 | Invention Machine Corporation | Synonym extension of search queries with validation |
US7962326B2 (en) * | 2000-04-20 | 2011-06-14 | Invention Machine Corporation | Semantic answering system and method |
US6684202B1 (en) * | 2000-05-31 | 2004-01-27 | Lexis Nexis | Computer-based system and method for finding rules of law in text |
US6810375B1 (en) | 2000-05-31 | 2004-10-26 | Hapax Limited | Method for segmentation of text |
US6941513B2 (en) | 2000-06-15 | 2005-09-06 | Cognisphere, Inc. | System and method for text structuring and text generation |
US6952666B1 (en) * | 2000-07-20 | 2005-10-04 | Microsoft Corporation | Ranking parser for a natural language processing system |
US6741988B1 (en) | 2000-08-11 | 2004-05-25 | Attensity Corporation | Relational text index creation and searching |
US6732097B1 (en) | 2000-08-11 | 2004-05-04 | Attensity Corporation | Relational text index creation and searching |
US6738765B1 (en) | 2000-08-11 | 2004-05-18 | Attensity Corporation | Relational text index creation and searching |
US6732098B1 (en) | 2000-08-11 | 2004-05-04 | Attensity Corporation | Relational text index creation and searching |
US6728707B1 (en) | 2000-08-11 | 2004-04-27 | Attensity Corporation | Relational text index creation and searching |
US7171349B1 (en) | 2000-08-11 | 2007-01-30 | Attensity Corporation | Relational text index creation and searching |
US8272873B1 (en) | 2000-10-16 | 2012-09-25 | Progressive Language, Inc. | Language learning system |
DE10057634C2 (de) * | 2000-11-21 | 2003-01-30 | Bosch Gmbh Robert | Verfahren zur Verarbeitung von Text in einer Rechnereinheit und Rechnereinheit |
US6978239B2 (en) * | 2000-12-04 | 2005-12-20 | Microsoft Corporation | Method and apparatus for speech synthesis without prosody modification |
US7263488B2 (en) * | 2000-12-04 | 2007-08-28 | Microsoft Corporation | Method and apparatus for identifying prosodic word boundaries |
US6910004B2 (en) * | 2000-12-19 | 2005-06-21 | Xerox Corporation | Method and computer system for part-of-speech tagging of incomplete sentences |
US20020129066A1 (en) * | 2000-12-28 | 2002-09-12 | Milward David R. | Computer implemented method for reformatting logically complex clauses in an electronic text-based document |
US6859771B2 (en) * | 2001-04-23 | 2005-02-22 | Microsoft Corporation | System and method for identifying base noun phrases |
WO2002097663A1 (en) * | 2001-05-31 | 2002-12-05 | University Of Southern California | Integer programming decoder for machine translation |
US8214196B2 (en) * | 2001-07-03 | 2012-07-03 | University Of Southern California | Syntax-based statistical translation model |
US9009590B2 (en) * | 2001-07-31 | 2015-04-14 | Invention Machines Corporation | Semantic processor for recognition of cause-effect relations in natural language documents |
JP2003242176A (ja) * | 2001-12-13 | 2003-08-29 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
US6988063B2 (en) * | 2002-02-12 | 2006-01-17 | Sunflare Co., Ltd. | System and method for accurate grammar analysis using a part-of-speech tagged (POST) parser and learners' model |
WO2004001623A2 (en) | 2002-03-26 | 2003-12-31 | University Of Southern California | Constructing a translation lexicon from comparable, non-parallel corpora |
US20030191645A1 (en) * | 2002-04-05 | 2003-10-09 | Guojun Zhou | Statistical pronunciation model for text to speech |
CA2530899C (en) | 2002-06-28 | 2013-06-25 | Conceptual Speech, Llc | Multi-phoneme streamer and knowledge representation speech recognition system and method |
US7567902B2 (en) * | 2002-09-18 | 2009-07-28 | Nuance Communications, Inc. | Generating speech recognition grammars from a large corpus of data |
JP2006509307A (ja) * | 2002-12-06 | 2006-03-16 | アテンシティ コーポレーション | 混合データ統合サービスの提供システム及び提供方法 |
US10733976B2 (en) * | 2003-03-01 | 2020-08-04 | Robert E. Coifman | Method and apparatus for improving the transcription accuracy of speech recognition software |
US7496498B2 (en) * | 2003-03-24 | 2009-02-24 | Microsoft Corporation | Front-end architecture for a multi-lingual text-to-speech system |
KR100481598B1 (ko) * | 2003-05-26 | 2005-04-08 | 한국전자통신연구원 | 복합 형태소 분석 장치 및 방법 |
US7711545B2 (en) * | 2003-07-02 | 2010-05-04 | Language Weaver, Inc. | Empirical methods for splitting compound words with application to machine translation |
US8548794B2 (en) | 2003-07-02 | 2013-10-01 | University Of Southern California | Statistical noun phrase translation |
US7475010B2 (en) * | 2003-09-03 | 2009-01-06 | Lingospot, Inc. | Adaptive and scalable method for resolving natural language ambiguities |
US7813916B2 (en) | 2003-11-18 | 2010-10-12 | University Of Utah | Acquisition and application of contextual role knowledge for coreference resolution |
US7983896B2 (en) | 2004-03-05 | 2011-07-19 | SDL Language Technology | In-context exact (ICE) matching |
US20100262621A1 (en) * | 2004-03-05 | 2010-10-14 | Russ Ross | In-context exact (ice) matching |
US7698125B2 (en) * | 2004-03-15 | 2010-04-13 | Language Weaver, Inc. | Training tree transducers for probabilistic operations |
US8296127B2 (en) * | 2004-03-23 | 2012-10-23 | University Of Southern California | Discovery of parallel text portions in comparable collections of corpora and training using comparable texts |
US8666725B2 (en) * | 2004-04-16 | 2014-03-04 | University Of Southern California | Selection and use of nonstatistical translation components in a statistical machine translation framework |
US7664748B2 (en) * | 2004-07-12 | 2010-02-16 | John Eric Harrity | Systems and methods for changing symbol sequences in documents |
GB2417103A (en) * | 2004-08-11 | 2006-02-15 | Sdl Plc | Natural language translation system |
DE112005002534T5 (de) | 2004-10-12 | 2007-11-08 | University Of Southern California, Los Angeles | Training für eine Text-Text-Anwendung, die eine Zeichenketten-Baum-Umwandlung zum Training und Decodieren verwendet |
US20060122834A1 (en) * | 2004-12-03 | 2006-06-08 | Bennett Ian M | Emotion detection device & method for use in distributed systems |
US8676563B2 (en) | 2009-10-01 | 2014-03-18 | Language Weaver, Inc. | Providing human-generated and machine-generated trusted translations |
US8886517B2 (en) | 2005-06-17 | 2014-11-11 | Language Weaver, Inc. | Trust scoring for language translation systems |
US7974833B2 (en) | 2005-06-21 | 2011-07-05 | Language Weaver, Inc. | Weighted system of expressing language information using a compact notation |
JP2007024960A (ja) | 2005-07-12 | 2007-02-01 | Internatl Business Mach Corp <Ibm> | システム、プログラムおよび制御方法 |
US7389222B1 (en) | 2005-08-02 | 2008-06-17 | Language Weaver, Inc. | Task parallelization in a text-to-text system |
US7813918B2 (en) * | 2005-08-03 | 2010-10-12 | Language Weaver, Inc. | Identifying documents which form translated pairs, within a document collection |
JP2007058509A (ja) * | 2005-08-24 | 2007-03-08 | Toshiba Corp | 言語処理システム |
US8700404B1 (en) * | 2005-08-27 | 2014-04-15 | At&T Intellectual Property Ii, L.P. | System and method for using semantic and syntactic graphs for utterance classification |
US7624020B2 (en) * | 2005-09-09 | 2009-11-24 | Language Weaver, Inc. | Adapter for allowing both online and offline training of a text to text system |
US10319252B2 (en) | 2005-11-09 | 2019-06-11 | Sdl Inc. | Language capability assessment and training apparatus and techniques |
US20100280818A1 (en) * | 2006-03-03 | 2010-11-04 | Childers Stephen R | Key Talk |
US8943080B2 (en) | 2006-04-07 | 2015-01-27 | University Of Southern California | Systems and methods for identifying parallel documents and sentence fragments in multilingual document collections |
EP2024863B1 (en) | 2006-05-07 | 2018-01-10 | Varcode Ltd. | A system and method for improved quality management in a product logistic chain |
US7562811B2 (en) | 2007-01-18 | 2009-07-21 | Varcode Ltd. | System and method for improved quality management in a product logistic chain |
US8886518B1 (en) | 2006-08-07 | 2014-11-11 | Language Weaver, Inc. | System and method for capitalizing machine translated text |
US8521506B2 (en) | 2006-09-21 | 2013-08-27 | Sdl Plc | Computer-implemented method, computer software and apparatus for use in a translation system |
US9633005B2 (en) | 2006-10-10 | 2017-04-25 | Abbyy Infopoisk Llc | Exhaustive automatic processing of textual information |
US9235573B2 (en) | 2006-10-10 | 2016-01-12 | Abbyy Infopoisk Llc | Universal difference measure |
US9047275B2 (en) | 2006-10-10 | 2015-06-02 | Abbyy Infopoisk Llc | Methods and systems for alignment of parallel text corpora |
US8548795B2 (en) * | 2006-10-10 | 2013-10-01 | Abbyy Software Ltd. | Method for translating documents from one language into another using a database of translations, a terminology dictionary, a translation dictionary, and a machine translation system |
US8214199B2 (en) * | 2006-10-10 | 2012-07-03 | Abbyy Software, Ltd. | Systems for translating sentences between languages using language-independent semantic structures and ratings of syntactic constructions |
US8195447B2 (en) | 2006-10-10 | 2012-06-05 | Abbyy Software Ltd. | Translating sentences between languages using language-independent semantic structures and ratings of syntactic constructions |
US20080086298A1 (en) * | 2006-10-10 | 2008-04-10 | Anisimovich Konstantin | Method and system for translating sentences between langauges |
US9984071B2 (en) | 2006-10-10 | 2018-05-29 | Abbyy Production Llc | Language ambiguity detection of text |
US8145473B2 (en) | 2006-10-10 | 2012-03-27 | Abbyy Software Ltd. | Deep model statistics method for machine translation |
US9645993B2 (en) | 2006-10-10 | 2017-05-09 | Abbyy Infopoisk Llc | Method and system for semantic searching |
US8433556B2 (en) | 2006-11-02 | 2013-04-30 | University Of Southern California | Semi-supervised training for statistical word alignment |
US9122674B1 (en) | 2006-12-15 | 2015-09-01 | Language Weaver, Inc. | Use of annotations in statistical machine translation |
WO2008083504A1 (en) * | 2007-01-10 | 2008-07-17 | Nick Koudas | Method and system for information discovery and text analysis |
US8468149B1 (en) | 2007-01-26 | 2013-06-18 | Language Weaver, Inc. | Multi-lingual online community |
US8615389B1 (en) | 2007-03-16 | 2013-12-24 | Language Weaver, Inc. | Generation and exploitation of an approximate language model |
US8959011B2 (en) | 2007-03-22 | 2015-02-17 | Abbyy Infopoisk Llc | Indicating and correcting errors in machine translation systems |
US8831928B2 (en) | 2007-04-04 | 2014-09-09 | Language Weaver, Inc. | Customizable machine translation service |
EP2156369B1 (en) | 2007-05-06 | 2015-09-02 | Varcode Ltd. | A system and method for quality management utilizing barcode indicators |
KR100887726B1 (ko) * | 2007-05-28 | 2009-03-12 | 엔에이치엔(주) | 자동 띄어쓰기 방법 및 그 시스템 |
US8825466B1 (en) | 2007-06-08 | 2014-09-02 | Language Weaver, Inc. | Modification of annotated bilingual segment pairs in syntax-based machine translation |
US8812296B2 (en) | 2007-06-27 | 2014-08-19 | Abbyy Infopoisk Llc | Method and system for natural language dictionary generation |
US8914278B2 (en) * | 2007-08-01 | 2014-12-16 | Ginger Software, Inc. | Automatic context sensitive language correction and enhancement using an internet corpus |
US8595642B1 (en) | 2007-10-04 | 2013-11-26 | Great Northern Research, LLC | Multiple shell multi faceted graphical user interface |
US8500014B2 (en) | 2007-11-14 | 2013-08-06 | Varcode Ltd. | System and method for quality management utilizing barcode indicators |
US11704526B2 (en) | 2008-06-10 | 2023-07-18 | Varcode Ltd. | Barcoded indicators for quality management |
US9262409B2 (en) | 2008-08-06 | 2016-02-16 | Abbyy Infopoisk Llc | Translation of a selected text fragment of a screen |
US8190423B2 (en) * | 2008-09-05 | 2012-05-29 | Trigent Software Ltd. | Word sense disambiguation using emergent categories |
GB2468278A (en) * | 2009-03-02 | 2010-09-08 | Sdl Plc | Computer assisted natural language translation outputs selectable target text associated in bilingual corpus with input target text from partial translation |
US9262403B2 (en) * | 2009-03-02 | 2016-02-16 | Sdl Plc | Dynamic generation of auto-suggest dictionary for natural language translation |
WO2010105214A2 (en) * | 2009-03-13 | 2010-09-16 | Invention Machine Corporation | Question-answering system and method based on semantic labeling of text documents and user questions |
US8990064B2 (en) | 2009-07-28 | 2015-03-24 | Language Weaver, Inc. | Translating documents based on content |
CA2774278C (en) * | 2009-09-25 | 2018-10-30 | Shady Shehata | Methods and systems for extracting keyphrases from natural text for search engine indexing |
US8380486B2 (en) | 2009-10-01 | 2013-02-19 | Language Weaver, Inc. | Providing machine-generated translations and corresponding trust levels |
US20110161073A1 (en) * | 2009-12-29 | 2011-06-30 | Dynavox Systems, Llc | System and method of disambiguating and selecting dictionary definitions for one or more target words |
US20110161067A1 (en) * | 2009-12-29 | 2011-06-30 | Dynavox Systems, Llc | System and method of using pos tagging for symbol assignment |
KR20120125310A (ko) * | 2010-02-01 | 2012-11-14 | 진저 소프트웨어 인코퍼레이티드 | 특히 소형 키보드 디바이스를 위한 인터넷 코퍼스를 사용하는 자동 문맥 감응식 언어 교정 |
US10417646B2 (en) | 2010-03-09 | 2019-09-17 | Sdl Inc. | Predicting the cost associated with translating textual content |
US8788260B2 (en) * | 2010-05-11 | 2014-07-22 | Microsoft Corporation | Generating snippets based on content features |
US9128929B2 (en) | 2011-01-14 | 2015-09-08 | Sdl Language Technologies | Systems and methods for automatically estimating a translation time including preparation time in addition to the translation itself |
US11003838B2 (en) | 2011-04-18 | 2021-05-11 | Sdl Inc. | Systems and methods for monitoring post translation editing |
US8694303B2 (en) | 2011-06-15 | 2014-04-08 | Language Weaver, Inc. | Systems and methods for tuning parameters in statistical machine translation |
EP2546760A1 (en) | 2011-07-11 | 2013-01-16 | Accenture Global Services Limited | Provision of user input in systems for jointly discovering topics and sentiment |
US8620837B2 (en) | 2011-07-11 | 2013-12-31 | Accenture Global Services Limited | Determination of a basis for a new domain model based on a plurality of learned models |
US8676730B2 (en) * | 2011-07-11 | 2014-03-18 | Accenture Global Services Limited | Sentiment classifiers based on feature extraction |
US8886515B2 (en) | 2011-10-19 | 2014-11-11 | Language Weaver, Inc. | Systems and methods for enhancing machine translation post edit review processes |
US8942973B2 (en) | 2012-03-09 | 2015-01-27 | Language Weaver, Inc. | Content page URL translation |
US8989485B2 (en) | 2012-04-27 | 2015-03-24 | Abbyy Development Llc | Detecting a junction in a text line of CJK characters |
US8971630B2 (en) | 2012-04-27 | 2015-03-03 | Abbyy Development Llc | Fast CJK character recognition |
US10261994B2 (en) | 2012-05-25 | 2019-04-16 | Sdl Inc. | Method and system for automatic management of reputation of translators |
US9263059B2 (en) | 2012-09-28 | 2016-02-16 | International Business Machines Corporation | Deep tagging background noises |
US8807422B2 (en) | 2012-10-22 | 2014-08-19 | Varcode Ltd. | Tamper-proof quality management barcode indicators |
EP2915068A4 (en) | 2012-11-02 | 2016-08-03 | Fido Labs Inc | METHOD AND SYSTEM FOR NATURAL LANGUAGE PROCESSING |
US9152622B2 (en) | 2012-11-26 | 2015-10-06 | Language Weaver, Inc. | Personalized machine translation via online adaptation |
US9811517B2 (en) | 2013-01-29 | 2017-11-07 | Tencent Technology (Shenzhen) Company Limited | Method and system of adding punctuation and establishing language model using a punctuation weighting applied to chinese speech recognized text |
CN103971684B (zh) * | 2013-01-29 | 2015-12-09 | 腾讯科技(深圳)有限公司 | 一种添加标点的方法、***及其语言模型建立方法、装置 |
CN104143331B (zh) | 2013-05-24 | 2015-12-09 | 腾讯科技(深圳)有限公司 | 一种添加标点的方法和*** |
US9311299B1 (en) * | 2013-07-31 | 2016-04-12 | Google Inc. | Weakly supervised part-of-speech tagging with coupled token and type constraints |
US9213694B2 (en) | 2013-10-10 | 2015-12-15 | Language Weaver, Inc. | Efficient online domain adaptation |
DE202013104836U1 (de) | 2013-10-29 | 2014-01-30 | Foseco International Limited | Speiseraufbau |
RU2592395C2 (ru) | 2013-12-19 | 2016-07-20 | Общество с ограниченной ответственностью "Аби ИнфоПоиск" | Разрешение семантической неоднозначности при помощи статистического анализа |
RU2586577C2 (ru) | 2014-01-15 | 2016-06-10 | Общество с ограниченной ответственностью "Аби ИнфоПоиск" | Фильтрация дуг в синтаксическом графе |
GB2542288A (en) * | 2014-04-25 | 2017-03-15 | Mayo Foundation | Enhancing reading accuracy, efficiency and retention |
RU2596600C2 (ru) | 2014-09-02 | 2016-09-10 | Общество с ограниченной ответственностью "Аби Девелопмент" | Способы и системы обработки изображений математических выражений |
US9626358B2 (en) | 2014-11-26 | 2017-04-18 | Abbyy Infopoisk Llc | Creating ontologies by analyzing natural language texts |
KR20170140808A (ko) * | 2015-03-10 | 2017-12-21 | 에이심메트리카 랩스 인코퍼레이티드 | 단어 사이의 불확실성에 따른 단어 공백의 비대칭 포맷팅을 위한 시스템 및 방법 |
US9703394B2 (en) * | 2015-03-24 | 2017-07-11 | Google Inc. | Unlearning techniques for adaptive language models in text entry |
JP6649472B2 (ja) | 2015-05-18 | 2020-02-19 | バーコード リミティド | 活性化可能な品質表示ラベルのための熱変色性インク証印 |
CA2991275A1 (en) | 2015-07-07 | 2017-01-12 | Varcode Ltd. | Electronic quality indicator |
US10635863B2 (en) | 2017-10-30 | 2020-04-28 | Sdl Inc. | Fragment recall and adaptive automated translation |
US10817676B2 (en) | 2017-12-27 | 2020-10-27 | Sdl Inc. | Intelligent routing services and systems |
US10956670B2 (en) | 2018-03-03 | 2021-03-23 | Samurai Labs Sp. Z O.O. | System and method for detecting undesirable and potentially harmful online behavior |
US10599767B1 (en) * | 2018-05-31 | 2020-03-24 | The Ultimate Software Group, Inc. | System for providing intelligent part of speech processing of complex natural language |
US11256867B2 (en) | 2018-10-09 | 2022-02-22 | Sdl Inc. | Systems and methods of machine learning for digital assets and message creation |
RU2721190C1 (ru) | 2018-12-25 | 2020-05-18 | Общество с ограниченной ответственностью "Аби Продакшн" | Обучение нейронных сетей с использованием функций потерь, отражающих зависимости между соседними токенами |
CN111353295A (zh) * | 2020-02-27 | 2020-06-30 | 广东博智林机器人有限公司 | 序列标注方法、装置、存储介质及计算机设备 |
US11594213B2 (en) * | 2020-03-03 | 2023-02-28 | Rovi Guides, Inc. | Systems and methods for interpreting natural language search queries |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3704345A (en) * | 1971-03-19 | 1972-11-28 | Bell Telephone Labor Inc | Conversion of printed text into synthetic speech |
JPS58175074A (ja) * | 1982-04-07 | 1983-10-14 | Toshiba Corp | 構文分析方式 |
US4456973A (en) * | 1982-04-30 | 1984-06-26 | International Business Machines Corporation | Automatic text grade level analyzer for a text processing system |
US4674065A (en) * | 1982-04-30 | 1987-06-16 | International Business Machines Corporation | System for detecting and correcting contextual errors in a text processing system |
US4688195A (en) * | 1983-01-28 | 1987-08-18 | Texas Instruments Incorporated | Natural-language interface generating system |
US4580218A (en) * | 1983-09-08 | 1986-04-01 | At&T Bell Laboratories | Indexing subject-locating method |
US4692941A (en) * | 1984-04-10 | 1987-09-08 | First Byte | Real-time text-to-speech conversion system |
JPS6140672A (ja) * | 1984-07-31 | 1986-02-26 | Hitachi Ltd | 多品詞解消処理方式 |
-
1988
- 1988-02-05 US US07/152,740 patent/US5146405A/en not_active Expired - Lifetime
-
1989
- 1989-01-27 DE DE68923981T patent/DE68923981T2/de not_active Expired - Fee Related
- 1989-01-27 ES ES89300790T patent/ES2076952T3/es not_active Expired - Lifetime
- 1989-01-27 EP EP89300790A patent/EP0327266B1/en not_active Expired - Lifetime
- 1989-02-01 AU AU28990/89A patent/AU617749B2/en not_active Ceased
- 1989-02-03 CA CA000590100A patent/CA1301345C/en not_active Expired - Fee Related
- 1989-02-04 JP JP1024794A patent/JPH0769910B2/ja not_active Expired - Fee Related
- 1989-02-04 KR KR1019890001364A patent/KR970006402B1/ko not_active IP Right Cessation
-
1990
- 1990-01-16 IN IN46MA1990 patent/IN175380B/en unknown
Also Published As
Publication number | Publication date |
---|---|
JPH01224796A (ja) | 1989-09-07 |
EP0327266A3 (en) | 1992-01-02 |
EP0327266B1 (en) | 1995-08-30 |
DE68923981D1 (de) | 1995-10-05 |
ES2076952T3 (es) | 1995-11-16 |
KR970006402B1 (ko) | 1997-04-28 |
AU617749B2 (en) | 1991-12-05 |
US5146405A (en) | 1992-09-08 |
KR890013549A (ko) | 1989-09-23 |
EP0327266A2 (en) | 1989-08-09 |
DE68923981T2 (de) | 1996-05-15 |
CA1301345C (en) | 1992-05-19 |
IN175380B (ja) | 1995-06-10 |
AU2899089A (en) | 1989-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH0769910B2 (ja) | スピーチ部分の決定方法 | |
Longacre | Grammar discovery procedures: a field manual | |
Biber et al. | Grammatical complexity in academic English: Linguistic change in writing | |
Lüdeling et al. | Corpus linguistics | |
Kubala et al. | Named entity extraction from speech | |
Gaizauskas et al. | University of Sheffield: Description of the LaSIE system as used for MUC-6 | |
Oostdijk | Corpus linguistics and the automatic analysis of English | |
Wan et al. | Speech errors and the representation of tone in Mandarin Chinese | |
EP0525470A2 (en) | Method and system for natural language translation | |
Adams | Latin and Punic in contact? The case of the Bu Njem ostraca | |
Bird | Sparse transcription | |
Verberne | Context-sensitive spell checking based on word trigram probabilities | |
Barker et al. | Systematic construction of a versatile case system | |
King | Stochastic methods of mechanical translation | |
Mair | Quantitative or qualitative corpus analysis? Infinitival complement clauses in the Survey of English Usage corpus | |
Maier | Annotation schemes and their influence on parsing results | |
Murodi et al. | Examining Coherence Markers Use on the Abstracts of English Graduate Students’ Final Academic Writing | |
Ehsan et al. | Statistical Machine Translation as a Grammar Checker for Persian Language | |
Gibbon et al. | Spoken Language Characterization | |
Saloni et al. | The design of a universal basic dictionary of contemporary polish | |
Macafee et al. | A random sample of Older Scots lexis | |
Widmann | Computers and literary scholarship | |
Faulkner | Linguistic Evidence for the Compilation of Twelfth-Century Manuscripts containing Old English Texts | |
SAMUEL | DESIGNING A STEMMING ALGORITHM FOR KAMBAATA TEXT: A RULE BASED APPROACH | |
Van Deemter | Context modeling for language and speech generation |