JP5208795B2

JP5208795B2 - Interpreting device, method, and program

Info

Publication number: JP5208795B2
Application number: JP2009030282A
Authority: JP
Inventors: 哲朗知野; 聡史釜谷; 浩之田中
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2009-02-12
Filing date: 2009-02-12
Publication date: 2013-06-12
Anticipated expiration: 2029-02-12
Also published as: JP2010186339A

Description

本発明は、通訳装置、方法、及びプログラムに関する。 The present invention relates to an interpreting apparatus, method, and program.

近年、文化や経済のグローバル化に伴い、異なる言語を母語とする人同士のコミュニケーションの機会が増加している。このため、自然言語処理技術、認識処理技術、機械翻訳技術などを採用し、異なる言語を母語とする人同士のコミュニケーションを支援する通訳装置への期待が高まっている。 In recent years, with the globalization of culture and economy, opportunities for communication between people whose native languages are different languages are increasing. For this reason, there is an increasing expectation for interpreting devices that employ natural language processing technology, recognition processing technology, machine translation technology, and the like to support communication between people whose native languages are different languages.

このような認識処理技術や機械翻訳技術を実現するためには、規則、辞書、及び用例等の言語資源の準備や各種数値パラメータ等の調整などを、通訳装置の開発者（例えば、複数の言語を母語とするバイリンガル）などの人手により行う必要がある。 In order to realize such recognition processing technology and machine translation technology, preparation of language resources such as rules, dictionaries, and examples, adjustment of various numerical parameters, etc. are performed by an interpreter developer (for example, a plurality of languages). Need to be done manually.

例えば、原言語による文と目的言語による複数の翻訳文とを対応付けて用意しておき、状況に応じて翻訳文を使い分けることが従来技術として知られているが（特許文献１参照）、この対応付けには、人手による作業が必要となる。 For example, it is known as a prior art that a sentence in a source language and a plurality of translated sentences in a target language are prepared in association with each other, and a translated sentence is properly used according to the situation (see Patent Document 1). The association requires manual work.

特開２００６−３３０２９８号公報（第７図）Japanese Patent Laying-Open No. 2006-330298 (FIG. 7)

しかしながら、認識処理や翻訳処理に用いられるデータを人手による作業で用意するとなると、開発コストが非常に大きくなってしまうという問題がある。 However, if data used for recognition processing and translation processing is prepared manually, there is a problem that the development cost becomes very high.

なお、利用者の利用履歴に基づいて認識処理や翻訳処理に用いられるデータを学習するようにすれば、人手による作業を減らすことができるものの、通訳装置の認識結果や翻訳結果には少なからず誤りが存在するため、誤ったデータによる学習が行われてしまい、通訳性能が悪くなってしまう可能性がある。特に、通訳装置の利用者は、通常、コミュニケーション相手の母語を理解することができないため、利用者自身も翻訳結果が正しいか否かを判断することができない。 Although learning by using the data used for recognition processing and translation processing based on the user's usage history can reduce manual work, there are not a few errors in the recognition results and translation results of the interpreter. Therefore, there is a possibility that learning with incorrect data is performed and interpreting performance is deteriorated. In particular, since the user of the interpreting apparatus cannot normally understand the native language of the communication partner, the user cannot determine whether or not the translation result is correct.

本発明は、上記事情に鑑みてなされたものであり、開発コストを抑えつつ、通訳性能を向上させることができる通訳装置、方法、及びプログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide an interpreting apparatus, method, and program capable of improving the interpreting performance while suppressing development costs.

上述した課題を解決し、目的を達成するために、本発明の一態様にかかる通訳装置は、通訳の対象となる原言語のデータの入力を受け付ける受付部と、前記データの認識に用いる認識知識データベースを記憶する認識知識記憶部と、前記認識知識データベースを用いて前記データを認識し、原言語の文字列を生成する認識部と、前記文字列の翻訳に用いる翻訳知識データベースを記憶する翻訳知識記憶部と、前記翻訳知識データベースを用いて前記文字列を目的言語に翻訳する翻訳部と、前記翻訳部の翻訳結果を出力する出力部と、前記翻訳部の原言語及び目的言語を切り替えることにより、前記翻訳部の通訳方向を切り替える切替部と、前記データの通訳方向の切り替えの有無を前記切替部から受け取り、前記文字列及び前記翻訳結果の少なくとも一方の信頼度を評価する評価部と、前記文字列及び前記翻訳結果の少なくとも一方と、前記信頼度を対応付けて記憶する履歴記憶部と、所定の前記信頼度に対応付けられた前記文字列による前記認識知識データベースの更新、及び所定の前記信頼度に対応付けられた前記翻訳結果による前記翻訳知識データベースの更新の少なくとも一方を行う更新部と、を備えることを特徴とする。 In order to solve the above-described problems and achieve the object, an interpreting apparatus according to an aspect of the present invention includes a receiving unit that receives input of source language data to be interpreted, and recognition knowledge used for recognition of the data. A recognition knowledge storage unit that stores a database; a recognition unit that recognizes the data using the recognition knowledge database; generates a character string in a source language; and a translation knowledge database that stores a translation knowledge database used for translation of the character string By switching between a storage unit, a translation unit that translates the character string into a target language using the translation knowledge database, an output unit that outputs a translation result of the translation unit, and a source language and a target language of the translation unit A switching unit that switches the interpretation direction of the translation unit, and whether or not the interpretation direction of the data is switched is received from the switching unit, and the character string and the translation result are reduced. An evaluation unit that evaluates at least one reliability, at least one of the character string and the translation result, a history storage unit that associates and stores the reliability, and the predetermined correspondence An update unit that performs at least one of updating the recognition knowledge database with a character string and updating the translation knowledge database with the translation result associated with a predetermined reliability.

また、本発明の別の態様にかかる通訳方法は、受付部が、通訳の対象となる原言語のデータの入力を受け付ける受付ステップと、認識部が、認識知識記憶部に記憶されている認識知識データベースを用いて前記データを認識し、原言語の文字列を生成する認識ステップと、翻訳部が、翻訳知識記憶部に記憶されている翻訳知識データベースを用いて前記文字列を目的言語に翻訳する翻訳ステップと、出力制御部が、前記翻訳ステップによる翻訳結果を出力部に出力させる出力ステップと、切替部が、前記翻訳ステップでの原言語及び目的言語を切り替えることにより、前記翻訳ステップでの通訳方向を切り替える切替ステップと、評価部が、前記データの通訳方向の切り替えの有無を受け取り、前記文字列及び前記翻訳結果の少なくとも一方の信頼度を評価する評価ステップと、登録部が、前記文字列及び前記翻訳結果の少なくとも一方と、前記信頼度を対応付けて履歴記憶部に記憶させる登録ステップと、更新部が、所定の前記信頼度に対応付けられた前記文字列による前記認識知識データベースの更新、及び所定の前記信頼度に対応付けられた前記翻訳結果による前記翻訳知識データベースの更新の少なくとも一方を行う更新ステップと、を含むことを特徴とする。
また、本発明の別の態様にかかる通訳プログラムは、受付部が、通訳の対象となる原言語のデータの入力を受け付ける受付ステップと、認識部が、認識知識記憶部に記憶されている認識知識データベースを用いて前記データを認識し、原言語の文字列を生成する認識ステップと、翻訳部が、翻訳知識記憶部に記憶されている翻訳知識データベースを用いて前記文字列を目的言語に翻訳する翻訳ステップと、出力制御部が、前記翻訳ステップによる翻訳結果を出力部に出力させる出力ステップと、切替部が、前記翻訳ステップでの原言語及び目的言語を切り替えることにより、前記翻訳ステップでの通訳方向を切り替える切替ステップと、評価部が、前記データの通訳方向の切り替えの有無を受け取り、前記文字列及び前記翻訳結果の少なくとも一方の信頼度を評価する評価ステップと、登録部が、前記文字列及び前記翻訳結果の少なくとも一方と、前記信頼度を対応付けて履歴記憶部に記憶させる登録ステップと、更新部が、所定の前記信頼度に対応付けられた前記文字列による前記認識知識データベースの更新、及び所定の前記信頼度に対応付けられた前記翻訳結果による前記翻訳知識データベースの更新の少なくとも一方を行う更新ステップと、をコンピュータに実行させるためものである。 The interpreting method according to another aspect of the present invention includes a receiving step in which a receiving unit receives input of source language data to be interpreted, and a recognition unit in which recognition knowledge is stored in a recognition knowledge storage unit. A recognition step for recognizing the data using a database and generating a character string in the source language, and a translation unit translating the character string into a target language using a translation knowledge database stored in the translation knowledge storage unit A translation step; an output step in which the output control unit outputs a translation result of the translation step to the output unit; and a switching unit that switches between a source language and a target language in the translation step, thereby interpreting in the translation step. A switching step of switching the direction, and the evaluation unit receives the presence or absence of switching of the interpretation direction of the data, and at least one of the character string and the translation result An evaluation step for evaluating the reliability, a registration unit in which at least one of the character string and the translation result, the reliability is associated and stored in the history storage unit, and an update unit includes the predetermined reliability Updating at least one of updating the recognition knowledge database with the character string associated with each degree and updating the translation knowledge database with the translation result associated with the predetermined reliability. It is characterized by.
An interpreting program according to another aspect of the present invention includes an accepting step in which an accepting unit accepts input of source language data to be interpreted, and a recognizing knowledge stored in a recognizing knowledge storage unit. A recognition step for recognizing the data using a database and generating a character string in the source language, and a translation unit translating the character string into a target language using a translation knowledge database stored in the translation knowledge storage unit A translation step; an output step in which the output control unit outputs a translation result of the translation step to the output unit; and a switching unit that switches between a source language and a target language in the translation step, thereby interpreting in the translation step. A switching step of switching the direction, and the evaluation unit receives the presence or absence of switching of the interpretation direction of the data, and at least the character string and the translation result An evaluation step for evaluating one reliability, a registration step in which the registration unit associates at least one of the character string and the translation result, and stores the reliability in the history storage unit, and an update unit has a predetermined value An update step of performing at least one of updating the recognition knowledge database with the character string associated with the reliability and updating the translation knowledge database with the translation result associated with the predetermined reliability. It is intended to be executed by a computer.

本発明によれば、通訳の対象となる原言語のデータを認識して生成された文字列及びその翻訳結果の少なくとも一方の信頼度が、新たなデータの通訳方向の切り替えの有無に応じて自動的に評価され、文字列及び翻訳結果の少なくとも一方と信頼度が対応付けられて記憶される。そして、所定の信頼度に対応付けられた文字列による認識知識データベースの更新、及び所定の信頼度に対応付けられた翻訳結果による翻訳知識データベースの更新の少なくとも一方が行われる。従って本発明によれば、開発コストを抑えつつ、通訳性能を向上させることができるという効果を奏する。 According to the present invention, the reliability of at least one of the character string generated by recognizing the source language data to be interpreted and the translation result is automatically determined according to whether or not the interpretation direction of the new data is switched. The reliability is associated with at least one of the character string and the translation result and stored. Then, at least one of updating the recognition knowledge database with the character string associated with the predetermined reliability and updating the translation knowledge database with the translation result associated with the predetermined reliability is performed. Therefore, according to the present invention, it is possible to improve the interpretation performance while suppressing the development cost.

図１は、本実施の形態の通訳装置の構成の一例を示すブロック図である。FIG. 1 is a block diagram showing an example of the configuration of the interpreting apparatus according to the present embodiment. 図２は、本実施の形態の履歴記憶部に記憶されている情報の一例を示す図である。FIG. 2 is a diagram illustrating an example of information stored in the history storage unit according to the present embodiment. 図３は、本実施の形態の通訳装置で行われる通訳の処理手順の流れの一例を示すフローチャートである。FIG. 3 is a flowchart showing an example of the flow of the interpreting process performed by the interpreting apparatus of this embodiment. 図４は、本実施の形態の信頼度評価処理の一例を示すフローチャートである。FIG. 4 is a flowchart illustrating an example of the reliability evaluation process according to the present embodiment. 図５は、本実施の形態の通訳装置で行われる通訳の具体例を説明するための図である。FIG. 5 is a diagram for explaining a specific example of interpretation performed by the interpretation apparatus according to the present embodiment. 図６は、通訳方向の連続切替回数毎の認識精度及び翻訳精度の評価結果を示すグラフである。FIG. 6 is a graph showing evaluation results of recognition accuracy and translation accuracy for each number of continuous switchings in the interpretation direction.

以下、添付図面を参照しながら、本発明にかかる通訳装置、方法、及びプログラムの最良な実施の形態を詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, exemplary embodiments of an interpreting apparatus, a method, and a program according to the invention will be described in detail with reference to the accompanying drawings.

本実施の形態の通訳装置は、異なる言語を母語とする複数の利用者が意思の疎通を図るために利用するものであり、自身の母語による表現を入力すると、この表現を相手の母語に翻訳した翻訳結果を出力する。 The interpretation device of this embodiment is used by a plurality of users whose mother tongues are different languages to communicate with each other. When an expression in its own native language is input, this expression is translated into the partner's native language. The translated result is output.

なお、以下では、日本語から中国語への音声翻訳、及び中国語から日本語への音声翻訳を双方向で行う場合を例にとり説明するが、通訳形態は音声翻訳に限定されるものではなく、また、あらゆる言語間での双方向通訳に適用することができる。 In the following, explanation will be given by taking as an example the case where voice translation from Japanese to Chinese and voice translation from Chinese to Japanese are performed in both directions. However, the interpretation mode is not limited to voice translation. It can also be applied to bi-directional interpretation between any languages.

まず、本実施の形態の通訳装置の構成について説明する。 First, the configuration of the interpreting apparatus of this embodiment will be described.

図１は、本実施の形態の通訳装置１の構成の一例を示すブロック図である。図１に示すように、通訳装置１は、入力部１０と、出力部２０と、記憶部３０と、受付部４０と、切替部４５と、認識部５０と、翻訳部５５と、評価部６０と、登録部６５と、更新部７０と、検索部７５と、出力制御部８０とを備える。 FIG. 1 is a block diagram illustrating an example of the configuration of the interpreting apparatus 1 according to the present embodiment. As shown in FIG. 1, the interpreting apparatus 1 includes an input unit 10, an output unit 20, a storage unit 30, a reception unit 40, a switching unit 45, a recognition unit 50, a translation unit 55, and an evaluation unit 60. A registration unit 65, an update unit 70, a search unit 75, and an output control unit 80.

入力部１０は、通訳装置１の利用者が発話する音声などを入力するものであり、例えば、マイクなどの既存の音声入力装置により実現できる。 The input unit 10 is for inputting a voice spoken by the user of the interpreting apparatus 1 and can be realized by an existing voice input device such as a microphone.

出力部２０は、後述する出力制御部８０の指示により、音声認識結果や翻訳結果などの各種フィードバック情報やガイダンス情報を出力するものであり、例えば、タッチパネル、液晶ディスプレイ、有機ＥＬディスプレイ、ＣＲＴディスプレイ、又は電子ペーパーなどの既存の表示装置により実現できる。なお出力部２０を、スピーカなどの既存の音声出力装置により実現してもよいし、これらを併用して実現するようにしてもよい。 The output unit 20 outputs various feedback information and guidance information such as a speech recognition result and a translation result according to an instruction from the output control unit 80 described later. For example, the output unit 20 includes a touch panel, a liquid crystal display, an organic EL display, a CRT display, Alternatively, it can be realized by an existing display device such as electronic paper. The output unit 20 may be realized by an existing audio output device such as a speaker, or may be realized by using these together.

記憶部３０は、通訳装置１で行われる各種処理に使用される情報を記憶するものであり、例えば、ＨＤＤ（Hard Disk Drive）、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの既存の記憶媒体により実現できる。そして記憶部３０は、認識知識記憶部３２と、翻訳知識記憶部３４と、履歴記憶部３６とを含む。なお、認識知識記憶部３２、翻訳知識記憶部３４、及び履歴記憶部３６の詳細については後述する。 The storage unit 30 stores information used for various types of processing performed by the interpreting apparatus 1. For example, an existing storage such as an HDD (Hard Disk Drive), an optical disk, a memory card, and a RAM (Random Access Memory). It can be realized by a medium. The storage unit 30 includes a recognized knowledge storage unit 32, a translation knowledge storage unit 34, and a history storage unit 36. Details of the recognition knowledge storage unit 32, the translation knowledge storage unit 34, and the history storage unit 36 will be described later.

受付部４０は、入力部１０から発話音声（通訳の対象となる原言語のデータの一例）の入力を受け付ける。具体的には、受付部４０は、入力部１０から入力された音声のアナログ信号に対してサンプリングを行ってステレオのデジタル信号に変換し、このデジタル信号を高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）などにより周波数的な特徴に変換する。なお、デジタル信号への変換には、例えば、Ａ／Ｄ変換など既存の技術を用いることができる。 The accepting unit 40 accepts input of uttered speech (an example of source language data to be interpreted) from the input unit 10. Specifically, the receiving unit 40 samples the audio analog signal input from the input unit 10 and converts it into a stereo digital signal, and the digital signal is subjected to a fast Fourier transform (FFT). It is converted into frequency characteristics by such as. For the conversion to a digital signal, for example, an existing technique such as A / D conversion can be used.

切替部４５は、後述の翻訳部５５の原言語及び目的言語を互いに切り替えることにより、翻訳部５５の通訳方向を切り替える。具体的には、切替部４５は、受付部４０により周波数的な特徴に変換された発話音声を分析して、異なる言語を母語とする複数の利用者のうち、いずれの利用者の発話であるかを判定し、判定結果に応じた通訳方向に切り替える。 The switching unit 45 switches the interpretation direction of the translation unit 55 by switching between a source language and a target language of the translation unit 55 described later. Specifically, the switching unit 45 analyzes the utterance voice converted into the frequency characteristics by the reception unit 40, and is the utterance of any user among a plurality of users whose mother tongue is a different language. Switch to the interpretation direction according to the determination result.

例えば、通訳装置１の利用者が日本語のみを話す日本語話者及び中国語のみを話す中国語話者である場合、切替部４５は、通訳装置１に予め登録されている日本語話者及び中国語話者の音声的特長を参照して発話音声の性質を分析することにより、日本語話者の発話であるか、中国語話者の発話であるかを判定する。 For example, when the user of the interpreting apparatus 1 is a Japanese speaker who speaks only Japanese and a Chinese speaker who speaks only Chinese, the switching unit 45 is a Japanese speaker registered in the interpreting apparatus 1 in advance. In addition, it is determined whether the speech is a Japanese speaker or a Chinese speaker by analyzing the nature of the speech by referring to the speech characteristics of the Chinese speaker.

そして、切替部４５は、日本語話者の発話であると判定し、原言語が中国語、目的言語が日本語に設定されている場合や、中国語話者の発話であると判定し、原言語が日本語、目的言語が中国語に設定されている場合に、互いの言語を切り替えることにより通訳方向を切り替える。 Then, the switching unit 45 determines that the speech is from a Japanese speaker, determines that the source language is set to Chinese and the target language is set to Japanese, or determines that the speech is from a Chinese speaker. When the source language is set to Japanese and the target language is set to Chinese, the interpretation direction is switched by switching between the languages.

一方、切替部４５は、日本語話者の発話であると判定し、原言語が日本語、目的言語が中国語に設定されている場合や、中国語話者の発話であると判定し、原言語が中国語、目的言語が日本語に設定されている場合には、通訳方向は切り替えない。 On the other hand, the switching unit 45 determines that the speech is from a Japanese speaker and determines that the source language is Japanese and the target language is set to Chinese, or that the speech is from a Chinese speaker. When the source language is set to Chinese and the target language is set to Japanese, the interpretation direction is not switched.

なお、話者の判定には、例えば、受付部４０により受け付けられた発話音声の基本周波数、スペクトル分布、フォルマント分布、又は発話速度などの音響的な特徴量を分析する既存の話者判定技術を用いることができる。 For the speaker determination, for example, an existing speaker determination technique for analyzing an acoustic feature quantity such as a fundamental frequency, a spectrum distribution, a formant distribution, or an utterance speed of the uttered speech received by the receiving unit 40 is used. Can be used.

認識知識記憶部３２は、発話音声の認識に用いる認識知識データベースを記憶する。なお、「認識知識データベース」は、例えば、音素や単語の標準発声の分析結果である音響モデルや、音素や単語などの出現パターンの統計的なモデルである言語モデルなどの集合である。 The recognition knowledge storage unit 32 stores a recognition knowledge database used for speech recognition. The “recognition knowledge database” is a set of, for example, an acoustic model that is an analysis result of standard utterances of phonemes and words, and a language model that is a statistical model of appearance patterns of phonemes and words.

認識部５０は、認識知識記憶部３２に記憶された認識知識データベースを用いて、受付部４０により受け付けられた発話音声を原言語で認識し、認識した原言語の文字列を生成する。具体的には、認識部５０は、音響モデルや言語モデルなどを参照して、受付部４０により周波数的な特徴に変換された発話音声の音声認識を行い、認識した発話内容を原言語の文字列として生成する。 Using the recognition knowledge database stored in the recognition knowledge storage unit 32, the recognition unit 50 recognizes the uttered speech received by the reception unit 40 in the source language, and generates a recognized source language character string. Specifically, the recognition unit 50 refers to an acoustic model, a language model, and the like, performs speech recognition of the uttered speech converted into frequency characteristics by the reception unit 40, and converts the recognized utterance content into the characters in the original language. Generate as a column.

なお、音声認識には、例えば、ＬＰＣ分析、隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）、ダイナミックプログラミング、ニューラルネットワーク、Ｎグラム言語モデルなど既存の音声認識方法を用いることができる。 For speech recognition, for example, an existing speech recognition method such as LPC analysis, Hidden Markov Model (HMM), dynamic programming, neural network, N-gram language model can be used.

翻訳知識記憶部３４は、認識部５０により生成された文字列の翻訳に用いる翻訳知識データベースを記憶する。なお、「翻訳知識データベース」は、原言語及び目的言語の語彙辞書、文法規則、両言語間の構造変換規則、両言語間の語彙の対応関係を示す訳語辞書、意味的に等価な両言語による文や表現の対である対訳対、又は対訳対から抽出された統計的なパラメータなどの集合である。 The translation knowledge storage unit 34 stores a translation knowledge database used for translating the character string generated by the recognition unit 50. The “translation knowledge database” consists of a vocabulary dictionary of the source language and the target language, a grammar rule, a structure conversion rule between the two languages, a translation dictionary indicating the correspondence between the vocabularies between the two languages, and both semantically equivalent languages. A bilingual pair that is a pair of sentences and expressions, or a set of statistical parameters extracted from the bilingual pair.

翻訳部５５は、翻訳知識記憶部３４に記憶された翻訳知識データベースを用いて、認識部５０により生成された原言語の文字列を目的言語に翻訳する。具体的には、翻訳部５５は、翻訳知識データベースを参照しながら、形態素解析、構文解析、意味解析、構造変換、類似用例検索、又は統計的な写像に基づく表現の変換などを行うことにより、認識部５０により生成された原言語の表現を意味的に等価な目的言語の表現へと変換する。 The translation unit 55 translates the source language character string generated by the recognition unit 50 into the target language using the translation knowledge database stored in the translation knowledge storage unit 34. Specifically, by referring to the translation knowledge database, the translation unit 55 performs morphological analysis, syntax analysis, semantic analysis, structure conversion, similar example search, or expression conversion based on a statistical mapping, etc. The source language expression generated by the recognition unit 50 is converted into a semantically equivalent target language expression.

なお、翻訳には、例えば、規則翻訳、用例翻訳、統計翻訳などの既存の翻訳方法を用いることができ、これらの任意の組み合わせであるハイブリッド翻訳を用いるようにしてもよい。 For translation, for example, existing translation methods such as rule translation, example translation, and statistical translation can be used, and hybrid translation that is an arbitrary combination of these may be used.

評価部６０は、受付部４０に受け付けられる発話音声の通訳方向の切り替えの有無を切替部４５から受け取り、発話音声の受け付け前に認識部５０により生成された文字列及び翻訳部５５の翻訳結果の少なくとも一方の信頼度を評価する。 The evaluation unit 60 receives from the switching unit 45 whether or not the interpretation direction of the utterance voice accepted by the reception unit 40 is switched, and the character string generated by the recognition unit 50 before the utterance voice is accepted and the translation result of the translation unit 55 Evaluate at least one confidence level.

具体的には、評価部６０は、受付部４０に受け付けられる新たな発話音声の通訳方向の切り替えが発生した場合に、新たな発話音声の受け付け前に認識部５０により生成された文字列及び翻訳部５５の翻訳結果の少なくとも一方の信頼度を高く評価する。 Specifically, when the interpretation direction of a new utterance voice accepted by the acceptance unit 40 is switched, the evaluation unit 60 generates a character string and a translation generated by the recognition unit 50 before accepting a new utterance voice. The reliability of at least one of the translation results of the unit 55 is highly evaluated.

登録部６５は、認識部５０により生成された文字列及び翻訳部５５の翻訳結果の少なくとも一方と、評価部６０により評価された信頼度を対応付けて履歴記憶部３６に履歴として記憶させる。 The registration unit 65 associates at least one of the character string generated by the recognition unit 50 and the translation result of the translation unit 55 with the reliability evaluated by the evaluation unit 60 and causes the history storage unit 36 to store it as a history.

なお、登録部６５は、これに加え、受付部４０に受付けられた発話音声、切替部４５による話者の判定結果や通訳方向を履歴記憶部３６に履歴として記憶させるようにしてもよい。例えば、日本語及び中国語間での双方向通訳の通訳結果や日本語及び英語間での双方向通訳の通訳結果など複数方向の通訳結果が履歴記憶部３６に記憶される場合に、通訳方向を記憶しておくことにより、評価部６０は、所定の通訳方向の通訳結果のみから信頼度を評価できるようになり、より精度の高い信頼度評価を行うことができる。 In addition to this, the registration unit 65 may store the uttered voice received by the reception unit 40, the determination result of the speaker by the switching unit 45, and the interpretation direction as a history in the history storage unit 36. For example, when interpretation results in a plurality of directions, such as interpretation results for bidirectional interpretation between Japanese and Chinese and interpretation results for bidirectional interpretation between Japanese and English, are stored in the history storage unit 36, the interpretation direction Is stored, the evaluation unit 60 can evaluate the reliability only from the interpretation result in the predetermined interpretation direction, and can perform the reliability evaluation with higher accuracy.

図２は、履歴記憶部３６に記憶されている情報の一例を示す図である。図２に示す例では、履歴記憶部３６は、ＩＤ、切替部４５による話者判定結果、通訳方向、認識部５０により生成された文字列（認識結果）、翻訳部５５の翻訳結果、及び評価部６０により評価された信頼度を対応付けて記憶している。 FIG. 2 is a diagram illustrating an example of information stored in the history storage unit 36. In the example illustrated in FIG. 2, the history storage unit 36 includes an ID, a speaker determination result by the switching unit 45, an interpretation direction, a character string (recognition result) generated by the recognition unit 50, a translation result of the translation unit 55, and an evaluation. The reliability evaluated by the unit 60 is stored in association with each other.

また図２に示す例では、信頼度は、「○」、「×」で表されており、「○」は信頼度が高いことを示し、「×」は信頼度が低いことを示している。なお本実施の形態では、信頼度を「○」、「×」の２段階で表しているが、これを多段階で表したり、数値などの連続値で表すようにしてもよい。また図２に示す例では、評価前の信頼度であり、信頼度が未定であることを「―」で示している。 In the example shown in FIG. 2, the reliability is represented by “o” and “x”, “o” indicates that the reliability is high, and “x” indicates that the reliability is low. . In the present embodiment, the reliability is represented by two stages of “◯” and “x”, but this may be represented by multiple stages or by a continuous value such as a numerical value. In the example shown in FIG. 2, “−” indicates the reliability before the evaluation and the reliability is undetermined.

更新部７０は、履歴記憶部３６に記憶され、所定の信頼度に対応付けられた文字列（認識結果）による認識知識データベースの更新、及び履歴記憶部３６に記憶され、所定の信頼度に対応付けられた翻訳結果による翻訳知識データベースの更新の少なくとも一方を行う。 The update unit 70 is stored in the history storage unit 36, updates the recognition knowledge database with a character string (recognition result) associated with a predetermined reliability, and is stored in the history storage unit 36 and corresponds to the predetermined reliability. At least one of the update of the translation knowledge database with the attached translation result is performed.

例えば、更新部７０は、信頼度の低い文字列を履歴記憶部３６から読み出し、この文字列の認識に用いられた認識知識データ（例えば、言語モデルなど）を認識知識記憶部３２から削除する。このようにすると、不要な言語モデルなどを削減できるため、認識処理時の解析の曖昧性を減少させることができ、認識精度の向上が期待できる。 For example, the update unit 70 reads a character string with low reliability from the history storage unit 36 and deletes recognition knowledge data (for example, language model) used for recognition of the character string from the recognition knowledge storage unit 32. In this way, unnecessary language models and the like can be reduced, so that the ambiguity of analysis during recognition processing can be reduced, and improvement in recognition accuracy can be expected.

また例えば、更新部７０は、信頼度の高い文字列及びその翻訳結果を履歴記憶部３６から読み出し、これらを翻訳知識データ（例えば、対訳対）として翻訳知識記憶部３４に追加登録する。このようにすると、信頼度の高い対訳対を増加できるため、翻訳精度の向上が期待できる。 Further, for example, the update unit 70 reads a highly reliable character string and its translation result from the history storage unit 36 and additionally registers them in the translation knowledge storage unit 34 as translation knowledge data (for example, a translation pair). In this way, since the number of translation pairs with high reliability can be increased, improvement in translation accuracy can be expected.

検索部７５は、履歴記憶部３６に記憶された文字列（認識結果）のうち認識部５０により生成された文字列と同一又は類似の文字列、及び履歴記憶部３６に記憶された翻訳結果のうち翻訳部５５の翻訳結果と同一又は類似の翻訳結果の少なくとも一方に対応付けられた信頼度を検索する。 The search unit 75 includes a character string that is the same as or similar to the character string generated by the recognition unit 50 among the character strings (recognition results) stored in the history storage unit 36 and the translation result stored in the history storage unit 36. Of these, the reliability associated with at least one of the translation results identical or similar to the translation result of the translation unit 55 is searched.

なお、類似判定は、認識結果及び翻訳結果がいずれも文字列であるため、文字列の比較により実現できるが、既存の自然言語処理技術を併用することにより、より高精度な類似判定を行うことができる。既存の自然言語処理技術としては、例えば、音声認識に於いて誤りが生じやすい音素や文字の組合せの情報であるコンヒュージョンマトリクスを利用した処理、単語の境界や品詞を分析する形態素解析、意味的なまとまりを検出するチャンキング処理、人名、組織名、地名、数値表現、及び固有名詞等を抽出する固有表現抽出、並びに統語的な構造を抽出する句構造解析などがある。 Note that similarity determination can be realized by comparing character strings because the recognition result and translation result are both character strings. However, the similarity determination can be performed with higher accuracy by using existing natural language processing technology together. Can do. Existing natural language processing technologies include, for example, processing using a confusion matrix, which is information on phonemes and character combinations that are prone to errors in speech recognition, morphological analysis that analyzes word boundaries and parts of speech, semantic There are chunking processing for detecting a cluster, personal name extraction, extraction of proper names, organization names, place names, numerical expressions, and proper nouns, and phrase structure analysis for extracting syntactic structures.

また、検索部７５は、受付部４０に受付けられた発話音声、切替部４５による話者の判定結果や通訳方向が履歴記憶部３６に記憶されている場合には、これらの情報を信頼度の検索に用いるようにしてもよい。 In addition, when the utterance voice received by the reception unit 40, the speaker determination result by the switching unit 45 and the interpretation direction are stored in the history storage unit 36, the search unit 75 uses these information for reliability. You may make it use for a search.

出力制御部８０は、認識部５０により生成された文字列や翻訳部５５の翻訳結果を出力部２０に出力させる。 The output control unit 80 causes the output unit 20 to output the character string generated by the recognition unit 50 and the translation result of the translation unit 55.

また、出力制御部８０は、検索部７５により検索された信頼度に基づいて、認識部５０により生成された文字列及び翻訳部５５の翻訳結果の少なくとも一方の信頼性を出力部２０に出力させる。 Further, the output control unit 80 causes the output unit 20 to output the reliability of at least one of the character string generated by the recognition unit 50 and the translation result of the translation unit 55 based on the reliability searched by the search unit 75. .

例えば、出力制御部８０は、検索部７５により検索された複数の信頼度のうち、信頼度が高いものの全体に占める割合を、認識部５０により生成された文字列及び翻訳部５５の翻訳結果の少なくとも一方の信頼性として出力部２０に出力させる。例えば、信頼度が５つ検索され、そのうち３つの信頼度が高く（図２に示す例では「○」）、残りの２つの信頼度が低い（図２に示す例では「×」）場合には、信頼度は６０％となる。 For example, the output control unit 80 uses the character string generated by the recognition unit 50 and the translation result of the translation unit 55 as a percentage of the reliability of the plurality of reliability searched by the search unit 75 in the whole. The output unit 20 outputs at least one reliability. For example, when five reliability levels are searched and three of the reliability levels are high (“◯” in the example shown in FIG. 2) and the remaining two reliability levels are low (“×” in the example shown in FIG. 2). The reliability is 60%.

なお、出力部２０を既存の表示装置により実現する場合には、出力制御部８０は、これらの情報を表示装置に表示させる。また、出力部２０を既存の音声出力装置により実現する場合には、これらの情報を音声信号に変換する音声合成処理を行い、音声合成処理により生成した音声信号をＤＡ変換して音声出力装置に音声出力させる。また出力制御部８０は、これらの出力手法を必要に応じて切り替えるようにしてもよいし、併用するようにしてもよい。 When the output unit 20 is realized by an existing display device, the output control unit 80 causes the display device to display these pieces of information. Further, when the output unit 20 is realized by an existing voice output device, a voice synthesis process for converting the information into a voice signal is performed, and the voice signal generated by the voice synthesis process is DA-converted to the voice output device. Output audio. Further, the output control unit 80 may switch these output methods as necessary, or may use them together.

次に、本実施の形態の通訳装置の動作について説明する。 Next, the operation of the interpretation device of this embodiment will be described.

図３は、本実施の形態の通訳装置１で行われる通訳の処理手順の流れの一例を示すフローチャートである。なお、以下の説明では、原言語及び目的言語は、互いの利用者の母語に設定されているものとする。 FIG. 3 is a flowchart showing an example of the flow of the interpreting process performed by the interpreting apparatus 1 of the present embodiment. In the following description, it is assumed that the source language and the target language are set to each other's native language.

まず、受付部４０は、入力部１０から発話音声の入力が行われたか否かを確認する（ステップＳ１０）。 First, the accepting unit 40 confirms whether or not an utterance voice is input from the input unit 10 (step S10).

そして、受付部４０により発話音声の入力が受け付けられた場合には（ステップＳ１０でＹｅｓ）、切替部４５は、通訳装置１の複数の話者（利用者）のうち、いずれの話者の発話であるかを判定する（ステップＳ１２）。 Then, when the input of the utterance voice is received by the reception unit 40 (Yes in step S10), the switching unit 45 utters any speaker among the plurality of speakers (users) of the interpreting apparatus 1. Is determined (step S12).

そして、切替部４５は、話者判定により判定された話者の母語が原言語に設定されていない場合には（ステップＳ１４でＮｏ）、原言語及び目的言語を互いに切り替えることにより、通訳方向を切り替える（ステップＳ１６）。 When the speaker's native language determined by the speaker determination is not set as the source language (No in step S14), the switching unit 45 switches the source language and the target language to change the interpretation direction. Switching (step S16).

一方、話者判定により判定された話者の母語が原言語に設定されている場合には（ステップＳ１４でＹｅｓ）、ステップＳ１６に示す通訳方向の切り替えは行われない。 On the other hand, when the native language of the speaker determined by the speaker determination is set as the source language (Yes in step S14), the interpretation direction switching shown in step S16 is not performed.

続いて、評価部６０は、通訳方向の切り替えの有無を切替部４５から受け取り、前回受け付けられた発話音声から生成された文字列及びその翻訳結果の信頼度を評価する信頼度評価処理を行う（ステップＳ１８）。なお、信頼度評価処理の詳細については、後述する。 Subsequently, the evaluation unit 60 receives the presence / absence of switching of the interpretation direction from the switching unit 45, and performs a reliability evaluation process for evaluating the reliability of the character string generated from the previously accepted speech and the translation result ( Step S18). Details of the reliability evaluation process will be described later.

続いて、登録部６５は、評価部６０により評価された信頼度を、履歴記憶部３６に既に記憶されている前回受け付けられた発話音声から生成された文字列及びその翻訳結果に対応付けて履歴として記憶させる（ステップＳ２０）。 Subsequently, the registration unit 65 associates the reliability evaluated by the evaluation unit 60 with the character string generated from the previously accepted utterance voice already stored in the history storage unit 36 and the translation result thereof. (Step S20).

続いて、認識部５０は、認識知識記憶部３２に記憶された認識知識データベースを用いて、受付部４０により受け付けられた発話音声を原言語で認識し、認識した原言語の文字列を生成する（ステップＳ２２）。 Subsequently, using the recognition knowledge database stored in the recognition knowledge storage unit 32, the recognition unit 50 recognizes the uttered speech received by the reception unit 40 in the source language, and generates a recognized source language character string. (Step S22).

続いて、翻訳部５５は、翻訳知識記憶部３４に記憶された翻訳知識データベースを用いて、認識部５０により生成された原言語の文字列を目的言語に翻訳する（ステップＳ２４）。 Subsequently, the translation unit 55 translates the source language character string generated by the recognition unit 50 into the target language using the translation knowledge database stored in the translation knowledge storage unit 34 (step S24).

続いて、出力制御部８０は、認識部５０により生成された文字列、及び翻訳部５５の翻訳結果を出力部２０に出力させる（ステップＳ２６）。 Subsequently, the output control unit 80 causes the output unit 20 to output the character string generated by the recognition unit 50 and the translation result of the translation unit 55 (step S26).

続いて、検索部７５は、履歴記憶部３６に記憶されている文字列（認識結果）のうち認識部５０により生成された文字列と同一又は類似の文字列、及び履歴記憶部３６に記憶されている翻訳結果のうち翻訳部５５の翻訳結果と同一又は類似の翻訳結果に対応付けられた信頼度を検索する（ステップＳ２８）。 Subsequently, the search unit 75 stores the same or similar character string as the character string generated by the recognition unit 50 among the character strings (recognition results) stored in the history storage unit 36 and the history storage unit 36. Among the translation results, the reliability associated with the translation result identical or similar to the translation result of the translation unit 55 is searched (step S28).

そして、検索部７５により信頼度が検索され、検索に成功した場合には（ステップＳ３０でＹｅｓ）、出力制御部８０は、検索部７５により検索された信頼度に基づいて、認識部５０により生成された文字列及び翻訳部５５の翻訳結果の信頼性を出力部２０に出力させる（ステップＳ３２）。 Then, when the reliability is searched by the search unit 75 and the search is successful (Yes in step S30), the output control unit 80 is generated by the recognition unit 50 based on the reliability searched by the search unit 75. The output unit 20 is made to output the reliability of the translated character string and the translation result of the translation unit 55 (step S32).

一方、検索部７５により信頼度が検索されず、信頼度の検索に失敗した場合には（ステップＳ３０でＮｏ）、ステップＳ３２に示す信頼性の出力は行われない。 On the other hand, if the reliability is not searched by the search unit 75 and the reliability search fails (No in step S30), the reliability output shown in step S32 is not performed.

続いて、登録部６５は、切替部４５による話者の判定結果や通訳方向、認識部５０により生成された文字列、及び翻訳部５５の翻訳結果を履歴記憶部３６に履歴として記憶させる（ステップＳ３４）。 Subsequently, the registration unit 65 stores the speaker determination result and interpretation direction by the switching unit 45, the character string generated by the recognition unit 50, and the translation result of the translation unit 55 in the history storage unit 36 as a history (step). S34).

続いて、更新部７０は、履歴記憶部３６に記憶され、所定の信頼度に対応付けられた文字列（認識結果）による認識知識データベースの更新、及び履歴記憶部３６に記憶され、所定の信頼度に対応付けられた翻訳結果による翻訳知識データベースの更新の少なくとも一方を行う（ステップＳ３６）。 Subsequently, the update unit 70 updates the recognition knowledge database with a character string (recognition result) stored in the history storage unit 36 and associated with a predetermined reliability, and is stored in the history storage unit 36 with a predetermined reliability. At least one of the update of the translation knowledge database with the translation result associated with each time is performed (step S36).

続いて、受付部４０は、入力部１０から新たな発話音声の入力が行われたか否かを確認し（ステップＳ１０）、発話音声の入力が行われない場合には（ステップＳ１０でＮｏ）、通訳装置１は処理を終了する。 Subsequently, the accepting unit 40 confirms whether or not a new utterance voice is input from the input unit 10 (step S10), and when no utterance voice is input (No in step S10), The interpreting apparatus 1 ends the process.

次に、図４を参照しながら、図３のステップＳ１６に示す信頼度評価処理について説明する。図４は、信頼度評価処理の一例を示すフローチャートである。 Next, the reliability evaluation process shown in step S16 of FIG. 3 will be described with reference to FIG. FIG. 4 is a flowchart illustrating an example of the reliability evaluation process.

まず、評価部６０は、前回受け付けられた発話音声の話者の判定結果を履歴記憶部３６から取得する（ステップＳ４０）。 First, the evaluation unit 60 acquires the determination result of the speaker of the uttered voice accepted last time from the history storage unit 36 (step S40).

続いて、評価部６０は、取得された判定結果が示す話者（以下、「前回の話者」という）と、切替部４５より判定された今回受付けられた発話音声の話者（以下、「今回の話者」という）とが同一であるか否かを確認する（ステップＳ４２）。 Subsequently, the evaluation unit 60 determines the speaker (hereinafter referred to as “previous speaker”) indicated by the acquired determination result and the speaker of the utterance voice received this time determined by the switching unit 45 (hereinafter, “ It is confirmed whether or not it is the same as the “speaker of this time” (step S42).

そして、前回の話者と今回の話者とが異なる場合（ステップＳ４２でＹｅｓ）、即ち、切替部４５により通訳方向が切り替えられた場合には、前回受け付けられた発話音声から生成された文字列及びその翻訳結果の信頼度を高く評価する（ステップＳ４４）。 If the previous speaker is different from the current speaker (Yes in step S42), that is, if the interpretation direction is switched by the switching unit 45, the character string generated from the speech sound accepted last time. And the reliability of the translation result is highly evaluated (step S44).

一方、前回の話者と今回の話者とが同一である場合（ステップＳ４２でＮｏ）、即ち、切替部４５により通訳方向が切り替えられなかった場合には前回受け付けられた発話音声から生成された文字列及びその翻訳結果の信頼度を低く評価する（ステップＳ４６）。 On the other hand, if the previous speaker and the current speaker are the same (No in step S42), that is, if the interpretation direction is not switched by the switching unit 45, the speaker is generated from the speech sound accepted last time. The reliability of the character string and its translation result is evaluated low (step S46).

次に、本実施の形態の通訳装置で行われる通訳の具体例について説明する。 Next, a specific example of interpretation performed by the interpretation apparatus according to this embodiment will be described.

図５は、本実施の形態の通訳装置１で行われる通訳の具体例を説明するための図である。 FIG. 5 is a diagram for explaining a specific example of interpretation performed by the interpretation device 1 according to the present embodiment.

まず、Ｔ１の時点において、日本語話者が日本語の発話内容１１１を発話すると、認識部５０により日本語の文字列１１２が生成され、翻訳部５５により中国語の翻訳結果１１３に翻訳されるものとする。この場合、図２に示すように、この通訳結果には、ＩＤ「Ｈ１」が対応付けられて履歴記憶部３６に記憶される。なお、この時点では、まだ、信頼度は記憶されていない。 First, at time T1, when a Japanese speaker utters Japanese utterance content 111, the recognition unit 50 generates a Japanese character string 112 and the translation unit 55 translates it into a Chinese translation result 113. Shall. In this case, as shown in FIG. 2, the interpretation result is stored in the history storage unit 36 in association with the ID “H1”. At this time, the reliability is not yet stored.

続いて、Ｔ２の時点において、中国語話者が中国語の発話内容１２１を発話すると、切替部４５により通訳方向が切り替えられるため、評価部６０により前回の通訳結果（Ｔ１の時点の通訳結果）は信頼度が高いと評価され、図２に示すように、ＩＤ「Ｈ１」の通訳結果には、信頼度「○」が対応付けられて履歴記憶部３６に記憶される。 Subsequently, when a Chinese speaker utters the Chinese utterance content 121 at time T2, the interpretation direction is switched by the switching unit 45, so the previous interpretation result (interpretation result at time T1) by the evaluation unit 60. Is evaluated as having high reliability, and as shown in FIG. 2, the interpretation result of the ID “H1” is associated with the reliability “◯” and stored in the history storage unit 36.

そして、認識部５０により中国語の発話内容１２１から中国語の文字列１２２が生成され、翻訳部５５により日本語の翻訳結果１２３に翻訳されるものとする。この場合、図２に示すように、この通訳結果には、ＩＤ「Ｈ２」が対応付けられて履歴記憶部３６に記憶される。 The recognition unit 50 generates a Chinese character string 122 from the Chinese utterance content 121, and the translation unit 55 translates it into a Japanese translation result 123. In this case, as shown in FIG. 2, the interpretation result is stored in the history storage unit 36 in association with the ID “H2”.

続いて、中国語の文字列１２２は誤った認識結果であるため、Ｔ３の時点において、中国語話者が中国語の発話内容１２１を再度発話する。この場合、切替部４５による通訳方向の切り替えは行われないため、評価部６０により前回の通訳結果（Ｔ２の時点の通訳結果）は信頼度が低いと評価され、図２に示すように、ＩＤ「Ｈ２」の通訳結果には、信頼度「×」が対応付けられて履歴記憶部３６に記憶される。 Subsequently, since the Chinese character string 122 is an erroneous recognition result, the Chinese speaker speaks the Chinese utterance content 121 again at time T3. In this case, since the interpretation direction is not switched by the switching unit 45, the evaluation unit 60 evaluates that the previous interpretation result (interpretation result at the time of T2) is low in reliability, and as shown in FIG. The interpretation result of “H2” is associated with the reliability “×” and stored in the history storage unit 36.

そして、認識部５０により中国語の発話内容１２１から中国語の文字列１３２が生成され、翻訳部５５により日本語の翻訳結果１３３に翻訳されるものとする。この場合、図２に示すように、この通訳結果には、ＩＤ「Ｈ３」が対応付けられて履歴記憶部３６に記憶される。 The recognition unit 50 generates a Chinese character string 132 from the Chinese utterance content 121, and the translation unit 55 translates it into a Japanese translation result 133. In this case, as shown in FIG. 2, the interpretation result is stored in the history storage unit 36 in association with the ID “H3”.

続いて、Ｔ４の時点において、日本語話者が日本語の発話内容１４１を発話すると、切替部４５により通訳方向が切り替えられるため、評価部６０により前回の通訳結果（Ｔ３の時点の通訳結果）は信頼度が高いと評価され、図２に示すように、ＩＤ「Ｈ３」の通訳結果には、信頼度「○」が対応付けられて履歴記憶部３６に記憶される。 Subsequently, when a Japanese speaker utters the Japanese utterance content 141 at time T4, the interpretation direction is switched by the switching unit 45, so the previous interpretation result (interpretation result at time T3) by the evaluation unit 60. Is evaluated as having high reliability, and as shown in FIG. 2, the interpretation result of ID “H3” is associated with the reliability “◯” and stored in the history storage unit 36.

そして、認識部５０により日本語の発話内容１４１から日本語の文字列１４２が生成され、翻訳部５５により中国語の翻訳結果１４３に翻訳されるものとする。この場合、図２に示すように、この通訳結果には、ＩＤ「Ｈ４」が対応付けられて履歴記憶部３６に記憶される。 Then, it is assumed that the Japanese character string 142 is generated from the Japanese utterance content 141 by the recognition unit 50 and translated into the Chinese translation result 143 by the translation unit 55. In this case, as shown in FIG. 2, the interpretation result is stored in the history storage unit 36 in association with the ID “H4”.

続いて、日本語の文字列１４２は誤った認識結果であるため、Ｔ５の時点において、日本語話者が日本語の発話内容１４１を再度発話する。この場合、切替部４５による通訳方向の切り替えは行われないため、評価部６０により前回の通訳結果（Ｔ４の時点の通訳結果）は信頼度が低いと評価され、図２に示すように、ＩＤ「Ｈ４」の通訳結果には、信頼度「×」が対応付けられて履歴記憶部３６に記憶される。 Subsequently, since the Japanese character string 142 is an erroneous recognition result, the Japanese speaker speaks the Japanese utterance content 141 again at time T5. In this case, since the interpretation direction is not switched by the switching unit 45, the evaluation unit 60 evaluates that the previous interpretation result (interpretation result at the time of T4) is low in reliability, and as shown in FIG. The interpretation result of “H4” is associated with the reliability “×” and stored in the history storage unit 36.

そして、認識部５０により日本語の発話内容１４１から日本語の文字列１５２が生成され、翻訳部５５により日本語の翻訳結果１５３に翻訳されるものとする。この場合、図２に示すように、この通訳結果には、ＩＤ「Ｈ５」が対応付けられて履歴記憶部３６に記憶される。 Then, it is assumed that a Japanese character string 152 is generated from the Japanese utterance content 141 by the recognition unit 50 and translated into a Japanese translation result 153 by the translation unit 55. In this case, as shown in FIG. 2, the interpretation result is stored in the history storage unit 36 in association with the ID “H5”.

続いて、Ｔ６の時点において、中国語話者が中国語の発話内容１６１を発話すると、切替部４５により通訳方向が切り替えられるため、評価部６０により前回の通訳結果（Ｔ５の時点の通訳結果）は信頼度が高いと評価され、図２に示すように、ＩＤ「Ｈ５」の通訳結果には、信頼度「○」が対応付けられて履歴記憶部３６に記憶される。 Subsequently, when the Chinese speaker utters the Chinese utterance content 161 at time T6, the interpreter direction is switched by the switching unit 45, so that the evaluation unit 60 performs the previous interpretation result (interpretation result at time T5). Is evaluated as having high reliability, and as shown in FIG. 2, the interpretation result of ID “H5” is associated with the reliability “◯” and stored in the history storage unit 36.

そして、認識部５０により中国語の発話内容１６１から中国語の文字列１６２が生成され、翻訳部５５により日本語の翻訳結果１６３に翻訳されるものとする。この場合、図２に示すように、この通訳結果には、ＩＤ「Ｈ６」が対応付けられて履歴記憶部３６に記憶される。 The recognition unit 50 generates a Chinese character string 162 from the Chinese utterance content 161 and the translation unit 55 translates it into a Japanese translation result 163. In this case, as shown in FIG. 2, the interpretation result is stored in the history storage unit 36 in association with the ID “H6”.

続いて、Ｔ７の時点において、日本語話者が日本語の発話内容１７１を発話すると、切替部４５により通訳方向が切り替えられるため、評価部６０により前回の通訳結果（Ｔ６の時点の通訳結果）は信頼度が高いと評価され、図２に示すように、ＩＤ「Ｈ６」の通訳結果には、信頼度「○」が対応付けられて履歴記憶部３６に記憶される。 Subsequently, when a Japanese speaker utters the Japanese utterance content 171 at time T7, the interpretation unit is switched by the switching unit 45, so that the evaluation unit 60 performs the previous interpretation result (interpretation result at time T6). Is evaluated as having high reliability, and as shown in FIG. 2, the interpretation result of ID “H6” is associated with the reliability “◯” and stored in the history storage unit 36.

そして、認識部５０により日本語の発話内容１７１から日本語の文字列１７２が生成され、翻訳部５５により中国語の翻訳結果１７３に翻訳されるものとする。この場合、図２に示すように、この通訳結果には、ＩＤ「Ｈ７」が対応付けられて履歴記憶部３６に記憶される。 Then, it is assumed that a Japanese character string 172 is generated from the Japanese utterance content 171 by the recognition unit 50 and translated into a Chinese translation result 173 by the translation unit 55. In this case, as shown in FIG. 2, the interpretation result is stored in the history storage unit 36 in association with the ID “H7”.

続いて、Ｔ８の時点において、中国語話者が中国語の発話内容１８１を発話すると、切替部４５により通訳方向が切り替えられるため、評価部６０により前回の通訳結果（Ｔ７の時点の通訳結果）は信頼度が高いと評価され、図２に示すように、ＩＤ「Ｈ７」の通訳結果には、信頼度「○」が対応付けられて履歴記憶部３６に記憶される。 Subsequently, when the Chinese speaker utters the Chinese utterance content 181 at time T8, the interpreter direction is switched by the switching unit 45, so the previous interpretation result (interpretation result at time T7) by the evaluation unit 60. Is evaluated as having high reliability, and as shown in FIG. 2, the interpretation result of ID “H7” is associated with the reliability “◯” and stored in the history storage unit 36.

そして、認識部５０により中国語の発話内容１８１から中国語の文字列１８２が生成され、翻訳部５５により日本語の翻訳結果１８３に翻訳されるものとする。この場合、図２に示すように、この通訳結果には、ＩＤ「Ｈ８」が対応付けられて履歴記憶部３６に記憶される。 The recognition unit 50 generates a Chinese character string 182 from the Chinese utterance content 181, and the translation unit 55 translates it into a Japanese translation result 183. In this case, as shown in FIG. 2, the interpretation result is stored in the history storage unit 36 in association with the ID “H8”.

この結果、音声認識誤り及び翻訳誤りが生じずに通訳処理に成功したＴ１、Ｔ３、Ｔ５、Ｔ６、Ｔ７の時点における通訳結果の信頼度は、いずれも高く評価されている。 As a result, the reliability of the interpretation results at time points T1, T3, T5, T6, and T7 where the interpretation processing succeeded without causing any speech recognition error and translation error is highly evaluated.

このように本実施の形態では、発話音声を認識して生成された文字列及びその翻訳結果の少なくとも一方の信頼度が、新たな発話音声の通訳方向の切り替えの有無に応じて自動的に評価され、文字列及び翻訳結果の少なくとも一方と信頼度が対応付けられて記憶される。そして、所定の信頼度に対応付けられた文字列による認識知識データベースの更新、及び所定の信頼度に対応付けられた翻訳結果による翻訳知識データベースの更新の少なくとも一方が行われる。 As described above, in the present embodiment, the reliability of at least one of the character string generated by recognizing the speech and the translation result thereof is automatically evaluated according to whether or not the interpretation direction of the new speech is switched. Then, at least one of the character string and the translation result and the reliability are stored in association with each other. Then, at least one of updating the recognition knowledge database with the character string associated with the predetermined reliability and updating the translation knowledge database with the translation result associated with the predetermined reliability is performed.

従って本実施の形態によれば、発話音声を認識して生成された文字列及びその翻訳結果の信頼度を自動的に評価することができ、この信頼度を利用して認識知識データベース及び翻訳知識データベースの更新（学習）ができるため、開発コストを抑えつつ、通訳性能を向上させることができるという効果を奏する。 Therefore, according to the present embodiment, it is possible to automatically evaluate the reliability of the character string generated by recognizing the uttered speech and the translation result, and using this reliability, the recognition knowledge database and the translation knowledge Since the database can be updated (learned), the interpretation performance can be improved while suppressing development costs.

また本実施の形態では、認識部５０により生成された文字列と同一又は類似の文字列に対応付けられた信頼度、及び翻訳部５５の翻訳結果と同一又は類似の翻訳結果に対応付けられた信頼度の少なくとも一方が履歴記憶部３６から検索される。そして、検索された信頼度に基づいて、認識部５０により生成された文字列、及び翻訳部５５の翻訳結果の少なくとも一方の信頼性が出力される。 Further, in the present embodiment, the reliability associated with the same or similar character string as the character string generated by the recognition unit 50 and the translation result identical or similar to the translation result of the translation unit 55 are associated. At least one of the reliability levels is retrieved from the history storage unit 36. Then, based on the retrieved reliability, the reliability of at least one of the character string generated by the recognition unit 50 and the translation result of the translation unit 55 is output.

従って本実施の形態によれば、認識部５０により生成された文字列、及び翻訳部５５の翻訳結果の信頼性を利用者は確認することができる。特に本実施の形態によれば、通常、利用者自身も正しいか否かを判断することができない翻訳結果の信頼性を確認することができるため、より自然にコミュニケーション相手との意思の疎通を図ることができるようになる。 Therefore, according to the present embodiment, the user can confirm the reliability of the character string generated by the recognition unit 50 and the translation result of the translation unit 55. In particular, according to the present embodiment, since the reliability of the translation result, in which the user himself / herself cannot determine whether or not it is correct, can be confirmed, the communication with the communication partner can be more naturally communicated. Will be able to.

また本実施の形態では、通訳方向が切り替えられるということは、会話が成立している可能性が高いため、その通訳結果の信頼度を高く評価している。 In the present embodiment, since the interpretation direction is switched, there is a high possibility that a conversation has been established. Therefore, the reliability of the interpretation result is highly evaluated.

なお上記実施の形態の通訳装置１は、ＣＰＵ（Central Processing Unit）などの制御装置、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置、マイクなどの音声入力装置、液晶ディスプレイなどの表示装置、スピーカなどの音声出力装置等を備えたハードウェア構成となっている。 The interpretation device 1 of the above embodiment includes a control device such as a CPU (Central Processing Unit), a storage device such as a ROM (Read Only Memory) and a RAM (Random Access Memory), a voice input device such as a microphone, a liquid crystal display, and the like. The hardware configuration includes a display device, an audio output device such as a speaker, and the like.

また、上記実施の形態の通訳装置１で実行される通訳プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（FD）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。 The interpreter program executed by the interpreter 1 of the above embodiment is a file in an installable or executable format, and is a CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk). Or the like recorded on a computer-readable recording medium.

また、上記実施の形態の通訳装置１で実行される通訳プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施の形態の通訳装置１で実行される通訳プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。 Further, the interpreting program executed by the interpreting apparatus 1 according to the above embodiment may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. Moreover, you may comprise so that the interpreting program run with the interpreting apparatus 1 of the said embodiment may be provided or distributed via networks, such as the internet.

また、上記実施の形態の通訳装置１の通訳プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。 Moreover, you may comprise so that the interpretation program of the interpretation apparatus 1 of the said embodiment may be provided by previously incorporating in ROM etc.

また、上記実施の形態の通訳装置１で実行される通訳プログラムは、上述した各部（受付部、切替部、認識部、翻訳部、評価部、登録部、更新部、検索部、出力制御部等）を含むモジュール構成となっている。そして、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から通訳プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、受付部、切替部、認識部、翻訳部、評価部、登録部、更新部、検索部、出力制御部等が主記憶装置上に生成されるようになっている。 Moreover, the interpreting program executed by the interpreting apparatus 1 of the above embodiment includes the above-described units (receiving unit, switching unit, recognition unit, translation unit, evaluation unit, registration unit, update unit, search unit, output control unit, etc. ). Then, as actual hardware, a CPU (processor) reads the interpreter program from the storage medium and executes it, so that each unit is loaded on the main storage device, and a reception unit, a switching unit, a recognition unit, a translation unit, an evaluation unit A registration unit, an update unit, a search unit, an output control unit, and the like are generated on the main storage device.

（変形例）
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。 (Modification)
It should be noted that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.

（変形例１）
上記実施の形態では、新たな発話音声の通訳方向の切り替えの有無に応じて信頼度を評価する例について説明したが、新たな発話音声の通訳方向の切り替え発生までの通訳方向の連続切替回数や、新たな発話音声の通訳方向の切り替え発生までの所定時間内での通訳方向の切り替えの発生密度により信頼度を評価するようにしてもよい。 (Modification 1)
In the above embodiment, an example in which the reliability is evaluated according to whether or not the interpretation direction of a new utterance voice is switched has been described, but the number of continuous switching of the interpretation direction until the switching of the interpretation direction of a new utterance voice occurs, The reliability may be evaluated based on the occurrence density of the interpretation direction switching within a predetermined time until the interpretation direction switching of a new utterance voice occurs.

例えば上記実施の形態では、図４の信頼度評価処理が示すように、前回の話者と今回の話者が同一であるか否かのみを確認するようにしているが、これに加え、前々回の話者と前回の話者が同一であるか（２回連続で通訳方向が切り替えられているか）を確認するようにしてもよい。そして、２回連続で通訳方向が切り替えられているということは、より長く会話が成立している可能性が高いため、その通訳結果の信頼度をより高く評価することができる。 For example, in the above-described embodiment, as shown in the reliability evaluation process of FIG. 4, only the previous speaker and the current speaker are confirmed to be the same. It may be possible to confirm whether the current speaker and the previous speaker are the same (whether the interpretation direction has been switched twice consecutively). If the interpretation direction is switched twice in succession, it is highly possible that the conversation has been established for a longer time. Therefore, the reliability of the interpretation result can be evaluated higher.

図６は、通訳方向の連続切替回数毎の認識精度及び翻訳精度の評価結果を示すグラフである。図６では、横軸が連続切替回数を示し、縦軸が認識精度及び翻訳精度を示している。また、実線が認識精度を示しており、破線が翻訳精度を示している。なお、上記実施の形態の通訳装置は、連続切替回数が１である場合に該当し、信頼度評価処理を行わない従来の通訳装置は、連続切替回数が０である場合に該当する。 FIG. 6 is a graph showing evaluation results of recognition accuracy and translation accuracy for each number of continuous switchings in the interpretation direction. In FIG. 6, the horizontal axis indicates the number of times of continuous switching, and the vertical axis indicates the recognition accuracy and the translation accuracy. The solid line indicates the recognition accuracy, and the broken line indicates the translation accuracy. The interpreting device of the above embodiment corresponds to the case where the number of continuous switching is 1, and the conventional interpreting device which does not perform the reliability evaluation process corresponds to the case where the number of continuous switching is 0.

図６に示すように、連続切替回数を多くするほど、認識精度及び翻訳精度が高くなる傾向にあるため、通訳方向の切り替え発生までの通訳方向の連続切替回数が多くなるほど、その通訳結果の信頼度をより高く評価するようにすることができる。 As shown in FIG. 6, as the number of continuous switching increases, the recognition accuracy and the translation accuracy tend to increase. Therefore, the greater the number of continuous switching in the interpretation direction until the interpretation direction switching occurs, the more reliable the interpretation result. The degree can be evaluated higher.

なお、通訳方向の切り替え発生までの所定時間内での通訳方向の切り替えの発生密度で信頼度を評価する場合も同様である。 The same applies to the case where the reliability is evaluated based on the occurrence density of interpretation direction switching within a predetermined time until the interpretation direction switching occurs.

（変形例２）
また上記実施の形態では、利用者の発話音声を認識して翻訳する音声翻訳を例に取り説明したが、例えば、タッチパネルから入力された利用者の手書き入力データ（例えば、文字データや描画データ）を元言語に認識して目的言語に翻訳するようにしてもよい。また、利用者の動作又は表情（例えば、手話、ジェスチャ、顔の表情など）をデジタルカメラなどの撮像装置で撮像した撮像データを元言語に認識して目的言語に翻訳するようにしてもよい。 (Modification 2)
Moreover, although the said embodiment demonstrated and demonstrated the speech translation which recognizes and translates a user's speech voice as an example, for example, the user's handwritten input data (for example, character data and drawing data) input from the touch panel May be recognized in the original language and translated into the target language. Alternatively, the user's motion or facial expression (for example, sign language, gesture, facial expression, etc.) captured by an imaging device such as a digital camera may be recognized in the original language and translated into the target language.

（変形例３）
また上記実施の形態では、発話音声を分析していずれの利用者の発話であるかを判定し、判定結果に応じた通訳方向に切り替える例について説明したが、発話音声を分析してその言語種別を判定し、判定結果に応じた通訳方向に切り替えるようにしてもよい。また、通訳方向を切り替える切替ボタン操作などによって通訳方向を切り替えるようにしてもよい。 (Modification 3)
Further, in the above embodiment, an example has been described in which an utterance voice is analyzed to determine which user's utterance, and the direction of interpretation is switched according to the determination result. And may be switched to the interpretation direction according to the determination result. Further, the interpretation direction may be switched by operating a switching button for switching the interpretation direction.

また、利用者の手書き入力データを元言語に認識して目的言語に翻訳する場合には、手書き入力データの書体を判別して、判定結果に応じた通訳方向に切り替えるようにしてもよい。また、タッチパネルに対する入力を行うタッチペンなどを利用者毎に用意しておき、これらのタッチペンに無線タグや、磁気タグなどのマーカを備えさせることにより、このマーカを用いて通訳方向に切り替えるようにしてもよい。 When the user's handwritten input data is recognized in the original language and translated into the target language, the typeface of the handwritten input data may be determined and switched to the interpretation direction corresponding to the determination result. In addition, a touch pen that performs input to the touch panel is prepared for each user, and a marker such as a wireless tag or a magnetic tag is provided on the touch pen so that the marker can be used to switch to the interpretation direction. Also good.

また撮像装置で撮像した撮像データを元言語に認識して目的言語に翻訳する場合には、撮像データから識別可能な特徴（例えば、性別、年齢、身体的特徴等）を判定し、判定結果に応じた通訳方向に切り替えるようにしてもよい。 Also, when recognizing the image data captured by the image capturing device in the original language and translating it into the target language, distinguishable features (for example, gender, age, physical characteristics, etc.) are determined from the image data, and the determination result You may make it switch to the interpretation direction according to.

（変形例４）
また上記実施の形態では、通訳装置の利用者が日本語話者と中国語話者の２名である場合を例にとり説明したが、通訳装置の利用者は３名以上であってもよく、利用者が複数の言語を用いたり解したりする状況で上記実施の形態の通訳装置を利用するようにしてもよい。 (Modification 4)
In the above embodiment, the case where there are two users of the interpreting device, Japanese speakers and Chinese speakers, has been described as an example, but there may be three or more users of the interpreting device, You may make it utilize the interpreting apparatus of the said embodiment in the condition where a user uses or understands several languages.

（変形例５）
また上記実施の形態では、話者判定結果、通訳方向、認識結果、翻訳結果、及び評価部６０により評価された信頼度などを履歴する例について説明したが、例えば、翻訳に用いる辞書の種別や、ハイブリッド翻訳を行う場合には、翻訳方法を履歴するようにしてもよい。このような情報を用いて識別された通訳結果のみから信頼度を評価すれば、より精度の高い信頼度評価を行うことができる。 (Modification 5)
Further, in the above embodiment, an example in which the speaker determination result, the interpretation direction, the recognition result, the translation result, the reliability evaluated by the evaluation unit 60, and the like is described, but for example, the type of dictionary used for translation, When performing hybrid translation, the translation method may be recorded as a history. If the reliability is evaluated only from the interpretation result identified using such information, a more accurate reliability evaluation can be performed.

１通訳装置
１０入力部
２０出力部
３０記憶部
３２認識知識記憶部
３４翻訳知識記憶部
３６履歴記憶部
４０受付部
４５切替部
５０認識部
５５翻訳部
６０評価部
６５登録部
７０更新部
７５検索部
８０出力制御部
１１１、１２１、１４１、１６１、１７１、１８１発話内容
１１２、１２２、１３２、１４２、１５２、１６２、１７２、１８２文字列
１１３、１２３、１３３、１４３、１５３、１６３、１７３、１８３翻訳結果 DESCRIPTION OF SYMBOLS 1 Interpreting apparatus 10 Input part 20 Output part 30 Storage part 32 Recognition knowledge storage part 34 Translation knowledge storage part 36 History storage part 40 Reception part 45 Switching part 50 Recognition part 55 Translation part 60 Evaluation part 65 Registration part 70 Update part 75 Search part 80 Output control part 111, 121, 141, 161, 171, 181 Utterance content 112, 122, 132, 142, 152, 162, 172, 182 Character string 113, 123, 133, 143, 153, 163, 173, 183 Translation result

Claims

通訳の対象となる原言語のデータの入力を受け付ける受付部と、
前記データの認識に用いる認識知識データベースを記憶する認識知識記憶部と、
前記認識知識データベースを用いて前記データを認識し、原言語の文字列を生成する認識部と、
前記文字列の翻訳に用いる翻訳知識データベースを記憶する翻訳知識記憶部と、
前記翻訳知識データベースを用いて前記文字列を目的言語に翻訳する翻訳部と、
前記翻訳部の翻訳結果を出力する出力部と、
前記翻訳部の原言語及び目的言語を切り替えることにより、前記翻訳部の通訳方向を切り替える切替部と、
前記データの通訳方向の切り替えの有無を前記切替部から受け取り、前記文字列及び前記翻訳結果の少なくとも一方の信頼度を評価する評価部と、
前記文字列及び前記翻訳結果の少なくとも一方と、前記信頼度を対応付けて記憶する履歴記憶部と、
所定の前記信頼度に対応付けられた前記文字列による前記認識知識データベースの更新、及び所定の前記信頼度に対応付けられた前記翻訳結果による前記翻訳知識データベースの更新の少なくとも一方を行う更新部と、を備えることを特徴とする通訳装置。 A reception unit that accepts input of source language data to be interpreted;
A recognition knowledge storage unit for storing a recognition knowledge database used for recognition of the data;
Recognizing the data using the recognition knowledge database and generating a source language character string;
A translation knowledge storage unit for storing a translation knowledge database used for translation of the character string;
A translation unit that translates the character string into a target language using the translation knowledge database;
An output unit for outputting the translation result of the translation unit;
A switching unit that switches the interpretation direction of the translation unit by switching the source language and the target language of the translation unit;
An evaluation unit that receives the presence / absence of switching of the interpretation direction of the data from the switching unit, and evaluates the reliability of at least one of the character string and the translation result;
A history storage unit for storing at least one of the character string and the translation result and the reliability in association with each other;
An updating unit that performs at least one of updating the recognition knowledge database with the character string associated with the predetermined reliability and updating the translation knowledge database with the translation result associated with the predetermined reliability; An interpreting device comprising:

前記履歴記憶部に記憶された前記文字列のうち前記認識部に生成された前記文字列と同一又は類似の文字列、及び前記履歴記憶部に記憶された前記翻訳結果のうち前記翻訳部の前記翻訳結果と同一又は類似の翻訳結果の少なくとも一方に対応付けられた前記信頼度を検索する検索部を更に備え、
前記出力部は、検索された前記信頼度に基づいて、前記文字列及び前記翻訳結果の少なくとも一方の信頼性を出力することを特徴とする請求項１に記載の通訳装置。 Of the character strings stored in the history storage unit, a character string that is the same as or similar to the character string generated in the recognition unit, and of the translation result stored in the history storage unit, the translation unit A search unit that searches for the reliability associated with at least one of the same or similar translation results as the translation results;
The interpreting apparatus according to claim 1, wherein the output unit outputs the reliability of at least one of the character string and the translation result based on the retrieved reliability.

前記評価部は、前記受付部に受け付けられる新たな前記データの通訳方向の切り替えが発生した場合に、前記文字列及び前記翻訳結果の少なくとも一方の信頼度を高く評価することを特徴とする請求項１又は２に記載の通訳装置。 The evaluation unit highly evaluates the reliability of at least one of the character string and the translation result when switching of the interpretation direction of the new data received by the reception unit occurs. The interpretation apparatus according to 1 or 2.

前記評価部は、前記受付部に受け付けられる新たな前記データの通訳方向の切り替え発生までの通訳方向の連続切替回数が多いほど、又は前記受付部に受け付けられる新たな前記データの通訳方向の切り替え発生までの所定時間内での通訳方向の切り替えの発生密度が高いほど、前記文字列及び前記翻訳結果の少なくとも一方の信頼度を高く評価することを特徴とする請求項３に記載の通訳装置。 The evaluation unit is more likely to switch the interpretation direction of the data received by the receiving unit as the number of continuous switching of the interpretation direction until the switching of the interpretation direction of the new data received by the receiving unit increases. 4. The interpreting apparatus according to claim 3, wherein the higher the occurrence density of the interpretation direction switching within a predetermined time until, the higher the reliability of at least one of the character string and the translation result is evaluated.

前記データは、利用者の発話音声又は利用者の手書き入力データであることを特徴とする請求項１〜４のいずれか１つに記載の通訳装置。 The data interpretation device according to any one of claims 1 to 4, characterized in that a handwriting input data of the user's speech or the user.

前記切替部は、利用者の切り替え操作入力の有無、前記データの言語種別、前記発話音声の声質、前記手書き入力データの書体、又は利用者を識別可能なマーカに基づいて通訳方向を判定し、この判定結果に応じて通訳方向を切り替えることを特徴とする請求項５に記載の通訳装置。 The switching unit includes the presence of the switching operation input by the user, the language type of data, voice quality of the speech, decision in interpreting direction based the typeface of handwriting input data, or a user to identifiable marker 6. The interpreting apparatus according to claim 5, wherein the interpreting direction is switched according to the determination result.

受付部が、通訳の対象となる原言語のデータの入力を受け付ける受付ステップと、
認識部が、認識知識記憶部に記憶されている認識知識データベースを用いて前記データを認識し、原言語の文字列を生成する認識ステップと、
翻訳部が、翻訳知識記憶部に記憶されている翻訳知識データベースを用いて前記文字列を目的言語に翻訳する翻訳ステップと、
出力制御部が、前記翻訳ステップによる翻訳結果を出力部に出力させる出力ステップと、
切替部が、前記翻訳ステップでの原言語及び目的言語を切り替えることにより、前記翻訳ステップでの通訳方向を切り替える切替ステップと、
評価部が、前記データの通訳方向の切り替えの有無を受け取り、前記文字列及び前記翻訳結果の少なくとも一方の信頼度を評価する評価ステップと、
登録部が、前記文字列及び前記翻訳結果の少なくとも一方と、前記信頼度を対応付けて履歴記憶部に記憶させる登録ステップと、
更新部が、所定の前記信頼度に対応付けられた前記文字列による前記認識知識データベースの更新、及び所定の前記信頼度に対応付けられた前記翻訳結果による前記翻訳知識データベースの更新の少なくとも一方を行う更新ステップと、を含むことを特徴とする通訳方法。 A reception step in which the reception unit receives input of source language data to be interpreted;
A recognition unit that recognizes the data using a recognition knowledge database stored in a recognition knowledge storage unit and generates a source language character string;
A translation step wherein the translation unit translates the character string into a target language using a translation knowledge database stored in the translation knowledge storage unit;
An output control unit that causes the output unit to output the translation result of the translation step; and
A switching step of switching the interpretation direction in the translation step by switching the source language and the target language in the translation step;
The evaluation unit receives the presence / absence of switching of the interpretation direction of the data, and evaluates the reliability of at least one of the character string and the translation result; and
A registration step in which a registration unit stores at least one of the character string and the translation result in association with the reliability in the history storage unit;
An update unit performs at least one of updating the recognition knowledge database with the character string associated with the predetermined reliability and updating the translation knowledge database with the translation result associated with the predetermined reliability. And an updating step to perform.

受付部が、通訳の対象となる原言語のデータの入力を受け付ける受付ステップと、
認識部が、認識知識記憶部に記憶されている認識知識データベースを用いて前記データを認識し、原言語の文字列を生成する認識ステップと、
翻訳部が、翻訳知識記憶部に記憶されている翻訳知識データベースを用いて前記文字列を目的言語に翻訳する翻訳ステップと、
出力制御部が、前記翻訳ステップによる翻訳結果を出力部に出力させる出力ステップと、
切替部が、前記翻訳ステップでの原言語及び目的言語を切り替えることにより、前記翻訳ステップでの通訳方向を切り替える切替ステップと、
評価部が、前記データの通訳方向の切り替えの有無を受け取り、前記文字列及び前記翻訳結果の少なくとも一方の信頼度を評価する評価ステップと、
登録部が、前記文字列及び前記翻訳結果の少なくとも一方と、前記信頼度を対応付けて履歴記憶部に記憶させる登録ステップと、
更新部が、所定の前記信頼度に対応付けられた前記文字列による前記認識知識データベースの更新、及び所定の前記信頼度に対応付けられた前記翻訳結果による前記翻訳知識データベースの更新の少なくとも一方を行う更新ステップと、をコンピュータに実行させるための通訳プログラム。 A reception step in which the reception unit receives input of source language data to be interpreted;
A recognition unit that recognizes the data using a recognition knowledge database stored in a recognition knowledge storage unit and generates a source language character string;
A translation step wherein the translation unit translates the character string into a target language using a translation knowledge database stored in the translation knowledge storage unit;
An output control unit that causes the output unit to output the translation result of the translation step; and
A switching step of switching the interpretation direction in the translation step by switching the source language and the target language in the translation step;
The evaluation unit receives the presence / absence of switching of the interpretation direction of the data, and evaluates the reliability of at least one of the character string and the translation result; and
A registration step in which a registration unit stores at least one of the character string and the translation result in association with the reliability in the history storage unit;
An update unit performs at least one of updating the recognition knowledge database with the character string associated with the predetermined reliability and updating the translation knowledge database with the translation result associated with the predetermined reliability. An interpreting program for causing a computer to execute an updating step to be performed.