KR20020076044A - Automatic interpretation apparatus and method using dialogue model - Google Patents
Automatic interpretation apparatus and method using dialogue model Download PDFInfo
- Publication number
- KR20020076044A KR20020076044A KR1020010016012A KR20010016012A KR20020076044A KR 20020076044 A KR20020076044 A KR 20020076044A KR 1020010016012 A KR1020010016012 A KR 1020010016012A KR 20010016012 A KR20010016012 A KR 20010016012A KR 20020076044 A KR20020076044 A KR 20020076044A
- Authority
- KR
- South Korea
- Prior art keywords
- dialogue
- sentence
- language
- sentences
- speech
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
- G06F40/45—Example-based machine translation; Alignment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
Description
본 발명은 자동 번역에 관한 것으로, 특히 대화 모델을 이용한 자동 통역 방법 및 그 장치에 관한 것이다.The present invention relates to automatic translation, and more particularly, to an automatic interpretation method and apparatus using a dialogue model.
전자 통역 장치는 서로 다른 언어를 사용하는 사람들이 의사 소통을 할 수 있도록 하기 위한 장치이다. 특히, 대화용 전자 번역 장치는 한 언어로 된 음성을 입력하여 다른 언어로 된 음성으로 번역하여 출력한다.Electronic interpreters are devices that allow people who speak different languages to communicate. In particular, the conversational electronic translation device inputs a voice in one language, translates it into a voice in another language, and outputs it.
전자 번역 장치의 한 예로서, 히타치세이사쿠쇼의 전자 번역 장치(국내출원번호 95-28604, 출원일자 1995. 9. 10)가 있다. 이 전자 번역 장치는 사용자와 그 상대방이 준비된 예문 중에서 선택할 수 있도록 한다. 예문의 데이터는 예문에 대한 번역문을 포함하는 복수의 예문의 집합을 포함하는 데이터 구조로 메모리에 저장되어 있다. 각 예문의 집합중의 각각의 예문들은 다른 예문의 집합에 링크되어 있다.An example of an electronic translation device is Hitachi Seisakusho's electronic translation device (Domestic Application No. 95-28604, filed Sept. 10, 1995). This electronic translation device allows the user and the counterpart to select from the prepared examples. The example data is stored in the memory in a data structure including a set of a plurality of example sentences including translations for the example sentences. Each sentence in each set of examples is linked to a different set of examples.
도 1은 종래 기술의 번역 예문 데이터베이스의 구축 예를 나타낸다.1 shows an example of constructing a translation example sentence database of the prior art.
도 1을 참조하면, 한 예문의 집합(100)이 있고, 집합내 각각의 예문들은 다른 예문의 집합(110,120,...)에 링크되어 있다. 즉, 각 문장마다 가능한 다음 문장에 대한 링크를 유지하고 있다. 이러한 전자 번역 장치는 모든 번역 문장에 대해 링크를 유지해야 하므로 비효율적고, 번역 예문 데이터베이스가 클 경우 링크 정보를 구축하기 어렵고 확장하기 힘들다는 단점이 있다. 또한, 대화가 내포되는 경우 대화의 히스토리를 저장하는 장치가 없어 부-대화(sub-dialogue)의 처리가 용이하지 않다. 또한, 다음 가능한 문장, 즉 후보 문장에 대한 가중치 정보가 없어 인식 성능이 좋지 않을 수 있다.Referring to FIG. 1, there is a set of example sentences 100, and each example sentence in the set is linked to another set of example sentences 110, 120,... In other words, each sentence maintains a link to the next possible sentence. Such an electronic translation device is inefficient because it must maintain a link for all translated sentences, and it is difficult to establish link information and to expand it when the translation example database is large. In addition, when a conversation is implied, there is no device for storing the history of the conversation, so the processing of sub-dialogue is not easy. In addition, the recognition performance may not be good because there is no weight information on the next possible sentence, that is, the candidate sentence.
본 발명이 이루고자 하는 기술적 과제는, 대화 모델을 이용하여 언어를 분석하고, 언어 분석 결과로 다음 문장의 후보자를 예측하고, 대화 모델에 근거한 번역 예문 데이터베이스를 참조하여 문장을 번역함으로써, 음성의 인식률을 높이고, 번역 성능을 향상시키는, 대화 모델을 이용한 자동 통역 장치 및 그 방법을 제공하는데 있다.The technical problem to be achieved by the present invention is to analyze the language using a conversation model, predict candidates for the next sentence based on the language analysis result, and translate a sentence with reference to a translation example database based on the conversation model, thereby improving speech recognition rate. The present invention provides an automatic interpretation apparatus and method using a dialogue model, which improves the translation performance.
도 1은 종래 기술의 번역 예문 데이터베이스의 구축 예를 나타낸다.1 shows an example of constructing a translation example sentence database of the prior art.
도 2a는 본 발명에 의한 자동 통역 장치의 바람직한 실시예에 따른 블럭도이다.Figure 2a is a block diagram according to a preferred embodiment of the automatic interpretation device according to the present invention.
도 2b는 본 발명에 의한 자동 통역 방법을 설명하기 위한 플로우챠트이다.2B is a flowchart for explaining the automatic interpretation method according to the present invention.
도 3은 문형 패턴과 화행의 관계 예를 나타낸다.3 shows an example of a relationship between a sentence pattern and a speech act.
도 4는 본 발명에 의한 대화 모델의 구성 예를 나타낸다.4 shows a configuration example of a dialogue model according to the present invention.
도 5는 본 발명에 의한 번역 예문 데이터베이스의 구축 예를 나타낸다.5 shows an example of constructing a translation example sentence database according to the present invention.
상기 과제를 이루기 위하여, 본 발명에 의한 자동 통역 장치는,In order to achieve the above object, the automatic interpretation device according to the present invention,
제1 언어 음성을 입력하고, 이전 언어 분석을 통해 얻은 적어도 하나의 예측 후보자 문장을 참조한 음성 인식 과정을 거쳐 제1 언어 문장을 생성하는 음성 인식부, 제1 언어 문장의 문형 패턴을 인식하고, 이전 문장들의 화행들 및 화행들간의 관계로 대화를 표현한 미리 준비된 대화 모델을 이용하여 문형 패턴으로부터 현재 문장의 화행을 결정하는 언어 분석부, 화행별로 그 관련 제1 언어 문장과 제2 언어 문장의 쌍들을 저장한 번역 예문 데이터베이스를 참조하여 언어 분석부에서 결정된 화행에 대해 제1 언어 문장을 제2 언어 문장으로 번역하는 언어 번역부 및 제2 언어 문장을 음성 합성하여 출력하는 음성 합성부를 포함한다.A voice recognition unit for inputting a first language speech, generating a first language sentence through a speech recognition process referring to at least one candidate candidate sentence obtained through previous language analysis, and recognizing a sentence pattern of the first language sentence, and A language analysis unit for determining a dialogue act of the current sentence from a sentence pattern using a prepared dialogue model expressing dialogue in relations between dialogue acts and dialogue acts, and pairs of relevant first language sentences and second language sentences for each act. A language translator for translating a first language sentence into a second language sentence and a speech synthesizer for voice synthesis of the second language sentence and outputting the speech act determined by the language analyzer with reference to the stored translation example database.
또한, 상기 과제를 이루기 위하여, 본 발명에 의한 자동 통역 방법은,In addition, in order to achieve the above object, the automatic interpretation method according to the present invention,
(a) 제1 언어 음성을 입력하고, 적어도 하나의 예측 후보자 문장을 참조한 음성 인식 과정을 거쳐 제1 언어 문장을 생성하는 단계, (b) 제1 언어 문장의 문형 패턴을 인식하는 단계, (c) 이전 문장들의 화행들 및 화행들간의 관계로 대화를 표현한 미리 준비된 대화 모델을 이용하여, (b) 단계에서 인식된 문형 패턴으로부터 현재 문장의 화행을 결정하고, 이로부터 (a) 단계에서 이용될 예측 후보자 문장을 생성하는 단계, (d) 화행별로 그 관련 제1 언어 문장과 제2 언어 문장의 쌍들을 저장한 번역 예문 데이터베이스를 참조하여, (c) 단계에서 결정된 화행에 대해 제1 언어 문장을 제2 언어 문장으로 번역하는 단계 및 (e) 제2 언어 문장을 음성 합성하여 출력하는 단계를 포함한다.(a) inputting a first language speech and generating a first language sentence through a speech recognition process referring to at least one prediction candidate sentence, (b) recognizing a sentence pattern of the first language sentence, (c ) Using the prepared dialogue model expressing the dialogue in relation to the dialogue acts and the dialogue acts of the previous sentences, to determine the dialogue act of the current sentence from the sentence pattern recognized in step (b), and to be used in step (a) Generating a prediction candidate sentence; (d) referring to a translation example sentence database storing pairs of relevant first language sentences and second language sentences for each act, and generating a first language sentence for the act determined in step (c). Translating the second language sentence and (e) speech synthesizing the second language sentence and outputting the second language sentence.
이하, 본 발명을 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, with reference to the accompanying drawings, the present invention will be described in detail.
현재 휴대용 자동 통역 장치는 일반적으로 사용자가 미리 준비된 예문중에서 통역하고자 하는 문장을 음성으로 말하거나, 키패드를 통해 선택하면, 번역된 문장을 문자 또는 음성으로 출력한다.Currently, a portable automatic interpreter generally speaks a sentence to be interpreted in a preliminary prepared sentence by voice, or selects it through a keypad, and outputs the translated sentence as text or voice.
본 발명에 의한 자동 통역 장치는 이러한 휴대용 자동 통역 장치뿐만 아니라, 제1 언어에서 제2 언어로의 통역을 수행하는 다양한 장치에 적용된다. 특히, 본 발명의 특징은 대화의 상황을 고려하여 다음 문장을 예측함으로써 사용자가 효율적으로 통역하고자 하는 문장을 찾도록 하는데 있다. 예컨대, 키패드를 이용할 경우, 대화의 상황에 맞는 가능성있는 후보자 문장(들)만을 화면에 제시한다. 또한, 음성을 이용할 경우, 대화의 상황에 맞는 후보자(들)만을 대상으로 음성을 인식한다.The automatic interpretation device according to the present invention is applied not only to this portable automatic interpretation device but also to various devices for performing interpretation from the first language to the second language. In particular, a feature of the present invention is to predict the next sentence in consideration of the situation of the conversation so that the user can find the sentence to be efficiently interpreted. For example, when using a keypad, only possible candidate sentence (s) that fit the context of the conversation are presented on the screen. In addition, when voice is used, voice is recognized only for candidate (s) suitable for the situation of the conversation.
본 발명에 의한 자동 통역 장치는 크게 대화 모델을 이용한 언어 분석과, 언어 분석 결과로 피드백된 예측 후보자 문장을 이용한 음성 인식을 특징으로 한다.The automatic interpreter according to the present invention is characterized by language analysis using a dialogue model and speech recognition using prediction candidate sentences fed back as a result of language analysis.
도 2a는 본 발명에 의한 자동 통역 장치의 바람직한 실시예에 따른 블럭도로서, 음성 인식부(100), 언어 분석부(110), 언어 번역부(120), 음성 합성부(130), 대화 모델 DB(140) 및 번역 예문 DB(150)를 구비한다.Figure 2a is a block diagram according to a preferred embodiment of the automatic interpretation device according to the present invention, speech recognition unit 100, language analysis unit 110, language translation unit 120, speech synthesis unit 130, dialogue model DB 140 and translation example sentence DB 150 are provided.
여기서, 음성 인식부(100)는 사용자가 통역하고자 하는 문장을 음성으로 입력할 경우에(IN1) 필요하고, 음성 합성부(130)는 번역된 문장을 사용자에게 음성으로 출력할 경우에(OUT1) 필요하다. 본 발명에 의한 자동 통역 장치는 물론, 통역하고자 하는 문장을 문자 입력수단 예컨대, 키패드 등을 통해 입력할 경우에(IN2) 음성 인식부(100)를 거치지않고 언어 분석을 하며, 언어 번역 결과를 문자로 출력할 수 있다(OUT2).Here, the speech recognition unit 100 is required when the user inputs a sentence to be interpreted by voice (IN1), and the speech synthesis unit 130 outputs the translated sentence to the user by voice (OUT1). need. In addition to the automatic interpretation device according to the present invention, when a sentence to be interpreted is input through a text input means (eg, a keypad, etc.) (IN2), the language is analyzed without passing through the voice recognition unit 100, and the language translation result is text. Can be output as (OUT2).
도 2b는 본 발명에 의한 자동 통역 방법을 설명하기 위한 플로우챠트이다. 도 2a 및 도 2b를 참조하여 자동 통역 장치의 구성 및 그 동작을 설명한다.2B is a flowchart for explaining the automatic interpretation method according to the present invention. The configuration and operation of the automatic interpretation device will be described with reference to Figs. 2A and 2B.
먼저, 음성 인식부(100)는 사용자로부터 제1 언어 음성을 입력하고, 또한 언어 분석부(110), 정확하게는 화행 분석부(114)로부터 피드백된 예측 후보자 문장(들)을 입력한다. 단, 예측 후보자 문장이 없을 경우에 번역 예문 DB(150)에 저장된 모든 문장을 후보자로 한다. 음성 인식부(100)는 예측 후보자 문장을 참조한 음성 인식 과정을 거쳐 제1 언어 음성을 제1 언어 문장으로 변환한다(제200단계).First, the voice recognition unit 100 inputs a first language voice from a user, and also inputs prediction candidate sentence (s) fed back from the language analyzer 110, precisely, the speech act analysis unit 114. However, when there are no prediction candidate sentences, all sentences stored in the translation example sentence DB 150 are candidates. The speech recognition unit 100 converts the first language speech into the first language sentence through a speech recognition process referring to the prediction candidate sentence (operation 200).
다음에, 언어 분석부(110)에서, 문형 패턴 인식부(112)는 변환된 제1 언어 문장의 문형 패턴을 인식한다(제210단계).Next, in the language analyzer 110, the sentence pattern recognition unit 112 recognizes the converted sentence pattern of the first language sentence (operation 210).
문형 패턴(sentence pattern)은 특정 화행이 실현될 때 사용되는 제1 언어의 문장 유형을 의미한다. 화행(speech act)은 대화를 구성하는 각각의 문장을 하나의 행위의 관점에서 분류한 것이다. 즉, 화자의 의도를 반영한다. 예컨대, "**은 얼마입니까?"라는 문장은 상대방에게 '가격'을 묻는 '정보-요구' 행위로 볼 수 있으며, 상대방은 이에 대한 응답으로 가격을 알려 주는 '정보-제공' 행위를 함으로서 대화가 이루어진다. 이때, 가격을 묻는 행위는 "**은 얼마입니까?", "**은 얼마나 되죠?" 등등의 문형 패턴을 통해 실현되는 것이다.A sentence pattern refers to a sentence type of a first language used when a specific speech act is realized. Speech acts categorize the sentences that make up a conversation in terms of an act. That is, it reflects the speaker's intention. For example, the sentence "How much is **?" Can be seen as an "information-request" act that asks the other party for a price. Is done. At this time, asking price is "How much is **?", "How much is **?" It is realized through the sentence pattern.
도 3은 문형 패턴과 화행의 관계 예를 나타낸다.3 shows an example of a relationship between a sentence pattern and a speech act.
도 3을 참조하면, 문형 패턴은 동사 격틀에 기반하고 있다. 동사 격틀은 동사와 그 동사가 제약하는 문장의 조사, 명사 등의 관계 형태를 의미한다. 예컨대, '타다'라는 동사는 "**에서 **을 타다"와 같은 용례로 사용된다. 여기서, '타다' 동사의 격틀에서, 조사 '에서' 앞에는 장소를 의미하는 명사만이 올 수 있으며, 조사 '을' 앞에는 탈것을 의미하는 명사만이 올 수 있다. 이와 같이 교체 가능한 명사 분류와 동사 격틀을 기반으로 하여 문형 패턴을 정의한다. 특히, 본 발명에서 언급하는 문형 패턴은 명사에 대한 의미적 제약을 가진 동사 위주의 문장 유형을 의미한다.Referring to FIG. 3, the sentence pattern is based on a verbal frame. Verb fiction refers to the relationship between verbs, sentences, and nouns. For example, the verb "to ride" is used in the usage of "to ride ** to **". Here, in the perturbation of the verb 'in', only nouns meaning places can be preceded by surveys, and only nouns meaning vehicles can be preceded by surveys. The sentence pattern is defined based on the interchangeable noun classification and the verbal framework. In particular, the sentence pattern referred to in the present invention means a verb-oriented sentence type having a semantic restriction on a noun.
그러나, 문형 패턴과 화행이 일대일 대응이 되는 것은 아니다. 하나의 문형 패턴은 대화 상황에 따라 각기 다른 화행을 의미할 수 있으며, 화행 또한 다양한 문형 패턴을 통해 실현될 수 있다. 예컨대, "날씨가 춥습니다"는 날씨를 물어보는 질문에 대한 응답 행위일 수도 있고, 다른 상황에서는 "날씨가 추우니 창문을 닫아 달라"는 요구 행위일 수도 있다. 따라서, 정확한 화행은 대화의 상황을 고려해서 분석해야 한다.However, sentence patterns and speech acts do not correspond one-to-one. One sentence pattern may mean different speech acts according to the dialogue situation, and speech acts may also be realized through various sentence patterns. For example, "weather is cold" may be a response to a question about the weather, or in other situations it may be a request to "close the window because it is cold." Therefore, the correct speech act should be analyzed considering the situation of dialogue.
다시 도 2a 및 도 2b를 참조하면, 화행 분석부(114)는 문형 패턴 인식부(112)를 통해 인식된 제1 언어 문장의 문형 패턴을 입력하고, 이전 문장들의 화행들 및 미리 준비된 대화 모델을 이용하여 현재 문장(또는 발화)의 화행을 결정한다(제220단계).Referring again to FIGS. 2A and 2B, the speech act analysis unit 114 inputs the sentence pattern of the first language sentence recognized through the sentence pattern recognition unit 112, and uses dialogue acts of the previous sentences and a dialogue model prepared in advance. In operation 220, the speech act of the current sentence (or speech) is determined.
여기서, 미리 준비된 대화 모델 즉, 화행들간의 관계로 대화를 표현한 대화 모델은 대화 모델 DB(140)에 저장되어 있다. 이전 문장들의 화행들은 메모리(160)에 저장되며, 메모리는 바람직한 일예로서 가장 최근의 이전 문장들부터 참조할 수 있는 스택 구조를 갖는다. 전술한 바와 같이, 하나의 문형 패턴은 상황에 따라 다른 화행을 의미할 수도 있다. 이러한 경우에, 이전 대화의 내용이 중요한 단서가 된다.Here, the dialogue model prepared in advance, that is, the dialogue model expressing the dialogue in relation between the dialogue acts is stored in the dialogue model DB 140. The dialogue acts of the previous sentences are stored in the memory 160, and the memory has a stack structure in which the most recent previous sentences can be referred to as a preferred example. As described above, one sentence pattern may mean another speech act according to a situation. In this case, the content of the previous conversation is an important clue.
도 4는 본 발명에 의한 대화 모델의 구성 예를 나타낸다.4 shows a configuration example of a dialogue model according to the present invention.
도 4를 참조하면, 대화 모델은 화행에 기반하여 대화가 진행될 수 있는 상황을 미리 표현한 것이다. 예컨대, 상대방에게 정보-요구(REQUEST-INFORMATION)를 한 경우, 상대방은 요청된 정보를 제공(GIVE-INFORMATION)하거나, 정보-요구 질문이 불명확할 경우 질문에 대해 확인을 요구(REQUEST-CONFIRM)하거나, 질문에 답하는데 필요한 부가적인 정보를 요구(REQUEST-INFORMATION)할 수도 있다.Referring to FIG. 4, the dialogue model expresses a situation in which a dialogue may proceed based on a dialogue act. For example, when a request is made to the other party (REQUEST-INFORMATION), the other party may provide the requested information (REIVEST-CONFIRM), or if the information-requested question is unclear (REQUEST-CONFIRM) It may also request additional information needed to answer the question.
대화 모델은 실질적으로 N-Gram 형태로 저장되며, 코퍼스로부터 추출한 확률값을 가지고 있다. N-Gram 형태의 대화 모델은 이전 문장들의 화행들 N-1개와 현재 문장의 화행, 확률의 쌍들로 이루어진다. 여기서, 확률은 N-1개의 화행들이 나온 다음에 현재 문장의 화행이 나올 확률을 나타낸다. 확률값은 예컨대, 수동으로 화행을 마킹해 놓은 대량의 코퍼스(대화 문장들을 수집해놓은 문서)로부터 해당 N-Gram의 발생 빈도를 카운트함으로써 구해진다.The dialogue model is actually stored in the form of N-Gram and has a probability value extracted from the corpus. The conversation model in the form of N-Gram consists of N-1 dialogue acts of previous sentences, speech acts and probability pairs of the current sentence. Here, the probability represents the probability that the dialogue sentence of the current sentence will come out after N-1 dialogue acts. The probability value is obtained by counting the frequency of occurrence of the corresponding N-Gram, for example, from a large amount of corpus (a document collecting conversation sentences) that has manually marked a dialogue act.
도 4의 (b)는 화행을 간단히, bi-gram 형태로 저장하고, 그 확률을 표시한 예를 나타낸다. 예컨대, (request-information, give-information, 0.753)은 현재 진행중인 대화에 대한 이전 문장의 화행이 request-information일때, 다음 문장이 give-information인 화행을 가질 확률이 0.753이라는 것이다. 이러한 확률값은 코퍼스로부터 자동 학습되는 것으로, 후보자 화행이 여러개일 경우 하나의 후보자를 결정하는데 또는 후보자들간의 우선순위를 결정하는데 사용된다. 따라서, 대화 모델은 통계적 대화 모델이라 볼 수 있으며, 후보자에 대한 가중치를 부여한다.4B illustrates an example in which a speech act is simply stored in a bi-gram form and the probability is displayed. For example, (request-information, give-information, 0.753) is that when the previous act of a conversation about a conversation in progress is request-information, the probability that the next sentence has a dialogue act of give-information is 0.753. This probability value is automatically learned from the corpus, and is used to determine one candidate or to prioritize candidates when there are multiple candidate speech acts. Therefore, the dialogue model can be regarded as a statistical dialogue model, and weights candidates.
다시, 도 2a 및 도 2b를 참조하면, 언어 번역부(120)는 언어 분석부(110)를 통해 현재 문장의 화행이 결정되면, 번역 예문 DB(150)를 참조하여, 제1 언어 문장을 제2 언어 문장으로 번역한다(제230단계). 끝으로, 음성 합성부(130)는 결정된 제2 언어 문장을 입력하여 제2 언어 음성으로 합성하여 출력한다(제240단계).Referring again to FIGS. 2A and 2B, when a speech act of a current sentence is determined through the language analyzer 110, the language translator 120 refers to a translation example sentence DB 150 to prepare a first language sentence. Translating into two language sentences (step 230). Finally, the speech synthesis unit 130 inputs the determined second language sentence and synthesizes the second language speech and outputs the synthesized second language speech (operation 240).
도 5는 본 발명에 의한 번역 예문 DB(150)의 구축 예를 나타낸다.5 shows an example of constructing a translation example sentence DB 150 according to the present invention.
도 5를 참조하면, 번역 예문 DB(150)는 화행별로 문장들의 집합을 저장하고 있다. 즉, 화행과 그 관련 문형 패턴에 근거한 제1 언어 문장 및 제2 언어 문장의 쌍들을 저장하고 있다. 언어 번역부(120)는 언어 분석부(110)로부터 제1 언어 문장의 화행 및 부가적으로 문형 패턴을 입력하여 번역 예문 DB(150)에서 해당 화행의 문장들의 집합을 검색하고, 현재 문장의 문형 패턴을 갖는 제1 언어 문장에 대응하는 제2 언어 문장을 얻는다.Referring to FIG. 5, the translation example DB 150 stores a set of sentences for each act. That is, pairs of first language sentences and second language sentences based on speech acts and related sentence patterns are stored. The language translator 120 inputs a speech act and additionally a sentence pattern of the first language sentence from the language analyzer 110 to search for a set of sentences of the speech act in the translation example sentence DB 150, and sentence patterns of the current sentence. A second language sentence corresponding to a first language sentence having a pattern is obtained.
번역 예문 DB(150)는 문장간의 링크 정보를 대화 모델을 이용하여 유지 관리한다. 즉, 본 발명은 대화 모델을 이용하여 효율적으로 번역 예문 DB(150)를 구성하고 있다. 종래의 기술에서 모든 문장이 링크를 사용하여 다음에 예측되는 문장에 대한 정보를 유지하는 반면, 본 발명의 번역 예문 DB(150)는 일반화된 대화 모델(도 4를 참조)을 이용하여 문장간의 링크 정보를 유지한다. 도 5에서, 표시된 링크는 단지 이해를 돕기위해 나타낸 것이며, 이 링크 정보는 도 4의 대화 모델을통해 유지된다.The translation example DB 150 maintains link information between sentences using a dialogue model. In other words, the present invention efficiently constructs a translation example sentence DB 150 using the dialogue model. While all sentences in the prior art use the link to maintain information about the next predicted sentence, the translation example DB 150 of the present invention uses a generalized dialogue model (see FIG. 4) to link between sentences. Maintain information. In FIG. 5, the displayed links are shown for ease of understanding only, and this link information is maintained through the dialogue model of FIG. 4.
한편, 언어 분석부(110)는 현재 문장의 화행이 결정되면, 언어 번역부(120)로 전달함과 동시에, 다음에 예측되는 후보자 문장(들)을 음성 인식부(100)로 피드백한다(제230단계). 예측 후보자 문장은 대화 모델 DB(140)에서 현재 문장의 화행을 이전 문장의 화행으로 가지는 N-Gram을 탐색함으로써 얻어진다. 구체적으로는, 대화 모델 DB(140)에서 예측 후보자 화행을 얻고, 예측 후보자 화행과 번역 예문 DB(150)를 이용하여 예측 후보자 문장(들)을 얻는다.Meanwhile, when the speech act of the current sentence is determined, the language analyzer 110 transmits the speech sentence to the language translator 120 and feeds back the candidate sentence (s) to be predicted next to the speech recognizer 100 (the Step 230). The prediction candidate sentence is obtained by searching the N-Gram having the dialogue act of the current sentence as the dialogue act of the previous sentence in the dialogue model DB 140. Specifically, the prediction candidate speech act is obtained from the dialogue model DB 140, and the prediction candidate sentence sentence (s) is obtained using the prediction candidate speech act and the translation example sentence DB 150.
예컨대, 도 4와 같이 이전 문장 하나만을 참조하는 bi-gram의 경우, 현재 문장의 화행이 request-action이라면, (request-action, ?, ?) 형태를 갖는 bi-gram을 탐색하여 다음 문장의 화행으로 accept-action, reject, request-action의 3가지가 가능함을 알 수 있다. 이는 bi-gram을 예로 든 것이며, 실제로 이보다 많다. 이렇게 다음 문장의 예측 후보자 화행(들)이 결정되면, 해당 화행에 해당하는 문장들을 번역 예문 데이터베이스(150)로부터 얻는다.For example, in the case of a bi-gram referring to only one previous sentence as shown in FIG. 4, if the current act is a request-action, a bi-gram having a form of (request-action,? As you can see, three types of accept-action, reject, and request-action are possible. This is an example of a bi-gram, and actually more. When the prediction candidate speech act (s) of the next sentence is determined in this way, sentences corresponding to the speech act are obtained from the translation example sentence database 150.
음성 인식부(100)는 전술한 예측 후보자 문장(들)을 이용함으로써 사용자가 통역하고자 하는 문장 즉, 인식 대상으로 하는 제1 언어 문장의 탐색 공간을 줄이게 된다. 이에 따라, 음성 인식부(100)의 인식 정확률을 높이게 된다.The speech recognition unit 100 reduces the search space of the sentence that the user intends to interpret, that is, the first language sentence to be recognized, by using the aforementioned candidate candidate sentence (s). Accordingly, the recognition accuracy rate of the voice recognition unit 100 is increased.
지금까지 입출력이 음성일 경우에 본 발명에 의한 자동 통역 장치 및 방법을 설명하였다. 입출력이 문자일 경우에도 마찬가지로 본 발명에서 특징으로 하는 대화 모델을 이용한 언어 분석 및 대화 모델에 근거한 번역 예문 데이터베이스를 참조한 언어 번역이 적용된다. 사용자가 예컨대, 키패드를 통해 통역하고자 하는 문장을 입력할 경우에, 먼저, 예측 후보자 문장(들)을 제시하고, 예측 후보자 문장을 참조하여 사용자가 제1 언어 문장을 입력하도록 한다.The automatic interpretation apparatus and method according to the present invention have been described above when the input / output is voice. Similarly, when the input / output is a character, a language analysis using a dialogue model and a translation example referring to a translation example database based on the dialogue model are applied. When the user inputs a sentence to be interpreted through, for example, a keypad, first, the candidate candidate sentence (s) is presented, and the user inputs the first language sentence with reference to the candidate candidate sentence.
이상에서 설명한 바와 같이, 본 발명은 첫째, 대화 모델에 기반하여 다음 문장의 후보자를 예측하므로, 음성 인식 단계에서 인식 후보자를 제한하고, 인식 복잡도를 감소시키는 효과가 있다. 또한, 통계적 대화 모델을 이용하여 후보자에 대한 가중치를 부여하므로 보다 정확한 다음 문장의 후보자를 예측한다.As described above, the present invention firstly predicts the candidate of the next sentence based on the dialogue model, thereby limiting the recognition candidate in the speech recognition step and reducing the recognition complexity. In addition, the weighted candidates are predicted using the statistical dialogue model to predict candidates for the next sentence more accurately.
둘째, 화자의 의도 또는 대화의 상황을 반영하는 화행에 기반하여 제1 언어를 제2 언어로 정확하고 효율적으로 번역함으로써 번역 성능을 향상시키며, 번역 예문 DB를 구성하는데 있어 문장간의 링크 정보를 대화 모델을 이용하여 효율적으로 유지 관리한다.Secondly, the translation performance is improved by accurately and efficiently translating the first language into the second language based on the dialogue act reflecting the intention of the speaker or the situation of the conversation, and the link information between sentences in constructing the translation example DB. Use to maintain efficiently.
Claims (16)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0016012A KR100400220B1 (en) | 2001-03-27 | 2001-03-27 | Automatic interpretation apparatus and method using dialogue model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0016012A KR100400220B1 (en) | 2001-03-27 | 2001-03-27 | Automatic interpretation apparatus and method using dialogue model |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20020076044A true KR20020076044A (en) | 2002-10-09 |
| KR100400220B1 KR100400220B1 (en) | 2003-10-01 |
Family
ID=27698890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2001-0016012A KR100400220B1 (en) | 2001-03-27 | 2001-03-27 | Automatic interpretation apparatus and method using dialogue model |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100400220B1 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008089469A1 (en) * | 2007-01-19 | 2008-07-24 | Microsoft Corporation | Automatic reading tutoring with parallel polarized language modeling |
| KR100859532B1 (en) * | 2006-11-06 | 2008-09-24 | 한국전자통신연구원 | Automatic speech translation method and apparatus based on corresponding sentence pattern |
| KR101134467B1 (en) * | 2009-07-27 | 2012-04-13 | 한국전자통신연구원 | Meaning expression processing apparatus and its method |
| US8306822B2 (en) | 2007-09-11 | 2012-11-06 | Microsoft Corporation | Automatic reading tutoring using dynamically built language model |
| KR101240532B1 (en) * | 2011-02-18 | 2013-03-11 | 윤현식 | Method for interpreting in full duplex using word combination |
| US9058322B2 (en) | 2012-05-02 | 2015-06-16 | Electronics And Telecommunications Research Institute | Apparatus and method for providing two-way automatic interpretation and translation service |
| US10366173B2 (en) | 2016-09-09 | 2019-07-30 | Electronics And Telecommunications Research Institute | Device and method of simultaneous interpretation based on real-time extraction of interpretation unit |
| KR102557092B1 (en) | 2022-11-11 | 2023-07-19 | 주식회사 디엠티랩스 | Automatic interpretation and translation and dialogue assistance system using transparent display |
-
2001
- 2001-03-27 KR KR10-2001-0016012A patent/KR100400220B1/en not_active IP Right Cessation
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100859532B1 (en) * | 2006-11-06 | 2008-09-24 | 한국전자통신연구원 | Automatic speech translation method and apparatus based on corresponding sentence pattern |
| US8015016B2 (en) | 2006-11-06 | 2011-09-06 | Electronics And Telecommunications Research Institute | Automatic translation method and system based on corresponding sentence pattern |
| WO2008089469A1 (en) * | 2007-01-19 | 2008-07-24 | Microsoft Corporation | Automatic reading tutoring with parallel polarized language modeling |
| US8433576B2 (en) | 2007-01-19 | 2013-04-30 | Microsoft Corporation | Automatic reading tutoring with parallel polarized language modeling |
| US8306822B2 (en) | 2007-09-11 | 2012-11-06 | Microsoft Corporation | Automatic reading tutoring using dynamically built language model |
| KR101134467B1 (en) * | 2009-07-27 | 2012-04-13 | 한국전자통신연구원 | Meaning expression processing apparatus and its method |
| KR101240532B1 (en) * | 2011-02-18 | 2013-03-11 | 윤현식 | Method for interpreting in full duplex using word combination |
| US9058322B2 (en) | 2012-05-02 | 2015-06-16 | Electronics And Telecommunications Research Institute | Apparatus and method for providing two-way automatic interpretation and translation service |
| US10366173B2 (en) | 2016-09-09 | 2019-07-30 | Electronics And Telecommunications Research Institute | Device and method of simultaneous interpretation based on real-time extraction of interpretation unit |
| KR102557092B1 (en) | 2022-11-11 | 2023-07-19 | 주식회사 디엠티랩스 | Automatic interpretation and translation and dialogue assistance system using transparent display |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100400220B1 (en) | 2003-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3962763B2 (en) | Dialogue support device | |
| US6374224B1 (en) | Method and apparatus for style control in natural language generation | |
| Waibel | Interactive translation of conversational speech | |
| US6278968B1 (en) | Method and apparatus for adaptive speech recognition hypothesis construction and selection in a spoken language translation system | |
| EP1089193A2 (en) | Translating apparatus and method, and recording medium used therewith | |
| US20080133245A1 (en) | Methods for speech-to-speech translation | |
| JP2005084681A (en) | Method and system for semantic language modeling and reliability measurement | |
| US7127402B2 (en) | Method and apparatus for converting utterance representations into actions in a conversational system | |
| KR20130123037A (en) | Apparatus and method for providing two-way automatic interpretation and tranlating service | |
| US20210350073A1 (en) | Method and system for processing user inputs using natural language processing | |
| JP2020135135A (en) | Dialog content creation assisting method and system | |
| Nöth et al. | On the use of prosody in automatic dialogue understanding | |
| KR100400220B1 (en) | Automatic interpretation apparatus and method using dialogue model | |
| Dyriv et al. | The user's psychological state identification based on Big Data analysis for person's electronic diary | |
| KR102358485B1 (en) | Dialogue system by automatic domain classfication | |
| KR101097186B1 (en) | System and method for synthesizing voice of multi-language | |
| JP5243325B2 (en) | Terminal, method and program using kana-kanji conversion system for speech recognition | |
| KR102204395B1 (en) | Method and system for automatic word spacing of voice recognition using named entity recognition | |
| Zahariev et al. | Intelligent voice assistant based on open semantic technology | |
| Evchenko et al. | Translation of Natural Language Requests to API | |
| JP2000242642A (en) | Method and device for translation processing | |
| CN117094329B (en) | Voice translation method and device for solving voice ambiguity | |
| JP2001117583A (en) | Device and method for voice recognition, and recording medium | |
| US20220215834A1 (en) | System and method for speech to text conversion | |
| Palazuelos et al. | Grammatical and statistical word prediction system for Spanish integrated in an aid for people with disabilities. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20110830 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20120830 Year of fee payment: 10 |
|
| LAPS | Lapse due to unpaid annual fee |