KR20160080711A - Apparatus, Method and System for Translation based on Communication - Google Patents
Apparatus, Method and System for Translation based on Communication Download PDFInfo
- Publication number
- KR20160080711A KR20160080711A KR1020140193500A KR20140193500A KR20160080711A KR 20160080711 A KR20160080711 A KR 20160080711A KR 1020140193500 A KR1020140193500 A KR 1020140193500A KR 20140193500 A KR20140193500 A KR 20140193500A KR 20160080711 A KR20160080711 A KR 20160080711A
- Authority
- KR
- South Korea
- Prior art keywords
- language
- user
- translation
- terminal
- voice
- Prior art date
Links
- 238000013519 translation Methods 0.000 title claims abstract description 148
- 238000004891 communication Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012937 correction Methods 0.000 claims abstract description 94
- 230000008569 process Effects 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 230000014616 translation Effects 0.000 description 108
- 230000006870 function Effects 0.000 description 14
- 230000009182 swimming Effects 0.000 description 11
- 241000209094 Oryza Species 0.000 description 7
- 235000007164 Oryza sativa Nutrition 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 235000009566 rice Nutrition 0.000 description 7
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008451 emotion Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 241001513109 Chrysocephalum apiculatum Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Abstract
Description
본 발명은 통역 기술에 관한 것으로서, 더 구체적으로는 대화자 간의 언어를 통역해줄 수 있는 통신 기반 통역 장치, 방법 및 시스템에 관한 것이다.The present invention relates to an interpretation technique, and more particularly, to a communication-based interpretation device, method and system capable of interpreting a language between conversationists.
종래의 단말은 대부분 비통신 상황에서 음성을 입출력하는 형태였고, 일부만이 화상, 음성 또는 문자 통신 상황에서 통역 기능을 제공하였다.Conventional terminals mainly input and output voice in non-communication situations, and only a part of them provide an interpretation function in an image, voice, or text communication situation.
통신 상황에서 통신 기능을 제공하는 종래의 단말은 화상 및 음성 통신 상황에서는 제1 사용자의 음성인식 결과(즉, 자국어)를, 문자 통신 상황에서는 입력된 문자를 제1 사용자에게 제공하고, 번역 결과(제2 사용자 언어)는 하부에 작은 폰트로 제공하며, 제2 사용자에게는 번역 결과 위주로 보여주고, 인식 결과는 참고용으로 제공하였다.A conventional terminal that provides a communication function in a communication situation provides a first user's voice recognition result (i.e., native language) in a picture and voice communication situation, a character input in a character communication situation to a first user, A second user language) is provided in a small font in the lower part, the translation result is mainly displayed in the second user, and the recognition result is provided for reference.
이 같이, 종래의 단말은 대화자들이 대부분 제2 사용자 언어를 몰라서 통역서비스를 제공받는다는 가정하에 번역 서비스를 제공하였다.As described above, the conventional terminal provided a translation service on the assumption that most of the talkers did not know the second user language and were provided with an interpretation service.
본 발명은 전술한 바와 같은 기술적 배경에서 안출된 것으로서, 대화자 간의 언어를 통역해줄 수 있는 통신 기반 통역 장치, 방법 및 시스템을 제공하는 것을 그 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a communication-based interpretation apparatus, method, and system capable of interpreting a language between conversation parties.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
본 발명의 일 실시예에 따른 통신 기반 통역 시스템은, 제1 사용자에 의해 사용되며, 상기 제1 사용자에 의해 입력된 제1 언어의 문자 또는 상기 제1 사용자에 의해 발화된 제1 언어의 음성을 입력받는 제1 단말; 상기 제1 단말로부터 상기 제1 언어의 문자나, 상기 제1 언어의 음성을 수신하면, 상기 제1 언어의 음성 또는 상기 제1 언어의 문자를 제2 언어의 문자로 번역하고, 상기 제2 언어의 문자를 제2 언어의 음성으로 합성하는 통역 장치; 및 상기 통역 장치로부터 상기 제1 및 제2 언어의 문자와 상기 제2 언어의 음성을 수신하여 제2 사용자에게 제공하는 제2 단말을 포함하되, 상기 제1 및 제2 단말은, 상기 제1 언어의 문자 및 상기 제2 언어의 문자 중 적어도 하나에 대한 피드백을 입력받고, 상기 통역 장치는, 상기 제1 및 제2 단말 중 적어도 하나로부터 수신된 상기 피드백을 이용하여 번역 이력 관리 및 오류 정정 중 적어도 하나를 수행하는 것을 그 특징으로 한다.A communication-based interpretation system according to an embodiment of the present invention is a system for use by a first user, the system comprising a first language character input by the first user or a first language language uttered by the first user A first terminal receiving input; When the first terminal receives a character of the first language or a voice of the first language, the voice of the first language or the character of the first language is translated into a character of the second language, An interpreter for synthesizing the characters of the second language into a voice of the second language; And a second terminal for receiving the characters of the first and second languages and the voice of the second language from the interpretation device and providing the characters to the second user, wherein the first and second terminals are connected to the first language And at least one of the characters of the first language and the characters of the second language, and the interpreting device receives at least one of at least one of the translation history management and error correction using the feedback received from at least one of the first and second terminals And one of them is performed.
본 발명의 다른 실시예에 따른 통역 장치의 프로세서에 의한 통신 기반 통역 방법은, 제1 사용자에 의한 입력된 문자 또는 발화된 음성을 인식하여 그에 대응하는 제1 언어의 문자를 포함하는 입력문을 생성하는 단계; 상기 입력문을 자동으로 번역하여 제2 언어의 번역문을 포함하는 번역문을 생성하는 단계; 상기 입력문 및 상기 번역문 중 적어도 하나의 문장에 대한 만족도, 오류 지적 및 오류 정정 요청 중 적어도 하나의 피드백을 확인하는 단계; 및 상기 적어도 하나의 피드백에 대응하는 처리를 수행하는 단계를 포함하는 것을 그 특징으로 한다.A communication-based interpretation method of a processor of an interpreter apparatus according to another embodiment of the present invention includes: recognizing an input character or a uttered voice by a first user and generating an input statement including a character of a first language corresponding thereto; ; Automatically translating the input statement to generate a translation including a translation of the second language; Confirming at least one of satisfaction of at least one of the input sentence and the translated sentence, an error indication, and an error correction request; And performing a process corresponding to the at least one feedback.
본 발명의 또 다른 실시예에 따른 통신 기반 통역 장치는, 제1 사용자에 의해 발화된 제1 언어의 음성을 음성 인식을 통해 상기 제1 언어의 음성을 제1 언어의 문자로 변환하는 음성인식부; 상기 제1 언어의 문자를 포함하는 입력문을 번역하여 기설정된 제2 언어의 문자를 포함하는 번역문을 생성하는 번역부; 상기 제2 언어의 문자를 제2 언어의 음성으로 합성하는 음성합성부; 및 제2 단말을 사용하는 제2 사용자 및 상기 제1 사용자 중 적어도 한 사용자의 통역 결과에 대한 피드백(Feedback)을 확인하고, 상기 피드백에 따른 대응을 하는 관리/수정부를 포함하는 것을 그 특징으로 한다.A communication-based interpretation apparatus according to another embodiment of the present invention includes a voice recognition unit for converting a voice of a first language into a character of a first language through voice recognition of a voice of a first language uttered by a first user, ; A translation unit for translating an input sentence including characters of the first language and generating a translation including a character of a second language; An audio synthesizer for synthesizing characters of the second language into a voice of a second language; And a management / correction unit for checking feedback of the interpretation result of at least one of the second user using the second terminal and the first user and making a correspondence according to the feedback .
본 발명에 따르면, 대화 통신에서 대화자 간의 피드백을 확인하면서 대화자 간의 언어를 통역할 수 있다.According to the present invention, it is possible to interpret the language between the speakers while confirming the feedback between the speakers in the dialog communication.
도 1a는 본 발명의 제1실시예에 따른 통신 기반 통역 시스템을 도시한 구성도.
도 1b는 본 발명의 제1실시예에 따른 통신 기반 통역 단말을 도시한 구성도.
도 2는 본 발명의 제2실시예에 따른 통신 기반 통역 시스템을 도시한 구성도.
도 3a 및 도 3b는 본 발명의 실시예에 따른 통역결과 및 통역만족도 표시 예를 도시한 도면.
도 4a 및 도 4b는 본 발명의 실시예에 따른 통신 기반 통신 장치의 오류 정정 예를 도시한 도면.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1A is a configuration diagram illustrating a communication-based interpretation system according to a first embodiment of the present invention; FIG.
FIG. 1B is a diagram illustrating a communication-based interpretation terminal according to a first embodiment of the present invention; FIG.
2 is a configuration diagram illustrating a communication-based interpretation system according to a second embodiment of the present invention;
FIG. 3A and FIG. 3B are views showing an interpretation result and an interpretation satisfaction display example according to an embodiment of the present invention;
4A and 4B illustrate examples of error correction of a communication-based communication apparatus according to an embodiment of the present invention.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의될 뿐이다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, advantages and features of the present invention and methods of achieving them will be apparent from the following detailed description of embodiments thereof taken in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. And is provided to fully inform the owner of the scope of the invention, and the present invention is only defined by the description of the claims.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자에 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. &Quot; comprises " and / or "comprising" when used in this specification is taken to specify the presence or absence of one or more other components, steps, operations and / Or additions.
이제 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 1a는 본 발명의 제1실시예에 따른 통신 기반 통역 시스템을 도시한 구성도이고, 도 1b는 본 발명의 제1실시예에 따른 통신 기반 통역 단말을 도시한 구성도이다.Embodiments of the present invention will now be described in detail with reference to the accompanying drawings. FIG. 1A is a configuration diagram illustrating a communication-based interpretation system according to a first embodiment of the present invention, and FIG. 1B is a configuration diagram illustrating a communication-based interpretation terminal according to the first embodiment of the present invention.
도 1a에 도시된 바와 같이, 본 발명의 제1실시예에 따른 통신 기반 통역 시스템(10)은 제1 단말(100) 및 제2 단말(200)을 포함한다.As shown in FIG. 1A, a communication-based
제1 단말(100)은 사용자에 의해 사용되는 통역 기능을 제공하는 장치로서, 제2 단말(200)과 통신하며, 제1 단말(100)에 대한 발화자인 제1 사용자의 제1 언어를 제2 사용자의 제2 언어로 통역한다.The
구체적으로, 각 단말(10, 20)은 제1 언어의 발화자(이하, 제1 사용자라고 함)의 음성을 인식하면, 음성을 제1 언어의 문자로 변환하고, 제1 언어의 문자를 제2 언어의 문자로 번역한 후 제2 언어의 음성으로 합성하여 기설정된 통신방식으로 다른 단말로 제공할 수 있다. 여기서, 각 단말(10, 20)은 제1 사용자의 문자 입력을 인식하면 음성인식 과정 없이 번역할 수도 있다.Specifically, when each
또한, 각 단말(10, 20)은 제1 언어 및 제2 언어를 통역할 때 제1 사용자와 제2 사용자의 피드백을 확인하고, 피드백에 따른 대응을 한다. 여기서, 피드백은 제1 언어의 문자를 포함하는 입력문 및 제2 언어의 문자를 포함하는 번역문 중 적어도 하나의 문장에 대한 통역 만족도, 오류 지적 및 오류 정정 요청 중 적어도 하나를 포함할 수 있다.In addition, each of the
상세하게는, 제1 단말(100)은 피드백이 입력문 중 어느 부분에 대한 음성인식 오류 지적이면, 입력문에서 오류 지적된 부분에 대한 제1 사용자의 재발화를 인식하고 입력문에서 오류 지적된 부분을 재발화에 의해 인식된 부분으로 정정하여 입력문의 오류를 해소할 수 있다. 또한, 제1 단말(100)은 피드백이 제2 언어의 문자를 포함하는 번역문 중 어느 부분에 대한 번역 오류 지적이면, 번역 과정에서 오류 지적된 부분과 유사한 것으로 기확인된 제2 언어인 복수의 번역 후보 대역어를 제2 단말(200)로 제공하고, 제2 단말로부터 제2 사용자의 복수의 번역 후보 대역어 중 하나에 대한 선택을 확인함에 따라 번역문의 오류 지적을 해소할 수 있다. 각 단말의 구체 구성에 대해서는 도 1b를 참조하여 후술하도록 한다.In more detail, if the feedback indicates a speech recognition error for any part of the input sentence, the
전술한, 제1 단말(100)과 제2 단말(200)은 인터넷 전화, 모바일 폰, PC 등일 수 있으며, 제2 단말(200)은 제1 단말(100)과 유선 또는 무선통신할 수 있다.The
도 1b에 도시된 바와 같이, 본 발명의 제1실시예에 따른 단말(100)은 입력부(130), 제어부(120), 음성인식부(140), 번역부(150), 음성합성부(160), 스피커(180), 통신부(170), 표시부(190) 및 관리/수정부(110)를 포함한다. 본 발명의 실시예에 따른 단말(10, 20)은 입력부(130) 및 스피커(180) 등을 포함하지 않고, 외부의 표시 수단과 스피커를 사용할 수도 있음은 물론이다. 1B, the
입력부(130)는 통신 연결을 위한 조작, 번역 언어 쌍, 통신 만족도, 통역 오류 지적 및 통역 수정 요청 중 적어도 하나를 포함하는 사용자의 선택을 입력받을 수 있다. 여기서, 번역 언어 쌍은 통역예정 언어인 제1 언어 및 통역결과 언어인 제2 언어의 번역 언어 쌍일 수 있다.The
또한, 입력부(130)는 제1 사용자에 의한 제1 언어의 문자 또는 음성을 입력받을 수 있다.Also, the
예컨대, 입력부(130)는 터치스크린, 마우스 및 키보드 장치 등 다양한 입력 수단일 수 있다. 또한, 입력부(130)는 사용자의 발화를 입력받을 수 있는 마이크를 포함할 수 있다.For example, the
음성인식부(140)는 제1 사용자에 의해 발화되는 제1 언어의 음성을 인식하고, 이를 제1 언어의 문자(Text)로 변환한다. 이때, 음성인식부(140)는 이후의 수정 등을 위해서 제1 언어의 음성에 대응하는 것으로 예상되는 제1 언어의 복수의 음성인식 후보문자 즉, 음성인식 n-best 문자를 저장부(미도시)에 저장해둔다. 그리고, 음성인식부(140)는 음성인식 n-best 문자 중에서 가장 제1 언어의 음성에 대응되는 것으로 예상되는 문자를 선택하여 제1 언어의 문자를 포함하는 입력문을 생성할 수 있다. 여기서, 제1 사용자는 제1 언어의 음성을 발화하지 않고 제1 언어의 문자를 직접 입력할 수 있으며, 이 경우, 음성인식부(140)는 음성인식 없이, 입력된 제1 언어의 문자를 인식할 수 있다. 이 같이, 본 발명에서는 목에 이상이 있는 등으로 인해 음성 발화에 어려움이 있는 사용자에게도 통역 서비스를 제공할 수 있다.The
번역부(150)는 제1 언어의 문자를 기설정된 제2 언어의 문자로 자동으로 번역한다. 제1 사용자가 제1 언어를 발화하지 않고 문자로 입력할 경우에, 번역부(150)는 음성인식부(140) 또는 입력부(130)로부터 제1 언어의 문자를 전달받을 수도 있다.The
음성합성부(160)는 제2 언어의 문자를 제2 언어의 음성으로 합성한다. 이때, 음성합성부(160)는 제1 사용자의 나이, 성별, 음색 및 감정 중 적어도 하나를 고려하여 제2 언어의 문자를 제1 사용자의 음성과 좀더 비슷한 제2 언어의 음성으로 합성할 수 있다.The
통신부(170)는 제1 및 제2 언어의 문자, 제2 언어의 음성을 포함하는 데이터를 기설정된 통신방식으로 제2 단말(200)로 송신한다. 또한, 통신부(170)는 제2 단말(200)로부터의 제2 사용자의 음성을 포함하는 데이터를 기설정된 통신방식으로 수신할 수 있다.The
관리/수정부(110)는 제1 사용자와 제2 사용자 중 적어도 한 명의 통역 결과에 대한 피드백을 확인하고, 피드백에 따른 대응을 수행한다. 여기서, 피드백은 적어도 한 명에 의해 입력된 통역만족도, 음성인식 오류 지적, 통역 오류 지적 및 음성인식(또는, 문자 입력) 또는 통역 수정 요청 중 적어도 하나를 포함할 수 있다.The management /
이에, 관리/수정부(110)는 통역만족도나, 각 오류 지적을 표시하거나, 오류 지적된 내용이나 수정 요청된 내용을 수정하는 등을 수행할 수 있다. 또한, 관리/수정부(110)는 통역 결과, 통역만족도, 오류 지적 및 수정 내용 중 적어도 하나에 대한 이력을 관리할 수 있다. Accordingly, the management /
관리/수정부(110)는 제1 사용자 및 제2 사용자 중 적어도 한 명의 음성인식 오류 또는 통역 오류 지적을 확인하면, 다음과 같이 음성인식 또는 통역 오류를 해소할 수 있다.When the management /
구체적으로, 관리/수정부(110)는 제1 사용자의 입력문에 대한 음성인식 오류 지적을 확인하면, 음성인식부(140)에 의해 제1 사용자의 해당 단어에 대한 재발화를 인식하고, 인식된 부분이 기설정된 조건을 만족하는지를 확인한다. 그리고, 기설정된 조건을 만족하면, 입력문에서 오류 지적된 부분을 인식된 부분으로 정정하여 입력문의 오류를 해소할 수 있다. More specifically, when the management /
또한, 관리/수정부(110)는 제2 사용자에 의해 번역 오류가 지적되면, 번역문에서 오류 지적된 부분에 대응하는 대역어 n-best 문자를 확인하고, 대역어 n-best 문자를 제2 단말(200)로 제공하고, 제2 단말(200)로부터 대역어 n-best 문자 중 하나에 대한 선택을 확인함에 따라 번역문의 오류 지적을 해소할 수 있다. 이때, 관리/수정부(110)는 제2 단말(200)로부터 제2 사용자의 선택을 제공받지 못하면, 오류 지적된 부분에 대한 제1 사용자의 재발화 또는 재입력을 인식하고, 인식된 내용을 이용하여 번역문에서 오류 지적된 부분을 정정할 수 있다. When the translation error is indicated by the second user, the management /
제어부(120)는 번역 설정, 통신 내용 및 각 입출력 확인 기능을 제공한다. 구체적으로, 제어부(120)는 음성인식부(140), 번역부(150), 음성합성부(160) 및 관리/수정부(110) 중 적어도 하나에 대해 사용자의 선택에 따른 번역 언어 쌍을 설정한다. 이로써, 제어부(120)는 제1 단말(100)이 제1 사용자의 음성을 제대로 인식하고, 통역하도록 할 수 있다. 만약, 제1 단말(100)이 하나의 제1 언어와 하나의 제2 언어에 대해 특화된 경우, 제어부(120)는 번역 언어 쌍을 별도로 설정하지 않을 수도 있다.The
제어부(120)는 번역부(150)에 의해 번역 완료된 제1 언어의 문자를 기설정된 단위(예컨대, 문장 단위)로 표시부(190)를 통해 출력할 수 있다. 또한, 제어부(120)는 음성합성부(160)에 의해 합성된 제2 언어의 음성을 기설정된 단위로 스피커(180)를 통해 출력할 수도 있다. 이때, 제어부(120)는 제2 언어의 음성과 문자를 동시에 또는 순차적으로 수행할 수도 있다.The
제어부(120)는 제1 사용자의 눈에 잘 띄도록 제1 언어의 문자를 좀더 강조하여 예컨대, 표시부(190)의 상단에 표시하고, 제2 언어의 문자를 덜 강조하여 예컨대, 표시부(190)의 하단에 표시할 수 있다. 만약, 제1 단말(100)이 제2 사용자에 의해 사용되는 것이라면, 제2 언어의 문자를 표시부(190)의 상단에 표시하고, 제1 언어의 문자를 표시부(190)의 하단에 표시할 수 있다.For example, the
한편, 번역부(150)는 음성합성부(160)나, 관리/수정부(110) 등에 입력문 및 번역문을 제공할 때, 입력문과 번역문에서 입력 단어와 번역어 간의 정렬(Align) 정보를 같이 출력하여 통역 오류를 정확하게 지정하도록 할 수 있다. 일반적으로, 제1 언어의 단어나 구를 제2 언어의 단어나 구로 번역되면, 정렬 정보가 생성될 수 있다. 또한, 제1 언어의 단어나 구는 다양한 제2 언어의 단어나 구로 번역될 수 있으므로, 번역부(150)는 현재 문장에서 가장 좋을 것으로 확인되는 제2 언어의 단어나 구를 선택하여 번역을 수행한다.Meanwhile, when providing an input statement and a translation to the
한편, 전술한 예에서는 관리/수정부(110)는 통역결과, 통역만족도, 입력문이나 번역문의 오류 지적 및 수정 이력을 저장부(미도시)에 기록할 수 있다. 따라서, 본 발명의 번역부(150)는 기록된 이력을 이용하여 이후의 번역시에 대역어 n-best 문자에서 어느 하나를 선택할 때 그 우선순위를 달리하거나, 번역에 앞서 제1 사용자에게 문의하는 등을 수행할 수 있다.
On the other hand, in the example described above, the management /
이와 같이, 본 발명의 실시예는 화상, 음성 또는 문자 통신을 통해 단말을 이용할 때 각 사용자에 의해 지적된 음성인식 오류와 번역 오류를 확인하도록 하여, 대화 진행에 문제 발생을 한눈에 파악할 수 있어, 대화 신뢰도를 향상시킬 수 있다.As described above, according to the embodiment of the present invention, when a terminal is used through image, voice, or text communication, a voice recognition error and a translation error pointed out by each user can be checked, The reliability of conversation can be improved.
뿐만 아니라, 본 발명의 실시예는 사용자가 대화 중 의사 전달 오류를 알아챌 경우에 오류가 발생한 부분을 용이하게 파악할 수 있도록 하고, 오류도 간단히 해소할 수 있도록 지원할 수 있다.
In addition, the embodiment of the present invention can easily grasp a portion where an error occurs when a user is aware of a communication error during a conversation, and can easily support an error.
전술한, 도 1a 및 1b에서는 사용자 단말이 각기 통신 기반 통역 기능을 구비한 경우를 예로 들어 설명하였다. 하지만, 이와 달리, 사용자 단말은 통신과 입출력 기능과 같은 단순 기능만을 제공하고, 통역 기능에 특화된 하나의 단말이 두 명 이상의 사용자 단말 간의 대화중의 통역을 중계할 수도 있다. 이하, 도 2를 참조하여 본 발명의 제2실시예에 따른 통신 기반 통역 시스템에 대하여 설명한다.1A and 1B, the user terminals each have a communication-based interpretation function. Alternatively, the user terminal may provide only simple functions such as communication and input / output functions, and one terminal specialized in the interpretation function may relay interpretation during conversation between two or more user terminals. Hereinafter, a communication-based interpretation system according to a second embodiment of the present invention will be described with reference to FIG.
도 2는 본 발명의 제2실시예에 따른 통신 기반 통역 시스템을 도시한 구성도이다.2 is a block diagram illustrating a communication-based interpretation system according to a second embodiment of the present invention.
도 2에 도시된 바와 같이, 본 발명의 제2실시예에 따른 통신 기반 통역 시스템(20)은 제1 단말(210), 제2 단말(220) 및 통역 장치(230)를 포함한다. 2, the communication-based
제1 단말(210)은 제1 사용자에 의해 사용되는 단말로서, 통역 애플리케이션이 설치된다. 여기서, 통역 애플리케이션은 통역 장치(230) 또는 앱 마켓으로부터 제공될 수도 있다. The
제2 단말(220)은 제2 사용자에 의해 사용되는 단말로서, 통역 애플리케이션이 설치된다. The
제1 단말(210) 및 제2 단말(220)은 입출력 기능, 애플리케이션 설치 및 동작 기능을 제공하는 통상의 PC나, 휴대 단말일 수 있다.The
예컨대, 제1 단말(210) 및 제2 단말(220)은 컴퓨터, 스마트폰, 노트북, 스마트 패드, 스마트 TV 등 다양한 단말일 수 있다. 또는, 제1 단말(210) 및 제2 단말(220)은 제조 공정 등에서 통역 애플리케이션이 사전에 설치된 단말일 수도 있다.For example, the
제1 단말(210) 및 제2 단말(220)은 각기 입력부(212), 제1 제어부(211), 제1 통신부(215), 표시부(214) 및 스피커(213)를 포함한다. 참고로, 도 2에서는 제1 단말(210)에 포함된 구성요소만 예로 들어 도시하였다. 이하, 각 단말의 구성요소에 대하여 설명한다. 제1 단말(210) 및 제2 단말(220)은 각기 사용자 음성을 입력받는 마이크(미도시)를 더 포함할 수 있다. The
입력부(212)는 통신 연결을 위한 조작, 번역 언어 쌍, 통신 만족도, 통역 오류 지적 및 통역 수정 요청 중 적어도 하나를 포함하는 사용자의 선택을 입력받을 수 있다. 여기서, 번역 언어 쌍은 통역예정 언어인 제1 언어 및 통역결과 언어인 제2 언어의 번역 언어 쌍일 수 있다.The
예컨대, 입력부(212)는 터치스크린, 마우스 및 키보드 장치 등 다양한 입력 수단일 수 있다.For example, the
또한, 입력부(212)는 사용자 음성을 입력받는 수단을 포함할 수도 있다.Also, the
제1 제어부(211)는 통역 애플리케이션이 실행되어, 원문 언어(제1 언어) 및 번역 언어(제2 언어)가 설정되면, 마이크(미도시)에 의해 각 사용자에 의해 발화된 음성을 인식하거나, 입력부(212)에 의해 입력된 문자를 확인한다.The
제1 제어부(211)는 발화된 음성 또는 입력된 문자를 제1 통신부(215)를 통해 통역 장치(230)로 전송하며, 번역을 요청한다. 이때, 제1 제어부(211)는 발화된 음성 또는 입력된 문자와 함께 제1 언어 및 제2 언어 정보를 통역 장치(230)로 전송할 수 있다.The
제1 제어부(211)는 제1 통신부(215)를 통해 통역 장치(230)로부터 제1 언어의 문자 및 제2 언어의 문자를 제공받아, 제1 및 제2 언어의 문자를 기설정된 단위(예컨대, 문장 단위)로 표시부(214)를 통해 출력할 수 있다. The
또한, 제1 제어부(211)는 통역 장치(230)에 의해 합성된 제2 언어의 음성을 기설정된 단위로 스피커(213)를 통해 출력할 수도 있다. 이때, 제1 제어부(211)는 제2 언어의 음성과 문자를 동시에 또는 순차적으로 출력할 수도 있다. 여기서, 제2 단말(220)도 제1 및 제2 언어의 문자와 제2 언어의 음성을 제공받아 표시부를 통해 표출하거나, 스피커를 통해 출력할 수 있다.Also, the
제1 제어부(211)는 제1 사용자의 눈에 잘 띄도록 제1 언어의 문자를 좀더 강조하여 예컨대, 표시부(214)의 상단에 표시하고, 제2 언어의 문자를 덜 강조하여 예컨대, 표시부(214)의 하단에 표시할 수 있다. 이때, 제2 단말(220)은 제2 언어의 문자를 표시부(214)의 상단에 표시하고, 제1 언어의 문자를 표시부(214)의 하단에 표시할 수 있다.The
통역 장치(230)는 음성인식부(232), 번역부(233), 음성합성부(234), 제2 제어부(231), 관리/수정부(236) 및 제2 통신부(235)를 포함한다. 이하, 통역 장치(230)의 각 부에 대하여 설명한다.The
제2 제어부(231)는 제1 단말(210) 또는 제2 단말(220)로부터 전달받은 번역 설정, 통신 설정 및 각 입출력 확인 기능을 제공한다. 여기서, 번역 설정은 번역 언어 쌍을 설정하는 것일 수 있고, 통신 설정은 입력문과 번역문을 송신할 각 단말의 전화번호 등과 같은 통신 경로일 수 있다. 또한, 입출력 확인 기능은 제2 통신부(235)에 의해 수신된 내용을 그에 대응하는 구성요소로 전달하는 것일 수 있다.The
구체적으로, 제2 제어부(231)는 음성인식부(232), 번역부(233), 음성합성부(234) 및 관리/수정부(236) 중 적어도 하나에 대해 제1 단말(210) 및 제2 단말(220) 중 적어도 하나의 요청에 따른 번역 언어 쌍을 설정한다. 이로써, 번역부(233)는 제1 사용자의 음성을 제대로 인식하고, 통역할 수 있다. 만약, 통역 장치(230)가 하나의 제1 언어와 하나의 제2 언어에 대해 특화된 경우, 제2 제어부(231)는 번역 언어 쌍을 별도로 설정하지 않을 수도 있다.Specifically, the
제2 통신부(235)는 제2 제어부(231)의 지시에 따라 제1 단말(210) 또는 제2 단말(220)로부터 발화된 음성 또는 입력된 문자, 원문 언어 및 번역 언어를 수신하여 음성인식부(232) 또는 번역부(233)로 전달한다.The
음성인식부(232)는 제2 제어부(231)의 지시에 따라 제1 또는 제2 사용자의 발화된 음성을 인식하고, 이를 제1 언어의 문자(Text)로 변환한다. 이때, 음성인식부(232)는 이후의 수정 등을 위해서 제1 언어의 음성에 대응하는 것으로 예상되는 제1 언어의 복수의 음성인식 후보문자 즉, 음성인식 n-best 문자를 저장부(미도시)에 저장해둔다. 그리고, 음성인식부(232)는 음성인식 n-best 문자 중에서 가장 제1 언어의 음성에 대응되는 것으로 예상되는 문자를 선택하여 제1 언어의 문자를 포함하는 입력문을 생성할 수 있다. The
여기서, 제1 단말(210) 또는 제2 단말(220)은 제1 언어의 문자를 송신할 수 있으며, 이 경우, 음성인식부(232)는 음성인식 없이, 입력된 제1 언어의 문자를 인식할 수 있다.Here, the
번역부(233)는 제1 언어의 문자를 제2 언어의 문자로 자동 번역하고, 제2 언어의 문자로 제1 언어의 문자로 번역할 수 있다. 만약, 제1 또는 제2 사용자가 언어를 발화하지 않고 문자로 입력할 경우에는 번역부(233)는 제1 단말(210) 또는 제2 단말(220)로부터 제1 또는 제2 언어의 문자를 직접 전달받을 수도 있다.The translating
음성합성부(234)는 제2 언어의 문자를 제2 언어의 음성으로 합성하거나, 제1 언어의 문자를 제1 언어의 음성으로 합성한다.The voice synthesizer 234 synthesizes the characters of the second language with the voice of the second language or synthesizes the characters of the first language with the voice of the first language.
이때, 음성합성부(234)는 제1 사용자의 나이, 성별, 음색 및 감정 중 적어도 하나를 고려하여 제2 언어의 문자를 제1 사용자의 음성과 좀더 비슷한 제2 언어의 음성으로 합성할 수 있다. 또는, 음성합성부(234)는 제2 사용자의 나이, 성별, 음색 및 감정 중 적어도 하나를 고려하여 제1 언어의 문자를 제2 사용자의 음성과 좀더 비슷한 제1 언어의 음성으로 합성할 수도 있다. 이를 위하여, 통역 장치(230)는 각 사용자의 나이나, 성별에 대한 정보를 미리 입력받고, 음성합성부(234)는 입력된 정보를 고려하여 제2 언어의 문자로부터 제2 언어의 음성을 합성할 수 있다. 또는, 통역 장치(230)는 인식된 제1 언어의 음성으로부터 사용자의 음성을 파악하고, 음성합성부(234)는 이와 비슷하게 제2 언어의 음성을 합성할 수도 있다.At this time, the voice synthesizer 234 may synthesize characters of the second language into a voice of a second language more similar to the voice of the first user, taking into account at least one of the age, sex, tone, and emotion of the first user . Alternatively, the voice synthesizer 234 may synthesize characters of the first language into a voice of a first language more similar to the voice of the second user, taking into account at least one of the age, sex, tone, and emotion of the second user . To this end, the interpreting
이후, 제2 통신부(235)는 제1 언어의 문자 및 제2 언어의 문자를 각기 제1 단말(210) 및 제2 단말(220)로 전송할 수 있다. 이때, 제2 통신부(235)는 제2 언어의 음성을 제2 단말(220)로 전송하되, 제1 단말(210)에도 함께 전송할 수도 있다.Then, the
관리/수정부(236)는 제1 사용자와 제2 사용자 중 적어도 한 명의 통역 결과에 대한 피드백을 확인하고, 피드백에 따른 대응을 수행한다. 여기서, 피드백은 적어도 한 명에 의해 입력된 통역만족도, 음성인식 오류 지적, 통역 오류 지적 및 음성인식(또는, 문자 입력) 또는 통역 수정 요청 중 적어도 하나를 포함할 수 있다.The management /
이에, 관리/수정부(236)는 통역만족도나, 각 오류 지적을 표시하거나, 오류 지적된 내용이나 수정 요청된 내용을 수정하는 등을 수행할 수 있다. 또한, 관리/수정부(236)는 통역 결과, 통역만족도, 오류 지적 및 수정 내용 중 적어도 하나에 대한 이력을 관리할 수 있다. Accordingly, the management /
관리/수정부(236)는 제1 사용자 및 제2 사용자 중 적어도 한 명의 음성인식 오류 또는 통역 오류 지적을 확인하면, 다음과 같이 음성인식 또는 통역 오류를 해소할 수 있다.When the management /
구체적으로, 관리/수정부(236)는 제1 사용자의 입력문에 대한 음성인식 오류 지적을 확인하면, 음성인식부(232)에 의해 제1 사용자의 해당 단어에 대한 재발화를 인식하고, 인식된 부분이 기설정된 조건을 만족하는지를 확인한다. 그리고, 기설정된 조건을 만족하면, 입력문에서 오류 지적된 부분을 인식된 부분으로 정정하여 입력문의 오류를 해소할 수 있다. 여기서, 기설정된 조건 및 관리/수정부(236)의 음성인식 오류 정정 과정에 대해서는 도 4a를 참조하여 후술한다.Specifically, when the management /
또한, 관리/수정부(236)는 제2 사용자에 의해 번역 오류가 지적되면, 번역문에서 오류 지적된 부분에 대응하는 대역어 n-best 문자를 확인하고, 대역어 n-best 문자를 제2 단말(220)로 제공하고, 제2 단말(220)로부터 대역어 n-best 문자 중 하나에 대한 선택을 확인함에 따라 번역문의 오류 지적을 해소할 수 있다. 이때, 관리/수정부(236)는 제2 단말(220)로부터 제2 사용자의 선택을 제공받지 못하면, 오류 지적된 부분에 대한 제1 사용자의 재발화 또는 재입력을 인식하고, 인식된 내용을 이용하여 번역문에서 오류 지적된 부분을 정정할 수 있다. 관리/수정부(236)의 번역 오류 정정 과정에 대해서는 도 4b를 참조하여 후술한다. 이때, 관리/수정부(236)는 제1 사용자로부터 번역 오류가 지적된 경우에도 전술한 방법과 유사한 방식으로 번역 오류를 정정할 수도 있다.When a translation error is pointed out by the second user, the management /
한편, 번역부(233)는 음성합성부(234)나, 관리/수정부(236) 등에 입력문 및 번역문을 제공할 때, 입력문과 번역문에서 입력 단어와 번역어 간의 정렬(Align) 정보를 같이 출력하여 통역 오류를 정확하게 지정하도록 할 수 있다. 일반적으로, 제1 언어의 단어나 구를 제2 언어의 단어나 구로 번역되면, 정렬 정보가 생성될 수 있다. 또한, 제1 언어의 단어나 구는 다양한 제2 언어의 단어나 구로 번역될 수 있으므로, 번역부(233)는 현재 문장에서 가장 좋을 것으로 확인되는 제2 언어의 단어나 구를 선택하여 번역을 수행한다.On the other hand, when providing an input statement and a translation to the speech synthesis unit 234, the management /
한편, 전술한 예에서는 관리/수정부(236)는 통역결과, 통역만족도, 입력문이나 번역문의 오류 지적 및 수정 이력을 저장부(미도시)에 기록할 수 있다. 따라서, 번역부(233)는 기록된 이력을 이용하여 이후의 번역시에 대역어 n-best 문자에서 어느 하나를 선택할 때 그 우선순위를 달리하거나, 번역에 앞서 제1 사용자에게 문의하는 등을 수행할 수 있다.On the other hand, in the above example, the management /
이하의 명세서에서는 설명의 편의성을 위해서 본 발명의 제2실시예에 따른 통신 기반 번역 시스템(20)을 이용하는 경우를 예로 들어 설명한다.
In the following description, the communication-based
이하, 도 3a 및 3b를 참조하여 본 발명의 실시예에 따른 통역만족도 관리에 대하여 설명한다. 도 3a 및 도 3b는 본 발명의 실시예에 따른 통역결과 및 통역만족도 표시 예를 도시한 도면이다. 도 3a 및 3b에서는 제1 및 제2 단말(210, 220)이 수영과 Sophia의 대화를 한국어와 영어로 통역하는 화면을 예로 들어 도시하였다.Hereinafter, the interpretation satisfaction management according to the embodiment of the present invention will be described with reference to FIGS. 3A and 3B. FIG. FIGS. 3A and 3B are views showing an interpretation result and an interpretation satisfaction degree display example according to an embodiment of the present invention. In FIGS. 3A and 3B, the first and
먼저, 도 3a은 수영과 Sophia의 발화 및 번역이 올바르게 이루어진 경우의 예이다.First, FIG. 3A is an example of a case where swimming and Sophia utterance and translation are performed correctly.
"수영"에 의해 사용되는 제1 단말(210)은 "수영"에 의해 발화되어 음성인식부(232)에 의해 변환된 "나는 집에 가고 싶어"를 대표문장(31)으로 출력하고, 번역부(233)의 번역 결과인 "I like to go home"을 참고문장(32)으로 출력할 수 있다. 여기서, 대표문장(31)은 입력문이고, 참고문장(32)은 번역문일 수 있다.The
반면, "Sophia"에 의해 사용되는 제2 단말(220)은 "I like to go home"을 대표문장(31)으로 출력하고, "나는 집에 가고 싶어"를 참고문장(32)으로 출력할 수 있다. 여기서, 대표문장(31)은 번역문이고, 참고문장(32)은 입력문일 수 있다.On the other hand, the
제1 및 제2 단말(210, 220)은 대화 화면 상단의 어딘가에 흰색 둥근 버튼(33), 빗금 둥근 버튼(34) 및 녹색 세모 버튼(35)을 표출할 수 있다. 상세하게는, 흰색 둥근 버튼(33)은 음성인식 또는 통역의 만족을 표현하는 수단일 수 있고, 빗금 둥근 버튼(34)은 음성인식 또는 통역의 불만족을 표현하는 수단일 수 있고, 녹색 세모 버튼(35)은 음성인식 또는 통역에 대한 수정을 요청하는 수단일 수 있다. 이때, 제1 및 제2 단말(210, 220)은 흰색 둥근 버튼(33), 빗금 둥근 버튼(34) 및 녹색 세모 버튼(35)의 조작 결과를 통역 장치(230)로 송신한다. 이때, 통역 장치(230)는 각 버튼의 조작 결과를 통역 서비스를 제공받는 각 단말에 공유할 수 있다.The first and
또한, 제1 및 제2 단말(210, 220)은 각 번역문에 대한 각 사용자의 통역만족도를 표시할 수 있다. 구체적으로, 도 3a처럼, 번역문의 끝에 두 개의 네모 칸을 두어, 그 중 왼쪽 네모 칸에는 제1 사용자의 통역만족도를 표시하고, 오른쪽 네모 칸에는 제2 사용자의 통역만족도를 표시할 수 있다. 상세하게는, 제2 제어부(231)는 제1 및 제2 단말(210, 220)로부터 수신된 제1 및 제2 사용자의 통역만족도를 확인하고, 이를 표시부(214) 상에 표출할 수 있다. 또한, 통역만족도를 관리/수정부(236)에 제공할 수 있다.In addition, the first and
예컨대, "수영"은 음성인식 결과 즉, "나는 집에 가고 싶어"에 대해 화면 상단 우측의 흰색 둥근 버튼(33)을 누르며 만족 의사를 표출할 수 있고, 그러면 각 단말의 화면에는 "수영"의 만족 의사를 나타내는 흰색 동그라미가 표출될 수 있다.For example, "swimming " can express satisfaction by pressing the
Sophia는 통역 결과 즉, "I like to go home"을 보고, 통역 결과를 잘 이해하였다고 생각하면, 흰색 둥근 버튼(33)을 눌러 만족 의사를 표출할 수 있고, 그러면, 각 단말의 화면에는 "Sophia"의 만족 의사를 나타내는 흰색 동그라미가 표출될 수 있다.If Sophia sees the interpretation result, "I like to go home" and thinks that she understands the interpretation result well, she can express satisfaction by pressing the white round button (33) A white circle indicating the satisfaction of "can be expressed.
마찬가지로, 각 단말(10, 20)은 Sophia의 음성을 인식한 결과인 "Okay"와 그 통역 결과인 "그래"에 대해서도 전술한 과정과 동일 또는 유사한 과정을 통해서 통역만족도를 입력 및 표출할 수 있다.
Likewise, each of the
다음으로, 도 3b를 참고하면, 수영의 "집에 가고 싶어"라는 음성 발화를 음성인식부(232)는 "집에 가 싶어"라고 잘못 인식한 경우의 예이다.Next, referring to FIG. 3B, it is an example of a case where the
제1 단말(210)이 "수영"의 음성인식 결과인 "나는 집에 가 싶어" 표출한 경우, "수영"은 음성인식에 문제가 있다고 판단하고, 빗금 둥근 버튼(34)을 눌러 음성인식 불만족 의사를 표시할 수 있다. 이때에도, 제1 단말(210)은 수영의 통역결과에 대한 불만족 의사를 통역 장치(230)에 제공하고, 통역 장치(230)는 제2 단말(220)로 수영의 불만족 의사를 전달할 수 있다.When the
이때, 음성인식된 문장에는 문제가 있었지만, 예컨대, 번역이 제대로 수행되었거나, Sophia의 이해력이 좋아 Sophia는 통역 결과를 제대로 이해할 수 있다. 그러면, "Sophia"는 제2 단말(220)의 흰색 둥근 버튼(33)을 눌러 통역 결과를 이해 가능하다는 만족 의사를 표출할 수 있다.At this time, there was a problem with the speech-recognized sentence, but, for example, the translation was performed well, or Sophia's understanding is good, and Sophia can understand the interpretation result properly. Then, "Sophia" can express satisfaction that the interpretation result can be understood by pressing the
그러면, "수영"은 "Sophia"의 만족 의사를 확인하고, 별도의 통역 오류 정정 없이 계속 대화를 이어갈 수 있다.Then, "swim" can confirm the satisfaction of "Sophia" and continue conversation without further interpreting error correction.
이 같이, 통역 장치(230)는 통역 결과에 대한 만족 또는 불만족과 같은 사용자의 피드백을 전달받아 이를 통역 서비스를 이용중인 다른 단말에 공유할 수 있다.In this way, the interpreting
뿐만 아니라, 통역 장치(230)는 피드백에 따라서 오류를 정정할 수도 있는데, 도 4a 및 4b를 참조하여 본 발명의 실시예에 따른 통신 기반 통신 서버의 사용자 피드백에 따른 오류 정정 과정에 대하여 설명한다. In addition, the interpreting
도 4a 및 도 4b는 본 발명의 실시예에 따른 통신 기반 통신 장치의 오류 정정 예를 도시한 도면이다.4A and 4B are diagrams illustrating examples of error correction of a communication-based communication apparatus according to an embodiment of the present invention.
크게, 본 발명의 실시예에 따른 관리/수정부(236)는 피드백에 따라 ㉠ 음성인식 오류 정정, ㉡ 번역 오류 정정을 할 수 있다. 이하, 각 정정에 대해서 대부적으로 설명한다.
The management /
㉠ 음성인식 오류 정정정 Correct speech recognition error
제1 사용자는 제1 언어의 문장에서 자신의 발화문과 다른 부분을 확인하면, 제1 언어의 문장에서 음성인식 오류가 발생한 부분을 지적할 수 있다. 그러면, 제1 단말(210)은 제1 음성인식 오류가 지적된 부분에 대한 제1 사용자의 재발화를 인식하여 통역 장치(230)로 전송한다. 그러면, 음성인식부(232)는 제1 사용자의 재발화된 음성을 상기 제1 언어의 정정용 문자로 변환하고, 제1 언어의 정정용 문자를 제2 언어의 정정용 문자로 번역한다. 이후, 관리/수정부(236)는 이전의 입력문 내 오류 지적된 단어를 재인식된 단어로 변경함에 따라 새로운 문장을 구성하여 제1 단말(210)로 제공할 수 있다. 이때, 오류 지적된 단어가 여러 개이면, 관리/수정부(236)는 현재 재발화된 단어를 이전 발화의 오류 단어 순서대로 대응시켜 새로운 문장을 구성할 수 있다.The first user can identify a portion where a speech recognition error has occurred in a sentence of the first language, if the first user identifies a portion different from his or her utterance in the sentence of the first language. Then, the
구체적으로, 관리/수정부(236)는 오류 지적이 수행된 이후에 제1 사용자에 의한 별다른 지시 없이 제1 언어의 음성이 재인식되어 제1 언어의 문자로 변환되면, 다음의 기설정된 조건을 이용하여 재인식된 제1 언어의 문자가 새로운 발화인지 아니면, 지적된 오류 정정을 위한 발화인지를 판단할 수 있다. Specifically, when the voice of the first language is re-recognized and converted into a character of the first language without any indication by the first user after the error indication is performed, the management /
1. 이전의 오류 지적 단어 수와 현재의 발화 단어 수가 일치할 것1. The number of previous erroneous words should match the number of current utterances
2. 이전의 오류 지적 단어의 음성인식 n-best 결과 단어 중에 현재의 발화 단어가 포함되거나, 이전의 오류 지적 단어의 음성인식 n-best 결과 단어와 현재 발화 단어 간의 대상 언어별 알파벳 유사도가 제1 임계치 이상 일치하는 단어가 제2 임계치 이상 존재할 것. 여기서, 제1 임계치는 소정 퍼센트(예컨대, 50%)일 수 있으며, 제2 임계치는 n보다 작은 자연수로서, 예컨대, n/2일 수 있다.2. Speech Recognition of the Previous Errored Word The speech recognition of the n-best result word includes the current utterance word or the speech recognition of the previous erroneous utterance word. A word that is equal to or greater than the threshold value must exist above the second threshold. Here, the first threshold may be a predetermined percentage (e.g., 50%), and the second threshold may be a natural number less than n, e.g., n / 2.
이때, 관리/수정부(236)는 전술한 2가지 조건을 만족하면, 재인식된 제1 언어의 문자가 음성인식 오류 정정을 위한 발화인 것으로 인식할 수 있다. 반면, 관리/수정부(236)는 전술한 2가지 조건을 만족하지 않으면, 재인식된 제1 언어의 문자가 새로운 발화인 것으로 인식할 수 있다.
At this time, if the management /
이하, 도 4a를 참조하여 음성인식 오류를 정정하는 경우의 예에 대하여 살펴본다.Hereinafter, an example of correcting a speech recognition error will be described with reference to FIG. 4A.
도 4a를 참조하면, "수영"이 "나는 집에 가고 싶어"로 발화하였는데, 음성인식부(232)가 "나는 밥에 가고 싶어"로 인식하여, 번역부(233)가 "I like to go steamed rice"로 번역할 수 있다.Referring to FIG. 4A, when the word " I want to go home ", the
이 경우, "수영"은 음성인식 결과인 입력문에서 "밥"을 음성인식 오류가 있는 부분으로 선택하고 빗금 둥근 버튼(34)을 누를 수 있다(S410). 그러면, 제2 제어부(231)는 음성인식 오류 지적과 선택된 오류 지적 단어를 확인하고, 번역부(233)로부터 제공받은 단어 간 정렬 정보를 참조하여 음성인식 오류 지적 단어의 정보를 제2 단말(220)로 제공하여, 제2 단말(220)이 "밥"이 잘못 인식된 단어이고, 그 번역어인 "steamed rice"도 잘못된 번역임을 "Sophia"에게 알리도록 할 수 있다. In this case, "swimming" may select "rice" as a portion of speech recognition error, which is a speech recognition result, and press the shaded round button 34 (S410). Then, the
이때, "Sophia"도 제2 단말(220)을 통해 "steamed rice"를 이해할 수 없다는 표시를 하며 빗금 둥근 버튼(34)을 누를 수 있다(S415). 그러면, 제1 단말(210)의 표시부(214)는 두 대화자들이 입력문과 번역문을 상호 이해할 수 없음을 표출할 수 있다. 이때, 관리/수정부(236)는 입력문과 번역문에 대한 불만족 표시가 있었음을 이력으로 저장부(미도시)에 기록할 수 있다.At this time, "Sophia" can also press the
이어서, "수영"은 음성인식 오류 단어인 "밥"을 "집"으로 재발화하면, 관리/수정부(236)는 음성인식부(232)를 통해 "집"이 재인식됨을 확인하고, "집"이 음성인식 오류 단어와 동일한 단어 수임을 확인한다(S420). 그리고, 관리/수정부(236)는 이전의 발화에서 "밥" 단어를 인식하는 과정에서 음성인식 n-best 단어 중에서 "집"이 있는지를 확인하거나, 음성인식 n-best 단어인 "집"과 "밥"의 알파벳 유사도가 기설정된 제1 임계치 이상이고, 제2 임계치(여기서는 제2 임계치는 1임) 이상 존재함을 확인함에 따라 재발화 및 인식된 단어 "집"이 입력문에서 음성인식 오류 단어를 대체하는 것임을 알 수 있다.Then, the management /
이후, 관리/수정부(236)는 "밥"을 "집"으로 대체한 "입력문"을 번역부(233)에 전달하고, 번역부(233)는 입력문 "나는 집에 가고 싶어"를 "I like to go home"으로 번역할 수 있다(S425).Then, the management /
또는, "수영"이 녹색 세모 버튼(35)을 클릭한 후 "집"을 발화하면, 관리/수정부(236)는 첫 번째 오류 단어인 "밥"을 교체할 단어임을 알고, "밥"을 "집"으로 교체한 "나는 집에 가고 싶어"를 번역부(233)로 제공할 수 있다(S420). 이때, 번역부(233)는 다시 제공받은 입력문을 번역하여 음성인식 오류에 의해 오류가 발생한 번역문을 정정할 수 있다(S425).Or, if "swim" speaks "home" after clicking on the
이후, "Sophia"는 정정된 번역문을 확인하고 이해하였음을 흰색 둥근 버튼(33)을 클릭하여 알릴 수 있다(S430).
Thereafter, "Sophia " can acknowledge and understand the corrected translation by clicking on the white round button 33 (S430).
㉡ ㉡ 번역 오류 정정 과정Translation Error Correction Process
관리/수정부(236)는 제2 사용자의 통역 오류 지적에 대해서도 다음과 같이 통역 오류 해결 방안을 제시할 수 있다. The management /
통역된 내용을 접하는 제2 사용자가 번역 결과를 보고 이해되지 않는 부분을 지적할 경우, 지적된 부분이 있는 원문을 표시하면서 지적된 부분을 대체할 수 있는 다른 번역 후보 대역어를 상대방에게 제시할 수 있다.When a second user who touches the interpreted contents points to a part which is not understood by referring to the translation result, it is possible to present another translation candidate candidate word that can replace the indicated part while displaying the original text having the indicated part .
이때, 관리/수정부(236)는 제2 단말(220)로 대역어 n-best로부터 다른 번역 후보 대역어를 선택하여 제2 단말(220)로 전달할 수 있다. 그러면, 제2 단말(220)의 관리/수정부(미도시)가 추가로 제공받은 번역 후보 대역어를 원문과 대응시켜 표출할 수 있다.At this time, the management /
그러면, 제2 사용자가 번역 후보 대역어 중에서 문맥상 적합한 것으로 판단되는 문자를 선택할 수 있다. 이때, 제2 단말(220)의 관리/수정부(미도시)는 원문의 지적된 부분을 선택된 대역어로 변경할 수 있다. 여기서, 제2 단말(220)의 관리/수정부(미도시)는 제1 단말(210)로 변경된 번역문 정보를 제공할 수 있고, 제1 단말(210)의 관리/수정부(236)는 이를 확인하고, 수정 이력을 저장할 수 있다.Then, the second user can select a character determined to be appropriate in the context of the translation candidate candidate word. At this time, the management / correction unit (not shown) of the
또는, 관리/수정부(236)는 제2 사용자에 의해 이해 불가로 지적된 부분을 표시하고, 제1 사용자가 고유명사화, 번역어 수정이나, 절/문장 띄어쓰기 등과 같은 간단한 입력을 하도록 하여 원문을 다시 번역할 수 있도록 할 수 있다.Alternatively, the management /
또한, 관리/수정부(236)는 기본적으로 제공되는 수정 기능으로도 해소되지 않는 번역 오류를 제1 사용자가 유사 표현으로 재발화하여 대화 소통 문제를 해결하도록 할 수도 있다. 이때, 제1 사용자는 녹색 세모 버튼(35)을 누르는 수정 요청을 한 상태에서 재발화를 하여 재발화된 내용이 지적된 부분에 대한 것임을 참가자들이 모두 알도록 할 수 있다.In addition, the management /
그런데, 제1 사용자는 음성인식 오류를 정정할 경우에도 녹색 세모 버튼(35)을 눌러 수정 요청을 하므로, 관리/수정부(236)는 제1 사용자가 발화 이후에 수정을 요청하고 재발화한 경우, 음성인식 결과에 대한 수정 요청인지 상대방의 지적에 따른 번역 오류를 정정하는 경우인지 구분할 필요가 있다.However, even if the first user corrects the speech recognition error, the green /
관리/수정부(236)는 이전에 확인된 오류 지적이 음성인식 오류만 있는 경우에는 음성인식 오류에 대한 수정 명령으로 확인하고, 그외의 경우, 즉 제2 사용자가 번역 오류를 지적한 경우 및 별다른 오류 지적이 없는 경우는 이전에 번역된 내용을 다르게 표현하려는 의도로 이해하고 재번역을 수행한다. 여기서, 관리/수정부(236)는 별다른 오류 지적이 없는 경우에는 이전의 번역문 또는 대역어 n-best에서 재번역된 문자와 유사의미의 단어를 선별하고, 선별된 단어를 재번역된 문자로 대체할 수 있다.
The management /
이하, 도 4b를 참조하여 본 발명의 실시예에 따른 번역 오류 정정의 예에 대하여 설명한다.Hereinafter, an example of translation error correction according to an embodiment of the present invention will be described with reference to FIG.
도 4b와 같이, "수영"이 "경주 여행 어땠어"라고 발화하였는데, 번역부(233)는 "How was your race trip"으로 번역할 수 있다(S450). As shown in FIG. 4B, the
이 경우, "Sophia"는 문법적으로 문제가 없는 문장이지만, "race"를 이해할 수 없어 "race"를 선택하며 빗금 둥근 버튼(34)을 누를 수 있다(S460). In this case, "Sophia" is a grammatically correct sentence, but can not understand the word " race ", so that the user can select the word " race "
이때, 제2 제어부(231)는 제2 단말(220)로부터 수신된 제2 사용자의 지적을 확인하고, "race"를 번역 오류로 체크한 후 "race" 및 번역 오류 지적을 관리/수정부(236)에 전달한다. 그러면, 관리/수정부(236)는 번역부(233)에 요청하여 그 원문인 "경주"의 번역 결과인 제2 언어의 다른 번역 후보 대역어를 제2 단말(220)로 제시할 수 있다. 예를 들어, 관리/수정부(236)는 번역부(233)로부터 "How was your race trip" 번역 과정에서 생성된 대역어 n-best 문자를 확인하여 번역 후보 대역어를 제시할 수 있다. 이때, 관리/수정부(236)는 번역 후보 대역어를 제2 통신부(235)를 통해 제2 단말(220)로 제공할 수 있다.At this time, the
"Sophia"는 제공받은 다른 번역 후보 대역어 중에서 "Kyoungju"를 확인함에 따라 이전의 번역문을 이해하고, "Kyoungju"를 선택하여 "race"를 "Kyoungju"로 교체할 수 있다(S470). 그러면, 번역 오류가 수정되고, 오류 지적 사항 또한 철회될 수 있다. 이때, 관리/수정부(236)는 통역 결과에 대한 수정 이력을 저장할 수 있다. Sophia can understand the previous translation by confirming "Kyoungju" among other translation candidates provided, and select "Kyoungju" to replace "race" with "Kyoungju" (S470). Then, the translation error can be corrected, and the error point can also be withdrawn. At this time, the management /
또는, "Sophia"는 번역문의 "race"를 이해하지 못해 번역 오류를 지적하였지만, 이를 어떻게 정정해야할지 모를 수 있다. 이때, "Sophia"는 다른 번역 후보 대역어로부터도 번역 오류를 해소하지 못하겠다며 빗금 둥근 버튼(34)을 누르거나, 별도의 액션을 취하지 않을 수 있다.Or, "Sophia" points out translation errors because he does not understand the "race" of the translation, but he may not know how to correct it. At this time, "Sophia" can not solve the translation error even from other translation candidates, and the user can press the
이 경우, "수영"은 "Sophia"가 번역 오류로 인해 "경주"를 이해하지 못했음을 확인하고, "경주"를 선택하며 "고유명사 처리"를 클릭하고, 녹색 세모 버튼(35)을 클릭할 수 있다(S480). 이 경우, 관리/수정부(236)는 제1 단말(210)로부터의 제1 사용자의 "경주"에 대한 고유명사 처리를 확인하고, 번역부(233)로 "경주"를 발음대로 처리하도록 요청할 수 있다. 또한, 번역부(233)는 "How was your trip to Kyeoungju?"로 번역하고, 제2 제어부(231)는 정정된 번역문을 표시부(214)에 표출하고, 번역문의 옆에 녹색 세모 표시를 하여 번역문이 수정되었음을 공지할 수 있다. 이때, 제2 단말(220)도 통역 장치(230)로부터 수정된 입력문 및 번역문을 제공받아, 제2 사용자에게 표출할 수 있다(S490).
In this case, "swim" confirms that "Sophia" did not understand the "race" due to translation errors, selects "race", clicks "process proper noun", clicks the green trio button (35) (S480). In this case, the management /
이와 같이, 본 발명의 실시예는 음성인식 오류와 자동번역 오류로 인하여 발화자의 의도와 다른 대화를 상대방에게 전달할 경우에도 발화자 및 상대방이 자신들의 대화가 잘 전달되는지 여부를 확인할 수 있다.As described above, according to the embodiment of the present invention, even when a conversation different from the intention of the speaker is transmitted to the other party due to a speech recognition error and an automatic translation error, the speaker and the other party can confirm whether or not their conversation is well transmitted.
뿐만 아니라, 본 발명의 실시예는 사용자가 대화 중 의사 전달 오류를 알아챌 경우에 오류가 발생한 부분을 용이하게 파악할 수 있도록 하고, 오류도 간단히 해소할 수 있도록 지원할 수 있다.
In addition, the embodiment of the present invention can easily grasp a portion where an error occurs when a user is aware of a communication error during a conversation, and can easily support an error.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.While the present invention has been described in detail with reference to the accompanying drawings, it is to be understood that the invention is not limited to the above-described embodiments. Those skilled in the art will appreciate that various modifications, Of course, this is possible. Accordingly, the scope of protection of the present invention should not be limited to the above-described embodiments, but should be determined by the description of the following claims.
Claims (20)
상기 제1 단말로부터 상기 제1 언어의 문자나, 상기 제1 언어의 음성을 수신하면, 상기 제1 언어의 음성 또는 상기 제1 언어의 문자를 제2 언어의 문자로 번역하고, 상기 제2 언어의 문자를 제2 언어의 음성으로 합성하는 통역 장치; 및
상기 통역 장치로부터 상기 제1 및 제2 언어의 문자와 상기 제2 언어의 음성을 수신하여 제2 사용자에게 제공하는 제2 단말을 포함하되,
상기 제1 및 제2 단말은, 상기 제1 언어의 문자 및 상기 제2 언어의 문자 중 적어도 하나에 대한 피드백을 입력받고,
상기 통역 장치는, 상기 제1 및 제2 단말 중 적어도 하나로부터 수신된 상기 피드백을 이용하여 번역 이력 관리 및 오류 정정 중 적어도 하나를 수행하는 것인 통신 기반 통역 시스템.A first terminal used by a first user to receive a first language character input by the first user or a first language voice uttered by the first user;
When the first terminal receives a character of the first language or a voice of the first language, the voice of the first language or the character of the first language is translated into a character of the second language, An interpreter for synthesizing the characters of the second language into a voice of the second language; And
And a second terminal for receiving the characters of the first and second languages and the voice of the second language from the interpretation device and providing the characters to the second user,
Wherein the first and second terminals receive feedback on at least one of a character of the first language and a character of the second language,
Wherein the interpreting device performs at least one of translation history management and error correction using the feedback received from at least one of the first and second terminals.
상기 제1 단말은, 상기 제1 언어의 문자를 표출할 때, 상기 제1 언어의 문자에 대한 만족, 불만족, 이해 불가 지적 및 수정 요청 중 적어도 하나를 포함하는 제1 사용자의 피드백을 입력받는 제1 인터페이스를 제공하고, 상기 제1 사용자의 피드백을 송신하며
상기 제2 단말은, 상기 제2 언어의 문자를 표출할 때, 상기 제2 언어의 문자에 대한 만족, 불만족, 이해 불가 지적 및 수정 요청 중 적어도 하나를 포함하는 제2 사용자의 피드백을 입력받는 제2 인터페이스를 제공하고, 상기 제2 사용자의 피드백을 송신하는 것인 통신 기반 통역 시스템.The method according to claim 1,
Wherein the first terminal displays a character of the first language when the first terminal receives the feedback of the first user including at least one of satisfaction, dissatisfaction, inability to point out, 1 interface, transmitting the feedback of the first user
Wherein the second terminal receives a feedback of a second user including at least one of satisfaction, dissatisfaction, inability to point out, and a correction request for a character of the second language when the character of the second language is displayed 2 interface, and sends the feedback of the second user.
상기 통역 장치는, 상기 제1 사용자의 피드백 및 상기 제2 사용자의 피드백을 수신하면, 각기 상기 제2 단말 및 제1 단말에 전송하며,
상기 제1 및 제2 단말은 각기 상기 제2 사용자의 피드백 및 제1 사용자의 피드백을 표시하는 것인 통신 기반 통역 시스템. 3. The method of claim 2,
Wherein the interpretation apparatus transmits feedback of the first user and feedback of the second user to each of the second terminal and the first terminal,
Wherein the first and second terminals each display feedback of the second user and feedback of the first user.
상기 제1 단말은, 상기 제1 사용자의 불만족 또는 수정 요청 및 상기 제1 언어의 문자 중 어느 부분에 대한 이해 불가 지적을 포함하는 상기 제1 사용자의 피드백; 및 상기 제1 사용자의 상기 이해 불가 지적된 부분에 대한 재발화 음성을 송신하며
상기 통역 장치는, 상기 재발화된 음성을 수신하여 제1 언어의 문자로 번역 후 제2 언어의 음성으로 통역하고, 상기 재발화된 음성에 대응하는 제2 언어의 문자와 음성을 상기 제2 단말에 제공하는 것인 통신 기반 통역 시스템.The method of claim 3,
Wherein the first terminal comprises: feedback of the first user including a dissatisfaction or correction request of the first user and an unreasonable indication of any part of the characters of the first language; And a recalled voice for the unintelligible portion of the first user
Wherein the interpretation device receives the recalled voice and interprets the recalled voice as a character of a first language and translates it into a voice of a second language and transmits a character and voice of a second language corresponding to the recalled voice to the second terminal To the communication system.
상기 제2 단말은, 상기 제2 사용자의 불만족 또는 수정 요청 및 상기 제2 언어의 문자 중 어느 부분에 대한 이해 불가 지적을 포함하는 상기 제2 사용자의 피드백을 송신하며,
상기 통역 장치는, 상기 이해 불가 지적에 대한 복수의 번역 후보 대역어를 상기 제2 단말에 제공하고, 상기 제2 단말로부터 상기 제2 사용자의 상기 복수의 번역 후보 대역어 중 하나에 대한 선택을 수신하여 상기 제2 언어의 문자를 정정하는 것인 통신 기반 통역 시스템.The method of claim 3,
The second terminal transmits feedback of the second user including a request for unsatisfactory or correction of the second user and an unrecognizable designation of any part of the characters of the second language,
Wherein the interpretation apparatus is configured to provide a plurality of translation candidate candidate word words for the unintelligible point to the second terminal and receive a selection from the second terminal for one of the plurality of translation candidate candidate word words of the second user, And corrects the characters of the second language.
상기 제1 사용자에 의한 상기 이해 불가 지적에 대응하는 제1 언어의 문자에 대해 고유명사 처리, 띄어쓰기 처리 및 번역어 수정 중 적어도 하나의 선택을 입력받아 상기 통역 장치로 송신하며,
상기 통역 장치는, 상기 적어도 하나의 선택에 따라 상기 이해 불가 지적된 부분을 상기 제2 언어의 문자와 언어로 통역하고, 상기 제2 단말로 제공하는 것인 통신 기반 통역 시스템.4. The method of claim 3, wherein the first terminal receives and expresses feedback of the second user including a request for unsatisfactory or correction of the second user and an unrecognizable designation of any part of the characters of the second language ,
A selection unit configured to receive at least one of a proper noun processing, a spacing process, and a translation of a word for a character of the first language corresponding to the unintelligible indication by the first user,
Wherein the interpreting device translates the unintelligible portion into characters and languages of the second language according to the at least one selection and provides the interpreter to the second terminal.
제1 사용자에 의한 입력된 문자 또는 발화된 음성을 인식하여 그에 대응하는 제1 언어의 문자를 포함하는 입력문을 생성하는 단계;
상기 입력문을 자동으로 번역하여 제2 언어의 번역문을 포함하는 번역문을 생성하는 단계;
상기 입력문 및 상기 번역문 중 적어도 하나의 문장에 대한 만족도, 오류 지적 및 오류 정정 요청 중 적어도 하나의 피드백을 확인하는 단계;
상기 적어도 하나의 피드백에 대응하는 처리를 수행하는 단계
를 포함하는 통신 기반 통역 방법.A communication-based interpretation method by a processor of an interpreting device,
Recognizing an input character or uttered voice by a first user and generating an input statement including a character of a first language corresponding thereto;
Automatically translating the input statement to generate a translation including a translation of the second language;
Confirming at least one of satisfaction of at least one of the input sentence and the translated sentence, an error indication, and an error correction request;
Performing a process corresponding to said at least one feedback
And a communication-based interpretation method.
상기 통역만족도를 고려하여 입력문의 인식 또는 번역문의 번역 이력을 기록하는 단계
를 포함하는 것인 통신 기반 통역 방법.8. The method of claim 7, wherein if the feedback is interpretative satisfaction for the at least one sentence,
Recognizing the input query or recording the translation history of the translation in consideration of the interpretation satisfaction
And a communication-based interpretation method.
상기 입력문에서 오류 지적된 부분에 대한 상기 제1 사용자의 재발화가 있는지를 확인하는 단계;
상기 제1 사용자의 재발화가 있으면, 재발화된 음성을 인식하여 정정용 문자를 생성하는 단계;
상기 정정용 문자가 기설정된 조건을 만족하는지를 확인하는 단계; 및
상기 기설정된 조건을 만족하면, 상기 입력문에서 상기 오류 지적된 부분을 상기 정정용 문자로 정정하여 상기 입력문의 오류를 해소하는 단계
를 포함하는 것인 통신 기반 통역 방법.8. The method of claim 7, wherein if the feedback is an error indication for a portion of the input statement,
Confirming whether there is a recurrence of the first user with respect to an error indicated part in the input statement;
Generating a correcting character by recognizing the re-uttered voice if the first user is re-activated;
Confirming whether the correction character satisfies a predetermined condition; And
Correcting the point indicated by the error in the input statement to the correcting character and eliminating the error of the input query if the predetermined condition is satisfied,
And a communication-based interpretation method.
상기 정정용 문자와 상기 오류 지적된 부분의 단어 수가 일치하는지를 확인하는 단계; 및
상기 입력문과 함께 기생성된 상기 오류 지적된 부분에 대응하는 복수의 음성인식 후보문자가 상기 정정용 문자와 기설정된 임계치 이상 부합하는지를 확인하는 단계
중 적어도 하나를 포함하는 것인 통신 기반 통역 방법.10. The method of claim 9, wherein the step of verifying whether the predetermined condition is satisfied comprises:
Confirming whether or not the number of words of the correcting character and the word indicated by the error indicated portion match; And
Confirming whether or not a plurality of speech recognition candidate characters corresponding to the erroneously pointed portion generated together with the input statement matches the correction character with a predetermined threshold value or more
The method comprising the steps of:
상기 입력문을 생성할 때 확인된 상기 번역문에서 오류 지적된 부분에 대응하는 제2 언어인 복수의 번역 후보 대역어를 확인하는 단계;
상기 복수의 번역 후보 대역어를 상기 번역문을 제공받는 제2 사용자의 단말로 송신하는 단계; 및
상기 제2 사용자의 단말로부터 상기 복수의 번역 후보 대역어 중 하나에 대한 선택을 확인하는 단계;
상기 복수의 번역 후보 대역어 중 선택된 하나의 번역 후보 대역어를 이용하여 상기 번역문의 오류 지적을 해소하는 단계
를 포함하는 것인 통신 기반 통역 방법. 8. The method of claim 7, wherein if the feedback is an error indication for a portion of the translation,
Confirming a plurality of translation candidate candidate words, which is a second language corresponding to an error indicated part in the translation verified at the time of generating the input statement;
Transmitting the plurality of translation candidate word words to a terminal of a second user provided with the translation; And
Confirming a selection of one of the plurality of translation candidate candidate words from the terminal of the second user;
A step of eliminating an error indication of the translation using a selected one of the plurality of translation candidate candidate words
And a communication-based interpretation method.
상기 오류 지적된 부분에 대한 상기 제1 사용자의 재발화 또는 재입력을 인식하는 단계; 및
상기 재발화 또는 상기 재입력된 내용을 이용하여 상기 번역문에서 상기 오류 지적된 부분을 정정하는 단계
를 포함하는 것인 통신 기반 통역 방법.12. The method of claim 11, wherein in the resolving step, if the at least one choice is not provided from the second user,
Recognizing re-entry or re-entry of the first user to the erroneous portion; And
Correcting the erroneous portion in the translation using the recursion or the re-entered content
And a communication-based interpretation method.
상기 제1 언어의 문자를 포함하는 입력문을 번역하여 기설정된 제2 언어의 문자를 포함하는 번역문을 생성하는 번역부;
상기 제2 언어의 문자를 제2 언어의 음성으로 합성하는 음성합성부; 및
제2 단말을 사용하는 제2 사용자 및 상기 제1 사용자 중 적어도 한 사용자의 통역 결과에 대한 피드백(Feedback)을 확인하고, 상기 피드백에 따른 대응을 하는 관리/수정부
를 포함하는 통신 기반 통역 장치.A voice recognition unit for converting a voice of the first language into a character of a first language through speech recognition of a voice of a first language uttered by the first user;
A translation unit for translating an input sentence including characters of the first language and generating a translation including a character of a second language;
An audio synthesizer for synthesizing characters of the second language into a voice of a second language; And
A second user using a second terminal, and a first user, and a management / authentication unit for checking feedback of an interpretation result of at least one of the first user and the first user,
And a communication interface.
통신부를 더 포함하고, 상기 통신부에 의해, 상기 제1 사용자에 의해 사용되는 제1 단말로부터 상기 제1 언어의 음성 또는 상기 제1 언어의 문자를 전달받아, 상기 제1 단말과 상기 제2 사용자에 의해 사용되는 제2 단말 간의 상기 피드백을 고려한 통역 서비스를 제공하는 것인 통신 기반 통역 장치.14. The method of claim 13,
Further comprising a communication unit for receiving the voice of the first language or the character of the first language from the first terminal used by the first user by the communication unit, Wherein the second terminal provides an interpretation service considering the feedback between the second terminals used by the second terminal.
상기 제1 단말로부터 상기 제1 언어의 문자를 제공받으며, 상기 제1 언어의 문자 및 상기 제2 언어의 문자와 음성을 상기 제1 및 제2 단말에 송신하며,
상기 적어도 한 사용자의 통역 결과에 대한 피드백을 수신하여 상기 관리/수정부에 전달하고, 상기 관리/수정부의 상기 피드백에 따른 대응 결과를 상기 제1 단말 및 제2 단말에 송신하는 것인 통신 기반 통역 장치.15. The communication device according to claim 14,
Receiving characters of the first language from the first terminal and transmitting characters of the first language and characters and voice of the second language to the first and second terminals,
Receiving a feedback on an interpretation result of the at least one user and delivering the feedback to the managing / managing unit, and transmitting a response result according to the feedback of the managing / managing unit to the first terminal and the second terminal, Interpretation equipment.
상기 적어도 한 사용자에 의해 입력된 통역만족도, 음성 인식 오류 지적, 통역 오류 지적 및 인식 또는 통역 오류에 대한 수정 요청 중 적어도 하나를 포함하는 것인 통신 기반 통역 장치.14. The method of claim 13,
Wherein said at least one user includes at least one of an interpretation satisfaction inputted by said at least one user, a speech recognition error indication, an interpretation error indication, and a correction request for recognition or interpretation error.
상기 음성인식부는, 인식 오류 지적된 부분에 대한 상기 제1 사용자의 재발화된 음성을 상기 제1 언어의 정정용 문자로 변환하고,
상기 번역부는, 상기 제1 언어의 정정용 문자를 제2 언어의 정정용 문자로 번역하며,
상기 음성합성부는, 상기 제2 언어의 정정용 문자를 제2 언어의 정정용 음성으로 합성하며,
상기 제2 언어의 정정용 문자와 음성은 상기 제1 및 제2 사용자에 제공되는 것인 통신 기반 통역 장치.14. The method according to claim 13, wherein when the feedback is the recognition error of the at least one user,
Wherein the speech recognition unit converts the re-uttered voice of the first user into a correcting character of the first language with respect to the point indicated by the recognition error,
Wherein the translating unit translates the correcting character of the first language into a correcting character of the second language,
Wherein the speech synthesis unit synthesizes the correction character of the second language into a correction speech of the second language,
Wherein said correcting character and voice of said second language are provided to said first and second user.
상기 적어도 한 사용자의 번역 오류 지적을 확인하면, 기설정된 번역 오류를 해소할 수 있는 방안을 제시하는 것인 통신 기반 통역 장치.14. The apparatus according to claim 13, wherein the management /
And suggests a solution for resolving a predetermined translation error if the at least one user is identified as a translation error point.
상기 번역부에 의해 기생성된 상기 번역 오류 지적된 부분에 대한 상기 제2 언어의 복수의 번역 후보 대역어를 확인하고, 상기 복수의 번역 후보 대역어를 상기 적어도 한 사용자에게 제공하는 것인 통신 기반 통역 장치.19. The apparatus of claim 18, wherein the management /
Wherein the translating candidate candidate is one of a plurality of translation candidate candidate words in the second language for the translation error indicated by the translation unit and provides the plurality of translation candidate candidate words to the at least one user, .
상기 적어도 한 명의 사용자가 상기 복수의 번역 후보 대역어 중에서 상기 번역 오류 지적된 부분을 대체할 대역어를 선택하면, 선택된 상기 대역어를 이용하여 상기 번역 오류를 정정한 상기 번역문을 상기 제2 사용자에 제공하는 것인 통신 기반 통역 장치.20. The apparatus according to claim 19, wherein the management /
And providing the translation to the second user when the at least one user selects a translation word to replace the portion indicated by the translation mistakes among the plurality of translation candidate wordwords by using the selected translation word Communication-based interpretation device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140193500A KR20160080711A (en) | 2014-12-30 | 2014-12-30 | Apparatus, Method and System for Translation based on Communication |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140193500A KR20160080711A (en) | 2014-12-30 | 2014-12-30 | Apparatus, Method and System for Translation based on Communication |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20160080711A true KR20160080711A (en) | 2016-07-08 |
Family
ID=56503070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140193500A KR20160080711A (en) | 2014-12-30 | 2014-12-30 | Apparatus, Method and System for Translation based on Communication |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20160080711A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180075376A (en) * | 2016-12-26 | 2018-07-04 | 삼성전자주식회사 | Device and method for transreceiving audio data |
| WO2018124620A1 (en) * | 2016-12-26 | 2018-07-05 | Samsung Electronics Co., Ltd. | Method and device for transmitting and receiving audio data |
| KR20190061578A (en) * | 2017-11-28 | 2019-06-05 | 한국전자통신연구원 | Simultaneous interpretation system and method for providing real-time audience feedback thereof |
| US10599784B2 (en) | 2016-12-09 | 2020-03-24 | Samsung Electronics Co., Ltd. | Automated interpretation method and apparatus, and machine translation method |
| WO2020175810A1 (en) * | 2019-02-28 | 2020-09-03 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for controlling thereof |
-
2014
- 2014-12-30 KR KR1020140193500A patent/KR20160080711A/en not_active Application Discontinuation
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10599784B2 (en) | 2016-12-09 | 2020-03-24 | Samsung Electronics Co., Ltd. | Automated interpretation method and apparatus, and machine translation method |
| KR20180075376A (en) * | 2016-12-26 | 2018-07-04 | 삼성전자주식회사 | Device and method for transreceiving audio data |
| WO2018124620A1 (en) * | 2016-12-26 | 2018-07-05 | Samsung Electronics Co., Ltd. | Method and device for transmitting and receiving audio data |
| CN110226202A (en) * | 2016-12-26 | 2019-09-10 | 三星电子株式会社 | Method and apparatus for sending and receiving audio data |
| US10546578B2 (en) | 2016-12-26 | 2020-01-28 | Samsung Electronics Co., Ltd. | Method and device for transmitting and receiving audio data |
| US11031000B2 (en) | 2016-12-26 | 2021-06-08 | Samsung Electronics Co., Ltd. | Method and device for transmitting and receiving audio data |
| KR20190061578A (en) * | 2017-11-28 | 2019-06-05 | 한국전자통신연구원 | Simultaneous interpretation system and method for providing real-time audience feedback thereof |
| WO2020175810A1 (en) * | 2019-02-28 | 2020-09-03 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for controlling thereof |
| US11587547B2 (en) | 2019-02-28 | 2023-02-21 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for controlling thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200410174A1 (en) | Translating Languages | |
| US8275603B2 (en) | Apparatus performing translation process from inputted speech | |
| US9063931B2 (en) | Multiple language translation system | |
| WO2020029500A1 (en) | Voice command customization method, device, apparatus, and computer storage medium | |
| KR20160080711A (en) | Apparatus, Method and System for Translation based on Communication | |
| US20140297254A1 (en) | Text data processing method and electronic device thereof | |
| US9653073B2 (en) | Voice input correction | |
| US20150228280A1 (en) | Voice conversation support apparatus, voice conversation support method, and computer readable medium | |
| WO2018055983A1 (en) | Translation device, translation system, and evaluation server | |
| US20150199340A1 (en) | System for translating a language based on user's reaction and method thereof | |
| US20190220520A1 (en) | Simultaneous interpretation system, server system, simultaneous interpretation device, simultaneous interpretation method, and computer-readable recording medium | |
| KR20100065317A (en) | Speech-to-text transcription for personal communication devices | |
| US10535337B2 (en) | Method for correcting false recognition contained in recognition result of speech of user | |
| KR20140008835A (en) | Method for correcting voice recognition error and broadcasting receiving apparatus thereof | |
| JP2014048506A (en) | Word registering apparatus, and computer program for the same | |
| KR20120038686A (en) | Method for evaluating study using language application of terminal and system | |
| CN107480146A (en) | A kind of meeting summary rapid translation method for identifying languages voice | |
| CN111192586B (en) | Speech recognition method and device, electronic equipment and storage medium | |
| WO2018198806A1 (en) | Translation device | |
| TWI695281B (en) | Translation system, translation method, and translation device | |
| WO2017135214A1 (en) | Speech translation system, speech translation method, and speech translation program | |
| JP2003029779A (en) | System, method and program for automatic interpretation | |
| TW201812612A (en) | Method and associated processor for adaptive linkify of a text | |
| CN113129865A (en) | Method and device for processing communication voice transcription AI connector intermediate element | |
| JP7489232B2 (en) | Information processing system, information processing method, and information processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Withdrawal due to no request for examination |