KR20140135358A - Speech recognition apparatus for utterance speech of foreigners - Google Patents
Speech recognition apparatus for utterance speech of foreigners Download PDFInfo
- Publication number
- KR20140135358A KR20140135358A KR20130055449A KR20130055449A KR20140135358A KR 20140135358 A KR20140135358 A KR 20140135358A KR 20130055449 A KR20130055449 A KR 20130055449A KR 20130055449 A KR20130055449 A KR 20130055449A KR 20140135358 A KR20140135358 A KR 20140135358A
- Authority
- KR
- South Korea
- Prior art keywords
- pronunciation
- model database
- speech
- model
- database
- Prior art date
Links
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 239000000284 extract Substances 0.000 abstract description 2
- 230000001788 irregular Effects 0.000 description 6
- 241000699666 Mus <mouse, genus> Species 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 241000699670 Mus sp. Species 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Electrically Operated Instructional Devices (AREA)
- Machine Translation (AREA)
Abstract
Description
본 발명은 음성 인식 기술에 관한 것으로 보다 상세하게는 타국인이 발화하는 음성을 보다 효과적으로 인식할 수 있는 음성 인식 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a speech recognition technology, and more particularly, to a speech recognition apparatus capable of more effectively recognizing speech uttered by a foreign person.
일반적으로 자연어 처리 분야의 음성인식 시스템은 원어민의 음성으로 학습되기 때문에 원어민 음성에 대하여만 주로 최적화되어 있다. 따라서 원어민에 대한 음석인식 성능은 좋지만 타 언어권 화자, 즉 타국인이 발화하는 음성에 대한 음성인식 성능은 좋지 않다.In general, the speech recognition system in the natural language processing field is mainly optimized for the native speaker voice because it is learned by the native speaker's voice. Therefore, speech recognition performance for native speakers is good, but speech recognition performance for speech by another language speaker, that is, a foreign speaker is not good.
종래에 타국인 발화 음성에 대한 음성인식 성능을 개선하기 위한 방법으로, 타국인의 모국어에 존재하는 자음과 모음의 체계를 반영하는 변이 발음을, 원어민의 발음을 기반으로 구축된 발음 모델에 추가하는 방식이 있다.Conventionally, as a method for improving the speech recognition performance of a foreign speech voice, a method of adding a variation pronunciation reflecting the system of consonants and vowels existing in a mother tongue of a foreign country to a pronunciation model built on the pronunciation of a native speaker have.
타국인은 모국어의 자음/모음 체계로 인한 변이 발음을 발화할 뿐만 아니라, 음성인식 대상 언어와 타국인의 모국어의 서로 다른 문법 체계로 인하여 잘못된 문법을 사용함으로써 발음 오류를 발생시킬 수 있다. In addition to uttering the pronunciation of the mutation due to the consonant / vowel system of the mother tongue, the foreigner can generate the pronunciation error by using the wrong grammar due to the different grammar system of the speech recognition target language and the mother tongue of the foreign person.
따라서, 타국인 발화 음성에 대한 음성인식 성능을 개선하기 위한 상기와 같은 방식은, 타국인이 문법 오류를 범할 경우에 발생하는 발화 음성에 대하여는 좋은 음성인식 성능이 발휘될 수 없는 문제점이 있다. Therefore, the above-described method for improving the speech recognition performance of the speech utterance of a foreign country has a problem that good speech recognition performance can not be exerted on a speech utterance generated when a foreigner makes a grammatical error.
이에 본 발명이 이루고자 하는 기술적 과제는, 타국인이 문법 오류를 범할 경우에 발생하는 발화 음성에 대하여 음성인식 성능을 개선할 수 있는 음성 인식 장치를 제공하는 데 있다. SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a speech recognition apparatus capable of improving speech recognition performance against speech utterances generated when a foreigner makes a grammatical error.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 음성 인식 장치는, 입력된 음성에서 인식에 유용한 정보를 추출하여 특징벡터로 변환하는 특징추출부; 소정의 음향모델을 저장하는 음향모델 데이터베이스; 소정의 언어모델을 저장하는 언어모델 데이터베이스; 원어민의 발음모델에 타국인이 범할 수 있는 문법오류에 의해 발생하는 변이 발음이 더욱 포함된 발음모델을 저장하는 발음모델 데이터베이스; 상기 특징벡터를 토대로 상기 음향모델 데이터베이스, 상기 발음모델 데이터베이스, 및 상기 언어모델 데이터베이스를 이용하여 가장 확률이 높은 단어열을 찾는 탐색부; 및 상기 탐색부의 출력을 이용하여 상기 입력된 음성의 인식 결과를 제공하는 인식결과 출력부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a speech recognition apparatus comprising: a feature extraction unit for extracting information useful for recognition from input speech and converting the extracted information into a feature vector; An acoustic model database for storing a predetermined acoustic model; A language model database for storing a predetermined language model; A pronunciation model database for storing a pronunciation model further including a variation sound generated by a grammatical error that can be committed by a foreign person in a pronunciation model of a native speaker; A search unit for searching a word sequence having the highest probability using the acoustic model database, the pronunciation model database, and the language model database based on the feature vector; And a recognition result output unit for providing a recognition result of the input speech using the output of the search unit.
상기 문법오류는 단복수 오류 및 시제 오류를 포함하는 것이 바람직하다.Preferably, the grammatical error includes a plurality of errors and a tentative error.
상기 단복수 오류는 불규칙 복수형으로 인한 오류일 수 있다.The multiple errors may be errors due to irregular plural forms.
상기 시제 오류는 불규칙 시제변화로 인한 오류일 수 있다. The tense error may be an error due to a change in the irregular tense.
상기된 본 발명에 의하면, 타국인이 범하는 문법오류에 의해 발생하는 변이발음을 원어민의 발음모델에 추가함으로써, 타국인이 문법 오류를 범할 경우에 발생하는 발화 음성에 대하여 음성인식 성능을 개선할 수 있는 효과가 있다. According to the present invention described above, it is possible to improve the speech recognition performance against the speech utterance that occurs when a foreigner makes a grammatical error by adding a variation pronunciation generated by a grammatical error caused by a foreign person to a pronunciation model of a native speaker It is effective.
도 1은 본 발명의 일 실시예에 따른 음성 인식 장치의 구성을 나타낸다.
도 2는 본 발명의 일 실시예에 의한 타국인 발화 음성을 위한 발음 모델을 생성하는 방법을 나타낸다.1 shows a configuration of a speech recognition apparatus according to an embodiment of the present invention.
FIG. 2 shows a method of generating a pronunciation model for a foreign speech voice according to an embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the following description and the accompanying drawings, substantially the same components are denoted by the same reference numerals, and redundant description will be omitted. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
도 1은 본 발명의 일 실시예에 따른 음성 인식 장치의 구성을 나타낸다. 본 실시예에 따른 음성 인식 장치는, 특징추출부(101), 탐색부(102), 인식결과 출력부(103), 음향모델 데이터베이스(104), 발음모델 데이터베이스(105), 언어모델 데이터베이스(106)를 포함하여 이루어진다.1 shows a configuration of a speech recognition apparatus according to an embodiment of the present invention. The speech recognition apparatus according to the present embodiment includes a
특징추출부(101)는 입력된 음성에서 인식에 유용한 정보를 추출하여 특징벡터로 변환한다. The
탐색부(102)는 학습과정에서 미리 구해진 음향모델 데이터베이스(104)와 발음모델 데이터베이스(105), 그리고 언어모델 데이터베이스(106)를 이용하여 가장 확률이 높은 단어열을 예컨대 비터비 알고리즘을 이용하여 찾는다. The
인식 결과 출력부(103)는 탐색부(102)의 출력을 이용하여 상기 입력된 음성의 인식 결과를 제공한다. The recognition
상기 음향모델 데이터베이스(104)는 소정의 음향모델을 저장하고, 상기 언어모델 데이터베이스(106)는 소정의 언어모델을 저장한다. 여기서 음향모델과 언어모델은 종래 기술을 따르는 바, 구체적인 설명은 생략하기로 한다.The
상기 발음모델 데이터베이스(105)는 기존의 원어민의 발음모델에 타국인이 범할 수 있는 문법오류에 의해 발생하는 변이발음이 더욱 포함된 발음모델을 저장한다. 즉, 상기 발음모델 데이터베이스(105)는 원어민의 발음을 기반으로 구축된 원어민 발음 모델에 타국인이 범할 수 있는 문법오류에 의해 발생하는 변이 발음들이 추가된 발음모델이다. 필요에 따라, 상기 발음모델 데이터베이스(105)는 타국인의 모국어에 존재하는 자음과 모음의 체계를 반영하는 변이 발음들을 더 포함할 수도 있다. The
여기서, 타국인이 범할 수 있는 문법오류로는, 단복수 오류 및 시제 오류 등이 있을 수 있다.Here, grammatical errors that can be committed by foreigners include multiple errors and tentative errors.
단복수 오류의 예로, 영어의 불규칙 복수형으로 인한 오류가 있다. 예컨대 "woman"의 올바른 복수형은 "women"인데, 불규칙 복수형에 익숙하지 않은 타국인은 "woman"의 복수형을 "womans"로 잘못 발화할 수 있다. 따라서 상기 발음모델 데이터베이스(105)는 "women"의 변이 발음으로 "womans"에 대응하는 발음을 포함한다. 다른 예로, "mouse"의 올바른 복수형은 "mice"인데, 타국인은 "mouse"의 복수형을 "mouses"로 잘못 발화할 수 있다. 따라서 상기 발음모델 데이터베이스(105)는 "mice"의 변이 발음으로 "mouses"에 대응하는 발음을 포함한다. An example of multiple errors is an error due to the irregular plural form of English. For example, the correct plural form of "woman" is "women", and a foreigner who is not familiar with irregular plural forms can misrepresent the plural form of "woman" as "womans". Therefore, the
시제 오류의 예로, 영어의 불규칙 시제변화로 인한 오류가 있다. 예컨대 "forbid"의 올바른 과거형은 "forbade"인데, 불규칙 시제변화에 익숙하지 않은 타국인은 "forbid"의 과거형을 "forbided"로 잘못 발화할 수 있다. 따라서 상기 발음모델 데이터베이스(105)는 "forbade"의 변이 발음으로 "forbided"에 대응하는 발음을 포함한다. 다른 예로, "hold"의 올바른 과거형은 "held"인데, 타국인은 "hold"의 과거형을 "holded"로 잘못 발화할 수 있다. 따라서 상기 발음모델 데이터베이스(105)는 "held"의 변이 발음으로 "holded"에 대응하는 발음을 포함한다. An example of a tense error is an error caused by a change in English irregular tense. For example, the correct past of "forbid" is "forbade", and foreigners who are not familiar with the irregular tense changes can mislabel the forbidden past forbidden. Therefore, the
도 2는 본 발명의 일 실시예에 의한 타국인 발화 음성을 위한 발음 모델을 생성하는 방법을 나타낸다.FIG. 2 shows a method of generating a pronunciation model for a foreign speech voice according to an embodiment of the present invention.
210단계에서, 타국인이 범할 수 있는 문법 오류에 의한 변이 발음들을 생성한다. 이러한 변이 발음들의 생성은, 음성학 등의 지식을 이용하거나, 타국인의 음성인식 대상 언어의 사용 데이터를 통계적으로 분석하여 얻어진 타국인의 문법 오류 규칙을 이용할 수 있다. 예컨대 210단계에서는, 위와 같이 "women"의 변이 발음으로 "womans"에 대응하는 발음을 생성하고, "mice"의 변이 발음으로 "mouses"에 대응하는 발음을 생성하고, "forbade"의 변이 발음으로 "forbided"에 대응하는 발음을 생성하고, "held"의 변이 발음으로 "holded"에 대응하는 발음을 생성한다. In
220단계에서, 원어민의 발음을 기반으로 구축된 원어민 발음 모델에 상기 210단계에서 생성된 변이 발음들을 추가함으로써, 타국인 발화 음성을 위한 발음 모델이 생성된다. In
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.The above-described embodiments of the present invention can be embodied in a general-purpose digital computer that can be embodied as a program that can be executed by a computer and operates the program using a computer-readable recording medium. The computer-readable recording medium includes a storage medium such as a magnetic storage medium (e.g., ROM, floppy disk, hard disk, etc.), optical reading medium (e.g., CD ROM,
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described with reference to the preferred embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.
Claims (1)
입력된 음성에서 인식에 유용한 정보를 추출하여 특징벡터로 변환하는 특징추출부;
소정의 음향모델을 저장하는 음향모델 데이터베이스;
소정의 언어모델을 저장하는 언어모델 데이터베이스;
원어민의 발음모델에 타국인이 범할 수 있는 문법오류에 의해 발생하는 변이 발음이 더욱 포함된 발음모델을 저장하는 발음모델 데이터베이스;
상기 특징벡터를 토대로 상기 음향모델 데이터베이스, 상기 발음모델 데이터베이스, 및 상기 언어모델 데이터베이스를 이용하여 가장 확률이 높은 단어열을 찾는 탐색부; 및
상기 탐색부의 출력을 이용하여 상기 입력된 음성의 인식 결과를 제공하는 인식결과 출력부를 포함하는 것을 특징으로 하는 음성 인식 장치.
In the speech recognition apparatus,
A feature extraction unit for extracting information useful for recognition from the input speech and converting the extracted information into a feature vector;
An acoustic model database for storing a predetermined acoustic model;
A language model database for storing a predetermined language model;
A pronunciation model database for storing a pronunciation model further including a variation sound generated by a grammatical error that can be committed by a foreign person in a pronunciation model of a native speaker;
A search unit for finding a word sequence having the highest probability using the acoustic model database, the pronunciation model database, and the language model database based on the feature vector; And
And a recognition result output unit for providing the recognition result of the input voice using the output of the search unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130055449A KR101729972B1 (en) | 2013-05-16 | 2013-05-16 | Speech recognition apparatus for utterance speech of foreigners |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130055449A KR101729972B1 (en) | 2013-05-16 | 2013-05-16 | Speech recognition apparatus for utterance speech of foreigners |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140135358A true KR20140135358A (en) | 2014-11-26 |
KR101729972B1 KR101729972B1 (en) | 2017-04-25 |
Family
ID=52456133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130055449A KR101729972B1 (en) | 2013-05-16 | 2013-05-16 | Speech recognition apparatus for utterance speech of foreigners |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101729972B1 (en) |
-
2013
- 2013-05-16 KR KR1020130055449A patent/KR101729972B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR101729972B1 (en) | 2017-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Schuster et al. | Japanese and korean voice search | |
Karpov et al. | Large vocabulary Russian speech recognition using syntactico-statistical language modeling | |
JP4791984B2 (en) | Apparatus, method and program for processing input voice | |
KR102375115B1 (en) | Phoneme-Based Contextualization for Cross-Language Speech Recognition in End-to-End Models | |
Tachbelie et al. | Using different acoustic, lexical and language modeling units for ASR of an under-resourced language–Amharic | |
JP5932869B2 (en) | N-gram language model unsupervised learning method, learning apparatus, and learning program | |
Datta et al. | Language-agnostic multilingual modeling | |
TW201517018A (en) | Speech recognition method and electronic apparatus using the method | |
CN105210147B (en) | Method, apparatus and computer-readable recording medium for improving at least one semantic unit set | |
JP5524138B2 (en) | Synonym dictionary generating apparatus, method and program thereof | |
Menacer et al. | An enhanced automatic speech recognition system for Arabic | |
Hu et al. | Phoneme-based contextualization for cross-lingual speech recognition in end-to-end models | |
KR102580904B1 (en) | Method for translating speech signal and electronic device thereof | |
KR20130126570A (en) | Apparatus for discriminative training acoustic model considering error of phonemes in keyword and computer recordable medium storing the method thereof | |
Lamel et al. | Automatic speech-to-text transcription in Arabic | |
Pellegrini et al. | Automatic word decompounding for asr in a morphologically rich language: Application to amharic | |
Vancha et al. | Word-level speech dataset creation for sourashtra and recognition system using kaldi | |
KR101333194B1 (en) | Apparatus and method for generating multiple pronunciation dictionary based on statistics | |
Mabokela et al. | An integrated language identification for code-switched speech using decoded-phonemes and support vector machine | |
KR102299269B1 (en) | Method and apparatus for building voice database by aligning voice and script | |
Tarján et al. | A bilingual study on the prediction of morph-based improvement. | |
JP6879521B1 (en) | Multilingual Speech Recognition and Themes-Significance Analysis Methods and Devices | |
KR101729972B1 (en) | Speech recognition apparatus for utterance speech of foreigners | |
Johnson et al. | Leveraging multiple sources in automatic African American English dialect detection for adults and children | |
KR20110119478A (en) | Apparatus for speech recognition and method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |