KR101711941B1 - 음성인식 시스템에서 유사도를 기반으로 한 비인식 대상 단어 생성 방법 - Google Patents

음성인식 시스템에서 유사도를 기반으로 한 비인식 대상 단어 생성 방법 Download PDF

Info

Publication number
KR101711941B1
KR101711941B1 KR1020120146925A KR20120146925A KR101711941B1 KR 101711941 B1 KR101711941 B1 KR 101711941B1 KR 1020120146925 A KR1020120146925 A KR 1020120146925A KR 20120146925 A KR20120146925 A KR 20120146925A KR 101711941 B1 KR101711941 B1 KR 101711941B1
Authority
KR
South Korea
Prior art keywords
target word
recognition target
word
similarity
unrecognized
Prior art date
Application number
KR1020120146925A
Other languages
English (en)
Other versions
KR20140077788A (ko
Inventor
강점자
오유리
박기영
이윤근
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120146925A priority Critical patent/KR101711941B1/ko
Publication of KR20140077788A publication Critical patent/KR20140077788A/ko
Application granted granted Critical
Publication of KR101711941B1 publication Critical patent/KR101711941B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Machine Translation (AREA)
  • Character Discrimination (AREA)

Abstract

음성인식 시스템에서 유사도 기반 비인식 대상 단어(OOV: Out-of-Vocabulary) 생성 방법에 관한 것이다. 이러한 본 발명의 비인식 대상 단어 생성 방법은 음성 평가 데이터가 준비되면, 단어별 음소열을 갖는 인식 대상 단어 사전을 생성하는 단계; 음성 평가 데이터에서 비인식 대상 단어를 선정한 후, 비인식 대상 단어와 인식 대상 단어 사전에 저장된 적어도 하나의 인식 대상 단어의 음소열을 비교하여 유사도를 계산하는 단계; 적어도 하나의 인식 대상 단어 중 유사도가 제 1 범위에 포함되는 인식 대상 단어를 제 1 그룹으로 구분하여 비인식 대상 단어 사전에 추가하고 문법을 수정하는 단계; 및 적어도 하나의 인식 대상 단어 중 유사도가 제 2 범위에 포함되는 인식 대상 단어를 제 2 그룹으로 구분하여 비인식 대상 단어 사전에 추가하는 단계를 포함하는 것을 특징으로 한다.

Description

음성인식 시스템에서 유사도를 기반으로 한 비인식 대상 단어 생성 방법{ METHOD FOR GENERATING OUT-OF-VOCABULARY BASED ON SIMILARITY IN SPEECH RECOGNITION SYSTEM}
본 발명은 음성인식 시스템에서 비인식 대상 단어(OOV: Out-of-Vocabulary) 생성 방법에 관한 것이고, 보다 상세하게 음성인식 시스템에서 유사도를 기반으로 한 비인식 대상 단어의 자동 생성 방법에 관한 것이다.
일반적으로 음성인식시스템은 인식 대상 단어로 등록된 단어에 대해서 인식한다. 이에 따라 사용자는 발성하고자 하는 단어가 인식 대상 단어인지 모르는 상태에서 비인식 대상 단어에 속하는 음성을 발성하더라도 인식 대상 단어중 가장 유사한 패턴을 가지는 발화에 대해서 인식결과로 출력하게 된다. 이때 음성인식 결과에 대해서 비인식 대상 단어를 오인식하기 때문에 거절하여야 한다.
음성인식 응용에서 사용자가 발성 가능한 비인식 대상 단어를 설계하는 것은 매우 어렵다. 이로 인해 음성인식시스템의 인식율 평가를 위해 사용하는 평가 데이터중 일부는 인식 대상 단어 평가용, 다른 일부는 비인식 대상 단어 평가용으로 구분한다. 이중 비인식 대상 단어로 구분된 것은 문법(grammar)과 사전에서 제외하여 비인식 대상 단어로 설계하고 평가한다. 이와 같은 경우, 평가 데이터 셋이 충분하지 않을 수 있다. 또 다른 설계 방법으로는 비인식 대상 단어를 설계한 후, 음성 데이터를 수집하기도 하는데 이런 경우, 음성 데이터 수집을 위해 별도의 비용이 소요된다.
본 발명은 비인식 대상 단어의 평가를 위해 별도의 음성 데이터를 수집하지 않고, 비인식 대상 단어를 자동 생성하여 평가하는 방법을 제공하는데 그 목적이 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 비인식 대상 단어 생성 방법은 음성 평가 데이터가 준비되면, 단어별 음소열을 갖는 인식 대상 단어 사전을 생성하는 단계; 음성 평가 데이터에서 비인식 대상 단어를 선정한 후, 비인식 대상 단어와 인식 대상 단어 사전에 저장된 적어도 하나의 인식 대상 단어의 음소열을 비교하여 유사도를 계산하는 단계; 적어도 하나의 인식 대상 단어 중 유사도가 제 1 범위에 포함되는 인식 대상 단어를 제 1 그룹으로 구분하여 비인식 대상 단어 사전에 추가하고 문법을 수정하는 단계; 및 적어도 하나의 인식 대상 단어 중 유사도가 제 2 범위에 포함되는 인식 대상 단어를 제 2 그룹으로 구분하여 비인식 대상 단어 사전에 추가하는 단계를 포함하는 것을 특징으로 한다.
이 때, 상기 유사도를 계산하는 단계는 상기 인식 대상 단어가 갖는 음소들 중 상기 비인식 대상 단어가 갖는 음소와 동일한 음소의 갯수를, 상기 인식 대상 단어가 갖는 음소들의 개수로 나누어 상기 유사도를 계산할 수 있다.
상기 비인식 대상 단어 생성 방법은 상기 제 1 그룹과 상기 제 2 그룹이 추가된 상기 비인식 대상 단어 사전 및 상기 문법을 입력으로 디코딩을 수행한 결과에 기반하여 발화 검증을 수행하고, 상기 발화 검증의 결과를 이용하여 상기 비인식 대상 단어를 평가하는 단계를 더 포함할 수 있다.
이 때, 상기 제 1 범위는 상기 제 2 범위보다 상기 유사도가 높을 수도 있다.
이 때, 상기 비인식 대상 단어 생성 방법은 상기 제 1 범위 및 상기 제 2 범위를 결정하는 기준이 달라질 수 있다.
또한, 본 발명의 일실시예에 따른 비인식 대상 단어 생성 장치는 음성 평가 데이터에 포함된 비인식 대상 단어들 중 하나의 비인식 대상 단어를 선정하는 단어 선정부; 상기 비인식 대상 단어와 단어별 음소열을 포함하는 인식 대상 단어 사전에 저장된 적어도 하나의 인식 대상 단어의 음소열을 비교하고, 비교 결과에 기반하여 유사도를 계산하는 유사도 계산부; 및 상기 유사도가 제 1 범위에 포함되는 경우, 상기 비인식 대상 단어를 비인식 대상 단어 사전에 추가하고, 문법을 수정하는 비인식 단어 설정부를 포함한다.
이 때, 상기 비인식 단어 설정부는 상기 유사도가 제 2 범위에 포함되는 경우, 상기 비인식 대상 단어를 비인식 대상 단어 사전에 추가만할 수 있다.
이 때, 상기 유사도 계산부는 상기 인식 대상 단어가 갖는 음소들 중 상기 비인식 대상 단어가 갖는 음소들의 개수를 상기 인식 대상 단어가 갖는 음소들의 개수로 나누어 상기 유사도를 계산할 수 있다.
이 때, 상기 비인식 단어 생성 장치는 상기 비인식 대상 단어 사전 및 상기 문법을 입력으로 디코딩을 수행한 결과에 기반하여 발화 검증을 수행하고, 상기 발화 검증의 결과를 이용하여 상기 비인식 대상 단어를 평가하는 평가부를 더 포함할 수 있다.
이 때, 상기 비인식 단어 설정부는 상기 제 1 범위가 상기 제 2 범위보다 상기 유사도가 더 높을 수 있다.
본 발명의 비인식 대상 단어 생성 방법에 따르면, 비인식 대상 단어 사전과 문법을 생성함으로써 동일한 평가 데이터를 인식 대상 데이터와 비인식 대상 데이터 평가에 사용할 수 있다. 따라서, 비인식 대상 단어를 평가하기 위해 별도의 음성 데이터 수집 비용을 초래하지 않을 수 있는 효과가 있다. 또한, 사용자 요구에 맞도록 비인식 대상 단어를 자동 생성할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 비인식 대상 단어 생성 방법의 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 도 1을 참조로 본 발명의 일 실시예에 따른 비인식 대상 단어 생성 방법에 대하여 설명하도록 한다.
먼저, 음성 평가 데이터 정답파일이 준비되면, 단어별 음소열을 갖는 인식 대상 단어 사전을 생성하는 단계(S110)가 수행된다.
인식 대상 단어 사전이 준비되면 평가 데이터 정답 파일에서 비인식 대상 단어를 선정한다. 그 후, 선정된 단어와 인식 대상 단어 사전에서 단어의 음소열들을 서로 비교하면서 음소열의 유사도를 계산하는 단계(S120)가 수행된다.
인식 대상 단어 사전에서 유사도가 높은 단어와 이 단어의 음소열을 선택하여 비인식 대상 단어 사전에 추가하고 문법을 수정하는 단계(S130)가 수행된다. 즉, S120 단계에서 유사도 계산 결과, 유사도가 제 1 범위에 포함되는 인식 대상 단어를 제 1 그룹으로 구분하여 비인식 대상 단어에 추가한다. 여기서, 제 1 범위는 유사도가 높은 인식 대상 단어를 구분하기 위한 범위이다. 예를 들어, 제 1 범위는 유사도가 70 초과 및 100 미만인 값일 수 있다. 따라서, 제 1 범위는 상황에 따라 가변적으로 설정될 수 있다는 것이 이해되어야 한다.
예를 들어 비인식 대상 단어를 "가솔린"으로 선택하면 인식 대상 사전에서 가솔린의 음소열 (가솔린 g a s o xl r i xn)과 다른 단어의 음소열의 유사도를 비교한다. 이러한 비교 결과 유사도가 높은 단어의 음소열(가속할 g a s o xg h a xl)을 찾아, 새로운 비인식 대상 단어 평가를 위한 비인식 대상 단어 사전에 추가한다. 이 경우 전체 8개 음소 중 4개의 음소가 서로 같음을 알 수 있다. 이 경우 유사도가 50이 된다. 이와 같이 서로 같은 음소의 수를 전체 음소의 수로 나누어 유사도를 계산한다.
또한, 유사도가 높지 않은 인식 대상 단어를 제 2 그룹으로 구분하여 자동으로 생성하는 단계(S140)가 수행된다. 여기서, 제 2 범위는 유사도가 낮은 인식 대상 단어를 구분하기 위한 범위이다. 따라서, 제 2 범위는 상황에 따라 가변적으로 설정될 수 있다는 것이 이해되어야 한다. 예를 들어, 제 2 범위는 유사도가 0을 초과하고 30 미만인 값이 포함될 수 있다. S140 단계에서 생성된 제 2 그룹의 인식 대상 단어는 비인식 대상 단어 사전에 추가된다.
자동 생성된 비인식 대상 단어를 평가하기 위하여 새로운 비인식 단어 사전과 문법을 인식시스템에 적용한다. 이와 같이 비인식 대상 단어를 평가하기 위하여 음성 데이터와, 비인식 대상 단어 사전과 문법을 입력으로 하여 디코딩하는 단계(S150)가 수행된다.
그 후, 디코딩 결과에 대해 수락 또는 거절을 결정하는 발화검증을 수행하는 단계(160)가 수행된다. 이 경우, 평가 데이터가 비인식 대상 데이터 평가 셋으로 동작하고, 새로 정의한 비인식 대상 단어 사전과 문법은 인식 대상 단어의 사전과 문법으로 동작한다.
S160 단계 이후, 디코딩 결과에 대해 다양한 신뢰도 척도를 사용하여 판단하는 단계(S170)가 수행된다. S170 단계를 통해 비인식 대상 단어를 수락할지 또는 거절할지의 여부를 판단하여, 비인식 대상 단어를 쉽게 평가할 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. 음성 평가 데이터가 준비되면, 단어별 음소열을 갖는 인식 대상 단어 사전을 생성하는 단계;
    상기 음성 평가 데이터에서 비인식 대상 단어를 선정한 후, 상기 비인식 대상 단어와 상기 인식 대상 단어 사전에 저장된 적어도 하나의 인식 대상 단어의 음소열을 비교하여 유사도를 계산하는 단계;
    상기 적어도 하나의 인식 대상 단어 중 유사도가 제 1 범위에 포함되는 인식 대상 단어를 제 1 그룹으로 구분하여 비인식 대상 단어 사전에 추가하고 문법을 수정하는 단계; 및
    상기 적어도 하나의 인식 대상 단어 중 유사도가 제 2 범위에 포함되는 인식 대상 단어를 제 2 그룹으로 구분하여 비인식 대상 단어 사전에 추가하는 단계; 및
    상기 제 1 그룹과 상기 제 2 그룹이 추가된 상기 비인식 대상 단어 사전 및 상기 문법을 입력으로 디코딩을 수행한 결과에 기반하여 발화 검증을 수행하고, 상기 발화 검증의 결과를 이용하여 상기 비인식 대상 단어를 생성 및 평가하는 단계
    를 포함하는 것을 특징으로 하는 비인식 대상 단어 생성 방법.
  2. 청구항 1에 있어서,
    상기 유사도를 계산하는 단계는
    상기 인식 대상 단어가 갖는 음소들 중 상기 비인식 대상 단어가 갖는 음소와 동일한 음소의 갯수를, 상기 인식 대상 단어가 갖는 음소들의 개수로 나누어 상기 유사도를 계산하는 것을 특징으로 하는 비인식 대상 단어 생성 방법.
  3. 삭제
  4. 청구항 1에 있어서,
    상기 제 1 범위는 상기 제 2 범위보다 상기 유사도가 높은 것임을 특징으로 하는 비인식 대상 단어 생성 방법.
  5. 청구항 4에 있어서,
    상기 비인식 대상 단어 생성 방법은
    상기 제 1 범위 및 상기 제 2 범위를 결정하는 기준이 달라지는 것을 특징으로 하는 비인식 대상 단어 생성 방법.
  6. 음성 평가 데이터에 포함된 비인식 대상 단어들 중 하나의 비인식 대상 단어를 선정하는 단어 선정부;
    상기 비인식 대상 단어와 단어별 음소열을 포함하는 인식 대상 단어 사전에 저장된 적어도 하나의 인식 대상 단어의 음소열을 비교하고, 비교 결과에 기반하여 유사도를 계산하는 유사도 계산부;
    상기 유사도가 제 1 범위에 포함되는 경우, 상기 비인식 대상 단어를 비인식 대상 단어 사전에 추가하고, 문법을 수정하는 비인식 단어 설정부; 및
    상기 비인식 대상 단어 사전 및 상기 문법을 입력으로 디코딩을 수행한 결과에 기반하여 발화 검증을 수행하고, 상기 발화 검증의 결과를 이용하여 상기 비인식 대상 단어를 생성 및 평가하는 평가부;
    를 포함하는 것을 특징으로 하는 비인식 대상 단어 생성 장치.
  7. 청구항 6에 있어서,
    상기 비인식 단어 설정부는
    상기 유사도가 제 2 범위에 포함되는 경우, 상기 비인식 대상 단어를 비인식 대상 단어 사전에 추가만 하는 것을 특징으로 하는 비인식 대상 단어 생성 장치.
  8. 청구항 7에 있어서,
    상기 유사도 계산부는
    상기 인식 대상 단어가 갖는 음소들 중 상기 비인식 대상 단어가 갖는 음소들의 개수를 상기 인식 대상 단어가 갖는 음소들의 개수로 나누어 상기 유사도를 계산하는 것을 특징으로 하는 비인식 대상 단어 생성 장치.
  9. 삭제
  10. 청구항 8에 있어서,
    상기 비인식 단어 설정부는
    상기 제 1 범위는 상기 제 2 범위보다 상기 유사도가 더 높은 것을 특징으로 하는 비인식 대상 단어 생성 장치.
KR1020120146925A 2012-12-14 2012-12-14 음성인식 시스템에서 유사도를 기반으로 한 비인식 대상 단어 생성 방법 KR101711941B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120146925A KR101711941B1 (ko) 2012-12-14 2012-12-14 음성인식 시스템에서 유사도를 기반으로 한 비인식 대상 단어 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120146925A KR101711941B1 (ko) 2012-12-14 2012-12-14 음성인식 시스템에서 유사도를 기반으로 한 비인식 대상 단어 생성 방법

Publications (2)

Publication Number Publication Date
KR20140077788A KR20140077788A (ko) 2014-06-24
KR101711941B1 true KR101711941B1 (ko) 2017-03-03

Family

ID=51129637

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120146925A KR101711941B1 (ko) 2012-12-14 2012-12-14 음성인식 시스템에서 유사도를 기반으로 한 비인식 대상 단어 생성 방법

Country Status (1)

Country Link
KR (1) KR101711941B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102413693B1 (ko) 2015-07-23 2022-06-27 삼성전자주식회사 음성 인식 장치 및 방법, 그를 위한 모델 생성 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3476008B2 (ja) * 1999-09-10 2003-12-10 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声情報の登録方法、認識文字列の特定方法、音声認識装置、音声情報の登録のためのソフトウエア・プロダクトを格納した記憶媒体、及び認識文字列の特定のためのソフトウエア・プロダクトを格納した記憶媒体
WO2008029881A1 (fr) * 2006-09-07 2008-03-13 Nec Corporation Système de traitement du langage naturel et système d'enregistrement de dictionnaire
JP4987530B2 (ja) * 2007-03-27 2012-07-25 三菱電機株式会社 音声認識辞書作成装置および音声認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3476008B2 (ja) * 1999-09-10 2003-12-10 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声情報の登録方法、認識文字列の特定方法、音声認識装置、音声情報の登録のためのソフトウエア・プロダクトを格納した記憶媒体、及び認識文字列の特定のためのソフトウエア・プロダクトを格納した記憶媒体
WO2008029881A1 (fr) * 2006-09-07 2008-03-13 Nec Corporation Système de traitement du langage naturel et système d'enregistrement de dictionnaire
JP4987530B2 (ja) * 2007-03-27 2012-07-25 三菱電機株式会社 音声認識辞書作成装置および音声認識装置

Also Published As

Publication number Publication date
KR20140077788A (ko) 2014-06-24

Similar Documents

Publication Publication Date Title
CN111243602B (zh) 基于性别、国籍和情感信息的声纹识别方法
Shum et al. On the use of spectral and iterative methods for speaker diarization
EP1989701B1 (en) Speaker authentication
JP6464650B2 (ja) 音声処理装置、音声処理方法、およびプログラム
WO2017162053A1 (zh) 一种身份认证的方法和装置
US9595260B2 (en) Modeling device and method for speaker recognition, and speaker recognition system
US10140976B2 (en) Discriminative training of automatic speech recognition models with natural language processing dictionary for spoken language processing
CN104903954A (zh) 使用基于人工神经网络的亚语音单位区分的说话人验证及识别
JP6170172B2 (ja) 符号化モード決定方法及び該装置、オーディオ符号化方法及び該装置、並びにオーディオ復号化方法及び該装置
KR100770895B1 (ko) 음성 신호 분리 시스템 및 그 방법
WO2012001458A1 (en) Voice-tag method and apparatus based on confidence score
CN105913849A (zh) 一种基于事件检测的说话人分割方法
Ghaemmaghami et al. Speaker attribution of multiple telephone conversations using a complete-linkage clustering approach
US20160365090A1 (en) System and method for automatic language model generation
Van Dalen et al. Improving multiple-crowd-sourced transcriptions using a speech recogniser
US7680657B2 (en) Auto segmentation based partitioning and clustering approach to robust endpointing
Bonastre et al. Speaker Modeling Using Local Binary Decisions.
JP5975938B2 (ja) 音声認識装置、音声認識方法及びプログラム
Ghaemmaghami et al. Speaker attribution of australian broadcast news data
KR101711941B1 (ko) 음성인식 시스템에서 유사도를 기반으로 한 비인식 대상 단어 생성 방법
Yoon et al. Predicting word accuracy for the automatic speech recognition of non-native speech.
KR101095865B1 (ko) 발화 검증 장치 및 그 방법
WO2012150658A1 (ja) 音声認識装置および音声認識方法
Chen et al. System and keyword dependent fusion for spoken term detection
Varona et al. On the use of lattices of time-synchronous cross-decoder phone co-occurrences in a SVM-phonotactic language recognition system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 4