KR100748720B1 - 다중 계층 중심 어휘 목록에 기초하여 대규모 단어 음성인식 방법 및 그 장치 - Google Patents

다중 계층 중심 어휘 목록에 기초하여 대규모 단어 음성인식 방법 및 그 장치 Download PDF

Info

Publication number
KR100748720B1
KR100748720B1 KR1020060012529A KR20060012529A KR100748720B1 KR 100748720 B1 KR100748720 B1 KR 100748720B1 KR 1020060012529 A KR1020060012529 A KR 1020060012529A KR 20060012529 A KR20060012529 A KR 20060012529A KR 100748720 B1 KR100748720 B1 KR 100748720B1
Authority
KR
South Korea
Prior art keywords
vocabulary
matching
node
symbol matching
central
Prior art date
Application number
KR1020060012529A
Other languages
English (en)
Inventor
김남훈
최인정
한익상
정상배
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060012529A priority Critical patent/KR100748720B1/ko
Priority to US11/510,654 priority patent/US7627474B2/en
Application granted granted Critical
Publication of KR100748720B1 publication Critical patent/KR100748720B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

본 발명은 대규모 어휘의 발음 사전을 각 노드에 중심 발음 사전이 선정된 트리 구조로 계층화하고 음소 디코더를 통해 얻어진 음소 열과의 심볼 매칭을 통해 후보 어휘를 선정한 후 최종 인식 결과를 탐색하는 음성 인식 방법 및 그 장치에 관한 것이다. 본 발명은 인식 대상 어휘들에 대해 중심 어휘 목록(Central lexicon)을 트리 구조로 계층화하는 단계와, 음소 인식 열과 상기 트리 구조로 계층화된 중심 어휘 목록의 발음 열 사이의 다중 경로 심볼 매칭(multi-pass symbol matching)을 수행하는 단계 및 상기 심볼 매칭에 의해 선정된 후보 어휘들에 대해 상세한 음향 모델을 사용하여 비터비 검색(Viterbi search) 과정을 통해 최종 음성 인식 결과를 선정하는 단계를 포함하는 것을 특징으로 하는 음성 인식 방법을 제공한다.
음성, 인식, 어휘 목록, 매칭

Description

다중 계층 중심 어휘 목록에 기초하여 대규모 단어 음성 인식 방법 및 그 장치{Large-Vocabulary Speech Recognition Method and Apparatus Based on Multi-Layer Central Lexicons}
도 1은 본 발명의 일실시예에 따른 음성 인식 장치의 구성을 나타내는 도면이다.
도 2는 본 발명에 따른 음성 인식 장치에 있어서, 계층화된 어휘 그룹 트리의 일례를 나타내는 도면이다.
도 3은 본 발명에 따른 음성 인식 장치에 있어서, 음소 혼동 매트릭스의 일례를 나타내는 도면이다.
도 4는 본 발명에 따른 음성 인식 장치에 있어서, 음소 디코딩부의 출력과 어휘 목록의 기준 패턴의 일례를 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 음성 인식 방법의 흐름을 나타내는 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 음성 인식 장치
110: 어휘 목록 분류부
120: 특징 추출부
130: 음소 디코딩부
140: 다중 경로 심볼 매칭부
150: 상세 매칭부
본 발명은 다중 계층 중심 어휘 목록에 기초하여 대규모 단어 음성을 인식하는 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 대규모 어휘의 발음 사전을 각 노드에 중심 발음 사전이 선정된 트리 구조로 계층화하고 음소 디코더를 통해 얻어진 음소 열과의 심볼 매칭을 통해 후보 어휘를 선정한 후 최종 인식 결과를 탐색하는 음성 인식 방법 및 그 장치에 관한 것이다.
종래 음성 인식 방법의 일례로서 미국특허 US6,178,401호(Method for reducing search complexity in a speech recognition system)는 검색 망(search network)의 각 노드를 가상 싱글 상태(virtual single-state) 모델로 가정하고, 그 모델의 확률 값은 원래 음향 모델의 M개 상태에서 가장 높은 확률 값으로 사용하고, 간소화한 모델(simplified model)로 N개의 후보를 검색하고, 상세 매치 단계를 통해 최종 인식 결과를 찾는 다중 경로 디코딩 방식이다. 하지만, 종래 음성 인식 방법의 일례는 검색 망의 사이즈가 감소되지 않기 때문에 어휘 수의 증가에 비례하여 메모리 요구량이 증가하는 문제점이 있다.
종래 음성 인식 방법의 다른 일례로서, L.Fissore, "Very large vocabulary isolated utterance recognition: a comparison between and two pass strategies"(CSELT, Italy, ICASSP'98)은 6개의 대표 음소(phone)을 이용해 주어진 발성에 대해 세그멘트를 수행하여 음소 격자(phone lattice)를 구성하고, 인식 대상 어휘 역시 6개의 대표 음소로 모델링하고, 상기 두 대표 음소 정보를 이용하여 최적으로 매칭되는 N개의 어휘를 1경로(pass)의 후보로 선정한다. 하지만, 종래 음성 인식 방법의 다른 일례는 Coarse 모델 사용으로 인해 첫 번째 경로(first-pass)에서 후보의 정확성 문제가 발생할 가능성이 있으며, 어휘 수가 늘어날수록 상세 매치 단계에서 고려해야 하는 후보 수가 증가되는 문제점이 있다.
종래 트리 구조의 어휘 군집화를 이용한 다단계 음성 인식 방법은 발음이 유사한 어휘들을 트리 구조로 그룹화하고, 각 그룹을 대표하는 가상의 어휘를 추정하며, 다단계에 걸친 음성 인식을 수행한다. 하지만, 종래 다단계 음성 인식 방법은 각 노드를 대표하는 어휘 목록의 표현이 복잡하고, 대표 어휘 목록의 매칭 스코어 계산에 필요한 계산량이 많은 문제점이 있다.
따라서, 리소스가 제한된 단말기에서 대규모 단어에 대한 어휘 인식을 원활하게 수행하는 방안이 절실하게 요청되어 오고 있다.
본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 리소스가 제한된 휴대 기기에서 대규모 어휘를 신속하게 인식할 수 있는 방법 및 그 장치를 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 음소 인식 결과와 트리 구조에서의 중심 어휘 목록과 의 심볼 매칭 단계를 통해 입력 발성과 유사한 영역의 어휘들에 대해서만 상세 매칭을 수행하는 음성 인식 방법 및 그 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 메모리 측면에서 우수한 트리 구조의 어휘를 군집화하는 음성 인식 방법 및 그 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 같은 그룹에 속하는 어휘 세트에서 중심점에 해당하는 어휘 목록을 대표 어휘 목록 모델로 결정하여 간단한 형태의 대표 어휘 목록 모델을 사용하는 음성 인식 방법 및 그 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 종래 프레임 대 프레임 매칭(frame-by-frame matching) 방식에서 중심 어휘 목록 모델을 사용할 경우 미스매치의 위험성이 증가하여 탐색 과정에서 정답 어휘가 인식 후부에서 배재될 가능성이 높아지는 문제점을 해결하기 위해 음소 레벨에서 매칭을 수행하므로 그러한 가능성을 낮출 수 있는 음성 인식 방법 및 그 장치를 제공하는 것이다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명은 인식 대상 어휘들에 대해 중심 어휘 목록(Central lexicon)을 트리 구조로 계층화하는 단계와, 음소 인식 열과 상기 트리 구조로 계층화된 중심 어휘 목록의 발음 열 사이의 다중 경로 심볼 매칭(multi-pass symbol matching)을 수행하는 단계 및 상기 심볼 매칭에 의해 선정된 후보 어휘들에 대해 상세한 음향 모델을 사용하여 비터비 검색(Viterbi search) 과정을 통해 최종 음성 인식 결과를 선정하는 단계를 포함하는 것을 특징으로 하는 음성 인식 방법을 제공한다.
본 발명의 일측에 따르는 음성 인식 장치는, 음소 인식 열과 트리 구조로 계층화된 중심 어휘 목록(Central lexicon)의 발음 열 사이의 다중 경로 심볼 매칭(multi-pass symbol matching)을 수행하는 다중 경로 심볼 매칭부 및 상기 다중 경로 심볼 매칭에 의해 선정된 후보 어휘 세트들에 대한 상세 음향 모델을 사용하여 음성 인식 결과를 선정하기 위한 상세 매칭을 수행하는 상세 매칭부를 포함한다.
이하에서는 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 음성 인식 방법 및 그 장치를 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 음성 인식 장치의 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 음성 인식 장치(100)는 어휘 목록 분류부(110), 특징 추출부(120), 음소 디코딩부(130), 다중 경로 심볼 매칭부(140) 및 상세 매칭부(150)를 포함한다.
어휘 목록 분류부(110)는 인식 대상 어휘들에 대한 모든 어휘 목록(lexicon)을 트리(tree) 구조화하여 분류한다. 즉, 어휘 목록 분류부(110)는 대규모 어휘의 발음 사전을 소정의 학습 과정을 통해 각 노드에 중심 발음 사전이 설정된 트리 구조로 계층화한다.
어휘 목록 분류부(110)는 상기 트리 구조를 하향식(top-down) 또는 상향식(bottom-up) 방식으로 결정할 수 있다. 상기 트리 구조는 이진 트리(binary tree)가 아닐 수 있으며, 상기 트리의 각 계층(layer)마다 클러스터링(clustering)에 사용되는 기준 임계 값(threshold)에 따라 적정한 노드(decent node) 수가 다르게 결 정될 수 있다. 상기 트리 구조의 상위 계층에서는 더 큰 거리 임계 값(distance threshold)이 적용되며, 상기 트리 구조의 하위 계층에서는 더 낮은 거리 임계 값이 적용될 수 있다.
즉, 어휘 목록 분류부(110)는 상기 트리 구조의 상위 계층에 대한 임계 값을 예를 들어 '50'으로 적용한 경우, 상기 트리 구조의 하위 계층에 대한 임계 값을 '40'으로 적용할 수 있다.
어휘 목록 분류부(110)는 어휘 목록 클러스터링 방법으로 MKM(Modified K-Means) 클러스터링 방법을 이용할 수 있다. 상기 어휘 목록 사이의 거리는 하기 수학식 1과 같이 정의된다.
D(Li,Lj) = -{logPr(Li|Lj) + logPr(Lj|Li)}
여기서, Pr(Li|Lj)는 어휘 목록(Lj)에 해당되는 기준 심볼 시퀀스(reference symbol sequence)가 주어질 때 어휘 목록(Li)에 해당되는 인식 심볼 시퀀스(recognition symbol sequence)와 매칭될 확률 값이다. Pr(Li|Lj)는 Pr(Lj|Li)와 동일하지 않는다. 그리고, Pr(Li|Lj)는 도 3에 도시된 것과 같은 음소 혼동 매트릭스(phone confusion matrix)를 이용하여 동적 프로그래밍(Dynamic Programming) 매칭(matching)을 통해 매칭 스코어(matching score)를 구할 수 있다.
중심 어휘 목록(CLex(l,n))은 하기 수학식 2와 같이 정의된다.
Figure 112006009604526-pat00001
여기서, Ng(l,n)은 l번째 계층내의 n번째 노드의 이웃 어휘 목록이다.
도 2는 본 발명에 따른 음성 인식 장치에 있어서, 계층화된 어휘 그룹 트리의 일례를 나타내는 도면이다.
도 2를 참조하면, 상기 어휘 그룹 트리에서 임의의 노드는 상기 노드를 대표하는 중심 어휘 목록(central lexicon)이 할당되며, 각 종단 노드(terminal node)는 상기 노드에 할당된 중심 어휘 목록과 거리가 일정 수준 이하에 속하는 어휘 목록들이 이웃 어휘 목록(neighborhood lexicon)으로 정의된다. 여기서, CLex(i,j)는 i 번째 계층의 j번째 중심 어휘 목록을 나타낸다.
상기 각 노드에서의 중심 어휘 목록은 상기 노드에 속하는 모든 단어 어휘 목록(vocabulary lexicon)들 중에서 중심 위치에 속하는 어휘 목록으로 결정된다.
상기 이웃 어휘 목록은 상기 종단 노드에서 예를 들어, "우리은행, 국민은행, 신한은행, ..." 등과 같이 "은행"이라는 공통 어휘가 포함되어 있고, 상기 종단 노드에서 예를 들어, "단양농협, 서부농협, 기흥농협, ..." 등과 같이 "농협"이라는 공통 어휘가 포함될 수 있다.
한편, 어휘 목록 분류부(110)는 상기 각 종단 노드의 이웃 어휘 목록 세트(neighborhood lexicon set)에서 동일한 어휘가 중복되지 않도록 하기 위해 동일한 어휘에 대해 다른 이웃 어휘 목록 세트에 포함되는 것을 배제(disjoint)할 수도 있 으며, 동일한 어휘가 다른 이웃 어휘 목록 세트에 중복(overlap)되도록 설정할 수도 있다.
즉, 어휘 목록 분류부(110)는 예를 들어 제1 종단 노드의 이웃 어휘 목록 세트에 "우리 은행"이라는 어휘가 포함된 경우, 상기 제1 종단 노드의 이웃 어휘 목록 세트 이외의 다른 종단 모드의 이웃 어휘 목록 세트에 "우리 은행"이라는 어휘가 포함되는 것을 배제할 수도 있다.
또한, 어휘 목록 분류부(110)는 예를 들어 제1 종단 노드의 이웃 어휘 목록 세트에 "우리 은행"이라는 어휘가 포함된 경우, 상기 제1 종단 노드의 이웃 어휘 목록 세트 이외의 다른 종단 모드의 이웃 어휘 목록 세트에 "우리 은행"이라는 어휘가 포함되도록 하여 중복시킬 수도 있다.
이와 같이, 어휘 목록 분류부(110)는 상기 이웃 어휘 목록을 결정할 때 어휘가 중복되도록 할 경우에 상기 종단 노드의 중심 어휘 목록으로부터 거리가 미리 정해진 값 이하인 어휘 목록들을 이웃 어휘 목록으로 결정한다.
특징 추출부(120)는 음성 인식 장치(100)로 입력되는 음성 신호에 대한 배경 잡음을 억제하고, 상기 잡음 억제된 음성 신호로부터 사용자의 음성 구간만을 검출하고, 상기 검출된 음성 구간에서 음성 인식에 사용될 특징 벡터를 추출한다.
음소 디코딩부(130)는 상기 추출된 특징 벡터 열을 N개의 후보 음소 열로 변환한다. 또한, 음소 디코딩부(130)는 모노폰(monophone) 또는 트라이폰(Triphone) 음향 모델을 사용한다.
즉, 음소 디코딩부(130)는 상기 음소 음향 모델을 이용하는 경우, 음소 레벨 결합 법칙(phone-level grammar)을 적용하며, 상기 트라이폰 음향 모델을 이용하는 경우 문맥(context)간의 연결성을 적용한다.
다중 경로 심볼 매칭부(140)는 동적 프로그래밍 기법에 근거하여 최적 경로를 검색하고, 인식 디코딩부(130)에 의한 음소 인식 열과 어휘 목록 분류부(110)에 의해 상기 트리 구조로 계층화된 중심 어휘 목록의 발음 열 사이의 다중 경로 심볼 매칭(multi-pass symbol matching)을 수행한다. 상기 음소 인식 열과 상기 발음 열 사이의 매칭 스코어(matching score)는 음소 혼동 매트릭스의 확률 값을 사용하여 계산되며, 음소의 삽입과 삭제 확률도 고려될 수 있다.
즉, 다중 경로 심볼 매칭부(140)는 상기 음소 인식 열과 상기 트리 구조로 계층화된 중심 어휘 목록의 발음 열 사이의 음소 혼동 매트릭스의 확률 값을 사용하여 상기 매칭 스코어를 계산할 수 있다.
도 3은 본 발명에 따른 음성 인식 장치에 있어서, 음소 혼동 매트릭스의 일례를 나타내는 도면이다.
도 3을 참조하면, 상기 음소 혼동 매트릭스는 인식 심볼(recognition symbol) 및 기준 심볼(reference symbol)들 사이의 혼동(confusion) 정도를 확률 값으로 표현하며, 상기 인식 심볼에 대한 삽입(insertion) 확률 값과 상기 기준 심볼에 대한 삭제(deletion) 확률 값이 사용된다. 상기 음소 혼동 매트릭스의 값은 log P(a|b)로 표현된다.
인식 심볼 세트(recognition symbol set)는 음소 디코딩부(130)에서 사용되는 음소 세트(phone set)이고, 기준 심볼 세트(reference symbol set)는 어휘 목록 대표(Lexicon representation)에서 사용되는 음소 세트이다. 상기 인식 심볼 세트와 상기 기준 심볼 세트는 동일할 수도 있고 상이할 수도 있다.
도 4는 본 발명에 따른 음성 인식 장치에 있어서, 음소 디코딩부의 출력과 어휘 목록의 기준 패턴에 대한 일례를 나타내는 도면이다.
도 4를 참조하면, 가로축은 음소 디코딩부(130)의 출력으로서 인식 심볼 시퀀스(recognition symbol sequence)를 나타내고, 세로축은 어휘 목록의 기준 패턴(reference pattern)의 일례로서 "사랑해"를 나타낸다.
다중 경로 심볼 매칭부(140)는 어휘 후보들을 도 2에 도시된 것과 같은 트리 구조에서 하향(top-down) 방향으로 다단계 심볼 매칭을 진행하면서 각 계층마다 최고 매칭 스코어를 기록한 노드를 추적하며, 종단 노드에 도달할 때까지 상기 추적 과정을 반복한다.
즉, 다중 경로 심볼 매칭부(140)는 상기 종단 노드에 도달할 때까지 예를 들어, 인식된 N개의 후보 음소 열과 상기 트리 구조로 계층화된 발음 열에 대해 N번째 계층까지의 심볼 매칭을 수행할 수 있다.
또한, 다중 경로 심볼 매칭부(140)는 다중 경로 심볼 매칭(multi-pass symbol matching) 과정에서의 오류를 방지하기 위하여 각 계층마다 하나의 노드만 선정하지 않고, 복수 개의 후보 노드들을 선정하는 탐색을 진행한다. 상기 각 계층마다의 후보 노드 수는 미리 지정될 수 있으며, 가변적일 수도 있다.
다중 경로 심볼 매칭부(140)는 상기 후보 노드 수가 가변적인 경우, 상기 각 계층마다 후보 노드로 선정되기 위한 소정의 기준 값들을 미리 설정하고, 상기 매 칭 스코어가 상기 소정의 기준 값을 초과하는 노드들을 모두 후보 노드로 선정할 수 있다.
다중 경로 심볼 매칭부(140)는 예를 들어, 상기 트리 구조로 계층화된 제1 계층의 기준 값이 '50'인 경우, 상기 음소 인식 열과 상기 트리 구조로 계층화된 제1 계층 발음 열을 비교하여 상기 매칭 스코어가 상기 제1 계층의 기준 값인 '50'을 초과하는 노드들을 상기 후보 노드로 선정할 수 있다.
상세 매칭부(150)는 상기 다중 경로 심볼 매칭 과정에서 얻어진 후보 어휘 세트들에 대해 상세한 음향 모델을 사용하여 비터비 검색(Viterbi search) 과정을 통해 최종 인식 결과를 선정한다. 상기 트리 구조에서 각 종단 노드의 이웃 어휘 목록들은 탐색 속도를 위해 학습 과정을 통해 미리 검색 망(search network)으로 컴파일(compile)되며, 하드 디스크 드라이버(Hard Disk Driver) 등과 같은 저장 매체에 저장되어 있다.
즉, 상세 매칭부(150)는 상기 다중 경로 심볼 매칭 과정에서 검출된 예를 들어 K개의 후보 어휘 세트들에 대해서만 음소 문법(Phone grammar) 및 음향 모델(acoustic model)를 이용하여 상기 비터비 검색 과정을 통해 수행된 상세 매칭에 따른 최종 음성 인식 결과를 출력한다.
또한, 상세 매칭부(150)는 상기 각 종단 노드의 이웃 어휘 목록들의 사이즈가 비교적 작기 때문에 메모리 요구량이 적으므로 상기 후보 노드로 선정된 검색 망을 스위칭한 후 로딩하여 상세 매칭을 수행함으로써 최종 인식 결과를 선정할 수 있다.
이와 같이, 본 발명에 따른 음성 인식 장치는 음소 인식 열과 트리 구조에서의 중심 어휘 목록과의 심볼 매칭 단계를 통해 입력된 발성과 유사한 영역의 어휘들에 대해서만 상세 매칭을 수행함으로써 리소스가 제한되어 있더라도 원활한 음성 인식을 수행할 수 있다.
또한, 본 발명에 따른 음성 인식 장치는 중심 어휘 목록 모델을 사용할 경우 발생되는 미스 매치에 대한 위험성이 증가되는 종래 매칭 방식과 달리 음소 레벨에서 매칭을 수행함에 따라 탐색 과정의 미스 매치로 인해 중요한 어휘가 후보에서 제거되는 위험을 배제할 수 있는 이점이 있다.
도 5는 본 발명의 일실시예에 따른 음성 인식 방법의 흐름을 나타내는 도면이다.
도 5를 참조하면, 단계(510)에서 음성 인식 장치는 특징 추출부를 통해 입력된 음성 신호로부터 특징 벡터를 추출하고, 음소 디코더(phone decoder)를 통해 상기 추출된 특징 벡터 열로부터 N개의 음소 인식 열을 추출한다.
즉, 단계(510)에서 상기 음성 인식 장치는 상기 특징 추출부를 통해 입력된 신호에 대한 잡음을 제거하고, 상기 잡음이 제거된 신호에서 사용자의 음성 구간만을 검출하고, 상기 검출된 음성 신호에서 음성 인식에 사용될 특징 벡터를 추출하고, 상기 음소 디코더를 통해 상기 추출된 특징 벡터 열을 N개의 후보 음소 열로 변환할 수 있다.
또한, 단계(510)에서 상기 음성 인식 장치는 모노폰 또는 트라이폰 음향 모델이 사용되며, 상기 음소 음향 모델의 경우 음소 레벨 결합 법칙을 적용하고, 상 기 트라이폰 음향 모델인 경우 문맥간의 연결성을 적용할 수 있다.
단계(520)에서 상기 음성 인식 장치는 상기 추출된 음소 인식 열과 소정의 트리 구조로 계층화된 중심 어휘 목록의 발음 열 사이의 다단계 심볼 매칭인 다중 경로 심볼 매칭(multi-pass symbol matching)을 수행한다.
즉, 단계(520)에서 상기 음성 인식 장치는 상기 추출된 음소 인식 열이 예를 들어 N개인 경우, 상기 소정의 트리 구조로 계층화된 중심 어휘 목록의 발음 열 사이에서 N개의 다중 경로 심볼 매칭 동작을 수행한다.
여기서, 상기 트리 구조로 계층화된 중심 어휘 목록은 어휘 목록 분류기(Lexicon classifier)에 의해 학습 과정을 통해 사전에 분류될 수 있다. 즉, 상기 어휘 목록 분류기는 상기 인식 대상 어휘들에 대한 모든 어휘 목록들을 트리 구조화하고, 상기 트리 구조의 내부 노드에 상기 노드를 대표하는 중심 어휘 목록을 할당하고, 각 종단 노드에 상기 노드에 할당된 중심 어휘 목록과 거리가 소정의 기준 값 이하에 속하는 어휘 목록들을 이웃 어휘 목록으로 정의한다.
상기 트리 구조는 각 계층마다 클러스터링에 사용되는 기준 임계 값에 따라 적용되는 노드 수가 다르다. 즉, 상기 트리 구조는 상위 계층에서 상대적으로 더 큰 거리 임계 값이 적용되며, 상기 트리 구조의 하위 계층에서 상대적으로 더 낮은 임계 값이 적용되므로 상기 상위 계층일수록 노드 수가 적다.
상기 각 노드에서의 중심 어휘 목록은 상기 노드에 속하는 모든 단어 어휘 목록들 중에서 중심 위치에 속하는 어휘 목록으로 결정된다.
단계(520)에서 상기 음성 인식 장치는 도 3에 도시된 것과 같은 음소 혼동 매트릭스를 이용하여 두 어휘 목록 사이의 거리를 측정할 수 있는 수단을 통해 단어 어휘 목록들을 클러스터링할 수도 있다.
단계(520)에서 상기 음성 인식 장치는 상기 다중 경로 심볼 매칭 동작에 따라 상기 인식된 음소 열과 상기 중심 어휘 목록의 발음 열 사이의 유사도를 계산할 수 있다.
단계(520)에서 상기 음성 인식 장치는 상기 다중 경로 심볼 매칭 동작에 따라 상기 중심 어휘 목록을 선정하는 오류를 줄이기 위해 각 계층마다 하나의 노드만 선정하지 않고, 복수 개의 후보를 선정하는 탐색 과정을 진행한다.
단계(520)에서 상기 음성 인식 장치는 상기 복수 개의 후보를 선정하기 위해 하향(top-down) 방향으로 다중 경로 심볼 매칭을 진행하면서 각 계층마다 최고 매칭 스코어를 기록한 노드를 추적하며, 종단 노드에 도달할 때까지 상기 노드 추적 과정을 반복할 수 있다. 이때, 각 계층마다의 후보 노드 수는 미리 고정될 수도 있으며, 가변적일 수도 있다. 여기서, 상기 매칭 스코어는 도 3에 도시된 것과 같은 음소 혼동 매트릭스의 확률 값을 사용하여 계산된다.
즉, 단계(520)에서 상기 음성 인식 장치는 상기 각 계층마다의 후보 노드 수가 가변적인 경우, 상기 각 계층마다 후보 노드를 선정하기 위해 소정의 기준 값들이 미리 설정되며, 상기 매칭 스코어가 상기 소정의 기준 값을 초과하는 노드들을 모두 후보 노드로 고려할 수 있다.
단계(530)에서 상기 음성 인식 장치는 상기 다중 경로 심볼 매칭을 통해 선정된 후보 어휘들에 대해 상세한 음향 모델을 사용하여 비터비 검색(viterbi search) 과정을 통해 최종 인식 결과를 선정하기 위한 상세 매칭을 수행한다.
상기 트리 구조에서 각 종단 노드의 이웃 어휘 목록들은 탐색 속도를 위해 학습 과정에서 미리 검색 망(search network)로 컴파일(complie)되어 하드 디스크 드라이버 등과 같은 저장 매체에 저장된다.
즉, 단계(530)에서 상기 음성 인식 장치는 각 종단 노드의 이웃 어휘 목록들이 보통 수백 단어 수준으로 그 사이즈가 비교적 작기 때문에 적은 메모리 요구량으로도 상기 후보로 선정된 검색 망들을 스위칭한 후 로딩하여 상세 매칭을 수행할 수 있다.
이와 같이, 본 발명에 따른 음성 인식 방법은 대규모 어휘의 발음 사전을 각 노드에 중심 발음 사전이 선정된 트리 구조로 계층화하고, 음소 디코더를 통해 얻어진 음소 열과의 심볼 매칭을 통해 후보 어휘를 선정한 후 최종 인식 결과를 탐색함으로써 휴대 장치와 같이 리소스가 제한된 기기에서 1만 어휘 이상의 대규모 어휘를 종래 방식에 비해 적은 메모리 요구량으로 신속하고 정확하게 음성을 인식할 수 있다.
또한, 본 발명에 따른 음성 인식 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
본 발명에 따르면, 리소스가 제한된 휴대 기기에서 대규모 어휘를 신속하게 인식할 수 있는 방법 및 그 장치를 제공할 수 있다.
또한 본 발명에 따르면, 음소 인식 결과와 트리 구조에서의 중심 어휘 목록과의 심볼 매칭 단계를 통해 입력 발성과 유사한 영역의 어휘들에 대해서만 상세 매칭을 수행하는 음성 인식 방법 및 그 장치를 제공할 수 있다.
또한 본 발명에 따르면, 중심 어휘 목록 모델을 사용할 경우 발생되는 미스 매치에 대한 위험성이 증가되는 종래 매칭 방식과 달리 음소 레벨에서 매칭을 수행함에 따라 탐색 과정의 미스 매치로 인한 정답 어휘가 후보에서 제거되는 위험을 배제할 수 있는 이점이 있다.

Claims (15)

  1. 음성 인식 방법에 있어서,
    인식 대상 어휘들에 대해 중심 어휘 목록(Central lexicon)을 트리 구조로 계층화하는 단계;
    음소 인식 열과 상기 트리 구조로 계층화된 중심 어휘 목록의 발음 열 사이의 다중 경로 심볼 매칭(multi-pass symbol matching)을 수행하는 단계; 및
    상기 심볼 매칭에 의해 선정된 후보 어휘들에 대해 상세한 음향 모델을 사용하여 비터비 검색(Viterbi search) 과정을 통해 최종 음성 인식 결과를 선정하는 단계
    를 포함하고,
    다중 경로 심볼 매칭을 수행하는 상기 단계는,
    상기 트리 구조로 계층화된 중심 어휘 목록을 심볼 매칭을 진행하면서 각 계층마다 최고 매칭 스코어(matching score)를 기록한 노드를 추적하고, 종단 노드(terminal node)에 도달할 때까지 노드 추적 과정을 반복하는 것을 특징으로 하는 음성 인식 방법.
  2. 삭제
  3. 제1항에 있어서,
    다중 경로 심볼 매칭을 수행하는 상기 단계는,
    상기 각 계층마다 복수 개의 후보 노드를 선정하는 단계를 포함하는 것을 특징으로 하는 음성 인식 방법.
  4. 제3항에 있어서,
    상기 후보 노드는 상기 심볼 매칭에 따른 매칭 점수가 각 계층마다 후보로 선정하기 위해 미리 설정된 기준 값을 초과하는 노드인 것을 특징으로 하는 음성 인식 방법.
  5. 제1항에 있어서,
    상기 매칭 스코어는,
    음소 혼동 매트릭스(phone confusion matrix)의 확률 값을 사용하여 계산되는 것을 특징으로 하는 음성 인식 방법.
  6. 제1항에 있어서,
    상기 중심 어휘 목록은 임의의 노드를 대표하며, 상기 노드에 속하는 모든 어휘 목록들 중에서 중심 위치에 속하는 어휘 목록으로 결정되는 것을 특징으로 하는 음성 인식 방법.
  7. 제6항에 있어서,
    각 종단 노드(terminal node)의 상기 중심 어휘 목록과 거리가 소정의 기준 값 이하에 속하는 어휘 목록들을 이웃 어휘 목록(neighborhood lexicon)으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 음성 인식 방법.
  8. 제1항에 있어서,
    상기 트리 구조는 각 계층마다 클러스터링에 사용되는 기준 임계 값에 따라 노드 수가 결정되는 것을 특징으로 하는 음성 인식 방법.
  9. 제8항에 있어서,
    상기 클러스터링은 MKM(Modified K-means) 클러스터링 방식을 이용하는 것을 특징으로 하는 음성 인식 방법.
  10. 제1항, 제3항 내지 제9항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록매체.
  11. 음성 인식 장치에 있어서,
    음소 인식 열과 트리 구조로 계층화된 중심 어휘 목록(Central lexicon)의 발음 열 사이의 다중 경로 심볼 매칭(multi-pass symbol matching)을 수행하는 다중 경로 심볼 매칭부; 및
    상기 다중 경로 심볼 매칭에 의해 선정된 후보 어휘 세트들에 대한 상세 음향 모델을 사용하여 음성 인식 결과를 선정하기 위한 상세 매칭을 수행하는 상세 매칭부를 포함하고,
    상기 다중 경로 심볼 매칭부는,
    각 계층마다 최고 매칭 스코어를 기록한 노드를 추적하며, 종단 노드에 도달할 때까지 노드 추적 과정을 반복하는 것을 특징으로 하는 음성 인식 장치.
  12. 제11항에 있어서,
    인식 대상 어휘들에 대한 모든 어휘 목록들을 상기 트리 구조로 분류하는 어휘 목록 분류부를 더 포함하는 것을 특징으로 하는 음성 인식 장치.
  13. 제11항에 있어서,
    상기 다중 경로 심볼 매칭부는,
    상기 음소 인식 열과 상기 트리 구조로 계층화된 중심 어휘 목록(Central lexicon)의 발음 열 사이의 음소 혼동 매트릭스의 확률 값을 사용하여 매칭 스코어를 계산하는 것을 특징으로 하는 음성 인식 장치.
  14. 삭제
  15. 제11항에 있어서,
    상기 다중 경로 심볼 매칭부는,
    상기 각 계층마다 후보로 선정되기 위해 미리 설정된 소정의 기준 값을 초과하는 노드들을 후보 노드로 선정하는 것을 특징으로 하는 음성 인식 장치.
KR1020060012529A 2006-02-09 2006-02-09 다중 계층 중심 어휘 목록에 기초하여 대규모 단어 음성인식 방법 및 그 장치 KR100748720B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060012529A KR100748720B1 (ko) 2006-02-09 2006-02-09 다중 계층 중심 어휘 목록에 기초하여 대규모 단어 음성인식 방법 및 그 장치
US11/510,654 US7627474B2 (en) 2006-02-09 2006-08-28 Large-vocabulary speech recognition method, apparatus, and medium based on multilayer central lexicons

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060012529A KR100748720B1 (ko) 2006-02-09 2006-02-09 다중 계층 중심 어휘 목록에 기초하여 대규모 단어 음성인식 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR100748720B1 true KR100748720B1 (ko) 2007-08-13

Family

ID=38335116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060012529A KR100748720B1 (ko) 2006-02-09 2006-02-09 다중 계층 중심 어휘 목록에 기초하여 대규모 단어 음성인식 방법 및 그 장치

Country Status (2)

Country Link
US (1) US7627474B2 (ko)
KR (1) KR100748720B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074562A (zh) * 2016-11-11 2018-05-25 株式会社东芝 语音识别装置、语音识别方法以及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703697B1 (ko) * 2005-02-02 2007-04-05 삼성전자주식회사 어휘 그룹 트리를 이용한 어휘 인식 방법 및 장치
KR100897554B1 (ko) * 2007-02-21 2009-05-15 삼성전자주식회사 분산 음성인식시스템 및 방법과 분산 음성인식을 위한 단말기
US8583416B2 (en) * 2007-12-27 2013-11-12 Fluential, Llc Robust information extraction from utterances
US9436759B2 (en) 2007-12-27 2016-09-06 Nant Holdings Ip, Llc Robust information extraction from utterances
US20090171663A1 (en) * 2008-01-02 2009-07-02 International Business Machines Corporation Reducing a size of a compiled speech recognition grammar
US8447120B2 (en) * 2008-10-04 2013-05-21 Microsoft Corporation Incremental feature indexing for scalable location recognition
US9646603B2 (en) * 2009-02-27 2017-05-09 Longsand Limited Various apparatus and methods for a speech recognition system
US8489398B1 (en) * 2011-01-14 2013-07-16 Google Inc. Disambiguation of spoken proper names
US9336774B1 (en) * 2012-04-20 2016-05-10 Google Inc. Pattern recognizing engine
US9190057B2 (en) 2012-12-12 2015-11-17 Amazon Technologies, Inc. Speech model retrieval in distributed speech recognition systems
US9542947B2 (en) * 2013-03-12 2017-01-10 Google Technology Holdings LLC Method and apparatus including parallell processes for voice recognition
US9299347B1 (en) * 2014-10-22 2016-03-29 Google Inc. Speech recognition using associative mapping
US9959887B2 (en) * 2016-03-08 2018-05-01 International Business Machines Corporation Multi-pass speech activity detection strategy to improve automatic speech recognition

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202387A (ja) * 1995-01-30 1996-08-09 Fujitsu Ten Ltd 音声認識装置
KR19980702723A (ko) * 1995-03-07 1998-08-05 히버트줄리엣제인그레이스 음성 인식 방법 및 장치
US6266634B1 (en) 1997-11-21 2001-07-24 At&T Corporation Method and apparatus for generating deterministic approximate weighted finite-state automata
US6311152B1 (en) 1999-04-08 2001-10-30 Kent Ridge Digital Labs System for chinese tokenization and named entity recognition
KR20030002197A (ko) * 2001-06-30 2003-01-08 주식회사 케이티 인식 후 거리를 이용한 음성인식 방법
US6507815B1 (en) 1999-04-02 2003-01-14 Canon Kabushiki Kaisha Speech recognition apparatus and method
KR20030033394A (ko) * 2001-10-22 2003-05-01 한국전자통신연구원 트리탐색기반 음성 인식 방법 및 이를 이용한 대용량 연속음성 인식 시스템
US20040267785A1 (en) 2003-04-30 2004-12-30 Nokia Corporation Low memory decision tree

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3627299B2 (ja) 1995-07-19 2005-03-09 ソニー株式会社 音声認識方法及び装置
JPH0950291A (ja) 1995-08-04 1997-02-18 Sony Corp 音声認識装置及びナビゲーシヨン装置
US5758024A (en) 1996-06-25 1998-05-26 Microsoft Corporation Method and system for encoding pronunciation prefix trees
JPH11149295A (ja) 1997-11-17 1999-06-02 Toyota Motor Corp 音声認識装置
US6205428B1 (en) * 1997-11-20 2001-03-20 At&T Corp. Confusion set-base method and apparatus for pruning a predetermined arrangement of indexed identifiers
US6076053A (en) * 1998-05-21 2000-06-13 Lucent Technologies Inc. Methods and apparatus for discriminative training and adaptation of pronunciation networks
US6178401B1 (en) * 1998-08-28 2001-01-23 International Business Machines Corporation Method for reducing search complexity in a speech recognition system
KR20010077042A (ko) 2000-01-31 2001-08-17 구자홍 트리 구조의 단어사전을 갖는 연속음성 인식 장치
US7035802B1 (en) * 2000-07-31 2006-04-25 Matsushita Electric Industrial Co., Ltd. Recognition system using lexical trees

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202387A (ja) * 1995-01-30 1996-08-09 Fujitsu Ten Ltd 音声認識装置
KR19980702723A (ko) * 1995-03-07 1998-08-05 히버트줄리엣제인그레이스 음성 인식 방법 및 장치
US6266634B1 (en) 1997-11-21 2001-07-24 At&T Corporation Method and apparatus for generating deterministic approximate weighted finite-state automata
US6507815B1 (en) 1999-04-02 2003-01-14 Canon Kabushiki Kaisha Speech recognition apparatus and method
US6311152B1 (en) 1999-04-08 2001-10-30 Kent Ridge Digital Labs System for chinese tokenization and named entity recognition
KR20030002197A (ko) * 2001-06-30 2003-01-08 주식회사 케이티 인식 후 거리를 이용한 음성인식 방법
KR20030033394A (ko) * 2001-10-22 2003-05-01 한국전자통신연구원 트리탐색기반 음성 인식 방법 및 이를 이용한 대용량 연속음성 인식 시스템
US20040267785A1 (en) 2003-04-30 2004-12-30 Nokia Corporation Low memory decision tree

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074562A (zh) * 2016-11-11 2018-05-25 株式会社东芝 语音识别装置、语音识别方法以及存储介质
CN108074562B (zh) * 2016-11-11 2021-12-03 株式会社东芝 语音识别装置、语音识别方法以及存储介质

Also Published As

Publication number Publication date
US7627474B2 (en) 2009-12-01
US20070185714A1 (en) 2007-08-09

Similar Documents

Publication Publication Date Title
KR100748720B1 (ko) 다중 계층 중심 어휘 목록에 기초하여 대규모 단어 음성인식 방법 및 그 장치
CN108305634B (zh) 解码方法、解码器及存储介质
US9477753B2 (en) Classifier-based system combination for spoken term detection
US10249294B2 (en) Speech recognition system and method
JP6066354B2 (ja) 信頼度計算の方法及び装置
US6067517A (en) Transcription of speech data with segments from acoustically dissimilar environments
US8731926B2 (en) Spoken term detection apparatus, method, program, and storage medium
KR20140082157A (ko) 다중 음향 모델을 이용하여 음성을 인식하기 위한 장치 및 그 방법
WO2002101719A1 (en) Voice recognition apparatus and voice recognition method
US20130289987A1 (en) Negative Example (Anti-Word) Based Performance Improvement For Speech Recognition
Lugosch et al. Donut: Ctc-based query-by-example keyword spotting
CN112509560B (zh) 一种基于缓存语言模型的语音识别自适应方法和***
Bazzi et al. A multi-class approach for modelling out-of-vocabulary words
KR20180028893A (ko) 음성 인식 시스템 및 방법
Bhati et al. Self-expressing autoencoders for unsupervised spoken term discovery
Moyal et al. Phonetic search methods for large speech databases
CN112767921A (zh) 一种基于缓存语言模型的语音识别自适应方法和***
JP2004198597A (ja) 音声認識装置および文分類装置としてコンピュータを動作させるコンピュータプログラム、階層化された言語モデルを作成する方法を実現する様にコンピュータを動作させるコンピュータプログラム、および記憶媒体
Bhati et al. Unsupervised Acoustic Segmentation and Clustering Using Siamese Network Embeddings.
Sarı et al. Fusion of LVCSR and posteriorgram based keyword search
KR101483947B1 (ko) 핵심어에서의 음소 오류 결과를 고려한 음향 모델 변별 학습을 위한 장치 및 이를 위한 방법이 기록된 컴퓨터 판독 가능한 기록매체
KR101424496B1 (ko) 음향 모델 학습을 위한 장치 및 이를 위한 방법이 기록된 컴퓨터 판독 가능한 기록매체
JP3176210B2 (ja) 音声認識方法及び音声認識装置
Chung et al. Unsupervised discovery of structured acoustic tokens with applications to spoken term detection
JPH09134192A (ja) 統計的言語モデル生成装置及び音声認識装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120730

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130730

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140730

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150730

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160728

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170728

Year of fee payment: 11