KR102364032B1

KR102364032B1 - The Articulatory Physical Features and Sound-Text Synchronization for the Speech Production and its Expression Based on Speech Intention and its Recognition Using Derencephalus Action

Info

Publication number: KR102364032B1
Application number: KR1020210033765A
Authority: KR
Inventors: 이우기; 심봉섭; 권헌도; 김덕환; 신진호
Original assignee: 인하대학교 산학협력단
Priority date: 2017-09-28
Filing date: 2021-03-16
Publication date: 2022-02-17
Also published as: KR20210031888A

Abstract

본 발명은, 화자의 두경부의 일면에 인접하여 조음기관의 물리특성을 측정하는 센서부; 상기 센서부의 위치와 상기 조음기관의 물리특성을 기반으로 화자의 발화 특징을 파악하는 데이터해석부; 상기 센서부의 위치와 상기 발화특징을 언어데이터로 변환하는 데이터변환부; 상기 데이터변환부(300)의 상기 언어데이터를 음성정보로 생성하는 텍스트정보부(600); 상기 텍스트정보부와 연동되어, 언어데이터 기반의 상기 음성정보를 외부로 표현하는 데이터표현부; 상기 센서부는, 구강설에 대응되는 구강설 센서를 포함하는 발화 구현 시스템 을 제공한다.The present invention provides a sensor unit adjacent to one surface of a speaker's head and neck for measuring physical characteristics of a sound articulation organ; a data analysis unit configured to identify the speaker's utterance characteristics based on the position of the sensor unit and the physical characteristics of the articulation organ; a data conversion unit converting the position of the sensor unit and the speech characteristics into language data; a text information unit 600 for generating the language data of the data conversion unit 300 into voice information; a data expression unit interworking with the text information unit to externally express the voice information based on language data; The sensor unit provides a speech realization system including an oral tongue sensor corresponding to the oral tongue.

Description

조음기관의 물리 특성과 음성 및 문자 간 매칭을 통한 발화 의도 측정 및 발화 구현 시스템 {The Articulatory Physical Features and Sound-Text Synchronization for the Speech Production and its Expression Based on Speech Intention and its Recognition Using Derencephalus Action}{The Articulatory Physical Features and Sound-Text Synchronization for the Speech Production and its Expression Based on Speech Intention and its Recognition Using Derencephalus Action}

본 발명은 조음 센서와 촬상 센서를 통해 구강설을 포함한 두경부의 조음기관의 물리 특성을 인지하여 두경부 전반의 발화에 따른 변화를 측정하고 이를 통해 발화 의도를 파악하여, 시각, 청각, 촉각화를 통해 발화 의도를 화자 본인 내지 외부로 제공하는 시스템 및 그 방법에 관한 것이다.The present invention recognizes the physical characteristics of the articulation organs of the head and neck, including the oral tongue, through an articulation sensor and an imaging sensor, measures changes in the overall head and neck area of speech, and grasps the intention of speech through this, through visual, auditory, and tactile speech. The present invention relates to a system and method for providing an intention of a utterance to a speaker himself or herself or to the outside.

조음기관에서 생성되는 문자가 언어학적 정보전달인 의사소통을 위한 경우에는 발화 혹은 언어음으로 불리며 비언어학적인 경우에는 발성으로 불린다. 문자의 생성에 관여하는 인체의 주요한 기관은 신경계통과 호흡기계통이다.When the characters generated by the articulatory organ are for communication, which is linguistic information transfer, they are called speech or verbal sounds, and in non-linguistic cases, they are called vocalizations. The main organs of the human body involved in the creation of letters are the nervous system and the respiratory system.

신경계통은 중추신경계와 말초신경계가 관여하는데 중추신경 중 뇌간에는 언어의 생성에 필요한 두개골 혹은 뇌신경 세포핵이 위치하며 소뇌는 동작에 대한 근육의 제어를 정밀하게 조율하는 기능이 있으며, 대뇌의 반구는 언어기능에 지배적인 역할을 한다. 언어음 생성을 위해 관여하는 두개골 신경에는 턱의 움직임을 관여하는 제 5 뇌신경, 입술운동에 관여하는 제 7 뇌신경, 인두 및 후두의 운동에 관여하는 제 10 뇌신경, 인두의 운동에 관여하는 제 11 뇌신경, 그리고 혀의 운동에 관여하는 제 12 신경 등이 있다. 말초신경 중에는 특히 미주신경에서 분지되는 상후두신경과 반회후두신경이 후두운동에 직접 관여하게 된다.The central nervous system and the peripheral nervous system are involved in the nervous system. Among the central nervous system, the brainstem contains the skull or cranial nerve cell nuclei necessary for the production of language, the cerebellum has the function of fine-tuning the muscle control for movement, and the hemispheres of the cerebrum are language play a dominant role in function. The cranial nerves involved in speech sound generation include the 5th cranial nerve involved in jaw movement, the 7th cranial nerve involved in lip movement, the 10th cranial nerve involved in the movement of the pharynx and larynx, and the 11th cranial nerve involved in the movement of the pharynx. , and the 12th nerve involved in tongue movement. Among peripheral nerves, the superior laryngeal nerve and semicircular laryngeal nerve branching from the vagus nerve are directly involved in laryngeal movement.

또한 언어음은 하부 호흡기계, 후두와 성도가 상호 밀접하게 작용하여 생성된다. 성대는 문자의 근원으로, 폐로부터 송출되는 호기의 흐름이 성대를 진동시키고 발성 시 호기조절은 소리 에너지를 적절히 능률적으로 공급한다. 성대가 적당히 긴장하여 폐쇄되면 호기에 의해 성대가 진동하고 성문을 일정한 주기로 개폐시켜 성문을 통과하는 호기류를 단속하는데 이 호기의 단속류가 문자의 음원이다.In addition, speech sounds are generated by the close interaction between the lower respiratory system, the larynx and the vocal tract. The vocal cords are the source of letters, and the flow of exhaled air from the lungs vibrates the vocal cords, and exhalation control during vocalization provides adequate and efficient sound energy. When the vocal cords are closed with moderate tension, the vocal cords vibrate by exhalation and open and close the glottis at regular intervals to control the exhalation flow that passes through the glottis. This intermittent flow is the sound source of characters.

사람이 의사소통을 목적으로 말을 사용하기 위해서는 여러 가지 생리적인 과정을 거쳐야 한다. 조음과정은 발성된 소리가 공명과정을 거쳐 증폭 및 보완된 후, 말소리의 단위인 음소를 형성해 가는 과정을 의미한다. In order for a person to use speech for the purpose of communication, various physiological processes must be passed. The articulation process refers to the process of forming a phoneme, a unit of speech sound, after the uttered sound is amplified and supplemented through a resonance process.

조음기관으로는 혀가 가장 중요하게 생각하지만, 실제로 음소를 만드는 데는 혀뿐 아니라 구강 및 안면의 여러 가지 구조들이 관여한다. 이러한 조음기관에는 혀, 입술, 여린입천장(연구개, soft palate), 턱 등과 같이 움직일 수 있는 구조와 치아나 굳은입천장(경구개, hard palate)과 같이 움직일 수 없는 구조들이 포함된다. 이러한 조음기관들이 공기의 흐름을 막거나 제약하여 자음과 모음을 형성하게 되는 것이다.Although the tongue is considered the most important organ of articulation, not only the tongue but also various structures of the oral cavity and face are involved in making phonemes. These articulatory organs include movable structures such as the tongue, lips, soft palate, and jaw, and immovable structures such as teeth and hard palate. These articulation organs block or restrict the flow of air to form consonants and vowels.

첫 번째 조음기관으로서의 혀는 그 부위들이 뚜렷한 경계선을 나타내지 않기 때문에 구별하는 것이 쉽지는 않으나 기능적인 측면에서 혀의 외부구조를 구별하는 것은 정상적인 조음뿐 아니라 병리적인 조음을 이해하는데 도움이 된다. 혀는 앞에서부터 혀끝(apex, tip), 혀날(blade), 혀등(dorsum), 혀몸통(body), 그리고 혀뿌리(root)로 나눌 수 있다. 혀끝을 우리가 혀를 뾰족하게 내밀거나 음절의 첫소리로 오는 /ㄹ/(예: "라라라")를 조음할 때 사용되는 부위이고, 혀날은 잇몸소리(치조음 alveolar sounds)와 같은 입의 앞쪽에서 만드는 음소들을 조음할 때 주로 사용되며, 혀등은 여린입천장소리(연구개음 velar sounds)와 같은 뒷소리 음소들을 조음할 때 주로 사용되는 혀의 부분이다. It is not easy to distinguish the tongue as the first articulatory organ because its parts do not show clear boundaries, but distinguishing the external structure of the tongue from a functional point of view helps to understand pathological articulation as well as normal articulation. The tongue can be divided into the apex, tip, blade, dorsum, body, and root of the tongue. The tip of the tongue is the part used when we stick out our tongue or articulate /r/ (e.g. "lalala"), which comes as the first sound of a syllable, and the blade of the tongue is made in the front of the mouth like alveolar sounds. It is mainly used to articulate phonemes, and the tongue is a part of the tongue mainly used to articulate back-sounding phonemes such as velar sounds.

두 번째 조음기관으로서의 입술은 입의 입구를 이루는 부분으로 두경부 표정이나 조음에 중요한 기능을 한다. 특히 여러 가지 모음들은 혀의 움직임뿐만 아니라 입술의 모양에 의하여 음소가 구별되며, 두입술자음(양순자음 bilabial sound)들은 입술이 닫혀져야만 발음될 수 있다. 입술의 모양은 주변의 근육들에 의하여 변형된다. 예를 들어, 입술 주변을 둘러싸고 있는 입둘레근(구륜근 orbicularis oris muscle)은 입술을 다물거나 오므라들게 하여 두입술자음이나 /우/와 같은 원순모음들 발음하는 데 중요한 역할을 하며, 윗입술올림근(quadratus labii superior muscle)과 아랫입술내림근(quadrates labii inferior muscle)은 입술을 열게 한다. 또한, 입꼬리당김근(소근 risorius muscle)은 입술의 모서리를 잡아당겨 미소를 짓거나 입술을 수축시켜서 발음해야 하는 /이/와 같은 소리를 낼 때 중요한 역할을 한다. As the second articulatory organ, the lips form the entrance to the mouth and play an important role in facial expression and articulation of the head and neck. In particular, various vowels are differentiated by the shape of the lips as well as the movement of the tongue, and bilabial consonants (bilabial sounds) can be pronounced only when the lips are closed. The shape of the lips is modified by the surrounding muscles. For example, the orbicularis oris muscle surrounding the lips plays an important role in pronouncing double lip consonants and round vowels such as /u/ by closing or retracting the lips, and the levator lip muscle ( The quadratus labii superior muscle and the quadrates labii inferior muscle cause the lips to open. In addition, the risorius muscle plays an important role when smiling by pulling the corners of the lips or making sounds such as /i/ that should be pronounced by contracting the lips.

세 번째 조음기관으로서의 턱과 치아 중, 턱은 움직이지 않는 위턱(상악 maxilla)과 상하 및 좌우 운동을 하는 아래턱(하악 mandible)으로 구분된다. 이들 턱은 얼굴 뼈 중에서 가장 튼튼하고 큰 뼈로서 4쌍의 근육들에 의해서 움직인다. 아래턱의 움직임은 입안의 크기를 변화시키기 때문에 씹기뿐 아니라 모음산출에 있어서도 중요하다. Among the jaws and teeth as the third articulatory organ, the jaw is divided into an immovable upper jaw (maxilla maxilla) and a lower jaw (mandible mandible) that moves up and down and left and right. These jaws are the strongest and largest of the facial bones, and are moved by four pairs of muscles. Because the movement of the lower jaw changes the size of the mouth, it is important not only for chewing but also for vowel production.

네 번째 조음기관으로서의 잇몸 및 굳은입천장 중, 잇몸은 /ㄷ/나 /ㅅ/계열의 말소리들이 조음되는 부위이며, 굳은 입천장은 잇몸 뒤의 단단하고 다소 편편한 부분으로 /ㅈ/계열의 소리들이 조음되는 부위이다. Among the gums and hard roof of the mouth as the fourth articulating organ, the gum is the area where speech sounds of the /c/ and /s/ series are articulated, and the hard palate is the hard and rather flat part behind the gums where the /j/ series sounds are articulated. is the part

마지막 조음기관으로서의 여린입천장은 움직이는 조음기관으로 분류되는데, 이는 여린입천장의 근육들이 수축함으로써 연인두폐쇄를 이루고 그에 따라 입소리들(oral sounds)을 조음하기 때문이다. The soft palate as the last articulatory organ is classified as a moving articulatory organ, because the muscles of the soft palate contract to form a capillary closure and articulate oral sounds accordingly.

<조음과정><Articulation process>

소리들 중에는 성대를 거친 기류가 성도를 통과하는 동안 구강에서, 더 정확히 말하면 구강 통로의 중앙부에서 어떠한 방해(장애)를 받으면서 생성되는 것과, 이와는 달리 아무런 방해를 받지 않고 생성되는 것이 있다. 보통 전자를 자음(consonant) 후자를 모음(vowel)이라고 한다. Some of the sounds are produced by the oral cavity, or more precisely, in the middle of the oral passages, while the airflow through the vocal cords passes through the vocal cords with some obstruction (obstruction), while others are produced without any obstruction. Usually, the former is called a consonant and the latter is called a vowel.

1) 자음의 조음1) articulation of consonants

자음은 발성되는 방법과 위치에 따라 살펴보아야 하는데 국제문자기호표상에서 각 칸은 조음위치를, 각 줄은 조음방법을 각각 나타내고 있다. Consonants should be looked at according to the method and position in which they are uttered.

우선 조음방법에 따라 분류해 본다면, 기류가 중앙부에서 어떤 종류의 방해를 받아서 조음되는가에 따라서 다막음 소리와 덜막음 소리로 크게 나누어 볼 수 있다. 다막음 소리는 구강에서 기류를 완전히 막았다가 터트리면서 내는 소리이고, 덜막음 소리는 성도의 한 부분을 좁혀서 그 좁아진 통로로 기류를 통과시켜 내는 소리이다. First of all, if classified according to the articulation method, it can be broadly divided into da-mak-eum and dul-maeum sounds according to what kind of interference the airflow receives from the central part and is articulated. Daumakeum sound is a sound made by completely blocking the airflow in the oral cavity and then popping it. Deulcaeum sound is a sound made by narrowing a part of the vocal tract and allowing airflow to pass through the narrowed passageway.

다막음 소리는 다시 비강의 공명을 동반하고 나는 소리와 동반하지 않고 나는 소리로 나눌 수 있다. 성도의 일부를 완전히 막음과 동시에 연구개를 내려 비강 통로를 열고 비강의 공명을 동반하면서 내는 비강 다막음 소리(비강 폐쇄음, nasal stop)들이 전자에 속하며, 연구개를 올려 인두벽에 대고 비강 통로를 차단하여, 기류가 비강으로 통하는 것을 막은 상태로 내는 구강 다막음 소리(구강 폐쇄음, oral stop)들이 후자에 속한다. 구강 다막음 소리는 폐쇄의 길이와 방법에 따라서 폐쇄음(막음소리, stop) 혹은 파열음(터짐소리, plosive), 전동음(떨소리, trill), 탄설음(혹을 설탄음, flap/tap)으로 생각해 볼 수 있다. Dajakeum sounds can be divided into nasal resonance and non-accompanied sounds. The former is the sound of nasal obstruction (nasal stop), which is made while completely blocking a part of the vocal tract while lowering the soft palate to open the nasal passage and accompanying the resonance of the nasal cavity. The latter belongs to the closed-mouth sounds (oral stops) produced by blocking the passage of airflow into the nasal cavity. Depending on the length and method of closing, the closing sound can be thought of as a closing sound (stop sound) or plosive sound (popping sound, plosive), electric sound (trembling sound, trill), or snoring sound (or flap/tap sound) depending on the length and method of closing. can see.

그리고 덜막음 소리는 마찰음(갈이소리, fricative)과 접근음(approximant)으로 나누는데, 기류의 통로가 혀의 측면에 만들어지는 경우 이를 통틀어 설측음(lateral)이라고 한다. In addition, the deulmakeum sound is divided into a fricative sound and an approximate sound. When the airflow path is made on the side of the tongue, it is collectively called a lateral sound.

또한 다막음과 덜막음의 조음방법을 복합적으로 사용하는 파찰음(터짐갈이, affricate)이 있으며, 마지막으로 알파벳으로는 "r"이나 "l"로 표현되나 국어의 경우 /ㄹ/로 표현되는 유음(liquid)과 국어에는 없지만 조음기관을 진동시켜서 소리를 말하는 전동음이 있다. Also, there is an affricate, which uses the articulation method of Damakgal and Deulmaekeum in combination. Lastly, in the alphabet, it is expressed as "r" or "l", but in the case of Korean, it is expressed as /r/. (liquid) and Korean, but there are electric sounds that make sounds by vibrating the articulatory organ.

조음위치에 따라 분류해보면, 양순음(bilabial)이란, 두 입술이 그 조음에 관계하는 소리를 지칭하는 것으로, 한국어의 /ㅂ, ㅃ ,ㅍ, ㅁ/등이 이에 속한다. 현대 한국어(표준어)에 존재하는 양순음들은 모두 두 입술을 막아서 내는 소리들이지만, 두 입술의 간격을 좁혀서 그 사이로 기류를 마찰시켜 낼 수도 있으며(양순 마찰음) 두 입술을 떨어서 낼 수도 있다(양순 전동음). Classified according to the articulation position, bilabial refers to the sound related to the articulation of the two lips. All of the positive labial consonants in modern Korean (standard language) are sounds made by closing the two lips, but by narrowing the gap between the two lips, the airflow can be rubbed between them (bilabial fricatives) and can also be made by separating the two lips (bilateral electric consonants). .

순치음(labiodentals)이란 아랫입술과 윗니가 조음에 관계하는 소리를 지칭하는 것으로 한국어에는 존재하지 않는다. 한국어에는 순치음이 없지만, 영어에 있는[f, v]가 바로 이 순치음(순치 마찰음)에 속한다. Labiodentals refer to sounds related to articulation between the lower lip and upper teeth, and do not exist in Korean. There is no pure apical consonant in Korean, but [f, v] in English belongs to this pure apical consonant.

치음(dental)은 기류의 협착이나 폐쇄가 윗니의 뒷부분에서 일어나는 소리를 말하는데, 이 사이에서 마찰이 이루어지기도 해서 치간음(interdental)이라고도 한다. The term “dental” refers to the sound of airflow constriction or occlusion at the back of the upper teeth.

치경음(alveolar)은 윗잇몸 부근에서 기류의 협착이나 폐쇄가 일어나면서 나는 소리로 한국어의 /ㄷ, ㄸ, ㅌ, ㄴ, ㅆ, ㅅ/등이 이에 속한다. 한국어의 /ㅅ, ㅆ/는 치경 부분에서 기류의 협착이 이루어져 나는 소리로 영어의 /s, z/와 기류의 협착이 이루어지는 장소가 거의 비슷하다. Alveolar is a sound produced when airflow is narrowed or obstructed in the vicinity of the upper gums. In Korean, /ㅅ and ㅆ/ are sounds produced by constriction of airflow at the alveolar part, and in English, /s and z/ and the place where airflow is constricted are almost the same.

경구개치경음(palatoalveolar)은 후치경음(postalveolar)이라고도 불리는데, 혀끝이나 혓날이 후치경부에 닿아서 나는 소리로 국어에는 존재하지 않지만, 영어나 불어에는 존재한다. Palatoalveolar, also called postalveolar, is a sound produced when the tip of the tongue or tongue touches the postalveolar region. It does not exist in Korean, but does exist in English and French.

치경경구개음(alveolopalatal)은 전경구개음(prepalatal)이라고도 불리는데, 이 소리가 경구개의 앞쪽 즉 치경과 가까운 쪽에서 조음되기 때문이다. 국어의 세 파찰음 /ㅈ, ㅊ, ㅉ/가 이에 속한다. Alveolopalatal is also called prepalatal because it is articulated in front of the hard palate, close to the alveolar canal. The three fascia consonants of the Korean language /j, ch, and tk/ belong to this category.

권설음(retroflex)은 혀끝이나 혀의 위 표면이 입천장에 닿거나 접근하여서 조음되는 여타의 설음들과는 달리 혀의 아래 표면이 입천장에 닿거나 접근하여서 조음된다는 점에서 뚜렷한 차이가 있다. Unlike other tongue consonants in which the tip of the tongue or the upper surface of the tongue touches or approaches the roof of the mouth to articulate, retroflex has a distinct difference in that the lower surface of the tongue is articulated by touching or approaching the roof of the mouth.

경구개음(palatal)은 혓몸이 경구개부에 닿거나 접근하여 조음되는 소리를 말한다. A palatal is a sound articulated by the tongue touching or approaching the palatal area.

연구개음(velar)은 혓몸이 연구개부에 닿거나 접근하여 조음되는 소리를 말한다. 국어의 폐쇄음/ㄱ, ㅋ, ㄲ/와 비음 /ㅇ/이 이에 속한다. A velar is a sound articulated by the tongue touching or approaching the soft palate. Korean closing consonants /a, ㅋ, ㄲ/ and nasal /ㅇ/ belong to this category.

구개수음(uvular)은 혓몸이 연구개의 끝부분인 구개수에 닿거나 접근하여 조음되는 소리를 말한다.The uvular is the sound articulated by the tongue touching or approaching the palate, which is the tip of the soft palate.

인두음(pharyngeal)은 그 조음이 인두강에서 이루어지는 음을 지칭한다. Pharyngeal refers to the sound whose articulation is made in the pharyngeal cavity.

마지막으로 성문음(glottal)은 성대가 조음기관으로 사용되어 조음되는 소리를 지칭하며 우리말에는 음소로서 성문 무성 마찰음 /ㅎ/만이 존재한다.Lastly, glottal refers to sounds that are articulated by using the vocal cords as articulation organs.

2) 모음의 조음2) articulation of vowels

모음의 조음은 혀의 고저와 전후 위치, 그리고 입술의 모양 등 세가지가 가장 중요한 변수로 작용한다. In the articulation of vowels, the three most important variables are the tongue's height and anteroposterior position, and the shape of the lips.

첫 번째 변수로, 혀의 고저에 의하여 모음의 개구도, 즉 입을 벌린 정도가 결정되는데, 입을 적게 벌리고 내는 소리를 폐모음(close vowel), 혹은 고모음(high vowel)이라고 하며, 입을 크게 버리고 내는 소리를 개모음(open vowel), 혹은 저모음(low vowel)이라고 한다. 그리고 고모음과 저모음의 사이에서 나는 소리를 중모음(mid vewel)이라고 하는데, 이중모음은 다시 입을 벌린 정도가 더 작은 중고모음(close-mid vowel), 혹은 반폐모음(half-close vewel)과 입을 벌린 정도가 더 큰 중저모음(open-mid vewel), 혹은 반개모음(half-open vewel)으로 세분할 수 있다. As the first variable, the opening degree of vowels, that is, the degree of opening the mouth, is determined by the height of the tongue. is called an open vowel, or a low vowel. And the sound made between the high and low vowels is called a mid vewel. It can be subdivided into open-mid vewels or half-open vewels with a greater degree of spread.

두 번째 변수인 혀의 전후 위치란 사실 혀의 어느 부분이 가장 좁혀졌는가, 다시 말해서 혀의 어느 부분이 입천장과 가장 가까운가를 기준으로 앞뒤를 따지는 것이다. 그 좁아진 부분이 혀의 앞쪽에 있는 모음을 전설모음(front vowel), 뒤쪽에 있는 모음을 후설모음(back vowel)이라고 하며, 그 중간쯤에 있는 모음을 중설모음(central vowel)이라고 한다. The second variable, the anteroposterior position of the tongue, is actually a front-to-back basis based on which part of the tongue is most narrowed, that is, which part of the tongue is closest to the roof of the mouth. The vowel at the front of the tongue with the narrowed part is called the front vowel, the vowel at the back is called the back vowel, and the vowel in the middle is called the central vowel.

마지막으로 모음의 조음에서 중요한 변수가 되는 것은 입술의 모양이다. 조음 시 입술이 동그랗게 모아져 앞으로 튀어나오는 모음을 원순모음(rounded vowel)이라고 하고, 그렇지 않은 모음을 평순모음(unrounded vowel)이라고 한다.Finally, an important variable in the articulation of vowels is the shape of the lips. A vowel in which the lips are rounded and protruding forward during articulation is called a rounded vowel, and a vowel that does not protrude is called an unrounded vowel.

발화 장애란 음도, 강도, 음질, 유동성이 성별, 연령, 체구, 사회적 환경, 지리적 위치에 적합하지 않은 것을 이야기 한다. 이는 선천적으로 혹은 후천적으로 만들어 질 수 있으며, 수술을 통해 후두의 일부분인 성대를 늘이거나 줄여 어느 정도 치료하는 것이 가능하다. 하지만 완벽한 치료는 되지 않으며, 그 효과 또한 정확하다고 할 수 없다. Speech disorder refers to a condition in which pitch, intensity, sound quality, and fluidity are not appropriate for gender, age, body size, social environment, and geographic location. It can be made congenitally or acquired, and it is possible to treat it to some extent by lengthening or reducing the vocal cords, a part of the larynx, through surgery. However, it is not a perfect treatment, and the effect cannot be said to be accurate either.

이러한 후두의 기능으로는 삼킴, 기침, 폐색, 호흡, 발성 등의 기능을 가지고 있으며, 이를 위한 다양한 평가 방식(ex. 발화 내역 검사, 발화패턴, 음향학적 검사, 공기역학적 검사...)이 있다. 이러한 평가를 통해 발화 장애의 여부를 어느 정도 판단할 수 있다.The functions of the larynx include swallowing, coughing, obstruction, respiration, and vocalization, and there are various evaluation methods for this (ex. utterance history examination, speech pattern, acoustic examination, aerodynamic examination...). . Through this evaluation, it is possible to determine to some extent whether there is a speech disorder.

*44발화 장애의 유형도 다양하며 크게 기능적 발화장애와 기질적 발화장애로 나뉘게 된다. 이러한 유형의 대부분은 후두의 일부분인 성대에 이상이 생기는 경우가 많으며, 이러한 성대가 외부의 환경적 요인으로 인해 부어오름, 찢어짐, 이상 물질의 발생 등에 의해 장애가 오는 경우가 많다.*44 There are various types of speech disorders, and they are largely divided into functional speech disorders and organic speech disorders. In most of these types, abnormalities occur in the vocal cords, which are part of the larynx, and these vocal cords are often impaired due to swelling, tearing, or abnormal substances due to external environmental factors.

이러한 성대의 기능을 대신하기 위해 인위적으로 진동을 발생시킬 수 있는 진동발생기를 이용할 수 있다. 진동발생기의 방법은 스피커의 원리를 사용할 수 있는데 스피커의 구조를 보면, 자석과 코일로 이루어져 있으며, 이러한 코일에 전류를 흘려주는 상태에서 전류의 방향을 반대로 하면 자석의 극이 반대로 바뀌게 된다. 따라서 자석과 코일의 전류의 방향에 따라 인력과 척력이 작용하게 되고, 이는 코일의 왕복운동을 발생시킨다. 이러한 코일의 왕복운동이 공기를 진동하여 진동을 발생시킨다.In order to replace the function of the vocal cords, a vibration generator capable of artificially generating vibration may be used. The method of the vibration generator can use the principle of the speaker. If you look at the structure of the speaker, it consists of a magnet and a coil, and if the direction of the current is reversed while the current flows through these coils, the pole of the magnet is reversed. Therefore, attractive and repulsive forces act depending on the direction of the current between the magnet and the coil, which causes the coil to reciprocate. The reciprocating motion of the coil vibrates the air to generate vibration.

다른 방식으로 압전 현상을 이용한 방식이 있는데 압전 결정 유닛이 저주파 신호 전압을 받아서 일그러짐을 발생하고, 그에 의해서 진동판이 진동하여 음향을 발행하도록 만들 수 있다. 따라서 이러한 원리들을 이용한 진동발생기를 이용하여 성대의 기능을 수행하도록 할 수 있다. As another method, there is a method using the piezoelectric phenomenon, and the piezoelectric crystal unit receives a low-frequency signal voltage to generate distortion, whereby the diaphragm vibrates to generate sound. Therefore, it is possible to perform the function of the vocal cords using a vibration generator using these principles.

하지만 이러한 방법의 경우 외부의 위치하여 단순히 성대를 진동시켜 주는 기능에 불과하기 때문에 나타나는 음이 매우 부정확할 뿐 아니라 화자의 말하기 의도를 파악하는 것이 쉽지 않다. 또한 진동 발생기를 가지고 성대에 위치하여 항상 소지해야 되며 말할 때는 한 손을 이용하기 때문에 일상생활에 어려움을 준다. 전술한 발화 장애와 이러한 발화 이상에 대해서는 후두나 성대의 일부를 수술하는 등의 치료적 방법을 모색할 수 있으나, 이러한 수술 방법이나 치료가 불가능한 경우가 있어서 완전한 해결책이 되지 못하고 있다.However, in the case of this method, because it is located outside and merely functions to vibrate the vocal cords, the sound produced is very inaccurate and it is difficult to understand the speaker's intention to speak. In addition, it has a vibration generator and is located on the vocal cords, so it must be carried at all times, and when speaking, one hand is used, which makes daily life difficult. For the above-mentioned speech disorders and these speech abnormalities, therapeutic methods such as surgery for part of the larynx or vocal cords can be sought, but there are cases in which these surgical methods or treatments are not possible, so it is not a complete solution.

특히 관련 업계에 있어서는 유럽 및 홍콩을 구심점으로 WinEPG, Articulate Instruments Ltd 등의 회사에서 사용 중인 University of Reading, 일본의 Fujimura, Tatsumi가 1973년에 개발하여 Rion 이라는 회사 이름으로 널리 상용화 시킨 The Rion EPG, Flecher이 출원하여 UCLA Phonetics Lab이 연구목적으로 개발하여 사용하는 Kay Palatometer, Schmidt가 개발하여 Complete Speech(Logomertix) 등이 있다.In particular, in the related industry, the Rion EPG, which was widely commercialized under the name of Rion, developed in 1973 by the University of Reading, Fujimura, and Tatsumi of Japan, which are being used by companies such as WinEPG and Articulate Instruments Ltd. Kay Palatometer developed and used by UCLA Phonetics Lab for research purposes based on this application, and Complete Speech (Logomertix) developed by Schmidt.

그러나 종래의 기술들은 수동적 조음기관을 기반으로 발화하는 것에 한계가 있으며, 능동적 조음기관 자체인 구강설을 이용하거나, 구강설과 다른 조음기관과의 연계성에 의한 실제 조음 방식에 따른 발화를 구현하는 데 명확한 한계가 있었다.However, conventional techniques have limitations in uttering based on a passive articulatory organ, and it is difficult to implement utterance according to the actual articulation method by using the oral tongue, which is an active articulation organ itself, or by connecting the oral tongue with other articulation organs. There were clear limitations.

기존에 상태 변화나 움직임을 파악하기 위한 다양한 센서가 개발되어 있으며, 센서를 바탕으로 압력, 온도, 거리, 마찰 등의 변화를 파악하는 것이 가능하다.Various sensors have been developed to detect changes in state or movement, and it is possible to detect changes in pressure, temperature, distance, friction, etc. based on the sensors.

더불어, 발화 및 표정 동기화(Lip Sync)는, 대상 내지 객체의 아이덴티티를 결정하는 가장 중요한 요소인 말하는 음성 및 조음을 포함하는 발화, 표정 등을 캐릭터, 로봇, 다양한 전자제품, 자율주행 운송수단 등에 복제 적용하여 개인의 아이덴티티를 결정하고 확장하는 핵심 수단이다. 특히, 고품질의 Lip Sync 에니메이션을 만들기 위해서 전문 에니메이션 팀이 작업하므로, 높은 비용 및 많은 시간을 필요로 하고 대량의 작업에 어려움이 존재한다. 종래의 일반적인 기술은 단순한 입술 모양 라이브러리를 사용하여 저급한 에니메이션을 생성하는 수준에 국한되었다. Pixar나 Disney와 같은 해외의 에니메이션 콘텐츠 제작사들은 Lip Sync를 통한 실감나는 캐릭터 에니메이션을 생성하는데 많은 비용과 시간을 투입하는 실정이다. In addition, speech and expression synchronization (Lip Sync) reproduces speech and expression including spoken voice and articulation, which are the most important factors determining the identity of an object or object, to characters, robots, various electronic products, autonomous vehicles, etc. It is a key means of determining and expanding an individual's identity by applying it. In particular, since a professional animation team works to create a high-quality Lip Sync animation, it requires high cost and a lot of time, and there are difficulties in mass production. Conventional general techniques have been limited to creating low-level animations using a simple lip shape library. Overseas animation content producers such as Pixar and Disney spend a lot of money and time to create realistic character animations through Lip Sync.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 본 발명의 목적은, 사용자의 발화 의도에 따른 사용자의 조음 방식을 구강설을 포함한 두경부의 센서를 통해 파악하고, 이를 청각, 시각, 촉각의 형태로 나타내어 양호한 품질의 음성 형성, 즉 발성이 표출될 수 있는 발화 보완용 기기 및 그 방법을 제공하는 것이다. The present invention has been proposed to solve the above problems, and an object of the present invention is to determine the user's articulation method according to the user's utterance intention through the sensor of the head and neck including the oral tongue, An object of the present invention is to provide an apparatus for supplementing speech, and a method therefor, in which speech formation of good quality, that is, speech can be expressed in the form of speech.

본 발명의 다른 목적은, 발화에 있어서 정상적인 기능을 수행하지 못하고 교정이나 치료가 불가능한 경우에 양질의 적절한 발화를 구현하는 것이다. Another object of the present invention is to implement high-quality and appropriate utterance in a case in which a normal function cannot be performed in utterance and correction or treatment is impossible.

본 발명의 또 다른 목적은, 발화를 위한 조음 의도에 따라 사용자가 원하는 정도의 정확한 발화가 외부로 표출될 수 있는 내/외부에 위치한 발화 보완용 기기 및 그 제어 방법을 제공하는 것이다. Another object of the present invention is to provide a device for supplementing speech located inside/outside, and a method for controlling the same, in which an accurate speech desired by a user can be expressed to the outside according to an articulation intention for speech.

상기 목적을 달성하기 위하여, 본 발명은, 화자의 두경부의 일면에 인접하여 조음기관의 물리특성을 측정하는 센서부;In order to achieve the above object, the present invention, a sensor unit for measuring the physical characteristics of the articulation organ adjacent to one surface of the speaker's head and neck;

상기 센서부의 위치와 상기 조음기관의 물리특성을 기반으로 화자의 발화 특징을 파악하는 데이터해석부;a data analysis unit configured to identify the speaker's utterance characteristics based on the position of the sensor unit and the physical characteristics of the articulation organ;

2상기 센서부의 위치와 상기 발화특징을 언어데이터로 변환하는 데이터변환부;2 a data conversion unit for converting the position of the sensor unit and the speech characteristics into language data;

상기 데이터변환부(300)의 상기 언어데이터를 음성정보로 생성하는 텍스트정보부; a text information unit for generating the language data of the data conversion unit 300 into voice information;

상기 텍스트정보부와 연동되어, 언어데이터 기반의 상기 음성정보를 외부로 표현하는 데이터표현부;a data expression unit interworking with the text information unit to externally express the voice information based on language data;

상기 센서부는, 구강설에 대응되는 구강설 센서를 포함하는 발화 구현 시스템을 제공한다. The sensor unit provides a speech implementation system including an oral tongue sensor corresponding to the oral tongue.

그리고, 상기 구강설 센서는, 상기 구강설의 일측면에 고착되거나, 상기 구강설의 표면을 감싸거나, 상기 구강설 내부에 삽입되고, 발화에 따른 상기 구강설의 x축, y축, z축 방향 기반의 시간에 따른 벡터량의 변화량을 파악하여, 상기 구강설의 저고도, 전후설성, 굴곡도, 신전도, 회전도, 긴장도, 수축도, 이완도, 진동도 중 적어도 하나의 물리특성을 파악할 수 있다.And, the oral tongue sensor is fixed to one side of the oral tongue, wraps around the surface of the oral tongue, or is inserted into the oral tongue, and the x-axis, y-axis, z-axis of the oral tongue according to the utterance By grasping the amount of change of the vector quantity over time based on the direction, the physical characteristics of at least one of the low elevation, anteroposterior, flexion, extension, rotation, tension, contraction, relaxation, and vibration of the oral tongue can be grasped. there is.

또한, 상기 구강설 센서는, 상기 구강설의 일측면에 고착되거나, 상기 구강설의 표면을 감싸거나, 상기 구강설 내부에 삽입되고, 발화에 따른 상기 구강설의 x축, y축, z축 방향 기반의 단위 시간 당 회전하는 각도의 변화량을 파악하여, 상기 구강설을 포함한 상기 조음기관의 물리 특성을 파악할 수 있다.In addition, the oral tongue sensor is fixed on one side of the oral tongue, wraps around the surface of the oral tongue, or is inserted into the oral tongue, and the x-axis, y-axis, z-axis of the oral tongue according to the utterance By determining the amount of change in the rotation angle per unit time based on the direction, the physical characteristics of the articulatory organ including the oral tongue may be grasped.

그리고, 상기 구강설 센서는, 상기 구강설의 일측면에 고착되거나, 상기 구강설의 표면을 감싸고, 발화에 따른 상기 구강설의 수축 및 이완으로 발생하는 물리력에 따라 결정 구조의 변화에 기인하는 편극에 대응되는 전기신호가 발생하는 압전소자를 통해 상기 구강설의 굽힘도를 파악하여, 상기 구강설의 저고도, 전후설성, 굴곡도, 신전도, 회전도, 긴장도, 수축도, 이완도, 진동도 중 적어도 하나의 물리특성을 파악할 수 있다.In addition, the oral tongue sensor is fixed to one side of the oral tongue or surrounds the surface of the oral tongue, and polarization due to a change in crystal structure according to physical force generated by contraction and relaxation of the oral tongue according to ignition By grasping the degree of bending of the oral tongue through a piezoelectric element that generates an electrical signal corresponding to At least one of the physical properties may be identified.

또한, 상기 센서부는, 상기 구강설이 상기 두경부 내외의 다른 조음기관과의 상호작용에 기인하는 접근 및 접촉에 대응되는 마찰전기(Tribo Electric Generator)에 따른 파열도, 마찰도, 공명도, 접근도 중 적어도 하나의 물리특성을 파악하는 마찰대전소자를 포함할 수 있다.In addition, the sensor unit, the degree of rupture, friction, resonance, and approach according to the tribo electric generator corresponding to the approach and contact caused by the interaction of the oral tongue with other articulatory organs inside and outside the head and neck It may include a triboelectric charging element for detecting at least one physical characteristic.

그리고, 상기 데이터해석부는, 상기 센서부에서 측정되는 상기 구강설과 다른 조음기관과의 물리특성을 통해 상기 화자가 발화하는 자모음, 어휘 단위 강세 (Lexical Stress), 문장 단위 강세(Tonic stress) 중 적어도 하나의 발화 특징을 파악할 수 있다.And, the data analysis unit, the consonants uttered by the speaker through the physical characteristics of the oral tongue and other articulation organs measured by the sensor unit, lexical stress (Lexical Stress), sentence unit stress (Tonic stress) At least one speech characteristic may be identified.

또한, 상기 데이터해석부는, 상기 센서부에 의해 측정되는 상기 조음기관의 물리특성에 의한 발화 특징을 파악함에 있어서, 2진수 내지 실수를 포함하는 수치로 구성된 표준 발화 특징 행렬을 기반으로 상기 화자의 발음과 강세의, 유사근접도, 발화 의도 중 적어도 하나의 발화 특징을 측정할 수 있다.In addition, the data analysis unit, in recognizing the speech characteristics according to the physical characteristics of the articulatory organ measured by the sensor unit, the speaker's pronunciation based on a standard speech characteristic matrix composed of a number including a binary number or a real number At least one speech characteristic of hyperstress, similarity, and intention to speak may be measured.

그리고, 상기 데이터해석부는, 상기 센서부에 의해 측정되는 상기 조음기관의 물리특성을 발화 특징을 파악함에 있어서, 상기 조음기관의 물리특성을 각 자모음 단위의 패턴으로 인식하는 단계, 상기 자모음 단위의 패턴의 특징을 추출하고, 추출된 상기 자모음 단위의 패턴의 특징을 유사도에 따라 분류하는 단계, 분류된 상기 자모음 단위의 패턴의 특징을 재조합하는 단계, 상기 조음기관의 물리특성을 상기 발화 특징으로 해석하는 단계에 따라 상기 발화 특징을 파악할 수 있다.And, when the data analysis unit recognizes the speech characteristics of the physical characteristics of the articulation organ measured by the sensor unit, the step of recognizing the physical characteristics of the articulation organ as a pattern of each consonant unit, the consonant unit extracting the characteristics of the pattern of , classifying the extracted characteristics of the pattern of the consonant-vowel unit according to the degree of similarity, recombining the classified characteristics of the pattern of the consonant-vowel unit, and uttering the physical characteristics of the articulation organ According to the step of interpreting the feature as the feature, the utterance feature may be identified.

또한, 상기 데이터해석부는, 상기 센서부에 의해서 측정되는 상기 조음기관의 물리특성에 의해, 자모음의 동화(Assimilation), 이화(Dissimilation), 탈락(Elision), 첨가(Attachment), 강세(Stress)와, 약화(Reduction)로 야기되는 기식음화 (Asperation), 음절성자음화(Syllabic cosonant), 탄설음화(Flapping), 경음화(Tensification), 순음화(Labilalization), 연구개음화(Velarization), 치음화(Dentalizatiom), 구개음화 (Palatalization), 비음화(Nasalization), 강세변화(Stress Shift), 장음화(Lengthening) 중 적어도 하나의 이차조음현상인 발화 변이를 측정할 수 있다.In addition, the data analysis unit, according to the physical characteristics of the articulation organ measured by the sensor unit, Assimilation, Dissimilation, Elision, Attachment, Stress of consonants Asperation, Syllabic cosonant, Flapping, Tensification, Labilalization, Velarization, and Gingivization caused by reduction Dentalizatiom), palatalization, nasalization, stress shift, and lengthening, which are secondary articulation phenomena of at least one, can be measured.

그리고, 상기 구강설 센서는, 센서 작동을 위한 회로부, 상기 회로부를 감싸는 캡슐부, 상기 구강설 일면에 부착되는 접착부를 포함할 수 있다.In addition, the oral tongue sensor may include a circuit part for sensor operation, a capsule part surrounding the circuit part, and an adhesive part attached to one surface of the oral tongue.

또한, 상기 구강설 센서는, 박막 회로를 가진 필름 형태로서 상기 구강설에 인접하여 작동할 수 있다. In addition, the oral tongue sensor, in the form of a film with a thin film circuit, may operate adjacent to the oral tongue.

그리고, 상기 센서부는, 두경부 근육의 신경신호 측정의 기준 전위를 생성하는 적어도 하나의 레퍼런스 센서와, 상기 두경부 근육의 신경신호를 측정하는 적어도 하나의 양극센서 및 적어도 하나의 음극센서로 구성된 안면부 센서를 포함할 수 있다. And, the sensor unit, at least one reference sensor for generating a reference potential for measuring the nerve signal of the head and neck muscles, and at least one positive sensor and at least one negative sensor for measuring the nerve signal of the head and neck muscles. may include

또한, 상기 데이터해석부는, 상기 안면부 센서에 기반하여 상기 센서부의 위치를 획득함에 있어서, 상기 레퍼런스 센서를 기준으로 하여 상기 적어도 하나의 양극센서 및 상기 적어도 하나의 음극센서의 전위차를 파악하여 상기 안면부 센서의 위치를 파악할 수 있다. In addition, the data analysis unit, in obtaining the position of the sensor unit based on the face sensor, grasps the potential difference between the at least one positive sensor and the at least one negative sensor with respect to the reference sensor to determine the facial sensor location can be found.

그리고, 상기 데이터해석부는, 상기 안면부 센서에 기반하여 상기 화자의 발화 특징을 획득함에 있어서, 상기 레퍼런스 센서를 기준으로 하여 상기 적어도 하나의 양극센서 및 상기 적어도 하나의 음극센서의 전위차를 파악하여 상기 화자의 두경부에서 발생하는 상기 조음기관의 물리 특성에 의한 발화 특징을 파악할 수 있다. In addition, the data analysis unit, when acquiring the speech characteristics of the speaker based on the face sensor, grasps the potential difference between the at least one positive sensor and the at least one negative sensor with respect to the reference sensor to determine the speaker It is possible to grasp the speech characteristics by the physical characteristics of the articulation organ generated in the head and neck of the.

또한, 상기 센서부는, 상기 화자의 두경부 중 성대에 인접하여 성대의 근전도 내지 떨림을 파악하여, 상기 화자의 발화 시작, 발화 정지, 발화 종료 중 적어도 하나의 발화 내역 정보를 파악하는 성대 센서를 포함할 수 있다. In addition, the sensor unit may include a vocal cord sensor that detects electromyography or tremor of the vocal cords adjacent to the vocal cords of the speaker's head and neck, and grasps information on the speech history of at least one of the speaker's speech start, speech stop, and speech end. can

그리고, 상기 센서부는, 치아의 일면에 인접하여 상기 구강설 및 아랫 입술의 접촉에 기인하여 발생하는 전기적 용량 변화에 따른 신호발생 위치를 파악하는 치아센서를 포함할 수 있다. In addition, the sensor unit may include a tooth sensor that detects a signal generation position according to a change in electrical capacity generated due to the contact between the oral tongue and the lower lip adjacent to one surface of the tooth.

또한, 상기 데이터해석부는, 상기 화자의 두경부 일면에 인접한 음성 취득 센서를 통해 발화에 따른 상기 화자의 음성을 취득할 수 있다.Also, the data analysis unit may acquire the speaker's voice according to the utterance through a voice acquisition sensor adjacent to one surface of the speaker's head and neck.

그리고, 상기 센서부는, 상기 화자의 두경부 조음기관의 위치 변화 정보, 상기 화자의 두경부 표정 변화 정보, 상기 화자의 발화 의도에 따라 움직이는 두경부, 흉곽부, 상지부, 하지부의 비언어적 표현 중 적어도 하나를 파악하기 위해 상기 화자의 두경부를 촬상하는 촬상센서를 포함할 수 있다.In addition, the sensor unit detects at least one of non-verbal expressions of the speaker's head and neck articulatory organs, location change information, the speaker's head and neck facial expression change information, and the head and neck, rib cage, upper extremities, and lower extremities that move according to the speaker's intention to speak. In order to do this, it may include an imaging sensor that images the speaker's head and neck.

또한, 상기 발화 구현 시스템은, 상기 센서부의 구강설 센서, 안면 센서, 음성취득 센서, 성대 센서, 치아 센서, 촬상센서 중 적어도 하나에 전원을 공급하는 전원부를 더 포함할 수 있다. In addition, the speech implementation system may further include a power supply for supplying power to at least one of the oral tongue sensor, the facial sensor, the voice acquisition sensor, the vocal cord sensor, the tooth sensor, and the image sensor of the sensor unit.

그리고, 상기 발화 구현 시스템은, 상기 데이터해석부 및 상기 데이터베이스부가 외부에 위치하여 작동할 경우, 연동되어 통신할 수 있는 유선 또는 무선의 통신부를 더 포함할 수 있다. In addition, the speech implementation system may further include a wired or wireless communication unit capable of interworking and communicating when the data analysis unit and the database unit are located outside and operate.

또한, 상기 데이터해석부는, 상기 센서부의 위치, 상기 화자의 발화 특징, 상기 화자의 음성에 대응하는 적어도 하나의 언어 데이터 색인을 포함하는 데이터베이스부와 연동될 수 있다. In addition, the data analysis unit may be linked with a database unit including the location of the sensor unit, the speaker's utterance characteristics, and at least one language data index corresponding to the speaker's voice.

그리고, 상기 데이터베이스부는, 발화의 진행 시간, 발화에 따른 주파수, 발화의 진폭, 발화에 따른 두경부 근육의 근전도, 발화에 따른 두경부 근육의 위치 변화, 구강설의 굽힘 및 회전에 따른 위치 변화 중 적어도 하나의 정보를 기반으로, 자모음의 음소단위 색인, 음절단위 색인, 단어단위 색인, 구절단위 색인, 문장단위 색인, 연속발화단위 색인, 발음의 고저 색인 중 적어도 하나의 언어 데이터 색인을 구성할 수 있다.In addition, the database unit includes at least one of a duration of utterance, frequency according to utterance, amplitude of utterance, electromyography of head and neck muscles according to utterance, position change of head and neck muscles according to utterance, and position change according to bending and rotation of the oral tongue. Based on the information of .

또한, 상기 데이터표현부는, 상기 데이터베이스부의 언어 데이터 색인과 연동되어, 상기 화자의 발화 특징을 자모음의 음소(Phoneme)단위, 적어도 하나의 단어단위, 적어도 하나의 구절단위(Citation Forms), 적어도 하나의 문장단위, 연속발화단위(Consecutive Speech) 중 적어도 하나의 발화 표현을 나타낼 수 있다. In addition, the data expression unit is linked with the language data index of the database unit to display the speaker's utterance characteristics in phoneme units, at least one word unit, at least one phrase unit (Citation Forms), at least one At least one speech expression among sentence units and continuous speech units of

그리고, 상기 데이터표현부에 의해 나타나는 발화 표현은, 문자 기호, 그림, 특수기호, 숫자 중 적어도 하나로 시각화되거나, 소리 형태로 청각화되어, 상기 화자와 청자에게 제공될 수 있다.In addition, the speech expression displayed by the data expression unit may be visualized as at least one of a character symbol, a picture, a special symbol, and a number, or may be audibly provided to the speaker and the listener.

또한, 상기 데이터표현부에 의해 나타나는 발화 표현은, 진동, 스누징, 태핑, 압박, 이완 중 적어도 하나의 촉각적 방법으로 상기 화자와 청자에게 제공될 수 있다.In addition, the speech expression displayed by the data expression unit may be provided to the speaker and the listener through at least one tactile method of vibration, snoozing, tapping, pressing, and relaxation.

본 발명의 두경부 조음기관 물리 특성 기반의 발화 구현 시스템은, 화자의 구강설을 중심으로 한 두경부 조음기관 활용에 발화 의도를 파악하고 청각, 시각, 촉각의 형태로 나타내어 양호한 품질의 발화 형성, 즉 발성이 표출될 수 있는 효과를 갖는다. 더불어, 화자 스스로 제 1차 발화 내용과 적어도 제 2차 발화 내용간 비교를 통한 피드백을 통해 스스로 발화 개선을 도모할 수 있다.The speech realization system based on the physical characteristics of the head and neck articulatory organ of the present invention identifies the intention of speech in the use of the head and neck articulatory organ centering on the oral language of the speaker and expresses it in the form of hearing, sight, and tactile sense to form good quality speech, i.e., vocalization. This has an effect that can be expressed. In addition, it is possible for the speaker to improve his/her own utterance through feedback through comparison between the content of the first utterance and at least the content of the second utterance.

본 발명에서는 말하기 의도를 파악하기 위해 구강설을 포함한 두경부 내외의 조음기관을 이용하게 되며, 이러한 움직임의 예를 들면, 구강설의 독립적 물리 특성이나 수동적 조음기관과 입술, 성문, 성대, 인두, 후두개 중 하나이상으로 구성된 능동적 조음기관 중 하나이상의 조음기관과의 상호 작용에 의해 생기는 폐쇄도, 파열도, 마찰도, 공명도. 접근도 중 하나이상의 특성을 파악해야 하며, 이러한 특성을 파악하기 위하여 방위각, 앙각, 회전각, 압력, 마찰, 거리, 온도, 소리 등을 파악할 수 있는 다양한 센서를 이용하게 된다.In the present invention, articulation organs inside and outside the head and neck, including the oral tongue, are used to determine the intention to speak. Degree of occlusion, degree of rupture, degree of friction, and resonance caused by interaction with one or more of the active articulators composed of one or more of the following. At least one characteristic of the approach should be grasped, and in order to grasp these characteristics, various sensors that can grasp azimuth, elevation, rotation, pressure, friction, distance, temperature, sound, etc. are used.

기존에 제안된 인공 성대의 경우 외부에서 진동을 통해 소리를 내는 정도로, 한 손의 움직임이 부자연스럽고 발화의 질이 매우 낮다는 단점이 있었고, 인공 구개의 경우에는 수동적 조음기관인 경구개에 의존한다는 단점이 있었다. In the case of the previously proposed artificial vocal cords, there were disadvantages in that the movement of one hand was unnatural and the quality of speech was very low, to the extent of making sound through vibration from the outside. there was.

더불어, 음성학적으로는 인공구개를 활용하여 화자의 발화를 측정하고자 하는 조음음성학(Articulatory Phonetics)이 지금껏 주류로서 인정 되어 왔으나, 발화 측정에 있어서 특정 자모음의 조음에 따른 발화의 이산적인 발화 유무만 파악할 수 있었다. 하지만, 이러한 조음음성학의 주장은 인간의 발화가 이산적인 특징을 가지는 것이 아니라. 각 음소(Phoneme), 특히 모음에 있어서, 각 모음들이 분절되어 존재할 수도 없고 분절되어 발음될 수도 없는 연속적인 체계임을 주장하는 음향음성학(Acoustic Phonetics)에 의해 학계의 의문을 불러일으키고 있다. 자세히 말하자면, 인간의 발화는 조음을 하여 "발화를 한다." 또는 "발화 하지 못했다."와 같이 이산적으로 나누어 질 수 있는 것이 아니라, 유사정도에 따른 비례적, 비율적, 단계적 특성을 지닌다는 것이다.In addition, articulatory phonetics, which attempts to measure the speaker's utterance using the artificial palate, has been accepted as the mainstream phonetics, but only the presence or absence of discrete utterance according to the articulation of specific consonant vowels in utterance measurement has been accepted. could figure it out However, this argument of articulatory phonetics is not that human speech has discrete characteristics. For each phoneme, especially vowel, each vowel cannot exist as a segment and cannot be articulated as a continuous system, which is being called into question by Acoustic Phonetics. More specifically, human speech is articulated to "speech." Or, it is not that it can be divided discretely, such as "Failed to ignite", but has proportional, proportionate, and step-by-step characteristics according to the degree of similarity.

그렇기에 음향음성학은 화자의 발화에 따른 언어음 자체의 물리적 속성을 수치화(Scaling)하여, 발화의 유사도 또는 근접도를 파악함으로서, 종래의 조음음성학이 구현할 수 없었던 발음의 비례적, 비율적, 단계적 유사정도에 따른 발화 측정에 대해 가능성을 열어두고 있다.Therefore, acoustophonology quantifies the physical properties of speech sounds according to the speaker's utterance, and grasps the similarity or proximity of the utterances. The possibility of fire measurement according to severity is left open.

이러한 종래 관련 기술동향과 관련 학문적 배경을 참고하였을 때, 본 발명은 조음음성학의 기반을 두고서, 음향음성학이 추구하고자 하는 조음의 수치화(Scaling)에 따른 보다 정확한 발화 의도를 파악하고 구현할 수 있는 매우 획기적인 장점을 가지고 있다고 할 수 있다.When referring to these prior art trends and related academic backgrounds, the present invention is a very innovative method that can identify and implement a more accurate utterance intention according to the scaling of articulation that acoustic phonetics seeks based on articulation phonetics. It can be said that it has advantages.

자세히 말하자면, 본 발명에서는 화자의 조음기관 작용에 의해 발생하는 조음도를 수치화(Scaling)하여 발화 의도를 청각, 시각, 촉각의 형태로 직관적으로 제시하기 때문에 의사소통의 질 및 생활 편의도가 매우 탁월해질 것으로 기대된다는 것이다.Specifically, in the present invention, the quality of communication and living convenience are very excellent because the intention of speech is intuitively presented in the form of auditory, visual and tactile senses by scaling the articulation degree generated by the speaker's articulation organ action. that is expected to happen.

더불어, 화자의 발화에 따른 발화 의도를 문자로서 표현할 경우, Speech to Text로 응용되어, Silent Speech(침묵 대화)가 가능해진다. 이를 통해, 청각 장애인과 의사소통을 할 시에, 화자는 발화를 하고 청자인 청각 장애인은 이를 시각적 자료로 인지하기에 소통상의 어려움이 없어진다. 더불어, 의사전달에 있어서 소음에 영향을 받는 대중 교통, 공공 시설, 군사 시설 및 작전, 수중 활동 등에 활용 될 수 있다.In addition, when expressing the intention of the speaker according to the speaker's utterance as text, it is applied as Speech to Text, enabling silent speech. Through this, when communicating with the hearing impaired, the speaker makes a utterance and the hearing impaired, the listener, perceives it as visual data, so there is no communication difficulty. In addition, it can be used in public transportation, public facilities, military facilities and operations, and underwater activities that are affected by noise in communication.

더불어, 발화에 따라 변화하는 화자의 두경부 조음기관의 외상을 촬상함으로서, 발화와 발화에 따른 조음기관의 외적 변화의 연관성을 파악해, 언어학적 방면과 보완 대체 의사소통 방면, 휴머노이드의 안면 구현 방면으로 활용될 수 있다.In addition, by capturing the trauma of the speaker's head and neck articulatory organs that change according to speech, the relationship between speech and external changes in the articulatory organ according to speech is identified, and used in the area of linguistics, complementary and alternative communication, and humanoid facial realization. can be

특히, 애니메이션 및 영화 제작 업계에서는 현재까지 애니메이션 캐릭터를 포함한 영상 객체의 발화와 표정의 일치를 달성하는 데 어려움을 겪고 있다. 가장 문제가 되는 부분은 바로 조음 기관의 작동, 발화의 영역이다. 인간의 복잡한 조음기관의 물리적 특성을 제대로 반영하지 못해, 월트 디즈니 및 픽사 등의 거대 기업들조차도 캐릭터가 입만 뻥긋거리는 정도의 개발 수준에 그치며, 대사와 발화 및 표정 간의 낮은 일치도를 보여준다. 이러한 문제를 해결하기 위해 영상 제작팀에게 높은 비용을 지불하고서 전신에 성우 혹은 모사 배우에게 특징점을 부착한다. 하지만, 이러한 방법은 영상 객체의 발화나 표정에 대한 근본적인 부분을 해결하지 못하고, 신체 전반에 걸치는 거시적인 움직임을 표현하는 것을 주 목적으로 하는 한계가 있다. 그러나, 본 발명은 실제 인간 화자의 조음기관 물리특성을 측정하여 이를 영상 객체의 두경부에 맵핑함으로서 영상 객체의 발화나 표정을 실제 인간 화자와 비슷하게 구현할 수 있도록 한다. In particular, in the animation and film production industry, it is difficult to achieve the matching of speech and facial expressions of video objects including animated characters to date. The most problematic part is the operation of the articulation organ and the area of speech. It does not properly reflect the physical characteristics of the complex human articulatory organ, so even giant companies such as Walt Disney and Pixar are only at the level of development where the characters are just bubbly, showing a low degree of correspondence between dialogue, utterance, and facial expression. In order to solve this problem, a high cost is paid to the video production team and feature points are attached to the voice actor or the copying actor on the whole body. However, this method does not solve the fundamental part of the speech or expression of an image object, and there is a limitation in that the main purpose is to express macroscopic movements throughout the body. However, the present invention measures the physical characteristics of the articulation organ of an actual human speaker and maps them to the head and neck of the image object, so that the speech or expression of the image object can be implemented similar to that of the actual human speaker.

특히, 본 발명은 화자 조음정보를 로봇 객체의 두경부의 움직임을 구현하는 액추에이터에 전달하여 매칭시킴으로서, 인간 화자와 유사한 로봇의 조음, 발화, 표정을 포함하는 두경부 움직임을 재현하는 것으로, 이는 일본의 모리 마사히로(Mori Masahiro)가 주장한 휴머노이드 로봇이 인간에게 유발하는 만성적인 인지적 부조화인 "불쾌한 골짜기(Uncanny Valley)"를 극복할 수 있는 효과가 있다. 더불어, 휴머노이드 및 그 외 일반 로봇의 인간 친화적인 조음 구현이 가능해짐에 따라, 로봇 및 안드로이드의 인간 역할 대체가 가능해지고, 더 나아가 인간-로봇의 대화가 달성됨으로서 고령화에 따른 노인 인구 증대로 대두되는 노인 사회의 고립 현상 및 우울증과 같은 정신/심리적 질환을 예방할 수 있는 효과가 있다. In particular, the present invention reproduces head and neck movements including articulation, utterance, and expression of a robot similar to a human speaker by transmitting and matching speaker articulation information to an actuator that implements the movement of the head and neck of a robot object, which is a Japanese Mori It has the effect of overcoming the "Uncanny Valley", a chronic cognitive dissonance that humanoid robots claim by Mori Masahiro in humans. In addition, as humanoids and other general robots can implement human-friendly articulation, human roles of robots and androids can be replaced, and further, human-robot dialogue is achieved, which is emerging as the elderly population increases due to aging. It has the effect of preventing the isolation of the elderly and mental/psychological diseases such as depression.

도 1은 본 발명의 제1실시예에 따른 발화 구현 시스템의 센서부를 도시한 도면.
도 2는 본 발명의 제1실시예에 따른 발화 구현 시스템의 센서부의 위치를 도시한 도면.
도 3은 본 발명의 제1실시예에 따른 발화 구현 시스템을 도시한 도면.
도 4는 본 발명의 제1실시예에 따른 발화 구현 시스템에서 활용되는 구강설의 위치적 명칭을 도시한 도면.
도 5는 본 발명의 제1실시예에 따른 발화 구현 시스템에서 활용되는 모음 발화를 위한 구강설의 작용을 도시한 도면.
도 6 내지 도 10은 각각 본 발명의 제1실시예에 따른 발화 구현 시스템의 다양한 구강설 센서를 도시한 도면.
도 11 및 도 12는 각각 본 발명의 제1실시예에 따른 발화 구현 시스템의 구강설 센서의 부착상태를 도시한 단면도 및 사시도.
도 13은 본 발명의 제1실시예에 따른 발화 구현 시스템의 구강설 센서의 회로부를 도시한 도면.
도 14는 본 발명의 제1실시예에 따른 발화 구현 시스템의 구강설 센서의 다양한 활용상태를 도시한 도면.
도 15는 본 발명의 제2실시예에 따른 발화 구현 시스템을 도시한 도면.
도 16은 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 발화 특징을 파악하는 원리를 도시한 도면.
도 17은 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 측정된 조음기관의 물리 특성을 발화 특징으로 파악하는 원리를 도시한 도면.
도 18은 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 활용하는 모음에 관한 표준 발화 특징 행렬을 도시한 도면.
도 19는 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 활용하는 자음에 관한 표준 발화 특징 행렬을 도시한 도면.
도 20은 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 조음기관의 물리 특성을 발화 특징으로 파악하기 위하여 활용하는 알고리즘 프로세스를 도시한 도면.
도 21은 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 조음기관의 물리 특성을 발화 특징으로 파악하기 위하여 활용하는 알고리즘 프로세스를 상세히 도시한 도면.
도 22는 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 조음기관의 물리 특성을 발화 특징으로 파악하기 위하여 활용하는 알고리즘 프로세스의 원리를 상세히 도시한 도면.
도 23은 본 발명의 제2실시예에 따른 발화 구현 시스템의 구강설 센서가 발화된 특정 모음을 발화 특징으로 파악하는 알고리즘 프로세스를 도시한 도면.
도 24는 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 Alveolar Stop을 활용하는 경우를 도시한 도면.
도 25는 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 Bilabial Stop을 활용하는 경우를 도시한 도면.
도 26은 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 Voiced Bilabial Stop을 활용한 실험 결과를 도시한 도면.
도 27 및 도 28은 각각 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 Voiced Labiodental Fricative를 활용하는 경우를 도시한 도면.
도 29는 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부 및 데이터베이스의 연동을 도시한 도면.
도 30은 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 특정 단어로 파악하는 경우를 도시한 도면.
도 31은 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터베이스부를 도시한 도면.
도 32는 본 발명의 제3실시예에 따른 발화 구현 시스템을 도시한 도면.
도 33 및 도 34는 각각 본 발명의 제3실시예에 따른 발화 구현 시스템의 데이터베이스부의 실제 형태를 도시한 도면.
도 35는 본 발명의 제4실시예에 따른 발화 구현 시스템을 도시한 도면.
도 36은 본 발명의 제4실시예에 따른 발화 구현 시스템의 센서부, 데이터해석부, 데이터표현부 및 데이터베이스부의 연동을 도시한 도면.
도 37 내지 도 41은 각각 본 발명의 제4실시예에 따른 발화 구현 시스템의 데이터표현부가 언어데이터를 표현하는 수단을 도시한 도면.
도 42는 본 발명의 제4실시예에 따른 발화 구현 시스템의 데이터표현부가 언어데이터를 시각적 및 청각적으로 표현하는 경우를 도시한 도면.
도 43은 본 발명의 제4실시예에 따른 발화 구현 시스템의 데이터표현부가 언어데이터를 시각적으로 표현하는 경우를 도시한 도면.
도 44는 본 발명의 제4실시예에 따른 발화 구현 시스템의 데이터표현부가 언어데이터를 시각적으로 표현하는 경우를 도시한 도면.
도 45는 본 발명의 제4실시예에 따른 발화 구현 시스템의 데이터표현부가 언어데이터를 연속 발화 단위로 표현하는 경우를 도시한 도면.
도 46은 본 발명의 제4실시예에 따른 발화 구현 시스템이 활용하는 Confusion Matrix를 도시한 도면.
도 47은 본 발명의 제4실시예에 따른 발화 구현 시스템이 활용하는 Confusion Matrix를 백분율로 도시한 도면.
도 48은 본 발명의 제4실시예에 따른 발화 구현 시스템이 화면을 통해 화자로 하여금 언어 교정 및 지도를 돕는 경우를 도시한 도면.
도 49는 본 발명의 제4실시예에 따른 발화 구현 시스템이 두경부 조음기관의 외상을 촬상하고 파악하는 경우를 도시한 도면.
도 50은 본 발명의 제4실시예에 따른 발화 구현 시스템이 표준 발화 특징 행렬을 통해 상호 정보들을 결합시키는 경우를 도시한 도면.
도 51은 본 발명의 촬상 센서가 촬상하는 화자의 비언어적 표현을 도시한 도면.
도 52는 본 발명의 텍스정보부가 음성정보를 생성하는 경우를 도시한 도면.
도 53은 본 발명의 텍스트정보부가 활용하는 음소 단위 색인의 Frequency Table일부 예시를 도시한 도면
도 54는 본 발명의 텍스트정보부가 활용하는 음소 단위 색인의 Frequency Table일부 예시를 도시한 또 다른 도면1 is a view showing a sensor unit of an utterance realization system according to a first embodiment of the present invention.
2 is a view showing the position of the sensor unit of the utterance realization system according to the first embodiment of the present invention.
3 is a diagram illustrating an utterance realization system according to a first embodiment of the present invention.
4 is a view showing the positional name of the oral tongue used in the speech realization system according to the first embodiment of the present invention.
5 is a diagram illustrating the operation of oral language for vowel utterance utilized in the utterance realization system according to the first embodiment of the present invention.
6 to 10 are views showing various oral tongue sensors of the speech realization system according to the first embodiment of the present invention, respectively.
11 and 12 are a cross-sectional view and a perspective view showing the attachment state of the oral tongue sensor of the speech realization system according to the first embodiment of the present invention, respectively.
13 is a view showing a circuit part of the oral tongue sensor of the speech realization system according to the first embodiment of the present invention.
14 is a view showing various utilization states of the oral tongue sensor of the speech realization system according to the first embodiment of the present invention.
15 is a diagram illustrating an utterance realization system according to a second embodiment of the present invention.
16 is a diagram illustrating a principle of a data analysis unit identifying an utterance characteristic of the utterance realization system according to the second embodiment of the present invention.
17 is a diagram illustrating a principle of identifying the physical characteristics of the articulation organ measured by the data analysis unit of the speech realization system according to the second embodiment of the present invention as speech characteristics.
18 is a diagram illustrating a standard utterance feature matrix for vowels utilized by the data analysis unit of the utterance realization system according to the second embodiment of the present invention.
19 is a diagram illustrating a standard speech feature matrix for consonants utilized by the data analysis unit of the speech realization system according to the second embodiment of the present invention.
20 is a diagram illustrating an algorithm process used by the data analysis unit of the speech realization system according to the second embodiment of the present invention to determine the physical characteristics of the articulation organ as speech characteristics.
21 is a diagram illustrating in detail an algorithm process used by the data analysis unit of the speech realization system according to the second embodiment of the present invention to determine the physical characteristics of the articulatory organ as speech characteristics.
22 is a diagram illustrating in detail the principle of an algorithm process used by the data analysis unit of the speech realization system according to the second embodiment of the present invention to identify the physical characteristics of the articulatory organ as speech characteristics.
FIG. 23 is a diagram illustrating an algorithm process in which an oral tongue sensor of a speech realization system according to a second embodiment of the present invention recognizes a specific vowel uttered as a speech feature.
24 is a diagram illustrating a case in which the data analysis unit of the speech realization system according to the second embodiment of the present invention utilizes Alveolar Stop.
25 is a diagram illustrating a case in which the data analysis unit of the utterance realization system uses Bilabial Stop according to the second embodiment of the present invention.
26 is a view showing an experimental result using Voiced Bilabial Stop by the data analysis unit of the speech realization system according to the second embodiment of the present invention.
27 and 28 are diagrams each illustrating a case in which the data analysis unit of the speech realization system according to the second embodiment of the present invention utilizes Voiced Labiodental Fricative.
29 is a diagram illustrating interworking of a data analysis unit and a database of the speech realization system according to the second embodiment of the present invention.
30 is a diagram illustrating a case in which the data analysis unit of the speech realization system according to the second embodiment of the present invention recognizes a specific word.
31 is a diagram illustrating a database unit of a speech realization system according to a second embodiment of the present invention;
32 is a diagram illustrating an utterance realization system according to a third embodiment of the present invention.
33 and 34 are diagrams each showing an actual form of a database unit of an utterance realization system according to a third embodiment of the present invention;
35 is a diagram illustrating an utterance realization system according to a fourth embodiment of the present invention;
36 is a diagram showing the interworking of a sensor unit, a data analysis unit, a data expression unit, and a database unit of the speech realization system according to the fourth embodiment of the present invention.
37 to 41 are views each showing means for expressing language data by the data expression unit of the speech realization system according to the fourth embodiment of the present invention;
42 is a diagram illustrating a case in which the data expression unit of the speech realization system according to the fourth embodiment of the present invention expresses language data visually and audibly.
43 is a diagram illustrating a case in which the data expression unit of the speech realization system according to the fourth embodiment of the present invention visually expresses language data.
44 is a diagram illustrating a case in which the data expression unit of the speech realization system visually expresses language data according to the fourth embodiment of the present invention.
45 is a diagram illustrating a case in which the data expression unit of the speech implementation system according to the fourth embodiment of the present invention expresses language data in units of continuous speech.
46 is a diagram illustrating a confusion matrix utilized by the utterance realization system according to the fourth embodiment of the present invention.
47 is a diagram illustrating a Confusion Matrix utilized by the utterance realization system according to the fourth embodiment of the present invention as a percentage;
48 is a diagram illustrating a case in which the speech realization system according to the fourth embodiment of the present invention assists the speaker with language correction and guidance through the screen.
49 is a diagram illustrating a case in which the speech realization system according to the fourth embodiment of the present invention captures and detects trauma to the head and neck articulatory organ.
50 is a diagram illustrating a case in which the speech implementation system according to the fourth embodiment of the present invention combines mutual information through a standard speech feature matrix.
Fig. 51 is a diagram showing a non-verbal expression of a speaker captured by the imaging sensor of the present invention;
52 is a diagram illustrating a case in which the text information unit of the present invention generates voice information.
53 is a view showing a partial example of the frequency table of the phoneme unit index utilized by the text information unit of the present invention;
54 is another view showing a partial example of the frequency table of the phoneme unit index utilized by the text information unit of the present invention.

이하, 첨부된 도면을 참조하면서 본 발명의 일실시예에 따른 발화 개선 가이드 및 피드백 을 위한 두경부 조음기관의 물리 특성을 이용한 발화 구현 시스템에 대해 상세히 설명하기로 한다. Hereinafter, a speech implementation system using the physical characteristics of the head and neck articulatory organ for speech improvement guide and feedback according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 하기의 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리범위를 제한하거나 이를 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술 분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다. It goes without saying that the following examples of the present invention are not intended to limit the scope of the present invention or to limit the scope of the present invention only to embody the present invention. What can be easily inferred by an expert in the technical field to which the present invention belongs from the detailed description and examples of the present invention is construed as belonging to the scope of the present invention.

본 발명을 실시하기 위한 내용을 도 1부터 도 54을 기반으로 상세히 설명하고자 한다. The contents for carrying out the present invention will be described in detail with reference to FIGS. 1 to 54 .

도 1은 본 발명의 제1실시예에 따른 발화 구현 시스템의 센서부를 도시한 도면이고, 도 2는 본 발명의 제1실시예에 따른발화 개선 가이딩 및 피드백 시스템의 센서부의 위치를 도시한 도면이고, 도 3은 본 발명의 제1실시예에 따른 발화 구현 시스템을 도시한 도면이다.1 is a view showing the sensor unit of the speech realization system according to the first embodiment of the present invention, Figure 2 is a view showing the position of the sensor unit of the ignition improvement guiding and feedback system according to the first embodiment of the present invention and FIG. 3 is a diagram illustrating an utterance realization system according to a first embodiment of the present invention.

도 1, 도 2 및 도 3에 도시한 바와 같이, 본 발명의 제1실시예에 따른 발화 구현 시스템에서, 센서부(100)는 두경부에 위치하는 구강설 센서(110), 안면 센서(120), 음성 취득 센서(130), 성대 센서(140), 치아센서(150)로 구성된다.1, 2 and 3, in the speech implementation system according to the first embodiment of the present invention, the sensor unit 100 includes an oral tongue sensor 110 and a facial sensor 120 located in the head and neck region. , is composed of a voice acquisition sensor 130 , a vocal cord sensor 140 , and a tooth sensor 150 .

더욱 자세히는 두경부에 위치하는 구강설 센서(110), 안면 센서(120), 음성 취득 센서(130), 성대 센서(140), 치아센서(150)는, 각 센서들이 위치하는 센서부의 위치(210), 화자(10)의 발화에 따른 발화 특징(220), 화자의 음성(230), 발화 내역 정보(240), 발화 변이(250)에 대한 데이터를 제공한다. In more detail, the oral tongue sensor 110, the facial sensor 120, the voice acquisition sensor 130, the vocal cord sensor 140, and the dental sensor 150 located in the head and neck region are the position 210 of the sensor unit where each sensor is located. ), utterance characteristics 220 according to the utterance of the speaker 10 , the speaker's voice 230 , utterance history information 240 , and utterance variation 250 are provided.

데이터해석부(200)는 이러한 데이터들을 취득하고, 데이터변환부(300)는 이러한 데이터를 언어데이터(310)로 처리한다.The data analysis unit 200 acquires these data, and the data conversion unit 300 processes these data as language data 310 .

도 4는 본 발명의 제1실시예에 따른 발화 구현 시스템에서 활용되는 구강설의 위치적 명칭을 도시한 도면이고, 도 5는 본 발명의 제1실시예에 따른 발화 구현 시스템에서 활용되는 모음 발화를 위한 구강설의 작용을 도시한 도면이다. 4 is a view showing the positional names of oral tongues used in the speech realization system according to the first embodiment of the present invention, and FIG. 5 is a vowel utterance used in the speech realization system according to the first embodiment of the present invention. It is a diagram showing the action of oral seol for

도 4 및 도 5에 도시한 바와 같이, 구강설 센서(110)의 경우, 구강설(12)의 일측면에 고착되거나, 그 표면을 감싸거나, 그 내부에 삽입되며, 저고도, 전후설성, 굴곡도, 신전도, 회전도, 긴장도, 수축도, 이완도, 진동도 중 하나이상의 구강설 자체의 독립 물리 특성을 파악한다. 4 and 5, in the case of the oral tongue sensor 110, it is fixed to one side of the oral tongue 12, wraps around the surface, or is inserted therein, and is low-altitude, anterior-posterior, and flexion. Determine the independent physical properties of the oral tongue itself at least one of degree, extension degree, rotation degree, tension degree, contraction degree, relaxation degree, and vibration degree.

도 6 내지 도 10은 각각 본 발명의 제1실시예에 따른 발화 구현 시스템의 다양한 구강설 센서를 도시한 도면이다.6 to 10 are views showing various oral tongue sensors of the speech realization system according to the first embodiment of the present invention, respectively.

도 6 및 도 7에 도시한 바와 같이, 구강설(12) 자체의 독립 물리 특성을 파악함에 있어서, 구강설 센서(110)는 x축, y축, z축 방향의 가속도 및 단위 시간 당 회전하는 각도의 변화량(각속도) 중 적어도 하나를 파악함으로써, 구강설(12)을 포함한 다른 조음기관의 물리 특성에 의한 발화 특징(220)을 파악한다. 6 and 7, in determining the independent physical properties of the oral tongue 12 itself, the oral tongue sensor 110 rotates per unit time and acceleration in the x-axis, y-axis, and z-axis directions. By grasping at least one of the amount of change of the angle (angular velocity), the speech characteristics 220 based on the physical characteristics of other articulatory organs including the oral tongue 12 are grasped.

도 8에 도시한 바와 같이, 구강설 센서(110)는 발화에 따른 구강설(12)의 수축 내지 이완으로 발생하는 물리력에 따라 결정 구조(111)의 변화에 의해 편극이 발생하여 전기신호가 발생하는 압전소자(112)를 통해 구강설(12)의 굽힘도를 파악함으로써, 구강설(12)을 포함한 조음기관의 물리 특성에 의한 발화 특징(220)을 파악할 수 있다. As shown in FIG. 8 , the oral tongue sensor 110 is polarized by a change in the crystal structure 111 according to the physical force generated by the contraction or relaxation of the oral tongue 12 according to the ignition, thereby generating an electrical signal. By grasping the degree of bending of the oral tongue 12 through the piezoelectric element 112 to, it is possible to grasp the firing characteristics 220 according to the physical characteristics of the articulatory organ including the oral tongue 12.

도 9에 도시한 바와 같이, 구강설 센서(110)는 구강설(12)이 두경부 내외의 다른 조음기관과의 상호작용에 의해 생기는 접근 및 접촉에 의해 발생하는 마찰전기(Tribo Electric Generator)에 따른 연계 물리 특성을 파악하기 위해 마찰대전소자(113)를 사용하여 화자의 발화 특징(220)을 파악한다. As shown in Fig. 9, the oral tongue sensor 110 uses a tribo electric generator generated by the approach and contact caused by the interaction of the oral tongue 12 with other articulatory organs inside and outside the head and neck. In order to grasp the associated physical characteristics, the speaker's utterance characteristics 220 are identified using the triboelectric charging element 113 .

도 10에 도시한 바와 같이, 통합된 구강설 센서(110)는 x축, y축, z축 방향의 가속도 및 각속도, 압전에 의한 전기신호, 접촉에 의한 마찰전기를 이용하여 구강설(12)을 포함하는 조음기관의 물리 특성에 의한 발화 특징(220)을 파악한다.As shown in FIG. 10, the integrated oral tongue sensor 110 uses acceleration and angular velocity in the x-axis, y-axis, and z-axis directions, an electrical signal by piezoelectricity, and friction electricity by contact. The speech characteristics 220 by the physical characteristics of the articulation organ including

도 11 및 도 12는 각각 본 발명의 제1실시예에 따른 발화 구현 시스템의 구강설 센서의 부착상태를 도시한 단면도 및 사시도이다. 11 and 12 are sectional views and perspective views, respectively, showing the attachment state of the oral tongue sensor of the speech realization system according to the first embodiment of the present invention.

도 11 및 도 12에 도시한 바와 같이, 구강설 센서(110)는 복합 박막 회로로 구성되어 단일한 필름 형태로 구현될 수 있다. 이때, 구강설 센서(110)는 센서부(100)를 작동하기 위한 회로부(114), 회로부(114)를 감싸는 캡슐부(115), 구강설 센서(110)를 구강설(12)의 일면에 고착시키는 접착부(116)로 구성된다.11 and 12, the oral tongue sensor 110 may be implemented in the form of a single film composed of a complex thin film circuit. At this time, the oral tongue sensor 110 includes the circuit part 114 for operating the sensor part 100, the capsule part 115 surrounding the circuit part 114, and the oral tongue sensor 110 on one surface of the oral tongue 12. It is composed of an adhesive portion 116 for fixing.

도 6 내지 도 9에 도시한 바와 같이, 구강설 센서(110)는 각 센서의 특징에 따라 두경부 내외의 다른 조음기관과의 인접 내지 응접에 의해 생기는 파열도, 마찰도, 공명도, 접근도 중 하나 이상의 물리 특성을 파악할 수 있다. As shown in Figures 6 to 9, the oral tongue sensor 110 is a degree of rupture, friction, resonance, and approach caused by proximity or contact with other articulatory organs inside and outside the head and neck according to the characteristics of each sensor. One or more physical properties may be identified.

도 13은 본 발명의 제1실시예에 따른 발화 구현 시스템의 구강설 센서의 회로부를 도시한 도면이다.13 is a diagram illustrating a circuit part of the oral tongue sensor of the utterance realization system according to the first embodiment of the present invention.

도 13에 도시한 바와 같이, 구강설 센서(110)의 회로부(114)는 통신칩, 센싱회로, MCU로 구성된다.13, the circuit unit 114 of the oral tongue sensor 110 is composed of a communication chip, a sensing circuit, and an MCU.

도 14는 본 발명의 제1실시예에 따른 발화 구현 시스템의 구강설 센서의 다양한 활용상태를 도시한 도면이다.14 is a view showing various usage states of the oral tongue sensor of the speech realization system according to the first embodiment of the present invention.

도 14에 도시한 바와 같이, 구강설 센서(110)는 화자의 다양한 자모음의 발화에 따른 구강설(12)의 상태를 파악하여, 자모음 발화에 따른 발화 특징(220)을 파악할 수 있다. As shown in FIG. 14 , the oral tongue sensor 110 may determine the state of the oral tongue 12 according to the speaker's utterance of various consonant consonants, and thereby determine the speech characteristics 220 according to the consonant utterance.

예를 들어, 구강설 센서(110)는 Bilabial Sound (양순음), Alveolar Sound (치경음), Palatal Sound (구개음)에 따른 발화 특징(220)을 파악할 수 있다.For example, the oral tongue sensor 110 may recognize the speech characteristics 220 according to a bilabial sound (labial sound), an alveolar sound (alveolar sound), and a Palatal sound (palatal sound).

도 15는 본 발명의 제2실시예에 따른 발화 구현 시스템을 도시한 도면이다. 15 is a diagram illustrating an utterance realization system according to a second embodiment of the present invention.

도 15에 도시한 바와 같이, 본 발명의 제2실시예에 따른 발화 구현 시스템에서, 구강설 센서(110), 안면 센서(120), 음성취득센서(130), 성대센서(140), 치아센서(150)로 이루어진 두경부 조음기관 인근의 센서부(100)는, 두경부 조음기관에서 센서가 위치한 센서부의 위치(210), 발화에 따른 발화특징(220), 발화에 따른 화자의 음성(230), 발화의 시작, 발화 정지, 발화 종료를 포함하는 발화 내역 정보(240)을 파악한다. 15, in the speech implementation system according to the second embodiment of the present invention, the oral tongue sensor 110, the facial sensor 120, the voice acquisition sensor 130, the vocal cord sensor 140, and the tooth sensor The sensor unit 100 in the vicinity of the head and neck articulatory organ consisting of 150 includes a position 210 of the sensor in which the sensor is located in the head and neck articulation organ, a speech characteristic according to the speech 220, the speaker's voice according to the speech 230, The utterance history information 240 including utterance start, utterance stop, and utterance end is identified.

이때, 발화 특징(220)은, 인간이 발화할 때 발생하는 페쇄파열음화, 마찰음화, 파찰음화도, 비음화, 유음화, 활음화, 치찰음화, 유무성음화, 성문음화 중 하나이상의 기본적인 물리적 발화 특징을 의미한다. 또한, 화자의 음성(230)은, 발화 특징으로 인해 함께 수반되는 청각적인 발화 특징이다. 그리고, 발화 내역 정보(240)는, 성대 센서(140)를 통한 것으로, 성대의 근전도 내지 떨림으로 그 정보를 파악한다. At this time, the speech characteristics 220 include one or more basic physical speech characteristics of closed rupture, fricative, fricative, nasal, consonant, active, sibilization, unvoiced, and glottal consonants that occur when a human utters. it means. Also, the speaker's voice 230 is an auditory utterance characteristic that accompanies the utterance characteristic. And, the utterance history information 240 is transmitted through the vocal cord sensor 140, and the information is grasped by electromyography or tremor of the vocal cords.

데이터해석부(200)는, 구강설 센서(110), 안면 센서(120), 음성취득센서(130), 성대센서(140), 치아센서(150)로 이루어진 두경부 조음기관 인근의 센서부(100)가 측정한 화자의 조음기관 물리특성에서 화자의 성별, 인종, 나이, 모국어에 따라 발생하는 발화 변이(250)를 파악한다. The data analysis unit 200 is a sensor unit 100 near the head and neck articulatory organ consisting of an oral tongue sensor 110 , a facial sensor 120 , a voice acquisition sensor 130 , a vocal cord sensor 140 , and a tooth sensor 150 . ), the speech variation 250 that occurs according to the speaker's gender, race, age, and native language is identified from the speaker's articulation organ physical characteristics measured by .

이때, 발화 변이(250)는 자모음의 동화(Assimilation), 이화(Dissimilation), 탈락(Elision), 첨가(Attachment), 강세(Stress), 약화(Reduction)로 야기되는 기식음화 (Asperation), 음절성자음화(Syllabic cosonant), 탄설음화(Flapping), 경음화(Tensification), 순음화(Labilalization), 연구개음화(Velarization), 치음화(Dentalizatiom), 구개음화 (Palatalization), 비음화(Nasalization), 강세변화(Stress Shift), 장음화(Lengthening) 중 하나이상의 이차조음현상을 포함한다.At this time, the speech variation 250 is assimilation, dissimilation, elimination, attachment, stress, and reduction of consonant vowels. Syllabic cosonant, Flapping, Tensification, Labilalization, Velarization, Dentalizatiom, Palatalization, Nasalization, Stress change ( Stress Shift) and lengthening include one or more secondary articulation phenomena.

데이터변환부(300)는, 두경부 조음기관 센서들(110, 120, 130, 140, 150)에 의해 측정된 센서부의 위치(210), 발화에 따른 발화특징(220), 발화에 따른 화자의 음성(230), 발화 내역 정보(240), 발화 변이(250)를 언어데이터(310)로 인지하여 처리한다. The data conversion unit 300 includes a position 210 of the sensor unit measured by the head and neck articulatory organ sensors 110 , 120 , 130 , 140 , 150 , an utterance characteristic 220 according to the utterance, and the speaker's voice according to the utterance ( 230 ), the utterance history information 240 , and the utterance variation 250 are recognized and processed as the language data 310 .

이때, 데이터변환부(300)가 언어데이터(310)를 인지하여 처리함에 있어서, 데이터해석부(200)는 데이터베이스부(350)와 연동된다. At this time, when the data conversion unit 300 recognizes and processes the language data 310 , the data analysis unit 200 is interlocked with the database unit 350 .

데이터베이스부(350)는, 자모음의 음소단위(361), 색인 음절 단위 색인(362), 단어단위 색인(363), 구절단위 색인(364), 문장단위 색인(365), 연속 발화 색인(366), 발음의 고저 색인(367)을 포함하는 언어 데이터 색인(360)을 가지고 있다. 이러한 언어 데이터 색인(360)을 통해, 데이터해석부(200)는 센서부(100)에서 취득된 다양한 발화 관련 정보들을 언어데이터로 처리할 수 있게 된다. The database unit 350 includes a phoneme unit 361 of consonants and vowels, an index syllable unit index 362 , a word unit index 363 , a phrase unit index 364 , a sentence unit index 365 , and a continuous utterance index 366 . ), has a linguistic data index 360 including a high and low index 367 of pronunciation. Through the language data index 360 , the data analysis unit 200 can process various utterance-related information acquired from the sensor unit 100 as language data.

도 16은 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 발화 특징을 파악하는 원리를 도시한 도면이고, 도 17은 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 측정된 조음기관의 물리 특성을 발화 특징으로 파악하는 원리를 도시한 도면이고, 도 18은 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 활용하는 모음에 관한 표준 발화 특징 행렬을 도시한 도면이고, 도 19는 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 활용하는 자음에 관한 표준 발화 특징 행렬을 도시한 도면이다.16 is a diagram illustrating the principle of the data analysis unit grasping the speech characteristics of the speech realization system according to the second embodiment of the present invention, and FIG. 17 is a data analysis unit of the speech realization system according to the second embodiment of the present invention. It is a diagram showing the principle of recognizing the measured physical characteristics of the articulatory organ as speech characteristics, and FIG. 18 shows a standard speech feature matrix regarding vowels used by the data analysis unit of the speech realization system according to the second embodiment of the present invention. 19 is a diagram illustrating a standard speech feature matrix for consonants utilized by the data analysis unit of the speech realization system according to the second embodiment of the present invention.

도 16, 도 17, 도 18 및 도 19에 도시한 바와 같이, 데이터해석부(200)는, 구강설 센서(110)를 포함한 센서부(100)로부터 측정된 조음기관의 물리 특성을 먼저 획득한다. 구강설 센서(110)로 인해 조음기관 물리 특성이 획득된 경우, 구강설 센서(110)는 조음기관 물리 특성을 센싱하면서 센싱된 물리 특성의 행렬값을 만든다. 16 , 17 , 18 and 19 , the data analysis unit 200 first acquires the physical characteristics of the articulation organ measured from the sensor unit 100 including the oral tongue sensor 110 . . When physical characteristics of the articulation organ are acquired by the oral tongue sensor 110 , the oral tongue sensor 110 creates a matrix value of the sensed physical characteristics while sensing the physical characteristics of the articulation organ.

이후, 데이터해석부(200)는, 자모음의 표준 발화 특징 행렬(205)에서 이러한 물리 특성의 행렬값에 대응하는 자모음의 발화특징(220)을 파악한다. 이때 자모음의 표준 발화 특징 행렬(205)는 그 내부의 값들이 자모음 발화 기호, 2진수 내지 실수 중 하나이상으로 존재할 수 있다.Thereafter, the data analysis unit 200 detects the speech feature 220 of the consonant vowel corresponding to the matrix value of the physical property from the standard speech feature matrix 205 of the consonant. In this case, in the standard utterance feature matrix 205 of consonants, values therein may exist as one or more of consonant utterances, binary numbers, or real numbers.

도 20은 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 조음기관의 물리 특성을 발화 특징으로 파악하기 위하여 활용하는 알고리즘 프로세스를 도시한 도면이다. 20 is a diagram illustrating an algorithm process used by the data analysis unit of the speech realization system according to the second embodiment of the present invention to determine the physical characteristics of the articulatory organ as speech characteristics.

도 20에 도시한 바와 같이, 데이터해석부(200)가 활용하는 알고리즘 프로세스는, 센서부(100)에 의해 측정된 조음기관의 물리 특성을 파악함에 있어서, 조음기관의 물리 특성을 취득하는 단계, 취득된 조음기관의 물리 특성이 가지고 있는 각 자모음 단위의 패턴을 파악하는 단계, 각 자모음 패턴으로부터 고유한 특징을 추출하는 단계, 추출된 특징들을 분류하는 단계, 분류된 패턴의 특징들을 재조합하는 단계로 이루어지고, 이를 통해 최종적으로 특정 발화 특징으로 파악한다.As shown in FIG. 20, the algorithm process utilized by the data analysis unit 200 includes the steps of acquiring the physical characteristics of the articulation organ in recognizing the physical characteristics of the articulation organ measured by the sensor unit 100; Identifying the pattern of each consonant unit of the acquired physical characteristics of the articulatory organ, extracting unique features from each consonant pattern, classifying the extracted features, recombining the features of the classified pattern It consists of steps, and through this, it is finally identified as a specific utterance characteristic.

도 21은 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 조음기관의 물리 특성을 발화 특징으로 파악하기 위하여 활용하는 알고리즘 프로세스를 상세히 도시한 도면이고, 도 22는 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 조음기관의 물리 특성을 발화 특징으로 파악하기 위하여 활용하는 알고리즘 프로세스의 원리를 상세히 도시한 도면이고, 도 23은 본 발명의 제2실시예에 따른 발화 구현 시스템의 구강설 센서가 발화된 특정 모음을 발화 특징으로 파악하는 알고리즘 프로세스를 도시한 도면이다.21 is a diagram illustrating in detail an algorithm process used by the data analysis unit of the speech realization system according to the second embodiment of the present invention to identify the physical characteristics of the articulatory organ as the speech characteristics, and FIG. 22 is the second embodiment of the present invention. It is a diagram showing in detail the principle of an algorithm process used by the data analysis unit of the speech realization system according to the embodiment to identify the physical characteristics of the articulatory organ as the speech characteristics, and FIG. 23 is the speech implementation according to the second embodiment of the present invention. It is a diagram showing an algorithmic process in which the oral tongue sensor of the system identifies a specific vowel uttered as a utterance feature.

도 21, 도 22 및 도 23에 도시한 바와 같이, 데이터해석부(200)가 진행하는 발화 특징 파악 알고리즘에 있어서, 각 자모음의 단위의 패턴을 파악하는 단계는, 조음기관 물리특성을 파악한 센서부(100)가 구강설(12)일 경우에 x, y, z축을 기반으로 그 자모음 단위의 패턴을 파악한다. As shown in FIGS. 21, 22 and 23 , in the speech characteristic determination algorithm performed by the data analysis unit 200, the step of recognizing the unit pattern of each consonant is a sensor that grasps the physical characteristics of the articulation organ When the part 100 is the oral tongue 12, the pattern of the consonant-vowel unit is determined based on the x, y, and z axes.

이때, 알고리즘은 K-nearset Neihbor(KNN), Artificial Neural Network(ANN), Convolutional Neural Network(CNN), Recurrent Neural Network(RNN), Restricted Boltzmann Machine(RBM), Hidden Markov Model(HMM) 중 하나이상의 알고리즘에 기반할 수 있다. At this time, the algorithm is one or more of K-nearset Neihbor (KNN), Artificial Neural Network (ANN), Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), and Hidden Markov Model (HMM). can be based on

예를 들어,도 22, 도 23에서, 구강설 센서(110)가 벡터량의 변화량 내지 각도 변화량을 파악하는 센서로 구동될 경우, 화자의 발화를 측정함으로써 벡터량의 변화량, 각도 변화량을 파악하고, 이를 통해 고설성(Tongue Height)과 전설성(Tongue Frontness)을 가지는 모음 [i]으로 인지한다. For example, in FIGS. 22 and 23 , when the oral tongue sensor 110 is driven as a sensor that detects the amount of change in the vector amount or the amount of change in the angle, the amount of change in the vector amount and the amount of change in the angle are determined by measuring the speaker's utterance, and this It is recognized as a vowel [i] with Tongue Height and Tongue Frontness.

또한, 구강설 센서(110)가 압전신호 내지 마찰전기신호의 원리로 구동되는 센서일 경우, 압전에 따른 전기 신호 변화와 구강설 센서(110)와 구강 내외부의 조음기관과 근접 내지 마찰하여 발생하는 마찰전기신호를 파악하여 고설성과 전설성을 가지는 모음 [i]으로 인지한다. In addition, when the oral tongue sensor 110 is a sensor driven by the principle of a piezoelectric signal or a triboelectric signal, an electrical signal change according to the piezoelectric force and the oral tongue sensor 110 and the oral cavity sensor 110 and the inside and outside of the oral cavity are in proximity or friction. It recognizes the triboelectric signal and recognizes it as a vowel [i] with old-fashioned and legendary properties.

모음 [u]의 경우에도 같은 원리들을 기반으로, 고설성(Tongue Height: High)과 후설성(Backness)를 측정하여 해당 모음으로 파악하게 된다. [ ]의 경우에도 같은 원리들을 기반으로, 저설성(Tongue Height: Low)r과 전설성(Tongue Frontness)를 측정하여 해당 모음으로 파악한다. In the case of vowel [u], based on the same principles, Tongue Height: High and Backness are measured and identified as the corresponding vowel. In the case of [ ] , based on the same principles, Tongue Height: Low)r and Tongue Frontness are measured and identified as the corresponding vowel.

도 23에서, 구강설 센서(110)는 화자의 발화에 따라 발생한 [i], [u], [ ]과 같은 모음을 발화 특징(220)으로 측정한다. 이러한 모음의 발화 특징(220)은 데이터베이스부(350)의 자모음의 음소 단위 색인(361)에 대응한다. In FIG. 23 , the oral tongue sensor 110 measures vowels such as [i], [u], and [ ] generated according to the speaker's utterance as the speech feature 220 . The speech feature 220 of such a vowel corresponds to the phoneme unit index 361 of the consonant vowel of the database unit 350 .

도 24는 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 Alveolar Stop을 활용하는 경우를 도시한 도면이다.24 is a diagram illustrating a case in which the data analysis unit of the utterance realization system uses Alveolar Stop according to the second embodiment of the present invention.

도 24에 도시한 바와 같이, 구강설 센서(110)는 화자에 의해 발화된 특정 자음을 발화 특징(220)으로 측정한다. 이러한 자음의 발화 특징(220)은 데이터베이스부(350)의 자모음의 음소 단위 색인(361)에 대응되며, 이를 데이터해석부(200)가 언어데이터(310)인 Alveolar Stop으로 파악한다.As shown in FIG. 24 , the oral tongue sensor 110 measures a specific consonant uttered by the speaker as a speech feature 220 . The speech characteristics 220 of these consonants correspond to the phoneme unit index 361 of the consonants and vowels of the database unit 350 , and the data analysis unit 200 recognizes them as Alveolar Stop, which is the language data 310 .

도 25는 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 Bilabial Stop을 활용하는 경우를 도시한 도면이다.25 is a diagram illustrating a case in which the data analysis unit of the utterance realization system uses Bilabial Stop according to the second embodiment of the present invention.

도 25에 도시한 바와 같이, 구강설 센서(110)와 안면 센서(120)는 화자에 의해 발화된 특정 자음을 발화 특징(220)으로 측정한다. 이러한 자음의 발화 특징(220)은 데이터베이스부(350)의 자모음의 음소 단위 색인(361)에 대응되며, 이를 데이터해석부(200)가 언어데이터(310)인 Bilabial Stop으로 파악한다.25 , the oral tongue sensor 110 and the facial sensor 120 measure a specific consonant uttered by a speaker as a speech feature 220 . The utterance characteristics 220 of these consonants correspond to the phoneme unit index 361 of the consonants of the database unit 350 , and the data analysis unit 200 recognizes this as a bilabial stop that is the language data 310 .

도 26은 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 Voiced Bilabial Stop을 활용한 실험 결과를 도시한 도면이다.26 is a diagram illustrating an experimental result using Voiced Bilabial Stop by the data analysis unit of the speech realization system according to the second embodiment of the present invention.

도 26에 도시한 바와 같이, 구강설 센서(110)와 안면 센서(120)는 화자에 의해 발화된 특정 자음을 발화 특징(220)으로 측정한다. 이러한 자음의 발화 특징(220)은 데이터베이스부(350)의 자모음의 음소 단위 색인(361)에 대응되며, 이를 데이터해석부(200)가 언어데이터(310)인 Voiced Bilabial Stop인 /버/와 Voiceless Bilabial Stop인 /퍼/로 파악하였다.As shown in FIG. 26 , the oral tongue sensor 110 and the facial sensor 120 measure a specific consonant uttered by a speaker as a speech feature 220 . The speech characteristics 220 of these consonants correspond to the phoneme unit index 361 of the consonant vowels of the database unit 350, and the data analysis unit 200 uses the language data 310, Voiced Bilabial Stop, /bur/ and It was identified as /Pur/, which is a Voiceless Bilabial Stop.

도 27 및 도 28은 각각 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 Labiodental Fricatives를 활용하는 경우를 도시한 도면이다.27 and 28 are diagrams illustrating a case in which the data analysis unit of the speech realization system according to the second embodiment of the present invention utilizes Labiodental Fricatives, respectively.

도 27 및 도 28에 도시한 바와 같이, 구강설 센서(110), 안면 센서(120), 음성취득센서(130). 성대센서(140), 치아센서(150)은 화자에 의해 발화된 특정 자음을 발화 특징(220)으로 측정한다. 이러한 자음의 발화 특징(220)은 데이터베이스부(350)의 자모음의 음소 단위 색인(361)에 대응되며, 이를 데이터해석부(200)가, 도 27의 경우 언어데이터(310)인 Voiceless Labiodental Fricative, 도 28의 경우에는 Voiced Labiodental Fricative로 파악한다.27 and 28 , the oral tongue sensor 110 , the facial sensor 120 , and the voice acquisition sensor 130 . The vocal cord sensor 140 and the tooth sensor 150 measure a specific consonant uttered by the speaker as the speech feature 220 . The speech characteristics 220 of these consonants correspond to the phoneme unit index 361 of the consonants of the database unit 350, and the data analysis unit 200, in the case of FIG. , in the case of Figure 28 is identified as Voiced Labiodental Fricative.

도 29는 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부 및 데이터베이스의 연동을 도시한 도면이다.29 is a diagram illustrating the interworking of the data analysis unit and the database of the speech realization system according to the second embodiment of the present invention.

도 29에 도시한 바와 같이, 촬상 센서(160)는 화자가 구강설 센서(110), 안면 센서(120), 음성취득센서(130). 성대센서(140), 치아센서(150) 중 하나이상을 사용하는 상황에서 발화할 시에 발생하는 두경부의 조음기관 위치 변화 정보(161), 두경부 표정 변화 정보(162), 비언어적 표현 정보(163)를 음성데이터(310)로 인지하여 처리한다. As shown in FIG. 29 , the imaging sensor 160 includes the speaker's oral tongue sensor 110 , a facial sensor 120 , and a voice acquisition sensor 130 . Information on the position of the articulatory organ of the head and neck that occurs when one or more of the vocal cord sensor 140 and the tooth sensor 150 is used in a situation where one or more of them is used (161), information on the change in facial expression of the head and neck (162), non-verbal expression information (163) is recognized as voice data 310 and processed.

특히, 두경부의 일면에 위치한 안면 센서는 레퍼런스 센서(121)를 기준으로 양극 센서(122)와 음극 센서(123)의 전위차를 가지고 그 자체 위치를 제공하며, 이는 촬상 센서(160)가 촬상함으로써 파악되는 물리적인 두경부의 조음기관 위치 변화 정보(161), 두경부 표정 변화 정보(162), 비언어적 표현 정보(163)와 함께 언어데이터(310)로 데이터변환부(300)에 전달된다.In particular, the facial sensor located on one surface of the head and neck region has a potential difference between the positive sensor 122 and the negative sensor 123 with respect to the reference sensor 121 and provides its own position, which is captured by the imaging sensor 160 . The physical head and neck articulatory organ position change information 161 , head and neck expression change information 162 , and non-verbal expression information 163 are transmitted to the data conversion unit 300 as verbal data 310 .

도 30은 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터해석부가 특정 단어로 파악하는 경우를 도시한 도면이다.30 is a diagram illustrating a case in which the data analysis unit of the speech realization system according to the second embodiment of the present invention recognizes a specific word.

도 30에 도시한 바와 같이, 구강설 센서(110), 안면 센서(120), 음성취득센서(130), 성대센서(140), 치아센서(150)가 화자에 의해 발화된 특정 자음과 모음을 측정하고, 데이터해석부(200)는 자음과 모음을 발화 특징(220)으로 파악한다. 이러한 각 자모음의 발화 특징(220)인 [b], [i], [f]는 데이터베이스부(350)의 자모음의 음소 단위 색인(361)에 각각 대응되며, 데이터해석부가 이를 /beef/ 내지 [bif]라는 단어로 파악한다.30, the oral tongue sensor 110, the facial sensor 120, the voice acquisition sensor 130, the vocal cord sensor 140, and the dental sensor 150 detect specific consonants and vowels uttered by the speaker. Measuring, the data analysis unit 200 identifies consonants and vowels as speech characteristics 220 . [b], [i], and [f], which are the utterance features 220 of each consonant, respectively, correspond to the phoneme unit index 361 of the consonant in the database unit 350, and the data analysis unit converts it to /beef/ or the word [bif].

도 31은 본 발명의 제2실시예에 따른 발화 구현 시스템의 데이터베이스부를 도시한 도면이다.31 is a diagram illustrating a database unit of an utterance realization system according to a second embodiment of the present invention.

도 31에 도시한 바와 같이, 데이터베이스부(350)의 언어데이터 색인(360)은 자모음의 음소단위 색인(361), 음절 단위 색인(362), 단어 단위 색인(363), 구절 단위 색인(364), 문장 단위 색인(365), 연속 발화 색인(366), 발음의 고저 색인(367)으로 구성된다.31, the language data index 360 of the database unit 350 includes a phoneme unit index 361 of consonants, a syllable unit index 362, a word unit index 363, and a phrase unit index 364. ), sentence unit index 365, continuous utterance index 366, and pronunciation high and low index 367.

도 32는 본 발명의 제3실시예에 따른 발화 구현 시스템을 도시한 도면이다.32 is a diagram illustrating an utterance realization system according to a third embodiment of the present invention.

도 32에 도시한 바와 같이, 데이터해석부(200)와 데이터표현부(도 34의 500) 중 하나 이상이 외부에 위치하여 작동할 경우, 연동되어 통신할 수 있는 통신부(400)를 포함된다. 통신부(400)는, 유선 및 무선으로 구현되며, 무선의 경우 블루투스, 와이파이, 3G, 4G, NFC 등 다양한 방법이 사용될 수 있다.As shown in Fig. 32, when one or more of the data analysis unit 200 and the data expression unit (500 in Fig. 34) is located outside and operates, a communication unit 400 capable of interworking and communication is included. The communication unit 400 is implemented as wired and wireless, and in the case of wireless, various methods such as Bluetooth, Wi-Fi, 3G, 4G, NFC, etc. may be used.

도 33 및 도 34는 각각 본 발명의 제3실시예에 따른 발화 구현 시스템의 데이터베이스부의 실제 형태를 도시한 도면이다.33 and 34 are diagrams showing the actual form of the database unit of the utterance realization system according to the third embodiment of the present invention, respectively.

도 33 및 도 34에 도시한 바와 같이, 데이터해석부(200)와 연동되는 데이터베이스부(350)는 언어데이터 색인을 가지고서 실제 발화에 따른 발화 특징(220), 화자의 음성(230), 발화 내역 정보(240), 발화 변이(250)을 언어데이터(310)으로 파악한다. As shown in FIGS. 33 and 34 , the database unit 350 interlocked with the data analysis unit 200 has a language data index, and the utterance characteristics 220 according to the actual utterance, the speaker's voice 230, and the utterance history The information 240 and the utterance variation 250 are identified as the language data 310 .

도 33은, 도 23의 High Front tense Vowel과 High Back tense Vowel, 도 24의 Alveolar Sounds, 도 27의 Voiceless labiodental fricative를 포함하는 다양한 자모음 발화 특징을 센서부(100)가 측정하고 데이터해석부(200)가 반영한 데이터베이스부(350)의 실제 데이터이다. 33 shows that the sensor unit 100 measures various consonant speech characteristics including the High Front tense Vowel and the High Back tense Vowel of FIG. 23, the Alveolar Sounds of FIG. 24, and the Voiceless labiodental fricative of FIG. 27, and the data analysis unit ( 200) is the actual data of the database unit 350 reflected.

도 34는, 도 23의 High Front lax Vowel, 도 24의 Alveolar Sounds, 도 25의 Bilabial Stop Sounds를 포함하는 다양한 자모음 발화 특징을 센서부(100)가 측정하고 데이터해석부(200)가 반영한 데이터베이스부(350)의 실제 데이터이다.34 is a database in which the sensor unit 100 measures various consonant speech characteristics, including the High Front lax Vowel of FIG. 23, the Alveolar Sounds of FIG. 24, and the Bilabial Stop Sounds of FIG. 25, and the data analysis unit 200 reflects This is the actual data of the part 350 .

도 35는 본 발명의 제4실시예에 따른 발화 구현 시스템을 도시한 도면이고, 도 36은 본 발명의 제4실시예에 따른 발화 구현 시스템의 센서부, 데이터해석부, 데이터표현부와 텍스트정보부 및 데이터베이스부의 연동을 도시한 도면이다.35 is a diagram illustrating a speech realization system according to a fourth embodiment of the present invention, and FIG. 36 is a sensor unit, data analysis unit, data expression unit, and text information unit of the speech realization system according to the fourth embodiment of the present invention. and a diagram showing the interworking of the database unit.

도 35에 도시한 바와 같이, 본 발명의 제4실시예에 따른 발화 구현 시스템은 유기적으로 연동되어 작동하는 센서부(100), 데이터해석부(200), 데이터변환부(300), 데이터베이스부(350), 데이터표현부(500) 및 텍스트정보부(600)를 포함한다. 이에 관한 자세한 설명은 도 52, 도 53, 도 54에서 후설할 것이다. 35, the speech implementation system according to the fourth embodiment of the present invention is a sensor unit 100, a data analysis unit 200, a data conversion unit 300, a database unit ( 350), a data expression unit 500 and a text information unit 600 are included. A detailed description thereof will be provided later with reference to FIGS. 52, 53 and 54 .

도 36에 도시한 바와 같이, 센서부(100)가 실제 조음기관에 위치하여 화자의 발화에 따른 조음기관 물리특성을 측정하고 이를 데이터해석부(200)로 전달하고 데이터해석부(200)는 이를 언어데이터로 해석한다. 해석된 언어데이터는 데이터표현부(500)로 전달되며, 텍스트정보부(600)의 화자데이터취득(S710)부터 데이터생성단계(S760)에 이르는 처리 단계(S700)에 따라 음성정보(640)은 데이터표현부(500)으로 전달된다. 그 언어데이터(310) 및 음성정보(640)의 해석 과정과 표현 과정에서 데이터베이스부(350)가 연동되어 작동함을 알 수 있다.As shown in FIG. 36 , the sensor unit 100 is located in the actual articulation organ, measures the physical characteristics of the articulation organ according to the speaker's utterance, and transmits it to the data analysis unit 200, and the data analysis unit 200 interpreted as language data. The interpreted language data is transmitted to the data expression unit 500, and according to the processing step S700 from the speaker data acquisition (S710) to the data generation step (S760) of the text information unit 600, the voice information 640 is the data It is transmitted to the expression unit 500 . It can be seen that the database unit 350 is interlocked in the process of interpretation and expression of the language data 310 and the voice information 640 .

도 37 내지 도 41은 각각 본 발명의 제4실시예에 따른 발화 구현 시스템의 데이터표현부가 언어데이터를 표현하는 수단을 도시한 도면이다.37 to 41 are diagrams showing means for expressing language data by the data expression unit of the speech realization system according to the fourth embodiment of the present invention, respectively.

도 37 내지 도 41에 도시한 바와 같이, 센서부(100)에 의해 획득된 화자의 두경부 조음기관의 물리특성은 데이터해석부(200)를 통해 센서부의 위치(210), 발화 특징(220), 화자의 음성(230), 발화 내역 정보(240), 발화 변이(250)로 파악된다. 37 to 41, the physical characteristics of the speaker's head and neck articulatory organ acquired by the sensor unit 100 are analyzed through the data analysis unit 200 to determine the position 210 of the sensor unit, the utterance characteristics 220, It is identified as the speaker's voice 230 , utterance history information 240 , and utterance variation 250 .

촬상센서(160)는 화자의 두경부 조음기관의 외관상 변화를 촬상하고, 데이터해석부(200)는 이를 통해 화자의 두경부 조음기관의 위치 변화 정보(161), 두경부 표정 변화 정보(162)를 파악한다. The imaging sensor 160 captures a change in the appearance of the speaker's head and neck articulation organs, and the data analysis unit 200 grasps the position change information 161 of the speaker's head and neck articulation organs and information on the head and neck facial expression change 162 through this. .

이후, 이러한 정보들은 데이터해석부(200)에서 언어데이터(310)로 변환되며, 데이터표현부(500)에서 외부로 표현된다. Thereafter, such information is converted into language data 310 in the data analysis unit 200 , and is externally expressed in the data expression unit 500 .

이때, 도 37은 언어데이터(310)를 데이터표현부(500)가 상기 텍스트정보부와의 연동에 따라 음성정보(640)의 형태로 청각적으로 표현하는 것을 나타낸 것이고, 도 38은 데이터표현부(500)가 언어데이터(310)를 시각적으로 표현함에 있어서, 데이터해석부(200)가 측정한 화자의 조음기관의 물리특성을 데이터베이스부(350)의 언어데이터 색인(360)과 비교하여, 실제 표준 발음의 광역표기 (broad description)와 함께 강세의, 유사근접도, 발화 의도 중 하나이상을 측정한 수치를 함께 제공하는 것을 나타낸 것이다. At this time, FIG. 37 shows that the data expression unit 500 audibly expresses the language data 310 in the form of voice information 640 according to the linkage with the text information unit, and FIG. 38 shows the data expression unit ( When 500) visually expresses the language data 310, the physical characteristics of the speaker's articulation organ measured by the data analysis unit 200 are compared with the language data index 360 of the database unit 350, and the actual standard It represents providing a numerical value that measures one or more of stress, similarity, and intention to speak together with a broad description of pronunciation.

도 39는 데이터표현부(500)가 언어데이터(310)를 시각과 청각적으로 표현함에 있어서, 데이터해석부(200)가 측정한 화자의 조음기관의 물리특성을 데이터베이스부(350)의 언어데이터 색인(360)과 비교하여, 실제 표준 발음의 미세표기(narrow description)와 함께 강세의, 유사근접도, 발화 의도 중 하나이상을 측정한 수치를 함께 제공하는 것을 나타낸 것이다.39 shows the language data of the database unit 350 showing the physical characteristics of the speaker's articulation organ measured by the data analysis unit 200 when the data expression unit 500 visually and aurally expresses the language data 310 . Compared with the index 360, it is shown that a numerical value measuring one or more of stress, similarity, and intention to speak is provided together with a narrow description of the actual standard pronunciation.

도 40은 데이터표현부(500)가 언어데이터(310)를 시각적으로 표현함에 있어서, 데이터해석부(200)가 측정한 화자의 조음기관의 물리특성을 데이터베이스부(350)의 언어데이터 색인(360)과 비교하여, 실제 표준 발음의 미세표기(narrow description)와 함께 강세의, 유사근접도, 발화 의도 중 하나 이상을 측정한 수치, 그리고 해당 언어데이터(310)가 단어로서 단어 단위 색인(363)에 대응할 경우, 그에 해당하는 이미지를 함께 제공하는 것을 나타낸 것이다. 40 is a language data index 360 of the database unit 350 showing the physical characteristics of the speaker's articulation organ measured by the data analysis unit 200 when the data expression unit 500 visually expresses the language data 310. ), a numerical value measuring one or more of stress, similarity, and utterance intent along with a narrow description of the actual standard pronunciation, and the corresponding language data 310 as a word, a word unit index 363 If it corresponds to , it indicates that the corresponding image is provided together.

도 41은 데이터표현부(500)가 언어데이터(310)를 시각과 청각적으로 표현함에 있어서, 데이터해석부(200)가 측정한 화자의 조음기관의 물리특성을 데이터베이스부(350)의 언어데이터 색인(360)과 비교하여, 실제 표준 발음의 미세표기(narrow description)와 함께 강세의, 유사근접도, 발화 의도 중 하나이상을 측정한 수치를 제공하고 화자에 의한 언어데이터(310)를 교정하고 강화할 수 있도록 해당 발음을 발화할 수 있는 발화 교정 이미지를 함께 제공하는 것을 나타낸 것이다. FIG. 41 shows the physical characteristics of the speaker's articulation organ measured by the data analysis unit 200 when the data expression unit 500 visually and aurally expresses the language data 310 as the language data of the database unit 350 Compared with the index 360, it provides a numerical value that measures one or more of stress, similarity, and utterance intent along with a narrow description of the actual standard pronunciation, and corrects the language data 310 by the speaker, This indicates that a speech correction image capable of uttering the corresponding pronunciation is provided together so that the corresponding pronunciation can be reinforced.

도 42는 본 발명의 제4실시예에 따른 발화 구현 시스템의 데이터표현부가 언어데이터를 시각적 및 청각적으로 표현하는 경우를 도시한 도면이다.42 is a diagram illustrating a case in which the data expression unit of the speech realization system according to the fourth embodiment of the present invention expresses language data visually and audibly.

도 42에 도시한 바와 같이, 데이터표현부(500)가 언어데이터(310)를 문자로 시각화하고 상기 텍스트정보부(600)에 따라 음성정보(640)로 청각화하여 제공함에 있어서, 데이터해석부(200)가 측정한 화자의 조음기관의 물리특성을 데이터베이스부(350)의 자모음 음소 단위 색인(361), 음절단위 색인(362), 단어단위 색인(363), 구절 단위 색인(364), 문장 단위 색인(365) 중 하나이상의 언어데이터 색인(360)과 비교한다. As shown in FIG. 42 , in the data expression unit 500 visualizing the language data 310 as text and providing it as audio information 640 according to the text information unit 600 , the data analysis unit ( 200) measured the physical characteristics of the speaker's articulatory organs in the database unit 350, consonant-vowel phoneme unit index 361, syllable unit index 362, word unit index 363, phrase unit index 364, sentence It compares with one or more language data indexes 360 among the unit indexes 365 .

이러한 언어 데이터(310)를 데이터표현부(500)가 화자의 언어데이터(310)에 관련된 실제 표준 발음의 미세표기(narrow description)와 함께 강세의, 유사근접도, 발화 의도 중 하나이상을 측정한 문자와 소리로 제공하여 화자가 언어데이터(310)를 교정하고 강화할 수 있도록 돕는다.In this language data 310, the data expression unit 500 measures one or more of stress, similarity, and utterance intent together with a narrow description of the actual standard pronunciation related to the speaker's language data 310. By providing text and sound, it helps the speaker to correct and reinforce the language data 310 .

도 43은 본 발명의 제4실시예에 따른 발화 구현 시스템의 데이터표현부가 언어데이터를 시각적으로 표현하는 경우를 도시한 도면이다.43 is a diagram illustrating a case in which the data expression unit of the speech realization system visually expresses language data according to the fourth embodiment of the present invention.

도 43에 도시한 바와 같이, 데이터표현부(500)가 언어데이터(310)를 문자, 그림, 사진, 영상 중 하나이상으로 시각화하여 제공한다. As shown in FIG. 43, the data expression unit 500 visualizes and provides the language data 310 as one or more of text, pictures, photos, and images.

이때, 데이터해석부(200)는 측정한 화자의 조음기관의 물리특성을 데이터베이스부(350)의 자모음 음소 단위 색인(361), 음절단위 색인(362), 단어단위 색인(363), 구절 단위 색인(364), 문장 단위 색인(365) 중 하나 이상의 언어데이터 색인(360)과 비교한다. At this time, the data analysis unit 200 calculates the measured physical characteristics of the speaker's articulation organ in the consonant and vowel phoneme unit index 361, syllable unit index 362, word unit index 363, phrase unit of the database unit 350. It is compared with the language data index 360 of one or more of the index 364 and the sentence unit index 365.

더불어, 문자로 시각화 될 경우, 실제 표준 발음의 미세표기(narrow description)와 광역표기 (broad description)를 모두 제공한다. 이를 통해 언어 데이터(310)를 데이터표현부(500)가 화자의 언어데이터(310)에 관련된 실제 표준 발음의 미세표기(narrow description) 및 광역표기 (broad description)와 함께 강세의, 유사근접도, 발화 의도 중 하나이상을 측정한 문자와 소리로 제공하여 화자가 언어데이터(310)를 교정하고 강화할 수 있도록 돕는다.In addition, when visualized as text, both a narrow description and a broad description of the actual standard pronunciation are provided. Through this, the language data 310 is expressed by the data expression unit 500 along with a narrow description and a broad description of the actual standard pronunciation related to the speaker's language data 310. Stress, similar proximity, It helps the speaker to correct and reinforce the language data 310 by providing one or more of the intentions of speech as measured characters and sounds.

도 44는 본 발명의 제4실시예에 따른 발화 구현 시스템의 데이터표현부가 언어데이터를 시각적으로 표현하는 경우를 도시한 도면이다. 44 is a diagram illustrating a case in which the data expression unit of the speech realization system visually expresses language data according to the fourth embodiment of the present invention.

도 44에 도시한 바와 같이, 데이터표현부(500)가 언어데이터(310)를 문자로 시각화하여 제공함에 있어서, 데이터해석부(200)가 측정한 화자의 조음기관의 물리특성을 데이터베이스부(350)의 자모음 음소 단위 색인(361), 음절단위 색인(362), 단어단위 색인(363), 구절 단위 색인(364), 문장 단위 색인(365), 연속발화색인(366) 중 하나 이상의 언어데이터 색인(360)과 비교한다. 이러한 언어 데이터(310)를 데이터표현부(500)가 화자의 언어데이터(310)에 관련된 실제 표준 발음의 미세표기(narrow description) 및 광역표기 (broad description)와 함께 강세의, 유사근접도, 발화 의도 중 하나이상을 측정한 연속 발화 단위의 문자와 소리로 제공하여 화자가 언어데이터(310)를 교정하고 강화할 수 있도록 돕는다.As shown in FIG. 44 , when the data expression unit 500 visualizes and provides the language data 310 as text, the database unit 350 records the physical characteristics of the speaker's articulation organ measured by the data analysis unit 200 . ) of consonant-vowel phoneme unit index (361), syllable unit index (362), word unit index (363), phrase unit index (364), sentence unit index (365), and continuous speech index (366). Compare with index 360. This language data 310 is expressed by the data expression unit 500 along with a narrow description and a broad description of the actual standard pronunciation related to the speaker's language data 310 of stress, similarity, and utterance. It helps the speaker to correct and reinforce the language data 310 by providing characters and sounds of continuous speech units in which one or more of the intentions are measured.

도 45는 본 발명의 제4실시예에 따른 발화 구현 시스템의 데이터표현부가 언어데이터를 연속 발화 단위로 표현하는 경우를 도시한 도면이다.45 is a diagram illustrating a case in which the data expression unit of the speech implementation system according to the fourth embodiment of the present invention expresses language data in units of continuous speech.

도 45에 도시한 바와 같이, 데이터표현부(500)가 언어데이터(310)를 문자로 시각화하고 소리로 청각화하여 제공함에 있어서, 데이터해석부(200)가 측정한 화자의 조음기관의 물리특성을 데이터베이스부(350)의 자모음 음소 단위 색인(361), 음절단위 색인(362), 단어단위 색인(363), 구절 단위 색인(364), 문장 단위 색인(365), 연속발화색인(366), 발음의 고저 색인(367) 중 하나 이상의 언어데이터 색인(360)과 비교한다. 이러한 언어 데이터(310)를 데이터표현부(500)가 화자의 언어데이터(310)에 관련된 실제 표준 발음의 미세표기(narrow description) 및 광역표기 (broad description)와 함께 강세의, 유사근접도, 발화 의도 중 하나이상을 측정한 문자와 소리로 제공하여 화자가 언어데이터(310)를 교정하고 강화할 수 있도록 돕는다.As shown in FIG. 45 , when the data expression unit 500 visualizes the language data 310 as text and provides it as auralized sound, the data analysis unit 200 measures the physical characteristics of the speaker's articulation organ. Consonant vowel phoneme unit index 361, syllable unit index 362, word unit index 363, phrase unit index 364, sentence unit index 365, continuous speech index 366 of the database unit 350 , and compares it with one or more language data indexes (360) among the high and low indexes (367) of pronunciation. This language data 310 is expressed by the data expression unit 500 along with a narrow description and a broad description of the actual standard pronunciation related to the speaker's language data 310 of stress, similarity, and utterance. It helps the speaker to correct and reinforce the language data 310 by providing one or more of the intentions as measured characters and sounds.

도 46은 본 발명의 제4실시예에 따른 발화 구현 시스템이 활용하는 Confusion Matrix를 도시한 도면이고, 도 47은 본 발명의 제4실시예에 따른 발화 구현 시스템이 활용하는 Confusion Matrix를 백분율로 도시한 도면이다.46 is a diagram illustrating the confusion matrix utilized by the utterance realization system according to the fourth embodiment of the present invention, and FIG. it is one drawing

도 46 및 도 47에 도시한 바와 같이, 데이터해석부(200)는 언어데이터(310)를 파악함에 있어서, Time Domain의 Variance, 주파수 영역의 Cepstral Coefficient, Linear Predict Coding Coefficient를 사용하는 하나 이상의 특징 추출 알고리즘을 대표하여 사용한다. As shown in FIGS. 46 and 47 , the data analysis unit 200 extracts one or more features using the Time Domain Variance, the Frequency Domain Cepstral Coefficient, and the Linear Predict Coding Coefficient in recognizing the language data 310 . It is used to represent the algorithm.

데이터의 분산 정도를 나타내는 Variance는 다음 [수학 식1]에 따라 계산된다. 여기서, n은 모집단의 네트워크,

는 수집된 조음기관 물리 특성 인 데이터의 모집단의 평균, xi는 수집된 조음기관 물리 특성인 데이 터들을 나타낸다.Variance representing the degree of dispersion of data is calculated according to the following [Equation 1]. where n is the network of the population,

is the average of the population of the collected articulation organ physical characteristics data, and xi is the collected articulatory organ physical characteristics data.

[수학식1][Equation 1]

Cepstral Coefficient는 주파수의 세기를 정형화하기 위해 다음 [수학식 2]로 계산된다. 여기서, F-1는 역 푸리에급수 변환인 Inverse Fourrier Transform을 나타내고, X(f)는 신호에 대한 주파수의 스펙트럼을 나타낸다. 본 예시에서는 Cepstral의 Cofficent는 n=0일 때의 값을 활용하였다.The Cepstral Coefficient is calculated by the following [Equation 2] to standardize the intensity of the frequency. Here, F-1 denotes an Inverse Fourier Transform, which is an inverse Fourier series transformation, and X(f) denotes a spectrum of a frequency with respect to a signal. In this example, Cepstral's Cofficent was used when n=0.

[수학식2][Equation 2]

Linear Predict Coding Coefficient는 주파수의 선형적 특성을 나타내는 것으로 다음[수학식 3]에 따라 계산된다. 여기서, n은 표본의 개수를 나타내며, ai는 Linear Predict Coding Coefficient 계수이다. Cepstral의 계수는 n=1일때의 값을 사용하였다.The Linear Predict Coding Coefficient indicates the linear characteristic of the frequency and is calculated according to the following [Equation 3]. Here, n represents the number of samples, and ai is the Linear Predict Coding Coefficient coefficient. Cepstral's coefficient was used when n=1.

[수학식 3][Equation 3]

더불어, 조음기관 물리 특성인 데이터를 유사도에 따라 묶고 예측데이터를 생성하여 각 데이터를 분류하는 ANN을 활용하였다. 이를 통해, 화자가 최초 발화에 대해 표준 발화에 대비하여 본인 발화 내용의, 근접유사도, 발화 의도를 파악할 수 있게 된다. 이를 바탕으로 화자는 자신에 발화 내용에 대한 피드백을 얻고 지속적으로 발화 교정을 위한 재발화를 실시한다. 이러한 반복적 조음기관 물리특성 데이터 입력 방식을 통해 많은 조음기관 물리 특성 데이터가 모이고 ANN의 정확도가 증가한다. In addition, ANN was used to classify each data by grouping the data, which is the physical characteristic of articulatory organs, according to the degree of similarity and generating predictive data. Through this, it is possible for the speaker to grasp the close similarity and utterance intention of the content of his utterance in preparation for the standard utterance with respect to the initial utterance. Based on this, the speaker obtains feedback on the content of the utterance and continuously repeats the utterance to correct the utterance. Through this iterative articulation organ physical property data input method, a lot of articulation organ physical property data is collected and the accuracy of ANN is increased.

여기서, 입력 데이터인 조음기관 물리 특성을 10개의 자음으로 선정하였고, 추출 과정에서 5개의 조음위치인 Bilabial, Alveolar, Palatal, Velar, Glottal로 분류되었다. 이를 위해, 상기 5개의 조음위치에 해당하는 10개의 자음을 순서대로 100번씩, 총 1000번 무작위로 50번씩 총 500번 발음을 하였다. Here, the physical characteristics of articulatory organs as input data were selected as 10 consonants, and in the extraction process, they were classified into 5 articulation positions, Bilabial, Alveolar, Palatal, Velar, and Glottal. To this end, 10 consonants corresponding to the five articulation positions were pronounced 100 times in sequence, 100 times in total, and randomly 50 times a total of 500 times.

이에 따라, 도 45에 도시한 바와 같이, 자음 분류를 위한 Confusion Matrix가 형성되었다. 이를 기반으로 각 조음위치마다 발화되는 자음의 개수가 상이하다는 것을 고려하여, 도 46에 도시한 바와 같이, 백분율로 나타내었다. Accordingly, as shown in FIG. 45, a confusion matrix for classifying consonants was formed. Based on this, considering that the number of consonants uttered at each articulation position is different, as shown in FIG. 46, it is expressed as a percentage.

이를 통해, 화자는 표준 발화와 대비하여 발음의 및 근접유사도가 낮은 Palatal과 관련하여, 자음을 제대로 발화하지 못함을 알 수 있다. 또한 도 46에 도시한 바와 같이, Palatal과 관련된 자음을 발화하고자 하였으나 Alveolar와 관련된 자음으로 잘못 발화한 경우는 17%이다. 이는 화자가 Palatal과 관련된 자음과 Alveolar와 관련된 자음 간의 차이를 명확히 인지하지 못함을 의미한다. Through this, it can be seen that the speaker does not properly utter consonants in relation to Palatal, which has low pronunciation and close similarity compared to standard utterances. Also, as shown in FIG. 46 , 17% of the cases in which an attempt was made to utter a consonant related to Palatal but erroneously uttered a consonant related to Alveolar. This means that the speaker does not clearly recognize the difference between the consonants associated with Palatal and those associated with Alveolar.

도 48은 본 발명의 제4실시예에 따른 발화 구현 시스템이 화면을 통해 화자로 하여금 언어 교정 및 지도를 돕는 경우를 도시한 도면이다.48 is a diagram illustrating a case in which the speech realization system according to the fourth embodiment of the present invention assists the speaker with language correction and guidance through the screen.

도 48에 도시한 바와 같이, 영어를 모국어로 하지 않는 한국인 화자는 [kiŋ]을 의도하고서, 발화하였고 센서부(100)는 상기 발화에 따른 조음기관 물리 특성을 파악한다. As shown in FIG. 48 , a Korean speaker who does not speak English as a native language intended to utter [kiŋ], and the sensor unit 100 detects the physical characteristics of the articulatory organ according to the utterance.

그러나, 화자의 경우, 한국어에 존재하지 않는 Velar Nasal Sound인 [ŋ]에 대해 조음과 발화 방법에 대해 미숙하였다. However, in the case of the speaker, he was inexperienced in articulation and utterance methods for [ŋ], a Velar Nasal Sound that does not exist in Korean.

이에 데이터해석부(200)는 화자가 제대로 발화하지 못한 [ŋ]를 표준 발화 특징 행렬(205)과의 비교를 통해 파악한다. 이후, 데이터표현부(300)은 화자의 발화, 유사도를 제공하였고, 결과는 46%에 그쳤다. 이후, 데이터표현부(300)는 화면 등을 통해, 화자로 하여금 [kiŋ]을 정확히 발음할 수 있도록 돕는다. Accordingly, the data analysis unit 200 identifies [ŋ], which the speaker has not uttered properly, through comparison with the standard speech feature matrix 205 . After that, the data expression unit 300 provided the speaker's utterance and similarity, and the result was only 46%. Thereafter, the data expression unit 300 helps the speaker to correctly pronounce [kiŋ] through a screen or the like.

이때, 데이터표현부(300)는 화자가 어느 조음 기관을 어떻게 조작해야 하는지 직관적으로 보여주기 위해 Speech Guidance(Image)를 제공한다. 데이터표현부(300)가 제시하는 Speech Guidance(Image)는 상기 [ŋ]을 발화하기 위한 조음기관에 부착되거나 인접한 센서부를 기반으로 발화 교정 및 안내를 실시한다. 예를 들어, 상기 [kiŋ]의 경우, [k]은 혀의 뒷부분(Tongue Body, Root)을 Velar(연구개) 방향으로 승강시켜 붙이고 유격시키면서 파열음을 내고, 성대의 떨림 없이 무성음으로, 입을 통해 /크/로 발화해야 한다. In this case, the data expression unit 300 provides a Speech Guidance (Image) to intuitively show which articulation organ the speaker should manipulate and how. The Speech Guidance (Image) presented by the data expression unit 300 performs speech correction and guidance based on the sensor unit attached to or adjacent to the articulation organ for uttering the [ŋ]. For example, in the case of [kiŋ], [k] elevates and attaches the back part of the tongue (Tongue Body, Root) in the direction of Velar (soft palate) and makes a plosive sound while pacing, and is a silent sound without vibration of the vocal cords, through the mouth It should be uttered with /k/.

이때, 혀의 뒷부분이 Velar(연구개) 방향으로 승강시키고 붙였다 유격되는 파열음을 내는 것은 구강설 센서(110)가 측정하게 된다. [i]의 경우에는, 전설 고설 긴장 모음(High Front Tense Vowel)임으로, 이 역시 구강설 센서(110)가 혀의 고설성(Hight)과 전설성(Frontness)을 파악한다. 더불어, [i]를 발화할 때, 입술의 양 끝이 양 볼로 각 각 당겨지는 현상이 발생한다. 이를 상기 안면 센서(120)가 파악하게 된다. [ŋ]의 경우에는, 혀의 뒷부분(Tongue Body, Tongue Root)를 Velar(연구개) 방향으로 승강시키고 코를 울려 발화해야 한다. 그렇기에 역시 구강설 센서(110)가 혀의 고저설성 및 전후설성을 파악한다. At this time, the oral tongue sensor 110 measures that the rear part of the tongue raises and lowers in the Velar (soft palate) direction and makes a plosive sound. In the case of [i], since it is a Legendary High Front Tense Vowel, the oral tongue sensor 110 also detects Hight and Frontness of the tongue. In addition, when [i] is uttered, both ends of the lips are pulled towards both cheeks, respectively. The facial sensor 120 will grasp this. In the case of [ŋ], the rear part of the tongue (Tongue Body, Tongue Root) must be raised and lowered in the direction of Velar (soft palate) and the nose must be sounded to fire. Therefore, the oral tongue sensor 110 also detects the tongue's high low tongue and anterior and posterior tongue characteristics.

더불어, 상기 발음은 비음이기에 코와 그 주변의 근육이 떨리게 된다. 이러한 현상은 상기 안면 센서(120)가 코 주변에 부착됨으로써 파악될 수 있다.In addition, since the pronunciation is a nasal sound, the nose and surrounding muscles tremble. This phenomenon can be detected by attaching the facial sensor 120 around the nose.

도 49는 본 발명의 제4실시예에 따른 발화 구현 시스템이 두경부 조음기관의 외상을 촬상하고 파악하는 경우를 도시한 도면이다.49 is a diagram illustrating a case in which the speech realization system according to the fourth embodiment of the present invention captures and detects trauma to the head and neck articulatory organ.

도 49에 도시한 바와 같이, 촬상 센서(160)는 발화에 따른 화자의 두경부 조음기관의 외관상 변화를 촬상하고, 데이터해석부(200)는 이를 통해 화자의 두경부 조음기관의 위치 변화 정보(161), 두경부 표정 변화 정보(162)를 파악한다. 이때 센서부(100)의 구강설 센서(110), 안면센서(120), 음성 취득 센서(130), 성대 센서(140), 치아센서(150)을 통해 파악된 화자의 발화 특징(210)도 함께 데이터해석부(200)가 고려하게 된다. 49, the imaging sensor 160 captures a change in the appearance of the speaker's head and neck articulatory organ according to the utterance, and the data analysis unit 200 uses this information to change the position of the speaker's head and neck articulatory organ 161 , the head and neck expression change information 162 is grasped. At this time, the speech characteristics 210 of the speaker identified through the oral tongue sensor 110 , the facial sensor 120 , the voice acquisition sensor 130 , the vocal cord sensor 140 , and the tooth sensor 150 of the sensor unit 100 are also Together with the data analysis unit 200 is considered.

도 50은 본 발명의 제4실시예에 따른 발화 구현 시스템이 표준 발화 특징 행렬을 통해 상호 정보들을 결합시키는 경우를 도시한 도면이다. 50 is a diagram illustrating a case in which the speech implementation system according to the fourth embodiment of the present invention combines mutual information through a standard speech feature matrix.

도 50에 도시한 바와 같이, 센서부(100)의 구강설 센서(110), 안면센서(120), 음성 취득 센서(130), 성대 센서(140). 치아센서(150)는 화자의 발화 특징(210)을 파악하고, 촬상 센서(160)는 화자의 두경부 조음기관의 위치 변화 정보(161), 두경부 표정 변화 정보(162)를 파악한다. 이를 통해, 데이터해석부(200)가 표준 발화 특징 행렬(205)을 기반으로 두경부 조음기관의 위치 변화 정보(161), 두경부 표정 변화 정보(162)에 대응하는 발화 특징을 결합시킨다. As shown in FIG. 50 , the oral tongue sensor 110 , the facial sensor 120 , the voice acquisition sensor 130 , and the vocal cord sensor 140 of the sensor unit 100 . The dental sensor 150 detects the speaker's speech characteristics 210 , and the imaging sensor 160 detects the speaker's head and neck articulation organ position change information 161 and head and neck facial expression change information 162 . Through this, the data analysis unit 200 combines the speech characteristics corresponding to the position change information 161 of the head and neck articulatory organs and the head and neck expression change information 162 based on the standard speech feature matrix 205 .

도 51에 도시한 바와 같이, 상기 촬상 센서(160)는 화자의 두경부 조음기관의 변화 정보(161), 두경부 표정 변화 정보(162)뿐 만 아니라, 화자가 발화하면서 표현하는 비언어적 표현(153)을 촬상한다. 즉, 비언어적 표현(153)는 화자의 발화 의도에 따라 발생하는 두경부의 상하좌우의 기울임, 흉곽부의 들썩임, 두경부와 흉곽부 간의 핏대 및 근육의 긴장, 상지부의 떨림, 상지부의 제스쳐, 하지부의 떨림, 하지부의 제스쳐 중 하나이상의 표현을 포함한다.As shown in FIG. 51 , the imaging sensor 160 provides not only information on changes in the speaker’s head and neck articulatory organs 161 and information on changes in head and neck facial expressions 162, but also non-verbal expressions 153 that the speaker expresses while speaking. take a picture That is, the non-verbal expression 153 is the inclination of the head and neck that occurs according to the speaker's intention to speak, the shaking of the thoracic region, the tension of the joint and muscle between the head and neck and the thoracic region, the tremor of the upper extremities, the gesture of the upper extremities, and the gesture of the lower extremities. It includes expressions of one or more of tremors and gestures of the lower extremities.

도 52에 도시한 바와 같이, 상기 텍스트정보부(600)는 언어데이터를 음성정보로 출력함에 있어서, 화자데이터처리단계(S700)를 거치는 것을 특징으로 한다. 상기 단계는 다음과 같다.52, the text information unit 600 outputs the language data as voice information, characterized in that it goes through a speaker data processing step (S700). The steps are as follows.

(a) 단계에서는 상기 데이터변환부에서 적어도 하나의 언어데이터를 획득하는 화자데이터를 취득한다. (S710) 그리고 (b) 단계에서는 상기 데이터베이스부의 언어데이터색인의 단어 단위 색인(363)을 기반으로 상기 언어데이터에서 적어도 하나의 기능어(611) 내지 공백은 0 내지 NULL로 라벨링하여 제외하고, 적어도 하나의 화자내용어(610)를 상기 데이터해석부(200)의 상기 표준 발화 특징행렬(205)로 라벨링하여 화자내용어 테이블(615)을 생성한다. (S720) In step (a), the data conversion unit acquires speaker data for acquiring at least one language data. In steps (S710) and (b), based on the word unit index 363 of the language data index of the database unit, at least one function word 611 to blank in the language data is labeled with 0 to NULL and excluded, and at least one A speaker content table 615 is generated by labeling the speaker content word 610 of the data analysis unit 200 with the standard utterance feature matrix 205 . (S720)

상기 기능어(Function word)(611)는 앞서 취득된 화자의 언어데이터(310) 중 /the/ 또는 /to/, /of/과 같은 단어들이다. 상기 기능어(611)는 문장 내에서 의미를 생성하지 아니하고, 문장 내의 독립적으로 쓰일 수 없는 조사와 어미를 의미한다. 반면에 내용어(Content Word)는 앞서 취득된 화자의 언어데이터(310) 중 명사, 동사, 형용사, 부사, 관형사를 포함하는, 문장 내에서 독립적으로 쓰일 수 있는 단어의 최소 단위이다. 예를 들어, 도 34에서 측정된 "The postman brings the letter."에서, 기능어는 /the/이고, 내용어는 /postman/, /brings/, /letter/가 된다. The function words 611 are words such as /the/, /to/, and /of/ among the previously acquired speaker language data 310 . The function word 611 does not generate a meaning in a sentence, and means a proposition and ending that cannot be used independently in a sentence. On the other hand, the content word is a minimum unit of a word that can be used independently in a sentence, including a noun, a verb, an adjective, an adverb, and an adjective, among the previously acquired speaker's language data 310 . For example, in "The postman brings the letter." measured in FIG. 34, the function word is /the/, and the content word becomes /postman/, /brings/, and /letter/.

(c) 단계에서는 상기 데이터베이스부의 언어데이터색인의 음소 단위 색인(361) 내지 음절 단위 색인(362)를 기반으로, 상기 화자내용어 테이블(615)을 Onset(초성), Necleus(중성), Coda(종성) 중 적어도 하나의 자모음 음소 단위로 분리하여 음소값행렬(620)을 생성한다. (S730) (d) 단계에서는 상기 (c) 단계에서 생성된 상기 음소값행렬(620)에 상응하여, 상기 음소 단위 색인(361)의 발화의 진행 시간값과, 발화에 따른 F0, F1, F2, F3, F4 중 적어도 하나의 Formant Frequency값과, 발화의 진폭값 중 적어도 하나를 포함하는 음성값행렬(630)을 생성한다.(S740)In step (c), onset (initial), Necleus (neutral), Coda ( The phoneme value matrix 620 is generated by separating at least one consonant-vowel phoneme unit of the final consonant). (S730) In step (d), corresponding to the phoneme value matrix 620 generated in step (c), the utterance progress time value of the phoneme unit index 361 and F0, F1, F2 according to the utterance A voice value matrix 630 including at least one formant frequency value of , F3, and F4 and at least one of an utterance amplitude value is generated (S740).

이때, 언어데이터색인(360)의 음소 단위 색인(361)은 적어도 하나의 음절(Syllable)을 가진 단어에 대해서 Onset(초성=자음), Necleus(중성= 모음), Coda(종성=자음)의 분류를 가지고 있고, 상기 음절 단위 색인(362)는 상기 분류에 따라 각 음절마다의 Waveform과 Spectrogram을 포함하고 있다. 여기서 Waveform은 발화의 시간(time)을 나타내는 x축과 발화에 따른 강도를 의미하는 진폭(amplitude)를 나타내는 y축으로 구성되며, 발화 시간에 따른 발화 진폭의 변화를 나타내는 정보이다. Spectrogram은 발화의 시간(time)을 나타내는 x축과 발화에 따른 주파수(frequency: Hz)를 나타내는 y축, 그리고 발화에 따른 강도를 의미하는 진폭(intensity)을 나타내는 z축(명암)으로 구성된다. 상기 Spectrogram에서는 각 자모음마다의 상이한 Fundamental Frequency인 F0(Hz), Formant Frequency인 F1(Hz), F2(Hz), F3(Hz)를 파악할 수 있다. F1의 경우, 모음의 저고도성(Height)과 관련이 있으며, 고모음일 경우 F1은 낮게 형성되고, 저모음일 경우 F1은 높게 형성된다. F2의 경우, 모음의 전후설성(Frontness and Backness)과 관련되어, 전설모음일 수록 높고, 후설모음일 수록 낮게 형성된다. 원순후설모음의 경우, F2가 낮게 형성되는 경향이 있다. 예를 들어, 상기 도 52에서, tr]의 모음 중, 굵은 글씨로 표시된 첫번째 모음인 [ ]는 Middle Front Vowel로서, 표준 발화 특징 행렬(205)에 따라, (4, 2)에 대응된다. At this time, the phoneme unit index 361 of the language data index 360 is classified into Onset (initial consonant = consonant), Necleus (neutral = vowel), and Coda (final consonant = consonant) for a word having at least one syllable. , and the syllable unit index 362 includes a waveform and a spectrogram for each syllable according to the classification. Here, the Waveform is composed of an x-axis indicating the time of utterance and a y-axis indicating an amplitude indicating the intensity according to the utterance, and is information indicating a change in the utterance amplitude according to the utterance time. The spectrogram is composed of the x-axis representing the time of speech, the y-axis representing the frequency (Hz) according to the speech, and the z-axis (contrast) representing the intensity representing the intensity according to the speech. In the spectrogram, different fundamental frequencies for each consonant, F0 (Hz), and formant frequencies, F1 (Hz), F2 (Hz), and F3 (Hz) can be identified. In the case of F1, it is related to the low height of the vowel, and when it is a high vowel, F1 is formed low, and when it is a low vowel, F1 is formed high. In the case of F2, it is related to the frontness and backness of the vowel, so the higher the front vowel, the lower the back vowel. In the case of a circular hindlingual vowel, F2 tends to be low. For example, in FIG. 52 , among vowels of tr], [ ] , which is the first vowel in bold, corresponds to (4, 2) according to the standard speech feature matrix 205 as a middle front voice.

도 53에서 도시된 음소 단위 색인(361)의 Frequency table의 일부 예시는 상기 언급한 F0부터 F4의 평균값 증 일부를 나타낸다. 이때 M은 성인남성(Man), W는 성인여성(Woman), C는 아동(Child)을 의미한다. 예를 들어, 상기 도 53의 모음 중, 굵은 글씨로 표시된 첫번째 모음인 [ ]는 Middle Front Vowel로서, 표준 발화 특징 행렬(205)에 따라, (4, 1)에 대응된다. Some examples of the frequency table of the phoneme unit index 361 shown in FIG. 53 indicate a part of the increase in the average value of F0 to F4 mentioned above. Here, M stands for Man, W stands for Woman, and C stands for Child. For example, among the vowels of FIG. 53 , [ ] , which is the first vowel indicated in bold, is a middle front voice and corresponds to (4, 1) according to the standard speech feature matrix 205 .

이에 [ ]에 있어서, 성인 남성화자의 경우 F0는 127Hz, F1은 580Hz, F2는 1799Hz, F4는 3677Hz를 보인다. 이처럼, 화자에 의해 발화된 각 음소는 저마다 상이한 Frequency를 가지며, 이를 통해 각 음소는 서로 구별된다. Accordingly, in [ ] , in the case of adult male speakers, F0 is 127Hz, F1 is 580Hz, F2 is 1799Hz, and F4 is 3677Hz. As such, each phoneme uttered by the speaker has a different frequency, and through this, each phoneme is distinguished from each other.

이후, 상기 c에서 생성된 상기 음소값행렬(620)중 적어도 하나의 원소에, 상기 음소값행렬(620)의 원소에 대응하는 상기 (d) 단계에서 생성된 음성값행렬(630) 중 적어도 하나의 원소를 할당하여 병합한다(S750). 이를 기반으로 (f) 단계에서는 (e) 단계를 거친 적어도 하나의 원소들끼리 재조합하여, 음소단위, 단어단위, 구절단위, 문장단위, 연속발화단위 중 적어도 하나의 음성정보(640)를 생성한다. (S760) Thereafter, at least one of the voice value matrices 630 generated in step (d) corresponding to at least one element of the phoneme value matrix 620 generated in c, and the element of the phoneme value matrix 620 . Allocate and merge the elements of (S750). Based on this, in step (f), at least one element that has passed through step (e) is recombined to generate at least one voice information 640 among phoneme units, word units, phrase units, sentence units, and continuous speech units. . (S760)

도면에 기재된 방법 외에도 센서부(100)의 경우 다음과 같은 것들이 포함 될 수 있다.In addition to the method described in the drawings, the following may be included in the case of the sensor unit 100 .

1. 압력센서: MEMS 센서, Piezoelectric (압력-전압) 방식, Piezoresistive (압력-저항) 방식, Capacitive 방식, Pressure sensitive 고무 방식, Force sensing resistor (FSR) 방식, Inner particle 변형 방식, Buckling 측정 방식.1. Pressure sensor: MEMS sensor, piezoelectric (pressure-voltage) method, piezoresistive (pressure-resistance) method, capacitive method, pressure sensitive rubber method, force sensing resistor (FSR) method, inner particle deformation method, buckling measurement method.

2. 마찰 센서: 마이크로 hair array 방식, 마찰온도 측정방식.2. Friction sensor: micro hair array method, friction temperature measurement method.

3. 정전기 센서: 정전기 소모 방식, 정전기 발전 방식.3. Static sensor: static electricity consumption method, static electricity generation method.

4. 전기저항 센서: 직류저항 측정방식, 교류저항 측정방식, MEMS, Lateral 전극 array 방식, Layered 전극 방식, Field Effect Transistor (FET) 방식 (Organic-FET,Metal-oxide-semiconductor-FET, Piezoelectric-oxide-semiconductor -FET 등 포함).4. Electrical resistance sensor: DC resistance measurement method, AC resistance measurement method, MEMS, Lateral electrode array method, Layered electrode method, Field Effect Transistor (FET) method (Organic-FET, Metal-oxide-semiconductor-FET, Piezoelectric-oxide -semiconductor -FET, etc.).

5. Tunnel Effect Tactile 센서: Quantum tunnel composites 방식, Electron tunneling 방식, Electroluminescent light 방식.5. Tunnel Effect Tactile Sensor: Quantum tunnel composites method, Electron tunneling method, Electroluminescent light method.

6. 열저항 센서: 열전도도 측정방식, Thermoelectric 방식.6. Thermal resistance sensor: thermal conductivity measurement method, thermoelectric method.

7. Optical 센서: light intensity 측정방식, refractive index 측정방식.7. Optical sensor: light intensity measurement method, refractive index measurement method.

8. Magnetism based 센서: Hall-effect 측정 방식, Magnetic flux 측정 방식.8. Magnetism based sensor: Hall-effect measurement method, Magnetic flux measurement method.

9. Ultrasonic based 센서: Acoustic resonance frequency 방식, Surface noise 방식, Ultrasonic emission 측정방식.9. Ultrasonic based sensor: Acoustic resonance frequency method, Surface noise method, Ultrasonic emission measurement method.

10. 소프트 재료 센서: 고무, 파우더, 다공성 소재, 스펀지, 하이드로젤, 에어로젤, 탄소섬유, 나노탄소재료, 탄소나노튜브, 그래핀, 그래파이트, 복합재, 나노복합재, metal-고분자 복합재, ceramic-고분자 복합재, 전도성 고분자 등의 재료를 이용한 pressure, stress, 혹은 strain 측정 방식, Stimuli responsive 방식.10. Soft material sensor: rubber, powder, porous material, sponge, hydrogel, airgel, carbon fiber, nano-carbon material, carbon nanotube, graphene, graphite, composite material, nano-composite, metal-polymer composite, ceramic-polymer composite , a method of measuring pressure, stress, or strain using materials such as conductive polymers, and a Stimuli responsive method.

11. Piezoelectric 소재 센서: Quartz, PZT (lead zirconate titanate) 등의 세라믹 소재, PVDF, PVDF copolymers, PVDF-TrFE 등의 고분자 소재, 셀룰로오스, ZnO 나노선 등의 나노소재 방식.11. Piezoelectric material sensor: Ceramic materials such as Quartz and PZT (lead zirconate titanate), polymer materials such as PVDF, PVDF copolymers, PVDF-TrFE, and nano materials such as cellulose and ZnO nanowires.

100: 센서부 110: 구강설 센서
120: 안면 센서 130: 음성취득 센서
140: 성대 센서 150: 치아 센서
200: 데이터해석부 205: 표준 발화 특징 행렬
210: 센서부의 위치 220: 발화 특징
230: 화자의 음성 240: 발화 내역 정보
250: 발화 변이 300: 데이터변환부
310: 언어 데이터 350: 데이터베이스부
360: 언어 데이터 색인
400: 통신부 500: 데이터표현부
600: 텍스트정보부 610: 화자내용어
615: 화자내용어 테이블 620: 음소값행렬
630: 음성값행렬 640: 음성정보100: sensor unit 110: oral tongue sensor
120: facial sensor 130: voice acquisition sensor
140: vocal cord sensor 150: tooth sensor
200: data analysis unit 205: standard speech feature matrix
210: position of the sensor unit 220: ignition characteristics
230: speaker's voice 240: utterance history information
250: utterance variation 300: data conversion unit
310: language data 350: database unit
360: Language data index
400: communication unit 500: data expression unit
600: text information unit 610: speaker content
615: speaker content table 620: phoneme value matrix
630: voice value matrix 640: voice information

Claims

화자의 두경부의 일면에 인접하여 조음기관의 물리특성을 측정하는 센서부;
상기 센서부의 위치와 상기 조음기관의 물리특성을 기반으로 화자의 발화 특징을 파악하는 데이터해석부;
상기 센서부의 위치와 상기 발화특징을 언어데이터로 변환하는 데이터변환부;
상기 데이터변환부의 상기 언어데이터를 음성정보로 생성하는 텍스트 정보부;
상기 텍스트정보부와 연동되어, 언어데이터 기반의 상기 음성정보를 외부로 표현하는 데이터표현부;
상기 센서부는, 구강설에 대응되는 구강설 센서를 포함하며,

상기 데이터해석부는,
상기 센서부에서 측정되는 상기 구강설과 다른 조음기관과의 물리특성을 통해 상기 화자가 발화하는 자모음, 어휘 단위 강세 (Lexical Stress), 문장 단위 강세(Tonic stress) 중 적어도 하나의 발화 특징을 파악하고,
상기 센서부에 의해 측정되는 상기 조음기관의 물리특성에 의한 발화 특징을 파악함에 있어서, 2진수 내지 실수를 포함하는 수치로 구성된 표준 발화 특징 행렬을 기반으로 상기 화자의 발음과 강세의 유사근접도, 발화 의도 중 적어도 하나의 발화 특징을 측정하며,
상기 센서부의 위치, 상기 화자의 발화 특징, 상기 화자의 음성에 대응하는 적어도 하나의 언어 데이터 색인을 포함하는 데이터베이스부와 연동되며,

상기 데이터표현부는,
상기 데이터베이스부의 언어 데이터 색인과 연동되어, 상기 화자의 발화 특징을 자모음의 음소(Phoneme)단위, 적어도 하나의 단어단위, 적어도 하나의 구절단위(Citation Forms), 적어도 하나의 문장단위, 연속발화단위(Consecutive Speech) 중 적어도 하나의 발화 표현을 나타내는 발화 구현 시스템.
a sensor unit adjacent to one surface of the speaker's head and neck for measuring physical characteristics of the articulation organ;
a data analysis unit configured to identify the speaker's utterance characteristics based on the position of the sensor unit and the physical characteristics of the articulation organ;
a data conversion unit converting the position of the sensor unit and the speech characteristics into language data;
a text information unit generating the language data of the data conversion unit as voice information;
a data expression unit interworking with the text information unit to externally express the voice information based on language data;
The sensor unit includes an oral tongue sensor corresponding to the oral tongue,

The data analysis unit,
Through the physical characteristics of the oral tongue and other articulation organs measured by the sensor unit, the utterance characteristics of at least one of consonant vowels, lexical stress, and tonic stress, uttered by the speaker, are identified. and,
In recognizing the speech characteristics according to the physical characteristics of the articulatory organ measured by the sensor unit, the similarity of pronunciation and stress of the speaker based on a standard speech characteristic matrix composed of numeric values including binary numbers or real numbers; Measure at least one speech characteristic of speech intent,
The location of the sensor unit, the speaker's utterance characteristics, and at least one linguistic data index corresponding to the speaker's voice is linked with the database unit,

The data expression unit,
By interworking with the language data index of the database unit, the speaker's utterance characteristics are determined by phoneme units of consonants and vowels, at least one word unit, at least one phrase unit (Citation Forms), at least one sentence unit, and continuous utterance unit. A speech implementation system representing at least one speech expression of (Consecutive Speech).

제 1 항에 있어서, 상기 구강설 센서는,
상기 구강설의 일측면에 고착되거나, 상기 구강설의 표면을 감싸거나, 상기 구강설 내부에 삽입되고, 발화에 따른 상기 구강설의 x축, y축, z축 방향 기반의 시간에 따른 벡터량의 변화량을 파악하여, 상기 구강설의 저고도, 전후설성, 굴곡도, 신전도, 회전도, 긴장도, 수축도, 이완도, 진동도 중 적어도 하나의 물리특성을 파악하는 발화 구현 시스템.
According to claim 1, wherein the oral tongue sensor,
It is fixed to one side of the oral tongue, wraps around the surface of the oral tongue, or is inserted into the oral tongue, and the amount of vector according to time based on the x-axis, y-axis, and z-axis direction of the oral tongue according to the utterance An utterance realization system for grasping at least one physical characteristic of low elevation, anterior-posterior tongue, flexion, extension, rotation, tension, contraction, relaxation, and vibration of the oral tongue by grasping the amount of change.

제 1 항에 있어서, 상기 구강설 센서는,
상기 구강설의 일측면에 고착되거나, 상기 구강설의 표면을 감싸거나, 상기 구강설 내부에 삽입되고, 발화에 따른 상기 구강설의 x축, y축, z축 방향 기반의 단위 시간 당 회전하는 각도의 변화량을 파악하여, 상기 구강설을 포함한 상기 조음기관의 물리 특성을 파악하는 발화 구현 시스템.
According to claim 1, wherein the oral tongue sensor,
It is fixed to one side of the oral tongue, wraps around the surface of the oral tongue, or is inserted into the oral tongue, and rotates per unit time based on the x-axis, y-axis, and z-axis direction of the oral tongue according to the utterance. A speech implementation system for grasping the amount of change in the angle, and identifying the physical characteristics of the articulatory organ, including the oral tongue.

제 1 항에 있어서, 상기 구강설 센서는,
상기 구강설의 일측면에 고착되거나, 상기 구강설의 표면을 감싸고, 발화에 따른 상기 구강설의 수축 및 이완으로 발생하는 물리력에 따라 결정구조의 변화에 기인하는 편극에 대응되는 전기신호가 발생하는 압전소자를 통해 상기 구강설의 굽힘도를 파악하여, 상기 구강설의 저고도, 전후설성, 굴곡도, 신전도, 회전도, 긴장도, 수축도, 이완도, 진동도 중 적어도 하나의 물리특성을 파악하는 발화 구현 시스템.
According to claim 1, wherein the oral tongue sensor,
An electrical signal corresponding to the polarization caused by a change in the crystal structure according to the physical force that is adhered to one side of the oral tongue or surrounds the surface of the oral tongue, and is generated by the contraction and relaxation of the oral tongue according to ignition is generated. By grasping the degree of bending of the oral tongue through a piezoelectric element, the physical characteristics of at least one of low elevation, anteroposterior, flexion, extension, rotation, tension, contraction, relaxation, and vibration of the oral tongue an utterance implementation system.

제 1 항에 있어서, 상기 센서부는,
상기 구강설이 상기 두경부 내외의 다른 조음기관과의 상호작용에 기인하는 접근 및 접촉에 대응되는 마찰전기(Tribo Electric Generator)에 따른 파열도, 마찰도, 공명도, 접근도 중 적어도 하나의 물리특성을 파악하는 마찰대전소자를 포함하는 발화 구현 시스템.
According to claim 1, wherein the sensor unit,
At least one of the physical properties of the degree of rupture, friction, resonance, and access according to the tribo electric generator corresponding to the approach and contact caused by the interaction of the oral tongue with other articulatory organs inside and outside the head and neck An ignition realization system including a triboelectric charging element to grasp.

제 1 항에 있어서, 상기 데이터해석부는,
상기 센서부에 의해 측정되는 상기 조음기관의 물리특성을 발화 특징을 파악함에 있어서, 상기 조음기관의 물리특성을 각 자모음 단위의 패턴으로 인식하는 단계, 상기 자모음 단위의 패턴의 특징을 추출하고, 추출된 상기 자모음 단위의 패턴의 특징을 유사도에 따라 분류하는 단계, 분류된 상기 자모음 단위의 패턴의 특징을 재조합하는 단계, 상기 조음기관의 물리특성을 상기 발화특징으로 해석하는 단계에 따라 상기 발화 특징을 파악하는 발화 구현 시스템.
According to claim 1, wherein the data analysis unit,
In recognizing the speech characteristics of the physical characteristics of the articulation organ measured by the sensor unit, the steps of recognizing the physical characteristics of the articulation organ as a pattern of each consonant unit, extracting the characteristics of the pattern of the consonant unit, and , classifying the extracted characteristics of the pattern of the consonant unit according to the degree of similarity, recombining the characteristics of the classified pattern of the consonant unit, and interpreting the physical characteristics of the articulation organ as the speech characteristics. An utterance realization system for recognizing the utterance characteristics.

제 1 항에 있어서, 상기 데이터해석부는,
상기 센서부에 의해서 측정되는 상기 조음기관의 물리특성에 의해, 자모음의 동화(Assimilation), 이화(Dissimilation), 탈락(Elision), 첨가(Attachment), 강세(Stress)와, 약화(Reduction)로 야기되는 기식음화(Asperation), 음절성자음화(Syllabic cosonant), 탄설음화(Flapping), 경음화(Tensification), 순음화(Labilalization), 연구개음화(Velarization), 치음화(Dentalizatiom), 구개음화 (Palatalization), 비음화(Nasalization), 강세변화(Stress Shift), 장음화(Lengthening) 중 적어도 하나의 이차조음현상인 발화 변이를 측정하는 발화 구현 시스템.According to claim 1, wherein the data analysis unit,
According to the physical characteristics of the articulation organ measured by the sensor unit, assimilation, dissimilation, elimination, attachment, stress, and reduction of consonant vowels Caused Asperation, Syllabic cosonant, Flapping, Tensification, Labilalization, Velarization, Dentalizatiom, Palatalization A speech realization system that measures speech variation, which is a secondary articulation phenomenon of at least one of , Nasalization, Stress Shift, and Lengthening.

제 1 항에 있어서,
상기 구강설 센서는, 센서 작동을 위한 회로부, 상기 회로부를 감싸는 캡슐부, 상기 구강설 일면에 부착되는 접착부를 포함하는 발화 구현 시스템.
The method of claim 1,
The oral tongue sensor is an utterance implementation system comprising a circuit part for sensor operation, a capsule part surrounding the circuit part, and an adhesive part attached to one surface of the oral tongue.

제 1 항에 있어서,
상기 구강설 센서는, 박막 회로를 가진 필름 형태로서 상기 구강설에 인접하여 작동하는 발화 구현 시스템.
The method of claim 1,
The oral tongue sensor, in the form of a film having a thin film circuit, a speech implementation system that operates adjacent to the oral tongue.

제 1 항에 있어서,
상기 센서부는, 두경부 근육의 신경신호 측정의 기준 전위를 생성하는 적어도 하나의 레퍼런스 센서와, 상기 두경부 근육의 신경신호를 측정하는 적어도 하나의 양극센서 및 적어도 하나의 음극센서로 구성된 안면부 센서를 포함하는 발화 구현 시스템.
The method of claim 1,
The sensor unit includes at least one reference sensor for generating a reference potential for measuring a nerve signal of the head and neck muscles, and at least one positive sensor and at least one cathode sensor for measuring the nerve signal of the head and neck muscle. speech implementation system.

제 10 항에 있어서,
상기 데이터해석부는, 상기 안면부 센서에 기반하여 상기 센서부의 위치를 획득함에 있어서, 상기 레퍼런스 센서를 기준으로 하여 상기 적어도 하나의 양극센서 및 상기 적어도 하나의 음극센서의 전위차를 파악하여 상기 안면부 센서의 위치를 파악하는 발화 구현 시스템.
11. The method of claim 10,
The data analysis unit, in obtaining the position of the sensor unit based on the face sensor, grasps the potential difference between the at least one positive sensor and the at least one negative sensor based on the reference sensor to determine the position of the facial sensor An utterance implementation system to identify.

제 10 항에 있어서,
상기 데이터해석부는, 상기 안면부 센서에 기반하여 상기 화자의 발화 특징을 획득함에 있어서, 상기 레퍼런스 센서를 기준으로 하여 상기 적어도 하나의 양극센서 및 상기 적어도 하나의 음극센서의 전위차를 파악하여 상기 화자의 두경부에서 발생하는 상기 조음기관의 물리 특성에 의한 발화 특징을 파악하는 발화 구현 시스템.
11. The method of claim 10,
The data analysis unit, when acquiring the speech characteristics of the speaker based on the face sensor, recognizes a potential difference between the at least one positive sensor and the at least one negative sensor with respect to the reference sensor to determine the head and neck of the speaker A speech implementation system for identifying speech characteristics caused by the physical characteristics of the articulatory organ.

제 1 항에 있어서,
상기 센서부는, 상기 화자의 두경부 중 성대에 인접하여 성대의 근전도 내지 떨림을 파악하여, 상기 화자의 발화 시작, 발화 정지, 발화 종료 중 적어도 하나의 발화 내역 정보를 파악하는 성대 센서를 포함하는 발화 구현 시스템.
The method of claim 1,
The sensor unit may include a vocal cord sensor that detects electromyography or tremor of the vocal cords adjacent to the vocal cords of the speaker's head and neck, and grasps information on the speech history of at least one of the speaker's speech start, speech stop, and speech end. system.

제 1 항에 있어서,
상기 센서부는, 치아의 일면에 인접하여 상기 구강설 및 아랫 입술의 접촉에 기인하여 발생하는 전기적 용량 변화에 따른 신호발생 위치를 파악하는 치아센서를 포함하는 발화 구현 시스템.
The method of claim 1,
The sensor unit, adjacent to one surface of the tooth, the speech implementation system comprising a tooth sensor for detecting a signal generation position according to a change in electrical capacity generated due to the contact between the oral tongue and the lower lip.

제 1 항에 있어서,
상기 데이터해석부는, 상기 화자의 두경부 일면에 인접한 음성 취득 센서를 통해 발화에 따른 상기 화자의 음성을 취득하는 발화 구현 시스템.
The method of claim 1,
The data analysis unit may be configured to acquire the speaker's voice according to the utterance through a voice acquisition sensor adjacent to one surface of the speaker's head and neck.

제 1 항에 있어서,
상기 센서부는 화자의 발화 의도에 따라 발생하는 두경부의 상하좌우의 기울임, 흉곽부의 들썩임, 두경부와 흉곽부 간의 핏대 및 근육의 긴장, 상지부의 떨림, 상지부의 제스쳐, 하지부의 떨림, 하지부의 제스쳐 중 적어도 하나의 비언어적 표현을 파악하기 위해 상기 화자의 두경부를 촬상하는 촬상센서를 더욱 포함하는 것을 특징으로 하는 발화 구현 시스템.
The method of claim 1,
In the sensor unit, the tilting of the head and neck, up, down, left, and right, which occurs according to the speaker's intention to speak, shaking of the thorax, the tension between the joint and muscle between the head and neck and the rib cage, the tremor of the upper extremities, the gestures of the upper extremities, the tremors of the lower extremities, the gestures of the lower extremities The speech realization system of claim 1, further comprising: an image sensor configured to capture an image of the speaker's head and neck in order to detect at least one non-verbal expression.

제 1 항에 있어서,
상기 센서부의 구강설 센서, 안면 센서, 음성취득 센서, 성대 센서, 치아 센서, 촬상센서 중 적어도 하나에 전원을 공급하는 전원부를 더 포함하는 발화 구현 시스템.
The method of claim 1,
Speech implementation system further comprising a power supply for supplying power to at least one of the oral tongue sensor, the facial sensor, the voice acquisition sensor, the vocal cord sensor, the tooth sensor, and the imaging sensor of the sensor unit.

제 1 항에 있어서,
상기 데이터표현부에 의해 나타나는 발화 표현은, 문자 기호, 그림, 특수기호, 숫자 중 적어도 하나로 시각화되거나, 소리 형태로 청각화되어, 상기 화자와 청자에게 제공되는 발화 구현 시스템.
The method of claim 1,
The speech expression displayed by the data expression unit is visualized as at least one of a character symbol, a picture, a special symbol, and a number, or is auralized in the form of a sound, and is provided to the speaker and the listener.

제 1 항에 있어서,
상기 데이터표현부에 의해 나타나는 발화 표현은, 진동, 스누징, 태핑, 압박, 이완 중 적어도 하나의 촉각적 방법으로 상기 화자와 청자에게 제공되는 발화 구현 시스템.The method of claim 1,
The speech expression displayed by the data expression unit is provided to the speaker and the listener in at least one tactile method of vibration, snoozing, tapping, pressing, and relaxation.