KR20130032998A - Emotion recognition system and method using mobile terminal and peripheral device - Google Patents
Emotion recognition system and method using mobile terminal and peripheral device Download PDFInfo
- Publication number
- KR20130032998A KR20130032998A KR1020110096776A KR20110096776A KR20130032998A KR 20130032998 A KR20130032998 A KR 20130032998A KR 1020110096776 A KR1020110096776 A KR 1020110096776A KR 20110096776 A KR20110096776 A KR 20110096776A KR 20130032998 A KR20130032998 A KR 20130032998A
- Authority
- KR
- South Korea
- Prior art keywords
- emotional
- user
- sensor
- emotion
- mobile terminal
- Prior art date
Links
- 230000002093 peripheral effect Effects 0.000 title claims description 42
- 230000008909 emotion recognition Effects 0.000 title claims description 32
- 238000000034 method Methods 0.000 title claims description 25
- 238000004891 communication Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000000537 electroencephalography Methods 0.000 claims abstract description 8
- 230000002996 emotional effect Effects 0.000 claims description 161
- 230000008451 emotion Effects 0.000 claims description 48
- 230000014509 gene expression Effects 0.000 claims description 21
- 230000036760 body temperature Effects 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 10
- 206010037180 Psychiatric symptoms Diseases 0.000 claims description 8
- 210000004556 brain Anatomy 0.000 claims description 7
- 238000009795 derivation Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 230000036772 blood pressure Effects 0.000 claims 1
- 230000035945 sensitivity Effects 0.000 abstract description 14
- 239000000284 extract Substances 0.000 abstract description 3
- 241000282414 Homo sapiens Species 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003203 everyday effect Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012351 Integrated analysis Methods 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010297 mechanical methods and process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Child & Adolescent Psychology (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Hospice & Palliative Care (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Psychiatry (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Environmental & Geological Engineering (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템 및 감성인지 방법에 관한 것으로, 보다 구체적으로는, 이동전화 단말기가 주변기기로부터 감성측정 데이터를 수신받아 통합 분석하여 사용자의 감성상태를 판단하기 위한 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템 및 감성인지 방법에 관한 것이다.
The present invention relates to a user's emotional or system and emotional method using a mobile terminal and a peripheral device, and more particularly, to determine the user's emotional state by integrated analysis by receiving the emotional measurement data from the peripheral device. The present invention relates to a user's emotion or system and an emotion recognition method using a mobile terminal and a peripheral device.
무선통신 시스템은 4G통신 및 스마트폰의 응용에 이르기까지 현재까지 급격히 발달해왔지만 사용자 간의 통신은 정확한 정보의 전달과 즉각적인 상대방의 응답을 요청하는 기계적인 방식이었다.Wireless communication systems have been rapidly developed up to the present time until the application of 4G communication and smartphones, but the communication between users was a mechanical method of requesting accurate information delivery and immediate response from the other party.
또한, 기존 정보전달용 통신방식은 친밀감과 유대감이 중요시되는 가족이나 연인 사이의 통신방식으로는 적합하지 않은 것이 사실이다.In addition, it is true that the existing communication method for information transmission is not suitable as a communication method between family members and lovers in which intimacy and bond are important.
특히 인간성이 메말라 삭막해지는 현대인들에게 딱딱하고 건조한 기계적인 시스템보다는 좀 더 인간친화적인 시스템에 대한 개발 필요성이 대두하고 있으며, 암묵적인 통신 및 상대방의 존재 자각을 통해서 감성적인 상호유대감을 높이기 위한 인간의 감성의 정확한 측정 및 분석판별하고자 하는 기술개발이 요구되고 있다.In particular, the need for developing a more human-friendly system than the hard and dry mechanical system is emerging for modern people whose humanity is declining, and it is possible to improve the emotional mutual bond through implicit communication and awareness of the other party. There is a need for technology development to accurately measure and analyze sensitivity.
그러한 움직임의 일환으로 2011년 9월 정보통신 기업·대학·연구소가 손잡고 인간의 감성을 정보통신에 접목하는 기술인 감성 ICT(Information Communication Technology)의 개발에 착수하였다.As part of such a move, in September 2011, IT companies, universities, and research institutes began to develop emotional information communication technology (ICT), a technology that integrates human emotions into information communication.
감성 ICT는 인간의 감성을 읽고 데이터화해서 스마트폰 등과 같은 다양한 이동 단말기에 활용하는 기술이다.Emotional ICT is a technology that reads human emotions and makes data into various mobile terminals such as smartphones.
이에 따라, 이동 단말기가 사용자의 기분이 어떤지를 파악한 뒤 기기의 기능을 제어하여 사용자로 하여금 인간적인 만족감을 극대화하는 서비스로서 앞으로 가장 각광받을 서비스 및 응용 분야로 꼽히고 있다.Accordingly, the mobile terminal grasps how the user feels and controls the function of the device to maximize the human satisfaction of the user.
하지만, 구체적으로 어떻게 인간의 감성을 측정해야하는지에 대한 구체적인 방법이 제시되지 않고 있다. 또한, 측정된 데이터로부터 어떠한 기준으로 사용자의 감성상태를 판단하는지에 대한 판단기준 또한 자세하게 제시되지 않고 있다. However, there is no specific method on how to measure human emotion in detail. In addition, the criterion for determining the user's emotional state based on the measured data is not presented in detail.
특히 인간의 기본 감정 상태인 기쁨, 노함, 슬픔, 즐거움의 정도를 어떻게 정량적으로 측정하며, 측정된 데이터로부터 이동 단말기가 서비스해야할 주요 감성요소를 어떻게 도출해 내는지에 대해서도 구체적인 방안도 제시되지 않고 있다.In particular, there are no specific measures on how to quantitatively measure the level of joy, anger, sadness, and pleasure, which are the basic emotional states of human beings, and how to derive the main emotional elements to be served by the mobile terminal from the measured data.
여기서 감성요소는 이동 단말기가 사용자의 인간적인 만족감을 최대로 제공하기 위해서 주요하게 측정해야할 사용자의 감정요소이다. 즉 우울증 방지가 이동 단말기의 제공 서비스라면 감성요소는 우울감이 된다.In this case, the emotional element is a user's emotional element that the mobile terminal should measure principally in order to provide the maximum human satisfaction of the user. In other words, if the prevention of depression is a service provided by the mobile terminal, the emotional element becomes depression.
한편, 기존의 인간 감정을 알아내기 위한 연구를 검색해 보면, 사용자의 음성신호를 바탕으로 감성을 인식하는 것에 대한 결과가 알려져 있다. 하지만, 사용자의 음성신호로부터 감성을 도출하는 방법은 사회적, 문화적, 개개인의 감정표현방식에 따라 음성으로의 표현 정도가 개인마다 차이가 크다는 단점이 있다.On the other hand, if you search the existing research to find human emotions, the results of recognizing the emotion based on the user's voice signal is known. However, the method of deriving emotion from the user's voice signal has a disadvantage in that the degree of expression in voice varies greatly from person to person according to social, cultural and individual emotion expression methods.
즉 화가 났지만 말로 표현하지 않고 참는 것이 미덕인 사회, 문화, 개인의 성향이라면 사용자가 쓰는 언어를 통해서 정확한 감정 상태를 판단해 낸다는 것은 매우 어렵고 정확도가 떨어지는 문제가 있다.In other words, if you're angry, but it's a virtue of social, culture, and personality to endure without expressing it in words, it is very difficult and inaccurate to determine the correct emotional state through your language.
추가로 기존의 감성인식 방법은 실험실에서 복잡한 실험장비 및 생체 센싱 장비를 몸 곳곳에 부착하고 자신의 얼굴을 늘 카메라에 향하도록 하거나 감정을 나타내기 위한 말을 해야 하는 등 인위적인 노력을 해야만 하는 불편이 있었다.In addition, the conventional emotional recognition method has the inconvenience of having to make artificial efforts such as attaching complicated laboratory equipment and biological sensing equipment to various parts of the body in the laboratory and pointing the face to the camera all the time or expressing emotions. there was.
하지만, 일상생활에서 감성정보가 활용되기 위해서는 사용자는 무자각, 무구속의 상태에서 항상 휴대하는 이동 단말기와 주변기기를 이용하여 빠르고 간편하게 감성을 측정하도록 해야 하며, 이에 대한 기술개발이 요구되고 있다.
However, in order for emotional information to be used in everyday life, the user must measure emotion quickly and easily by using a mobile terminal and a peripheral device that is always carried in an insensitive, unrestrained state, and technology development for this is required.
[관련기술문헌][Related Technical Literature]
1. 고신용, “감성 ICT 도입 잰걸음: 기업·학계·연구소, 관련기술 연구개발 증가”, IT 타임스, 9월 12일, 2010.1. Shin, Shin-Yong, “Early Steps in Emotional ICT: Business, Academia, and Research Institutes, R & D in Related Technologies,” IT Times, September 12, 2010.
2. F. Dellaert, T. Polzin and A. Waibel, "Recognizing Emotion in Speech," 4th International Conference on Spoken Language Processing, vol. 3, pp. 970-973, 1996.2. F. Dellaert, T. Polzin and A. Waibel, "Recognizing Emotion in Speech," 4th International Conference on Spoken Language Processing, vol. 3, pp. 970-973, 1996.
3. T. L. Nwe, F.S. Wei and L.C. Silvia, "Speech Based Emotion Classification", Electrical and Electronic Technology, 2001. TENCON., vol. 1, pp. 297 - 301, 2001.3. T. L. Nwe, F.S. Wei and L.C. Silvia, "Speech Based Emotion Classification", Electrical and Electronic Technology, 2001. TENCON., Vol. 1, pp. 297-301, 2001.
4. 박창현, 심재윤, 이동욱, 심귀보, “음성으로부터 감성인식 요소분석,” Proceedings of KFIS 2001 fall, 12월 2001.4. Chang-Hyun Park, Jae-Yoon Shim, Dong-Wook Lee, Gwi-Bo Shim, “Emotional Recognition Factor Analysis from Speech,” Proceedings of KFIS 2001 fall, December 2001.
5. 강상기, 김용석, “음성신호를 이용하여 감성을 측정하는 방법”, 대한민국 특허, 출원번호: 10-2009-00134925. Kang Sang, Kim Yong Suk, “Measurement of Sensitivity Using Voice Signal”, Korean Patent, Application No .: 10-2009-0013492
6. 황세희, 박창현, 심귀보, “감성인식을 위한 생체 정보 수집,” Proceeding of KFIS 2005, 제 1권, 5월 2005.
6. Hwang Se-hee, Park Chang-hyun, Shim Kwi-bo, “Gathering Biological Information for Emotion Recognition,” Proceeding of KFIS 2005, Volume 1, May 2005.
본 발명은 상기의 문제점을 해결하기 위한 것으로, 이동 단말기에서 사용자가 무구속, 무자각 상태에서 사용자의 감성을 간편하게 센싱하고 센싱한 데이터를 분석하여 사용자의 감성요소인 기쁨, 슬픔/분노, 스트레스, 무료감, 평상심 등을 정량화하여 측정하고 이것의 가중치의 합으로 감성요소인 기쁨, 슬픔, 우울감, 외로움 등을 도출해 내기 위한 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템 및 감성인지 방법을 제공하기 위한 것이다.The present invention is to solve the above problems, in the mobile terminal, the user's emotions in the unrestrained, unconscious state simply sense the user's emotion and analyze the sensed data of the user's emotional factors joy, sadness / anger, stress, To provide the user's emotional recognition system and emotional recognition method using mobile terminals and peripheral devices to quantify and measure the feeling of freeness, ordinary feeling, etc., and derive emotion factors such as joy, sadness, depression, and loneliness by the sum of the weights. will be.
또한, 본 발명은 기존의 사회·문화적, 개인의 표현성향에 따라 편차가 크게 나타나는 음성을 통한 감성측정의 문제를 해결하기 위해 일상생활에서 흔히 사용하는 주변기기인 이어폰, 시계, 지갑(의복), 모자 등에 간단한 장치만을 추가하여 사용자의 생체정보를 부가적으로 통합 추출이 가능한 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템 및 감성인지 방법을 제공하기 위한 것이다.In addition, the present invention, earphones, watches, wallets (hats), hats that are peripheral devices commonly used in everyday life to solve the problem of emotional measurement through the voice that greatly varies according to the existing social, cultural, and personal expression tendency It is to provide a user's emotion or system and emotion recognition method using a mobile terminal and a peripheral device which can additionally extract the user's biometric information by adding a simple device to the back.
또한, 본 발명은 각각의 주변기기에서 측정된 데이터를 무선으로 수신받아 이동 단말기가 가중치를 두어 분석함으로써 궁극적으로 사용자로 하여금 인간적인 만족감과 기쁨을 제공 위한 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템 및 감성인지 방법을 제공하기 위한 것이다. In addition, the present invention wirelessly receives the data measured by each peripheral device and analyzes the mobile terminal weighted by the user ultimately the user's emotional recognition system and emotion using the mobile terminal and peripheral devices to provide the user with human satisfaction and joy It is to provide a cognitive method.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
However, the objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템은, 사용자의 음성데이터를 수신하는 내장 센서부; 다수의 주변기기에 각각 부착되어 상기 사용자의 생체정보들을 측정하는 외장 센서부; 및 상기 감성언어의 기준 값을 설정한 뒤 상기 내장 센서부로부터 사용자의 음성데이터를 분석하여 감정요소를 추출한 뒤, 센싱신호 처리부를 통해 수신되는 상기 외부 센서부에 의해 측정된 생체정보들을 비디오(표정, 혈색), 맥박/심박수/체온, 뇌파(EEG), 터치압력/손의 온도와 습도의 분류 따라 각각 감성요소를 판별하기 위한 임계치를 설정한 뒤, 설정된 임계치와 비교하여 사용자의 감성요소인 기쁨, 슬픔/분노, 스트레스, 무료감 및 평상심이 얼마만큼 정량적인 값을 가지는지 연산하는 감성신호처리부; 를 포함하며, 상기 내장 센서부와 상기 감성신호처리부는 이동 단말기의 내부에 형성되는 것을 특징으로 한다.In order to achieve the above object, a user's emotional recognition system using a mobile terminal and a peripheral device according to an embodiment of the present invention includes a built-in sensor unit for receiving voice data of the user; An external sensor unit attached to each of a plurality of peripheral devices to measure biometric information of the user; And after setting a reference value of the emotional language, extracting an emotional element by analyzing the voice data of the user from the built-in sensor unit, and displaying the biometric information measured by the external sensor unit received through a sensing signal processor. , Color), pulse / heart rate / body temperature, electroencephalogram (EEG), touch pressure / hand temperature, and set the threshold for discriminating emotional factors, respectively, and then compare the set threshold with the user's emotional factors Emotion signal processing unit for calculating how much quantitative value, sadness / anger, stress, free feeling and normal feeling; It includes, wherein the built-in sensor unit and the emotional signal processing unit is characterized in that it is formed inside the mobile terminal.
본 발명의 다른 실시예에 따른 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템에 있어서, 상기 감성신호 감지장치는, 상기 정량적인 값이 매겨진 감성요소 값으로부터 최적의 가중치를 적용시켜, 감성요소 도출의 정확성을 보장하는 것을 특징으로 한다.In the emotional recognition system of the user using a mobile terminal and a peripheral device according to another embodiment of the present invention, the emotional signal sensing device, by applying the optimal weight from the emotional element value given the quantitative value, It is characterized by ensuring the accuracy.
본 발명의 다른 실시예에 따른 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템에 있어서, 상기 감성신호 감지장치는, 상기 연산된 감성요소 값에 적용된 가중치 적용값으로부터 상기 사용자의 감성요소가 어떤 것인지를 도출하는 것을 특징으로 한다.In the emotion recognition system of a user using a mobile terminal and a peripheral device according to another embodiment of the present invention, the emotion signal detection apparatus, the user's emotional element from the weight applied value applied to the calculated emotional element value It is characterized by deriving.
본 발명의 다른 실시예에 따른 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템에 있어서, 상기 내장 센서부는, 음성센서, 카메라센서, 온/습도 센서, 그 밖에 적외선 센서 및 압력 센서를 포함하는 내장센서보드와 문자인식과 음성인식이 가능한 감성언어 측정보드로 구성되는 것을 특징으로 한다. In the user's emotional recognition system using a mobile terminal and a peripheral device according to another embodiment of the present invention, the built-in sensor unit, a built-in sensor including a voice sensor, a camera sensor, a temperature / humidity sensor, and other infrared sensors and pressure sensors Characterized in that the board and the text recognition board capable of speech recognition and text recognition.
본 발명의 다른 실시예에 따른 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템에 있어서, 상기 감성언어 측정보드는, 문자인식으로 상기 사용자가 보내는 문자를 인식하여 문자 속에 포함된 감성언어인 기쁨, 화남, 욕설, 외로움표현, 사랑표현, 무료함 표현을 통해 감성요소를 측정하는 것을 특징으로 한다.In the user's emotional recognition system using a mobile terminal and a peripheral device according to another embodiment of the present invention, the emotional language measurement board, the emotion language included in the text by recognizing the character sent by the user by the character recognition, anger It is characterized by measuring emotional elements through swear words, loneliness expressions, love expressions, and free expressions.
본 발명의 다른 실시예에 따른 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템에 있어서, 상기 외부 센서부는, 이어폰의 체온을 측정하기 위한 온도센서를 내장하여 측정한 체온을 나타내는 생체정보를 상기 센싱신호 통신부로 무선으로 전송하도록 제어하는 이어폰 내장 센서 파트; 상기 사용자가 일상생활에서 착용하는 시계에 맥박(압력)을 측정하기 맥박(압력)센서를 내장하여 측정한 맥박정보를 나타내는 생체정보를 상기 센싱신호 통신부로 무선으로 전송하도록 제어하는 시계 내장 센서 파트; 상기 사용자가 자켓의 속주머니에 넣는 지갑에 부착하며, 심전도(심박도) 측정하기 위한 심박동 센서를 내장하여 측정한 심전도(심박도)를 나타내는 생체정보를 상시 센싱신호 통신부로 무선으로 전송하도록 제어하는 지갑 내장 센서 파트; 및 상기 사용자의 모자 속에 형성되며 상기 사용자의 뇌파(EEG: Electro-encephalography)를 측정하기 위한 뇌파 센서를 내장하여 측정한 뇌파 데이터를 나타내는 생체정보를 상기 센싱신호 통신부로 전송하도록 제어하는 모자 내장 센서 파트; 를 포함하는 것을 특징으로 한다. In the user's emotional recognition system using a mobile terminal and a peripheral device according to another embodiment of the present invention, the external sensor unit, the sensing information to the biological information indicating the body temperature measured by the built-in temperature sensor for measuring the body temperature of the earphone Earphone built-in sensor part for controlling the wireless transmission to the communication unit; A clock embedded sensor part configured to wirelessly transmit biometric information indicating pulse information measured by embedding a pulse (pressure) sensor to measure a pulse (pressure) on a watch worn by the user in daily life to the sensing signal communication unit; The user attaches to a purse that is put in the inner pocket of the jacket and controls to transmit the biometric information indicating the measured electrocardiogram (heart rate) to the sensing signal communication unit wirelessly by incorporating a heart rate sensor for measuring electrocardiogram (heart rate). Wallet built-in sensor parts; And a hat-embedded sensor part that is formed in the hat of the user and controls to transmit biometric information representing the measured EEG data to the sensing signal communication unit by embedding an EEG sensor for measuring the electroencephalography (EEG) of the user. ; Characterized in that it comprises a.
본 발명의 다른 실시예에 따른 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템에 있어서, 상기 모자 내장 센서 파트는, 다수의 전극센서로 구성된 상기 뇌파 센서를 통하여 EEG(Electro-encephalography)를 측정하여 상기 사용자의 기쁨/분노, 흥분/이완의 감성요소에 대한 최종 도출 가능하도록 하는 것을 특징으로 한다.In the emotional recognition system of the user using a mobile terminal and a peripheral device according to another embodiment of the present invention, the hat built-in sensor part, by measuring the EEG (Electro-encephalography) through the EEG sensor consisting of a plurality of electrode sensors It is characterized in that the final derivation of the emotional elements of the user's joy / anger, excitement / relaxation.
본 발명의 다른 실시예에 따른 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템에 있어서, 상기 감성신호처리부는, 상기 센싱신호 통신부 및 상기 내장 센서부의 아날로그 데이터를 디지털화한 데이터를 수행하는 센싱신호 처리부로부터의 출력을 수신하는 것을 특징으로 한다.In the emotional recognition system of the user using a mobile terminal and a peripheral device according to another embodiment of the present invention, the emotional signal processing unit, from the sensing signal processing unit for performing data digitized analog data of the sensing signal communication unit and the built-in sensor unit Characterized in that the output of the.
본 발명의 실시예에 따른 이동 단말기와 주변기기를 이용한 사용자의 감성인지 방법은, 감성신호 감지장치가, 감성언어의 기준 값을 설정한 뒤 내장 센서부로부터 수신된 사용자의 음성데이터를 분석하여 감정요소를 추출하는 제 1 단계; 상기 감성신호 감지장치가, 센싱신호 통신부를 통해 수신되는 외부 센서부에 의해 측정된 생체정보들을 비디오(표정, 혈색), 맥박/심박수/체온, 뇌파(EEG), 터치압력/손의 온도와 습도의 분류 따라 각각 감성요소를 판별하기 위한 임계치를 설정한 뒤, 설정된 임계치와 비교하여 사용자의 감성요소인 기쁨, 슬픔/분노, 스트레스, 무료감 및 평상심이 얼마만큼 정량적인 값을 가지는지 연산하는 제 2 단계; 상기 감성신호 감지장치가, 상기 정량적인 값이 매겨진 감성요소 값으로부터 최적의 가중치를 적용시켜, 감성요소 도출의 정확성을 보장하는 제 3 단계; 및 상기 감성신호 감지장치가, 상기 연산된 감성요소 값에 적용된 가중치 적용값으로부터 상기 사용자의 감성요소가 어떤 것인지를 도출하는 제 4 단계; 를 포함하는 것을 특징으로 한다. In the emotional recognition method of a user using a mobile terminal and a peripheral device according to an exemplary embodiment of the present invention, an emotional signal sensing device analyzes the user's voice data received from the built-in sensor unit after setting a reference value of the emotional language, and then includes an emotion element. Extracting the first step; The emotion signal detection apparatus, the biometric information measured by the external sensor unit received through the sensing signal communication unit video (expression, color), pulse / heart rate / body temperature, brain waves (EEG), touch pressure / hand temperature and humidity After setting thresholds for discriminating emotional elements according to the classification of, and calculating how quantitative values of user's emotional factors such as joy, sadness / anger, stress, free feeling and normal feeling are compared with the set threshold. Two steps; A third step of the emotional signal sensing device guaranteeing the accuracy of the emotional element derivation by applying an optimal weight from the emotional element value quantitatively assigned; And a fourth step, by the emotional signal sensing device, deriving what the emotional component of the user is from the weight value applied to the calculated emotional component value; Characterized in that it comprises a.
본 발명의 다른 실시예에 따른 이동 단말기와 주변기기를 이용한 사용자의 감성인지 방법은, 상기 제 4 단계 이후에 수행되는, 상기 감성신호 감지장치가, 상기 사용자의 상기 감성요소의 시간에 따른 감성의 변화 및 패턴에 대한 데이터베이스를 구축하여 감성서비스에 활용하는 제 5 단계; 를 더 포함하는 것을 특징으로 한다.
According to another embodiment of the present invention, a method for recognizing a user's emotion using a mobile terminal and a peripheral device is performed after the fourth step, wherein the emotion signal detecting apparatus changes the sensitivity of the user's emotional component over time. And a fifth step of constructing a database of patterns and using them in the emotional service; And further comprising:
본 발명의 실시예에 따른 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템 및 감성인지 방법은, 이동 단말기를 소지하고 이어폰 등의 주변기기를 사용하는 사용자는 자신도 모르게 자연스러운 방법으로, 이동 단말기와 주변기기가 연동하여 사용자의 생체정보와 언어로부터 정확한 감정요소를 도출할 수 있는 효과를 제공한다. According to an embodiment of the present invention, a user's emotion or system and emotion recognition method using a mobile terminal and a peripheral device may include a mobile terminal and a peripheral device in a natural manner without the user having a mobile terminal and using a peripheral device such as an earphone. It provides the effect of deriving accurate emotion elements from user's biometric information and language.
뿐만 아니라, 본 발명의 다른 실시예에 따른 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템 및 감성인지 방법은, 도출된 감정요소는 지능형 이동 단말기가 사용자의 감정을 위로하거나 지인에게 알림으로써 교감을 형성하고 인간적인 만족감을 극대화할 수 있어 개인 맞춤형 감성서비스를 제공할 수 있는 효과를 제공한다.
In addition, according to another embodiment of the present invention, the user's emotion or system and emotion recognition method using the mobile terminal and the peripheral device, the derived emotional elements form an sympathy by the intelligent mobile terminal comforting the user's feelings or acquaintances with acquaintances It can maximize personal satisfaction and provide the effect to provide personalized emotional service.
도 1은 본 발명의 실시예에 따른 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템에 있어서, 감성신호 감지장치를 중심으로 도시한 도면.
도 2는 본 발명의 실시예에 따른 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템에 있어서, 이동 단말기의 구성을 중심으로 감성신호 감지장치를 도시한 도면.
도 3은 도 1의 외부 센서부를 보다 구체적으로 도시한 도면.
도 4는 도 2의 감성신호 감지장치 내부에 형성된 감성신호처리부를 구체적으로 도시한 도면.
도 5는 본 발명의 실시예에 따른 이동 단말기와 주변기기를 이용한 사용자의 감성인지 방법을 나타내는 흐름도. 1 is a diagram illustrating an emotional signal sensing device in a user's emotional recognition system using a mobile terminal and a peripheral device according to an exemplary embodiment of the present invention.
2 is a diagram illustrating an emotional signal sensing apparatus centering on a configuration of a mobile terminal in a user's emotional recognition system using a mobile terminal and a peripheral device according to an exemplary embodiment of the present invention.
3 is a view illustrating the external sensor unit of FIG. 1 in more detail.
4 is a view illustrating in detail the emotional signal processing unit formed inside the emotional signal sensing apparatus of FIG.
5 is a flowchart illustrating a user's emotion recognition method using a mobile terminal and a peripheral device according to an exemplary embodiment of the present invention.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a detailed description of preferred embodiments of the present invention will be given with reference to the accompanying drawings. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
In the present specification, when any one element 'transmits' data or signals to another element, the element can transmit the data or signal directly to the other element, and through at least one other element Data or signal can be transmitted to another component.
도 1은 본 발명의 실시예에 따른 이동 단말기(1)와 주변기기(2)를 이용한 사용자의 감성인지 시스템에 있어서, 감성신호 감지장치(100)를 중심으로 도시한 도면이다. 도 2는 본 발명의 실시예에 따른 이동 단말기(1)와 주변기기(2)를 이용한 사용자의 감성인지 시스템에 있어서, 이동 단말기(1)의 구성을 중심으로 감성신호 감지장치(100)를 도시한 도면이다. 도 3은 도 1의 외부 센서부(200)를 보다 구체적으로 도시한 도면이다. 도 4는 도 2의 감성신호 감지장치(100) 내부에 형성된 감성신호처리부(300)를 구체적으로 도시한 도면이다.1 is a diagram illustrating an emotional
감성신호 감지장치(100)는 주변기기(2)에서 검출된 감성신호를 무선을 통해 센싱신호 통신부(130)에서 수집하고 이동 단말기(1)에 내장된 내장 센서부(140)를 통해 수집한 감성센싱신호를 센싱신호 처리부(150)와 감성신호처리부(300)를 통하여 감정요소(기쁨, 슬픔/노여움, 스트레스, 무료감, 평상심)를 정량적으로 도출하고 다시 감정요소에 가중치를 곱하는 연산을 수행으로써 최종적인 감성요소(기쁨, 슬픔, 우울감, 외로움 등)를 도출한다. The emotional
본 시스템은 이동 단말기(1)에 포함된 감성신호 감지장치(100), 그리고 각각의 센서 및 무선 모듈을 구비하여 주변기기인 이어폰, 시계, 지갑, 모자 등에 부착된 외부 센서부(200)를 포함하며, 이하, 도 1 및 도 2를 참조로 이하 감성신호 감지장치(100)의 구성에 대해 구체적으로 살펴보도록 한다. 한편, 도 2의 이동 단말기(1)의 일반적인 구성요소인 MCU(20), LCD(30), 밧데리(40), 터치패드(50)에 대한 설명은 생략하도록 한다. The system includes an emotional
감성신호 감지장치(100)는 이동 단말기(1)에 포함되어 사용자 인터페이스부(110), 사용자 관리부(120), 센싱신호 통신부(130), 내장 센서부(140), 센싱센싱신호 처리부(150), 감성신호처리부(160), H/W처리부(170), 그리고 감성신호처리부(300)로 구성되어 있다. The emotional
사용자 인터페이스부(110)는 후술할 감성신호처리부(300)로부터 감성신호에 의한 최종적인 감성요소에 대한 도출에 따라 개인에게 맞는 감성서비스를 제공하는데 쓰인다. The
사용자 관리부(120)는 감성요소에 따라 사용자가 원하는 서비스를 제공할 수 있도록 사용자별로 데이터베이스를 관리하는데 사용된다. The
센싱신호 통신부(130)는 외부기기인 이어폰, 시계, 지갑, 모자 등에서 보내는 감성을 나타내는 생체정보를 무선(Bluetooth, Zigbee)을 이용하여 수신한다. The sensing
내장 센서부(140)는 이동 단말기(1)에 포함되어 이동 단말기(1) 주위의 음성, 비디오, 온도/습도, 적외선, 압력을 측정할 수 있는 센서들의 집합이다. The built-in
보다 구체적으로 내장 센서부(140)는 이동 단말기(1)에 내장되어, 음성센서, 카메라센서, 온/습도 센서, 그 밖에 적외선 센서 및 압력 센서를 포함하는 내장센서보드와 문자인식과 음성인식이 가능한 감성언어 측정보드로 구성된다. More specifically, the built-in
여기서, 내장센서보드는 음성센서로 목소리의 톤이나 말의 빠르기를 이용하여 감성요소 측정하고, 카메라센서로 사용자의 셀카(자기 사진찍기) 및 영상통화 시에 측정가능한 얼굴색과 표정을 통하여 감성요소를 측정하고, 온/습도 센서를 이용하여 사용자가 이동 단말기(1)를 손으로 쥘 때 측정되는 온도를 통해 감성요소를 측정한다. Here, the built-in sensor board measures the emotional elements using voice tone or speed of speech with the voice sensor, and the emotional elements are measured by the face color and expression that can be measured during the user's selfie (self-photographing) and video call with the camera sensor. In addition, by using the temperature / humidity sensor, the emotional element is measured through the temperature measured when the user lifts the mobile terminal 1 by hand.
감성언어 측정보드는 문자인식으로 사용자가 보내는 문자를 인식하여 문자 속에 포함된 감성언어인 기쁨, 화남, 욕설, 외로움표현, 사랑표현, 무료함 표현을 통해 감성요소를 측정한다.Emotional language measurement board recognizes the text sent by the user by the character recognition and measures the emotional element through the expression of joy language, joy, anger, swearing, loneliness expression, love expression, free expression.
또한, 감성언어 측정보드는 음성인식으로 사용자가 통화시에 사용하는 말에 포함된 감성언어인 기쁨, 화남, 욕설, 외로움표현, 사랑표현, 무료함 표현을 통해 감성요소를 측정한다.In addition, the emotional language measurement board measures the emotional elements through the expressions of joy, anger, swear words, loneliness, love expressions, free expressions that are included in the words used by the user during the call with voice recognition.
센싱신호 처리부(150)는 사용자의 생체정보를 측정한 센서(외부/내부)의 측정값들을 유무선으로 수신받아 아날로그신호로부터 신호처리가 용이한 디지털신호로 변환하는 블록이다. The
감성신호처리부(300)는 센싱신호 처리부(150)의 출력을 수신하여, 사용자의 생체정보로부터 감성신호를 측정하고 감성요소를 도출하게 된다. The
감성신호통신부(160)는 감정신호 측정에 따라 분석된 감성요소를 바탕으로 외부인이나 기타 필요한 전자기기에 관련된 감성정보를 전달함으로써 사용자로 하여금 감성서비스를 제공받도록 한다. The emotional
H/W처리부(170)는 센싱신호 처리부(150), 감성신호처리부(300), 감성신호 통신부(160) 등이 실행될 수 있도록 H/W 플렛폼을 제어한다.
The H /
한편, 도 3을 참조하면, 외부 센서부(200)에 대해 보다 구체적으로 살펴보면, 외부 센서부(200)는 감성신호감지장치(100)의 주체가 되는 이동 단말기(1)에 추가적인 사용자의 생체정보를 제공하기 위해서, 센서와 통신모듈이 내장된 이어폰, 모자, 시계, 지갑 등에 부착되어 복합센서군을 구성한다. Meanwhile, referring to FIG. 3, the
먼저, 이어폰 내장 센서 파트(210)는 이어폰에 체온을 측정하기 온도센서를 내장하고, 무선 모듈을 통해 측정한 체온을 나타내는 생체정보를 센싱신호 통신부(130)로 전송하도록 제어한다. First, the built-in
하나의 실시예로, 이어폰 내장 센서 파트(210)는 사용자가 음악을 들을 때 사용하는 이어폰에 내장된 체온 센서를 통하여 사용자의 정확한 생체정보(체온)를 측정한다.In one embodiment, the earphone embedded
시계 내장 센서 파트(220)는 사용자가 일상생활에서 착용하는 시계에 맥박(압력)을 측정하기 맥박(압력)센서를 내장하고 무선 모듈을 통해 측정한 맥박정보를 나타내는 생체정보를 센싱신호 통신부(130)로 전송하도록 제어한다.The built-in
지갑 내장 센서 파트(230)는 사용자가 자켓의 속주머니에 있는 지갑에 부착하며, 심전도(심박도) 측정하기 위한 심박동 센서를 내장하고 무선 모듈을 통해 측정한 심박도 데이터를 나타내는 생체정보를 센싱신호 통신부(130)로 전송하도록 제어한다. The wallet built-in
모자 내장 센서 파트(240)는 사용자의 모자 속에 내장하고, 사용자의 뇌파(EEG: Electro-encephalography)를 측정하기 위한 뇌파 센서를 내장하고, 무선 모듈을 통해 측정한 뇌파 데이터를 나타내는 생체정보를 센싱신호 통신부(130)로 전송하도록 제어한다.The hat-embedded
보다 구체적으로, 모자 내장 센서 파트(240)는 사용자가 일상생활에서 사용하는 모자에 부착된 다수의 전극센서로 구성된 뇌파 센서를 통하여 EEG(Electro-encephalography)를 측정함으로써 사용자의 기쁨/분노, 흥분/이완 등의 감성요소에 대한 최종 도출 가능하도록 한다. More specifically, the hat embedded
감성신호처리부(300)는 센싱신호 통신부(130) 및 내장 센서부(140)의 아날로그 데이터를 디지털화한 센싱 센싱신호 처리부(150)의 출력을 수신하며, 사용자의 생체정보로부터 감성신호를 측정하고 감성요소를 도출하게 된다. The emotional
이하, 도 4를 참조하여, 감성신호 감지장치(100) 내에 형성된 감성신호처리부(300)의 Hereinafter, referring to FIG. 4, the emotional
도 4의 감성신호 감지장치(100) 내에 구비된 감성신호처리부(300)를 구체적으로 살펴본다. The emotional
감성신호처리부(300)는 사용자가 쓰는 언어(문자)로부터 감성요소를 도출하기 위해서 판단기준이 되는 감성언어의 기준 값을 생성하고, 사용자의 언어(말/문자)로부터 단어를 인식하여 기준 값과 비교하여 감성요소를 도출한다. The emotional
이를 위해 감정 언어 기준생성 및 처리부(310), 감정 생체신호 임계치 생성 및 처리부(320), 감정요소 추출부(330), 감정요소 가중치 적용부(340), 감성요소 추론부(350), 그리고 감성요소 정보 관리부(360)를 포함한다. For this purpose, the emotion language reference generation and
보다 구체적으로 살펴보면, 감성 언어 기준생성 및 처리부(310)는 감성언어의 기준 값을 설정한 뒤, 사용자로부터 수신된 음성데이터를 분석하여 감정요소를 추출한다. In more detail, the emotional language reference generation and
예를 들어, 사용자로부터 수신된 음성데이터를 분석하여 언어(말, 문자) 중에서 신난다, 기쁘다, 즐겁다 등의 기준단어를 설정하고, 이런 것이 지정된 시간 안에서 일정빈도 이상으로 설정된 기준 값 이상 쓰였다면 현재 감정상태(감성요소)를 즐거움이라고 판단한다. For example, by analyzing the voice data received from the user, set the reference words such as exciting, happy, happy, etc. among the languages (words, texts), and if these are used more than the reference value set above a certain frequency within the specified time, the current emotion The state (emotional element) is judged as pleasure.
감정 생체신호 임계치 생성 및 처리부(320)는 센싱신호 처리부(150)를 통해 수신되는 생체정보들을 비디오(표정, 혈색), 맥박/심박수/체온, 뇌파(EEG), 터치압력/손의 온도와 습도의 분류 따라 각각 감성요소를 판별하기 위한 임계치를 설정한 뒤, 이것과 비교하여 사용자의 감성요소(기쁨, 슬픔/분노, 스트레스, 무료감, 평상심)가 얼마만큼 정량적인 값을 가지는지 연산한 뒤, 감성요소 추출부(330)를 통해 출력한다. The emotional biosignal threshold generation and
감성요소 가중치 적용부(340)는 정량적인 값이 매겨진 감성요소 값으로부터 최적의 가중치를 적용시킴으로써 감성서비스를 적용함에 있어서 판단기준이 되는 감성요소 도출의 정확성을 보장한다. The emotional
감성요소 추론부(350)는 연산된 감성요소 값에 적용된 가중치 적용값으로부터 감성요소(기쁨, 슬픔, 우울감, 외로움 등)를 도출해 낸다. The emotional
마지막으로 감성요소 정보관리부(360)는 사용자의 감성의 변화 및 일정한 패턴 등에 대한 데이터베이스를 구축하여 추가적인 감성서비스에 활용할 수 있도록 대비한다.
Lastly, the emotional element
도 5는 본 발명의 실시예에 따른 이동 단말기와 주변기기를 이용한 사용자의 감성인지 방법을 나타내는 흐름도이다. 도 1 내지 도 5를 참조하면, 감성신호 감지장치(100)는 감성언어의 기준 값을 설정한 뒤(S1), 내장 센서부(140)로부터 사용자의 음성데이터를 분석하여 감정요소를 추출한다(S2).5 is a flowchart illustrating a user's emotion recognition method using a mobile terminal and a peripheral device according to an exemplary embodiment of the present invention. 1 to 5, the emotional
즉, 사용자로부터 수신된 음성데이터를 분석하여 언어(말, 문자) 중에서 신난다, 기쁘다, 즐겁다 등의 기준단어를 설정하고, 이런 것이 지정된 시간 안에서 일정빈도 이상으로 설정된 기준 값 이상 쓰였다면 현재 감정상태(감성요소)를 즐거움이라고 판단한다. In other words, it analyzes the voice data received from the user and sets the reference words such as exciting, happy, happy among the languages (words, texts), and if these are used more than the reference value set above a certain frequency within the designated time, the current emotional state ( Emotion factor is judged as pleasure.
단계(S2) 이후, 감성신호 감지장치(100)는 센싱신호 통신부(130)를 통해 수신되는 생체정보들을 비디오(표정, 혈색), 맥박/심박수/체온, 뇌파(EEG), 터치압력/손의 온도와 습도의 분류 따라 각각 감성요소를 판별하기 위한 임계치를 설정한 뒤, 이것과 비교하여 사용자의 감성요소(기쁨, 슬픔/분노, 스트레스, 무료감, 평상심)가 얼마만큼 정량적인 값을 가지는지 연산한다(S3).After the step S2, the emotional
단계(S3) 이후, 감성신호 감지장치(100)는 정량적인 값이 매겨진 감성요소 값으로부터 최적의 가중치를 적용시킴으로써 감성서비스를 적용함에 있어서 판단기준이 되는 감성요소 도출의 정확성을 보장한다(S4).After the step S3, the emotional
단계(S4) 이후, 감성신호 감지장치(100)는 연산된 감성요소 값에 적용된 가중치 적용값으로부터 감성요소(기쁨, 슬픔, 우울감, 외로움 등)를 도출해 낸다(S5).After the step S4, the emotional
이후, 감성신호 감지장치(100)는 사용자의 감성의 변화 및 일정한 패턴 등에 대한 데이터베이스를 구축하여 추가적인 감성서비스에 활용할 수 있도록 대비한다.
Thereafter, the emotional
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device and the like, and also implemented in the form of a carrier wave (for example, transmission over the Internet) .
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
The computer readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner. And functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers skilled in the art to which the present invention pertains.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
As described above, preferred embodiments of the present invention have been disclosed in the present specification and drawings, and although specific terms have been used, they have been used only in a general sense to easily describe the technical contents of the present invention and to facilitate understanding of the invention , And are not intended to limit the scope of the present invention. It is to be understood by those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.
1: 이동 단말기 2: 주변기기
20: MCU 30: LCD
40: 밧데리 50: 터치패드
100: 감성신호 감지장치 110: 사용자 인터페이스부
12: 사용자 관리부 130: 센싱신호 통신부
140: 내장 센서부 150: 센싱센싱신호 처리부
160: 감성신호처리부 170: H/W처리부
200: 외부 센서부 210: 이어폰 내장 센서 파트
220: 시계 내장 센서 파트 230: 지갑 내장 센서 파트
240: 모자 내장 센서 파트 300: 감성신호처리부
310: 감정 언어 기준생성 및 처리부
320: 감정 생체신호 임계치 생성 및 처리부
330: 감정요소 추출부
340: 감정요소 가중치 적용부
350:감성요소 추론부
360: 감성요소 정보 관리부1: mobile terminal 2: peripherals
20: MCU 30: LCD
40: battery 50: touch pad
100: emotional signal detection device 110: user interface unit
12: user management unit 130: sensing signal communication unit
140: built-in sensor unit 150: sensing sensing signal processing unit
160: emotional signal processing unit 170: H / W processing unit
200: external sensor unit 210: earphone built-in sensor parts
220: built-in clock sensor part 230: built-in wallet sensor parts
240: hat-embedded sensor part 300: emotional signal processing unit
310: generation and processing of emotional language criteria
320: Emotional biosignal threshold generation and processing unit
330: emotion element extraction unit
340: emotion factor weight application unit
350: emotional element inference
360: emotional element information management unit
Claims (8)
다수의 주변기기에 각각 부착되어 상기 사용자의 생체정보들을 측정하는 외장 센서부; 및
상기 감성언어의 기준 값을 설정한 뒤 상기 내장 센서부로부터 사용자의 음성데이터를 분석하여 감정요소를 추출한 뒤, 센싱신호 처리부를 통해 수신되는 상기 외부 센서부에 의해 측정된 생체정보들을 비디오(표정, 혈색), 맥박/심박수/체온, 뇌파(EEG), 터치압력/손의 온도와 습도의 분류 따라 각각 감성요소를 판별하기 위한 임계치를 설정한 뒤, 설정된 임계치와 비교하여 사용자의 감성요소인 기쁨, 슬픔/분노, 스트레스, 무료감 및 평상심이 얼마만큼 정량적인 값을 가지는지 연산하는 감성신호처리부; 를 포함하며,
상기 내장 센서부와 상기 감성신호처리부는 이동 단말기의 내부에 형성되는 것을 특징으로 하는 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템 및 감성인지 시스템.
A built-in sensor unit comprising a voice sensor, a camera sensor, a temperature / humidity sensor, an internal sensor board including an infrared sensor, and a pressure sensor, and an emotional language measurement board capable of text recognition and voice recognition;
An external sensor unit attached to each of a plurality of peripheral devices to measure biometric information of the user; And
After the reference value of the emotional language is set, the user's voice data is analyzed from the built-in sensor unit to extract an emotion element, and the biometric information measured by the external sensor unit received through the sensing signal processor is video (expressed, Blood pressure), pulse / heart rate / body temperature, electroencephalogram (EEG), touch pressure / hand temperature and humidity, and set thresholds for discriminating emotional factors, respectively, and then compare the user's emotional factors with joy, Emotional signal processing unit for calculating how much quantitative value of sadness / anger, stress, free feeling and normal feeling; Including;
The built-in sensor unit and the emotional signal processing unit is formed inside the mobile terminal, the user's emotional recognition system and emotion recognition system using a mobile terminal and a peripheral device.
상기 정량적인 값이 매겨진 감성요소 값으로부터 최적의 가중치를 적용시켜, 감성요소 도출의 정확성을 보장하거나, 상기 연산된 감성요소 값에 적용된 가중치 적용값으로부터 상기 사용자의 감성요소가 어떤 것인지를 도출하는 것을 특징으로 하는 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템.
The method of claim 1, wherein the emotional signal detection device,
Applying the optimal weight from the quantitative emotional component value to ensure the accuracy of the emotional component derivation, or to derive what the emotional component of the user from the weight applied value applied to the calculated emotional component value A user's emotional recognition system using a mobile terminal and a peripheral device.
문자인식으로 상기 사용자가 보내는 문자를 인식하여 문자 속에 포함된 감성언어인 기쁨, 화남, 욕설, 외로움표현, 사랑표현, 무료함 표현을 통해 감성요소를 측정하는 것을 특징으로 하는 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템.
According to claim 1, The emotional language measurement board,
Recognizing the character sent by the user by the character recognition using the mobile terminal and the peripheral device, characterized in that the emotional element is measured through the expression of joy, anger, swearing, loneliness, love expression, free expression included in the character User's emotional recognition system.
이어폰의 체온을 측정하기 위한 온도센서를 내장하여 측정한 체온을 나타내는 생체정보를 상기 센싱신호 통신부로 무선으로 전송하도록 제어하는 이어폰 내장 센서 파트;
상기 사용자가 일상생활에서 착용하는 시계에 맥박(압력)을 측정하기 맥박(압력)센서를 내장하여 측정한 맥박정보를 나타내는 생체정보를 상기 센싱신호 통신부로 무선으로 전송하도록 제어하는 시계 내장 센서 파트;
상기 사용자가 자켓의 속주머니에 넣는 지갑에 부착하며, 심전도(심박도) 측정하기 위한 심박동 센서를 내장하여 측정한 심전도(심박도)를 나타내는 생체정보를 상시 센싱신호 통신부로 무선으로 전송하도록 제어하는 지갑 내장 센서 파트; 및
상기 사용자의 모자 속에 형성되며 상기 사용자의 뇌파(EEG: Electro-encephalography)를 측정하기 위한 뇌파 센서를 내장하여 측정한 뇌파 데이터를 나타내는 생체정보를 상기 센싱신호 통신부로 전송하도록 제어하는 모자 내장 센서 파트; 를 포함하는 것을 특징으로 하는 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템.
The method of claim 1, wherein the external sensor unit,
A built-in earphone sensor part configured to wirelessly transmit biological information indicating a measured body temperature to a sensor signal communication unit by embedding a temperature sensor for measuring a body temperature of the earphone;
A clock embedded sensor part configured to wirelessly transmit biometric information indicating pulse information measured by embedding a pulse (pressure) sensor to measure a pulse (pressure) on a watch worn by the user in daily life to the sensing signal communication unit;
The user attaches to a purse that is put in the inner pocket of the jacket and controls to transmit the biometric information indicating the measured electrocardiogram (heart rate) to the sensing signal communication unit wirelessly by incorporating a heart rate sensor for measuring electrocardiogram (heart rate). Wallet built-in sensor parts; And
A hat-embedded sensor part that is formed in the hat of the user and controls to transmit biometric information representing the measured brain wave data to the sensing signal communication unit by embedding an electroencephalogram sensor for measuring electroencephalography (EEG) of the user; Emotional recognition system of the user using a mobile terminal and a peripheral device comprising a.
상기 모자 내장 센서 파트는,
다수의 전극센서로 구성된 상기 뇌파 센서를 통하여 EEG(Electro-encephalography)를 측정하여 상기 사용자의 기쁨/분노, 흥분/이완의 감성요소에 대한 최종 도출 가능하도록 하는 것을 특징으로 하는 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템.
The method of claim 4, wherein
The hat built-in sensor parts,
EEG (Electro-encephalography) is measured through the EEG sensor composed of a plurality of electrode sensors to enable the final derivation of the emotional elements of the joy / anger, excitement / relaxation of the user using a mobile terminal and a peripheral device User's emotional recognition system.
상기 센싱신호 통신부 및 상기 내장 센서부의 아날로그 데이터를 디지털화한 데이터를 수행하는 센싱신호 처리부로부터의 출력을 수신하는 것을 특징으로 하는 이동 단말기와 주변기기를 이용한 사용자의 감성인지 시스템.
The method of claim 1, wherein the emotional signal processing unit,
Emotion recognition system of the user using the mobile terminal and the peripheral device, characterized in that for receiving the output from the sensing signal processor for performing the data digitized the analog data of the sensing signal communication unit and the built-in sensor unit.
상기 감성신호 감지장치가, 센싱신호 통신부를 통해 수신되는 외부 센서부에 의해 측정된 생체정보들을 비디오(표정, 혈색), 맥박/심박수/체온, 뇌파(EEG), 터치압력/손의 온도와 습도의 분류 따라 각각 감성요소를 판별하기 위한 임계치를 설정한 뒤, 설정된 임계치와 비교하여 사용자의 감성요소인 기쁨, 슬픔/분노, 스트레스, 무료감 및 평상심이 얼마만큼 정량적인 값을 가지는지 연산하는 제 2 단계;
상기 감성신호 감지장치가, 상기 정량적인 값이 매겨진 감성요소 값으로부터 최적의 가중치를 적용시켜, 감성요소 도출의 정확성을 보장하는 제 3 단계; 및
상기 감성신호 감지장치가, 상기 연산된 감성요소 값에 적용된 가중치 적용값으로부터 상기 사용자의 감성요소가 어떤 것인지를 도출하는 제 4 단계; 를 포함하는 것을 특징으로 하는 이동 단말기와 주변기기를 이용한 사용자의 감성인지 방법.
A first step of the emotion signal detecting apparatus extracting an emotion element by analyzing a user's voice data received from the built-in sensor unit after setting a reference value of the emotion language;
The emotion signal detection apparatus, the biometric information measured by the external sensor unit received through the sensing signal communication unit video (expression, color), pulse / heart rate / body temperature, brain waves (EEG), touch pressure / hand temperature and humidity After setting thresholds for discriminating emotional elements according to the classification of, and calculating how quantitative values of user's emotional factors such as joy, sadness / anger, stress, free feeling and normal feeling are compared with the set threshold. Two steps;
A third step of the emotional signal sensing device guaranteeing the accuracy of the emotional element derivation by applying an optimal weight from the emotional element value quantitatively assigned; And
A fourth step of deriving, by the emotion signal sensing apparatus, what the emotion element of the user is from a weight value applied to the calculated emotion element value; Emotional recognition method of the user using a mobile terminal and a peripheral device comprising a.
상기 감성신호 감지장치가, 상기 사용자의 상기 감성요소의 시간에 따른 감성의 변화 및 패턴에 대한 데이터베이스를 구축하여 감성서비스에 활용하는 제 5 단계; 를 더 포함하는 것을 특징으로 하는 이동 단말기와 주변기기를 이용한 사용자의 감성인지 방법.
The method of claim 7, wherein the step is performed after the fourth step,
A fifth step of the emotion signal sensing device constructing a database of a change and a pattern of the emotions of the user over time of the user and using them in the emotion service; Recognizing method of the user using a mobile terminal and a peripheral device further comprising.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110096776A KR20130032998A (en) | 2011-09-26 | 2011-09-26 | Emotion recognition system and method using mobile terminal and peripheral device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110096776A KR20130032998A (en) | 2011-09-26 | 2011-09-26 | Emotion recognition system and method using mobile terminal and peripheral device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20130032998A true KR20130032998A (en) | 2013-04-03 |
Family
ID=48435595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110096776A KR20130032998A (en) | 2011-09-26 | 2011-09-26 | Emotion recognition system and method using mobile terminal and peripheral device |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20130032998A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104900007A (en) * | 2015-06-19 | 2015-09-09 | 四川分享微联科技有限公司 | Monitoring watch triggering wireless alarm based on voice |
| WO2017007277A1 (en) * | 2015-07-08 | 2017-01-12 | Samsung Electronics Co., Ltd. | Emotion evaluation |
| WO2017099352A1 (en) * | 2015-12-09 | 2017-06-15 | 주식회사 소소 | System for providing individually customized sensibility solution using earhook brainwave measuring device |
-
2011
- 2011-09-26 KR KR1020110096776A patent/KR20130032998A/en not_active Application Discontinuation
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104900007A (en) * | 2015-06-19 | 2015-09-09 | 四川分享微联科技有限公司 | Monitoring watch triggering wireless alarm based on voice |
| WO2017007277A1 (en) * | 2015-07-08 | 2017-01-12 | Samsung Electronics Co., Ltd. | Emotion evaluation |
| US10285634B2 (en) | 2015-07-08 | 2019-05-14 | Samsung Electronics Company, Ltd. | Emotion evaluation |
| WO2017099352A1 (en) * | 2015-12-09 | 2017-06-15 | 주식회사 소소 | System for providing individually customized sensibility solution using earhook brainwave measuring device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11435826B2 (en) | Electronic device and control method thereof | |
| CN103561652B (en) | Method and system for assisting patients | |
| CN109276255B (en) | Method and device for detecting tremor of limbs | |
| CN109460752B (en) | Emotion analysis method and device, electronic equipment and storage medium | |
| CN108899037A (en) | Animal vocal print feature extracting method, device and electronic equipment | |
| Schuller et al. | Automatic recognition of physiological parameters in the human voice: Heart rate and skin conductance | |
| KR102655676B1 (en) | Apparatus and method for estimating blood pressure, and apparatus for supporting blood pressure estimation | |
| KR102606689B1 (en) | Method and apparatus for providing biometric information in electronic device | |
| CN107209807A (en) | Pain management wearable device | |
| US20230346285A1 (en) | Localized collection of biological signals, cursor control in speech assistance interface based on biological electrical signals and arousal detection based on biological electrical signals | |
| US20200302952A1 (en) | System for assessing vocal presentation | |
| WO2011158965A1 (en) | Sensitivity evaluation system, sensitivity evaluation method, and program | |
| CN107239769A (en) | A kind of personal emotion potency recognition methods of use multi-channel information synchronization | |
| KR102015097B1 (en) | Apparatus and computer readable recorder medium stored program for recognizing emotion using biometric data | |
| US20200303058A1 (en) | Lifestyle habit management device, method, and non-transitory recording medium in which program is stored | |
| KR20130032998A (en) | Emotion recognition system and method using mobile terminal and peripheral device | |
| CN113764099A (en) | Psychological state analysis method, device, equipment and medium based on artificial intelligence | |
| KR101148164B1 (en) | Method for estimating degree of subjective well-being based on language of user | |
| KR102576126B1 (en) | Apparatus and method for estimating bio-information | |
| KR101912860B1 (en) | Smart jewelry system for depression cognitive and care | |
| KR101115524B1 (en) | Emotion Reasoning Apparatus of Mobile Terminal Using Physiological Signal | |
| CN109124619A (en) | A kind of personal emotion arousal recognition methods using multi-channel information synchronization | |
| JP7021488B2 (en) | Information processing equipment and programs | |
| CN109820523A (en) | Psychological tester control method, device and computer readable storage medium | |
| CN111475606B (en) | Motivational speech device, motivational speech method, and computer-readable medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |