KR101115524B1 - Emotion Reasoning Apparatus of Mobile Terminal Using Physiological Signal - Google Patents
Emotion Reasoning Apparatus of Mobile Terminal Using Physiological Signal Download PDFInfo
- Publication number
- KR101115524B1 KR101115524B1 KR1020090133848A KR20090133848A KR101115524B1 KR 101115524 B1 KR101115524 B1 KR 101115524B1 KR 1020090133848 A KR1020090133848 A KR 1020090133848A KR 20090133848 A KR20090133848 A KR 20090133848A KR 101115524 B1 KR101115524 B1 KR 101115524B1
- Authority
- KR
- South Korea
- Prior art keywords
- emotional
- inference
- reasoning
- data
- user
- Prior art date
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 49
- 230000002996 emotional effect Effects 0.000 claims abstract description 159
- 230000008859 change Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000004044 response Effects 0.000 claims abstract description 16
- 238000005259 measurement Methods 0.000 claims abstract description 15
- 230000008512 biological response Effects 0.000 claims abstract description 11
- 238000010606 normalization Methods 0.000 claims abstract description 7
- 230000006397 emotional response Effects 0.000 claims abstract description 5
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 5
- 238000011002 quantification Methods 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 abstract description 4
- 230000004927 fusion Effects 0.000 abstract description 4
- 230000006872 improvement Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 206010022998 Irritability Diseases 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000005259 peripheral blood Anatomy 0.000 description 1
- 239000011886 peripheral blood Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004622 sleep time Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0531—Measuring skin impedance
- A61B5/0533—Measuring galvanic skin response
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Psychiatry (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Telephone Function (AREA)
Abstract
본 발명은 이동환경에서 사용자가 직면하는 다양한 환경 변화에 따라 발생하는 생체신호의 변화를 융합 센싱한 후에 생활패턴을 분석하여 시간과 공간의 변화에 따른 사용자의 감성 변화를 추론하고, 이에 기반하여 이를 개선하는 방향으로의 모바일 서비스가 가능하도록 한 생체신호를 이용한 모바일 단말기의 감성 추론 장치에 관한 것이다.The present invention infers the change of user's emotion according to the change of time and space by analyzing the life pattern after fusion sensing of the change of the bio-signal generated by the various environmental changes faced by the user in the mobile environment. Emotional reasoning apparatus of a mobile terminal using a bio-signal to enable a mobile service in the direction of improvement.
본 발명의 생체신호를 이용한 모바일 단말기의 감성 추론 장치는 외부로부터 제공되는 2종류 이상의 감성센싱신호를 수신한 후에 이를 단일의 다중 채널 감성센싱신호 데이터 스트림으로 결합하는 감성센싱신호 입력 블록; 상기 다중 채널 감성센싱신호 데이터 스트림을 각각의 단일 채널 감성센싱신호 데이터 스트림으로 분리하고, 이로부터 다종의 생체 반응 측정 변수를 선정하여 분석하는 감성센싱신호 정보 분석 블록; 상기 분석된 생체 반응 측정 변수 데이터를 저장하는 감성신호센싱 리포지토리 블록; 감성추론 처리 블록의 수행 결과인 사용자의 감성 추론 데이터를 저장하고 감성추론을 위한 전문가의 룰 베이스 테이블을 저장하는 감성추론 데이터 리포지토리 블록; 상기 생체 반응 측정 변수 데이터를 수신하여 그 변화량을 분석하기 위한 정규화를 수행하고 생체 반응 측정 변수별 감성 변화를 상기 룰 베이스 테이블 기반으로 검색한 후에 감성 반응을 종합하여 최종적으로 감성 분류에 따른 맵핑을 수행함으로써 감성 추론을 수행하는 감성추론 처리 블록 및 감성추론 처리 블록에서 처리된 감성 추론 데이터를 출력하는 감성추론 데이터 출력 블록을 포함 하여 이루어진다.An emotional inference apparatus of a mobile terminal using a biosignal of the present invention includes an emotional sensing signal input block for receiving two or more kinds of emotional sensing signals provided from the outside and combining them into a single multi-channel emotional sensing signal data stream; An emotion sensing signal information analysis block that separates the multi-channel emotional sensing signal data stream into respective single channel emotional sensing signal data streams, and selects and analyzes a plurality of biological response measurement variables therefrom; An emotional signal sensing repository block that stores the analyzed biometric response variable data; An emotional reasoning data repository block configured to store emotional reasoning data of a user as a result of the emotional reasoning processing block and a rule base table of an expert for emotional reasoning; Receive the biometric response variable data and perform normalization to analyze the change amount, search for the emotional change for each biometric response variable based on the rule base table, synthesize the emotional response, and finally perform mapping according to the emotional classification Thereby comprising an emotional inference processing block for performing emotional inference and an emotional inference data output block for outputting emotional inference data processed in the emotional inference processing block.
모바일, 감성, 추론, 생체신호, PPG, SKT, GSR Mobile, Emotion, Reasoning, Biosignal, PPG, SKT, GSR
Description
본 발명은 생체신호를 이용한 모바일 단말기의 감성 추론 장치에 관한 것으로, 특히 이동환경에서 사용자가 직면하는 다양한 환경 변화에 따라 발생하는 생체신호의 변화를 융합 센싱한 후에 생활패턴을 분석하여 시간과 공간의 변화에 따른 사용자의 감성 변화를 추론하고, 이에 기반하여 이를 개선하는 방향으로의 모바일 서비스가 가능하도록 한 생체신호를 이용한 모바일 단말기의 감성 추론 장치에 관한 것이다.The present invention relates to an emotional inference device of a mobile terminal using a bio-signal, and in particular, after fusion sensing of a change in a bio-signal generated by various environmental changes faced by a user in a mobile environment, a life pattern is analyzed to analyze the life patterns. The present invention relates to an emotional reasoning apparatus of a mobile terminal using a biosignal, which infers a user's emotional change according to the change, and based on this, enables a mobile service in a direction to improve the user's emotion.
근래 들어, 생체신호를 이용해서 각종 유용한 서비스를 제공하는 기술에 관한 활발한 연구가 이루어지고 있다.In recent years, active researches have been conducted on technologies for providing various useful services using bio signals.
예를 들어, 소니사에서 미국에 출원하여 특허받은 "Emotion recognition method and device"(특허등록번호: US7,451,079)는 음성신호의 특징에 의해 추출된 특징 셋을 처리하여 인간의 감정을 검출하는 특허로서, 음성신호로부터 감정을 검출하되, 음향적으로 나쁜 환경이거나 짧은 발성에 의해서도 가벼운 작업으로 인간의 음성을 검출하여 감정을 식별할 수 있는 기술을 제안하고 있다.For example, "Emotion recognition method and device" (Patent No. US 7,451,079), filed and filed in the US by Sony, is a patent that detects human emotion by processing a feature set extracted by features of a voice signal. It is proposed a technology that can detect emotions from voice signals, but can detect emotions by detecting human voices in a light operation even by a bad sound environment or short speech.
그러나 전술한 바와 같은 소니사의 특허발명은 단순히 음성신호 만에 의해 감정을 추론하기 때문에 그 정확도와 효용성이 낮다고 하는 문제점이 있었다.However, Sony's patented invention as described above has a problem in that its accuracy and utility are low because it infers emotion only by a voice signal.
본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로서, 이동환경에서 사용자가 직면하는 다양한 환경 변화에 따라 발생하는 생체신호의 변화를 융합 센싱한 후에 생활패턴을 분석하여 시간과 공간의 변화에 따른 사용자의 감성 변화를 추론하고, 이에 기반하여 이를 개선하는 방향으로의 모바일 서비스가 가능하도록 한 생체신호를 이용한 모바일 단말기의 감성 추론 장치를 제공함을 목적으로 한다.The present invention has been made to solve the above-mentioned problems, the user according to the change of time and space by analyzing the life pattern after fusion sensing the change of the bio-signal generated by the various environmental changes that the user faces in the mobile environment It is an object of the present invention to provide an emotional reasoning apparatus for a mobile terminal using a biosignal to infer a emotional change of the mobile phone and to infer the improvement thereof.
전술한 목적을 달성하기 위한 본 발명의 생체신호를 이용한 모바일 단말기의 감성 추론 장치는 외부로부터 제공되는 2종류 이상의 감성센싱신호를 수신한 후에 이를 단일의 다중 채널 감성센싱신호 데이터 스트림으로 결합하는 감성센싱신호 입력 블록; 상기 다중 채널 감성센싱신호 데이터 스트림을 각각의 단일 채널 감성센싱신호 데이터 스트림으로 분리하고, 이로부터 다종의 생체 반응 측정 변수를 선정하여 분석하는 감성센싱신호 정보 분석 블록; 상기 분석된 생체 반응 측정 변수 데이터를 저장하는 감성신호센싱 리포지토리 블록; 감성추론 처리 블록의 수행 결과인 사용자의 감성 추론 데이터를 저장하고 감성추론을 위한 전문가의 룰 베이스 테이블을 저장하는 감성추론 데이터 리포지토리 블록; 상기 생체 반응 측정 변수 데이터를 수신하여 그 변화량을 분석하기 위한 정규화를 수행하고 생체 반응 측정 변 수별 감성 변화를 상기 룰 베이스 테이블 기반으로 검색한 후에 감성 반응을 종합하여 최종적으로 감성 분류에 따른 맵핑을 수행함으로써 감성 추론을 수행하는 감성추론 처리 블록 및 감성추론 처리 블록에서 처리된 감성 추론 데이터를 출력하는 감성추론 데이터 출력 블록을 포함하여 이루어진다.Emotion inference device of the mobile terminal using the bio-signal of the present invention for achieving the above-mentioned object, after receiving two or more kinds of emotional sensing signals provided from the outside emotional coupling to combine them into a single multi-channel emotional sensing signal data stream Signal input block; An emotion sensing signal information analysis block that separates the multi-channel emotional sensing signal data stream into respective single channel emotional sensing signal data streams, and selects and analyzes a plurality of biological response measurement variables therefrom; An emotional signal sensing repository block that stores the analyzed biometric response variable data; An emotional reasoning data repository block configured to store emotional reasoning data of a user as a result of the emotional reasoning processing block and a rule base table of an expert for emotional reasoning; After receiving the biometric response variable data, normalization is performed to analyze the change amount, and the emotional response for each biometric measurement variable is searched based on the rule base table, and then the emotional response is integrated to finally perform mapping according to the emotional classification. Thereby comprising an emotional inference processing block for performing emotional inference and an emotional inference data output block for outputting emotional inference data processed in the emotional inference processing block.
전술한 구성에서, 상기 감성센싱신호 입력 블록은 외부로부터 무선 통신에 의해 상기 감성센싱신호를 전달받은 것을 특징으로 한다.In the above configuration, the emotion sensing signal input block is characterized in that the emotion sensing signal received from the outside by wireless communication.
상기 감성센싱신호는 PPG(Photo-electric pulse PlethysmoGraph) 센서, SKT 센서 및 GSR 센서에 의해 측정되어 전달받는 것을 특징으로 한다.The emotion sensing signal is characterized in that it is measured and received by a PPG (Photo-electric pulse PlethysmoGraph) sensor, SKT sensor and GSR sensor.
상기 생체 반응 측정 변수는 PPG Amplitude, PPG Frequency, SKT와 GSR의 Mean 및 GSR Max Amplitude를 포함하여 이루어진 것을 특징으로 한다.The biological response measurement variable is characterized in that the PPG Amplitude, PPG Frequency, SKT and GSR Mean and GSR Max Amplitude.
상기 감성 추론 데이터를 사용자에게 디스플레이하여 사용자와 감성 추론 데이터에 대한 인터렉션을 수행하는 감성추론 데이터 피드백 처리 블록을 더 포함한 것을 특징으로 한다.The method may further include an emotional inference data feedback processing block configured to display the emotional inference data to a user to perform interaction with the user on the emotional inference data.
본 발명의 생체신호를 이용한 모바일 단말기의 감성 추론 장치에 따르면, 이동환경에서 사용자가 직면하는 다양한 환경 변화에 따라 발생하는 생체신호의 변화를 융합 센싱한 후에 생활패턴을 분석하여 시간과 공간의 변화에 따른 사용자의 감성 변화를 추론하고, 이에 기반하여 사용자에게 즐거움을 줄 수 있는 다양한 감성 서비스를 지원할 수 있다.According to the emotional reasoning apparatus of the mobile terminal using the biosignal of the present invention, after the fusion sensing of the biosignal change generated by various environmental changes faced by the user in the mobile environment, the life pattern is analyzed to change the time and space. It can infer the emotional change of the user according to this, and can support a variety of emotional services that can give pleasure to the user based on this.
이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따른 생체신호를 이용한 모바일 단말기의 감성 추론 장치에 대해 상세하게 설명한다.Hereinafter, an emotional inference apparatus of a mobile terminal using a biosignal according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 생체신호를 이용한 모바일 단말기의 감성 추론 장치의 전반적인 블록 구성도이다. 도 1에 도시한 바와 같이, 본 발명의 생체신호를 이용한 모바일 단말기의 감성 추론 장치의 구성은 크게 인체에서 발생하는 여러 종류의 생체신호(이하에서는 이를 감성을 추론하는데 사용하기 때문에 이를 '감성신호'라 한다)를 센싱하는 감성신호 센싱부(100), 감성신호 센싱부(100)에서 제공되는 감성센싱신호를 분석하여 사용자의 감성 상태를 미리 정해진 분류에 따라 추론하는 감성 추론부(200) 및 감성 추론부(200)에서 추론된 사용자의 감성에 따른 서비스, 예를 들어 감성을 긍정적으로 변화시키거나 강화시킬 수 있는 텍스트, 이미지, 음악 또는 동영상 서비스를 제공하는 감성 서비스 제공부(300)를 포함하여 이루어질 수 있다.1 is an overall block diagram of an emotional inference apparatus of a mobile terminal using a biosignal of the present invention. As shown in Figure 1, the configuration of the emotional inference device of the mobile terminal using the bio-signal of the present invention is largely various types of bio-signals generated in the human body (hereinafter referred to as the 'sensitivity signal' Emotional
한편, 일반적으로 심리적 안정 상태에서는 심장박동이 느려지고 말초 혈관이 확장되어 피부의 체온이 상승하며 피부 저항이 증가하는 반면, 스트레스를 받거나 흥분하게 되면 심장 박동이 빨라지고 혈액이 피부로부터 근육으로 이동되어 체온이 저하되며 피부 저항이 감소하는 경향을 나타내므로, 이러한 심장박동, 피부 온도 및 피부 저항의 변화는 사람의 정서 상태를 결정하기 위한 중요한 요소로 인식되고 있다.On the other hand, in the state of psychological stability, the heart rate slows down, the peripheral blood vessels expand, the skin temperature rises, and the skin resistance increases, while the stress or excitement causes the heart rate to accelerate and the blood moves from the skin to the muscles As the skin resistance decreases and tends to decrease, such changes in heart rate, skin temperature and skin resistance are recognized as important factors for determining a person's emotional state.
따라서, 본 발명에서는 사용자의 정서 상태를 체크하기 위해 사용자의 신체로부터 감정의 변화에 따라 반응 속도가 빠른 심장박동, 피부 온도 또는 피부 저항 을 측정하며, 이를 위해 감성신호 센싱부(100)는 심장 박동에 대한 생체신호를 검출하는 심박검출 센서, 피부 온도에 대한 생체신호를 검출하는 피부 온도 센서 또는 피부 저항에 대한 생체신호를 검출하는 피부 저항 센서와 같은 생체신호 검출 센서를 포함하여 이루어질 수 있다.Therefore, in the present invention, in order to check the emotional state of the user to measure the heart rate, skin temperature or skin resistance is fast response according to the change of emotion from the user's body, for this purpose, the emotional
보다 구체적으로, 심박 검출 센서는 심장 박동에 의한 혈관 굵기의 변화에 따른 광혈류량의 변화를 측정하는 PPG(Photo-electric pulse PlethysmoGraph) 센서로 구현하는 것이 바람직하며, 피부 온도 센서는 온도 변화에 반응하여 저항값이 변화하는 것에 따라 피부 온도(skin temperature ; SKT)를 측정하는 더미스터(thermistor)와 같은 SKT 센서로 구현하는 것이 바람직하다. 또한, 피부 저항 센서는 피부의 전기 저항(Galvanic skin resistance ; GSR)을 측정하는 GSR 센서로 구현하는 것이 바람직하다.More specifically, the heart rate detection sensor is preferably implemented as a photo-electric pulse plethysmograph (PPG) sensor that measures the change in the optical blood flow according to the change in blood vessel thickness due to the heartbeat, and the skin temperature sensor responds to the temperature change. It is desirable to implement a SKT sensor such as a dummyistor that measures skin temperature SKT as the resistance value changes. In addition, the skin resistance sensor is preferably implemented as a GSR sensor that measures the electrical resistance (Galvanic skin resistance; GSR) of the skin.
한편, 이러한 감성신호 센싱부(100)는 시계와 같이 밴드에 의해 수면 시간을 제외하고는 하루 종일 인체에 밀착 고정된 채로 사용되는 손목 착용형 단말기로 이루어지는 것이 바람직한바, 이에 따라 감성신호 센싱부(100)는 감성 추론부(200)가 탑재된 모바일 단말기에 무선 통신, 예를 들어 블루투스나 와이파이(Wi-Fi) 등과 같은 무선 통신에 의해 감성센싱신호를 전달하게 된다.On the other hand, the emotional
다음으로, 감성 추론부(200)는 감성신호 센싱부(100)로부터 감성 추론에 필요한 각각의 생체신호(PPG, SKT, GSR) 센싱 Raw 데이터 스트림, 즉 감성센싱신호를 무선으로 수신한 후에 이를 단일의 다중 채널 감성센싱신호(MSD, Multi Sensing Data) 데이터 스트림으로 결합(Muxing)하는 감성센싱신호 입력 블록(210); 감성센 싱신호 입력 블록(210)에서 출력되는 다중 채널 감성센싱신호 데이터 스트림을 각각의 단일 채널 감성센싱신호 데이터 스트림(SSD, Single Sensing Data)으로 분리(Demuxing)하고, 후술하는 감성 추론 처리 블록에서 필요로 하는 다종의 생체 반응 측정 변수, 예를 들어 PPG Amplitude, PPG Frequency, SKT와 GSR의 Mean 및 GSR Max Amplitude 등의 측정 변수를 선정하여 분석하는 감성센싱신호 정보 분석 블록(220); 감성센싱신호 정보 분석 블록(220)에서 분석된 감성 추론을 위한 PPG, GSR 및 SKT의 생체 반응 측정 변수 데이터를 저장하는 감성신호센싱 리포지토리 블록(230); 후술하는 감성추론 처리 블록(240)의 수행 결과인 사용자의 감성 추론 데이터를 저장하고 감성추론을 위한 전문가의 룰 베이스 테이블(Knowledge Rule Base Table)을 저장하는 감성추론 데이터 리포지토리 블록(260); 본 발명의 감성 추론부의 핵심적인 기능인 사용자 감성 추론 기능을 수행하는 블록으로서 감성센싱신호 정보 분석 블록(220)으로부터 감성 추론에 필요한 생체 반응 측정 변수 데이터를 수신하여 감성을 유발하는 각각의 생체 반응 측정 변수 데이터의 변화량을 분석하기 위한 정규화를 수행하고 생체 반응 측정 변수별 감성 변화를 룰 베이스 테이블 기반으로 검색한 후에 감성 반응을 종합하여 최종적으로 감성 분류에 따른 맵핑을 수행함으로써 감성 추론을 수행하는 감성추론 처리 블록(240) 및 감성 추론 하드웨어 플랫폼에서 지원하는 유/무선 통신 인터페이스를 통하여 감성 추출 데이터를 최종 감성 모바일 서비스 단말로 출력하는 기능을 담당하는 감성추론 데이터 출력 블록(270)을 포함하여 이루어질 수 있다.Next, the
전술한 구성에서, 감성센싱신호 리포지토리 블록(230)에 저장된 생체 반응 측정 변수 데이터는 비 실시간성을 요하는 감성 추론 사용자의 시간대별 생체 반응 신호 분석을 통해 하루 동안의 감성 변화를 추적하기 위해 사용될 수 있다. 이러한 생체 반응 측정 변수 데이터는 메모리의 용량에 따라 새로운 것이 저장됨과 함게 이전에 저장된 것이 지워지는 방식으로 지속적으로 업데이트되어 향후에 학습을 위해 사용될 수도 있다.In the above-described configuration, the biometric response variable data stored in the emotional sensing
다음으로, 감성추론 데이터 리포지토리 블록(260)은 앞서 설명한 전문가의 룰 베이스 테이블 이외에도 감성 추론 개인화 기능을 위한 사용자 감성별 생체 반응 측정 변수 데이터의 특징이 반영된 사용자별 감성 추론 룰 베이스 테이블을 저장한다. 즉, 처음에는 전문가의 룰 베이스 테이블에 의해 사용자의 감성을 추론하다가 사용자 개인에 대해 추론된 감성 데이터가 누적됨에 따라 이를 데이터베이스화하여 저장할 수 있다.Next, the emotion inference
감성 추론부(200)에는 전술한 기능 블록 이외에도 추출된 감성 추론 결과를 사용자에게 디스플레이하여 사용자와 감성 추론 결과에 대한 인터렉션을 수행하는 감성추론 데이터 피드백 처리 블록(250)이 더 구비될 수 있는데, 이러한 감성추론 데이터 피드백 처리 블록(250)은 감성 추론부(200)의 다른 기능 블록들이 제대로 기능하고 있는지 피드백을 받기 위해 주어진다. 감성추론 데이터 피드백 처리 블록(250)은 이외에도 사용자 피드백 인터렉션을 통하여 사용자별 개인차를 고려한 감성 추론 인자의 정량화 및 사용자 감성 추론 인자값의 데이터베이스화를 수행하여 차후 개인화 감성 추론에 필요한 사용자별 감성 추론 룰 베이스를 생성 및 업데이트하기 위한 사용자 피드백 기능을 수행한다.In addition to the above-described functional blocks, the
도 2는 본 발명의 생체신호를 이용한 모바일 단말기의 감성 추론 장치에서 감성 추론 처리 과정을 설명하기 위한 흐름도인바, 감성추론 처리 블록(240)이 주체가 되어 수행한다. 도 2에 도시한 바와 같이, 본 발명의 생체신호를 이용한 모바일 단말기의 감성 추론 장치에서 감성 추론 처리 과정을 설명하면, 먼저 단계 S10에서는 감성센싱신호 정보 분석 블록(220))으로부터 감성 추론에 필요한 생체 반응 측정 변수 데이터를 수신하여 감성을 유발하는 각각의 생체 반응 측정 변수 데이터의 변화량을 분석하기 위한 정규화를 수행한다. 이렇게 하는 정규화를 수행하는 이유는 생체 반응 측정 변수 데이터의 변화량이 상대적인 감성을 반영하기 때문인데, 이러한 정규화는 아래의 수학식 1과 같이 구해질 수 있다.2 is a flowchart illustrating an emotional inference processing process in the emotional inference apparatus of the mobile terminal using the biosignal of the present invention, and the emotional
위의 수학식 1에서 Ref는 기준 상태를 나타내고, Current는 현재 상태를 나타내는데, 이러한 기준 상태는 각각의 생체 반응 측정 변수 데이터의 변화량이 미리 정해진 폭을 상회하지 않는 경우에 직전에 수집된 소정 시간, 예를 들어 5초전의 데이터로 정해질 수 있고, 상기 폭을 상회하는 데이터가 현재 데이터가 될 수 있을 것이다.In Equation 1 above, Ref represents a reference state, and Current represents a current state. The reference state represents a predetermined time collected immediately before the change amount of each biometric response variable data does not exceed a predetermined width, For example, the data may be set 5 seconds ago, and the data exceeding the width may be the current data.
다음으로, 단계 S20에서는 생체 반응 측정 변수 데이터별 감성 변화를 룰 베이스 테이블 기반으로 검색하고, 다시 단계 S30 및 S40에서는 이렇게 검색된 감성 반응을 종합하여 최종적으로 감성 분류에 따른 맵핑을 수행함으로써 최종적으로 감 성 추론을 수행한다. 감성 추론의 결과, 즉 감성의 분류는 상쾌, 불괘, 각성 및 이완의 4가지 감성 상태 중 하나로 정해질 수 있고, 이렇게 정해진 감성 상태는 모바일 단말기 화면을 통해 디스플레이될 수 있다. 더 나아가, 감성 서비스 제공부(300), 예를 들어 모바일 컨텐츠 제공 사업자에게 전달되어 나쁜 감정은 완화시키고 좋은 감정은 강화시키는 방향으로 서비스할 수 있도록 한다.Next, in step S20, the emotion change for each biometric response variable data is searched based on the rule base table, and in step S30 and S40, the emotion reaction is finally integrated by mapping the detected emotion reactions and finally, the emotion classification is performed. Perform inference As a result of emotional inference, that is, the classification of emotion may be set to one of four emotion states of exhilaration, irritability, arousal, and relaxation, and the emotion state thus determined may be displayed on the mobile terminal screen. Furthermore, the emotional
도 3은 본 발명의 생체신호를 이용한 모바일 단말기의 감성 추론 장치에서 시간과 공간 변화에 대응한 일상 생활에서의 사용자 감성 상태 변화 패턴을 보인 도이다. 도 3에 도시한 바와 같이, 사용자의 하루 동안의 일상 생활에서 직면하는 다양한 이벤트에 대해서 시간과 활동 공간의 변화에 따라 사용자가 느끼는 감성을 추론하고, 이를 통해 사용자의 감성 상태 변화 패턴을 추출하여 사용자에게 긍정적 반응을 서비스 형태로 피드백할 수 있다. 도 3에서 중간의 그래프는 각각 PPG, SKT 및 GSR의 변화량을 정규화하여 도시한 것이다.3 is a view showing a user emotional state change pattern in everyday life corresponding to changes in time and space in the emotional inference device of the mobile terminal using the bio-signal of the present invention. As shown in FIG. 3, the user's emotions are inferred according to the change of time and activity space with respect to various events faced in the user's daily life during the day. Can give feedback in the form of services. In FIG. 3, the middle graph shows normalized variations of PPG, SKT, and GSR, respectively.
본 발명의 생체신호를 이용한 모바일 단말기의 감성 추론 장치는 전술한 실시예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수가 있다.The emotional inference apparatus of the mobile terminal using the biosignal of the present invention is not limited to the above-described embodiment and can be modified in various ways within the scope of the technical idea of the present invention.
도 1은 본 발명의 생체신호를 이용한 모바일 단말기의 감성 추론 장치의 전반적인 블록 구성도,1 is an overall block diagram of an emotional inference apparatus of a mobile terminal using a biosignal of the present invention;
도 2는 본 발명의 생체신호를 이용한 모바일 단말기의 감성 추론 장치에서 감성 추론 처리 과정을 설명하기 위한 흐름도,2 is a flowchart illustrating an emotional inference processing process in an emotional inference apparatus of a mobile terminal using a biosignal according to the present invention;
도 3은 본 발명의 생체신호를 이용한 모바일 단말기의 감성 추론 장치에서 시간과 공간 변화에 대응한 일상 생활에서의 사용자 감성 상태 변화 패턴을 보인 도이다.3 is a view showing a user emotional state change pattern in everyday life corresponding to changes in time and space in the emotional inference device of the mobile terminal using the bio-signal of the present invention.
*** 도면의 주요 부분에 대한 부호의 설명 ****** Explanation of symbols for the main parts of the drawing ***
100: 감성신호 센싱부, 200: 감성 추론부,100: emotional signal sensing unit, 200: emotional inference unit,
210: 감성센싱신호 입력 블록,210: emotion sensing signal input block,
220: 감성센싱신호 정보 분석 블록,220: emotion sensing signal information analysis block,
230: 감성센싱신호 리포지토리 블록,230: emotional sensing signal repository block,
240: 감성추론 처리 블록,240: emotional inference processing block,
250: 감성추론데이터 피드백 처리 블록,250: emotional reasoning data feedback processing block,
260: 감성추론데이터 리포지토리 블록,260: emotional reasoning data repository block,
270: 감성추론데이터 출력 블록, 300: 감성 서비스 제공부270: emotional reasoning data output block, 300: emotional service provider
Claims (5)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090133848A KR101115524B1 (en) | 2009-12-30 | 2009-12-30 | Emotion Reasoning Apparatus of Mobile Terminal Using Physiological Signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090133848A KR101115524B1 (en) | 2009-12-30 | 2009-12-30 | Emotion Reasoning Apparatus of Mobile Terminal Using Physiological Signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110077317A KR20110077317A (en) | 2011-07-07 |
| KR101115524B1 true KR101115524B1 (en) | 2012-02-27 |
Family
ID=44916915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090133848A KR101115524B1 (en) | 2009-12-30 | 2009-12-30 | Emotion Reasoning Apparatus of Mobile Terminal Using Physiological Signal |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101115524B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101339758B1 (en) * | 2012-04-13 | 2013-12-10 | 전자부품연구원 | Apparatus and Method for Reasoning Emotion |
| US8932229B2 (en) | 2012-12-06 | 2015-01-13 | Electronics And Telecommunications Research Institute | Apparatus and method for real-time emotion recognition using heart rate variability |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101337332B1 (en) * | 2012-02-10 | 2013-12-06 | 전자부품연구원 | Mobile emotion sensing apparatus and method for charging |
| KR101958415B1 (en) * | 2012-05-10 | 2019-03-15 | 상명대학교산학협력단 | Individualized emotion recognizing apparatus and method |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040032451A (en) * | 2002-10-09 | 2004-04-17 | 삼성전자주식회사 | Mobile device having health care function and method of health care using the same |
-
2009
- 2009-12-30 KR KR1020090133848A patent/KR101115524B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040032451A (en) * | 2002-10-09 | 2004-04-17 | 삼성전자주식회사 | Mobile device having health care function and method of health care using the same |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101339758B1 (en) * | 2012-04-13 | 2013-12-10 | 전자부품연구원 | Apparatus and Method for Reasoning Emotion |
| US8932229B2 (en) | 2012-12-06 | 2015-01-13 | Electronics And Telecommunications Research Institute | Apparatus and method for real-time emotion recognition using heart rate variability |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110077317A (en) | 2011-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109069035B (en) | Biological information analysis device, system, and computer-readable storage medium | |
| US9747902B2 (en) | Method and system for assisting patients | |
| CN107638166A (en) | The equipment extracted the method and apparatus of the feature of bio signal and detect biological information | |
| KR20210132059A (en) | Vocal Presentation Assessment System | |
| WO2011158965A1 (en) | Sensitivity evaluation system, sensitivity evaluation method, and program | |
| JP2023509639A (en) | Systems and methods for assisting individuals in behavior change programs | |
| CN110881987B (en) | Old person emotion monitoring system based on wearable equipment | |
| KR101115524B1 (en) | Emotion Reasoning Apparatus of Mobile Terminal Using Physiological Signal | |
| KR20200040564A (en) | Apparatus and method for estimating blood pressure, and apparatus for supporting blood pressure estimation | |
| JP2016122249A (en) | Information processing device, action support method, and program | |
| CN108024743A (en) | Analysis of blood pressure device, blood pressure measurement apparatus, analysis of blood pressure method, analysis of blood pressure program | |
| CN114449945A (en) | Information processing apparatus, information processing system, and information processing method | |
| WO2019124010A1 (en) | Lifestyle habit management device, method, and program | |
| Ferrari et al. | Using voice and biofeedback to predict user engagement during requirements interviews | |
| CN113764099A (en) | Psychological state analysis method, device, equipment and medium based on artificial intelligence | |
| GB2600126A (en) | Improvements in or relating to wearable sensor apparatus | |
| KR20190100767A (en) | Electronic device and method for providing information regarding cardiovascular state of user | |
| KR102576126B1 (en) | Apparatus and method for estimating bio-information | |
| CN113507892A (en) | Biological information acquisition device and biological information acquisition method | |
| CN110446459A (en) | Blood pressure related information display apparatus and method | |
| KR20130032998A (en) | Emotion recognition system and method using mobile terminal and peripheral device | |
| US10079074B1 (en) | System for monitoring disease progression | |
| KR20130091198A (en) | Evaluation method of emotional state and device adopting the method | |
| CN113990498A (en) | User memory state early warning system and method | |
| WO2023157596A1 (en) | Information processing method, information processing device, program, and information processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20150109 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20151224 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20161229 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20171207 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20190201 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20200115 Year of fee payment: 9 |