KR20070030061A - Mobile telecommunication device and base station server having function for managing data by feeling recognition and method thereby - Google Patents
Mobile telecommunication device and base station server having function for managing data by feeling recognition and method thereby Download PDFInfo
- Publication number
- KR20070030061A KR20070030061A KR1020050084824A KR20050084824A KR20070030061A KR 20070030061 A KR20070030061 A KR 20070030061A KR 1020050084824 A KR1020050084824 A KR 1020050084824A KR 20050084824 A KR20050084824 A KR 20050084824A KR 20070030061 A KR20070030061 A KR 20070030061A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- voice
- emotional state
- voice characteristic
- base station
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000002996 emotional effect Effects 0.000 claims abstract description 126
- 238000010295 mobile communication Methods 0.000 claims abstract description 42
- 230000008909 emotion recognition Effects 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000008451 emotion Effects 0.000 claims description 15
- 238000004040 coloring Methods 0.000 claims description 9
- 206010044565 Tremor Diseases 0.000 claims description 4
- 239000003607 modifier Substances 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 7
- 238000003672 processing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011295 pitch Substances 0.000 description 2
- 210000001260 vocal cord Anatomy 0.000 description 2
- 206010043268 Tension Diseases 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008035 nerve activity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Marketing (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
도 1은 본 발명에 따른 감정 인식에 의한 데이터 처리 기능을 갖는 이동통신단말기의 제 1 실시예 구성도.1 is a configuration of a first embodiment of a mobile communication terminal having a data processing function by emotion recognition according to the present invention.
도 2는 본 발명에 따른 감정 인식에 의한 데이터 처리 기능을 갖는 이동통신단말기의 제 2 실시예 구성도.2 is a block diagram of a second embodiment of a mobile communication terminal having a data processing function by emotion recognition according to the present invention;
도 3은 본 발명에 따른 감정 인식에 의한 데이터 처리 기능을 갖는 이동통신단말기의 제 3 실시예 구성도.3 is a configuration diagram of a third embodiment of a mobile communication terminal having a data processing function by emotion recognition according to the present invention;
도 4는 본 발명에 따른 감정 인식에 의한 데이터 처리 기능을 갖는 기지국 서버의 일실시예 구성도.4 is a block diagram of an embodiment of a base station server having a data processing function by emotion recognition according to the present invention;
도 5는 본 발명에 따른 이동통신단말기를 이용한 감정 인식에 의한 데이터 처리 방법의 제 1 실시예 흐름도.5 is a flowchart of a first embodiment of a data processing method using emotion recognition using a mobile communication terminal according to the present invention;
도 6은 본 발명에 따른 이동통신단말기를 이용한 감정 인식에 의한 데이터 처리 방법의 제 2 실시예 흐름도.6 is a flowchart of a second embodiment of a data processing method using emotion recognition using a mobile communication terminal according to the present invention;
본 발명은 이동통신단말기에 관한 것으로써, 보다 상세하게는 감정 인식에 의한 데이터 처리 기능을 갖는 이동통신단말기, 기지국 서버 및 이를 이용한 방법에 관한 것이다.The present invention relates to a mobile communication terminal, and more particularly, to a mobile communication terminal having a data processing function by emotion recognition, a base station server and a method using the same.
음성 인식에 기반을 둔 종래 기술을 설명하면 다음과 같다.The prior art based on speech recognition is as follows.
음성 인식은, 사람마다 억양과 음의 높낮이가 다를 뿐만 아니라 동일한 사람이라도 감정 상태에 따라 억양과 음의 높낮이가 다르다는 특성에 기인하여, 음성의 음소, 음절, 단어 등의 진동을 분석하여 수치화하는 것을 의미한다.Speech recognition is based on the characteristics that different accents and pitches differ from person to person, and even the same person has different accents and pitches according to their emotional state. it means.
인간의 감정 상태를 판별하는 감정 분석 기술은, 판별된 감정 상태에 따라 각각 다른 신호를 발생시킴으로써, 인간과 기계가 마치 대화를 하는 것과 같은 인터페이스가 이루어지도록 하는 기술이다.Emotion analysis technology for discriminating a human emotional state is a technology that generates a different signal according to the determined emotional state, so that the interface between the human and the machine is like a conversation.
음성 인식에 기반을 둔 감정 분석의 일 형태로서 거짓말 탐지기를 들 수 있다. 이는 폴리그래프의 일종으로서, 폴리그래프란, 사람의 흥분, 긴장 또는 감정적인 갈등의 상태를 미리 정의해 놓은 기준에 의하여 감지하는 시스템을 의미한다. A lie detector is a form of emotional analysis based on speech recognition. This is a kind of polygraph. A polygraph is a system that senses a state of a person's excitement, tension or emotional conflict by a predefined standard.
일반적으로 사람이 거짓말을 할 때는, 정신적인 긴장으로 인하여 성대의 혈액량이 저하되고, 부득이한 신경 작용으로 인하여 성대에서 일그러진 음파가 나오게 된다. 따라서, 상기 거짓말 탐지기는, 상기에서 설명한 변화를 감지하여, 화자의 거짓말 여부를 판단할 수 있다. 최근에는 상대방의 음성을 인식하여 거짓임을 판독할 수 있는 거짓말 탐지 기능을 갖는 이동통신단말기 및 이를 이용한 방법에 관한 발명이 출원된 바 있다.In general, when a person lies, the blood pressure of the vocal cords decreases due to mental tension, and the distorted sound waves come out of the vocal cords due to unavoidable nerve action. Accordingly, the lie detector may detect the change described above and determine whether the lie is the speaker. Recently, the present invention has been applied for a mobile communication terminal having a lie detection function capable of recognizing a voice of a counterpart and a method using the same.
그러나, 상술한 종래 발명에 의하면, 사용자의 음성을 분석하여 사용자의 감정 상태를 판단할 수 없다.However, according to the conventional invention described above, it is not possible to determine the emotional state of the user by analyzing the user's voice.
또한, 상술한 종래 발명에 의하면, 기지국 서버로부터 사용자의 감정 상태를 고려한 컨텐츠 데이터를 제공받을 수 없다.In addition, according to the conventional invention described above, it is not possible to receive the content data in consideration of the emotional state of the user from the base station server.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 사용자의 통화 음성으로부터 사용자의 감정 상태를 판단할 수 있는 이동통신단말기 및 이를 이용한 방법을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object thereof is to provide a mobile communication terminal and a method using the same, which can determine a user's emotional state from a user's voice call.
또한, 본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 사용자의 감정 상태를 인식함에 따라, 감정 인식에 의한 데이터 처리 기능을 갖는 이동통신단말기, 기지국 서버 및 이를 이용한 방법을 제공하는데 다른 목적이 있다.Another object of the present invention is to provide a mobile communication terminal, a base station server, and a method using the same. .
또한, 본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 사용자의 감정 상태에 따른 컨텐츠 데이터를 제공할 수 있는 기지국 서버를 제공하는데 또 다른 목적이 있다.Another object of the present invention is to provide a base station server capable of providing content data according to an emotional state of a user.
상기의 목적을 달성하기 위하여, 본 발명에 따른 감정 인식에 의한 데이터 처리 기능을 갖는 이동통신단말기는, 감정 상태에 따른 음성 특성을 저장하는 제 1 저장부와, 사용자의 통화 음성으로부터 음성 특성을 추출하는 음성 분석부와, 상기 저장된 음성 특성 중에서 상기 추출한 음성 특성과 일치하는 음성 특성이 존재하는지 여부를 판단하는 제어부와, 상기 제어부의 제어 신호에 따라 상기 추출한 음성 특성에 해당하는 감정 상태 데이터를 생성하는 데이터 생성부와, 상기 생성된 감정 상태 데이터를 기지국 서버에 송신하는 송신부 및 상기 기지국 서버로부터 상기 감정 상태 데이터에 따른 컨텐츠 데이터를 제공받는 수신부를 포함하여 이루어진다.In order to achieve the above object, the mobile communication terminal having a data processing function by the emotion recognition according to the present invention, the first storage unit for storing the voice characteristics according to the emotional state, and extracts the voice characteristics from the call voice of the user Generating a voice state data corresponding to the extracted voice characteristic according to a control signal of the controller; a voice analyzer configured to determine whether a voice characteristic matching the extracted voice characteristic exists among the stored voice characteristics; And a data generator, a transmitter for transmitting the generated emotion state data to a base station server, and a receiver for receiving content data according to the emotion state data from the base station server.
또한, 상기의 목적을 달성하기 위하여, 본 발명에 따른 감정 인식에 의한 데이터 처리 기능을 갖는 기지국 서버는, 감정 상태를 나타내는 데이터를 컨텐츠 데이터에 부가하는 데이터 생성부와, 상기 데이터 생성부로부터 입력받은 컨텐츠 데이터를 저장하는 컨텐츠 저장부와, 이동통신단말기로부터 감정 상태 데이터를 수신하는 수신부와, 상기 수신한 감정 상태 데이터에 따라 상기 컨텐츠 저장부로부터 컨텐츠 데이터를 선택하는 제어부 및 상기 선택된 컨텐츠 데이터를 상기 이동통신단말기로 송신하는 송신부를 포함하여 이루어진다.In addition, in order to achieve the above object, the base station server having a data processing function by the emotion recognition according to the present invention, the data generation unit for adding data representing the emotional state to the content data, and received from the data generation unit A content storage unit for storing content data, a receiver for receiving emotional state data from a mobile communication terminal, a controller for selecting content data from the content storage unit according to the received emotional state data, and the selected content data to be moved It comprises a transmitting unit for transmitting to a communication terminal.
또한, 상기의 목적을 달성하기 위하여, 본 발명에 따른 이동통신단말기를 이용한 감정 인식에 의한 데이터 처리 방법은, 사용자의 통화 음성으로부터 음성 특성을 추출하는 단계와, 이동통신단말기에 저장된 감정 상태에 따른 음성 특성 중에서 상기 추출한 음성 특성과 일치하는 음성 특성이 존재하는지 여부를 판단하는 단계와, 상기 판단 결과 존재한다고 판단되는 경우에 상기 음성 특성에 해당하는 감정 상태 데이터를 생성하는 단계와, 상기 생성된 감정 상태 데이터를 기지국 서버에 송신하는 단계 및 상기 기지국 서버로부터 상기 감정 상태 데이터에 따른 컨텐츠 데이터를 수신하는 단계를 포함하여 이루어진다.In addition, in order to achieve the above object, the data processing method by the emotion recognition using the mobile communication terminal according to the present invention, extracting the voice characteristics from the user's voice call, and according to the emotional state stored in the mobile communication terminal Determining whether there is a voice characteristic that matches the extracted voice characteristic among voice characteristics, generating emotional state data corresponding to the voice characteristic when it is determined that the voice characteristic is present; and generating the generated emotion Transmitting the state data to the base station server and receiving the content data according to the emotional state data from the base station server.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 바람 직한 일 실시예를 상세히 설명한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1, 도 2 및 도 3을 참조하여, 본 발명에 따른 감정 인식에 의한 데이터 처리 기능을 갖는 이동통신단말기의 다양한 실시예를 설명하면 다음과 같다.1, 2 and 3, various embodiments of a mobile communication terminal having a data processing function by emotion recognition according to the present invention will be described.
도 1, 도 2 및 도 3에서, 동일한 도면 부호를 갖는 구성 요소는, 본 발명에 에서 동일한 동작 및 기능을 수행한다.1, 2 and 3, components having the same reference numerals perform the same operations and functions in the present invention.
제 1 저장부(110)는, 감정 상태에 따른 음성 특성을 저장한다.The
예를 들어, 상기 제 1 저장부(110)는, 사람의 다양한 감정 상태 별로 적어도 하나 이상의 음성 특성을 저장할 수 있다. 상기 감정 상태는, 슬픔, 기쁨, 화남, 우울함, 즐거움, 놀람 등이 있을 수 있다. 그리고, 상기 음성 특성은, 상기 감정 상태 별로 특징이 될 수 있는 음성의 성질을 의미할 수 있다.For example, the
또한, 예를 들어, 상기 음성 특성은, 음성의 세기, 음성의 고저, 음성의 빠르기, 음성의 떨림 중에서 적어도 하나를 포함할 수 있다.Also, for example, the voice characteristic may include at least one of voice intensity, voice height, voice speed, and voice tremor.
또한, 상기 음성 특성은 상기 음성의 주파수 특성을 포함할 수 있다. 상기 주파수 특성은, 상기 음성의 진동수, 음성의 세기 등을 의미할 수 있다. 따라서, 상기 감정 상태에 따른 음성 특성은, 감정 상태 별 음성 주파수의 범위일 수 있다. In addition, the voice characteristic may include a frequency characteristic of the voice. The frequency characteristic may mean the frequency of the voice, the strength of the voice, and the like. Therefore, the voice characteristic according to the emotional state may be a range of voice frequencies for each emotional state.
또한, 예를 들어, 상기 제 1 저장부(110)는, 감정 상태 별로 디폴트 설정된 음성 특성을 저장할 뿐만 아니라 사용자의 통화 음성을 고려하여 수정된 감정 상태에 따른 음성 특성을 저장할 수 있다.In addition, for example, the
소리 입력부(120)는, 사용자의 통화 음성을 입력 받는다.The
예를 들어, 상기 소리 입력부(120)는, 상기 이동통신단말기에 구비된 마이크 일 수 있다.For example, the
또한, 상기 소리 입력부(120)는, 상기 입력 받은 사용자의 통화 음성을 디지털 음성 신호로 변환하여, 음성 분석부(130)로 출력할 수 있다.In addition, the
음성 분석부(130)는, 상기 소리 입력부(120)로부터 입력 받은 사용자의 통화 음성으로부터 음성 특성을 추출한다.The
예를 들어, 상기 음성 분석부(130)는, 상기 사용자의 통화 음성으로부터, 음성의 고저, 음성의 빠르기, 음성의 세기, 음성의 떨림 등의 음성 특성을 추출할 수 있다. 또는, 상기 음성 분석부(130)는, 상기 사용자의 통화 음성으로부터, 상기 음성 주파수의 특성을 추출할 수 있다.For example, the
또한, 예를 들어, 상기 음성 분석부(130)는, 상기 제 1 저장부(110)에 저장된 감정 상태에 따른 음성 특성의 종류와 일치하는 음성 특성을 상기 사용자의 통화 음성으로부터 추출할 수 있다.Also, for example, the
제어부(140)는, 상기 저장된 음성 특성 중에서, 상기 추출한 음성 특성과 일치하는 음성 특성이 존재하는지 여부를 판단한다.The
예를 들어, 상기 저장된 음성 특성이 감정 상태에 따른 음성 주파수인 경우에, 상기 제 1 저장부(110)는, '화남'이라는 감정 상태에 따른 음성 주파수 '100Hz~200Hz'를 저장할 수 있다. 그리고, 상기 제어부(140)는, 상기 추출한 음성 특성이 '150Hz'인 경우에, 상기 저장된 음성 특성과 상기 추출한 음성 특성이 일치한다고 판단할 수 있다. 한편, 상기 제어부(140)는, 상기 추출한 음성 주파수가 상기 저장된 감정 상태에 따른 음성 주파수 범위 중에서 어디에도 속하지 않는 경우 에는, 상기 추출한 음성 특성과 일치하지 않는다고 판단할 수 있다.For example, when the stored voice characteristic is a voice frequency according to an emotional state, the
데이터 생성부(150)는, 상기 제어부(140)의 제어 신호에 따라, 상기 추출한 음성 특성에 해당하는 감정 상태 데이터를 생성한다.The
예를 들어, '화남'이라는 감정 상태에 따른 음성 주파수와 상기 추출한 음성 주파수가 일치한다고 판단한 제어부(140)의 제어 신호에 따라, 상기 추출한 음성 특성에 해당하는 '화남'이라는 감정 상태 데이터를 생성할 수 있다.For example, according to a control signal of the
또한, 상기 추출한 음성 주파수가 일치하지 않는다고 판단한 경우라도, 사용자에 의해 입력된 감정 상태에 따라, 상기 감정 상태 데이터를 생성할 수 있다.In addition, even when it is determined that the extracted voice frequencies do not match, the emotional state data may be generated according to the emotional state input by the user.
또한, 예를 들어, 상기 감정 상태 데이터는, 1byte의 데이터열을 형성할 수 있고, 상기 데이터열의 처음 1bit는 상기 데이터가 감정 상태를 나타내는 데이터라는 것을 표시하고, 다음 3bit는 기지국으로부터 제공받고자 하는 컨텐츠 데이터의 종류를 표시하고, 다음 4bit는 상기 음성 특성에 의해 판단한 사용자의 감정 상태를 표시할 수 있다. 또는, 상기 감정 상태 데이터는, 1byte 이상의 데이터일 수 있다. Also, for example, the emotional state data may form a data string of 1 byte, the first 1 bit of the data string indicates that the data is data representing the emotional state, and the next 3 bits are contents to be provided from the base station. The type of data may be displayed, and the next 4 bits may indicate an emotional state of the user determined by the voice characteristic. Alternatively, the emotional state data may be data of 1 byte or more.
송신부(160)는, 상기 생성된 감정 상태 데이터를 기지국 서버에 송신한다.The
예를 들어, 상기 기지국 서버는, 상기 이동통신단말기에 다양한 컨텐츠를 제공하는 서버일 수 있다. For example, the base station server may be a server that provides various contents to the mobile communication terminal.
수신부(170)는, 상기 기지국 서버로부터 상기 감정 상태 데이터에 따른 컨텐츠 데이터를 제공받는다.The
예를 들어, 상기 컨텐츠 데이터는, MP3 음원 데이터, 컬러링 음원 데이터, 벨소리 음원 데이터 중에서 적어도 하나를 포함할 수 있다. 또는, 상기 컨텐츠 데이터는, 상기 컨텐츠 데이터에 의해 유발되는 감정 상태를 나타내는 데이터를 포함할 수 있다. 또한, 상기 컨텐츠 데이터는, 사용자의 선택에 의해 감정 상태별로 설정된 컨텐츠 데이터일 수 있다. 즉, 상기 사용자는, 상기 기지국 서버에 저장된 컨텐츠 데이터를 감정 상태 별로 미리 설정해 두고, 상기 수신부(170)는, 상기 송신된 감정 상태 데이터에 따라, 상기 미리 설정된 감정 상태 별 컨텐츠 데이터 중에서 선택된 컨텐츠 데이터를 제공받을 수 있다.For example, the content data may include at least one of MP3 sound source data, coloring sound source data, and ringtone sound source data. Alternatively, the content data may include data representing an emotional state caused by the content data. The content data may be content data set for each emotional state by a user's selection. That is, the user presets the content data stored in the base station server for each emotional state, and the
음성특성 수정부(210)는, 상기 제어부(140)의 제어 신호에 따라, 상기 추출한 음성 특성을 고려하여 상기 저장된 음성 특성을 수정한다.The voice characteristic corrector 210 modifies the stored voice characteristic in consideration of the extracted voice characteristic according to the control signal of the
예를 들어, 상기 음성특성 수정부(210)는, 상기 저장된 음성 특성 중에서, 상기 추출한 음성 특성과 일치하는 음성 특성이 존재하지 않는다고 판단한 제어 신호에 따라, 상기 추출한 음성 특성을 고려하여 상기 저장된 음성 특성을 수정할 수 있다.For example, the voice characteristic corrector 210 may store the stored voice characteristic in consideration of the extracted voice characteristic according to a control signal determined that there is no voice characteristic that matches the extracted voice characteristic. Can be modified.
또한, 상기 저장된 음성 특성과 추출한 음성 특성이 일치하지 않는 경우에, 상기 이동통신단말기는, 상기 사용자에 의해 선택된 감정 상태를 입력받는다. 그리고, 상기 음성특성 수정부(210)는, 상기 입력받은 감정 상태 및 상기 감정 상태에 해당하는 음성 특성을 상기 제 1 저장부로부터 검색한다. 그리고, 상기 음성특성 수정부(210)는, 상기 추출한 음성 특성 및 검색한 감정 상태를 고려하여, 상기 검색한 감정 상태에 해당하는 음성 특성을 수정할 수 있다. In addition, when the stored voice characteristic and the extracted voice characteristic do not match, the mobile communication terminal receives an emotion state selected by the user. The voice characteristic correction unit 210 retrieves the received emotional state and the voice characteristic corresponding to the emotional state from the first storage unit. The voice characteristic correction unit 210 may correct the voice characteristic corresponding to the retrieved emotional state in consideration of the extracted voice characteristic and the retrieved emotional state.
제 2 저장부(310)는, 상기 컨텐츠 데이터를 감정 상태에 따라 분류하여 저장 한다.The
예를 들어, 상기 컨텐츠 데이터는, 표시창 배경 화면 데이터, 배경 화면 바탕 색 데이터, MP3 음원 데이터, 벨소리 음원 데이터, 컬러링 음원 데이터 중에서 적어도 하나를 포함할 수 있다. 또한, 상기 컨텐츠 데이터는, 상기 컨텐츠 데이터에 의해 유발되는 감정 상태를 나타내는 데이터를 포함할 수 있다.For example, the content data may include at least one of display window background data, background background color data, MP3 sound source data, ring tone sound source data, and coloring sound source data. In addition, the content data may include data representing an emotional state caused by the content data.
데이터 제공부(320)는, 상기 생성된 감정 상태 데이터에 따라, 상기 제 2 저장부(310)에 저장된 컨텐츠 데이터 중에서 적어도 하나를 제공한다.The
예를 들어, 상기 생성된 감정 상태 데이터가 '기쁨'을 나타내는 데이터인 경우에, 상기 데이터 제공부(320)는, 상기 제 2 저장부(310)에 저장된 컨텐츠 데이터 중에서 유발되는 감정 상태가 '기쁨'인 컨텐츠 데이터를 제공할 수 있다.For example, when the generated emotional state data is data representing 'joy', the
도 4를 참조하여, 본 발명에 따른 감정 인식에 의한 데이터 처리 기능을 갖는 기지국 서버의 일실시예를 설명하면 다음과 같다.Referring to FIG. 4, an embodiment of a base station server having a data processing function by emotion recognition according to the present invention will be described.
데이터 생성부(410)는, 감정 상태를 나타내는 데이터를 컨텐츠 데이터에 부가한다.The
예를 들어, 상기 컨텐츠 데이터는, MP3 음원 데이터, 컬러링 음원 데이터, 벨소리 음원 데이터 중에서 적어도 하나를 포함할 수 있다. 또한, 상기 컨텐츠 데이터는, 상기 컨텐츠 데이터에 의해 유발되는 감정 상태를 나타내는 데이터를 포함할 수 있다. For example, the content data may include at least one of MP3 sound source data, coloring sound source data, and ringtone sound source data. In addition, the content data may include data representing an emotional state caused by the content data.
또한, 상기 감정 상태를 나타내는 데이터는, 사용자의 선택에 의해 부가될 수 있다. 상기 데이터 생성부(410)는, 상기 사용자에 의해 '슬픔'이라는 감정 상태 가 설정된 컨텐츠 데이터에 '슬픔'을 나타내는 감정 상태 데이터를 부가할 수 있다.In addition, the data representing the emotional state may be added by the user's selection. The
컨텐츠 저장부(420)는, 상기 데이터 생성부(410)로부터 입력받은 컨텐츠 데이터를 저장한다.The
예를 들어, 상기 컨텐츠 저장부(420)는, 상기 컨텐츠 데이터를 감정 상태 별로 분류하여 저장할 수 있다.For example, the
수신부(440)는, 상기 이동통신단말기로부터 감정 상태 데이터를 수신한다.The receiver 440 receives the emotional state data from the mobile communication terminal.
제어부(430)는, 상기 수신한 감정 상태 데이터에 따라, 상기 컨텐츠 저장부(420)로부터 컨텐츠 데이터를 선택한다.The
예를 들어, 상기 수신한 감정 상태 데이터가 '화남'을 나타내는 감정 상태 데이터인 경우에, 상기 제어부(430)는, '화남'이라는 감정 상태를 나타내는 컨텐츠 데이터를 선택할 수 있다. For example, when the received emotional state data is emotional state data indicating 'angry', the
송신부(450)는, 상기 선택된 컨텐츠 데이터를 상기 이동통신단말기로 송신한다.The transmitter 450 transmits the selected content data to the mobile communication terminal.
도 5를 참조하여, 본 발명에 따른 이동통신단말기를 이용한 감정 인식에 의한 데이터 처리 방법의 제 1 실시예를 설명하면 다음과 같다.Referring to FIG. 5, a first embodiment of a data processing method based on emotion recognition using a mobile communication terminal according to the present invention will be described.
사용자의 통화 음성으로부터 음성 특성을 추출한다(S510).The voice characteristic is extracted from the call voice of the user (S510).
예를 들어, 상기 사용자의 통화 음성은, 상기 이동통신단말기에 구비된 마이크를 통하여 입력될 수 있다. 또한, 상기 사용자의 통화 음성은, 디지털 음성 신호로 변환될 수 있다.For example, the call voice of the user may be input through a microphone provided in the mobile communication terminal. In addition, the call voice of the user may be converted into a digital voice signal.
또한, 예를 들어, 상기 추출 단계는, 상기 사용자의 통화 음성으로부터, 음성의 고저, 음성의 빠르기, 음성의 세기, 음성의 떨림 등의 음성 특성을 추출할 수 있다. 또는, 상기 추출 단계는, 상기 사용자의 통화 음성으로부터, 상기 통화 음성 의 주파수 특성을 추출할 수 있다.For example, in the extracting step, the voice characteristics such as the height of the voice, the speed of the voice, the strength of the voice, the trembling of the voice, and the like may be extracted from the voice of the user. Alternatively, the extracting step may extract a frequency characteristic of the call voice from the call voice of the user.
또한, 예를 들어, 상기 추출 단계는, 상기 이동통신단말기에 저장된 감정 상태에 따른 음성 특성의 종류와 일치하는 음성 특성을 상기 사용자의 통화 음성으로부터 추출할 수 있다.For example, in the extracting step, a voice characteristic corresponding to the type of the voice characteristic according to the emotional state stored in the mobile communication terminal may be extracted from the call voice of the user.
상기 이동통신단말기에 저장된 감정 상태에 따른 음성 특성 중에서, 상기 추출한 음성 특성과 일치하는 음성 특성이 존재하는지 여부를 판단한다(S520).In operation S520, it is determined whether a voice characteristic matching the extracted voice characteristic exists among voice characteristics according to an emotional state stored in the mobile communication terminal.
예를 들어, 상기 이동통신단말기는, 감정 상태에 따른 음성 특성을 저장한다. 또한, 상기 이동통신단말기는, 사람의 다양한 감정 상태별로 적어도 하나 이상의 음성 특성을 저장할 수 있다. 상기 감정 상태는, 슬픔, 기쁨, 화남, 우울함, 즐거움, 놀람 등이 있을 수 있다. 그리고, 상기 음성 특성은, 상기 감정 상태 별로 특징이 될 수 있는 음성의 성질을 의미할 수 있다. 또한, 상기 통화 음성의 주파수 특성이 상기 음성 특성인 경우에, 상기 감정 상태에 따른 음성 특성은, 감정 상태 별 음성의 주파수 범위일 수 있다. For example, the mobile communication terminal stores voice characteristics according to an emotional state. In addition, the mobile communication terminal may store at least one voice characteristic according to various emotional states of a person. The emotional state may include sadness, joy, anger, depression, joy, surprise, and the like. The voice property may mean a property of voice that may be characterized by the emotional state. In addition, when the frequency characteristic of the call voice is the voice characteristic, the voice characteristic according to the emotional state may be a frequency range of the voice for each emotional state.
또한, 예를 들어, 상기 이동통신단말기는, 상기 저장된 음성 특성이 감정 상태에 따른 음성 주파수인 경우에, '화남'이라는 감정 상태에 따른 음성 주파수 '100Hz~200Hz'를 저장할 수 있다. 상기 판단 단계는, 상기 추출한 음성 특성이 '150Hz'인 경우에, 상기 저장된 음성 특성과 상기 추출한 음성 특성이 일치한다고 판단할 수 있다. 한편, 상기 판단 단계는, 상기 추출한 음성 주파수가 상기 저장된 감정 상태에 따른 음성 주파수 범위의 어디에도 속하지 않는 경우에는, 상기 추출한 음성 특성과 일치하지 않는다고 판단할 수 있다.For example, when the stored voice characteristic is a voice frequency according to an emotional state, the mobile communication terminal may store a voice frequency '100 Hz to 200 Hz' according to an emotional state of 'angry'. In the determining step, when the extracted voice characteristic is '150 Hz', it may be determined that the stored voice characteristic and the extracted voice characteristic coincide. In the determining step, when the extracted voice frequency does not belong to any of the voice frequency ranges according to the stored emotional state, it may be determined that the extracted voice frequency does not match the extracted voice characteristic.
상기 판단 결과 존재하지 않는다고 판단되는 경우에, 사용자의 선택에 의한 감정 상태를 입력받는다(S530).If it is determined that there is no result as a result of the determination, an emotional state according to the user's selection is received (S530).
상기 판단 결과 존재한다고 판단되는 경우에, 상기 음성 특성에 해당하는 감정 상태 데이터를 생성하거나, 상기 판단 결과 존재하지 않는다고 판단되는 경우에는, 사용자에 의해 입력된 감정 상태에 따라 감정 상태 데이터를 생성한다(S540).When it is determined that the determination result exists, the emotion state data corresponding to the voice characteristic is generated or when the determination state does not exist, the emotion state data is generated according to the emotion state input by the user ( S540).
예를 들어, 상기 생성 단계는, 1byte의 상기 감정 상태 데이터를 생성할 수 있고, 상기 데이터열의 처음 1bit는 상기 데이터가 감정 상태를 나타내는 데이터라는 것을 표시하고, 다음 3bit는 기지국으로부터 제공받고자 하는 컨텐츠 데이터의 종류를 표시하고, 다음 4bit는 상기 음성 특성에 의해 판단한 사용자의 감정 상태를 표시하도록 할 수 있다. 또는, 상기 생성 단계는, 1byte 이상의 감정 상태 데이터를 생성할 수 있다. For example, the generating step may generate 1 byte of the emotional state data, wherein the first 1 bit of the data string indicates that the data is data representing an emotional state, and the next 3 bits are content data to be provided from the base station. The next 4 bits may be displayed to indicate the emotional state of the user determined by the voice characteristic. Alternatively, the generating may generate emotion state data of 1 byte or more.
상기 생성된 감정 상태 데이터를 저장한다(S550).The generated emotional state data is stored (S550).
상기 생성된 감정 상태 데이터를 기지국 서버에 송신한다(560).The generated emotional state data is transmitted to the base station server (560).
예를 들어, 상기 기지국 서버는, 상기 이동통신단말기에 다양한 컨텐츠 데이터를 제공하는 서버일 수 있다. For example, the base station server may be a server that provides various content data to the mobile communication terminal.
상기 기지국 서버로부터 상기 송신한 감정 상태 데이터에 따른 컨텐츠 데이터를 수신한다(S570).The content data according to the sent emotional state data is received from the base station server (S570).
예를 들어, 상기 수신 단계는, MP3 음원 데이터, 컬러링 음원 데이터, 벨소리 음원 데이터 중에서 적어도 하나를 포함하는 컨텐츠 데이터를 수신할 수 있다. 또한, 상기 컨텐츠 데이터는, 상기 컨텐츠 데이터에 의해 유발되는 감정 상태를 나타내는 데이터를 포함할 수 있다. 또한, 상기 컨텐츠 데이터가 사용자에 의해 감정 상태가 설정된 컨텐츠 데이터인 경우에, 상기 수신 단계는, 상기 송신된 감정 상태 데이터에 따라, 상기 미리 설정된 감정 상태별 컨텐츠 데이터 중에서 선택된 컨텐츠 데이터를 수신할 수 있다.For example, in the receiving step, the content data including at least one of the MP3 sound source data, the coloring sound source data, the ring tone sound source data may be received. In addition, the content data may include data representing an emotional state caused by the content data. In addition, when the content data is content data in which an emotional state is set by a user, the receiving step may receive content data selected from the preset emotional state content data according to the sent emotional state data. .
상기 저장된 감정 상태 데이터에 따라, 상기 이동통신단말기에 저장된 컨텐츠 데이터 중에서 적어도 하나를 제공하는 단계를 더 포함할 수 있다.The method may further include providing at least one of content data stored in the mobile communication terminal according to the stored emotional state data.
예를 들어, 상기 제공 단계는, 표시창 배경 화면 데이터, 배경 화면 바탕 색 데이터, MP3 음원 데이터, 벨소리 음원 데이터, 컬러링 음원 데이터 중에서 적어도 하나를 포함하는 컨텐츠 데이터를 제공할 수 있다. 또한, 상기 컨텐츠 데이터는, 상기 컨텐츠 데이터에 의해 유발되는 감정 상태를 나타내는 데이터를 포함할 수 있다. For example, the providing step may provide content data including at least one of display window background data, background color background data, MP3 sound source data, ring tone sound source data, and coloring sound source data. In addition, the content data may include data representing an emotional state caused by the content data.
또한, 예를 들어, 상기 제공 단계는, 상기 생성된 감정 상태 데이터가 '기쁨'을 나타내는 데이터인 경우에, 상기 저장된 컨텐츠 데이터 중에서 유발되는 감정 상태가 '기쁨'인 컨텐츠 데이터를 제공할 수 있다.For example, in the providing step, when the generated emotional state data is data representing 'joy', the emotional data induced from the stored content data may provide content data of 'joy'.
도 6을 참조하여, 본 발명에 따른 이동통신단말기를 이용한 감정 인식에 의한 데이터 처리 방법의 제 2 실시예를 설명하면 다음과 같다.Referring to FIG. 6, a second embodiment of a data processing method based on emotion recognition using a mobile communication terminal according to the present invention will be described.
사용자의 통화 음성으로부터 음성 특성을 추출한다(S610).A voice characteristic is extracted from the call voice of the user (S610).
상기 이동통신단말기에 저장된 감정 상태에 따른 음성 특성 중에서, 상기 추출한 음성 특성과 일치하는 음성 특성이 존재하는지 여부를 판단한다(S620).It is determined whether there is a voice characteristic that matches the extracted voice characteristic among the voice characteristics according to the emotional state stored in the mobile communication terminal (S620).
상기 판단 결과 존재하지 않는다고 판단되는 경우에, 사용자의 선택에 의한 감정 상태를 입력받는다(S630).If it is determined that there is no result as a result of the determination, an emotional state according to the user's selection is received (S630).
상기 추출한 음성 특성과 상기 입력된 감정 상태를 고려하여, 상기 저장된 감정 상태에 따른 음성 특성을 수정한다(S640)The voice characteristic is modified according to the stored emotional state in consideration of the extracted voice characteristic and the input emotional state (S640).
예를 들어, 상기 수정 단계는, 상기 입력받은 감정 상태 및 상기 감정 상태에 해당하는 음성 특성을 상기 이동통신단말기로부터 검색하고, 상기 추출한 음성 특성을 고려하여 상기 검색한 감정 상태에 해당하는 음성 특성을 수정할 수 있다. For example, in the modifying, the voice characteristic corresponding to the received emotional state and the emotional state may be retrieved from the mobile communication terminal, and the voice characteristic corresponding to the retrieved emotional state is considered in consideration of the extracted voice characteristic. Can be modified.
상기 수정된 감정 상태에 따른 음성 특성을 저장한다(S650).The voice characteristic according to the modified emotional state is stored (S650).
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.
상기에서 설명한 본 발명에 의하면, 사용자의 통화 음성을 분석함으로써, 사용자의 감정 상태를 인식할 수 있다.According to the present invention described above, the emotional state of the user can be recognized by analyzing the call voice of the user.
또한, 사용자의 감정 상태를 나타내는 감정 상태 데이터를 기지국 서버로 송신함에 따라, 상기 기지국 서버로부터 사용자의 감정 상태에 따른 컨텐츠 데이터를 제공받을 수 있다.In addition, as the emotional state data indicating the emotional state of the user is transmitted to the base station server, content data according to the emotional state of the user may be provided from the base station server.
또한, 사용자의 감정 상태에 따라, 상기 이동통신단말기에 저장된 다양한 컨텐츠 데이터를 제공받을 수 있다.In addition, according to the emotional state of the user, it is possible to receive a variety of content data stored in the mobile communication terminal.
Claims (16)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050084824A KR101171310B1 (en) | 2005-09-12 | 2005-09-12 | Mobile Telecommunication Device and Base Station Server Having Function for Managing Data by Feeling Recognition and Method thereby |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050084824A KR101171310B1 (en) | 2005-09-12 | 2005-09-12 | Mobile Telecommunication Device and Base Station Server Having Function for Managing Data by Feeling Recognition and Method thereby |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070030061A true KR20070030061A (en) | 2007-03-15 |
KR101171310B1 KR101171310B1 (en) | 2012-08-07 |
Family
ID=38101951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020050084824A KR101171310B1 (en) | 2005-09-12 | 2005-09-12 | Mobile Telecommunication Device and Base Station Server Having Function for Managing Data by Feeling Recognition and Method thereby |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101171310B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100792990B1 (en) * | 2006-08-25 | 2008-01-08 | (주) 엘지텔레콤 | Method of analyzing user-emotion in mobile communication network |
KR100877476B1 (en) * | 2007-06-26 | 2009-01-07 | 주식회사 케이티 | Intelligent robot service apparatus and method on PSTN |
KR101020843B1 (en) * | 2008-01-30 | 2011-03-09 | 단국대학교 산학협력단 | Contents and/or channel recommendation method by consumer sensitivity and system thereof |
CN108766467A (en) * | 2018-05-31 | 2018-11-06 | 广州粤创富科技有限公司 | A kind of method and terminal of pet Emotion identification |
WO2019031621A1 (en) * | 2017-08-08 | 2019-02-14 | 라인 가부시키가이샤 | Method and system for recognizing emotion during telephone call and utilizing recognized emotion |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105096943B (en) * | 2014-04-24 | 2019-04-19 | 杭州华为企业通信技术有限公司 | The method and apparatus of signal processing |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010109826A (en) * | 2000-06-02 | 2001-12-12 | 김연환 | Apparatus and method for message transmission according to feeling of mobile communication terminal user |
KR20040014089A (en) * | 2002-08-09 | 2004-02-14 | 이성진 | Selection of bellsound of music system and method use of mobile |
KR20050027361A (en) * | 2003-09-15 | 2005-03-21 | 주식회사 팬택앤큐리텔 | Method of monitoring psychology condition of talkers in the communication terminal |
KR20050040291A (en) * | 2003-10-28 | 2005-05-03 | 주식회사 팬택 | Apparatus and method for user's feeling informing of mobile communication terminal |
KR20040052973A (en) * | 2004-05-19 | 2004-06-23 | 최철 | Emotional Phone |
KR100654135B1 (en) * | 2004-11-08 | 2006-12-05 | 한밭대학교 산학협력단 | Mobile terminal for displaying emotion of old human by avata and the mobile service method using the same |
-
2005
- 2005-09-12 KR KR1020050084824A patent/KR101171310B1/en active IP Right Grant
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100792990B1 (en) * | 2006-08-25 | 2008-01-08 | (주) 엘지텔레콤 | Method of analyzing user-emotion in mobile communication network |
KR100877476B1 (en) * | 2007-06-26 | 2009-01-07 | 주식회사 케이티 | Intelligent robot service apparatus and method on PSTN |
KR101020843B1 (en) * | 2008-01-30 | 2011-03-09 | 단국대학교 산학협력단 | Contents and/or channel recommendation method by consumer sensitivity and system thereof |
WO2019031621A1 (en) * | 2017-08-08 | 2019-02-14 | 라인 가부시키가이샤 | Method and system for recognizing emotion during telephone call and utilizing recognized emotion |
CN108766467A (en) * | 2018-05-31 | 2018-11-06 | 广州粤创富科技有限公司 | A kind of method and terminal of pet Emotion identification |
CN108766467B (en) * | 2018-05-31 | 2021-04-23 | 广州粤创富科技有限公司 | Method and terminal for recognizing pet emotion |
Also Published As
Publication number | Publication date |
---|---|
KR101171310B1 (en) | 2012-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7974392B2 (en) | System and method for personalized text-to-voice synthesis | |
KR101626438B1 (en) | Method, device, and system for audio data processing | |
KR101171310B1 (en) | Mobile Telecommunication Device and Base Station Server Having Function for Managing Data by Feeling Recognition and Method thereby | |
US20160006849A1 (en) | Bluetooth headset and voice interaction control thereof | |
JP2004349851A (en) | Portable terminal, image communication program, and image communication method | |
JP3806030B2 (en) | Information processing apparatus and method | |
CN113438640B (en) | Equipment pairing connection method, device, system and storage medium | |
KR20190029237A (en) | Apparatus for interpreting and method thereof | |
EP1804237A1 (en) | System and method for personalized text to voice synthesis | |
JP2008085421A (en) | Video telephone, calling method, program, voice quality conversion-image editing service providing system, and server | |
TW201903755A (en) | Electronic device capable of adjusting output sound and method of adjusting output sound | |
JPWO2011122521A1 (en) | Information display system, information display method and program | |
KR20100081022A (en) | Method for updating phonebook and mobile terminal using the same | |
WO2011122522A1 (en) | Ambient expression selection system, ambient expression selection method, and program | |
KR100691976B1 (en) | Mobile Communication Terminal and Method for Morse Signal and Analysis and conversion | |
JP2000349865A (en) | Voice communication apparatus | |
CN102857650A (en) | Method for dynamically regulating voice | |
JP2023501536A (en) | Control method and system for artificial intelligence type multimedia device | |
KR20090054609A (en) | Voip telephone communication system and method for providing users with telephone communication service comprising emotional contents effect | |
CN108174030B (en) | Customized voice control implementation method, mobile terminal and readable storage medium | |
JP2002207671A (en) | Handset and method for transmitting/reproducing electronic mail sentence | |
JP2008040431A (en) | Voice or speech machining device | |
KR100641141B1 (en) | Text display method for speech to text service | |
KR20190029236A (en) | Method for interpreting | |
KR102000282B1 (en) | Conversation support device for performing auditory function assistance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20150624 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20160628 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20170623 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190624 Year of fee payment: 8 |