KR101754093B1 - Personal records management system that automatically classify records - Google Patents
Personal records management system that automatically classify records Download PDFInfo
- Publication number
- KR101754093B1 KR101754093B1 KR1020160112334A KR20160112334A KR101754093B1 KR 101754093 B1 KR101754093 B1 KR 101754093B1 KR 1020160112334 A KR1020160112334 A KR 1020160112334A KR 20160112334 A KR20160112334 A KR 20160112334A KR 101754093 B1 KR101754093 B1 KR 101754093B1
- Authority
- KR
- South Korea
- Prior art keywords
- diary
- application
- voice
- user
- sentence
- Prior art date
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 9
- 230000008451 emotion Effects 0.000 claims description 72
- 230000002996 emotional effect Effects 0.000 claims description 44
- 230000006870 function Effects 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000008921 facial expression Effects 0.000 claims description 7
- 235000013305 food Nutrition 0.000 claims description 7
- 235000012054 meals Nutrition 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G06F17/27—
-
- G06F17/30286—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
-
- G06K9/00221—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Acoustics & Sound (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
개인기록 관리 시스템은, 일기장 애플리케이션, 사진촬영 애플리케이션, 가계부 애플리케이션, 전화 및 문자전송 애플리케이션 중 적어도 어느 하나 이상의 애플리케이션이 설치되는 휴대용 단말기; 및 상기 휴대용 단말기에서 각각의 애플리케이션이 실행될 때 생성된 내용을 데이터베이스에 저장하며, 상기 데이터베이스에 저장된 내용을 상기 휴대용 단말기에 제공하는 데이터 서버;를 포함하고, 상기 일기장 애플리케이션은 음성을 인식하는 일기장 기능을 수행하는 것을 특징으로 한다.A personal record management system includes: a portable terminal in which at least one of a diary application, a photographing application, a household application, a telephone, and a text transmission application is installed; And a data server that stores contents generated when each application is executed in the portable terminal in a database and provides the contents stored in the database to the portable terminal, wherein the diary application includes a diary function for recognizing a voice .
Description
본 발명은 개인기록 관리 시스템에 관한 것으로서, 더 상세하게는 기록이 자동으로 분류되어 저장되는 개인기록 관리 시스템에 관한 것이다.The present invention relates to a personal record management system, and more particularly, to a personal record management system in which records are automatically classified and stored.
최근 휴대폰이 개인마다 보급되면서 휴대폰을 이용하여 지인들에게 문자 메세지를 발송하거나, 일기장 및 가계부 등과 같은 개인기록을 휴대폰에 저장할 수 있게 되었다.Recently, mobile phones have been popularized by individuals, so that text messages can be sent to acquaintances using mobile phones, or personal records such as diaries and household accounts can be stored in mobile phones.
사용자가 휴대폰을 사용하는 과정을 살펴보면, 휴대폰의 사용자가 자신이 원하는 정보를 예컨대, SMS 메시지에 실어 타 휴대폰으로 전송하기를 원할 경우, 휴대폰의 키패드를 통해 LCD 패널 상에 표시된 해당 메뉴를 선택한 다음 필요한 문자를 입력한다. 이와 같은 과정을 통해 문자입력이 완료되면, 휴대폰의 사용자는 목적지 전화번호와 함께 전송버튼을 누르게 된다. When a user of the mobile phone wants to transmit information desired by himself / herself to, for example, an SMS message and transmit it to another mobile phone, the corresponding menu displayed on the LCD panel is selected through the keypad of the mobile phone, Enter a character. When the character input is completed through the above process, the user of the mobile phone presses the transmission button together with the destination telephone number.
또한, 사용자가 일정관리기능이나 개인기록을 저장할 경우에도 사용자는 키패드 또는 터치패드를 일일이 조작하면서, 날짜를 선택하고, 내용을 입력해야 한다.Further, even when the user stores the schedule management function or the personal record, the user must operate the keypad or the touch pad, select the date, and input the contents.
이와 같이 종래의 일정관리기능이나 개인기록을 저장하는 방식은, 사용자가 단말기의 키패드 또는 터치 패드를 이용하여 문장을 연속적으로 입력해야 하므로, 키보드 사용이 미숙한 경우, 오타가 많이 발생한다.In the conventional method for storing the schedule management function or the personal record, a user must continuously input a sentence by using a keypad or a touch pad of the terminal, so that a lot of typos occur when the keyboard is inadequately used.
또한, 휴대폰으로 문장을 입력할 경우에는, 시선 및 동작이 휴대폰에 집중되어야 하므로, 보행 중에 교통사고의 위험이 있으며, 원하는 내용을 신속하게 기록할 수 없는 한계가 있다.In addition, when a sentence is input to a mobile phone, there is a risk that a traffic accident occurs while walking, and therefore the desired contents can not be quickly recorded.
본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 사용자의 음성을 인식하여 기록이 자동으로 분류되고 저장될 수 있는 개인기록 관리 시스템을 제공한다.Disclosure of Invention Technical Problem [8] The present invention has been proposed in order to solve the above-described technical problems, and provides a personal record management system capable of recognizing voice of a user and automatically recording and storing the record.
본 발명의 일 실시예에 따르면, 일기장 애플리케이션, 사진촬영 애플리케이션, 가계부 애플리케이션, 전화 및 문자전송 애플리케이션 중 적어도 어느 하나 이상의 애플리케이션이 설치되는 휴대용 단말기; 및 상기 휴대용 단말기에서 각각의 애플리케이션이 실행될 때 생성된 내용을 데이터베이스에 저장하며, 상기 데이터베이스에 저장된 내용을 상기 휴대용 단말기에 제공하는 데이터 서버;를 포함하고, 상기 일기장 애플리케이션은 음성을 인식하는 일기장 기능을 수행하는 것을 특징으로 하는 개인기록 관리 시스템이 제공된다.According to an embodiment of the present invention, there is provided a mobile terminal in which at least one of a diary application, a photographing application, a household application, a telephone and a text transmission application is installed; And a data server that stores contents generated when each application is executed in the portable terminal in a database and provides the contents stored in the database to the portable terminal, wherein the diary application includes a diary function for recognizing a voice The personal record management system comprising:
또한, 상기 일기장 애플리케이션은 음성을 인식하는 일기장 기능을 수행함에 있어서, 일기장에 기록되는 문장의 내용을 분석하여 감정상태를 파악하고 기록하는 것을 특징으로 한다.In addition, the diary field application performs a diary function for recognizing a voice, and analyzes the contents of a sentence recorded in a diary, and recognizes and records an emotional state.
또한, 상기 일기장 애플리케이션은 음성을 인식하는 일기장 기능을 수행함에 있어서, 음성의 주파수 패턴을 분석하여 감정상태를 파악하고 기록하는 것을 특징으로 한다.In addition, the diary field application performs a diary function for recognizing a voice, characterized by analyzing a frequency pattern of a voice to understand and record the emotion state.
또한, 상기 일기장 애플리케이션은 음성을 인식하는 일기장 기능을 수행함에 있어서, 상기 사진촬영 애플리케이션에 의해 사진이 촬영될 경우, 사진의 얼굴표정을 분석하여 감정상태를 파악하고 기록하는 것을 특징으로 한다.In addition, the diary application performs a diary function for recognizing a voice, and when a photograph is taken by the photographing application, the facial expression of the photograph is analyzed to grasp and record the emotion state.
또한, 상기 일기장 애플리케이션은 음성을 인식하는 일기장 기능을 수행함에 있어서, 일기장에 기록되는 문장의 내용을 분석하여 제1 감정상태를 파악하고, 음성의 주파수 패턴을 분석하여 제2 감정상태를 파악하고, 상기 사진촬영 애플리케이션에 의해 사진이 촬영될 경우 사진의 얼굴표정을 분석하여 제3 감정상태를 파악하되, 상기 제1 감정상태, 상기 제2 감정상태 및 상기 제3 감정상태에 각각 서로 다른 반영 가중치를 부여하여 최종감정상태를 결정하고 기록하는 것을 특징으로 한다.In addition, the diary application may perform a diary function to recognize a voice. The diary application may analyze the content of a sentence recorded in a diary to grasp a first emotion state, analyze a frequency pattern of the voice to grasp a second emotion state, Wherein when a photograph is photographed by the photographing application, a facial expression of a photograph is analyzed to grasp a third emotion state, and a reflection weight different from the first emotion state, the second emotion state and the third emotion state, And the final emotional state is determined and recorded.
또한, 상기 일기장 애플리케이션, 상기 사진촬영 애플리케이션, 상기 가계부 애플리케이션, 상기 전화 및 문자전송 애플리케이션 중 적어도 어느 하나 이상의 애플리케이션이 설치된 적어도 하나 이상의 외부 단말기;를 더 포함하고, 적어도 하나 이상의 외부 단말기가 상기 데이터베이스에 접근 허용될 때마다, 상기 휴대용 단말기와 적어도 하나 이상의 외부 단말기는 N 스크린 기능이 구현됨에 있어서, 상기 휴대용 단말기에서 표시되고 있는 컨텐츠는, 가장 최근에 상기 데이터베이스에 접근하는 외부 단말기에 복제되어 연속적으로 표시되는 것을 특징으로 한다.And at least one external terminal provided with at least one or more applications of the diary field application, the photo photographing application, the household part application, the telephone and the text transfer application, and at least one external terminal accesses the database When the portable terminal and the at least one external terminal have an N screen function, the contents displayed on the portable terminal are copied to the external terminal most recently accessed to the database and displayed continuously .
본 발명의 실시예에 따른 개인기록 관리 시스템은, 사용자의 음성을 인식하여 기록이 자동으로 분류되고 저장될 수 있으므로, 키보드 사용이 미숙한 사용자라 할지라도 원하는 내용을 신속하고 정확하게 저장할 수 있다.The personal record management system according to the embodiment of the present invention recognizes the voice of the user and can automatically classify and store the record so that the user can quickly and accurately store the desired content even if the user is an inexperienced user.
도 1은 본 발명의 실시예에 따른 개인기록 관리 시스템의 개념도.
도 2는 도 1의 개인기록 관리 시스템의 구성도.1 is a conceptual diagram of a personal record management system according to an embodiment of the present invention;
2 is a configuration diagram of the personal record management system of FIG.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, in order to facilitate a person skilled in the art to easily carry out the technical idea of the present invention.
도 1은 본 발명의 실시예에 따른 개인기록 관리 시스템(1)의 개념도이고, 도 2는 도 1의 개인기록 관리 시스템(1)의 구성도이다.FIG. 1 is a conceptual diagram of a personal
본 실시예에 따른 개인기록 관리 시스템(1)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.The personal
도 1 및 도 2를 동시에 참조하면, 개인기록 관리 시스템(1)은 휴대용 단말기(100)와, 데이터 서버(200)와, 외부 단말기(300)를 포함하여 구성된다.Referring to FIGS. 1 and 2, the personal
여기에서 외부 단말기(300)는 적어도 어느 하나 이상이 포함되는데, 본 실시예에서는 설명의 편의를 위해 개인용 컴퓨터로 정의되는 제1 외부 단말기(310)와, 스마트 패드로 정의되는 제2 외부 단말기(320)로 한정하고 설명하기로 한다.Herein, at least one of the
상기와 같이 구성되는 개인기록 관리 시스템(1)의 세부구성과 주요동작을 살펴보면 다음과 같다.The detailed configuration and main operation of the personal
본 발명의 실시예에 따른 개인기록 관리 시스템(1)은, 사용자의 음성을 인식하여 기록이 자동으로 분류되고 저장될 수 있도록 구성된다. The personal
즉, 일기장 애플리케이션 및 가계부 애플리케이션은 사용자의 음성을 인식하여 자동으로 구동될 수 있으며, 각 애플리케이션은 사용자의 음성을 인식하여 일기장 또는 가계부의 내용을 기록할 수 있다. 기록된 내용은 시간정보(년,월,일,시,분,초)를 토대로 자동으로 분류되어, 휴대용 단말기(100) 및 데이터 서버(200)의 데이터베이스에 저장된다. 특히 일기장 애플리케이션의 경우, 날씨, 시간, 장소, 감성상태별로 정렬되어 표시될 수 있다. 여기에서 일기장 애플리케이션은 인공지능 일기장이며, 음성인식 뿐만 아니라 검색기능을 통해 과거의 기록과 현재의 기록을 비교할 수 있는 동작을 수행할 수 있다.That is, the diary application and the household application can be automatically activated by recognizing the user's voice, and each application can recognize the voice of the user and record the contents of the diary or household. The recorded contents are automatically classified based on time information (year, month, day, hour, minute, second) and stored in the database of the
휴대용 단말기(100)는 일기장 애플리케이션, 사진촬영 애플리케이션, 가계부 애플리케이션, 전화 및 문자전송 애플리케이션 중 적어도 어느 하나 이상의 애플리케이션이 설치된다.The
여기에서 휴대용 단말기(100)는 휴대폰, 스마트폰, 스마트 패드 등과 같이 사용자가 휴대하면서 사용할 수 있는 기기를 총칭하는 것이며, 본 실시예에서는 스마트폰으로 구성된 휴대용 단말기로 가정하고 설명하기로 한다.Here, the
우선, 사진촬영 애플리케이션은 사진 또는 동영상을 촬영하고 저장하는 기능을 수행하고, 가계부 애플리케이션은 수입 및 지출 내역을 기입할 수 있고 스프레드시트 등과 같은 엑셀기능이 구현될 수 있다. 또한, 전화 및 문자전송 애플리케이션은 음성, 영상통화기능 및 텍스트 전송기능을 수행할 수 있다. 이때, 일기장 애플리케이션, 사진촬영 애플리케이션, 가계부 애플리케이션, 전화 및 문자전송 애플리케이션은 사용자의 음성명령을 인식하여 구동되고 각 세부기능이 실행될 수 있다.First, the photo-taking application performs the function of photographing and storing the photographs or moving pictures, the household application can write the import and expenditure history, and the Excel function such as the spreadsheet can be implemented. In addition, the telephone and text transmission applications can perform voice, video call and text transmission functions. At this time, a diary application, a photographing application, a household application, a telephone and a text transmission application can recognize and execute a voice command of the user and each detailed function can be executed.
특히, 휴대용 단말기(100)에 설치된 일기장 애플리케이션은 음성을 인식하는 일기장 기능을 수행하도록 구성된다.In particular, the diary application installed in the
사용자가 일기장 애플리케이션을 실행할 경우,When a user runs a diary application,
휴대용 단말기(100)의 위성위치정보 즉, GPS 정보를 토대로 현재위치가 저장되며, 현재의 시간정보(년,월,일,시,분,초) 정보와, 현재의 날씨정보도 동시에 일기장에 기록된다. 현재의 날씨정보는 휴대용 단말기(100)가 외부의 기상서버에 접속하여 현재위치(위성위치정보)의 날씨정보를 획득할 수 있다.The current position is stored based on the satellite position information of the
또한, 일기장 애플리케이션이 실행된 상태에서 사진촬영 애플리케이션도 동시에 실행되어 사진 또는 동영상이 촬영된 경우, 촬영된 사진 및 동영상이 일기장에 자동으로 첨부된다. 사진 및 동영상의 크기는 사용자가 확대 및 축소시킬 수 있도록 구성된다.In addition, when the diary application is running and the photo shooting application is running at the same time, the photo and video are automatically attached to the diary when the photo or movie is taken. The size of the picture and moving picture is configured so that the user can enlarge or reduce it.
이때, 사진 및 동영상이 촬영된 장소도 자동으로 일기장에 기록되는데, 좌표형태의 위성위치정보 뿐만 아니라 지도상에 해당 위치가 표시되어 추후 사용자가 일기장을 확인할 때, 시각적으로 해당 위치를 바로 인지할 수 있다. 즉, 지도의 일부분이 일기장에 첨부된다.At this time, the place where the photograph and the video are photographed is also automatically recorded in the diary. In addition to the satellite position information in the coordinate form, the corresponding position is displayed on the map so that when the user confirms the diary, have. That is, a portion of the map is attached to the diary.
참고적으로 일기장에 사진 또는 동영상이 첨부될 경우, 일기장 애플리케이션은 사진의 배경을 영상분석하여 사진의 날씨정보를 파악할 수 있다. 이때, 일기장 애플리케이션은 외부의 기상서버로부터 제공된 날씨정보와, 사진의 배경을 영상분석하여 파악된 날씨정보를 상호간에 비교한 후, 날씨의 유사성이 60% 이상 - 동일한 범주의 날씨정보로 파악될 경우 - 일 경우, 사진의 배경을 영상분석한 날씨정보를 기록한다. 이때, 날씨의 유사성이 60% 미만 - 동일한 범주의 날씨정보가 아닌 경우로 파악될 경우 - 일 경우, 기상서버의 날씨정보를 기록한다. For reference, when a photo or video is attached to a diary, the diary application can analyze the background of the photo to determine the weather information of the photo. At this time, the diary application compares the weather information provided from an external weather server with the weather information obtained by image analysis of the background of the photograph, and if the similarity of the weather is 60% or more - the weather information of the same category In the case of -, record the weather information of the image analysis of the background of the photograph. At this time, when the similarity of the weather is less than 60% - when it is determined that the weather information is not the same category, the weather information of the weather server is recorded.
이때, 복수의 사진 및 동영상이 제공될 경우, 일기장 애플리케이션은 각각의 사진 및 동영상의 배경을 영상분석하여 사진의 날씨정보를 파악하며, 복수의 사진 및 동영상으로 날씨정보를 파악하여, 기상서버의 날씨정보와 비교한다. 또한, 복수의 사진 및 동영상으로 파악된 날씨정보의 유사성의 평균을 산출한 후, 평균보다 낮은 사진 및 동영상은 제외시키고, 나머지 사진 및 동영상으로 날씨정보를 파악한 후, 기상서버의 날씨정보와 비교하도록 구성될 수도 있다.In this case, when a plurality of photographs and moving images are provided, the diary application analyzes the background of each of the photographs and the moving images to grasp the weather information of the photographs, The weather information is grasped by a plurality of photographs and moving images and compared with the weather information of the weather server. After calculating the average of the similarity of the weather information identified by the plurality of photographs and moving images, the photographs and videos lower than the average are excluded, the weather information is obtained with the remaining photographs and moving images, and compared with the weather information of the weather server .
한편, 사용자가 일기장 애플리케이션을 실행할 경우, 일기장 애플리케이션은 사용자의 음성을 파악하여 등록된 사용자 여부를 파악하며, 등록된 사용자일 경우, 해당 사용자의 성명을 자동으로 기록한다.On the other hand, when the user executes the diary application, the diary application recognizes the user's voice to determine whether the user is a registered user. If the user is a registered user, the diary application automatically records the name of the user.
즉, 사용자가 일기장 애플리케이션을 실행한 후, 자신의 이름 또는 미리 등록된 문장을 말할 경우, 일기장 애플리케이션은 음성을 인식한 후 일기장에 해당 사용자의 성명을 기록하며, 해당 사용자의 일기장을 기록할 수 있는 상태로 전환된다.That is, when the user executes the diary application and then speaks his or her name or a pre-registered sentence, the diary application recognizes the voice and records the name of the user in the diary and records the diary of the user State.
일기장에 기록될 내용은 사용자가 휴대용 단말기(100)의 입력버튼을 직접 조작하여 입력할 수 있으나, 기본적으로 음성인식모드가 자동으로 실행되어 인식된 음성을 문장으로 전환하여 기록한다.The content to be recorded in the diary can be inputted by the user directly by operating the input button of the
일기장 애플리케이션은 음성을 인식하는 일기장 기능을 수행할 때, 음성을 인식하여 사용자의 음성에 따른 문장을 자동으로 기록할 뿐만 아니라, 일기장에 기록되는 문장(명사,동사)의 내용을 분석하여 감정상태를 파악하고 기록할 수 있다.The diary application recognizes the voice and automatically records the sentence according to the user's voice when performing the diary function to recognize the voice, analyzes the contents of the sentence (noun, verb) recorded in the diary, It can identify and record.
파악된 감정상태는 "기쁨", "슬픔", "화남", "무덤덤" 등과 같이 문자로 표시될 수 있고, 이모티콘 등과 같은 이미지로 표시될 수도 있으며, 문자 및 이모티콘이 동시에 표시될 수도 있다. 또한, 슬픔", "화남"등과 같이 두 가지 이상의 감정상태가 파악된 경우, 감정이 파악된 순서대로 문자 또는 이모티콘이 표시될 수 있다. 이때, 자신의 감정상태와 다르게 파악될 경우, 사용자가 직접 자신의 감정상태를 수정하여 기록할 수 있도록 구성된다.The identified emotional state may be represented by characters such as "joy", "sadness", "angry", "heartbeat", and the like, or may be displayed as an image such as an emoticon or the like. In addition, when two or more emotion states such as "sadness" and "angry" are grasped, characters or emoticons may be displayed in the order in which the emotions are grasped. At this time, So that the emotion state of the user can be corrected and recorded.
또한, 일기장 애플리케이션은 음성을 인식하는 일기장 기능을 수행할 때, 음성을 인식하여 사용자의 음성에 따른 문장을 자동으로 기록할 뿐만 아니라, 음성의 주파수 패턴을 분석하여 감정상태를 파악하고 기록할 수 있다. 즉, 감정에 따라 변화하는 억양, 강세 등을 주파수 패턴으로 분석하여 감정상태를 파악한다.In addition, when the diary application performs a diary function for recognizing a voice, it recognizes a voice and automatically records a sentence according to the voice of the user, and analyzes the frequency pattern of the voice to understand and record the emotional state . In other words, the emotion states are analyzed by analyzing the intonation and the accent that change according to the emotion by the frequency pattern.
파악된 감정상태는 "기쁨", "슬픔", "화남", "무덤덤" 등과 같이 문자로 표시될 수 있고, 이모티콘 등과 같은 이미지로 표시될 수도 있으며, 문자 및 이모티콘이 동시에 표시될 수도 있다. 또한, 슬픔", "화남"등과 같이 두 가지 이상의 감정상태가 파악된 경우, 감정이 파악된 순서대로 문자 또는 이모티콘이 표시될 수 있다. 이때, 자신의 감정상태와 다르게 파악될 경우, 사용자가 직접 자신의 감정상태를 수정하여 기록할 수 있도록 구성된다.The identified emotional state may be represented by characters such as "joy", "sadness", "angry", "heartbeat", and the like, or may be displayed as an image such as an emoticon or the like. In addition, when two or more emotion states such as "sadness" and "angry" are grasped, characters or emoticons may be displayed in the order in which the emotions are grasped. At this time, So that the emotion state of the user can be corrected and recorded.
또한, 일기장 애플리케이션은 음성을 인식하는 일기장 기능을 수행할 때, 음성을 인식하여 사용자의 음성에 따른 문장을 자동으로 기록할 뿐만 아니라, 사진촬영 애플리케이션에 의해 사진이 촬영될 경우, 사진의 얼굴표정을 분석하여 감정상태를 파악하고 기록할 수 있다. 이때, 얼굴색 및 얼굴색의 변화도 감정상태를 파악하는 인자로 사용될 수 있다. In addition, when the diary application performs a diary function for recognizing a voice, it recognizes a voice and automatically records a sentence according to the user's voice. In addition, when a picture is taken by a photographing application, And analyze and record emotional state. At this time, changes in facial color and facial color can also be used as factors for grasping the emotional state.
또한, 일기장 애플리케이션은 등록된 사용자의 얼굴을 식별한 후, 해당 사용자의 감정상태만을 파악한다. 또한, 사진 내에 타인의 얼굴이 있는 경우, 타인의 얼굴표정까지 모두 식별한 후 사용자의 감정상태를 파악할 때 추가적으로 반영할 수도 있다.In addition, the diary application identifies the registered user's face and then grasps only the emotional state of the user. Further, if there is a face of another person in the photograph, it may be additionally reflected when the user's emotional state is grasped after all the facial expressions of the other person are identified.
파악된 감정상태는 "기쁨", "슬픔", "화남", "무덤덤" 등과 같이 문자로 표시될 수 있고, 이모티콘 등과 같은 이미지로 표시될 수도 있으며, 문자 및 이모티콘이 동시에 표시될 수도 있다. 또한, 슬픔", "화남"등과 같이 두 가지 이상의 감정상태가 파악된 경우, 감정이 파악된 순서대로 문자 또는 이모티콘이 표시될 수 있다. 이때, 자신의 감정상태와 다르게 파악될 경우, 사용자가 직접 자신의 감정상태를 수정하여 기록할 수 있도록 구성된다.The identified emotional state may be represented by characters such as "joy", "sadness", "angry", "heartbeat", and the like, or may be displayed as an image such as an emoticon or the like. In addition, when two or more emotion states such as "sadness" and "angry" are grasped, characters or emoticons may be displayed in the order in which the emotions are grasped. At this time, So that the emotion state of the user can be corrected and recorded.
또한, 일기장 애플리케이션은 음성을 인식하는 일기장 기능을 수행할 때, 음성을 인식하여 사용자의 음성에 따른 문장을 자동으로 기록할 뿐만 아니라, 일기장에 기록되는 문장의 내용을 분석하여 제1 감정상태를 파악하고, 음성의 주파수 패턴을 분석하여 제2 감정상태를 파악하고, 사진촬영 애플리케이션에 의해 사진이 촬영될 경우 사진의 얼굴표정을 분석하여 제3 감정상태를 파악할 수 있는데,In addition, when the diary application performs a diary function for recognizing a voice, it not only recognizes the voice but also automatically records the sentence according to the user's voice, analyzes the content of the sentence recorded in the diary, The second emotion state is analyzed by analyzing the frequency pattern of the voice and the third emotion state can be grasped by analyzing the facial expression of the photograph when the photograph is photographed by the photographing application,
이때, 제1 감정상태, 제2 감정상태 및 제3 감정상태에 각각 서로 다른 반영 가중치를 부여하여 최종감정상태를 결정하고 기록할 수 있다. 이때, 자신의 감정상태와 다르게 파악될 경우, 사용자가 직접 자신의 감정상태를 수정하여 기록할 수 있도록 구성된다.At this time, different reflection weights may be assigned to the first emotion state, the second emotion state, and the third emotion state, respectively, to determine and record the final emotion state. At this time, if the emotion state is different from the emotion state of the user, the user can directly modify the emotion state of the user and record the emotion state.
여기에서 제1 감정상태, 제2 감정상태 및 제3 감정상태에 각각 부여되는 가중치는 학습을 기반으로 자동변경된다.Here, the weights given to the first emotion state, the second emotion state, and the third emotion state are automatically changed based on the learning.
사용자는 자신의 감정상태를 파악하는 방법을 선택할 수 있다. 즉, 사용자의 설정에 의해 제1 감정상태, 제2 감정상태 및 제3 감정상태 중 적어도 어느 하나의 감정상태가 선택되어 최종감정상태가 자동으로 결정될 수 있고, 제1 감정상태, 제2 감정상태 및 제3 감정상태 중 복수의 감정상태가 선택되어 가중치에 따라 최종감정상태가 자동으로 결정될 수도 있다.The user can select a method of grasping his / her emotional state. That is, the emotional state of at least one of the first emotional state, the second emotional state, and the third emotional state may be selected by the setting of the user so that the final emotional state can be automatically determined, and the first emotional state, And a plurality of emotion states among the third emotion state are selected and the final emotion state may be automatically determined according to the weights.
기본적으로, 제1 감정상태, 제2 감정상태 및 제3 감정상태에는 각각 동일한 가중치가 부여되나, 자신의 감정상태와 다르게 파악되어 사용자가 직접 자신의 감정상태를 수정하여 기록할 경우, 이를 토대로 제1 감정상태, 제2 감정상태 및 제3 감정상태에 부여되는 가중치를 조절한다.Basically, the same weight is assigned to the first emotion state, the second emotion state, and the third emotion state, respectively. However, when the user directly grasps and records his or her emotional state by grasping it differently from his own emotional state, 1 emotion state, the second emotion state, and the third emotion state.
예를 들면, 제1 감정상태, 제2 감정상태 및 제3 감정상태에 각각 약 20%의 가중치가 부여되어 있다고 가정한다.For example, it is assumed that weights of about 20% are assigned to the first emotion state, the second emotion state, and the third emotion state, respectively.
이때, 제1 감정상태만으로 최종감정상태가 자동파악되도록 설정되었을 때, 사용자가 감정상태를 수정하지 않을 경우, 파악된 감정상태가 정확한 것이므로 제1 감정상태에 가중치를 더 부여한다. 이와 달리 사용자가 감정상태를 직접 수정할 경우, 파악된 감정상태가 부정확한 것이므로 제1 감정상태에 부여되는 가중치를 더 감소시킨다.At this time, when the final emotion state is set to be automatically grasped by only the first emotion state, and the user does not correct the emotion state, the grasped emotion state is correct, and thus a weight is further given to the first emotion state. On the other hand, when the user directly modifies the emotional state, since the determined emotional state is incorrect, the weight given to the first emotional state is further reduced.
즉, 일기장에 기록되는 문장의 내용을 분석한 제1 감정상태와, 음성의 주파수 패턴을 분석한 제2 감정상태와, 사진의 얼굴표정을 분석한 제3 감정상태에 부여되는 가중치는 학습에 의해서 계속해서 업데이트되는데, 소정의 횟수 이상 감정상태를 파악했을 때, 최종감정상태의 정확성이 80% 미만 일 경우, 모든 가중치는 최초상태로 초기화 된다.That is, the first emotion state in which the content of the sentence recorded in the diary is analyzed, the second emotion state in which the frequency pattern of the voice is analyzed, and the weight assigned to the third emotion state in which the facial expression of the photograph is analyzed, If the accuracy of the final emotion state is less than 80% when the emotion state is grasped more than the predetermined number of times, all the weights are initialized to the initial state.
데이터 서버(200)는 휴대용 단말기(100)에서 각각의 애플리케이션이 실행될 때 생성된 내용을 데이터베이스에 저장하며, 데이터베이스에 저장된 내용을 휴대용 단말기(100)에 제공한다.The
즉, 데이터 서버(200)의 데이터베이스는 휴대용 단말기(100)의 애플리케이션에서 생성된 모든 데이터를 저장한 후, 휴대용 단말기(100) 또는 외부 단말기(300)의 요청이 있을 경우 요청된 데이터를 선별하여 전송한다.That is, the database of the
한편, 개인용 컴퓨터로 정의되는 제1 외부 단말기(310)와, 스마트 패드로 정의되는 제2 외부 단말기(320)에는,The first
일기장 애플리케이션, 사진촬영 애플리케이션, 가계부 애플리케이션, 전화 및 문자전송 애플리케이션 중 적어도 어느 하나 이상의 애플리케이션이 설치되어 있다. 이때 설치된 애플리케이션은 휴대용 단말기(100)와 동일한 애플리케이션인 것이 바람직하다.A diary application, a photographing application, a household application, a telephone, and a text transmission application. The installed application is preferably the same application as the
개인기록 관리 시스템(1)에서, 외부 단말기(300)가 데이터베이스에 접근 허용될 경우, 휴대용 단말기(100)와 적어도 하나 이상의 외부 단말기(300) 사이에는 N 스크린 기능이 구현된다.In the personal
즉, 휴대용 단말기(100)에서 표시되고 있는 컨텐츠는, 가장 최근에 데이터베이스에 접근하는 외부 단말기에 복제되어 연속적으로 표시될 수 있다.That is, the content displayed in the
좀 더 구체적인 예를 들면, 휴대용 단말기(100)를 이용하여 사용자가 일기장 애플리케이션을 실행한 상태로 일기를 작성하고 있는 상태에서,In a more specific example, in a state in which the diary is being created while the user is executing the diary application using the
동일한 사용자가 스마트 패드로 정의되는 제2 외부 단말기(320)를 이용하여 데이터 서버(200)의 데이터베이스에 접근할 경우, When the same user accesses the database of the
휴대용 단말기(100)에서 일기를 작성하고 있는 상태가 그대로 스마트 패드로 정의되는 제2 외부 단말기(320)로 복제되어 표시되고, 사용자는 제2 외부 단말기(320)를 이용하여 계속해서 일기를 작성할 수 있도록 동작한다.The state in which the diary is being created in the
참고적으로, 감정상태를 산출하는 과정에서, 음성인식된 문장 또는 사용자가 직접 기입한 문장을 명사 및 동사로 각각 구분하여 감정상태 점수를 부여하는 과정이 진행될 수 있다.For reference, in the process of calculating the emotional state, a process of assigning emotional state scores may be performed by dividing a sentence in which a voice is recognized or a sentence written by a user directly into nouns and verbs, respectively.
즉, 명사 및 동사에 각각 개별적인 감정상태 점수가 부여되어 있고, 그 문장에서 감정상태 점수의 합을 토대로 현재 감정상태가 파악될 수 있다. 즉, "즐거움"에 대한 감정상태 점수의 누적값이 가장 클 경우, "즐거움"이 현재 감성상태로 표시될 수 있다. That is, the individual emotion state scores are assigned to the nouns and the verbs, respectively, and the current emotion state can be grasped based on the sum of emotion state scores in the sentence. That is, when the cumulative value of the emotion state score for "enjoyment" is the largest, "enjoyment" can be displayed as the current emotion state.
예를 들면 "나는 지금 너무 즐겁고 기쁘다."는 문장이 있을 경우, "너무"에 부여된 감정상태 점수(score1)와, "즐겁고"에 부여된 감정상태 점수(score2)와, "기쁘다"에 부여된 감정상태 점수(score3)를 모두 합산하여 현재 감성상태로 산출할 수 있다.For example, when there is a sentence "I am so happy and happy now", the emotional state score (score 1) assigned to "too", the emotional state score (score 2) assigned to "enjoyable" (Score 3) can be summed and calculated as the current emotion state.
또한, 명사 및 동사를 결합한 문장이 감정상태와 관련된 의미로 해석되는지를 자동분석하고, 그 분석결과에 따라 각각의 감정상태 점수에 가중치를 부여하여 최종 감정상태를 산출하는 과정이 진행될 수도 있다.The process of automatically analyzing whether a sentence combining nouns and verbs is interpreted with respect to the emotional state and calculating the final emotional state by weighting each emotional state score according to the analysis result.
즉, 일기장에 기록된 문장을 명사 및 동사로 구분한 후, 그 명사와 동사의 결합으로 발생하는 의미를 자동으로 파악하고, 그 의미에 따라 감정상태 점수에 가중치를 부여할 수 있다.That is, a sentence recorded in a diary is classified into a noun and a verb, and the meaning generated by the combination of the noun and the verb can be automatically grasped, and a weight can be given to the emotional state score according to the meaning.
예를 들면 "즐거움이 점점 슬픔으로 변하고 있다."라는 문장의 의미를 파악한 후 슬픔에 더 많은 감정상태 점수를 부여할 수 있다.For example, more emotional state scores can be given to sadness after grasping the meaning of the sentence "The pleasure is becoming increasingly sad."
또한, 일기를 작성한 현재위치정보를 토대로 현재위치에서 다른 날짜에 작성된 일기장의 감정상태 점수를 추가적으로 고려할 수도 있다.Further, based on the current position information on which the diary is created, the emotion state score of the diary created on another date at the current position may be additionally considered.
즉, 현재위치정보가 해수욕장 이라고 가정할 경우, 과거의 일기 중에서 유사한 위치에서 작성된 일기장의 감정상태 점수를 추가적으로 고려하여 최종 감정상태를 결정할 수 있다.That is, if it is assumed that the current location information is a beach, the final emotion state can be determined by further considering the emotion state score of the diary created at a similar location in the past diary.
또한, 사용자의 최종 감정상태를 결정할 때, 미리 설정된 과거기간 동안의 감정상태 점수를 추가적으로 반영할 수 있다.Further, when determining the final emotional state of the user, it is possible to additionally reflect the emotional state score for the preset past period.
예를 들면, 과거 일주일간의 감정상태 점수를 모두 고려할 때, "즐거움"의 감정상태 점수가 다른 감정상태의 점수보다 2배 이상 클 경우, 현재의 감정상태를 판단할 때 "즐거움"에 5% ~ 10% 가중치를 더 부여할 수도 있을 것이다.For example, when the emotional state score of "pleasure" is two times larger than the score of the other emotional state in consideration of all of the past emotional state scores in past one week, when the current emotional state is judged, A 10% weight may be added.
또한, 미리 설정된 기간 동안의 요일별, 주중, 주말에 해당하는 감성상태 점수를, 현재의 감성상태를 판단할 때 추가적으로 반영할 수 있다. 즉, 현재와 동일한 요일 및 주말여부에 따라 과거의 감성상태를 추가적으로 반영할 수도 있을 것이다.Furthermore, the emotion state score corresponding to the day of the week, the weekday, and the weekend during the predetermined period can be additionally reflected when judging the current emotion state. In other words, the emotional state of the past may be additionally reflected according to the same day of the week and weekends.
또한, 일기장 애플리케이션은 음성을 인식하는 일기장 기능을 수행할 때, Also, when a diary application performs a diary function to recognize a voice,
미리 등록된 사용자의 음성 인식률을 높이기 위한 "사용자 음성인식 강화모드"를 실행할 수 있다.Quot; user voice recognition enhancement mode "for increasing the voice recognition rate of a user registered in advance.
"사용자 음성인식 강화모드" 가 실행될 경우, 미리 등록된 사용자의 "성별", "나이"를 토대로When the "user voice recognition enhancement mode" is executed, based on the "sex" and &
해당 나이 및 성별에 해당하는 평균적인 음성 주파수를 토대로 사용자가 말하고 있는 문장을 인식할 수 있도록 기본설정된다.It is basically set so as to recognize the sentence that the user is speaking based on the average voice frequency corresponding to the age and sex.
이후 사용자가 화면에 표시된 복수의 기본인식문장을 읽는 과정이 진행되는데, 기본적으로 한글의 문장을 정확하게 인식하기 위해 한글에 해당하는 자음 및 모음을 모두 말하는 과정과, 미리 설정된 복수의 문장을 반복해서 말하는 과정이 진행된다.Thereafter, a process of reading a plurality of basic recognition sentences displayed on the screen is performed by the user. Basically, in order to accurately recognize a Hangul sentence, a process of speaking both consonant and vowel corresponding to Hangul, The process proceeds.
이러한 복수의 기본인식문장을 읽는 과정이 진행되는 동안, 일기장 애플리케이션은 현재 사용자의 음성 주파수 특징과, 발음특징과, 억양특징을 학습한다.During the course of reading these plurality of basic recognition sentences, the diary application learns the current user's voice frequency characteristics, pronunciation features, and intonation features.
또한, 동일한 문장을 저음에서 고음으로 반복해서 말하는 과정을 통해 사용자의 발성특징을 학습한다. 이때, "도레미파솔라시도"와 같은 음계를 저음에서 고음까지 반복해서 말하는 과정을 통해 사용자의 발성특징을 학습할 수도 있다.In addition, the user learns the utterance characteristics of the same sentence repeatedly from low to high. At this time, it is possible to learn the characteristics of the user's utterance through the process of repeatedly speaking the scale such as "Doremi Pascalosdo" from the low to the high.
또한, 동일한 문장을 표준빠르기 보다 점점 느리게 말하거나, 점점 빠르게 말하는 과정을 통해 사용자의 발음특징을 학습할 수 있다.In addition, the user can learn the pronunciation characteristics of the user through the process of gradually speaking the same sentence more slowly than the standard speed.
이와 같은 학습이 진행되는 과정에서,In the course of such learning,
화면에 표시되는 문장(명사,동사)과, 사용자의 음성을 인식해서 파악되는 문장이 일치하지 않는 경우는 계속해서 기록되며, 인식 실패된 문장(명사,동사)를 다시 인식하는 과정이 반복적으로 진행될 수 있다.If the sentence (noun, verb) displayed on the screen and the sentence to be grasped by recognizing the user's voice do not coincide with each other, the sentence is continuously recorded and the process of re-recognizing the sentence (noun, verb) .
즉, 사용자가 인식 실패된 문장을 반복적으로 발음하고, 그 문장을 발음할 때의 주파수 특성의 평균치를 저장한 후, 그 사용자의 억양 및 발음특성을 반영하여 문장을 식별할 수 있도록 동작할 수 있다.That is, the user can repeatedly pronounce the failed recognition sentence, store the average value of the frequency characteristics at which the sentence is pronounced, and then operate to identify the sentence by reflecting the intonation and pronunciation characteristics of the user .
예를 들면 사용자가 문장의 발음을 계속해서 틀릴 경우, 그 틀린 발음을 그 사용자만의 발음특징으로 인정하고 문장을 식별할 수 있도록 동작할 수 있을 것이다.For example, if a user continues to pronounce a sentence incorrectly, he or she will be able to recognize the wrong pronunciation as the pronunciation characteristic of the user and identify the sentence.
또한, 새로운 사용자가 등록될 경우, 화면에 표시된 복수의 기본인식문장을 읽는 과정이 진행되는데, 기본적으로 한글의 문장을 정확하게 인식하기 위해 한글에 해당하는 자음 및 모음을 모두 말하는 과정과, 미리 설정된 복수의 문장을 반복해서 말하는 과정이 진행된다.In addition, when a new user is registered, a process of reading a plurality of basic recognition sentences displayed on the screen proceeds. Basically, in order to correctly recognize the sentence of Hangul, a process of speaking both consonants and vowels corresponding to Hangul, The process of repeating the sentence of
이때, 기존에 등록된 사용자와, 새로운 사용자의 목소리 주파수 패턴이 70% 이상 유사할 경우, 기존에 등록된 사용자의 목소리 특징 데이터를 새로운 사용자에 적용하도록 구성될 수도 있을 것이다.At this time, if the voice frequency pattern of the user registered in advance is similar to the voice frequency pattern of the new user by 70% or more, the voice feature data of the previously registered user may be applied to the new user.
또한, 일기장 애플리케이션은 인공지능 검색기능을 지원하여 내용 및 위치정보를 기반으로 과거의 기록과 현재의 기록을 비교하여 표시할 수 있다.In addition, the diary application supports the artificial intelligence search function, so that the past record can be compared with the current record based on the content and the position information.
예를 들면, 현재시점에서 일기를 작성하면서, A식당에서 식사를 진행할 경우, For example, if you are creating a diary at the current time and you are eating at a restaurant,
위치정보 및 내용을 기반으로 과거의 일기내용을 검색하여 A식당의 과거메뉴, 가격 및 음식평과, A식당의 현재메뉴, 가격 및 음식평을 비교하여 표시할 수 있다. 여기에서 메뉴, 가격 및 음식평은 사용자가 직접 입력할 수 있고, 일기장에 기록된 내용을 자동으로 인지하거나, 메뉴판에 대한 사진이 첨부되어 있을 경우, 사진의 내용을 문자인식하여 자동으로 파악될 수도 있을 것이다.Based on the location information and contents, past diary content can be searched to display past menu, price and food evaluation of A restaurant, current menu of A restaurant, price and food evaluation. Here, the menu, the price and the food evaluation can be inputted directly by the user, the contents recorded in the diary can be automatically recognized, or when the photograph of the menu plate is attached, It might be.
이때, A식당이 폐업하고, 동일한 위치에 B식당이 영업하고 있을 경우, 과거 A식당의 메뉴, 가격 및 음식평과, 현재 B식당의 메뉴, 가격 및 음식평을 비교하여 표시할 수 있다.At this time, when the restaurant A is closed and the restaurant B is in the same place, the menu A of the restaurant A, the price and the food evaluation, the menu B of the current restaurant, the price and the food evaluation can be displayed in comparison with each other.
또한, 일기장 애플리케이션은 외부 지도서버 및 결제서버와 연동될 수 있다. 따라서 A식당에서 식사를 진행할 예정일 경우, 메뉴를 미리 선택하여 예약을 진행하면서 동시에 결제까지 완료할 수 있다.In addition, the diary application can be interfaced with an external map server and a payment server. Therefore, if a meal is going to be carried out in the restaurant A, the menu can be selected in advance and the reservation can be completed and the payment can be completed at the same time.
본 발명의 실시예에 따른 개인기록 관리 시스템은, 사용자의 음성을 인식하여 기록이 자동으로 분류되고 저장될 수 있으므로, 키보드 사용이 미숙한 사용자라 할지라도 원하는 내용을 신속하고 정확하게 저장할 수 있다.The personal record management system according to the embodiment of the present invention recognizes the voice of the user and can automatically classify and store the record so that the desired contents can be quickly and accurately stored even if the user is unfamiliar with using the keyboard.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Thus, those skilled in the art will appreciate that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the embodiments described above are to be considered in all respects only as illustrative and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.
100 : 휴대용 단말기
200 : 데이터 서버
300 : 외부 단말기
310 : 제1 외부 단말기
320 : 제2 외부 단말기100: Portable terminal
200: data server
300: external terminal
310: first external terminal
320: second external terminal
Claims (6)
상기 휴대용 단말기에서 각각의 애플리케이션이 실행될 때 생성된 내용을 전송받아 데이터베이스에 저장하며, 상기 휴대용 단말기의 요청이 있을 경우 상기 데이터베이스에 저장된 내용을 상기 휴대용 단말기에 제공하는 데이터 서버;를 포함하고,
상기 일기장 애플리케이션은 음성을 인식하는 일기장 기능을 수행함에 있어서,
상기 일기장 애플리케이션이 실행된 상태에서 사진 또는 동영상이 촬영된 경우, 사진 또는 동영상의 배경을 영상분석하여 사진의 날씨정보를 파악하되, 외부의 기상서버로부터 제공된 날씨정보와, 사진 또는 동영상의 배경을 영상분석하여 파악된 날씨정보를 상호 간에 비교한 후,
동일한 범주의 날씨정보로 파악될 경우 사진의 배경을 영상분석한 날씨정보를 기록하고, 동일한 범주의 날씨정보가 아닌 경우로 파악될 경우, 기상서버의 날씨정보를 기록하고,
상기 일기장 애플리케이션은 복수의 사진 및 동영상으로 날씨정보를 파악하여, 기상서버의 날씨정보와 비교하는 것을 특징으로 하고,
상기 일기장 애플리케이션은 감정에 따라 변화하는 억양 및 강세의 주파수 패턴을 분석하여 감정상태를 파악하고 기록하는 것을 특징으로 하고,
상기 일기장 애플리케이션은 미리 등록된 사용자의 음성 인식률을 높이기 위한 사용자 음성인식 강화모드를 실행함에 있어서,
미리 등록된 사용자의 나이 및 성별에 해당하는 평균적인 음성 주파수를 토대로 사용자가 말하고 있는 기본인식문장을 인식할 수 있도록 기본설정되되, 한글에 해당하는 자음 및 모음을 모두 말하는 과정과, 미리 설정된 복수의 문장을 반복해서 말하는 과정이 진행되는 동안 상기 일기장 애플리케이션은 사용자의 음성 주파수 특징과, 발음특징과, 억양특징을 학습하고,
동일한 문장을 저음에서 고음으로 반복해서 말하는 과정을 통해 사용자의 발성특징을 학습하고,
동일한 문장을 표준빠르기 보다 점점 느리게 말하거나, 점점 빠르게 말하는 과정을 통해 사용자의 발음특징을 학습하고,
학습이 진행되는 과정에서, 인식 실패된 문장(명사,동사)을 다시 인식하는 과정이 반복적으로 진행될 때, 인식 실패된 문장을 발음할 때의 주파수 특성의 평균치를 저장한 후, 해당 사용자의 억양 및 발음특성을 반영하여 문장을 식별하는 것을 특징으로 하고,
상기 일기장 애플리케이션은, 등록된 사용자의 얼굴을 식별한 후, 식별된 사용자의 감정상태만을 파악하고,
상기 일기장 애플리케이션은, 위치정보를 기반으로 과거의 기록과 현재의 기록을 비교하여 표시함에 있어서, 현재시점에서 일기를 작성하면서 A식당에서 식사를 진행할 경우, 위치정보 및 현재 일기내용을 기반으로 과거의 일기내용을 검색하여 A식당의 과거의 메뉴, 가격 및 음식평과, A식당의 현재의 메뉴, 가격 및 음식평을 비교하여 표시하고, 메뉴판에 대한 사진이 첨부되어 있을 경우, 사진의 내용을 문자인식하여 자동으로 메뉴 및 가격을 파악하며,
상기 일기장 애플리케이션은, 외부 지도서버 및 결제서버와 연동되어, A식당을 선택 후 메뉴를 선정하여 미리 결제를 진행할 수 있도록 구성되는 것을 특징으로 하는 개인기록 관리 시스템.
A portable terminal in which at least one of a diary application, a photographing application, a household application, a telephone, and a text transmission application is installed; And
And a data server for receiving contents generated when each application is executed in the portable terminal and storing the contents in a database and providing the contents stored in the database to the portable terminal when requested by the portable terminal,
The diary application performs a diary function to recognize a voice,
The weather information of the photograph is analyzed to analyze weather information of the photograph or the moving picture and the weather information provided from the weather server of the outside and the background of the photograph or movie are displayed After comparing the analyzed weather information with each other,
Weather information obtained by analyzing the background of a photograph is recorded when it is recognized as weather information of the same category and weather information of the weather server is recorded when it is recognized that the weather information is not the same category,
Wherein the diary field application compares weather information with a weather information of a weather server,
The diary application analyzes and analyzes the frequency pattern of the accent and the accent depending on the emotional state,
In the diary field application, when executing the user voice recognition enhancement mode for increasing the voice recognition rate of a user registered in advance,
A step of speaking all the consonants and vowels corresponding to the Korean alphabet, which are basically set so as to recognize a basic recognition sentence that the user is speaking based on an average voice frequency corresponding to the age and sex of a user registered in advance, During the course of repeating the sentence, the diary application learns the user's voice frequency characteristics, pronunciation features, and intonation features,
We learn the characteristics of the user's voice by repeating the same sentence repeatedly from low to high,
The same sentence is said to be slower than the standard speed,
In the course of the learning process, when the process of recognizing the failed recognition sentence (noun, verb) is repeated, the average value of the frequency characteristics at the time of pronouncing the failed recognition sentence is stored, And the sentence is identified by reflecting the pronunciation characteristic,
The diary field application identifies the registered user's face, then grasps only the emotional state of the identified user,
The diary field application compares the past record with the current record based on the positional information. When the diary is created at the present time and the meal is performed in the A restaurant, The diary content is searched to display past menu, price and food evaluation of A restaurant, current menu of A restaurant, price and food evaluation, and if the photograph of the menu is attached, Recognize and automatically identify menus and prices,
Wherein the diary field application is configured to interoperate with an external map server and a payment server to select an A restaurant and select a menu to advance payment.
상기 일기장 애플리케이션은 음성을 인식하는 일기장 기능을 수행함에 있어서,
일기장에 기록되는 문장의 내용을 분석하여 감정상태를 파악하고 기록하는 것을 특징으로 하는 개인기록 관리 시스템.
The method according to claim 1,
The diary application performs a diary function to recognize a voice,
And analyzing the content of the sentence recorded in the diary to identify and record the emotional state.
상기 일기장 애플리케이션은 음성을 인식하는 일기장 기능을 수행함에 있어서,
음성의 주파수 패턴을 분석하여 감정상태를 파악하고 기록하는 것을 특징으로 하는 개인기록 관리 시스템.
The method according to claim 1,
The diary application performs a diary function to recognize a voice,
And analyzing the frequency pattern of the voice to grasp and record the emotional state.
상기 일기장 애플리케이션은 음성을 인식하는 일기장 기능을 수행함에 있어서,
상기 사진촬영 애플리케이션에 의해 사진이 촬영될 경우, 사진의 얼굴표정을 분석하여 감정상태를 파악하고 기록하는 것을 특징으로 하는 개인기록 관리 시스템.
The method according to claim 1,
The diary application performs a diary function to recognize a voice,
Wherein when the photograph is photographed by the photographing application, the facial expression of the photograph is analyzed to grasp and record the emotional state.
상기 일기장 애플리케이션은 음성을 인식하는 일기장 기능을 수행함에 있어서,
일기장에 기록되는 문장의 내용을 분석하여 제1 감정상태를 파악하고, 음성의 주파수 패턴을 분석하여 제2 감정상태를 파악하고, 상기 사진촬영 애플리케이션에 의해 사진이 촬영될 경우 사진의 얼굴표정을 분석하여 제3 감정상태를 파악하되,
상기 제1 감정상태, 상기 제2 감정상태 및 상기 제3 감정상태에 각각 서로 다른 반영 가중치를 부여하여 최종감정상태를 결정하고 기록하는 것을 특징으로 하는 개인기록 관리 시스템.
The method according to claim 1,
The diary application performs a diary function to recognize a voice,
Analyzing the content of the sentence recorded in the diary to identify the first emotion state, analyzing the frequency pattern of the voice to grasp the second emotion state, and analyzing the facial expression of the photograph when the photograph is photographed by the photographing application The third emotion state is grasped,
Wherein the first emotion state, the second emotion state, and the third emotion state are assigned different reflection weights to determine and record the final emotion state.
상기 일기장 애플리케이션, 상기 사진촬영 애플리케이션, 상기 가계부 애플리케이션, 상기 전화 및 문자전송 애플리케이션 중 적어도 어느 하나 이상의 애플리케이션이 설치된 적어도 하나 이상의 외부 단말기;를 더 포함하고,
적어도 하나 이상의 외부 단말기가 상기 데이터베이스에 접근 허용될 때마다, 상기 휴대용 단말기와 적어도 하나 이상의 외부 단말기는 N 스크린 기능이 구현됨에 있어서,
상기 휴대용 단말기에서 표시되고 있는 컨텐츠는, 가장 최근에 상기 데이터베이스에 접근하는 외부 단말기에 복제되어 연속적으로 표시되는 것을 특징으로 하는 개인기록 관리 시스템.
The method according to claim 1,
At least one external terminal in which at least one or more applications of the diary application, the photo-taking application, the household part application, the phone and the text transfer application are installed,
Wherein each time that at least one external terminal is allowed to access the database, the portable terminal and the at least one external terminal implement the N screen function,
Wherein the content displayed on the portable terminal is copied and displayed continuously to an external terminal most recently accessed to the database.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160112334A KR101754093B1 (en) | 2016-09-01 | 2016-09-01 | Personal records management system that automatically classify records |
| PCT/KR2017/008582 WO2018043939A1 (en) | 2016-09-01 | 2017-08-09 | Personal record management system in which records are automatically classified and stored |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160112334A KR101754093B1 (en) | 2016-09-01 | 2016-09-01 | Personal records management system that automatically classify records |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101754093B1 true KR101754093B1 (en) | 2017-07-05 |
Family
ID=59352157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160112334A KR101754093B1 (en) | 2016-09-01 | 2016-09-01 | Personal records management system that automatically classify records |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101754093B1 (en) |
| WO (1) | WO2018043939A1 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019151689A1 (en) * | 2018-01-31 | 2019-08-08 | 삼성전자주식회사 | Electronic device and control method therefor |
| KR20190108523A (en) * | 2019-05-13 | 2019-09-24 | 윤준호 | Server and method for providing feeling analysis based emotional diary service using artificial intelligence based on speech signal |
| KR102220160B1 (en) * | 2019-11-01 | 2021-02-25 | 이슬기 | Computing device for managing personal record |
| KR20210067426A (en) * | 2019-11-29 | 2021-06-08 | 건국대학교 글로컬산학협력단 | Voice diary device |
| KR20210130529A (en) * | 2020-04-22 | 2021-11-01 | 인하대학교 산학협력단 | Diary generator using deep learning |
| KR20220105958A (en) | 2021-01-21 | 2022-07-28 | 송유나 | System and method for diary automatically make |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829080B (en) * | 2019-01-14 | 2020-12-22 | 广东科学技术职业学院 | System and method for intelligently recording solar tracks |
| EP3920046A4 (en) * | 2019-01-30 | 2022-03-09 | Sony Group Corporation | Information processing system, information processing method, and information processing device |
| CN111326222A (en) * | 2020-01-21 | 2020-06-23 | 北京华峰创业科技有限公司 | Emotion analysis method, device and system based on user diary |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070075876A (en) * | 2006-01-16 | 2007-07-24 | 이효경 | The method and system for making diary with mobile phone |
| US20130038756A1 (en) * | 2011-08-08 | 2013-02-14 | Samsung Electronics Co., Ltd. | Life-logging and memory sharing |
| KR20160030168A (en) * | 2013-07-09 | 2016-03-16 | 주식회사 윌러스표준기술연구소 | Voice recognition method, apparatus, and system |
| KR20160043640A (en) * | 2014-10-14 | 2016-04-22 | 주식회사 나의가는길 | lifelog Digital Diary video service system and method |
-
2016
- 2016-09-01 KR KR1020160112334A patent/KR101754093B1/en active IP Right Grant
-
2017
- 2017-08-09 WO PCT/KR2017/008582 patent/WO2018043939A1/en active Application Filing
Non-Patent Citations (1)
| Title |
|---|
| Douiji, Yasmina 외 1인."I-CARE: Intelligent Context Aware system for Recognizing Emotions from text".Intelligent Systems: Theories and Applications (SITA),2015.10.31,(pp.1-pp.5)* |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019151689A1 (en) * | 2018-01-31 | 2019-08-08 | 삼성전자주식회사 | Electronic device and control method therefor |
| US11521424B2 (en) | 2018-01-31 | 2022-12-06 | Samsung Electronics Co., Ltd. | Electronic device and control method therefor |
| KR20190108523A (en) * | 2019-05-13 | 2019-09-24 | 윤준호 | Server and method for providing feeling analysis based emotional diary service using artificial intelligence based on speech signal |
| KR102073979B1 (en) * | 2019-05-13 | 2020-02-05 | 윤준호 | Server and method for providing feeling analysis based emotional diary service using artificial intelligence based on speech signal |
| KR102220160B1 (en) * | 2019-11-01 | 2021-02-25 | 이슬기 | Computing device for managing personal record |
| KR20210067426A (en) * | 2019-11-29 | 2021-06-08 | 건국대학교 글로컬산학협력단 | Voice diary device |
| KR102279505B1 (en) * | 2019-11-29 | 2021-07-19 | 건국대학교 글로컬산학협력단 | Voice diary device |
| KR20210130529A (en) * | 2020-04-22 | 2021-11-01 | 인하대학교 산학협력단 | Diary generator using deep learning |
| KR102476334B1 (en) * | 2020-04-22 | 2022-12-09 | 인하대학교 산학협력단 | Diary generator using deep learning |
| KR20220105958A (en) | 2021-01-21 | 2022-07-28 | 송유나 | System and method for diary automatically make |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018043939A1 (en) | 2018-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101754093B1 (en) | Personal records management system that automatically classify records | |
| US11593984B2 (en) | Using text for avatar animation | |
| US10977452B2 (en) | Multi-lingual virtual personal assistant | |
| US20210081056A1 (en) | Vpa with integrated object recognition and facial expression recognition | |
| US11010561B2 (en) | Sentiment prediction from textual data | |
| US11544458B2 (en) | Automatic grammar detection and correction | |
| CN110223698B (en) | Training a speaker recognition model of a digital assistant | |
| US10395654B2 (en) | Text normalization based on a data-driven learning network | |
| US20230410798A1 (en) | Multimodality in digital assistant systems | |
| US10984780B2 (en) | Global semantic word embeddings using bi-directional recurrent neural networks | |
| US10230841B2 (en) | Intelligent digital assistant for declining an incoming call | |
| US10474753B2 (en) | Language identification using recurrent neural networks | |
| KR102190856B1 (en) | Identification of voice inputs that provide credentials | |
| US10521466B2 (en) | Data driven natural language event detection and classification | |
| US20200357391A1 (en) | Reducing digital assistant latency when a language is incorrectly determined | |
| US20170263248A1 (en) | Dictation that allows editing | |
| US11886542B2 (en) | Model compression using cycle generative adversarial network knowledge distillation | |
| JP7128376B2 (en) | Facilitated task execution | |
| CN115221295A (en) | Personal requested digital assistant processing | |
| CN114154459A (en) | Speech recognition text processing method and device, electronic equipment and storage medium | |
| Abbott et al. | Identifying an aurally distinct phrase set for text entry techniques | |
| CN112612442A (en) | Input method and device and electronic equipment | |
| CN113515618A (en) | Voice processing method, apparatus and medium | |
| JP7109498B2 (en) | voice input device | |
| US20230386469A1 (en) | Detecting visual attention during user speech |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |