KR101023031B1 - Method of automatically detecting dangerous situation using natural language extraction and apparatus thereof - Google Patents

Method of automatically detecting dangerous situation using natural language extraction and apparatus thereof Download PDF

Info

Publication number
KR101023031B1
KR101023031B1 KR1020090054424A KR20090054424A KR101023031B1 KR 101023031 B1 KR101023031 B1 KR 101023031B1 KR 1020090054424 A KR1020090054424 A KR 1020090054424A KR 20090054424 A KR20090054424 A KR 20090054424A KR 101023031 B1 KR101023031 B1 KR 101023031B1
Authority
KR
South Korea
Prior art keywords
natural language
information
situation
crisis
crisis situation
Prior art date
Application number
KR1020090054424A
Other languages
Korean (ko)
Other versions
KR20100136193A (en
Inventor
김석환
이동현
이근배
노형종
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020090054424A priority Critical patent/KR101023031B1/en
Publication of KR20100136193A publication Critical patent/KR20100136193A/en
Application granted granted Critical
Publication of KR101023031B1 publication Critical patent/KR101023031B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 자연어 정보 추출 결과로부터 위험 상황을 자동으로 감지하는 방법 및 장치에 관한 것으로써, 보다 상세하게는 멀티미디어 데이터에 포함된 음성 및 문자의 자연어 정보를 지속적으로 기록하며, 위기 상황 관련 범주 분류, 개체명 인식, 관계 추출, 이벤트 추출의 자연어 정보 추출 과정을 통해 위험 상황을 나타내는 정보를 자동으로 추출하고, 추출된 위험 상황 정보를 사용자에게 보고함으로써, 위험 상황에 대한 지속적인 감지를 위해 필요한 비용을 줄이고, 위험 상황에 대한 신속한 대처에 도움을 줄 수 있는 위험 상황 자동 감지 방법과 장치에 관한 것이다.The present invention relates to a method and apparatus for automatically detecting a dangerous situation from a result of extracting natural language information, and more particularly, to continuously record natural language information of voice and text included in multimedia data, and to classify a category related to a crisis situation, By extracting natural language information such as entity name recognition, relationship extraction, and event extraction, information representing the dangerous situation is automatically extracted and the extracted dangerous situation information is reported to the user, thereby reducing the cost required for continuous detection of the dangerous situation. The present invention relates to a method and apparatus for automatically detecting a dangerous situation, which can help promptly deal with a dangerous situation.

자연어 정보 추출, 위험 상황 감지 Natural language information extraction, dangerous situation detection

Description

자연어 정보 추출을 이용한 위험 상황 자동 감지 방법 및 장치{Method of automatically detecting dangerous situation using natural language extraction and apparatus thereof}Method and automatically detecting dangerous situation using natural language extraction and apparatus

본 발명은 자연어 정보 추출 결과로부터 위험 상황을 자동으로 감지하는 방법 및 장치에 관한 것으로써, 보다 상세하게는 멀티미디어 데이터에 포함된 음성 및 문자의 자연어 정보를 지속적으로 기록하며, 주제 분류, 개체명 인식, 관계 추출, 이벤트 추출의 자연어 정보 추출 과정을 통해 위험 상황을 나타내는 정보를 자동으로 추출하고, 추출된 위험 상황 정보를 사용자에게 보고함으로써, 위험 상황에 대한 지속적인 감지를 위해 필요한 비용을 줄이고, 위험 상황에 대한 신속한 대처에 도움을 줄 수 있는 위험 상황 자동 감지 방법과 장치에 관한 것이다 (본 발명은 국가연구개발사업의 일환으로, 과제고유번호 : C1090-0902-0045, 연구사업명 : 정보통신연구진흥원 국가기관과제 대학 IT연구센터 육성 지원사업, 연구과제명 : "융합단말을 위한 내장형 소프트웨어 기술연구"에 관한 것이다). The present invention relates to a method and apparatus for automatically detecting a dangerous situation from natural language information extraction results. More particularly, the present invention continuously records natural language information of voice and text included in multimedia data, and classifies subjects and recognizes individual names. By extracting the natural language information process of extracting the relations and extracting the events, the information indicating the dangerous situation is automatically extracted and the extracted dangerous situation information is reported to the user, thereby reducing the cost required for continuous detection of the dangerous situation, The present invention relates to a method and apparatus for automatically detecting a dangerous situation that can help promptly cope with the problem. (The present invention is part of a national R & D project. Institutional Projects University IT Research Center Development Support Project Ewe related technology research ").

개개인으로부터 범국가적 환경에 이르기까지 위험 상황이 발생하였을 경우, 이에 대한 효율적인 대처를 위해서는 위험 상황에 대한 지속적인 감지가 필요하다. In the event of a dangerous situation from individual to national environment, it is necessary to continuously detect the dangerous situation.

하지만 정보 통신 기술의 발달과 보급으로 정보의 양은 기하급수적으로 증가하였고, 이는 위험 상황 감지 대상 정보의 범위 역시 크게 확장시키며, 위험 상황 감지를 위해 필요한 비용의 상승을 초래하였다. 효율적인 위험 상황 감지를 위해 다양한 정보로부터 위험 상황을 자동으로 감지하고, 위험 상황 감지 결과를 보고하는 방법이 개발되었다. However, with the development and dissemination of information and communication technology, the amount of information has increased exponentially, which greatly expands the range of information to be detected and raises the cost required for detecting the situation. In order to detect the dangerous situation, a method for automatically detecting the dangerous situation from various information and reporting the result of the dangerous situation detection was developed.

위험 상황 자동 감지 방법에 대한 종래의 기술로는 대한민국 특허등록번호 10-0717677호, 대한민국 특허등록번호 10-0602714호, 대한민국 특허출원번호 10-2003-0016251호를 들 수 있다. Conventional techniques for the automatic detection of dangerous situations include Korean Patent Registration No. 10-0717677, Korean Patent Registration No. 10-0602714, and Korean Patent Application No. 10-2003-0016251.

상기 대한민국 특허등록번호 10-0717677호는 센서를 통해 물리적인 위험 상황을 감지하고 경보하는 방법이다. 상기 대한민국 특허등록번호 10-0602714호는 무선 통신 단말기에서 이미지 프로세싱을 이용하여 위험을 감지하고 경고하는 방법이다. 상기 대한민국 특허출원번호 10-2003-0016251호는 음성 인식 결과 중 위험 상황에 발생할 수 있는 음성 신호가 포함된 경우를 감지하여 경보하는 방법이다. Republic of Korea Patent Registration No. 10-0717677 is a method for detecting and alarming the physical danger situation through the sensor. Korean Patent Registration No. 10-0602714 is a method of detecting and warning a danger using image processing in a wireless communication terminal. The Korean Patent Application No. 10-2003-0016251 is a method of detecting and alarming a case in which a voice signal that may occur in a dangerous situation is included in a voice recognition result.

인간이 생산하는 대부분의 정보는 음성과 문자의 형태로 기술되는 자연어로 구성되며, 위험 상황을 나타내는 정보 역시 자연어로 기술될 수 있다. 그러나 상기와 같은 종래의 방법은 물리적인 센서와 이미지 분석 결과, 음성 인식의 신호적 특성만을 위험 감지 대상 정보로 고려하여, 자연어 정보에 포함된 위기 상황 감지가 불가능하다는 문제점이 있다. Most of the information produced by humans is composed of natural language described in the form of voice and text, and information indicating a dangerous situation can also be described in natural language. However, the conventional method as described above has a problem in that it is impossible to detect a crisis situation included in natural language information, considering only the signal characteristics of voice recognition as the result of the object detection as a result of physical sensor and image analysis.

본 발명자는 상기한 종래기술의 제반 문제점을 해결하기 위하여 연구를 행하고, 그 결과에 근거하여 본 발명을 제안하게 된 것으로써, 본 발명은 자연어 정보 추출 결과로부터 위험 상황을 자동으로 감지하는 방법 및 장치를 제공하는 것을 목적으로 한다. The present inventors have conducted research to solve the above-mentioned problems of the prior art, and based on the results, the present invention proposes a method and apparatus for automatically detecting a dangerous situation from natural language information extraction results. The purpose is to provide.

보다 구체적으로, 본 발명의 목적은 다양한 형태의 멀티미디어 데이터에 포함된 음성 및 문자로 기술된 자연어 정보를 지속적으로 기록하며, 주제 분류, 개체명 인식, 관계 추출, 이벤트 추출의 자연어 정보 추출 과정을 통해 위험 상황을 나타내는 정보를 자동으로 추출하고, 추출된 위험 상황 정보를 사용자에게 보고함으로써, 위험 상황에 대한 지속적인 감지를 위해 필요한 비용을 줄이고, 위험 상황에 대한 신속한 대처에 도움을 줄 수 있는 위험 상황 자동 감지 방법과 장치를 제공하는 것에 있다. More specifically, an object of the present invention is to continuously record natural language information described by voice and text included in various types of multimedia data, and through natural language information extraction process of subject classification, entity name recognition, relationship extraction, and event extraction. By automatically extracting information that represents a risk situation and reporting the extracted risk situation information to a user, the risk situation can be automatically reduced to reduce the cost required for continuous detection of the risk situation and help to respond quickly to the risk situation. A sensing method and apparatus are provided.

본 발명의 기술적 과제를 해결하기 위하여, 발명의 한 태양에 의하면, 본 발명은 자연어 정보 추출 결과로부터 위험 상황을 자동으로 감지하는 방법에 있어서, In order to solve the technical problem of the present invention, according to an aspect of the present invention, in the method for automatically detecting a dangerous situation from the natural language information extraction result,

멀티미디어 데이터로부터 자연어 데이터를 수집하는 단계; Collecting natural language data from the multimedia data;

상기 수집된 자연어 정보에 대한 자연어 전처리 단계; Natural language preprocessing step for the collected natural language information;

상기 수집된 자연어 정보에 대해 위기 상황 정보 포함 여부 및 주제 범주를 분류하는 단계; Classifying whether the situation information is included and subject categories with respect to the collected natural language information;

상기 분류 과정을 통해 위기 상황 범주로 분류된 자연어 데이터로부터 위기 상황과 관련된 개체명을 인식하는 단계; Recognizing an entity name associated with a crisis situation from natural language data classified into a crisis situation category through the classification process;

상기 인식된 위기 상황 관련 개체명들 간의 위기 상황과 관련된 관계 정보를 추출하는 단계; Extracting relationship information related to a crisis situation between the recognized crisis situation related entity names;

상기 추출된 위기 상황 관련 개체명 및 관계 정보에 기반하여 위기 상황 관계 이벤트 정보를 추출하는 단계; Extracting crisis situation relationship event information based on the extracted crisis situation related entity name and relationship information;

상기 추출된 위기 상황 관련 개체명, 관계, 이벤트 정보에 대해 통계적 방법 또는 관리자가 직접 적합성을 검증하는 단계; 및 A statistical method or a manager directly verifying suitability for the extracted crisis situation related entity name, relationship, and event information; And

상기 과정을 통해 검증된 위기 상황 관련 자연어 정보 추출 결과를 사용자들에게 통보하는 단계를 포함하여 구성되는 자연어 정보 추출 결과로부터 위험 상황을 자동으로 감지하는 방법을 제공한다. It provides a method for automatically detecting a dangerous situation from the natural language information extraction result comprising the step of notifying the user of the natural language information extraction result related to the crisis situation verified through the above process.

바람직하기로는, 상기 위기 상황 범주 분류 단계에서 분류된 위치 상황 범주가 위기 상황 범주에 속하지 않으면 자연어 정보 수집 단계로 진행하여 자연어 정보를 수집하는 것을 특징으로 한다. Preferably, when the location situation category classified in the crisis situation category classification step does not belong to the crisis situation category, the natural language information collection step may be performed to collect natural language information.

바람직하기로는, 상기 위기 상황 정보 검증 단계에서 검증된 위기 상황 정보가 위기 상황이 아닌 것으로 판단되면 자연어 정보 수집 단계로 진행하여 자연어 정보를 수집하는 것을 특징으로 한다. Preferably, when it is determined that the crisis situation information verified in the crisis situation information verification step is not a crisis situation, the natural language information collection step may be performed to collect natural language information.

또한, 본 발명의 기술적 과제를 해결하기 위하여, 발명의 다른 태양에 의하면, 본 발명은 자연어 정보 추출 결과로부터 위험 상황을 자동으로 감지하기 위한 장치에 있어서, In addition, in order to solve the technical problem of the present invention, according to another aspect of the present invention, in the apparatus for automatically detecting a dangerous situation from the natural language information extraction result,

멀티미디어 데이터로부터 자연어 정보를 수집하는 자연어 정보 수집부; A natural language information collecting unit for collecting natural language information from the multimedia data;

상기 수집된 자연어 정보에 대한 자연어 전처리부; A natural language preprocessor for the collected natural language information;

상기 수집된 자연어 정보에 대해 위기 상황 정보 포함 여부 및 주제 범주를 분류하는 위기 상황 범주 분류부; A crisis situation category classification unit for classifying whether the situation information is included and the subject category with respect to the collected natural language information;

상기 분류 과정을 통해 위기 상황 범주로 분류된 자연어 데이터로부터 위기 상황과 관련된 개체명을 인식하는 위기 상황 개체명 인식부; A crisis situation entity name recognition unit recognizing an entity name associated with a crisis situation from natural language data classified into a crisis situation category through the classification process;

상기 인식된 위기 상황 관련 개체명들 간의 위기 상황과 관련된 관계 정보를 추출하는 위기 상황 관계 추출부; A crisis situation relationship extraction unit for extracting relationship information related to a crisis situation between the recognized crisis situation related entity names;

상기 추출된 위기 상황 관련 개체명 및 관계 정보에 기반하여 위기 상황 관계 이벤트 정보를 추출하는 위기 상황 이벤트 추출부; A crisis situation event extracting unit extracting crisis situation relationship event information based on the extracted crisis situation related entity name and relationship information;

상기 추출된 위기 상황 관련 개체명, 관계, 이벤트 정보에 대해 통계적 방법 또는 관리자가 직접 적합성을 검증하는 위기 상황 정보 검증부; 및 A crisis situation information verification unit which directly verifies conformance of a statistical method or an administrator with respect to the extracted crisis situation related entity name, relationship, and event information; And

상기 과정을 통해 검증된 위기 상황 관련 자연어 정보 추출 결과를 사용자들에게 통보하는 위기 상황 경보부를 포함하여 구성되는 자연어 정보 추출 결과로부터 위험 상황을 자동으로 감지하는 장치를 제공한다. The present invention provides a device for automatically detecting a dangerous situation from a natural language information extraction result configured to include a crisis situation warning unit for notifying users of a natural language information extraction result related to a crisis situation verified through the above process.

상술한 바와 같이, 본 발명에 의한 자연어 정보 추출 결과로부터 위험 상황을 자동으로 감지하는 방법 및 장치는 멀티미디어 데이터에 포함된 음성 및 문자의 자연어 정보를 지속적으로 기록하며, 위기 상황 관련 범주 분류, 개체명 인식, 관계 추출, 이벤트 추출의 자연어 정보 추출 과정을 통해 위험 상황을 나타내는 정보 를 자동으로 추출하고, 추출된 위험 상황 정보를 사용자에게 보고함으로써, 위험 상황에 대한 지속적인 감지를 위해 필요한 비용을 줄이고, 위험 상황에 대한 신속한 대처에 도움을 줄 수 있는 효과가 있는 것이다. As described above, the method and apparatus for automatically detecting a dangerous situation from the natural language information extraction result according to the present invention continuously record natural language information of voice and text included in the multimedia data, and categorize the category related to the crisis situation and the entity name. By extracting natural language information through recognition, relationship extraction, and event extraction, the information indicating the dangerous situation is automatically extracted, and the extracted dangerous situation information is reported to the user, thereby reducing the cost required for continuous detection of the dangerous situation, There is an effect that can help to respond quickly to the situation.

이하, 본 발명의 바람직한 실시예에 따른 자연어 정보 추출 결과로부터 위험 상황을 자동으로 감지하는 방법 및 장치에 대해서 첨부된 도면을 참조하여 보다 상세히 설명한다. Hereinafter, a method and apparatus for automatically detecting a dangerous situation from natural language information extraction results according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따라 자연어 데이터로부터 정보를 추출하여 위험 상황을 자동으로 감지하기 위한 방법의 일례를 나타내는 흐름도이다. 본 발명에 따라 자연어 정보 추출 결과로부터 위험 상황을 자동으로 감지하는 방법은, 도 1에 나타난 바와 같이, 우선, 다양한 형태의 멀티미디어 데이터로부터 자연어 정보를 수집해야 한다(단계 001). 여기서 수집 대상 멀티미디어 데이터는 음성 또는 문자의 형태로 기술되는 자연어 정보를 포함하는 데이터를 대상으로 한다. 음성 데이터의 경우, 음성 인식을 통해 문자로 변환하는 과정을 거치며, 동영상 데이터의 경우, 동영상 데이터로부터 음성 데이터를 추출하고, 상기 음성 데이터와 동일한 과정을 통해 문자로 변환하는 과정을 거쳐 자연어 정보를 수집한다. 1 is a flowchart illustrating an example of a method for automatically detecting a dangerous situation by extracting information from natural language data according to the present invention. According to the present invention, a method of automatically detecting a dangerous situation from natural language information extraction results, as shown in FIG. 1, first, natural language information should be collected from various types of multimedia data (step 001). Here, the collection target multimedia data is data including natural language information described in the form of voice or text. In the case of voice data, a process of converting to text is performed through voice recognition, and in case of video data, voice data is extracted from the video data, and natural language information is collected through a process of converting to text through the same process as the voice data. do.

상기 수집된 자연어 정보들에 대해 자연어 전처리 과정을 통해 자연어 정보를 정제하고 자연어 정보 추출에 필요한 자질들을 수집한다(단계 002). 여기서 띄어쓰기 및 오류 교정을 통한 정제 과정과 문장 경계 분리, 형태소 분석, 구문 분석, 대용어 분석, 화행 분석 과정을 통한 자연어 자질 추출 과정이 수행된다. Natural language information is refined through the natural language preprocessing process on the collected natural language information, and features necessary for extracting natural language information are collected (step 002). Here, the refinement process through spacing and error correction, and sentence boundary separation, morphological analysis, syntax analysis, substitute word analysis, and speech act analysis are performed.

상기 수집된 자연어 자질들에 기반하여 각각의 자연어 데이터에 대해 위기 상황 관련 범주를 분류한다(단계 003). 위기 상황 관련 범주는 해당 자연어 데이터가 위기 상황 관련 정보를 포함하고 있는지의 여부와, 해당 자연어 데이터가 어떠한 주제의 위기 상황과 관련된 정보를 나타내는지의 여부에 따라 분류된다. 예를 들어, '이스라엘의 팔레스타인 공습'과 관련된 뉴스 기사로부터 얻은 자연어 데이터는 위기 상황 관련 정보를 포함하며, '전쟁'과 관련된 주제를 기술하고 있음을 위기 상황 범주 분류 단계를 통해 확인할 수 있다. Based on the collected natural language qualities, categories of crisis situations are classified for each natural language data (step 003). The crisis-related categories are classified according to whether or not the natural language data includes crisis-related information, and whether the natural-language data represents information related to a crisis situation of a subject. For example, the natural categorical data from news articles related to Israel's Palestinian air raids includes information about the crisis and describes the context of the war.

단계 004에서, 상기 단계 003으로부터 위기 상황과 관련된 정보를 나타내는 것으로 확인되면, 자연어 데이터에 대해서는 자연어 데이터에 포함되어 있는 해당 위기 상황 관련 개체명을 인식한다(단계 005). 예를 들어, '이스라엘의 팔레스타인 공습'과 관련된 뉴스 기사로부터 '이스라엘', '팔레스타인', '가자 지구'의 위기 상황 관련 개체명이 인식된다. 그러나, 단계 004에서 위기 상황 범주에 속하지 않는 것으로 판단되면 단계 001로 되돌아가서 자연어 정보를 수집하게 된다. In step 004, if it is confirmed from step 003 that the information related to the crisis situation is indicated, the relevant crisis situation related entity name included in the natural language data is recognized for the natural language data (step 005). For example, news articles related to Israel's Palestinian raids recognize the names of the crisis situations in Israel, Palestine, and Gaza. However, if it is determined in step 004 that it does not belong to the crisis situation category, the process returns to step 001 to collect natural language information.

단계 005로부터 위기 상황 관련 개체명으로 인식되어 추출된 개체명들 간의 위기 상황 관련 관계 정보가 나타나는지의 여부와 관계의 분류 정보가 추출된다(단계 006). 즉, 단계 006에서는 단계 005에서 인식된 위기 상황 개체명으로부터 위기 상황 관계 정보를 추출한다. 예를 들어, '이스라엘의 팔레스타인 공습'과 관련된 뉴스 기사로부터 '이스라엘'과 '가자 지구'의 두 개체명 간에서 공격자와 공격대상의 관계가 추출된다. From step 005, whether the crisis situation related relationship information between the extracted entity names recognized as the crisis situation related entity appears and the classification information of the relationship is extracted (step 006). That is, in step 006, crisis situation relationship information is extracted from the crisis situation entity name recognized in step 005. For example, from a news story related to Israel's Palestinian raid, the relationship between the attacker and the target is extracted between the two names of Israel and Gaza.

단계 005와 단계 006으로부터 수집된 위기 상황 관련 개체명들과 개체명들 간의 관계 정보로부터 위기 상황 이벤트 정보를 추출한다(단계 007). 예를 들어, '이스라엘의 팔레스타인 공습'과 관련된 뉴스 기사로부터 '2008년 12월 27일' (날짜), '이스라엘' (공격자) 가 '팔레스타인' (피공격자) 의 '가자 지구' (공격대상)'를 공격했다는 이벤트 정보가 추출된다. The crisis event information is extracted from the crisis situation-related entity names collected from the steps 005 and 006 and the relationship information between the entity names (step 007). For example, from a news article related to Israel's Palestinian Raids, December 27, 2008 (date), Israel (Attacker) is the 'Gaza Strip' (target) of Palestine (Attack). 'Event information is extracted.

상기 단계 003으로부터 추출된 위기 상황 관련 범주 정보, 단계 005로부터 추출된 위기 상황 관련 개체명 정보, 단계 006으로부터 추출된 위기 상황 관련 관계 정보, 단계 007로부터 추출된 위기 상황 이벤트 정보에 대한 정보 적합성 여부를 검증한다(단계 008). 단계 008의 위기 상황 관련 정보 적합성 여부 검증은 정확한 정보 제공을 위해 통계적인 방법 또는 전문가에 의한 직접 검증 방법에 의해 수행된다. Whether or not information suitability is applied to the crisis situation related category information extracted from step 003, the crisis situation related entity name information extracted from step 005, the crisis situation related relationship information extracted from step 006, and the crisis situation event information extracted from step 007 Verify (step 008). Verification of the suitability of the information related to the crisis in step 008 is performed by a statistical method or a direct verification method by an expert to provide accurate information.

단계 009에서 상기 위기 상황 관련 정보 적합성 검증 결과, 위기 상황으로 판단되면, 그 위기 상황 정보를 사용자들에게 통보한다(단계 010). 그러나, 단계 009에서 위기 상황으로 판단되지 않으면 단계 001로 되돌아가서 자연어 정보를 수집하게 된다. 또한, 단계 010에서 위기 상황을 통보한 후 단계 001로 되돌아가서 자연어 정보를 수집하게 된다. In step 009, if it is determined that the crisis situation-related information suitability is verified, the crisis situation information is notified to the users (step 010). However, if it is not determined that the crisis situation in step 009, the process returns to step 001 to collect natural language information. In addition, after notifying the crisis situation in step 010, the process returns to step 001 to collect natural language information.

이하, 본 발명에 부합되는 자연어 정보 추출 결과로부터 위험 상황을 자동으로 감지하기 위한 장치를 도 2를 통하여 상세히 설명한다. Hereinafter, an apparatus for automatically detecting a dangerous situation from natural language information extraction results according to the present invention will be described in detail with reference to FIG. 2.

도 2는 본 발명에 부합되는 자연어 데이터로부터 정보를 추출하여 위험 상황을 자동으로 감지하기 위한 장치의 일례를 나타내는 구성 블록도이다. 2 is a block diagram illustrating an example of an apparatus for automatically detecting a dangerous situation by extracting information from natural language data according to the present invention.

도 2에 나타난 바와 같이, 본 발명의 자연어 정보 추출 결과로부터 위험 상 황을 자동으로 감지하기 위한 장치는 자연어 정보 수집부(10), 자연어 전처리부(20), 위기 상황 범주 분류부(30), 위기 상황 개체명 인식부(40), 위기 상황 관계 추출부(50), 위기 상황 이벤트 추출부(60), 위기 상황 정보 검증부(70), 위기 상황 경보부(80)를 포함하여 구성된다. As shown in FIG. 2, the apparatus for automatically detecting a dangerous situation from the natural language information extraction result of the present invention includes a natural language information collecting unit 10, a natural language preprocessing unit 20, a crisis category classification unit 30, Crisis situation entity name recognition unit 40, crisis situation relationship extraction unit 50, crisis situation event extraction unit 60, crisis situation information verification unit 70, crisis situation alarm unit 80 is configured to include.

상기 자연어 정보 수집부(10)는 다양한 형태의 멀티미디어 데이터로부터 자연어 정보(11)를 수집하도록 구성되고, 자연어 전처리부(20)는 자연어 정보를 정제하고 자연어 정보 추출에 필요한 자질, 즉 자연어 전처리 결과(21)를 수집하도록 구성된다. The natural language information collecting unit 10 is configured to collect natural language information 11 from various types of multimedia data, and the natural language preprocessor 20 refines natural language information and extracts natural language information, that is, natural language preprocessing results ( 21) is configured to collect.

위기 상황 범주 분류부(30)는 상기 수집된 자연어 자질들에 기반하여 각각의 자연어 데이터에 대해 위기 상황 관련 범주를 분류하여 위기 상황 범주 정보(31)를 추출하도록 구성된다. The crisis situation category classification unit 30 is configured to extract crisis situation category information 31 by classifying a crisis related category for each natural language data based on the collected natural language qualities.

위기 상황 개체명 인식부(40)는 상기 수집된 자연어 자질들에 기반하여 상기 위기 상황 범주 분류부(30)의 위기 상황 범주 분류 결과 위기 상황과 관련된 정보를 나타내는 것으로 확인된 자연어 데이터에 대해서 자연어 데이터에 포함되어 있는 해당 위기 상황 관련 개체명 정보(41)를 인식하도록 구성된다. The crisis situation entity name recognition unit 40 is natural language data with respect to the natural language data identified as representing information related to the crisis situation as a result of the crisis situation category classification unit 30 of the crisis situation category classification unit 30 based on the collected natural language features. It is configured to recognize the crisis-related entity name information 41 included in the.

위기 상황 관계 추출부(50)는 상기 수집된 자연어 자질들에 기반하여 상기 위기 상황 개체명 인식부(40)에서 인식된 위기 상황 관련 개체명(41)들 간의 위기 상황 관련 관계 정보(51)를 추출하도록 구성된다. The crisis situation relationship extracting unit 50 obtains the crisis situation related relationship information 51 between the crisis situation entity names 41 recognized by the crisis entity name recognition unit 40 based on the collected natural language qualities. Configured to extract.

위기 상황 이벤트 추출부(60)는 상기 수집된 자연어 자질들에 기반하여 상기 위기 상황 개체명 인식부(40)에서 인식된 위기 상황 관련 개체명 정보(41)와 상기 위기 상황 관계 추출부(50)에서 추출된 위기 상황 관계 정보(51)로부터 위기 상황 이벤트 정보(61)를 추출하도록 구성된다. The crisis situation event extracting unit 60 is the crisis situation entity name information 41 and the crisis situation relationship extraction unit 50 recognized by the crisis entity name recognition unit 40 based on the collected natural language qualities. Is configured to extract the crisis situation event information 61 from the crisis situation relationship information 51 extracted in FIG.

위기 상황 정보 검증부(70)는 통계적 방법 또는 관리자에 의한 직접 검증을 통해 상기 추출된 위기 상황 범주 정보(31), 위기 상황 개체명 정보(41), 위기 상황 관계 정보(51), 위기 상황 이벤트 정보(61)에 대한 적합성 검증을 수행하도록 구성된다. Crisis situation information verification unit 70 is the crisis situation category information 31, crisis situation entity name information 41, crisis situation relationship information 51, crisis situation event through statistical verification or direct verification by the administrator Configured to perform conformance verification on information 61.

위기 상황 경보부(80)는 상기 위기 상황 정보 검증부(70)의 검증 결과 적합하다고 판별된 정보들을 사용자들에게 통보하도록 구성된다. The crisis situation alarm unit 80 is configured to notify the users of the information determined to be appropriate as a result of the verification of the crisis situation information verification unit 70.

상술한 바와 같이, 본 발명에 의한 자연어 정보 추출 결과로부터 위험 상황을 자동으로 감지하는 방법 및 장치는 멀티미디어 데이터에 포함된 음성 및 문자의 자연어 정보를 지속적으로 기록하며, 위기 상황 관련 범주 분류, 개체명 인식, 관계 추출, 이벤트 추출의 자연어 정보 추출 과정을 통해 위험 상황을 나타내는 정보를 자동으로 추출하고, 추출된 위험 상황 정보를 사용자에게 보고함으로써, 위험 상황에 대한 지속적인 감지를 위해 필요한 비용을 줄이고, 위험 상황에 대한 신속한 대처에 도움을 줄 수 있다. As described above, the method and apparatus for automatically detecting a dangerous situation from the natural language information extraction result according to the present invention continuously record natural language information of voice and text included in the multimedia data, and categorize the category related to the crisis situation and the entity name. By extracting natural language information through recognition, relationship extraction, and event extraction, the information indicating the dangerous situation is automatically extracted and the extracted dangerous situation information is reported to the user, thereby reducing the cost required for continuous detection of the dangerous situation, It can help you respond quickly to situations.

도 1은 본 발명에 따라 자연어 데이터로부터 정보를 추출하여 위험 상황을 자동으로 감지하기 위한 방법의 일례를 나타내는 흐름도이다. 1 is a flowchart illustrating an example of a method for automatically detecting a dangerous situation by extracting information from natural language data according to the present invention.

도 2는 본 발명에 부합되는 자연어 데이터로부터 정보를 추출하여 위험 상황을 자동으로 감지하기 위한 장치의 일례를 나타내는 구성 블록도이다. 2 is a block diagram illustrating an example of an apparatus for automatically detecting a dangerous situation by extracting information from natural language data according to the present invention.

Claims (4)

자연어 정보 추출 결과로부터 위험 상황을 자동으로 감지하는 방법에 있어서, In the method for automatically detecting a dangerous situation from the natural language information extraction result, 멀티미디어 데이터로부터 자연어 데이터를 수집하는 단계; Collecting natural language data from the multimedia data; 상기 수집된 자연어 정보에 대한 자연어 전처리 단계; Natural language preprocessing step for the collected natural language information; 상기 수집된 자연어 정보에 대해 위기 상황 정보 포함 여부 및 주제 범주를 분류하는 위기 상황 범주 분류 단계; A crisis situation category classification step of classifying whether the situation information is included and the subject category with respect to the collected natural language information; 상기 분류 과정을 통해 위기 상황 범주로 분류된 자연어 데이터로부터 위기 상황과 관련된 개체명을 인식하는 단계; Recognizing an entity name associated with a crisis situation from natural language data classified into a crisis situation category through the classification process; 상기 인식된 위기 상황 관련 개체명들 간의 위기 상황과 관련된 관계 정보를 추출하는 단계; Extracting relationship information related to a crisis situation between the recognized crisis situation related entity names; 상기 추출된 위기 상황 관련 개체명 및 관계 정보에 기반하여 위기 상황 관계 이벤트 정보를 추출하는 단계; Extracting crisis situation relationship event information based on the extracted crisis situation related entity name and relationship information; 상기 추출된 위기 상황 관련 개체명, 관계, 이벤트 정보에 대해 통계적 방법 또는 관리자가 직접 적합성을 검증하는 위기 상황 정보 검증 단계; 및 A crisis situation information verifying step of verifying conformity directly by a statistical method or an administrator with respect to the extracted crisis situation related entity name, relationship, and event information; And 상기 과정을 통해 검증된 위기 상황 관련 자연어 정보 추출 결과를 사용자들에게 통보하는 단계를 포함하여 구성되는 자연어 정보 추출 결과로부터 위험 상황을 자동으로 감지하는 방법. A method for automatically detecting a dangerous situation from the natural language information extraction result comprising the step of notifying users of the natural language information extraction result related to the crisis situation verified through the above process. 제1항에 있어서, 상기 위기 상황 범주 분류 단계에서 분류된 위치 상황 범주가 위기 상황 범주에 속하지 않으면 자연어 정보 수집 단계로 진행하여 자연어 정보를 수집하는 것을 특징으로 하는 위험 상황 자동 감지 방법.The method of claim 1, wherein if the location situation category classified in the crisis category classification step does not belong to a crisis situation category, natural language information is collected and natural language information is collected. 제1항에 있어서, 상기 위기 상황 정보 검증 단계에서 검증된 위기 상황 정보가 위기 상황이 아닌 것으로 판단되면 자연어 정보 수집 단계로 진행하여 자연어 정보를 수집하는 것을 특징으로 하는 위험 상황 자동 감지 방법. The method of claim 1, wherein when the crisis information verified in the crisis information verification step is determined not to be a crisis situation, the method proceeds to a natural language information collecting step and collects natural language information. 자연어 정보 추출 결과로부터 위험 상황을 자동으로 감지하기 위한 장치에 있어서, An apparatus for automatically detecting a dangerous situation from a natural language information extraction result, 멀티미디어 데이터로부터 자연어 정보를 수집하는 자연어 정보 수집부; A natural language information collecting unit for collecting natural language information from the multimedia data; 상기 수집된 자연어 정보에 대한 자연어 전처리부; A natural language preprocessor for the collected natural language information; 상기 수집된 자연어 정보에 대해 위기 상황 정보 포함 여부 및 주제 범주를 분류하는 위기 상황 범주 분류부; A crisis situation category classification unit for classifying whether the situation information is included and the subject category with respect to the collected natural language information; 상기 분류 과정을 통해 위기 상황 범주로 분류된 자연어 데이터로부터 위기 상황과 관련된 개체명을 인식하는 위기 상황 개체명 인식부; A crisis situation entity name recognition unit recognizing an entity name associated with a crisis situation from natural language data classified into a crisis situation category through the classification process; 상기 인식된 위기 상황 관련 개체명들 간의 위기 상황과 관련된 관계 정보를 추출하는 위기 상황 관계 추출부; A crisis situation relationship extraction unit for extracting relationship information related to a crisis situation between the recognized crisis situation related entity names; 상기 추출된 위기 상황 관련 개체명 및 관계 정보에 기반하여 위기 상황 관계 이벤트 정보를 추출하는 위기 상황 이벤트 추출부; A crisis situation event extracting unit extracting crisis situation relationship event information based on the extracted crisis situation related entity name and relationship information; 상기 추출된 위기 상황 관련 개체명, 관계, 이벤트 정보에 대해 통계적 방법 또는 관리자가 직접 적합성을 검증하는 위기 상황 정보 검증부; 및 A crisis situation information verification unit which directly verifies conformance of a statistical method or an administrator with respect to the extracted crisis situation related entity name, relationship, and event information; And 상기 과정을 통해 검증된 위기 상황 관련 자연어 정보 추출 결과를 사용자들에게 통보하는 위기 상황 경보부를 포함하여 구성되는 자연어 정보 추출 결과로부터 위험 상황을 자동으로 감지하는 장치. Apparatus for automatically detecting a dangerous situation from the natural language information extraction result comprising a crisis situation warning unit for notifying users of the extracted natural language information extraction results related to the crisis situation verified through the above process.
KR1020090054424A 2009-06-18 2009-06-18 Method of automatically detecting dangerous situation using natural language extraction and apparatus thereof KR101023031B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090054424A KR101023031B1 (en) 2009-06-18 2009-06-18 Method of automatically detecting dangerous situation using natural language extraction and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090054424A KR101023031B1 (en) 2009-06-18 2009-06-18 Method of automatically detecting dangerous situation using natural language extraction and apparatus thereof

Publications (2)

Publication Number Publication Date
KR20100136193A KR20100136193A (en) 2010-12-28
KR101023031B1 true KR101023031B1 (en) 2011-03-24

Family

ID=43510296

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090054424A KR101023031B1 (en) 2009-06-18 2009-06-18 Method of automatically detecting dangerous situation using natural language extraction and apparatus thereof

Country Status (1)

Country Link
KR (1) KR101023031B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003345385A (en) * 2002-05-30 2003-12-03 Matsushita Electric Ind Co Ltd Voice recognition and discrimination device
KR100807757B1 (en) * 2006-10-27 2008-02-28 오상원 Voice recognition auto alarm system
JP2008071211A (en) * 2006-09-15 2008-03-27 Hitachi Ltd Apparatus for sensing and notifying danger by voice
JP2009049568A (en) * 2007-08-15 2009-03-05 Fujifilm Corp Reporting method and reporting system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003345385A (en) * 2002-05-30 2003-12-03 Matsushita Electric Ind Co Ltd Voice recognition and discrimination device
JP2008071211A (en) * 2006-09-15 2008-03-27 Hitachi Ltd Apparatus for sensing and notifying danger by voice
KR100807757B1 (en) * 2006-10-27 2008-02-28 오상원 Voice recognition auto alarm system
JP2009049568A (en) * 2007-08-15 2009-03-05 Fujifilm Corp Reporting method and reporting system

Also Published As

Publication number Publication date
KR20100136193A (en) 2010-12-28

Similar Documents

Publication Publication Date Title
CN107590439B (en) Target person identification and tracking method and device based on monitoring video
CN110704682B (en) Method and system for intelligently recommending background music based on video multidimensional characteristics
Carletti et al. Audio surveillance using a bag of aural words classifier
JP2020502683A5 (en)
CN112744174B (en) Vehicle collision monitoring method, device, equipment and computer readable storage medium
CN111436944B (en) Falling detection method based on intelligent mobile terminal
KR101116273B1 (en) Apparatus and Method for Traffic Accident Recognition
EP3147902B1 (en) Sound processing apparatus, sound processing method, and computer program
KR20150046793A (en) Disaster detecting system using social media
JP2014502548A5 (en)
WO2005101346A1 (en) Recording/analyzing system for accidental event
EP2747431B1 (en) Device and method for detecting whether camera is interfered with, and video monitoring system
CN106874951B (en) Passenger attention rating method and device
CN106157135A (en) Antifraud system and method based on Application on Voiceprint Recognition Sex, Age
CN107145778B (en) Intrusion detection method and device
KR20180118979A (en) Method and apparatus for risk detection, prediction, and its correspondence for public safety based on multiple complex information
CN115512259A (en) Multimode-based short video auditing method
CN112396023A (en) Fire detection method based on machine learning
EP2263533A1 (en) Enhancing security and emergency functionalities in mobile phones based on detection of physical shocks
CN103443772B (en) The method of the individual sex checking based on multi-modal data analysis
KR101610886B1 (en) Method for Diagnosing Personal Health State Based on Big Data and System for the Same
KR101023031B1 (en) Method of automatically detecting dangerous situation using natural language extraction and apparatus thereof
JP5599064B2 (en) Sound recognition apparatus and sound recognition method
CN106022306A (en) Video system for identifying abnormal behaviors of object based on multiple angles
CN115171335A (en) Image and voice fused indoor safety protection method and device for elderly people living alone

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee