KR20230142108A - Providing method, apparatus and computer-readable medium of monitoring risk or opportunity events on user-customized topics through deep signal - Google Patents
Providing method, apparatus and computer-readable medium of monitoring risk or opportunity events on user-customized topics through deep signal Download PDFInfo
- Publication number
- KR20230142108A KR20230142108A KR1020220040894A KR20220040894A KR20230142108A KR 20230142108 A KR20230142108 A KR 20230142108A KR 1020220040894 A KR1020220040894 A KR 1020220040894A KR 20220040894 A KR20220040894 A KR 20220040894A KR 20230142108 A KR20230142108 A KR 20230142108A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- information
- user account
- user
- notification
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012544 monitoring process Methods 0.000 title claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 47
- 230000009193 crawling Effects 0.000 claims abstract description 27
- 238000007405 data analysis Methods 0.000 claims abstract description 26
- 238000013480 data collection Methods 0.000 claims abstract description 19
- 238000013523 data management Methods 0.000 claims abstract description 16
- 238000013519 translation Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 6
- 238000010191 image analysis Methods 0.000 claims description 6
- 238000012806 monitoring device Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013499 data model Methods 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002253 acid Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/323—Visualisation of programs or trace data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Computer Hardware Design (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
유저들이 관심 있어하는 토픽에 대한 데이터의 등록을 감지 시, 이로부터 유저들에게 영향을 주는 이벤트의 발생 여부를 판단하고, 이벤트 발생 시, 데이터로부터 분석될 수 있는 다양한 정보를 자동으로 추출하여 유저에게 제공하여, 유저별로 맞춤화된 유용한 정보를 조기에 감지 및 제공받을 수 있도록 하여 사업에 대한 의사 결정 등에 유용하게 활용할 수 있도록 한다. 본 발명의 일 실시예에 따른 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 방법은, 온라인 상의 게시 컨텐츠를 포함하는 데이터가 업로드되는 다수의 데이터 소스로부터 데이터의 등록 시 등록된 데이터를 크롤링(Crawling)하여 데이터의 등록을 관리하는 데이터 수집 및 관리 단계; 크롤링된 데이터에 대해서, 유저 계정으로부터 설정된 정보로서 유저 계정의 관심 정보를 포함하는 관심 토픽별로 인덱싱(Indexing)하여 저장하는 데이터 분류 및 저장 단계; 저장된 데이터에 포함된 텍스트 데이터의 분석을 통해 상기 저장된 데이터의 등록으로 발생된 이벤트가 유저 계정에 대한 알림 대상이 되는 통지 대상 이벤트인지 여부를 딥시그널 알고리즘을 이용하여 판단하는 데이터 분석 단계; 및 데이터 분석 단계에서 통지 대상 이벤트로 판단되는 데이터에 대해서 적어도 데이터의 메인 키워드를 포함하는 식별 정보, 등록된 데이터가 관심 토픽에 영향을 미치는 속성 정보인 이벤트 타입 정보 및 등록된 데이터에 포함된 컨텐츠의 내용 정보를 포함하는 통지 정보를 생성하여 유저 계정에 전송하는 알림 단계;를 포함하는 것을 특징으로 한다.When detecting the registration of data on topics of interest to users, it is determined whether an event that affects users has occurred, and when an event occurs, various information that can be analyzed from the data is automatically extracted and provided to the user. By providing useful information tailored to each user, it is possible to detect and receive information at an early stage so that it can be usefully used in decision-making about business. The method for monitoring risk or opportunity events for user-customized topics through deep signals according to an embodiment of the present invention includes data registered when registering data from a plurality of data sources where data including online posted content is uploaded. Data collection and management step of managing data registration by crawling; A data classification and storage step of indexing and storing crawled data by topics of interest including interest information of the user account as information set from the user account; A data analysis step of determining, using a deep signal algorithm, whether an event generated by registration of the stored data is a notification event subject to notification for the user account through analysis of text data included in the stored data; And for data determined to be a notification target event in the data analysis stage, identification information including at least the main keyword of the data, event type information, which is attribute information that affects the topic of interest in the registered data, and content included in the registered data. A notification step of generating notification information including content information and transmitting it to the user account.
Description
본 발명은 온라인 상의 유저가 관심을 두는 주식 종목 등을 포함하는 객체의 키워드를 의미하는 토픽에 대한 이벤트가 발생됨을 감지 시 이를 조기에 감지 및 통지하기 위한 기술에 관한 것으로, 구체적으로는, 유저가 세팅한 바에 따라서 유저별로 맞춤화된 관심 토픽에 대해서, 게시글, 뉴스 등의 등록 시 그 중요성을 판단하고, 특정 이벤트가 발생된 것으로 판단된 경우 즉시 이를 유저에게 알려, 유저가 주식, 사업 등의 의사 결정에 있어서 최신의 트렌드를 정확하게 반영할 수 있도록 하는 기술에 관한 것이다.The present invention relates to a technology for early detection and notification when an event related to a topic meaning a keyword of an object including stock items that an online user is interested in is detected. Specifically, the Depending on the settings, the importance of topics of interest tailored to each user is determined when posting posts, news, etc., and when a specific event is determined to have occurred, the user is immediately notified of this, allowing the user to make decisions about stocks, business, etc. It is about technology that accurately reflects the latest trends.
개인이나 기업 들은, 최근 매우 급변하고 있는 온/오프라인 상의 정보에 대해서 사업, 투자, 또는 기타 의사결정에 있어서 영향을 미치는 정보에 대해서, 사업, 투자 또는 의사결정 상의 손실을 방지하거나, 좋은 기회를 놓치지 않기 위하여, 적시에 정보에 대한 주의를 기울여야 한다. Individuals and companies are concerned about information that affects business, investment, or other decisions regarding online and offline information that is rapidly changing recently, to prevent losses in business, investment, or decision-making, or to miss out on good opportunities. To avoid this, you must pay attention to information in a timely manner.
특히, 상술한 개인 또는 기업에 영향을 미치는 정보들은 특정 이벤트로 발생되는데, 예를 들어 주가의 변동, 주요 영향을 미치는 뉴스, 투자 대상에 대한 주요 감성이 들어나는 게시글이나 정보 등의 온라인 상의 공개가 이에 속한다. 이러한 이벤트는 온라인 상의 다양한 공간에서 동시 다발적으로 다양한 토픽에 대해서 발생됨에 따라서 유저들은 이에 대한 세심한 관심을 기울여야 한다. In particular, the information affecting the above-mentioned individuals or companies is generated through specific events, such as changes in stock prices, news with major impacts, and online disclosure of posts or information that expresses key sentiments about investment targets. It belongs to this. As these events occur simultaneously on various topics in various spaces online, users must pay close attention to them.
이러한 이벤트들을 감지하기 위해서는, SNS, 웹페이지, 클라우드 서버 등 매우 다양한 소스로서, 상술한 이벤트를 포함하는 데이터가 등록되는 데이터 소스를 매우 다양하게 동시에 모니터링해야 한다. 또한, 이들 데이터 소스로부터, 유저들은 자신이 관심있는 토픽을 분류 및 필터링(Filtering)하고, 이에 대한 정보를 추출할 수 있어야 한다.In order to detect these events, a wide variety of data sources such as SNS, web pages, cloud servers, etc., where data including the above-mentioned events are registered, must be monitored simultaneously. Additionally, from these data sources, users should be able to classify and filter topics of interest to them and extract information about them.
또한, 해당 데이터에 포함된 메시지가 관심 토픽에 어떤 영향이 있는지 또는 어떤 세부 토픽에 해당하는 컨텐츠인지 여부를 파악하기 위해서 유저들이 직접 해당 데이터를 상세히 모니터링하거나, 이로부터 많은 메타데이터를 추출해야 한다.Additionally, in order to determine whether the message contained in the data has any effect on the topic of interest or whether the content corresponds to a specific topic, users must directly monitor the data in detail or extract a lot of metadata from it.
그러나, 매우 다양하고 대량의 정보가 등록되는 최근에는, 상술한 프로세스를 유저들이 직접 수행하는 것이 매우 힘들고, 이에 따라서 이벤트의 발생을 적시에 감지하지 못함에 따라서 리스크 관리 또는 기회 포착을 적시에 하지 못하는 문제가 있다. However, in recent times, when very diverse and large amounts of information are registered, it is very difficult for users to directly perform the above-mentioned process, and as a result, the occurrence of events cannot be detected in a timely manner, making it impossible to manage risks or seize opportunities in a timely manner. there is a problem.
이러한 문제에 대해서 예를 들어 미국등록특허 8230445호 등에서는, 특정 이벤트의 발생을 검출하는 에이전트가, 특정 데이터소스로부터 이벤트의 발생을 감지 시, 유저가 설정한 키워드에 대응하는 데이터를 데이터 소스로부터 검출한 뒤 이를 유저들에게 메일 등의 다양한 방식으로 알리는 기술을 게시하고 있다.Regarding this problem, for example, in US Patent No. 8230445, etc., when an agent that detects the occurrence of a specific event detects the occurrence of an event from a specific data source, data corresponding to the keyword set by the user is detected from the data source. After that, we are posting technology to inform users of this in various ways, such as email.
그러나, 이는 단순한 키워드 기반 검색으로서, 해당 정보로부터 유저들에게 실질적으로 유용한 정보를 적시에 제공하는 것은 매우 힘들고, 유저들은 결국 포털 사이트 등에서 키워드 검색 후 컨텐츠에 대한 직접 분석을 해야 하는 것과 같이, 데이터 소스로부터 검색된 이벤트에 대응되는 데이터를 직접 분석해야 해서, 대량의 데이터로부터 유용한 정보를 추출하지 못하는 문제점이 있다.However, this is a simple keyword-based search, and it is very difficult to provide actually useful information to users in a timely manner from the relevant information, and users ultimately have to conduct a keyword search on portal sites etc. and then directly analyze the content as a data source. There is a problem in that it is impossible to extract useful information from a large amount of data because the data corresponding to the event retrieved from must be analyzed directly.
이에 본 발명은, 다양한 데이터 소스로부터 유저들이 관심 있어하는 토픽에 대한 데이터의 등록을 감지 시, 이로부터 유저들에게 영향을 주는 이벤트의 발생 여부를 판단하고, 이벤트 발생 시, 데이터로부터 분석될 수 있는 다양한 정보를 자동으로 추출하여 유저에게 제공함으로써, 유저들에게 자신이 관심있어 하는 토픽에 대한 유용한 정보들을 조기에 감지 및 제공받을 수 있도록 하여, 개인이나 기업 등의 다양한 업무에 있어서 즉시적으로 유용한 정보를 제공하는 기술을 제공하는 데 그 목적이 있다.Accordingly, the present invention detects the registration of data on topics of interest to users from various data sources, determines whether an event affecting users has occurred, and, when an event occurs, can be analyzed from the data. By automatically extracting and providing various information to users, it allows users to detect and receive useful information about topics they are interested in at an early stage, providing information that is immediately useful for various tasks, such as for individuals or companies. The purpose is to provide technology that provides.
상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 방법은, 온라인 상의 게시 컨텐츠를 포함하는 데이터가 업로드되는 다수의 데이터 소스로부터 데이터의 등록 시 등록된 데이터를 크롤링(Crawling)하여 데이터의 등록을 관리하는 데이터 수집 및 관리 단계; 크롤링된 데이터에 대해서, 유저 계정으로부터 설정된 정보로서 유저 계정의 관심 정보를 포함하는 관심 토픽별로 인덱싱(Indexing)하여 저장하는 데이터 분류 및 저장 단계; 상기 저장된 데이터에 포함된 텍스트 데이터의 분석을 통해 상기 저장된 데이터의 등록으로 발생된 이벤트가 유저 계정에 대한 알림 대상이 되는 통지 대상 이벤트인지 여부를 딥시그널 알고리즘을 이용하여 판단하는 데이터 분석 단계; 및 상기 데이터 분석 단계에서 통지 대상 이벤트로 판단되는 데이터에 대해서 적어도 데이터의 메인 키워드를 포함하는 식별 정보, 등록된 데이터가 관심 토픽에 영향을 미치는 속성 정보인 이벤트 타입 정보 및 등록된 데이터에 포함된 컨텐츠의 내용 정보를 포함하는 통지 정보를 생성하여 유저 계정에 전송하는 알림 단계;를 포함하는 것을 특징으로 한다. In order to achieve the above object, a method for monitoring risk or opportunity events for user-customized topics through deep signals according to an embodiment of the present invention includes data from a plurality of data sources where data including online posted content is uploaded. A data collection and management step of managing the registration of data by crawling the registered data upon registration; A data classification and storage step of indexing and storing crawled data by topics of interest including interest information of the user account as information set from the user account; A data analysis step of determining, using a deep signal algorithm, whether an event generated by registration of the stored data is a notification event subject to notification for the user account through analysis of text data included in the stored data; And for data determined to be a notification target event in the data analysis step, identification information including at least the main keyword of the data, event type information that is attribute information that the registered data affects the topic of interest, and content included in the registered data. A notification step of generating notification information including content information and transmitting it to the user account.
상기 데이터 수집 및 관리 단계는, 로그인 없이 데이터 수집이 가능한 데이터 소스로부터 데이터를 크롤링하는 제1 크롤러 및 유저 계정의 로그인 시 데이터 수집이 가능한 데이터 소스에 접근하여 유저 계정을 이용하여 로그인하고 데이터를 크롤링하는 제2 크롤러 중 어느 하나를 데이터 소스에 대한 유저 계정의 로그인 필요성을 기준으로 데이터 소스 별로 이용하여 데이터를 크롤링하는 것이 가능하다. The data collection and management step includes a first crawler that crawls data from a data source that allows data collection without logging in, and a first crawler that accesses a data source that allows data collection when the user account logs in, logs in using the user account, and crawls the data. It is possible to crawl data by using one of the second crawlers for each data source based on the need to log in to the user account for the data source.
상기 데이터 수집 및 관리 단계는, 유저가 이벤트 알림을 받고자 하는 대상에 대한 키워드 정보를 포함하는 관심 정보를 컨텐츠 내에 포함하는 데이터를 크롤링하는 것이 가능하다. In the data collection and management step, it is possible to crawl data containing interest information in the content, including keyword information about the target for which the user wants to receive event notification.
상기 데이터 수집 및 관리 단계는, 크롤링되는 데이터에 대한 통계 수치, 정상적인 크롤링 여부를 나타내는 크롤링 오류 비율 및 데이터 소스에 대한 접근 실패 정보를 포함하는 크롤링 모니터링 정보를 생성하여 유저 계정에 전송하는 것이 가능하다. In the data collection and management step, it is possible to generate crawling monitoring information including statistical values for crawled data, crawl error rate indicating normal crawling, and access failure information to the data source and transmit it to the user account.
다양한 데이터 스키마(Schema) 및 이기종 데이터 소스에 대응하기 위하여, 크롤링된 데이터가 저장되는 데이터베이스는 확장 가능한 NoSQL 저장소인 것이 가능하다. In order to respond to various data schemas and heterogeneous data sources, it is possible for the database where the crawled data is stored to be an scalable NoSQL storage.
상기 데이터 분석 단계는, 데이터에 포함된 텍스트를 번역하여 유저 계정에서 설정된 언어로 텍스트를 분석하되, 데이터에 포함된 텍스트 분석 결과에 대한 인코딩 오류, 이진 문서로의 번역에 따른 번역 오류 및 텍스트 분석 결과 유저 계정에서 설정된 스팸 분류 기준에 속함에 따른 데이터의 스팸 분류 결과를 포함하는 비정상 분석 결과를 감지하고, 유저 계정에 비정상 분석 결과에 대한 리포트를 제공하는 것이 가능하다.The data analysis step translates the text included in the data and analyzes the text in the language set in the user account, but includes encoding errors in the text analysis results included in the data, translation errors due to translation into binary documents, and text analysis results. It is possible to detect abnormal analysis results, including spam classification results of data according to spam classification criteria set in the user account, and provide a report on the abnormal analysis results to the user account.
상기 데이터 분석 단계는, 상기 딥시그널 알고리즘으로서, 인공지능 기반 알고리즘들로서, 기설정된 텍스트 감성 분석 알고리즘, 데이터에 포함된 이미지에 대한 기설정된 이미지 분석 알고리즘, 텍스트 저작자, 텍스트에 포함된 토픽 및 텍스트를 기반으로 인지 가능한 이벤트를 추출 가능한 기설정된 문장 구조 분석 및 키워드 추출 알고리즘, 및 데이터에 포함된 텍스트를 기설정된 개수의 문장으로 요약하는 기설정된 문장 요약 알고리즘을 이용하여 데이터에 포함된 텍스트 데이터 및 비텍스트 데이터를 분석하고, 분석된 토픽이 유저 계정에 기설정된 관심 토픽에 해당하는 경우, 상기 데이터를 통지 대상 이벤트에 속하는 것으로 판단하는 알고리즘을 이용하는 것이 가능하다.The data analysis step is based on the deep signal algorithm, artificial intelligence-based algorithms, a preset text sentiment analysis algorithm, a preset image analysis algorithm for images included in the data, text author, and topics and texts included in the text. Text data and non-text data included in the data using a preset sentence structure analysis and keyword extraction algorithm that can extract recognizable events, and a preset sentence summary algorithm that summarizes the text included in the data into a preset number of sentences. is analyzed, and if the analyzed topic corresponds to a topic of interest preset in the user account, it is possible to use an algorithm to determine that the data belongs to an event subject to notification.
상기 알림 단계는, 상기 데이터 분석 단계를 통해 도출된 정보를 이용하여, 토픽의 시계열 집계 통계 정보와, 토픽에 대응되는 데이터에 대한 온라인 상의 등록 및 열람 수치를 기반으로 판단되는 인기 주제, 인기 문서 및 인기 대상을 포함하는 인기 객체 정보를 데이터의 접근이 가능한 접속 링크 정보와 함께 유저 계정에 등록된 알림 주소로 전송하는 것이 가능하다.The notification step uses the information derived through the data analysis step to determine popular topics, popular documents, and It is possible to transmit popular object information, including popular objects, to the notification address registered in the user account along with access link information that allows access to the data.
본 발명의 일 실시예에 따른 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 장치는, 온라인 상의 게시 컨텐츠를 포함하는 데이터가 업로드되는 다수의 데이터 소스로부터 데이터의 등록 시 등록된 데이터를 크롤링(Crawling)하여 데이터의 등록을 관리하는 데이터 수집 및 관리부; 크롤링된 데이터에 대해서, 유저 계정으로부터 설정된 정보로서 유저 계정의 관심 정보를 포함하는 관심 토픽별로 인덱싱(Indexing)하여 저장하는 데이터 분류 및 저장부; 상기 저장된 데이터에 포함된 텍스트 데이터의 분석을 통해 상기 저장된 데이터의 등록으로 발생된 이벤트가 유저 계정에 대한 알림 대상이 되는 통지 대상 이벤트인지 여부를 딥시그널 알고리즘을 이용하여 판단하는 데이터 분석부; 및 상기 데이터 분석 단계에서 통지 대상 이벤트로 판단되는 데이터에 대해서 적어도 데이터의 메인 키워드를 포함하는 식별 정보, 등록된 데이터가 관심 토픽에 영향을 미치는 속성 정보인 이벤트 타입 정보 및 등록된 데이터에 포함된 컨텐츠의 내용 정보를 포함하는 통지 정보를 생성하여 유저 계정에 전송하는 알림부;를 포함하는 것을 특징으로 한다. A risk or opportunity event monitoring device for user-customized topics through deep signals according to an embodiment of the present invention collects registered data when registering data from multiple data sources where data including online posted content is uploaded. Data collection and management department that manages registration of data by crawling; A data classification and storage unit that indexes and stores crawled data by topics of interest, including interest information of the user account as information set from the user account; A data analysis unit that determines, using a deep signal algorithm, whether an event generated by registration of the stored data is a notification event subject to notification for the user account through analysis of text data included in the stored data; And for data determined to be a notification target event in the data analysis step, identification information including at least the main keyword of the data, event type information that is attribute information that the registered data affects the topic of interest, and content included in the registered data. It is characterized in that it includes a notification unit that generates notification information including content information and transmits it to the user account.
본 발명에 의하면, 다양한 데이터 소스에 대해서 데이터의 등록을 감지 시, 이를 감지한 뒤 다양한 데이터들 중 유저가 관심있어하는 토픽에 대해서 분류를 수행한 뒤 이를 유저별 확장 가능한 데이터 저장공간에 저장하고, 이로부터 이벤트의 발생 여부를 판단한 뒤, 이벤트 발생 시 데이터로부터 추출되는 다양한 메타데이터, 감성분석 결과, 요약문 등의 정보를 이벤트 알림 정보와 함께 유저 계정에 전송하게 된다. According to the present invention, when registration of data is detected for various data sources, this is detected, the topic of interest to the user among the various data is classified, and the data is stored in an expandable data storage space for each user. After determining whether an event has occurred, information such as various metadata, emotional analysis results, and summary sentences extracted from the data when the event occurs is transmitted to the user account along with event notification information.
이러한 본 발명의 기능 구현에 따르면, 유저들에게 영향을 주는 이벤트의 발생 여부를 판단하고, 이벤트 발생 시, 데이터로부터 분석될 수 있는 다양한 정보를 자동으로 추출하여 유저에게 제공함으로써, 유저들에게 자신이 관심있어 하는 토픽에 대한 유용한 정보들을 조기에 감지 및 제공받을 수 있도록 하여, 개인이나 기업 등의 다양한 업무에 있어서 즉시적으로 유용한 정보를 제공할 수 있는 효과가 있다.According to this functional implementation of the present invention, it is determined whether an event affecting users has occurred, and when the event occurs, various information that can be analyzed from the data is automatically extracted and provided to the user, thereby providing the user with By allowing early detection and provision of useful information on topics of interest, it has the effect of immediately providing useful information for various tasks such as individuals or companies.
도 1은 본 발명의 일 실시예에 따른 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 방법의 플로우차트.
도 2는 본 발명의 일 실시예에 따른 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 장치의 구성 블록도.
도 3은 본 발명의 일 실시예에 따른 데이터 수집 및 관리부의 세부 구성 블록도.
도 4는 본 발명의 일 실시예에 따른 데이터 분류 및 저장부의 세부 구성 블록도.
도 5는 본 발명의 일 실시예에 따른 데이터 분석부의 세부 구성 블록도.
도 6은 본 발명의 일 실시예에 따른 알림부의 세부 구성 블록도.
도 7은 본 발명의 일 실시예의 구현에 따라서 유저 계정에 제공되는 알람 정보의 예.
도 8은 본 발명의 일 실시 예에 따른 컴퓨팅 장치의 내부 구성의 일 예.1 is a flowchart of a method for monitoring risk or opportunity events for user-customized topics through deep signals according to an embodiment of the present invention.
Figure 2 is a block diagram of a device for monitoring risk or opportunity events for user-customized topics through deep signals according to an embodiment of the present invention.
Figure 3 is a detailed block diagram of the data collection and management unit according to an embodiment of the present invention.
Figure 4 is a detailed block diagram of a data classification and storage unit according to an embodiment of the present invention.
Figure 5 is a detailed block diagram of the data analysis unit according to an embodiment of the present invention.
Figure 6 is a detailed block diagram of the notification unit according to an embodiment of the present invention.
7 is an example of alarm information provided to a user account according to implementation of an embodiment of the present invention.
8 is an example of the internal configuration of a computing device according to an embodiment of the present invention.
이하에서는, 다양한 실시 예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.BRIEF DESCRIPTION OF THE DRAWINGS Various embodiments and/or aspects are now disclosed with reference to the drawings. In the following description, for purposes of explanation, numerous specific details are set forth to facilitate a general understanding of one or more aspects. However, it will also be appreciated by those skilled in the art that this aspect(s) may be practiced without these specific details. The following description and accompanying drawings set forth in detail certain example aspects of one or more aspects. However, these aspects are illustrative and some of the various methods in the principles of the various aspects may be utilized, and the written description is intended to encompass all such aspects and their equivalents.
본 명세서에서 사용되는 "실시 예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다.As used herein, “embodiment,” “example,” “aspect,” “example,” etc. may not be construed to mean that any aspect or design described is better or advantageous than other aspects or designs. .
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.Additionally, the terms "comprise" and/or "comprising" mean that the feature and/or element is present, but exclude the presence or addition of one or more other features, elements and/or groups thereof. It should be understood as not doing so.
또한, 제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Additionally, terms containing ordinal numbers, such as first, second, etc., may be used to describe various components, but the components are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, a first component may be referred to as a second component, and similarly, the second component may be referred to as a first component without departing from the scope of the present invention. The term and/or includes any of a plurality of related stated items or a combination of a plurality of related stated items.
또한, 본 발명의 실시 예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시 예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In addition, in the embodiments of the present invention, unless otherwise defined, all terms used herein, including technical or scientific terms, are as commonly understood by a person of ordinary skill in the technical field to which the present invention pertains. It has the same meaning. Terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and unless clearly defined in the embodiments of the present invention, have an ideal or excessively formal meaning. It is not interpreted as
도 1은 본 발명의 일 실시예에 따른 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 방법의 플로우차트, 도 2는 본 발명의 일 실시예에 따른 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 장치의 구성 블록도, 도 3은 본 발명의 일 실시예에 따른 데이터 수집 및 관리부의 세부 구성 블록도, 도 4는 본 발명의 일 실시예에 따른 데이터 분류 및 저장부의 세부 구성 블록도, 도 5는 본 발명의 일 실시예에 따른 데이터 분석부의 세부 구성 블록도, 도 6은 본 발명의 일 실시예에 따른 알림부의 세부 구성 블록도, 도 7은 본 발명의 일 실시예의 구현에 따라서 유저 계정에 제공되는 알람 정보의 예이다. 이하의 설명에 있어서 본 발명의 다양한 구성요소 및 실시예에 대한 설명을 위하여 다수의 도면이 함께 참조되어 설명될 것이다.Figure 1 is a flow chart of a method for monitoring risk or opportunity events for user-customized topics through deep signals according to an embodiment of the present invention, and Figure 2 is a flow chart of user-customized topics through deep signals according to an embodiment of the present invention. Figure 3 is a block diagram of the configuration of a risk or opportunity event monitoring device, Figure 3 is a detailed block diagram of the data collection and management unit according to an embodiment of the present invention, and Figure 4 is a block diagram of the data classification and storage unit according to an embodiment of the present invention. Figure 5 is a detailed block diagram of a data analysis unit according to an embodiment of the present invention, Figure 6 is a detailed block diagram of a notification unit according to an embodiment of the present invention, and Figure 7 is an implementation of the present invention. This is an example of alarm information provided to a user account according to the implementation of the example. In the following description, a number of drawings will be referred to together to explain various components and embodiments of the present invention.
상술한 도면을 참조하면, 먼저 본 발명의 일 실시예에 따른 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 방법(이하 본 발명의 방법이라 함)은, 후술하는 도 8에 도시된 컴퓨팅 장치 또는 도 2에 도시된 본 발명의 일 실시예에 따른 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 장치의 각 구성에 의하여 수행되는 것을 이해될 것이다. 즉, 본 발명의 일 실시예에 따른 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 장치 그 자체 또는 각 구성 요소는 상술한 컴퓨팅 장치 또는 복수의 컴퓨팅 장치로 구성될 수 있다.Referring to the above-mentioned drawings, first, a method for monitoring risk or opportunity events for user-customized topics through deep signals according to an embodiment of the present invention (hereinafter referred to as the method of the present invention) is shown in FIG. 8, which will be described later. It will be understood that this is performed by each configuration of the computing device or the device for monitoring risk or opportunity events for user-customized topics through deep signals according to an embodiment of the present invention shown in FIG. 2. That is, the device itself or each component for monitoring risk or opportunity events for user-customized topics through deep signals according to an embodiment of the present invention may be composed of the above-described computing device or a plurality of computing devices.
도 1을 참조하면, 컴퓨팅 장치는 먼저, 온라인 상의 게시 컨텐츠를 포함하는 데이터가 업로드되는 다수의 데이터 소스로부터 데이터의 등록 시 등록된 데이터를 크롤링(Crawling)하여 데이터의 등록을 관리하는 데이터 수집 및 관리 단계(S10)를 수행한다. Referring to FIG. 1, the computing device first collects and manages data by crawling the registered data when registering data from a plurality of data sources where data including online posted content is uploaded, and managing the registration of the data. Perform step S10.
본 발명에서 온라인 상이란, 유저가 단말을 통해 유무선 네트워크를 이용하여 접근 가능한 모든 온라인 상의 주소 또는 이에 대응하는 서버 등 가상의 공간을 통칭하는 개념으로 이해될 수 있다. 특히, 본 발명에 있어서는, 문서 등의 데이터에 대한 열람이나 다운로드가 가능한 가상 공간이 온라인 상의 공간에 대응되는 것으로 이해될 것이다. In the present invention, online can be understood as a concept that collectively refers to virtual spaces such as all online addresses or servers corresponding thereto that can be accessed by a user using a wired or wireless network through a terminal. In particular, in the present invention, a virtual space where data such as documents can be viewed or downloaded will be understood to correspond to an online space.
본 발명에서 게시 컨텐츠는, 텍스트 및 비텍스트를 포함하는 컨텐츠로서, 후술하는 바와 같이 SNS 상의 유저들이 업로드한 동영상, 이미지, 텍스트 데이터 등의 컨텐츠, 학술자료, 뉴스, 블로그(Blog) 게시글 등 온라인 상에서 유저들이 확인 가능한 모든 컨텐츠를 포함한다. In the present invention, posted content is content including text and non-text, and as described later, content such as videos, images, and text data uploaded by users on SNS, academic materials, news, and blog posts are posted online. Includes all content that users can view.
데이터 소스는, 온라인 상의 가상 공간의 단위로서, 데이터의 접근이 가능한 서버 단위 또는 클라우드 단위의 저장소를 의미한다. 예를 들어 일 SNS(Social Network Service)나, 학술 자료 열람용 웹 페이지, 일반 포털 사이트 등 다양한 단위의 데이터에 대한 접근이 가능한 가상 공간 또는 이에 대응되는 저장소가 데이터를 공급하는 소스로서 데이터 소스로 지칭될 수 있다. 컴퓨팅 장치는, 데이터 소스로부터 데이터의 등록을 감지하기 위하여, 데이터 소스의 로그에 대한 접근 권한을 가질 수 있다. A data source is a unit of online virtual space and refers to a server-level or cloud-level storage where data can be accessed. For example, a virtual space or a corresponding storage that provides access to data in various units, such as a social network service (SNS), a web page for viewing academic materials, or a general portal site, is a source of data and is referred to as a data source. It can be. The computing device may have access to the data source's logs to detect registration of data from the data source.
데이터가 등록되는 순간 S10 단계를 통해 등록된 데이터가 크롤링, 즉 캡쳐링되어서, 후술하는 별도의 저장소에 데이터를 저장할 수 있도록 준비된다. 데이터를 저장할 수 있도록 준비함은, 최종적으로 저장소에 데이터를 저장하기 전 S20 단계의 수행을 위하여 임시로 특정 저장 공간에 데이터가 임시 저장됨을 의미하는 것으로 이해될 수 있다. The moment data is registered, the data registered through step S10 is crawled, that is, captured, and prepared to store the data in a separate storage as described later. Preparing to store data can be understood to mean that the data is temporarily stored in a specific storage space to perform step S20 before finally storing the data in the storage.
데이터 소스는 상술한 바와 같이 데이터에 대한 접근이 가능한 모든 장소를 의미한다. 이때 데이터 소스는 그 성격에 따라서 다양한 타입으로 분류될 수 있다. 예를 들어, 유저가 특정 아이디 등으로 로그인(Log-in)하는 과정 없이 데이터에 대한 접근이 가능한 데이터 소스가 있다. 예를 들어, 구글, 네이버, 트위터, 페이스북 등 플랫폼에 접속 시 데이터에 대한 접근이 가능한 형태이다.As described above, a data source refers to any place where data can be accessed. At this time, data sources can be classified into various types depending on their characteristics. For example, there is a data source that allows users to access data without logging in with a specific ID. For example, data can be accessed when accessing platforms such as Google, Naver, Twitter, and Facebook.
한편, 유저가 특정 아이디 등으로 로그인하는 과정이 필요한 데이터 소스가 있다. 학교 게시판, 유저별 SNS, 네이버 카페 등이 이에 대한 예에 포함된다. 또한 개인 저장소로서, 유저가 로그인 하되, 완전히 폐쇄된 데이터 소스가 있다. 클라우드 저장소 등이 이에 대한 예로 들 수 있다. Meanwhile, there are data sources that require the user to log in with a specific ID. Examples include school bulletin boards, user-specific SNS, and Naver cafes. It is also a private repository, where users log in, but there is a completely closed data source. Cloud storage, etc. are examples of this.
이러한 경우에 컴퓨팅 장치는 서로 다른 크롤링 수단을 이용하여 데이터를 크롤링할 수 있다. 즉 데이터 소스의 접근 가능성 및 폐쇄성 여부에 따라서 서로 다른 크롤러를 사용할 수 있는 것이다. 이를 위해서 S10 단계의 수행에 있어서, 컴퓨팅 장치는 로그인 없이 데이터 수집이 가능한 데이터 소스로부터 데이터를 크롤링하는 제1 크롤러 및 유저 계정의 로그인 시 데이터 수집이 가능한 데이터 소스에 접근하여 유저 계정을 이용하여 로그인하고 데이터를 크롤링하는 제2 크롤러 중 어느 하나를 데이터 소스에 대한 유저 계정의 로그인 필요성을 기준으로 데이터 소스 별로 이용하여 데이터를 크롤링할 수 있다.In these cases, the computing device may crawl data using different crawling means. In other words, different crawlers can be used depending on the accessibility and closure of the data source. To this end, in performing step S10, the computing device accesses a data source capable of collecting data when a first crawler and a user account log in, which crawls data from a data source capable of collecting data without logging in, and logs in using the user account. Any one of the second crawlers that crawl data may be used for each data source based on the need to log in to the user account for the data source.
제2 크롤러의 경우, 컴퓨팅 장치는 제2 크롤러의 사용을 위해서, 유저가 본 발명의 방법에 따른 서비스를 제공하는 장치에 유저가 데이터의 접근을 위해서 등록한 데이터 소스에 대한 유저 계정의 아이디 및 패스워드 등을 유저 계정에 매칭하여 저장할 수 있으며, 데이터 소스에 따라서 같거나 다른 유저의 아이디 및 패스워드 등의 인증 정보를 이용하여, 데이터의 크롤링 시 제2 크롤러로 하여금 데이터 접근을 위해서 데이터 소스에 대한 인증을 수행하도록 할 수 있다. In the case of the second crawler, for use by the second crawler, the computing device is provided with the ID and password of the user account for the data source registered by the user for access to data on the device providing the service according to the method of the present invention. can be stored by matching the user account, and depending on the data source, authentication information such as the ID and password of the same or different user is used to enable a second crawler to authenticate the data source to access the data when crawling the data. You can do it.
한편, 본 발명에서는 유저에 맞춤화된 기회나 위험에 대응되는 데이터에 따른 이벤트를 알리는 데 그 목적이 있다. 이에 따라서 S10 단계에 있어서 컴퓨팅 장치는 데이터의 크롤링에 있어서 모든 데이터의 크롤링을 수행하지 않고, 유저가 설정한 조건에 만족하는 데이터에 대한 크롤링만을 수행하도록 설정할 수 있다. Meanwhile, the purpose of the present invention is to notify events based on data corresponding to opportunities or risks customized to the user. Accordingly, in step S10, the computing device may be set to crawl only data that satisfies the conditions set by the user, rather than crawling all data.
예를 들어 상술한 서비스의 이용을 위하여 유저 계정을 등록하거나 관리 시, 유저들은 자신이 원하는 토픽이나 키워드 등을 관심 토픽 또는 관심 키워드로 지정 설정할 수 있다. 즉, 유저들은 상술한 관심 정보로서, 유저 계정에서 설정할 수 있는 관심 정보란에 이벤트 알림을 받고자 하는 대상에 대한 키워드 정보를 관심 정보로서 설정할 수 있다. 이때 S10 단계에 있어서 컴퓨팅 장치는 상술한 바와 같이 데이터의 등록을 감지 시, 데이터의 문서 구조 분석을 통해서, 관심 토픽 및 관심 키워드에 대응되거나, 단어 유사도 분석 알고리즘을 통해서 유저가 설정한 관심 정보에 해당하는 키워드와 유사한 토픽 또는 키워드를 포함하는 데이터만을 크롤링할 수 잇다. 본 발명에서 토픽은 데이터의 주제, 작성자, 작성 시간, 작성 장소 등에 대응되는 키워드나 문장을 의미하며, 키워드는 데이터에 포함된 단어 또는 단어군을 의미하는 것으로 이해될 수 있다. For example, when registering or managing a user account to use the above-mentioned service, users can designate their desired topic or keyword as a topic or keyword of interest. In other words, users can set keyword information about the target for which they want to receive event notification as interest information in the interest information field that can be set in the user account as the above-mentioned interest information. At this time, in step S10, when the computing device detects registration of data as described above, it corresponds to topics of interest and keywords of interest through analysis of the document structure of the data, or corresponds to information of interest set by the user through a word similarity analysis algorithm. You can only crawl data that contains topics or keywords similar to the keyword you are searching for. In the present invention, a topic refers to a keyword or sentence corresponding to the subject, author, creation time, creation location, etc. of data, and a keyword may be understood to mean a word or word group included in the data.
데이터에서 토픽이나 키워드를 추출하는 데에는, 데이터가 텍스트인 경우 텍스트를 분석하여 이에 대응되는 토픽이나 키워드를 추출하는 프로세스를 의미한다. 한편, 데이터가 텍스트 이외의 이미지, 동영상 또는 음원 컨텐츠인 경우, 이에 매칭 저장된 해당 컨텐츠에 대한 토픽이나 키워드가 설정되어 저장되는 메타 데이터나, 예를 들어 이미지 분석을 통해서 도출되는 객체의 식별 정보, 색상 정보 등을 추출하는 프로세스를 의미할 수 있다. Extracting topics or keywords from data refers to the process of analyzing the text and extracting topics or keywords that correspond to it when the data is text. On the other hand, if the data is an image, video, or sound source content other than text, metadata that sets and stores a topic or keyword for the corresponding content that matches and stores it, or, for example, object identification information and color derived through image analysis, It may refer to a process of extracting information, etc.
한편, S10 단계에 있어서, 데이터의 크롤링이 정상적으로 이루어지는지 여부나, 데이터의 크롤링이 어떤 상태로 이루어지고 있는지 여부를 파악하는 것은, 유저에게 있어서 제공되는 정보에 대한 신뢰도 파악 및 트렌드 파악에 중요할 수 있다.Meanwhile, in the S10 stage, determining whether data crawling is performed normally or in what state data crawling is being performed can be important for determining the reliability of information provided to users and identifying trends. there is.
이를 위해서 본 발명의 다른 실시예에 있어서 S10 단계에서는, 크롤링되는 데이터에 대한 통계 수치, 정상적인 크롤링 여부를 나타내는 크롤링 오류 비율 및 데이터 소스에 대한 접근 실패 정보를 포함하는 크롤링 모니터링 정보를 생성하여 유저 계정에 전송하여, 현재 데이터에 대한 크롤링 상태를 모니터링할 수 있고, 이에 따라서 상술한 관심 토픽이나 관심 키워드의 편집 또는 데이터 소스에 대한 선택 등을 통해서 자신에게 맞춤화된 데이터 소스에서 데이터를 크롤링할 수 있도록 가이드할 수 있다.To this end, in step S10 in another embodiment of the present invention, crawling monitoring information including statistical values for crawled data, crawl error rate indicating normal crawling, and access failure information to the data source is generated and sent to the user account. By sending, you can monitor the crawling status of the current data, and accordingly, guide you to crawl data from a data source customized to you through editing the above-mentioned topics of interest or keywords of interest or selecting a data source. You can.
이러한 다양한 기능을 수행하기 위하여, 도 2에 도시된 바와 같이 S10 단계의 기능을 수행하는 데이터 수집 및 관리부(11)가 본 발명의 일 실시예에 따른 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 장치(10, 이하 본 발명의 장치라 함)의 구성으로서 포함될 수 있다. In order to perform these various functions, the data collection and management unit 11, which performs the function of step S10 as shown in FIG. 2, collects risks or It may be included as a component of an opportunistic event monitoring device (10, hereinafter referred to as the device of the present invention).
즉 데이터 수집 및 관리부(11)는 S10 단계에 대한 설명에서 언급한 바와 같이 온라인 상의 다수의 데이터 소스(100)로부터 데이터의 등록 시 등록된 데이터를 크롤링(Crawling)하여 데이터의 등록을 관리하는 기능을 수행한다. In other words, as mentioned in the description of step S10, the data collection and management unit 11 performs the function of managing data registration by crawling the registered data when registering data from multiple data sources 100 online. Perform.
이때 상술한 구체적인 기능을 수행하기 위해서, 도 3에 도시된 바와 같은 구체적인 구성 요소들을 포함할 수 있다. 이때, 상술한 제1 크롤러 및 제2 크롤러의 구분 기준과 달리, 데이터 소스의 종류에 따라서 서버 측 크롤러(110) 및 단말 측 크롤러(111)가 존재할 수 있다.At this time, in order to perform the specific functions described above, specific components as shown in FIG. 3 may be included. At this time, unlike the above-described criteria for distinguishing between the first crawler and the second crawler, a server-side crawler 110 and a terminal-side crawler 111 may exist depending on the type of data source.
서버 측 크롤러(110)는 데이터 소스가 단말에서 접근 가능한 온라인 상의 원격의 서버에 대응되는 데이터 소스인 경우로서, 일반 API 기반 크롤러(1100), 일반 웹 사이트 크롤러(1101), 주식 크롤러(1102), 데이터 추출기(1103) 및 HTML 페이지 추출기(1104) 등이 포함될 수 있다. The server-side crawler 110 is a data source corresponding to a remote online server accessible from the terminal, and includes a general API-based crawler 1100, a general website crawler 1101, a stock crawler 1102, A data extractor 1103 and an HTML page extractor 1104 may be included.
이때 일반 API 기반 크롤러(1100), 일반 웹 사이트 크롤러(1101), 주식 크롤러(1102), 데이터 추출기(1103) 및 HTML 페이지 추출기(1104) 등은 앱이나 웹 상의 데이터 크롤러로서, 제1 크롤러에 속할 가능성이 높은 크롤러들을 의미할 수 있다. At this time, the general API-based crawler (1100), general website crawler (1101), stock crawler (1102), data extractor (1103), and HTML page extractor (1104) are data crawlers on the app or web and belong to the first crawler. This could mean crawlers with a high probability.
한편, 단말 측 크롤러(111)는 유저별 개인 중요 정보가 저장되는 단말 측의 데이터를 크롤링하는 크롤러로서, 도 3에 도시된 바와 같이 클라우드 저장공간(1110), 파일 업로드(111), SNS 저장 공간(1112) 및 메타 검색기(1113) 등 개인의 접근시 인증이 필요한 데이터 소스에 대한 데이터 크롤러들이 포함될 수 있어, 주로 제2 크롤러가 이에 속하는 것으로 이해될 수 있다.Meanwhile, the terminal-side crawler 111 is a crawler that crawls data on the terminal side where personal important information for each user is stored. As shown in FIG. 3, the terminal-side crawler 111 includes cloud storage space 1110, file upload 111, and SNS storage space. Data crawlers for data sources that require authentication when accessing an individual, such as (1112) and meta searcher (1113), may be included, so the second crawler can be mainly understood as belonging to this.
한편, 크롤링 분석기(112)는, 상술한 데이터의 크롤링이 정상적으로 이루어지는지 여부나, 데이터의 크롤링이 어떤 상태로 이루어지고 있는지 여부를 파악하는 기능을 수행하는 구성으로 이해될 수 있다.Meanwhile, the crawling analyzer 112 can be understood as a component that performs the function of determining whether the crawling of the above-described data is performed normally or in what state the data is being crawled.
S10 단계가 수행되면, 컴퓨팅 장치는, 크롤링된 데이터에 대해서, 유저 계정으로부터 설정된 정보로서 상술한 유저 계정의 관심 정보를 포함하는 관심 토픽별로 인덱싱(Indexing)하여 도 2에 도시된 크롤링된 데이터에 대한 데이터베이스(15)에 저장하는 데이터 분류 및 저장 단계(S20)를 수행한다. When step S10 is performed, the computing device indexes the crawled data by topics of interest including the interest information of the user account described above as information set from the user account, and provides information on the crawled data shown in FIG. 2. A data classification and storage step (S20) is performed to store the data in the database 15.
크롤링된 데이터는, 다양한 비정형 세부 데이터로서, 텍스트, 이미지, 동영상, 음원 등을 포함하고 있다. S20 단계에서는 이에 대해서 상술한 바와 같이 유저 계정에 설정된 관심 토픽이나 키워드 등, 바람직하게는 관심 토픽별로, 데이터를 분류하고 이에 대한 인덱싱을 수행하여 데이터가 어떤 토픽에 대응되는지 여부를 데이터베이스(15)를 통해서 정확하게 파악할 수 있도록 할 수 있다. Crawled data is a variety of unstructured detailed data and includes text, images, videos, sound sources, etc. In step S20, as described above, the data is classified by interest topic or keyword set in the user account, preferably by interest topic, and indexing is performed to determine which topic the data corresponds to in the database 15. This can help you understand accurately.
이러한 기능을 수행하기 위하여, 도 2에 도시된 본 발명의 장치(10)에는, 데이터 분류 및 저장부(12)가 상술한 S20 단계에 대응되는 기능을 수행하는 구성으로 포함될 수 있다. 이때 상술한 구체적인 기능을 수행할 수 있도록 하기 위하여, 데이터 분류 및 저장부(12)는 도 4에 도시된 바와 같은 세부 구성 예를 갖도록 구성되어, S20 단계에 대한 구체적인 기능을 수행할 수 있다.In order to perform this function, the device 10 of the present invention shown in FIG. 2 may include a data classification and storage unit 12 that performs the function corresponding to step S20 described above. At this time, in order to be able to perform the specific functions described above, the data classification and storage unit 12 is configured to have a detailed configuration example as shown in FIG. 4, and can perform the specific functions for step S20.
크롤링된 데이터(101)가 상술한 바와 같이 임시 저장 공간으로부터 로딩되면, S20 단계의 수행에 있어서 데이터 분류 및 저장부(12)는 세부 정보를 추출하는 정보 추출부(121)로서 예를 들어 데이터의 실제 위치 등을 파악할 수 있는 GPS 모듈(1211)이나, 상술한 토픽 추출 모듈(1212)을 포함하여 구성될 수 있다.When the crawled data 101 is loaded from the temporary storage space as described above, in performing step S20, the data classification and storage unit 12 is an information extraction unit 121 that extracts detailed information, for example, of the data. It may be configured to include a GPS module 1211 that can determine the actual location, etc., or the topic extraction module 1212 described above.
한편, 크롤링 컴포넌트에서 인덱싱/저장 컴포넌트로 전송하기 위해 큐 시스템은 컴포넌트 간 메시징 버스(122)를 담당하도록 구성될 수 있다. 또한, 본 발명에서 관리되는 데이터는 그 스키마(Schema)가 매우 다양하고, 이기종 데이터 소스가 다양하게 존재하기 때문에, 이에 대응하기 위하여, 상술한 크롤링된 데이터가 인덱싱 뒤 저장되는 데이터베이스(15)는 확장 가능상 저장소인 NoSQL 저장소인 것이 바람직하다.Meanwhile, the queue system may be configured to take charge of the inter-component messaging bus 122 for transmission from the crawling component to the indexing/storage component. In addition, since the data managed in the present invention has very diverse schemas and various heterogeneous data sources exist, the database 15 in which the crawled data described above is stored after indexing can be expanded. If possible, it is desirable that the storage be a NoSQL storage.
NoSQL 저장소는 일반적인 데이터베이스 모델인 SQL 데이터베이스(관계형 데이터베이스)와 대비되는 개념으로서, 낮은 지연 시간의 애플리케이션을 포함한 수많은 데이터 액세스 패턴에 맞도록 설계되었다. NoSQL 검색 데이터베이스는 반정형 데이터에서 분석을 위해 설계되었다.NoSQL storage is a concept that contrasts with the common database model, SQL database (relational database), and is designed to fit numerous data access patterns, including low-latency applications. NoSQL search databases are designed for analysis on semi-structured data.
NoSQL 데이터베이스는 키값, 문서, 그래프 등 성능과 규모 확장에 최적화된 다양한 데이터 모델을 제공한다. NoSQL 데이터베이스는 흔히 수평으로 확장할 수 있는 보다 유연한 데이터 모델을 위해 관계형 데이터베이스의 일부 ACID 속성을 완화함으로써 조정한다. 이로써 NoSQL 데이터베이스는 단일 인스턴스의 한계를 넘어 수평으로 확장해야 하는 사용 사례에서 높은 처리량, 낮은 지연 시간을 위한 탁월한 선택이 될 수 잇다. NoSQL 데이터베이스는 일반적으로 거의 무제한적인 범위에서 일관된 성능을 제공하는 처리량 제고를 위해 분산형 아키텍처를 사용해 액세스 패턴이 확장 가능하기 때문에 분할성이 있다. 객체 기반 API를 통해 앱 개발자가 데이터 구조를 쉽게 저장 및 검색할 수 있다. 파티션 키를 사용하면 앱에서 키값 페어, 열 세트 또는 일련의 앱 객체 및 속성을 포함하는 반정형 문서를 검색할 수 있다.NoSQL databases provide a variety of data models optimized for performance and scale, including key values, documents, and graphs. NoSQL databases often adapt by relaxing some of the ACID properties of relational databases for a more flexible data model that can scale horizontally. This makes NoSQL databases an excellent choice for high throughput, low latency in use cases that need to scale horizontally beyond the limitations of a single instance. NoSQL databases are typically partitionable because access patterns are scalable using a distributed architecture to increase throughput providing consistent performance over nearly unlimited ranges. Object-based APIs allow app developers to easily store and retrieve data structures. Partition keys allow apps to retrieve semi-structured documents that contain key-value pairs, sets of columns, or sets of app objects and properties.
NoSQL 데이터베이스에서는 데이터의 액세스 및 관리를 위해 다양한 데이터 모델을 사용한다. 이러한 데이터베이스 유형은 큰 테이터 볼륨, 짧은 지연 시간과 유연한 데이터 모델이 필요한 애플리케이션에 최적화되었으며, 이는 다른 데이터베이스의 데이터 일관성 제약 일부를 완화함으로써 이루어진다.NoSQL databases use various data models to access and manage data. These database types are optimized for applications that require large data volumes, low latency, and flexible data models by alleviating some of the data consistency constraints of other databases.
간단한 서적 데이터베이스를 위한 스키마 모델 구축 사례를 고려해보면, 관계형 데이터베이스에서, 서적 레코드는 흔히 숨겨져(또는 "정규화되어") 별도의 테이블에 보관되고, 관계는 기본 및 외래 키 제약 조건으로 정의된다. 이 예시에서 서적 테이블에는 ISBN, 책 제목, 및 에디션 번호 열이 있으며, 저자 테이블에는 저자 ID 및 저자명 열이 있고, 마지막으로 저자-ISBN 테이블에는 저자 ID 및 ISBN 열이 있다. 관계형 모델은 중복성을 줄이도록 정규화되고 일반적으로 저장에 최적화된 데이터베이스에서 데이터베이스가 테이블 사이에서 참조 무결성을 실현할 수 있도록 고안된다.Consider the example of building a schema model for a simple book database: In a relational database, book records are often hidden (or "normalized") and kept in separate tables, and relationships are defined by primary and foreign key constraints. In this example, the books table has columns ISBN, book title, and edition number, the author table has columns author ID and author name, and finally the author-ISBN table has columns author ID and ISBN. The relational model is normalized to reduce redundancy and is designed to enable the database to achieve referential integrity between tables, usually in a storage-optimized database.
반면, NoSQL 데이터베이스에서, 서적 레코드는 보통 JSON 문서로 저장된다. 각각의 서적에 대해, 항목, ISBN, 책제목, 에디션 번호, 저자명, 및 저자 ID가 단일 문서 내에 속성으로 저장된다. 이 모델에서, 데이터는 직관적 개발과 수평 확장성에 최적화될 수 있다.On the other hand, in NoSQL databases, book records are usually stored as JSON documents. For each book, the item, ISBN, book title, edition number, author name, and author ID are stored as attributes within a single document. In this model, data can be optimized for intuitive development and horizontal scalability.
이러한 특성에 의하여, 본 발명의 데이터 소스에서 크롤링된 데이터의 저장에는 상술한 바와 같이 NoSQL 저장소의 특성을 갖는 데이터베이스(15)가 사용됨이 바람직하다.Due to these characteristics, it is preferable to use a database 15 with NoSQL storage characteristics as described above to store data crawled from the data source of the present invention.
한편, 상술한 토픽 추출 모듈(1212)에서는 상술한 바와 같이 데이터를 분석하여 토픽을 추출하게 되는데, 다양한 데이터의 타입에 따라서 토픽 추출 역시 다양한 알고리즘을 이용하여 이루어질 수 있으며, 예를 들어 문장 내의 키워드 빈도수 분석, 이미지 내의 객체 분석 등을 통해 토픽을 추출할 수 있다.Meanwhile, the above-described topic extraction module 1212 extracts topics by analyzing data as described above. Depending on various types of data, topic extraction may also be performed using various algorithms, for example, keyword frequency within sentences. Topics can be extracted through analysis, object analysis in images, etc.
한편 S20 단계를 통하여 데이터에 대한 인덱싱이 이루어지면, 컴퓨팅 장치는 저장된 데이터에 포함된 텍스트 데이터의 분석을 통해 상기 저장된 데이터의 등록으로 발생된 이벤트가 유저 계정에 대한 알림 대상이 되는 통지 대상 이벤트인지 여부를 딥시그널 알고리즘을 이용하여 판단하는 데이터 분석 단계(S30)를 수행한다. Meanwhile, when data is indexed through step S20, the computing device analyzes the text data included in the stored data to determine whether the event generated by registration of the stored data is a notification event subject to notification for the user account. A data analysis step (S30) is performed to determine using the deep signal algorithm.
각 토픽별로 분류된 데이터는 다양한 세부 정보를 포함하고 있으며, 컴퓨팅 장치는 데이터베이스(15)에 새롭게 등록된 데이터에 대한 세부 정보를 정밀 분석하여 유저 계정에서 쓸모 있는 데이터, 즉 본 발명에서 유저 계정에 대한 통지 대상이 되는 이벤트인지 여부를 S30 단계를 통해 판단하게 되는 것이다.The data classified by each topic contains various detailed information, and the computing device closely analyzes the detailed information on the newly registered data in the database 15 to obtain useful data from the user account, that is, the user account in the present invention. Whether it is an event subject to notification is determined through step S30.
상술한 기능을 수행하기 위하여 도 2에 도시된 바와 같이 본 발명의 장치(10)에는 상술한 S30 단계의 기능 수행을 위하여 데이터 분석부(13)가 포함될 수 있다. In order to perform the above-described function, as shown in FIG. 2, the device 10 of the present invention may include a data analysis unit 13 to perform the function of step S30 described above.
이때 상술한 S30 단계에 대한 구체적인 기능들을 수행할 수 있도록 하기 위하여, 데이터 분석부(13)는 도 5에 도시된 바와 같은 다양한 세부 구성요소들을 포함할 수 있다. At this time, in order to be able to perform specific functions for step S30 described above, the data analysis unit 13 may include various detailed components as shown in FIG. 5.
S30 단계의 구체적인 수행의 일 예로서, 도 5에 세부 고성으로 포함된 비정상 분석 감지 모듈(131)에서는, 예를 들어 데이터의 분석에 대한 오류를 감지하여 이에 대한 리포트를 유저 계정에 제공할 수 있다. 비정상 분석 감지 모듈(131)은 예를 들어 상술한 도 3의 크롤링 분석기(112)가 수행하는 S10 단계의 구체적인 기능과 유사하게, 데이터의 분석에 있어서도 그 모니터링을 수행하는 것이다.As an example of specific performance of step S30, the abnormal analysis detection module 131 included in detail in FIG. 5 can, for example, detect errors in data analysis and provide a report about them to the user account. . For example, the abnormal analysis detection module 131 performs monitoring in the analysis of data, similar to the specific function of step S10 performed by the crawling analyzer 112 of FIG. 3 described above.
예를 들어 데이터에 포함된 텍스트를 번역하여 유저 계정에서 설정된 언어로 텍스트를 분석할 수 있다. 텍스트에 대한 언어 번역은, 기계어에서 유저가 이해할 수 있는 언어로의 번역 또는 유저가 사용하는 내국어로의 외국어 텍스트의 번역 모두를 포함하는 개념으로 이해될 수 있다. 이때 번역 오류로는, 데이터에 포함된 텍스트 분석 결과에 대한 인코딩 오류, 이진 문서로의 번역에 따른 번역 오류 등이 포함될 수 있다. For example, you can translate the text contained in the data and analyze the text in the language set in the user account. Language translation of text can be understood as a concept that includes both translation from machine language to a language that users can understand, or translation of foreign language text into the native language used by users. At this time, translation errors may include encoding errors in the results of text analysis included in the data, translation errors due to translation into binary documents, etc.
한편, 분석 오류에는, 분석 대상이 되는 데이터가 아닌 사용성이 없는 데이터에 대한 크롤링이 이루어진 경우를 다른 예로서 포함한다. 예를 들어 텍스트 분석 결과 유저 계정에서 설정된 스팸 분류 기준에 속함에 따른 데이터의 스팸 분류 결과가 발생 시 분석 오류로 판단할 수 있다. Meanwhile, another example of an analysis error includes a case where crawling is performed on unusable data rather than the data being analyzed. For example, as a result of text analysis, if the data is classified as spam according to the spam classification criteria set in the user account, it can be judged as an analysis error.
컴퓨팅 장치, 즉 본 발명의 장치(10)는 S30 단계의 수행 시, 비정상 분석 감지 모듈(131)에 의하여 상술한 예들에 포함하는 비정상 분석 결과를 감지하고, 유저 계정에 비정상 분석 결과에 대한 리포트를 제공할 수 있는 것이다.When performing step S30, the computing device, that is, the device 10 of the present invention, detects abnormal analysis results included in the above-described examples by the abnormal analysis detection module 131 and sends a report on the abnormal analysis results to the user account. It is something that can be provided.
한편, 감성 분석 모듈(132), 이미지 분석 모듈(133), 문장 구조 분석/키워드 추출 모듈(134), 요약 모듈(135), 번역 모듈(146) 등이 다양한 데이터의 분석을 위해서 포함될 수 있다. Meanwhile, a sentiment analysis module 132, an image analysis module 133, a sentence structure analysis/keyword extraction module 134, a summary module 135, a translation module 146, etc. may be included for analysis of various data.
딥시그널(Deep Signal) 알고리즘은, 상술한 각 모듈(132, 133, 134, 135, 146) 모듈에 해당하는 알고리즘이 결합되어 데이터를 분석하고, 후술하는 바와 같이 유저의 관심 정보에 해당하는 이벤트의 발생 여부를 판단하는 동시에, 이에 대해서 유저 계정에 맞춤화된 이벤트의 발생 시 이를 알릴 수 있도록 하는 알고리즘을 지칭한다. The Deep Signal algorithm combines the algorithms corresponding to each of the modules 132, 133, 134, 135, and 146 described above to analyze data, and as described later, events corresponding to information of interest to the user. It refers to an algorithm that determines whether an event has occurred and at the same time notifies when an event customized to the user account occurs.
예를 들어, 인공지능 기반 알고리즘들로서, 감성 분석 모듈(132)은 기설정된 텍스트 감성 분석 알고리즘, 이미지 분석 모듈(133)은 데이터에 포함된 이미지에 대한 기설정된 이미지 분석 알고리즘, 문장 구조 분석/키워드 추출 모듈(134)은 텍스트 저작자, 텍스트에 포함된 토픽 및 텍스트를 기반으로 인지 가능한 이벤트를 추출 가능한 기설정된 문장 구조 분석 및 키워드 추출 알고리즘, 요약 모듈(135)은 데이터에 포함된 텍스트를 기설정된 개수의 문장으로 요약하는 기설정된 문장 요약 알고리즘을 각각 포함한다. 이러한 알고리즘과 함께 번역 모듈(136)에서는 상술한 바와 같이 유저가 사용하는 것으로 유저 계정에 설정된 언어로 텍스트나 기계어 등을 번역하게 된다. 또한, 이외에, 토픽이나 키워드에 링크된 다양한 텍스트에 포함된 엔티티 등에 대한 인지 알고리즘 역시 적용될 수 있다.For example, as artificial intelligence-based algorithms, the sentiment analysis module 132 is a preset text sentiment analysis algorithm, and the image analysis module 133 is a preset image analysis algorithm for images included in data, and sentence structure analysis/keyword extraction. The module 134 is a preset sentence structure analysis and keyword extraction algorithm capable of extracting recognizable events based on the text author, topics included in the text, and text, and the summary module 135 is a preset number of texts included in the data. Each includes a preset sentence summary algorithm that summarizes into sentences. Along with this algorithm, the translation module 136 translates text or machine language into the language used by the user and set in the user account, as described above. Additionally, recognition algorithms for entities included in various texts linked to topics or keywords can also be applied.
본 발명에 있어서 S30 단계는 상술한 세부 구성들에 포함된 복합적인 알고리즘들을 이용하여 데이터에 포함된 텍스트 데이터 및 비텍스트 데이터를 분석하게 된다. 이를 바탕으로 데이터에 포함된 텍스트 데이터 및 비텍스트 데이터의 분석 결과 이벤트의 발생 여부를 판단하게 된다.In the present invention, step S30 analyzes text data and non-text data included in the data using complex algorithms included in the detailed configurations described above. Based on this, it is determined whether an event has occurred as a result of analysis of text data and non-text data included in the data.
유저에게 맞춤화된 이벤트의 발생 여부를 판단함은, 데이터 분석부(13)에 포함된 이벤트 감지 모듈(137)이 분석된 토픽이 유저 계정에 기설정된 관심 토픽에 해당하는 경우, 그 데이터를 통지 대상 이벤트에 속하는 것으로 판단함을 의미한다. 이렇게 통지 대상 이벤트에 속하는 데이터에 대한 정보가 유저 계정에 이벤트가 발생되었음을 알리는 통지 정보로서 생성되어 S40 단계를 통해 전송되는 것이다.To determine whether an event customized to the user has occurred, if the analyzed topic by the event detection module 137 included in the data analysis unit 13 corresponds to a topic of interest preset in the user account, the data is sent to the notification target. This means that it is judged to belong to an event. In this way, information about data belonging to the event subject to notification is generated as notification information indicating that an event has occurred in the user account and transmitted through step S40.
즉 상술한 바와 같이, 딥시그널 알고리즘을 통하여, 다양한 게시 컨텐츠의 등록 시 데이터에 포함된 컨텐츠가 유저 계정에 설정된 관심 정보에 해당하는 키워드 등에 대해서 유저의 정책 결정 및 의사 결정 등에 영향을 미치는 이벤트인지 여부를 판단할 수 있게 된다. In other words, as described above, through the deep signal algorithm, whether the content included in the data when registering various published contents is an event that affects the user's policy making and decision-making with respect to keywords corresponding to information of interest set in the user account, etc. It becomes possible to judge.
S30 단계가 수행되면, 컴퓨팅 장치는, S30 단계에서 통지 대상 이벤트로 판단되는 데이터에 대해서 적어도 데이터의 메인 키워드를 포함하는 식별 정보, 등록된 데이터가 관심 토픽에 영향을 미치는 속성 정보인 이벤트 타입 정보 및 등록된 데이터에 포함된 컨텐츠의 내용 정보를 포함하는 통지 정보를 생성하여 유저 계정에 전송하는 알림 단계(S40)를 수행한다. When step S30 is performed, the computing device provides identification information including at least the main keyword of the data for the data determined to be a notification target event in step S30, event type information where the registered data is attribute information that affects the topic of interest, and A notification step (S40) is performed in which notification information including content information of the content included in the registered data is generated and transmitted to the user account.
도 2에는 상술한 S40 단계의 기능 수행을 위한 구성으로서 알림부(14)가 포함되어 있다. 또한 도 6에는 상술한 알림부(14)의 세부 구성이 도시되어 있다. 상술한 바와 같이 알림부(14)는 주로 유저 단말(20)에 연결되어 상술한 통지 정보를 유저 단말(20)을 통해 로그인한 유저 계정에 전송한다.Figure 2 includes a notification unit 14 as a component for performing the function of step S40 described above. Also, Figure 6 shows the detailed configuration of the above-described notification unit 14. As described above, the notification unit 14 is mainly connected to the user terminal 20 and transmits the above-described notification information to the user account logged in through the user terminal 20.
이벤트 판단 모듈(141)은 예를 들어 데이터 분석부(13)로부터 S30 단계의 기능 수행에 따라서 분석된 토픽이 유저 계정의 관심 토픽에 해당하는 경우, 데이터를 통지 대상 이벤트에 속하는 것으로 판단됨을 알리는 신호를 수신하여, 해당 데이터가 이벤트에 해당함을 판단하는 기능을 수행한다. 또한 이와 더불어, 데이터의 식별 정보, 이벤트 타입 등에 대한 정보 및 데이터의 내용 정보를 수신할 수 있다. For example, if the topic analyzed according to the performance of step S30 from the data analysis unit 13 corresponds to the topic of interest of the user account, the event determination module 141 provides a signal indicating that the data is determined to belong to the event to be notified. It receives and performs a function to determine that the data corresponds to an event. Additionally, information on data identification information, event type, etc., and data content information can be received.
데이터의 식별 정보는, 저작자, 저작 일자, 저작 장소, 데이터 소스 및 메타 데이터 등 데이터를 식별할 수 있는 정보를 의미한다. 이벤트 타입에 대한 정보는 예를 들어 상술한 감성 분석 알고리즘을 통하여 분석된 결과로서, 관심 토픽에 긍정적인 영향을 미치는 데이터인지 또는 부정적인 영향을 미치는 데이터인지 여부를 식별할 수 있는 정보를 의미한다. 데이터의 내용 정보는 데이터에 포함된 엔티티, 키워드, 전체 컨텐츠 등을 의미할 수 있다.Data identification information refers to information that can identify data, such as author, date of creation, location of creation, data source, and metadata. Information about the event type is, for example, a result of analysis through the above-described sentiment analysis algorithm, and refers to information that can identify whether the data has a positive or negative impact on the topic of interest. Content information of data may refer to entities, keywords, and overall content included in the data.
한편, 통계 모듈(142)은 상술한 바와 같이 수집되는 데이터의 수집량, 수집 빈도 등 데이터의 트렌드를 파악할 수 있는 정보를 포함한다. 예를 들어, S30 단계를 통해 도출된 정보를 이용하여 도출된 토픽의 시계열 집계 통계 정보 등이 통계 모듈(142)로부터 S40 단계의 기능 수행을 통해서 수집되어 제공될 수 있다.Meanwhile, the statistical module 142 includes information that can identify data trends, such as the amount of data collected and the frequency of collection, as described above. For example, time series aggregate statistical information of topics derived using the information derived through step S30 may be collected and provided from the statistics module 142 through the performance of the function of step S40.
한편 인기 정보 분석 모듈(143)은 유저 계정에서 설정된 관심 토픽에 대해서, 해당 토픽에서 인기 있는 것으로 판단되는 주체, 문서 및 대상 등을 포함하는 정보를 분석하는 기능을 S40 단계에서 구체적으로 수행한다. Meanwhile, the popular information analysis module 143 specifically performs the function of analyzing information including subjects, documents, and objects determined to be popular in the topic of interest set in the user account in step S40.
예를 들어, 토픽에 대응되는 데이터에 대한 온라인 상의 등록 및 열람 수치를 기반으로 판단되는 인기 주제, 인기 문서 및 인기 대상을 포함하는 인기 객체 정보가 인기 정보 분석 모듈(143)에서 파악되는 정보로서 포함될 수 있다.For example, popular object information including popular topics, popular documents, and popular objects determined based on online registration and viewing figures for data corresponding to the topic will be included as information identified in the popular information analysis module 143. You can.
S40 단계 및 알림부(14)에서 수행되는 기능에 의하면 상술한 다양한 정보가 제공되는데, 이때 데이터의 직접 확인이 가능하도록 S40 단계에서 제공되는 통지 정보에는 상술한 정보들 이외에, 데이터의 접근이 가능한 접속 링크 정보가 함께 제공될 수 있다. 이때 유저 계정 전송되는 통지 정보는, 이메일, 문자, 푸쉬(Push) 등 유저 계정에 등록된 알림 주소로 다양한 형태로 전송될 수 있다.According to the functions performed in step S40 and the notification unit 14, various information described above is provided. At this time, the notification information provided in step S40 includes the information provided in step S40 to enable direct confirmation of the data, in addition to the information described above, and a connection that allows access to the data. Link information may also be provided. At this time, notification information transmitted to the user account may be transmitted in various forms, such as email, text, or push, to the notification address registered in the user account.
예를 들어 통지 정보는 도 7에 도시된 바와 같은 푸쉬 메시지(200)로서, 이벤트가 감지되었음을 알리는 신호와 함께 해당 토픽(201), 통계 정보(202) 및 이벤트 타입 정보(203) 등이 아이콘이나 키워드화되어 제공되고, 뷰어 메뉴(204)가 함께 제공되어, 유저들은 이를 통해서 해당 데이터 소스에 직접 접근하여 데이터를 확인할 수 있다. For example, the notification information is a push message 200 as shown in FIG. 7, and a signal notifying that an event has been detected along with the corresponding topic 201, statistical information 202, and event type information 203 are displayed as icons or It is provided in keywords and is provided with a viewer menu 204, through which users can directly access the data source and check the data.
이와 같은 본 발명의 실시예에 따르면, 예를 들어 유저가 주식을 투자하는 투자자인 경우, 주식에 해당하는 종목 등을 관심 정보로 등록 시, 관심 정보에 대응하는 종목의 주가에 영향을 미칠 수 있는 다양한 이벤트에 대해서 알림을 받음으로써, 투자에 대한 의사 결정에 도움을 줄 수 있다. According to this embodiment of the present invention, for example, if the user is an investor investing in stocks, when registering stocks, etc. as information of interest, the stock price of the stock corresponding to the information of interest may be affected. By receiving notifications about various events, you can help make investment decisions.
또 다른 예로는, 유저가 회사를 경영하는 경영자 또는 임직원인 경우, 자신의 업무에 영향을 미치는 키워드 등을 관심 정보로 등록 시, 이에 대한 다양한 소스를 수집할 수 있으며, 이를 통해서 업무에 대한 의사 또는 정책 결정에 영향을 미칠 수 있는 이벤트를 제공받을 수 있다. As another example, if a user is a manager or employee who runs a company, when he or she registers keywords that affect his or her work as information of interest, various sources regarding this can be collected, and through this, the user's intention or opinion about the work can be collected. You can receive events that can affect policy decisions.
이 외에도, 학생, 부모, 주부, 구직자 등 매우 다양한 분야의 유저들이, 자신의 생활 또는 활동에 영향을 미칠 수 있는 토픽에 대해서 이에 영향을 미칠 수 있는 이벤트가 발생되는 경우, 일일이 해당 정보를 조회할 필요 없이, 자신에게 도움이 되는 컨텐츠를 제공받고, 컨텐츠의 트렌드 등에 대한 정보 분석 결과를 제공받아, 생활 또는 활동에 대한 가이드를 제공받음으로써, 딥시그널 인공지능 모델이 각 유저의 비서와 같은 역할을 하도록 하는 효과가 있다.In addition, users in a wide variety of fields, such as students, parents, housewives, and job seekers, can search for the information one by one when an event that may affect a topic that may affect their lives or activities occurs. By receiving content that is helpful to you without any need, receiving information analysis results on content trends, etc., and providing guides for your life or activities, the Deep Signal artificial intelligence model acts like a secretary for each user. It has the effect of making you do it.
도 8은 본 발명의 일 실시 예에 따른 컴퓨팅 장치의 내부 구성의 일 예를 도시하였으며, 이하의 설명에 있어서, 상술한 도 1 내지 7에 대한 설명과 중복되는 불필요한 실시 예에 대한 설명은 생략하기로 한다.FIG. 8 illustrates an example of the internal configuration of a computing device according to an embodiment of the present invention. In the following description, descriptions of unnecessary embodiments that overlap with the description of FIGS. 1 to 7 described above will be omitted. Do this.
도 8에 도시한 바와 같이, 컴퓨팅 장치(10000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(10000)은 촉각 인터페이스 장치에 연결된 유저 단말이기(A) 혹은 전술한 컴퓨팅 장치(B)에 해당될 수 있다.As shown in FIG. 8, the computing device 10000 includes at least one processor 11100, a memory 11200, a peripheral interface 11300, and an input/output subsystem ( It may include at least an I/O subsystem (11400), a power circuit (11500), and a communication circuit (11600). At this time, the computing device 10000 may correspond to a user terminal (A) connected to a tactile interface device or the computing device (B) described above.
메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(10000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.The memory 11200 may include, for example, high-speed random access memory, magnetic disk, SRAM, DRAM, ROM, flash memory, or non-volatile memory. there is. The memory 11200 may include software modules, instruction sets, or various other data necessary for the operation of the computing device 10000.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.At this time, access to the memory 11200 from other components such as the processor 11100 or the peripheral device interface 11300 may be controlled by the processor 11100.
주변장치 인터페이스(11300)는 컴퓨팅 장치(10000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(10000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.The peripheral interface 11300 may couple input and/or output peripherals of the computing device 10000 to the processor 11100 and the memory 11200. The processor 11100 may execute a software module or set of instructions stored in the memory 11200 to perform various functions for the computing device 10000 and process data.
입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.The input/output subsystem 11400 can couple various input/output peripheral devices to the peripheral interface 11300. For example, the input/output subsystem 11400 may include a controller for coupling peripheral devices such as a monitor, keyboard, mouse, printer, or, if necessary, a touch screen or sensor to the peripheral device interface 11300. According to another aspect, input/output peripheral devices may be coupled to the peripheral interface 11300 without going through the input/output subsystem 11400.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.Power circuit 11500 may supply power to all or some of the terminal's components. For example, power circuit 11500 may include a power management system, one or more power sources such as batteries or alternating current (AC), a charging system, a power failure detection circuit, a power converter or inverter, a power status indicator, or a power source. It may contain arbitrary other components for creation, management, and distribution.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.The communication circuit 11600 may enable communication with another computing device using at least one external port.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.Alternatively, as described above, if necessary, the communication circuit 11600 may include an RF circuit to transmit and receive RF signals, also known as electromagnetic signals, to enable communication with other computing devices.
이러한 도 8의 실시 예는, 컴퓨팅 장치(10000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 8에 도시된 일부 컴포넌트가 생략되거나, 도 8에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 8에도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(10000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.This embodiment of FIG. 8 is only an example of the computing device 10000, and the computing device 11000 omits some components shown in FIG. 8, further includes additional components not shown in FIG. 8, or 2 It may have a configuration or arrangement that combines more than one component. For example, a computing device for a communication terminal in a mobile environment may further include a touch screen or a sensor in addition to the components shown in FIG. 8, and may include various communication methods (WiFi, 3G, LTE) in the communication circuit 1160. , Bluetooth, NFC, Zigbee, etc.) may also include a circuit for RF communication. Components that may be included in the computing device 10000 may be implemented as hardware, software, or a combination of both hardware and software, including one or more signal processing or application-specific integrated circuits.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시 예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.Methods according to embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computing devices and recorded on a computer-readable medium. In particular, the program according to this embodiment may be composed of a PC-based program or a mobile terminal-specific application. The application to which the present invention is applied can be installed on a user terminal through a file provided by a file distribution system. As an example, the file distribution system may include a file transmission unit (not shown) that transmits the file according to a request from the user terminal.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시 예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), It may be implemented using one or more general-purpose or special-purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. A processing device may execute an operating system (OS) and one or more software applications that run on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software. For ease of understanding, a single processing device may be described as being used; however, those skilled in the art will understand that a processing device may include multiple processing elements and/or multiple types of processing elements. It can be seen that it may include. For example, a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. Software and/or data may be used by any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. It can be embodied permanently or temporarily. Software may be distributed over networked computing devices and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.As described above, although the embodiments have been described with limited examples and drawings, various modifications and variations can be made by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent. Therefore, other implementations, other embodiments, and equivalents to the claims also fall within the scope of the claims described below.
Claims (10)
온라인 상의 게시 컨텐츠를 포함하는 데이터가 업로드되는 다수의 데이터 소스로부터 데이터의 등록 시 등록된 데이터를 크롤링(Crawling)하여 데이터의 등록을 모니터링하는 데이터 수집 및 관리 단계;
크롤링된 데이터에 대해서, 유저 계정으로부터 설정된 정보로서 유저 계정의 관심 정보를 포함하는 관심 토픽별로 인덱싱(Indexing)하여 저장하는 데이터 분류 및 저장 단계;
상기 저장된 데이터에 포함된 텍스트 데이터의 분석을 통해 상기 저장된 데이터의 등록으로 발생된 이벤트가 유저 계정에 대한 알림 대상이 되는 통지 대상 이벤트인지 여부를 딥시그널 알고리즘을 이용하여 판단하는 데이터 분석 단계; 및
상기 데이터 분석 단계에서 통지 대상 이벤트로 판단되는 데이터에 대해서 적어도 데이터의 메인 키워드를 포함하는 식별 정보, 등록된 데이터가 관심 토픽에 영향을 미치는 속성 정보인 이벤트 타입 정보 및 등록된 데이터에 포함된 컨텐츠의 내용 정보를 포함하는 통지 정보를 생성하여 유저 계정에 전송하는 알림 단계;를 포함하는 것을 특징으로 하는 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 방법.
A method for monitoring risk or opportunity events for user-customized topics through deep signals implemented by a computing device including one or more processors and one or more memories storing instructions executable by the processors, comprising:
A data collection and management step of monitoring the registration of data by crawling the registered data when registering data from a plurality of data sources where data including online posted content is uploaded;
A data classification and storage step of indexing and storing crawled data by topics of interest including interest information of the user account as information set from the user account;
A data analysis step of determining, using a deep signal algorithm, whether an event generated by registration of the stored data is a notification event subject to notification for the user account through analysis of text data included in the stored data; and
In the data analysis step, for data determined to be a notification target event, identification information including at least the main keyword of the data, event type information, which is attribute information that affects the topic of interest of the registered data, and content included in the registered data. A method for monitoring risk or opportunity events for user-customized topics through deep signals, comprising a notification step of generating notification information including content information and transmitting it to the user account.
상기 데이터 수집 및 관리 단계는,
로그인 없이 데이터 수집이 가능한 데이터 소스로부터 데이터를 크롤링하는 제1 크롤러 및 유저 계정의 로그인 시 데이터 수집이 가능한 데이터 소스에 접근하여 유저 계정을 이용하여 로그인하고 데이터를 크롤링하는 제2 크롤러 중 어느 하나를 데이터 소스에 대한 유저 계정의 로그인 필요성을 기준으로 데이터 소스 별로 이용하여 데이터를 크롤링하는 것을 특징으로 하는 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 방법.
According to paragraph 1,
The data collection and management steps are,
A first crawler that crawls data from a data source that can collect data without logging in, and a second crawler that accesses a data source that allows data collection when the user account logs in, logs in using the user account, and crawls the data. A method of monitoring risk or opportunity events for user-customized topics through deep signals, characterized by crawling data using each data source based on the need to log in to the user account for the source.
상기 데이터 수집 및 관리 단계는,
유저 계정에 저장된 정보로서, 유저가 이벤트 알림을 받고자 하는 대상에 대한 키워드 정보를 포함하는 관심 정보를 컨텐츠 내에 포함하는 데이터를 크롤링하는 것을 특징으로 하는 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 방법.
According to paragraph 1,
The data collection and management steps are,
Information stored in the user account, which is a risk or opportunity for user-customized topics through Deep Signal, which is characterized by crawling data containing interest information in the content, including keyword information about the target for which the user wishes to receive event notifications. How to monitor events.
상기 데이터 수집 및 관리 단계는,
크롤링되는 데이터에 대한 통계 수치, 정상적인 크롤링 여부를 나타내는 크롤링 오류 비율 및 데이터 소스에 대한 접근 실패 정보를 포함하는 크롤링 모니터링 정보를 생성하여 유저 계정에 전송하는 것을 특징으로 하는 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 방법.
According to paragraph 1,
The data collection and management steps are,
User-customized topics through Deep Signal, which generates crawling monitoring information, including statistical values for crawled data, crawl error rate indicating normal crawling, and access failure information to data sources, and transmits it to the user account. How to monitor risk or opportunity events.
다양한 데이터 스키마(Schema) 및 이기종 데이터 소스에 대응하기 위하여, 크롤링된 데이터가 저장되는 데이터베이스는 확장 가능한 NoSQL 저장소인 것을 특징으로 하는 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 방법.
According to paragraph 1,
A method of monitoring risk or opportunity events for user-customized topics through Deep Signal, wherein the database where the crawled data is stored is an expandable NoSQL storage in order to respond to various data schemas and heterogeneous data sources.
상기 데이터 분석 단계는,
데이터에 포함된 텍스트를 번역하여 유저 계정에서 설정된 언어로 텍스트를 분석하되, 데이터에 포함된 텍스트 분석 결과에 대한 인코딩 오류, 이진 문서로의 번역에 따른 번역 오류 및 텍스트 분석 결과 유저 계정에서 설정된 스팸 분류 기준에 속함에 따른 데이터의 스팸 분류 결과를 포함하는 비정상 분석 결과를 감지하고, 유저 계정에 비정상 분석 결과에 대한 리포트를 제공하는 것을 특징으로 하는 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 방법.
According to paragraph 1,
The data analysis step is,
Translate the text included in the data and analyze the text in the language set in the user account, but encode errors in the text analysis results included in the data, translation errors due to translation into binary documents, and spam classification set in the user account as a result of the text analysis. Risk or opportunity events for user-customized topics through Deep Signal, which detects abnormal analysis results including spam classification results of data according to criteria and provides a report on abnormal analysis results to the user account. Monitoring method.
상기 데이터 분석 단계는,
상기 딥시그널 알고리즘으로서,
인공지능 기반 알고리즘들로서, 기설정된 텍스트 감성 분석 알고리즘, 데이터에 포함된 이미지에 대한 기설정된 이미지 분석 알고리즘, 텍스트 저작자, 텍스트에 포함된 토픽 및 텍스트를 기반으로 인지 가능한 이벤트를 추출 가능한 기설정된 문장 구조 분석 및 키워드 추출 알고리즘, 및 데이터에 포함된 텍스트를 기설정된 개수의 문장으로 요약하는 기설정된 문장 요약 알고리즘을 이용하여 데이터에 포함된 텍스트 데이터 및 비텍스트 데이터를 분석하고, 분석된 토픽이 유저 계정에 기설정된 관심 토픽에 해당하는 경우, 상기 데이터를 통지 대상 이벤트에 속하는 것으로 판단하는 알고리즘을 이용하는 것을 특징으로 하는 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 방법.
According to paragraph 1,
The data analysis step is,
As the deep signal algorithm,
Artificial intelligence-based algorithms include a pre-established text sentiment analysis algorithm, a pre-established image analysis algorithm for images included in data, and a pre-established sentence structure analysis that can extract recognizable events based on the text author, topics included in the text, and text. And the text data and non-text data included in the data are analyzed using a keyword extraction algorithm and a preset sentence summary algorithm that summarizes the text included in the data into a preset number of sentences, and the analyzed topics are stored in the user account. A risk or opportunity event monitoring method for a user-customized topic through deep signals, characterized by using an algorithm to determine that the data belongs to a notification target event if it corresponds to a set topic of interest.
상기 알림 단계는,
상기 데이터 분석 단계를 통해 도출된 정보를 이용하여, 토픽의 시계열 집계 통계 정보와, 토픽에 대응되는 데이터에 대한 온라인 상의 등록 및 열람 수치를 기반으로 판단되는 인기 주제, 인기 문서 및 인기 대상을 포함하는 인기 객체 정보를 데이터의 접근이 가능한 접속 링크 정보와 함께 유저 계정에 등록된 알림 주소로 전송하는 것을 특징으로 하는 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 방법.
In clause 7,
The notification step is,
Using the information derived through the data analysis step, time series aggregate statistical information of the topic, popular topics, popular documents, and popular objects determined based on online registration and viewing figures for data corresponding to the topic are included. A method of monitoring risk or opportunity events for user-customized topics through deep signals, characterized by sending popular object information to the notification address registered in the user account along with access link information that allows access to the data.
온라인 상의 게시 컨텐츠를 포함하는 데이터가 업로드되는 다수의 데이터 소스로부터 데이터의 등록 시 등록된 데이터를 크롤링(Crawling)하여 데이터의 등록을 관리하는 데이터 수집 및 관리부;
크롤링된 데이터에 대해서, 유저 계정으로부터 설정된 정보로서 유저 계정의 관심 정보를 포함하는 관심 토픽별로 인덱싱(Indexing)하여 저장하는 데이터 분류 및 저장부;
상기 저장된 데이터에 포함된 텍스트 데이터의 분석을 통해 상기 저장된 데이터의 등록으로 발생된 이벤트가 유저 계정에 대한 알림 대상이 되는 통지 대상 이벤트인지 여부를 딥시그널 알고리즘을 이용하여 판단하는 데이터 분석부; 및
상기 데이터 분석 단계에서 통지 대상 이벤트로 판단되는 데이터에 대해서 적어도 데이터의 메인 키워드를 포함하는 식별 정보, 등록된 데이터가 관심 토픽에 영향을 미치는 속성 정보인 이벤트 타입 정보 및 등록된 데이터에 포함된 컨텐츠의 내용 정보를 포함하는 통지 정보를 생성하여 유저 계정에 전송하는 알림부;를 포함하는 것을 특징으로 하는 딥시그널을 통한 유저 맞춤화된 토픽에 대한 리스크 또는 기회 이벤트 모니터링 장치.
A risk or opportunity event monitoring device for user-customized topics through deep signals implemented as a computing device including one or more processors and one or more memories storing instructions executable by the processor, comprising:
A data collection and management unit that manages the registration of data by crawling the registered data when registering data from a plurality of data sources where data including online posted content is uploaded;
A data classification and storage unit that indexes and stores crawled data by topics of interest, including interest information of the user account as information set from the user account;
A data analysis unit that determines, using a deep signal algorithm, whether an event generated by registration of the stored data is a notification event subject to notification for the user account through analysis of text data included in the stored data; and
In the data analysis step, for data determined to be a notification target event, identification information including at least the main keyword of the data, event type information, which is attribute information that affects the topic of interest of the registered data, and content included in the registered data. A risk or opportunity event monitoring device for user-customized topics through deep signals, comprising a notification unit that generates notification information including content information and transmits it to the user account.
상기 컴퓨터-판독가능 기록매체는, 컴퓨팅 장치로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 단계들은:
온라인 상의 게시 컨텐츠를 포함하는 데이터가 업로드되는 다수의 데이터 소스로부터 데이터의 등록 시 등록된 데이터를 크롤링(Crawling)하여 데이터의 등록을 관리하는 데이터 수집 및 관리 단계;
크롤링된 데이터에 대해서, 유저 계정으로부터 설정된 정보로서 유저 계정의 관심 정보를 포함하는 관심 토픽별로 인덱싱(Indexing)하여 저장하는 데이터 분류 및 저장 단계;
상기 저장된 데이터에 포함된 텍스트 데이터의 분석을 통해 상기 저장된 데이터의 등록으로 발생된 이벤트가 유저 계정에 대한 알림 대상이 되는 통지 대상 이벤트인지 여부를 딥시그널 알고리즘을 이용하여 판단하는 데이터 분석 단계; 및
상기 데이터 분석 단계에서 통지 대상 이벤트로 판단되는 데이터에 대해서 적어도 데이터의 메인 키워드를 포함하는 식별 정보, 등록된 데이터가 관심 토픽에 영향을 미치는 속성 정보인 이벤트 타입 정보 및 등록된 데이터에 포함된 컨텐츠의 내용 정보를 포함하는 통지 정보를 생성하여 유저 계정에 전송하는 알림 단계;를 포함하는 것을 특징으로 하는 컴퓨터-판독가능 기록매체.
A computer-readable recording medium, comprising:
The computer-readable recording medium stores instructions that cause a computing device to perform the following steps, which include:
A data collection and management step of managing the registration of data by crawling the registered data when registering data from a plurality of data sources where data including online posted content is uploaded;
A data classification and storage step of indexing and storing crawled data by topics of interest including interest information of the user account as information set from the user account;
A data analysis step of determining, using a deep signal algorithm, whether an event generated by registration of the stored data is a notification event subject to notification for the user account through analysis of text data included in the stored data; and
In the data analysis step, for data determined to be a notification target event, identification information including at least the main keyword of the data, event type information, which is attribute information that affects the topic of interest of the registered data, and content included in the registered data. A computer-readable recording medium comprising a notification step of generating notification information including content information and transmitting it to the user account.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220040894A KR20230142108A (en) | 2022-04-01 | 2022-04-01 | Providing method, apparatus and computer-readable medium of monitoring risk or opportunity events on user-customized topics through deep signal |
| PCT/KR2023/002673 WO2023191317A1 (en) | 2022-04-01 | 2023-02-24 | Method, device, and computer-readable recording medium for monitoring risk or opportunity event related to user-customized topic through deep signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220040894A KR20230142108A (en) | 2022-04-01 | 2022-04-01 | Providing method, apparatus and computer-readable medium of monitoring risk or opportunity events on user-customized topics through deep signal |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230142108A true KR20230142108A (en) | 2023-10-11 |
Family
ID=88203109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220040894A KR20230142108A (en) | 2022-04-01 | 2022-04-01 | Providing method, apparatus and computer-readable medium of monitoring risk or opportunity events on user-customized topics through deep signal |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20230142108A (en) |
| WO (1) | WO2023191317A1 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080076585A (en) * | 2007-02-16 | 2008-08-20 | 강민수 | Network research server providing research function and method thereof, image forming apparatus providing research function, network security system providing research function and computer-readable recording medium |
| US11030264B2 (en) * | 2018-12-30 | 2021-06-08 | Superfy Technologies Ltd. | Systems and methods for matching a query |
| CN111177532A (en) * | 2019-12-02 | 2020-05-19 | 平安资产管理有限责任公司 | Vertical search method, device, computer system and readable storage medium |
| CN111259223B (en) * | 2020-02-17 | 2020-11-10 | 北京国新汇金股份有限公司 | News recommendation and text classification method based on emotion analysis model |
| WO2022025750A1 (en) * | 2020-07-30 | 2022-02-03 | Mimos Berhad | Person profile finder using semantic similarity measurement of object based on internet source and related keywords |
-
2022
- 2022-04-01 KR KR1020220040894A patent/KR20230142108A/en unknown
-
2023
- 2023-02-24 WO PCT/KR2023/002673 patent/WO2023191317A1/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023191317A1 (en) | 2023-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11704321B2 (en) | Techniques for relationship discovery between datasets | |
| US11200248B2 (en) | Techniques for facilitating the joining of datasets | |
| US11163527B2 (en) | Techniques for dataset similarity discovery | |
| US11726840B2 (en) | Flexible and scalable artificial intelligence and analytics platform with advanced content analytics and data ingestion | |
| US10192051B2 (en) | Data acceleration | |
| US20180341839A1 (en) | Techniques for sentiment analysis of data using a convolutional neural network and a co-occurrence network | |
| US9323826B2 (en) | Methods, apparatus and software for analyzing the content of micro-blog messages | |
| US9501578B2 (en) | Dynamic semantic models having multiple indices | |
| Goonetilleke et al. | Twitter analytics: a big data management perspective | |
| Mansmann et al. | Discovering OLAP dimensions in semi-structured data | |
| US11803600B2 (en) | Systems and methods for intelligent content filtering and persistence | |
| Schintler et al. | Encyclopedia of big data | |
| Andrews et al. | Creating corroborated crisis reports from social media data through formal concept analysis | |
| Abu-Salih et al. | Social big data analytics | |
| Chen et al. | Aggregating semantic annotators | |
| Lomotey et al. | RSenter: terms mining tool from unstructured data sources | |
| Spahiu et al. | Topic profiling benchmarks in the linked open data cloud: Issues and lessons learned | |
| Wu et al. | Sub-event discovery and retrieval during natural hazards on social media data | |
| KR20230142108A (en) | Providing method, apparatus and computer-readable medium of monitoring risk or opportunity events on user-customized topics through deep signal | |
| Mittal | Knowledge for Cyber Threat Intelligence | |
| Kiio | Apache Spark based big data analytics for social network cybercrime forensics | |
| Couto | A model for automatized data integration in hadoop-based data lakes | |
| Otsuka et al. | Text Filtering for Harmful Document Classification Using Three‐Word Co‐Occurrence and Large‐Scale Data Processing | |
| Hanadi | Relevance Feedback Optimization for Digital Forensic Investigations | |
| Al Suwaidi | Relevance Feedback Optimization for Digital Forensic Investigations |