KR101614736B1 - Web crawling method and system based on prediction of diffusion pattern using text data mining - Google Patents
Web crawling method and system based on prediction of diffusion pattern using text data mining Download PDFInfo
- Publication number
- KR101614736B1 KR101614736B1 KR1020150075794A KR20150075794A KR101614736B1 KR 101614736 B1 KR101614736 B1 KR 101614736B1 KR 1020150075794 A KR1020150075794 A KR 1020150075794A KR 20150075794 A KR20150075794 A KR 20150075794A KR 101614736 B1 KR101614736 B1 KR 101614736B1
- Authority
- KR
- South Korea
- Prior art keywords
- topic
- web page
- data mining
- collection
- text data
- Prior art date
Links
Images
Classifications
-
- G06F17/30864—
-
- G06F17/3089—
-
- G06F17/30967—
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
본 발명은 웹상에 게시된 텍스트 게시물에 대한 텍스트 데이터 마이닝 분석을 통해 게시물에 포함된 토픽의 확산 가능성을 판단하고, 그 확산 가능성 여부에 따라 게시물의 수집주기를 최적으로 증감시키는 텍스트 데이터 마이닝을 통한 확산 예측 기반 크롤링 방법 및 시스템에 관한 것이다.
The present invention relates to a method and apparatus for judging diffusion possibility of a topic included in a post through text data mining analysis of a text post posted on the web, and proliferating text data mining that optimally increases or decreases the collection period of posts Predictive-based crawling method and system.
최근, 사용자는 인터넷 등을 통하여 여러 컴퓨터에 분산된 대량의 정보에 액세스하고 있으며, 방대한 정보에 액세스하기 위해 사용자는 통상적으로 웹 브라우저를 실행시켜 검색 엔진을 사용한다.Recently, a user accesses a large amount of information distributed on various computers via the Internet, etc. In order to access a large amount of information, a user typically executes a web browser and uses a search engine.
검색 엔진은 인터넷 등을 통하여 이용될 수 있는 정보 소스를 반환함으로써 사용자의 질의에 응답하며, 게시글이 포함된 사이트나 웹 페이지는 이러한 검색 엔진에서 사용될 수 있는 유용한 자원중 하나이다.A search engine responds to a user's query by returning an information source that can be used, such as over the Internet, and a site or web page containing a post is one of the useful resources that can be used in such a search engine.
한편, 웹 크롤러(web crawler)는 검색시 새로운 웹 페이지 또는 갱신된 웹 페이지를 찾아 정보 검색 엔진에서 다운로드하도록 지정하는 것으로, 키워드가 포함된 웹 페이지(URLs) 등에 접근한다.On the other hand, a web crawler designates a new web page or an updated web page to be retrieved from an information search engine at the time of retrieval, and accesses web pages (URLs) including keywords.
이러한 웹 크롤러 관련 기술로써 한국등록특허 제10-0993818호 '웹 크롤링 시스템 및 그 방법' 및 한국공개특허 제2012-0042529호 '웹 페이지 크롤링 방법 및 장치' 등을 비롯한 여러 문헌이 있다.There are a variety of documents related to the web crawler, such as Korean Registered Patent No. 10-0993818, 'Web Crawling System and Method', and Korean Published Patent Application No. 2012-0042529 'Web Page Crawling Method and Apparatus'.
그러나, 종래기술의 웹 크롤링 서비스 기술들은 오직 사전에 설정된 주기로 웹 페이지 게시물을 수집하는 것이어서 이슈의 확산 가능성과 무관하게 게시물을 수집하므로 크롤링 시스템의 효율이 낮고 데이터 누락 등의 문제가 발생한다.
However, the web crawling service technologies of the related art collect web page posts only in a predetermined cycle, collecting posts irrespective of the possibility of issues, resulting in a low efficiency of the crawling system and a problem of missing data.
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로, 웹상에 게시된 텍스트 게시물에 대한 텍스트 데이터 마이닝 분석을 통해 게시물에 포함된 토픽의 확산 가능성을 판단하고, 그 확산 가능성 여부에 따라 게시물의 수집주기를 최적으로 증감시키는 텍스트 데이터 마이닝을 통한 확산 예측 기반 크롤링 방법 및 시스템을 제공하고자 한다.
The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to determine the spreading possibility of a topic included in a post through a text data mining analysis on a text post posted on the web, The present invention provides a method and system for crawling based on diffusion prediction through text data mining.
이를 위해, 본 발명에 따른 텍스트 데이터 마이닝을 통한 확산 예측 기반 크롤링 방법은 웹 페이지 게시글을 수집하기 위한 주기를 설정하는 수집주기 설정단계와; 상기 설정된 수집주기에 따라 웹 페이지 게시물을 수집하는 데이터 수집단계와; 상기 수집된 게시물들의 게시량을 측정하여 게시량이 많은 키워드를 토픽으로 설정하는 토픽 설정단계와; 상기 설정된 토픽에 대해 텍스트 데이터 마이닝 감성 분석을 수행함으로써 상기 설정된 토픽의 확산 가능성을 판단하는 확산 예측단계; 및 상기 판단된 확산 감성의 증감 추이에 따라 상기 웹 페이지 게시글 수집주기를 재설정하는 주기 재설성단계;를 포함하는 것을 특징으로 한다.To this end, the diffusion prediction based crawling method using text data mining according to the present invention includes: a collection period setting step of setting a period for collecting a web page post; A data collecting step of collecting web page posts according to the set collection period; A topic setting step of setting a topic having a large amount of a publication as a topic by measuring a posting amount of the collected posts; A diffusion prediction step of determining a diffusion possibility of the set topic by performing a text data mining emotion analysis on the set topic; And a cycle resetting step of resetting the collection period of the web page in accordance with the determined increase / decrease trend of the diffusion sensibility.
이때, 상기 토픽으로 설정된 게시글의 증감율을 분석하며, 상기 증감율의 분석 결과를 상기 텍스트 데이터 마이닝 감성 분석의 수행에 제공하는 증감율 분석단계를 더 포함하는 것이 바람직하다.The method may further include analyzing a rate of increase or decrease of the publication set to the topic and providing a result of analysis of the rate of change to the performance of the text data mining emotional analysis.
한편, 본 발명에 따른 텍스트 데이터 마이닝을 통한 확산 예측 기반 크롤링 시스템은 게시글을 수집하기 위한 웹 페이지를 지정하며, 상기 웹 페이지의 게시글을 수집하기 위한 주기를 설정하는 라이브러리 관리모듈과; 상기 라이브러리 관리모듈에서 설정된 수집주기에 따라 웹 페이지 게시물을 수집하여 저장하는 빅데이터 수집모듈; 및 상기 수집된 게시물들의 게시량을 측정하여 게시량이 많은 키워드를 토픽으로 설정하고, 상기 설정된 토픽에 대해 텍스트 데이터 마이닝 감성 분석을 수행함으로써 상기 설정된 토픽의 확산 가능성을 판단하며, 상기 판단된 확산 감성의 증감 추이를 상기 라이브러리 관리모듈에 제공하여 상기 라이브러리 관리모듈에서 웹 페이지 게시글 수집주기를 재설정할 수 있게 하는 분석모듈;을 포함하는 것을 특징으로 한다.Meanwhile, a diffusion prediction based crawling system using text data mining according to the present invention includes a library management module for designating a web page for collecting a post and setting a period for collecting a post of the web page; A big data collection module for collecting and storing web page posts according to the collection cycle set by the library management module; Determining a diffusion probability of the set topic by setting a keyword having a large amount of a publication as a topic by measuring a published amount of the collected posts and performing a text data mining emotion analysis on the set topic, And an analysis module that provides the library management module with an increase / decrease trend so as to reset the collection period of web page posts in the library management module.
이때, 상기 라이브러리 관리모듈은 상기 게시글을 수집하기 위한 웹 페이지의 사이트명과, 상기 웹 페이지를 지정하기 위한 시드 URL(seed URL)과, 수집주기 및 카테고리를 저장하는 수집원 라이브러리; 및 상기 분석모듈의 제어하에 상기 수집원 라이브러리의 수집주기를 재설정하는 수집주기 설정부;를 포함하는 것이 바람직하다.Here, the library management module may include a collection source library for storing a site name of a web page for collecting the bulletin, a seed URL for specifying the web page, a collection period, and a category; And a collection period setting unit for resetting the collection period of the collection source library under the control of the analysis module.
또한, 상기 분석모듈은 상기 빅데이터 수집모듈의 의해 수집된 게시물들의 게시량을 측정하는 게시량 추출부와; 상기 게시량 추출부에 의해 측정된 결과에 따라 게시량이 많은 키워드를 토픽으로 설정하는 토픽 추출부와; 상기 토픽 추출부에 의해 설정된 토픽에 대해 텍스트 데이터 마이닝 감성 분석을 수행하는 텍스트 마이닝 감성 분석부; 및 상기 텍스트 마이닝 감성 분석부에서 수행된 텍스트 데이터 마이닝 감성 분석 결과를 이용하여 상기 설정된 토픽의 확산 가능성을 판단하여 상기 수집주기 설정부에 제공하는 확산성 검출부;를 포함하는 것이 바람직하다.The analysis module may further include a posting amount extracting unit for measuring a posting amount of the postings collected by the big data collecting module; A topic extracting unit for setting a keyword having a large amount of a posting as a topic according to a result measured by the posting amount extracting unit; A text mining emotion analyzing unit for performing text data mining emotional analysis on a topic set by the topic extracting unit; And a diffusion property detector for determining the diffusion possibility of the set topic using the text data mining emotion analysis result performed by the text mining emotion analyzer and providing the determined diffusion possibility to the collection period setting unit.
또한, 상기 토픽으로 설정된 게시글의 증감율을 분석하여 상기 증감율의 분석 결과를 상기 텍스트 데이터 마이닝 감성 분석을 수행하는 상기 확산성 검출부에 제공하는 토픽 증가율 검출부를 더 포함하는 것이 바람직하다.
It is also preferable that the program further includes a topic increase rate detector for analyzing a change rate of a posting set as the topic and providing the analysis result of the increase / decrease rate to the spreading detection unit for performing the text data mining emotion analysis.
이상과 같은 본 발명은 텍스트 데이터 마이닝 분석을 통해 게시물에 포함된 토픽의 확산 가능성을 판단하고, 그 확산 가능성 여부에 따라 게시물의 수집주기를 최적으로 증감시킨다. 따라서, 크롤링 시스템의 효율성을 향상시키고 데이터의 누락을 방지한다.
The present invention as described above determines the spreading possibility of a topic included in a post through a text data mining analysis and optimally increases or decreases the collection period of the post according to the spread possibility. Thus, it improves the efficiency of the crawling system and prevents the omission of data.
도 1은 본 발명에 따른 텍스트 데이터 마이닝을 통한 확산 예측 기반 크롤링 시스템을 나타낸 구성도이다.
도 2는 본 발명에 따른 텍스트 데이터 마이닝을 통한 확산 예측 기반 크롤링 방법을 나타낸 흐름도이다.FIG. 1 is a block diagram of a diffusion prediction based crawling system using text data mining according to the present invention.
2 is a flowchart illustrating a diffusion prediction based crawling method using text data mining according to the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 텍스트 데이터 마이닝을 통한 확산 예측 기반 크롤링 방법 및 시스템에 대해 상세히 설명한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a diffusion prediction based crawling method and system using text data mining according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.
먼저, 도 1과 같이 본 발명에 따른 텍스트 데이터 마이닝을 통한 확산 예측 기반 크롤링 시스템(100)은 라이브러리 관리모듈(110), 빅데이터 수집모듈(120) 및 분석모듈(130)을 포함한다.1, a diffusion prediction based
따라서, 분석모듈(130)에서 데이터 마이닝(data mining) 분석을 통해 게시물에 포함된 토픽(topic)의 확산 가능성을 판단하고, 라이브러리 관리모듈(110)은 확산 가능성 여부에 따라 게시물의 수집주기를 최적으로 증감시킨다. Accordingly, the
또한, 빅데이터 수집모듈(120)은 확산 가능성 여부에 따라 재설정된 수집주기에 따라 게시물이 포함된 사이트나 웹 페이지 등에 접속하여 게시물을 수집하므로 크롤링 시스템의 효율성을 향상시키고 데이터의 누락을 방지한다.
In addition, the big
이를 위해, 상기 라이브러리 관리모듈(110)은 게시글을 수집하기 위한 웹 페이지를 지정하며, 웹 페이지의 게시글을 수집하기 위한 주기를 설정한다. 특히, 본 발명의 수집주기는 분석모듈(130)에서 라이브러리 관리모듈(110)로 제공되는 확산 가능성에 의해 재설정된다.To this end, the
웹 크롤링시 액세스되는 게시글은 사용자가 검색하는 일종의 검색어에 해당하는 것으로 이슈나 키워드 등을 비롯한 다른 의미로도 표현되며, 게시글은 사이트, 웹 페이지 및 파일 등을 비롯한 다양한 것을 모두 포함하는 것으로 한다.When crawling the web, the posts that are accessed correspond to a kind of search term that users search for, and they are expressed in other meanings such as issues, keywords, and the like, and the articles include various things including sites, web pages and files.
한편, 라이브러리 관리모듈(110)은 게시글을 수집하기 위해 수집원 라이브러리(111)를 포함한다. 수집원 라이브러리(111)는 액세스를 위한 웹 페이지의 사이트명과, 웹 페이지를 지정하기 위한 시드 URL(seed URL)과, 수집주기 및 카테고리를 포함한다. On the other hand, the
특히, 본 발명에 적용되는 라이브러리 관리모듈(110)은 수집주기 설정부(112)를 더 포함하는데, 수집주기 설정부(112)는 분석모듈(130)의 제어하에 수집원 라이브러리(111)의 게시물 수집주기를 재설정하는 역할을 한다.
In particular, the
빅데이터 수집모듈(120)은 라이브러리 관리모듈(110)에서 설정한 수집주기에 따라 웹 페이지 게시물을 수집하여 저장한다. 특히, 라이브러리 관리모듈(110)의 수집주기가 재설정되면 해당 토픽의 게시글 수집주기 역시 변동된다.The big
이러한 빅데이터 수집모듈(120)은 통상적으로 리스너(121), 수집부(122) 및 데이터베이스 관리부(123)를 포함하며, 이때 리스너(121)는 상술한 수집주기에 따라 게시물이 포함된 웹 페이지에 액세스한다.Such a big
데이터베이스 관리부(123)는 수집부(122)를 통해 수집된 각종 게시물을 빅데이터 저장서버(B-DB)에 저장하며, 이때 일 예로 DBMS 커넥터 모듈 등에 의해 효율적인 데이터 기록을 가능하게 한다.
The
분석모듈(130)은 본 발명에 있어서 가장 핵심적인 기능을 구현하는 것으로, 빅데이터 저장서버(B-DB)와 라이브러리 관리모듈(110) 사이에서 토픽 설정 및 확산 가능성 판단을 하고, 그에 따라 게시글 수집주기의 재설정에 필요한 정보를 제공한다.The
좀더 구체적으로, 분석모듈(130)은 수집된 게시물들의 게시량을 측정하여 게시량이 많은 키워드를 토픽으로 설정하고, 그 설정된 토픽에 대해 텍스트 데이터 마이닝 감성 분석을 수행함으로써 설정된 토픽의 확산 가능성을 판단한다.More specifically, the
나아가, 이상과 같은 과정을 통해 판단된 확산 감성의 증감 추이에 따라 라이브러리 관리모듈(110)에서 웹 페이지 게시글 수집주기를 재설정하는데 필요한 정보(확산 가능성 증감 추이)를 제공한다. 즉, 수집주기 설정부(112)를 제어한다.In addition, the
이를 위해, 분석모듈(130)은 게시량 추출부(131), 토픽 추출부(132), 텍스트 마이닝 감성 분석부(133) 및 확산성 검출부(134)를 포함하며, 바람직한 다른 실시예로써 토픽 증가율 검출부(135)를 더 포함한다.To this end, the
이때, 게시량 추출부(131)는 빅데이터 수집모듈(120)의 의해 빅데이터 저장서버(B-DB)에 수집된 게시물들의 게시량을 측정하며, 토픽 추출부(132)는 게시량 추출부(131)에 의해 측정된 결과에 따라 게시량(즉, 게시 횟수)이 많은 키워드를 토픽으로 설정한다.At this time, the posting
또한, 텍스트 마이닝 감성 분석부(133)는 토픽 추출부(132)에 의해 설정된 토픽에 대해 텍스트 데이터 마이닝 감성 분석을 수행한다. 감성 분석시 긍정 혹은 부정의 의미가 정의된 다양한 감성어를 제공하는 감성어 분류 라이브러리(133a)를 참조한다.In addition, the text mining emotion analyzing unit 133 performs text data mining emotional analysis on the topic set by the
따라서, 확산성 검출부(134)는 텍스트 마이닝 감성 분석부(133)에서 수행된 텍스트 데이터 마이닝 감성 분석 결과를 이용하여 이상과 같이 설정된 토픽의 확산 가능성을 판단하며, 판단 결과에 따라 수집주기 설정부(112)를 제어한다.Therefore, the
즉, 토픽의 확산 가능성이 높은 것으로(긍정 감성) 판별되면, 수집주기 설정부(112)의 수집주기를 짧게 하여 더욱 많이 게시물을 수집하고, 반대로 확산 가능성이 낮으면(부정 감성)이면 주기를 길게 제어한다.That is, if it is determined that the diffusion possibility of the topic is high (affirmative sensibility), the collection period of the collection
한편, 토픽 증가율 검출부(135)는 게시량 추출부(131)로부터 게시물의 게시량을 실시간 참조하여 토픽으로 설정된 게시글의 증감율을 분석하는 것으로, 증감율의 분석 결과를 확산성 검출부(134)에 제공한다. On the other hand, the topic increase
이와 같은 토픽 증가율 검출부(135)를 더 포함하면 텍스트 데이터 마이닝 감성 분석 결과에 게시글의 시간당 증가율 등을 추가로 조합함으로써 확산성 여부를 더욱 정확하게 예측할 수 있게 한다.
If such a topic increase
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 텍스트 데이터 마이닝을 통한 확산 예측 기반 크롤링 방법에 대해 설명한다.Hereinafter, a diffusion prediction-based crawling method using text data mining according to a preferred embodiment of the present invention will be described with reference to the accompanying drawings.
도 2와 같이, 본 발명에 따른 텍스트 데이터 마이닝을 통한 확산 예측 기반 크롤링 방법은 수집주기 설정단계(S110), 데이터 수집단계(S120), 토픽 설정단계(S130), 확산 예측단계(S140) 및 주기 재설성단계(S150)를 포함한다.2, a diffusion prediction based crawling method using text data mining according to the present invention includes a collection period setting step S110, a data collecting step S120, a topic setting step S130, a diffusion predicting step S140, And a resetting step (S150).
또한, 본 발명의 바람직한 다른 실시예로서 증감율 분석단계(140a)를 더 포함한다.Further, as another preferred embodiment of the present invention, the step 140a is further included.
이때, 수집주기 설정단계(S110)에서는 실시간 빅데이터 수집모듈(120)에서 웹 페이지 게시글을 수집하기 위한 주기를 설정하는데, 이때의 설정 주기는 초기 설정값으로써 라이브러리 관리모듈(110)의 수집주기 설정부(112)에서 수집원 라이브러리(111)를 제어함으로써 이루어진다.At this time, in the collection period setting step (S110), a period for collecting the web page posts is set in the real time big
다음, 데이터 수집단계(S120)에서는 설정된 수집주기에 따라 웹 페이지 게시물을 수집한다. 웹 게시물의 수집은 상술한 바와 같이 실시간 빅데이터 수집모듈(120)의 리스너(121)가 수집원 라이브러리(111)의 수집주기를 참조하여 이루어진다.Next, in the data collection step (S120), web page posts are collected according to the set collection period. The collection of web posts is made by referring to the collection period of the
다음, 토픽 설정단계(S130)에서는 수집된 게시물들의 게시량을 측정하여 게시량이 많은 키워드를 토픽으로 설정한다. 게시물의 게시량 즉, 게시 횟수는 분석모듈(130)의 게시량 추출부(131)에 의해 이루어지고, 토픽 설정은 토픽 추출부(132)에서 게시량 추출부(131)를 참조하여 이루어진다.Next, in the topic setting step (S130), the posted amount of the collected posts is measured, and a keyword having a large amount of publication is set as a topic. The posting amount of the post, that is, the posting number is made by the posting
다음, 확산 예측단계(S140)에서는 이상과 같이 설정된 토픽에 대해 텍스트 데이터 마이닝 감성 분석을 수행함으로써 설정된 토픽의 확산 가능성을 판단한다. 바람직하게 감성 분석 판단시 텍스트 마이닝 감성 분석부(133)는 감성어 분류 라이브러리(133a)를 참조한다.Next, in the diffusion prediction step (S140), the diffusion possibility of the set topic is determined by performing text data mining emotion analysis on the topic set as described above. Preferably, the text mining emotion analyzing unit 133 refers to the emotion
다음, 주기 재설성단계(S150)에서는 확산 예측단계(S140)에서 판단된 확산 감성의 증감 추이에 따라 웹 페이지 게시글 수집주기를 재설정한다. 수집주기의 재설정은 확산성 검출부(134)에 의해 결정되고, 결정된 결과에 따라 라이브러리 관리모듈(110)의 수집주기 설정부(112)를 제어함으로써 이루어진다.Next, in the period resetting step (S150), the web page publication collection period is reset according to the increase / decrease trend of the diffusion sensitivity determined in the diffusion prediction step (S140). The resetting of the collection period is determined by the
한편, 위에서 설명을 생략한 증감율 분석단계(140a)에서는 토픽 증가율 검출부(135)에 의해 토픽으로 설정된 게시글의 증감율을 분석하며, 증감율의 분석 결과를 텍스트 데이터 마이닝 감성 분석의 수행에 제공한다. 시시각각 변동하는 증감율 역시 확산성 판단에 고려될 수 있도록 한다.
Meanwhile, in the increase / decrease rate analysis step 140a, the rate of change of the topic set by the topic increase
이상, 본 발명의 특정 실시예에 대하여 상술하였다. 그러나, 본 발명의 사상 및 범위는 이러한 특정 실시예에 한정되는 것이 아니라, 본 발명의 요지를 변경하지 않는 범위 내에서 다양하게 수정 및 변형이 가능하다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 것이다.The specific embodiments of the present invention have been described above. It is to be understood, however, that the scope and spirit of the present invention is not limited to these specific embodiments, and that various modifications and changes may be made without departing from the spirit of the present invention. If you have, you will understand.
따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
Therefore, it should be understood that the above-described embodiments are provided so that those skilled in the art can fully understand the scope of the present invention. Therefore, it should be understood that the embodiments are to be considered in all respects as illustrative and not restrictive, The invention is only defined by the scope of the claims.
110: 라이브러리 관리모듈
111: 수집원 라이브러리
112: 수집주기 설정부
120: 빅데이터 수집모듈
121: 리스너(listner)
122: 수집부
123: 데이터베이스 관리부
130: 분석모듈
131: 게시량 추출부
132: 토픽 추출부
133: 텍스트 마이닝 감성 분석부
134: 확산성 검출부
135: 토픽 증가율 검출부110: library management module
111: Collector Library
112: collection period setting unit
120: Big Data Acquisition Module
121: Listener
122:
123:
130: Analysis module
131:
132:
133: Text mining emotion analysis section
134: Diffusivity detector
135: Topic increase rate detector
Claims (6)
상기 설정된 수집주기에 따라 웹 페이지 게시물을 수집하는 데이터 수집단계(S120)와;
상기 수집된 게시물들의 게시량을 측정하여 게시량이 많은 키워드를 토픽으로 설정하는 토픽 설정단계(S130)와;
상기 설정된 토픽에 대해 텍스트 데이터 마이닝 감성 분석을 수행함으로써 상기 설정된 토픽의 확산 가능성을 판단하는 확산 예측단계(S140); 및
상기 판단된 확산 감성의 증감 추이에 따라 상기 웹 페이지 게시글 수집주기를 재설정하는 주기 재설성단계(S150);를 포함하는 것을 특징으로 하는 텍스트 데이터 마이닝을 통한 확산 예측 기반 크롤링 방법.A collection period setting step (S110) of setting a period for collecting a web page post;
A data collection step (S120) of collecting web page posts according to the set collection cycle;
A topic setting step (S130) of setting a keyword having a large amount of publication as a topic by measuring a posting amount of the collected posts;
A diffusion prediction step (S140) of determining a diffusion possibility of the set topic by performing a text data mining emotion analysis on the set topic; And
And a period resetting step (S150) of resetting the collection period of the web page in accordance with the determined increase / decrease trend of the diffusion sensitivities (S150).
상기 토픽으로 설정된 게시글의 증감율을 분석하며, 상기 증감율의 분석 결과를 상기 텍스트 데이터 마이닝 감성 분석의 수행에 제공하는 증감율 분석단계(140a)를 더 포함하는 것을 특징으로 하는 텍스트 데이터 마이닝을 통한 확산 예측 기반 크롤링 방법.The method according to claim 1,
(140a) for analyzing the increase / decrease rate of the posts set as the topic and providing the analysis result of the increase / decrease ratio to the performance of the text data mining emotion analysis. How to crawl.
상기 라이브러리 관리모듈(110)에서 설정된 수집주기에 따라 웹 페이지 게시물을 수집하여 저장하는 빅데이터 수집모듈(120); 및
상기 수집된 게시물들의 게시량을 측정하여 게시량이 많은 키워드를 토픽으로 설정하고, 상기 설정된 토픽에 대해 텍스트 데이터 마이닝 감성 분석을 수행함으로써 상기 설정된 토픽의 확산 가능성을 판단하며, 상기 판단된 확산 감성의 증감 추이를 상기 라이브러리 관리모듈(110)에 제공하여 상기 라이브러리 관리모듈(110)에서 웹 페이지 게시글 수집주기를 재설정할 수 있게 하는 분석모듈(130);을 포함하는 것을 특징으로 하는 텍스트 데이터 마이닝을 통한 확산 예측 기반 크롤링 시스템.A library management module 110 for designating a web page for collecting a post and setting a period for collecting a post of the web page;
A big data collection module 120 for collecting and storing web page posts according to the collection period set by the library management module 110; And
Determining a diffusion possibility of the set topic by setting a keyword having a large amount of a publication as a topic by measuring a published amount of the collected posts and performing a text data mining emotion analysis on the set topic, And an analysis module (130) for providing a transition to the library management module (110) so that the library management module (110) can reset the collection period of web page posts. Predictive crawling system.
상기 라이브러리 관리모듈(110)은,
상기 게시글을 수집하기 위한 웹 페이지의 사이트명과, 상기 웹 페이지를 지정하기 위한 시드 URL(seed URL)과, 수집주기 및 카테고리를 저장하는 수집원 라이브러리(111); 및
상기 분석모듈(130)의 제어하에 상기 수집원 라이브러리(111)의 수집주기를 재설정하는 수집주기 설정부(112);를 포함하는 것을 특징으로 하는 텍스트 데이터 마이닝을 통한 확산 예측 기반 크롤링 시스템.The method of claim 3,
The library management module (110)
A collection source library (111) for storing a site name of a web page for collecting the post, a seed URL for specifying the web page, a collection period and a category; And
And a collection period setting unit (112) for resetting the collection period of the collection source library (111) under the control of the analysis module (130).
상기 분석모듈(130)은,
상기 빅데이터 수집모듈(120)의 의해 수집된 게시물들의 게시량을 측정하는 게시량 추출부(131)와;
상기 게시량 추출부(131)에 의해 측정된 결과에 따라 게시량이 많은 키워드를 토픽으로 설정하는 토픽 추출부(132)와;
상기 토픽 추출부(132)에 의해 설정된 토픽에 대해 텍스트 데이터 마이닝 감성 분석을 수행하는 텍스트 마이닝 감성 분석부(133); 및
상기 텍스트 마이닝 감성 분석부(133)에서 수행된 텍스트 데이터 마이닝 감성 분석 결과를 이용하여 상기 설정된 토픽의 확산 가능성을 판단하여 수집주기 설정부(112)에 제공하는 확산성 검출부(134);를 포함하는 것을 특징으로 하는 텍스트 데이터 마이닝을 통한 확산 예측 기반 크롤링 시스템.The method of claim 3,
The analysis module (130)
A posting amount extracting unit 131 for measuring a posting amount of posts collected by the big data collecting module 120;
A topic extracting unit 132 for setting a keyword having a large amount of publication as a topic according to a result measured by the posting amount extracting unit 131;
A text mining emotion analyzing unit 133 for performing text data mining emotional analysis on the topic set by the topic extracting unit 132; And
And a diffusion property detector 134 for determining the diffusion possibility of the set topic using the text data mining emotional analysis result performed by the text mining emotion analyzer 133 and providing the determined diffusion possibility to the collection period setting unit 112 Wherein the crawling system is based on spreading prediction through text data mining.
상기 토픽으로 설정된 게시글의 증감율을 분석하여 상기 증감율의 분석 결과를 상기 텍스트 데이터 마이닝 감성 분석을 수행하는 상기 확산성 검출부(134)에 제공하는 토픽 증가율 검출부(135)를 더 포함하는 것을 특징으로 하는 텍스트 데이터 마이닝을 통한 확산 예측 기반 크롤링 시스템.
6. The method of claim 5,
(135) for analyzing the increase / decrease rate of a posting set as the topic and providing the analysis result of the increase / decrease ratio to the diffusivity detecting unit (134) for performing the text data mining emotion analysis. Diffusion Prediction Based Data Mining Crawling System.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150075794A KR101614736B1 (en) | 2015-05-29 | 2015-05-29 | Web crawling method and system based on prediction of diffusion pattern using text data mining |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150075794A KR101614736B1 (en) | 2015-05-29 | 2015-05-29 | Web crawling method and system based on prediction of diffusion pattern using text data mining |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101614736B1 true KR101614736B1 (en) | 2016-04-29 |
Family
ID=55915894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150075794A KR101614736B1 (en) | 2015-05-29 | 2015-05-29 | Web crawling method and system based on prediction of diffusion pattern using text data mining |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101614736B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101925506B1 (en) * | 2017-12-12 | 2018-12-06 | 한국과학기술정보연구원 | Method and apparatus for predicting the spread of an infectious disease |
WO2019107646A1 (en) * | 2017-12-01 | 2019-06-06 | 상명대학교산학협력단 | Apparatus for analyzing web content consumption behavior, and method therefor |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100993818B1 (en) | 2009-02-18 | 2010-11-12 | 고려대학교 산학협력단 | System for web crawling and Method thereof |
KR20120042529A (en) | 2010-10-25 | 2012-05-03 | 삼성전자주식회사 | Method and apparatus for crawling web page |
KR20130033520A (en) * | 2011-09-19 | 2013-04-04 | 에스케이플래닛 주식회사 | In online web text based event history analysis service system and method thereof |
-
2015
- 2015-05-29 KR KR1020150075794A patent/KR101614736B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100993818B1 (en) | 2009-02-18 | 2010-11-12 | 고려대학교 산학협력단 | System for web crawling and Method thereof |
KR20120042529A (en) | 2010-10-25 | 2012-05-03 | 삼성전자주식회사 | Method and apparatus for crawling web page |
KR20130033520A (en) * | 2011-09-19 | 2013-04-04 | 에스케이플래닛 주식회사 | In online web text based event history analysis service system and method thereof |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019107646A1 (en) * | 2017-12-01 | 2019-06-06 | 상명대학교산학협력단 | Apparatus for analyzing web content consumption behavior, and method therefor |
KR101925506B1 (en) * | 2017-12-12 | 2018-12-06 | 한국과학기술정보연구원 | Method and apparatus for predicting the spread of an infectious disease |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Adar et al. | The web changes everything: understanding the dynamics of web content | |
WO2022117063A1 (en) | Method and apparatus for training isolation forest, and method and apparatus for recognizing web crawler | |
CN102622445B (en) | User interest perception based webpage push system and webpage push method | |
Senkul et al. | Improving pattern quality in web usage mining by using semantic information | |
CN106095979B (en) | URL merging processing method and device | |
Ratkiewicz et al. | Traffic in social media ii: Modeling bursty popularity | |
US9223897B1 (en) | Adjusting ranking of search results based on utility | |
JP2011520193A (en) | Search results with the next object clicked most | |
Ali et al. | An overview of Web search evaluation methods | |
US8639559B2 (en) | Brand analysis using interactions with search result items | |
CN110602045A (en) | Malicious webpage identification method based on feature fusion and machine learning | |
Kim et al. | Comparing client and server dwell time estimates for click-level satisfaction prediction | |
Mukherjee | Do open‐access journals in library and information science have any scholarly impact? A bibliometric study of selected open‐access journals using Google Scholar | |
Yang et al. | Are Altmetric. com scores effective for research impact evaluation in the social sciences and humanities? | |
US20150302090A1 (en) | Method and System for the Structural Analysis of Websites | |
KR101614736B1 (en) | Web crawling method and system based on prediction of diffusion pattern using text data mining | |
Shen et al. | Analysis of topic dynamics in web search | |
US9760641B1 (en) | Site quality score | |
CN103605744A (en) | Method and device for analyzing website searching engine traffic data | |
Akuma et al. | Development of Relevance Feedback System using Regression Predictive Model and TF-IDF Algorithm | |
CN109948034B (en) | Method and device for extracting page information based on filtering session | |
US20160292260A1 (en) | Aggregation of web interactions for personalized usage | |
Xue et al. | Cross-media topic detection associated with hot search queries | |
KR20040098889A (en) | A method of providing website searching service and a system thereof | |
Ceroni et al. | Towards an entity–based automatic event validation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190226 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20200226 Year of fee payment: 5 |