KR101718599B1 - 소셜 미디어 데이터 분석 시스템 및 이를 이용한 소셜 미디어 데이터 분석 방법 - Google Patents

소셜 미디어 데이터 분석 시스템 및 이를 이용한 소셜 미디어 데이터 분석 방법 Download PDF

Info

Publication number
KR101718599B1
KR101718599B1 KR1020150008863A KR20150008863A KR101718599B1 KR 101718599 B1 KR101718599 B1 KR 101718599B1 KR 1020150008863 A KR1020150008863 A KR 1020150008863A KR 20150008863 A KR20150008863 A KR 20150008863A KR 101718599 B1 KR101718599 B1 KR 101718599B1
Authority
KR
South Korea
Prior art keywords
data
sampling method
social media
index
interface
Prior art date
Application number
KR1020150008863A
Other languages
English (en)
Other versions
KR20160089198A (ko
Inventor
유병일
윤영진
Original Assignee
주식회사 엘지씨엔에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지씨엔에스 filed Critical 주식회사 엘지씨엔에스
Priority to KR1020150008863A priority Critical patent/KR101718599B1/ko
Publication of KR20160089198A publication Critical patent/KR20160089198A/ko
Application granted granted Critical
Publication of KR101718599B1 publication Critical patent/KR101718599B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F17/30—

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 일 측면은, 소셜 미디어에 포함된 데이터를 수집하는 수집 수단; 수집된 상기 데이터에 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색하는 인덱싱 수단; 검색된 상기 대상 데이터를 분석하여 결과 값을 도출하는 분석 수단; 도출된 상기 결과 값을 저장하는 데이터베이스; 및 상기 인덱싱 수단으로부터의 상기 대상 데이터를 상기 분석 수단으로 전달하는 제1 인터페이스를 포함하는, 소셜 미디어 데이터 분석 시스템을 제공한다.

Description

소셜 미디어 데이터 분석 시스템 및 이를 이용한 소셜 미디어 데이터 분석 방법{SYSTEM FOR ANALYZING SOCIAL MEDIA DATA AND METHOD FOR ANALYZING SOCIAL MEDIA DATA USING THE SAME}
본 발명은 소셜 미디어 데이터 분석 시스템 및 이를 이용한 소셜 미디어 데이터 분석 방법에 관한 것이다.
빅 데이터란 기존의 데이터베이스 관리 도구로 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술을 의미한다.
다양한 종류의 대용량 데이터에 대한 생성, 수집, 분석, 표현을 그 특징으로 하는 빅 데이터 기술의 발전은 다변화된 현대 사회를 더욱 정확하게 예측하여 효율적으로 작동하게 하고 개인화된 현대 사회 구성원마다 맞춤형 정보를 제공, 관리, 분석할 수 있도록 한다.
이와 같이, 빅 데이터는 정치, 사회, 경제, 문화, 과학 기술 등 전 영역에 걸쳐서 사회와 인류에게 가치있는 정보를 제공할 수 있는 가능성을 제시하며 그 중요성이 부각되고 있다.
빅 데이터 분석에는 기존 통계학과 전산학에서 사용되던 데이터 마이닝, 기계 학습, 자연 언어 처리, 패턴 인식 등이 동원될 수 있다. 특히, 최근 소셜 미디어와 같은 비정형 데이터의 증가로 인해 분석 기법들 중에서 텍스트 마이닝, 오피니언 마이닝, 소셜 네트워크 분석, 군집 분석 등이 주목을 받고 있다.
특히, 빅 데이터의 수집 기술과 관련하여, 한국등록특허 제10-1329034호는 SNS 검색 서비스를 이용한 URL 수집 시스템에 관한 것으로서, 실시간 검색어 정보의 최초 수집 시간, 검색어 수집 경로, 중복 수집 횟수, 중복 수집 시간의 내역 정보와 같은 URL 관련 히스토리 정보를 수집하는 히스토리 정보 수집 모듈을 포함하는 것을 특징으로 하고 있으나, 검색 시간 경과에 따른 데이터 용량 증가, 및 그에 따른 처리 성능 저하에 대응하기 어렵다는 한계가 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 시간 경과에 따라 기하 급수적으로 누적되는 데이터의 처리 부하를 효과적으로 경감시킬 수 있는 소셜 미디어 데이터 분석 시스템과 이를 이용한 소셜 미디어 데이터 분석 방법을 제공하는 것이다.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 측면은, 소셜 미디어에 포함된 데이터를 수집하는 수집 수단; 수집된 상기 데이터에 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색하는 인덱싱 수단; 검색된 상기 대상 데이터를 분석하여 결과 값을 도출하는 분석 수단; 도출된 상기 결과 값을 저장하는 데이터베이스; 및 상기 인덱싱 수단으로부터의 상기 대상 데이터를 상기 분석 수단으로 전달하는 제1 인터페이스를 포함하는, 소셜 미디어 데이터 분석 시스템을 제공한다.
일 실시예에 있어서, 상기 제1 인터페이스가, 상기 인덱싱 수단으로부터 수신한 상기 대상 데이터를 기설정된 키워드를 기준으로 필터링하고, 기설정된 노이즈 URL을 제거할 수 있다.
일 실시예에 있어서, 상기 제1 인터페이스가 필터링된 상기 대상 데이터를 샘플링(sampling) 방식으로 축소하고, 축소된 상기 대상 데이터를 상기 분석 수단으로 송신할 수 있다.
일 실시예에 있어서, 상기 샘플링 방식이 무작위 샘플링(random sampling) 방식 또는 통계적 샘플링 방식일 수 있다.
일 실시예에 있어서, 상기 통계적 샘플링 방식이 상기 대상 데이터의 유형별 또는 영향력별 비중에 대한 통계 값을 기준으로 할 수 있다.
일 실시예에 있어서, 상기 분석 수단으로부터의 상기 결과 값을 상기 데이터베이스로 전달하는 제2 인터페이스를 더 포함할 수 있다.
일 실시예에 있어서, 상기 제2 인터페이스가 상기 분석 수단으로부터 수신한 상기 결과 값을 샘플링(sampling) 방식으로 축소하여 데이터 객체를 생성하고, 생성된 상기 데이터 객체를 상기 데이터베이스로 송신할 수 있다.
일 실시예에 있어서, 상기 샘플링 방식이 무작위 샘플링(random sampling) 방식 또는 통계적 샘플링 방식일 수 있다.
일 실시예에 있어서, 상기 통계적 샘플링 방식이 상기 결과 값의 유형별 또는 영향력별 비중에 대한 통계 값을 기준으로 할 수 있다.
일 실시예에 있어서, 상기 인덱싱 수단이, 수집된 상기 데이터를 기설정된 기준에 따라 제1 수집 데이터와 제2 수집 데이터로 분류하고, 상기 제1 수집 데이터에 인덱스를 부여하고 상기 인덱스에 기반하여 대상 데이터를 검색하는 제1 인덱싱 부와, 상기 제2 수집 데이터에 인덱스를 부여하고 상기 인덱스에 기반하여 대상 데이터를 검색하는 제2 인덱싱 부를 포함할 수 있다.
일 실시예에 있어서, 상기 기설정된 기준이 상기 데이터의 수집 용량 또는 수집 기간일 수 있다.
또한, 상기와 같은 목적을 달성하기 위해 본 발명의 다른 일 측면은, (a) 소셜 미디어에 포함된 데이터를 수집하는 단계; (b) 수집된 상기 데이터에 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색하는 단계; (c) 검색된 상기 대상 데이터를 필터링하는 단계; (d) 필터링된 상기 대상 데이터를 분석하여 결과 값을 도출하는 단계; 및 (e) 도출된 상기 결과 값을 저장하는 단계;를 포함하는, 소셜 미디어 데이터 분석 방법을 제공한다.
일 실시예에 있어서, 상기 (c) 단계에서 상기 대상 데이터를 기설정된 키워드를 기준으로 필터링하고, 기설정된 노이즈 URL을 제거할 수 있다.
일 실시예에 있어서, 필터링된 상기 대상 데이터를 샘플링(sampling) 방식으로 축소할 수 있다.
일 실시예에 있어서, 상기 샘플링 방식이 무작위 샘플링(random sampling) 방식 또는 통계적 샘플링 방식일 수 있다.
일 실시예에 있어서, 상기 통계적 샘플링 방식이 상기 대상 데이터의 유형별 또는 영향력별 비중에 대한 통계 값을 기준으로 할 수 있다.
일 실시예에 있어서, 상기 (d) 및 (e) 단계 사이에, 도출된 상기 결과 값을 샘플링(sampling) 방식으로 축소하는 단계를 더 포함할 수 있다.
일 실시예에 있어서, 상기 샘플링 방식이 무작위 샘플링(random sampling) 방식 또는 통계적 샘플링 방식일 수 있다.
일 실시예에 있어서, 상기 통계적 샘플링 방식이 상기 결과 값의 유형별 또는 영향력별 비중에 대한 통계 값을 기준으로 할 수 있다.
본 발명의 일 측면에 따른 소셜 미디어 데이터 분석 시스템은, 인덱싱 수단과 분석 수단 사이에 구비되는 제1 인터페이스를 통해 대상 데이터를 1차 축소시킴으로써, 분석 수단의 처리 부하를 경감시킬 수 있다.
또한, 상기 소셜 미디어 데이터 분석 시스템은, 선택적으로, 분석 수단과 데이터베이스 사이에 제2 인터페이스를 구비할 수 있고, 이를 통해 분석 결과 값을 2차 축소시킴으로써 데이터베이스의 저장 부하를 경감시킬 수도 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 소셜 미디어 데이터 분석 시스템의 구조를 도식화한 것이다.
도 2는 본 발명의 일 실시예에 따른 제1 인터페이스의 구동 방식을 도식화한 것이다.
도 3은 본 발명의 다른 일 실시예에 따른 소셜 미디어 데이터 분석 시스템의 구조를 도식화한 것이다.
도 4는 본 발명의 일 실시예에 따른 제2 인터페이스의 구동 방식을 도식화한 것이다.
도 5는 본 발명의 또 다른 일 실시예에 따른 소셜 미디어 데이터 분석 시스템의 구조를 도식화한 것이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
소셜 미디어 데이터 분석 시스템
도 1은 본 발명의 일 실시예에 따른 소셜 미디어 데이터 분석 시스템의 구조를 도식화한 것이다.
도 1을 참조하면, 상기 소셜 미디어 데이터 분석 시스템이 소셜 미디어에 포함된 데이터를 수집하는 수집 수단(100); 수집된 상기 데이터에 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색하는 인덱싱 수단(200); 검색된 상기 대상 데이터를 분석하여 결과 값을 도출하는 분석 수단(400); 도출된 상기 결과 값을 저장하는 데이터베이스(500); 및 상기 인덱싱 수단으로부터의 상기 대상 데이터를 상기 분석 수단으로 전달하는 제1 인터페이스(300)를 포함할 수 있다.
본 명세서에 사용된 용어 "인터페이스"는, 2개의 시스템 또는 장치를 상호 연결시켜 각 시스템 또는 장치의 입력 값과 출력 값, 예를 들어, 데이터 표현 형식, 데이터 수, 데이터 용량, 데이터 구조 등 간의 차이를 제어하기 위한 하드웨어적이거나 소프트웨어적인 것을 의미한다. 하드웨어적 인터페이스에는 물리적 조건, 회로의 조건, 전기적 조건 등이 있으며, 소프트웨어적 인터페이스에는 논리적 조건, 프로그래밍 조건 등이 있다.
도 2는 본 발명의 일 실시예에 따른 제1 인터페이스(300)의 구동 방식을 도식화한 것이다.
도 2를 참조하면, 상기 제1 인터페이스(300)가 상기 인덱싱 수단(200)으로부터 수신한 상기 대상 데이터를 기설정된 키워드를 기준으로 필터링하고(310), 기설정된 노이즈 URL을 제거(320)할 수 있고, 필터링된 상기 대상 데이터를 샘플링 방식으로 축소하고(330), 축소된 상기 대상 데이터를 상기 분석 수단(400)으로 송신할 수 있다. 상기 샘플링 방식은 무작위 샘플링(random sampling) 방식 또는 통계적 샘플링 방식일 수 있다.
본 명세서에 사용된 용어 "노이즈 URL"은, 상기 대상 데이터 중 도박, 음란, 기타 사행성 또는 유해성 데이터와 같이 분석 대상과의 관련도가 현저히 떨어지는 데이터를 포함하는 URL을 의미한다. 상기 노이즈 URL은, 발굴된 특정 사이트의 URL 패턴이 저장되고 제거 주기가 설정된 제1 인터페이스(200)에 의해 자동적으로 제거될 수 있다.
본 명세서에 사용된 용어 "무작위 샘플링"은, 키워드를 기준으로 필터링된 상기 대상 데이터 중 일부를 데이터의 속성과 무관하게 추출하여 표본화하는 것을 의미한다.
예를 들어, 상기 대상 데이터를 16진수로 표현한 후, 이를 10진수로 변환하는 과정에서 생성되는 나머지 값에 따라 가중치를 부여하고, 부여된 가중치를 기준으로 필요에 따라 상위 또는 하위 10% 내지 50%에 해당하는 대상 데이터를 추출하도록 설정된 제1 인터페이스(200)에 의해 상기 무작위 샘플링이 자동적으로 수행될 수 있다. 이에 따라, 상기 분석 수단(400)으로 송신되는 대상 데이터의 용량이 축소(diminish)되어 상기 분석 수단(400)의 부하(load)가 경감될 수 있다.
또한, 본 명세서에 사용된 용어 "통계적 샘플링"은, 특정 요소의 통계 값을 기준으로 가중치를 부여하여 표본화(샘플링)하는 것을 의미하며, 상기 무작위 샘플링 방식에 비해 상기 대상 데이터의 유형별 또는 영향력별 편차를 상대적으로 감소시킬 수 있다. 이 때, 상기 기준은 수집된 소셜 미디어의 유형-예를 들어, 뉴스, SNS, 블로그, 커뮤니티-별 또는 미디어 또는 사이트의 영향력별 비중에 대한 통계 값일 수 있다.
도 3은 본 발명의 다른 일 실시예에 따른 소셜 미디어 데이터 분석 시스템의 구조를 도식화한 것이다.
도 3을 참조하면, 상기 소셜 미디어 데이터 분석 시스템이 상기 분석 수단(400)으로부터의 상기 결과 값을 상기 데이터베이스(500)로 전달하는 제2 인터페이스(600)를 더 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 제2 인터페이스(600)의 구동 방식을 도식화한 것이다.
도 4를 참조하면, 상기 제2 인터페이스(600)가 상기 분석 수단(400)으로부터 수신한 상기 결과 값을 무작위 샘플링 또는 통계적 샘플링 방식으로 축소하여(610) 데이터 객체를 생성하고(620), 생성된 상기 데이터 객체를 상기 데이터베이스(500)로 송신, 저장할 수 있다(630).
상기 제2 인터페이스(600)에 의한 상기 무작위 샘플링 또는 상기 통계적 샘플링은 상기 제1 인터페이스(300)에 의한 것과 유사한 개념으로 이해될 수 있다. 다만, 상기 제1 인터페이스(300)와 상기 제2 인터페이스(600)는 상이한 샘플링 방식으로 작동할 수 있다. 구체적으로, 상기 제1 인터페이스(300)와 상기 제2 인터페이스(600)의 통계적 샘플링 기준이 상이할 수 있다. 예를 들어, 상기 제1 인터페이스(300)가 소셜 미디어의 유형별 비중에 대한 통계 값을 기준으로 작동하고, 상기 제2 인터페이스(600)는 미디어 또는 사이트의 영향력별 비중에 대한 통계 값을 기준으로 작동할 수 있다.
즉, 상기 무작위 샘플링은 상기 분석 수단(400)으로부터 수신한 상기 결과 값 중 일부를 결과 값의 속성과 무관하게 추출하여 표본화하는 것을 의미한다. 예를 들어, 상기 분석 수단으로부터 수신한 상기 결과 값을 16진수로 표현한 후, 이를 10진수로 변환하는 과정에서 생성되는 나머지 값에 따라 가중치를 부여하고, 부여된 가중치를 기준으로 필요에 따라 상위 또는 하위 10% 내지 50%에 해당하는 데이터 객체를 생성하도록 설정된 제2 인터페이스(600)에 의해 상기 무작위 샘플링이 자동적으로 수행될 수 있다. 이에 따라, 상기 데이터베이스(500)로 송신 및 저장되는 데이터 객체의 용량이 축소(diminish)되어 상기 데이터베이스(500)의 부하(load)가 경감될 수 있다.
또한, 상기 통계적 샘플링은 특정 요소의 통계 값을 기준으로 가중치를 부여하여 표본화(샘플링)하는 것을 의미하며, 상기 무작위 샘플링 방식에 비해 상기 결과 값의 유형별 또는 영향력별 편차를 상대적으로 감소시킬 수 있다. 이 때, 상기 기준은 수집된 소셜 미디어의 유형-예를 들어, 뉴스, SNS, 블로그, 커뮤니티-별 또는 미디어 또는 사이트의 영향력별 비중에 대한 통계 값일 수 있다.
상기 수집 수단(100)은 개방 웹(open web)은 물론, ID/PW 방식의 폐쇄 웹(closed web)에도 접근하여 그에 포함된 데이터를 수집할 수 있다.
상기 수집 수단(100)은, 씨딩 수단(미도시)으로부터 수신된 씨드 URL의 패턴 정보, 키워드 정보, 및 이들의 조합 중 선택되는 하나에 기반하여 소셜 미디어에 포함된 데이터를 수집하는 서버일 수 있다.
구체적으로, 상기 수집 수단(100)이, 씨드 URL의 패턴 정보를 이용하여 데이터를 수집하는 경우와, 키워드 정보를 이용하여 데이터를 수집하는 경우에 각각 Apache의 오픈 소스인 너치(Nutch)와 오픈 API(open application program interface)를 기반으로 구동되는 것일 수 있다.
상기 수집 수단(100)은 상기 너치(Nutch), 오픈 API(open application program interface), 알에스에스(RSS, rich site summary), 웹 스크래퍼(web scrapper) 각각에 기반하여 구동될 수 있고, 필요에 따라 이들 중 2 이상이 조합된 것에 기반하여 구동될 수도 있다.
상기 인덱싱 수단(200)은, 수집된 상기 데이터를 기설정된 기준에 따라 제1 수집 데이터와 제2 수집 데이터로 분류하고, 이들 각각을 별도의 인덱싱 부를 통해 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색할 수 있다.
이 경우, 상기 인덱싱 수단(200)은, 상기 제1 수집 데이터에 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색하는 제1 인덱싱 부와(210), 상기 제2 수집 데이터에 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색하는 제2 인덱싱 부(220)를 포함할 수 있다.
본 명세서에 사용된 용어 "인덱스"는, 데이터의 속성, 기록 장소 뿐만 아니라 해당 데이터에 수반되는 메타데이터를 포함하는 개념으로 이해될 수 있다.
상기 기설정된 기준은 상기 데이터의 수집 용량 또는 수집 기간일 수 있다. 상기 기설정된 기준이 상기 데이터의 수집 용량인 경우, 상기 제1 수집 데이터의 상기 수집 용량이 200 테라바이트 이하일 수 있으며, 상기 제2 수집 데이터의 상기 수집 용량이 200 테라바이트 초과일 수 있다. 또한, 상기 기설정된 기준이 상기 데이터의 수집 기간인 경우, 상기 제1 수집 데이터의 상기 수집 기간이 실시간, 또는 현재로부터 1년 이내일 수 있으며, 상기 제2 수집 데이터의 상기 수집 기간이 현재로부터 1년 초과일 수 있다.
상기 제1 인덱싱 부(210)가 형태소 또는 키워드 분석 기반의 인덱싱 유닛이 설치된 2 이상의 단위 서버를 포함할 수 있고, 상기 제2 인덱싱 부가 분산 처리 환경 기반의 인덱싱 유닛이 설치된 2 이상의 단위 서버를 포함할 수 있다.
한편, 상기 분석 수단(400)이, 컨텐츠 분류(content categorizing), 데이터 마이닝(data mining), 텍스트 마이닝(text mining), 및 이들 중 2 이상이 조합된 것으로 이루어진 군으로부터 선택되는 하나의 기능을 수행하는 서버일 수 있다. 상기 분석 수단(400)으로는 구득 가능한 공지의 분석 솔루션이 설치된 서버가 사용될 수 있다.
상기 컨텐츠 분류(content categorizing) 기능을 수행하는 분석 수단의 일 례로, 『SAS® Content Categorization』은 대용량의 데이터를 처리하고 수작업이 요구되는 과도한 태깅 작업을 생략함으로써 정보 구성 및 액세스의 속도와 효율성을 높일 수 있고, 고급 언어 및 자연 언어 처리 기법을 활용하여 30가지 이상의 언어의 품사를 인식 분석함으로써 다국어 데이터를 효과적으로 관리할 수 있다.
상기 데이터 마이닝(data mining) 기능을 수행하는 분석 수단의 일 례로, 『SAS® Enterprise Miner』는 데이터 접근, 관리, 필터링 작업을 통합하여 분석하기 위한 데이터 준비 작업이 간편하고, 데이터의 품질을 향상시켜 모델링의 효율성을 높이고 결과 값에 대한 신뢰도를 향상시킬 수 있다. 또한, 멀티스레드 알고리즘, 멀티프로세싱 및 그리드 컴퓨팅을 지원하여 실행 시간을 단축하고 하드웨어 리소스를 효율적으로 사용할 수 있으며, 시장 바구니 분석, 의사결정 트리, 변화도 부스팅(Gradient Boosting), 신경망, 선형 및 로지스틱 회귀와 같은 고급 예측/기술 모델링 알고리즘을 제공할 수 있다.
상기 텍스트 마이닝(text mining) 기능을 수행하는 분석 수단의 일 례로, 『SAS® Text Analytics』는 텍스트 기반 정보와 구조적 데이터를 통합하는 텍스트 마이닝 솔루션과, 복잡한 질의에 정확한 답변을 제공하는 예측 분석을 비롯하여 텍스트 문서에서 지식을 검색하고 추출하는 다양한 도구를 제공할 수 있고, 고급 통계 모델링, 자연어 처리 및 고급 언어 기술을 결합하여 대용량의 다국어 데이터를 신속하게 자동으로 분류하여 원문 콘텐츠에 숨겨져 있는 동향, 패턴 및 감정을 찾아낼 수 있다.
소셜 미디어 데이터 분석 방법
상기와 같은 목적을 달성하기 위해, 본 발명의 다른 일 측면은 상기 소셜 미디어 데이터 분석 시스템을 이용하는 것을 특징으로 하는, 소셜 미디어 데이터 분석 방법을 제공한다.
상기 소셜 미디어 데이터 분석 방법은, 데이터 스트림을 따라 전기적으로 연결된 수집 수단, 인덱싱 수단, 제1 인터페이스, 분석 수단, 및 데이터베이스를 포함하고, 상기 분석 수단으로부터의 상기 결과 값을 상기 데이터베이스로 전달하는 제2 인터페이스를 선택적으로 더 포함하는 소셜 미디어 데이터 분석 시스템을 이용하는 것을 특징으로 한다.
구체적으로, 상기 소셜 미디어 데이터 분석 방법은, (a) 소셜 미디어에 포함된 데이터를 수집하는 단계; (b) 수집된 상기 데이터에 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색하는 단계; (c) 검색된 상기 대상 데이터를 필터링하는 단계; (d) 필터링된 상기 대상 데이터를 분석하여 결과 값을 도출하는 단계; 및 (e) 도출된 상기 결과 값을 저장하는 단계;를 포함할 수 있다.
상기 (c) 단계에서 상기 대상 데이터를 기설정된 키워드를 기준으로 필터링하고, 기설정된 노이즈 URL을 제거할 수 있다. 또한, 필터링된 상기 대상 데이터를 샘플링(sampling) 방식으로 축소할 수 있다. 이 때, 상기 샘플링 방식은 무작위 샘플링(random sampling) 방식 또는 통계적 샘플링 방식일 수 있다. 선택 가능한 상기 샘플링 방식의 종류와 샘플링 기준에 관하여는 전술한 것과 같다.
또한, 상기 (d) 및 (e) 단계 사이에, 도출된 상기 결과 값을 샘플링(sampling) 방식으로 축소하는 단계를 더 포함할 수 있다. 상기 결과 값에 대한 샘플링 방식 또한 상기 (c) 단계에서와 유사한 개념으로 이해될 수 있다. 다만, 필요에 따라, 상기 (c) 단계와는 상이한 샘플링 방식을 이용할 수 있다. 구체적으로, 통계적 샘플링 기준이 상이할 수 있다. 예를 들어, 상기 (c) 단계에서 상기 대상 데이터를 축소하는 경우에 소셜 미디어의 유형별 비중에 대한 통계 값을 기준으로 하고, 상기 결과 값을 축소하는 경우에는 미디어 또는 사이트의 영향력별 비중에 대한 통계 값을 기준으로 할 수 있다.
그 외 상기 소셜 미디어 데이터 분석 시스템 및 이에 포함되는 각각의 구성에 관하여는 전술한 것과 같다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 수집 수단
200 : 인덱싱 수단
210 : 제1 인덱싱 부
220 : 제2 인덱싱 부
300 : 제1 인터페이스
400 : 분석 수단
500 : 데이터베이스
600 : 제2 인터페이스

Claims (19)

  1. 소셜 미디어에 포함된 데이터를 수집하는 수집 수단;
    수집된 상기 데이터에 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색하는 인덱싱 수단;
    검색된 상기 대상 데이터를 분석하여 결과 값을 도출하는 분석 수단;
    도출된 상기 결과 값을 저장하는 데이터베이스;
    상기 인덱싱 수단으로부터의 상기 대상 데이터를 필터링하고, 필터링된 상기 대상 데이터를 제1 샘플링(sampling) 방식으로 축소하고, 축소된 상기 대상 데이터를 상기 분석 수단으로 전달하는 제1 인터페이스; 및
    상기 분석 수단으로부터의 상기 결과 값을 제2 샘플링(sampling) 방식으로 축소하여 데이터 객체를 생성하고, 생성된 상기 데이터 객체를 상기 데이터베이스로 전달하는 제2 인터페이스를 포함하는, 소셜 미디어 데이터 분석 시스템.
  2. 제1항에 있어서,
    상기 제1 인터페이스가, 상기 인덱싱 수단으로부터 수신한 상기 대상 데이터를 기설정된 키워드를 기준으로 필터링하고, 기설정된 노이즈 URL을 제거하는, 소셜 미디어 데이터 분석 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 제1 샘플링 방식 및 제2 샘플링 방식이 무작위 샘플링(random sampling) 방식 또는 통계적 샘플링 방식으로 서로 상이한 것인, 소셜 미디어 데이터 분석 시스템.
  5. 제4항에 있어서,
    상기 통계적 샘플링 방식이 상기 대상 데이터 및 상기 결과값의 유형별 또는 영향력별 비중에 대한 통계 값을 기준으로 하는, 소셜 미디어 데이터 분석 시스템.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    상기 인덱싱 수단이,
    수집된 상기 데이터를 기설정된 기준에 따라 제1 수집 데이터와 제2 수집 데이터로 분류하고,
    상기 제1 수집 데이터에 인덱스를 부여하고 상기 인덱스에 기반하여 대상 데이터를 검색하는 제1 인덱싱 부와, 상기 제2 수집 데이터에 인덱스를 부여하고 상기 인덱스에 기반하여 대상 데이터를 검색하는 제2 인덱싱 부를 포함하는, 소셜 미디어 데이터 분석 시스템.
  11. 제10항에 있어서,
    상기 기설정된 기준이 상기 데이터의 수집 용량 또는 수집 기간인, 소셜 미디어 데이터 분석 시스템.
  12. 소셜 미디어 데이터 분석 시스템에서 소셜 미디어 데이터를 분석하기 위한 방법에 있어서,
    (a) 소셜 미디어에 포함된 데이터를 수집하는 단계;
    (b) 수집된 상기 데이터에 인덱스를 부여하고, 상기 인덱스에 기반하여 대상 데이터를 검색하는 단계;
    (c) 제1 인터페이스에서 검색된 상기 대상 데이터를 필터링하고, 필터링된 상기 대상 데이터를 제1 샘플링(sampling) 방식으로 축소하는 단계;
    (d) 제1 샘플링(sampling) 방식으로 축소된 상기 대상 데이터를 분석하여 결과 값을 도출하고, 도출된 상기 결과 값을 제2 인터페이스에서 제2 샘플링(sampling) 방식으로 축소하는 단계; 및
    (e) 제2 샘플링(sampling) 방식으로 축소된 상기 결과 값을 저장하는 단계;를 포함하는, 소셜 미디어 데이터 분석 방법.
  13. 제12항에 있어서,
    상기 (c) 단계에서 상기 대상 데이터를 기설정된 키워드를 기준으로 필터링하고, 기설정된 노이즈 URL을 제거하는, 소셜 미디어 데이터 분석 방법.
  14. 삭제
  15. 제12항에 있어서,
    상기 제1 샘플링 방식 및 제2 샘플링 방식이 무작위 샘플링(random sampling) 방식 또는 통계적 샘플링 방식으로 서로 상이한 것인, 소셜 미디어 데이터 분석 방법.
  16. 제15항에 있어서,
    상기 통계적 샘플링 방식이 상기 대상 데이터 및 상기 결과값의 유형별 또는 영향력별 비중에 대한 통계 값을 기준으로 하는, 소셜 미디어 데이터 분석 방법.
  17. 삭제
  18. 삭제
  19. 삭제
KR1020150008863A 2015-01-19 2015-01-19 소셜 미디어 데이터 분석 시스템 및 이를 이용한 소셜 미디어 데이터 분석 방법 KR101718599B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150008863A KR101718599B1 (ko) 2015-01-19 2015-01-19 소셜 미디어 데이터 분석 시스템 및 이를 이용한 소셜 미디어 데이터 분석 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150008863A KR101718599B1 (ko) 2015-01-19 2015-01-19 소셜 미디어 데이터 분석 시스템 및 이를 이용한 소셜 미디어 데이터 분석 방법

Publications (2)

Publication Number Publication Date
KR20160089198A KR20160089198A (ko) 2016-07-27
KR101718599B1 true KR101718599B1 (ko) 2017-03-21

Family

ID=56617094

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150008863A KR101718599B1 (ko) 2015-01-19 2015-01-19 소셜 미디어 데이터 분석 시스템 및 이를 이용한 소셜 미디어 데이터 분석 방법

Country Status (1)

Country Link
KR (1) KR101718599B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101986674B1 (ko) * 2017-08-31 2019-09-30 (주)코머신 검색빈도에 기초한 기계산업 동향 예측 방법 및 시스템
KR102088285B1 (ko) * 2017-10-12 2020-03-12 에스케이텔레콤 주식회사 규칙 기반의 동적 로그 수집 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100937329B1 (ko) * 2007-11-15 2010-01-18 주식회사 케이티 로그 샘플링 방법 및 시스템
KR20090078464A (ko) * 2008-01-15 2009-07-20 주식회사 시맨틱스 시맨틱 기술과 온톨로지를 이용한 개인화 검색 시스템 및방법
KR20140131327A (ko) * 2012-01-23 2014-11-12 무 시그마 비지니스 솔루션스 피브이티 엘티디 소셜 미디어 데이터 분석 시스템 및 방법

Also Published As

Publication number Publication date
KR20160089198A (ko) 2016-07-27

Similar Documents

Publication Publication Date Title
CN111241078B (zh) 数据分析***、数据分析的方法及装置
CN107577588B (zh) 一种海量日志数据智能运维***
CN102831220B (zh) 一种面向主题定制的新闻情报提取***
US10565233B2 (en) Suffix tree similarity measure for document clustering
CN104899314B (zh) 一种数据仓库的血统分析方法和装置
KR20160075971A (ko) 공공민원 데이터 서비스를 위한 빅 데이터 관리시스템
CN104951512A (zh) 一种基于互联网的舆情数据采集方法及***
KR102421904B1 (ko) 재난사고 원인분석의 고도화 방법
CN104536830A (zh) 一种基于MapReduce的KNN文本分类方法
CN106055546A (zh) 基于Lucene的光盘库全文检索***
Jain et al. A review of unstructured data analysis and parsing methods
US9563666B2 (en) Unsupervised detection and categorization of word clusters in text data
CN115132366A (zh) 基于健康医疗大数据标准库的多源数据处理方法与***
KR101532252B1 (ko) 소셜 네트워크 정보 수집 및 분석 시스템
KR101718599B1 (ko) 소셜 미디어 데이터 분석 시스템 및 이를 이용한 소셜 미디어 데이터 분석 방법
Prakash et al. Big data preprocessing for modern world: opportunities and challenges
KR20210060830A (ko) 빅데이터 지능형 수집 방법 및 장치
KR101665649B1 (ko) 소셜 미디어 데이터 분석 시스템 및 이를 이용한 소셜 미디어 데이터 분석 방법
CN110825792B (zh) 基于golang中间件协程模式下的高并发分布式数据检索方法
Aliakbary et al. Web page classification using social tags
KR102025813B1 (ko) 사건 흐름 정보를 제공하기 위한 연대순 정보 기반 큐레이션 장치 및 그것의 제어방법
CN105245394A (zh) 一种基于分层方式分析网络访问日志的方法和设备
Homocianu et al. An Analysis of Scientific Publications on'Decision Support Systems' and'Business Intelligence'Regarding Related Concepts Using Natural Language Processing Tools
Martínez-Castaño et al. Polypus: a big data self-deployable architecture for microblogging text extraction and real-time sentiment analysis
Verma et al. Comprehensive survey of framework for web personalization using web mining

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 4