KR102101251B1 - 빅데이터 분석 시스템 및 빅데이터 분석 방법 - Google Patents

빅데이터 분석 시스템 및 빅데이터 분석 방법 Download PDF

Info

Publication number
KR102101251B1
KR102101251B1 KR1020180083715A KR20180083715A KR102101251B1 KR 102101251 B1 KR102101251 B1 KR 102101251B1 KR 1020180083715 A KR1020180083715 A KR 1020180083715A KR 20180083715 A KR20180083715 A KR 20180083715A KR 102101251 B1 KR102101251 B1 KR 102101251B1
Authority
KR
South Korea
Prior art keywords
analysis
file
big data
language
client
Prior art date
Application number
KR1020180083715A
Other languages
English (en)
Other versions
KR20200013153A (ko
Inventor
박종수
박판종
손병업
정태윤
정호연
Original Assignee
강릉원주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강릉원주대학교산학협력단 filed Critical 강릉원주대학교산학협력단
Priority to KR1020180083715A priority Critical patent/KR102101251B1/ko
Publication of KR20200013153A publication Critical patent/KR20200013153A/ko
Application granted granted Critical
Publication of KR102101251B1 publication Critical patent/KR102101251B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2452—Query translation
    • G06F16/24528—Standardisation; Simplification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2452—Query translation
    • G06F16/24526—Internal representations for queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 빅데이터 분석 시스템 및 방법에 관한 것이다. 상기 빅데이터 분석 시스템은, 빅 데이터들이 저장된 데이터 저장 장치; 상기 데이터 저장 장치에 데이터를 저장, 처리 및 분석하는 빅데이터 서버; 상기 빅데이터 서버에 접근하여 데이터 분석을 요청하고 결과를 제공받는 빅데이터 클라이언트;를 구비한다. 상기 빅데이터 클라이언트는, 분석 코드 파일 및 상기 분석 코드 파일에 대한 작업 내용을 명시한 작업 기술서 파일을 빅데이터 서버로 제공하고, 상기 작업 기술서 파일을 기반으로 한 분석을 요청한다. 상기 빅데이터 서버는, 상기 빅데이터 클라이언트로부터의 요청에 따라 상기 작업 기술서 파일을 기반으로 하여 빅데이터 분석을 수행하고 결과 파일을 생성하여 제공한다. 상기 분석 코드 파일은 빅데이터 분석을 위하여 소정의 분석용 언어로 작성된 파일이며, 상기 작업 기술서 파일은 입력 파일, 분석 언어, 출력 파일에 대한 정보들이 사전 설정된 양식에 따라 기재된 것을 특징으로 하며, 상기 입력 파일에 대한 정보는 분석 코드 파일의 이름을 포함하며, 상기 분석 언어에 대한 정보는 분석 코드 파일을 분석하기 위하여 사용될 분석용 언어의 종류를 포함하며, 상기 출력 파일에 대한 정보는 분석 코드 파일에 의한 분석 완료시에 분석 결과 보고서 파일의 이름을 포함한다.

Description

빅데이터 분석 시스템 및 빅데이터 분석 방법{System and method for analysis big data}
본 발명은 빅데이터 분석 시스템 및 방법에 관한 것으로서, 더욱 구체적으로는 사용자 친화적인 파일을 기반으로 하여, 파일 탐색기에서 빅데이터 분석을 위한 작업 기술서 파일을 이용하여 분석 작업을 수행할 수 있도록 구성된 빅데이터 분석 시스템 및 방법에 관한 것이다.
빅데이터란 디지털 환경에서 생성되는 데이터로 그 규모가 방대하고, 생성 주기도 짧고, 형태도 수치 데이터뿐 아니라 문자와 영상 데이터를 포함하는 대규모 데이터를 말한다. 빅데이터 환경은 과거에 비해 데이터의 양이 폭증했다는 점과 함께 데이터의 종류도 다양해져 사람들의 행동은 물론 위치정보와 SNS를 통해 생각과 의견까지 분석하고 예측할 수 있다. 빅데이터의 특징은 3V로 요약하는 것이 일반적이다. 즉 데이터의 양(Volume), 데이터 생성 속도(Velocity), 형태의 다양성(Variety)을 의미한다(O'Reilly Radar Team, 2012). 최근에는 가치(Value)나 복잡성(Complexity)을 덧붙이기도 한다.
이처럼 다양하고 방대한 규모의 데이터는 미래 경쟁력의 우위를 좌우하는 중요한 자원으로 활용될 수 있다는 점에서 주목받고 있다. 하지만, 이러한 빅데이터들이 중요한 자원으로 활용되기 위하여, 빅데이터 분석이 선행되어야 한다. 빅데이터 분석이란 소셜 빅데이터, 실시간 사물지능통신(M2M：Machine to Machine) 센서 데이터, 기업 고객관계 데이터 등 도처에 존재하는 다양한 성격의 빅데이터를 효과적으로 분석하는 것을 말한다.
빅데이터 시대에는 단순히 데이터베이스에 잘 정리된 정형 데이터뿐 아니라 인터넷, 소셜 네트워크 서비스, 모바일 환경에서 폭발적으로 생성되는 웹 문서, 이메일, 소셜 데이터(소셜 네트워크 서비스 텍스트 데이터, 유튜브 비디오 데이터 등) 등 비정형 빅데이터를 효과적으로 분석하는 것이 무엇보다 중요해졌다. 2012년 2.8제타바이트에 이른 빅데이터는 2020년에는 40제타바이트로 급격히 증가할 것이며, 그 중 20%는 정형 데이터, 나머지 80%는 비정형 데이터가 될 것으로 예상하고 있다.
이러한 빅데이터 분석을 위한 다양한 분석 도구들이 개발되어 제안되고 있으나, 일반 사용자들이 쉽게 접근하기 어려운 것이 현재의 실정이다. 따라서, 본 발명에서는 파일을 기반으로 하여 사용자 친화적인 빅데이터 분석 시스템을 제안하고자 한다.
한국공개특허공보 제 10-2016-0031807호
전술한 문제점을 해결하기 위한 본 발명의 목적은 사용자 친화적인 파일 기반의 빅데이터 분석 시스템 및 방법을 제공하는 것이다.
전술한 기술적 과제를 달성하기 위한 본 발명의 제1 특징에 따른 빅데이터 분석 시스템은, 빅 데이터들이 저장된 데이터 저장 장치; 상기 데이터 저장 장치에 데이터를 저장, 처리 및 분석하는 빅데이터 서버; 상기 빅데이터 서버에 접근하여 데이터 분석을 요청하고 결과를 제공받는 빅데이터 클라이언트;를 구비하는 빅데이터 분석 시스템에 관한 것으로서,
상기 빅데이터 클라이언트는, 데이터 분석을 위한 분석 코드 파일 및 상기 분석 코드 파일에 대한 작업 내용을 명시한 작업 기술서 파일을 빅데이터 서버로 제공하고, 상기 작업 기술서 파일을 기반으로 한 분석을 요청하는 것을 특징으로 하고,
상기 빅데이터 서버는, 상기 빅데이터 클라이언트로부터의 요청에 따라 상기 작업 기술서 파일을 기반으로 하여 빅데이터 분석을 수행하고 결과 파일을 생성하는 것을 특징으로 하며,
상기 분석 코드 파일은 빅데이터 분석을 위하여 소정의 분석용 언어로 작성된 파일이며, 상기 작업 기술서 파일은 입력 파일, 분석 언어, 출력 파일에 대한 정보들이 사전 설정된 양식에 따라 기재된 것을 특징으로 하며, 상기 입력 파일에 대한 정보는 수행되어야 할 분석 코드 파일의 이름을 포함하며, 상기 분석 언어에 대한 정보는 상기 입력 파일에 기재된 분석 코드 파일을 분석하기 위하여 사용될 분석용 언어의 종류를 포함하며, 상기 출력 파일에 대한 정보는 분석 코드 파일에 의한 분석 완료시에 분석 결과 보고서 파일의 이름을 포함한다.
전술한 제1 특징에 따른 빅데이터 분석 시스템에 있어서, 상기 작업 기술서 파일은 분석 완료시 클라이언트에게 알리는 알림 방법에 대한 정보가 더 기재된 것을 특징으로 하며,
상기 빅데이터 서버는 알림 서버 모듈을 구비하고, 상기 알림 서버 모듈은 상기 스케쥴러 모듈에 의해 빅데이터 분석이 완료되면 작업 기술서에 기재된 알림 방식에 따라 분석 완료 메시지를 전송하는 것이 바람직하다.
전술한 제1 특징에 따른 빅데이터 분석 시스템에 있어서, 상기 빅데이터 서버는, 빅데이터 클라이언트로부터 제공된 작업 기술서 파일을 기반으로 하여 처리를 수행하는 작업 스케쥴러 모듈; 및 데이터 분석용 언어들에 대한 언어별 분석 엔진들을 포함하는 언어별 분석 엔진;을 구비하고,
상기 작업 스케쥴러 모듈은, 빅데이터 클라이언트의 분석 요청에 따라 작업 기술서 파일에 기재된 분석 코드 파일에 대한 분석용 언어를 파악하고, 상기 분석 코드 파일을 상기 언어별 분석 엔진에서 상기 분석용 언어에 대응되는 분석 엔진을 검출하고, 상기 검출된 분석 엔진을 이용하여 상기 분석 코드 파일을 실행하는 것이 바람직하다.
전술한 제1 특징에 따른 빅데이터 분석 시스템에 있어서, 상기 빅데이터 서버는 빅데이터 클라이언트가 데이터 저장 장치에 저장된 데이터들에 파일 형태로 접근할 수 있도록 지원하는 API 또는 통신 프로토콜을 제공하는 가상 파일 시스템 모듈을 구비하고,
상기 빅데이터 클라이언트는 빅데이터 서버의 가상 파일 시스템 모듈에 의해 파일 탐색기를 이용하여 데이터 저장 장치의 데이터들에 대하여 파일 형태로 접근할 수 있도록 구성된 가상 드라이브/폴더 모듈을 구비하여, 빅데이터 클라이언트는 데이터 저장 장치의 데이터들에 대하여 파일 형태로 접근가능한 것이 바람직하다.
본 발명의 제2 특징에 따른 빅데이터 분석 방법은, 빅 데이터들이 저장된 데이터 저장 장치; 상기 데이터 저장 장치에 데이터를 저장, 처리 및 분석하는 빅데이터 서버; 상기 빅데이터 서버에 접근하여 데이터 분석을 요청하고 결과를 제공받는 빅데이터 클라이언트;를 구비하는 빅데이터 분석 시스템에서의 빅데이터 서버에 의한 빅데이터 분석 방법에 관한 것으로서, (a) 상기 빅데이터 클라이언트로부터, 데이터 분석을 위한 분석 코드 파일 및 상기 분석 코드 파일에 대한 작업 내용을 명시한 작업 기술서 파일을 제공받는 단계; (b) 상기 빅데이터 클라이언트로부터 상기 작업 기술서 파일을 기반으로 한 분석을 요청받는 단계; (c) 상기 빅데이터 클라이언트로부터의 요청에 따라 상기 작업 기술서 파일을 기반으로 하여 빅데이터 분석을 수행하고 결과 파일을 생성하는 단계;를 구비하고,
상기 분석 코드 파일은 빅데이터 분석을 위하여 소정의 분석용 언어로 작성된 파일이며, 상기 작업 기술서 파일은 입력 파일, 분석 언어, 출력 파일에 대한 정보들이 사전 설정된 양식에 따라 기재된 것을 특징으로 하며, 상기 입력 파일에 대한 정보는 수행되어야 할 분석 코드 파일의 이름을 포함하며, 상기 분석 언어에 대한 정보는 상기 입력 파일에 기재된 분석 코드 파일을 분석하기 위하여 사용될 분석용 언어의 종류를 포함하며, 상기 출력 파일에 대한 정보는 분석 코드 파일에 의한 분석 완료시에 분석 결과 보고서 파일의 이름을 포함한다.
전술한 제2 특징에 따른 빅데이터 분석 방법에 있어서, 상기 빅데이터 분석 방법은, (d) 빅데이터 분석이 완료되면 작업 기술서 파일에 기재된 알림 방법에 따라 분석 완료 메시지를 전송하는 단계;를 더 구비하고,
상기 작업 기술서 파일은 분석 완료시 클라이언트에게 알리는 알림 방법에 대한 정보가 더 기재된 것이 바람직하다.
전술한 제2 특징에 따른 빅데이터 분석 방법에 있어서, 상기 빅데이터 서버는 데이터 분석용 언어들에 대한 언어별 분석 엔진들을 포함하는 언어별 분석 엔진을 구비하는 것을 특징으로 하고,
상기 (c) 단계는, 빅데이터 클라이언트의 분석 요청에 따라 작업 기술서 파일에 기재된 분석 코드 파일에 대한 분석용 언어를 파악하고, 상기 분석 코드 파일을 상기 언어별 분석 엔진에서 상기 분석용 언어에 대응되는 분석 엔진을 검출하고, 상기 검출된 분석 엔진을 이용하여 상기 분석 코드 파일을 실행하는 것이 바람직하다.
전술한 제2 특징에 따른 빅데이터 분석 방법에 있어서, 상기 빅데이터 서버는 빅데이터 클라이언트가 데이터 저장 장치에 저장된 데이터들에 파일 형태로 접근할 수 있도록 지원하는 API 또는 통신 프로토콜을 제공하고,
상기 빅데이터 클라이언트는 파일 탐색기를 이용하여 데이터 저장 장치의 데이터들에 대하여 파일 형태로 접근할 수 있도록 구성된 것이 바람직하다.
본 발명에 따른 빅데이터 분석 시스템은 사용자가 파일 형태로 작성한 작업 기술서 파일을 기반으로 하여, 빅데이터 서버에서 빅데이터를 분석할 수 있도록 구성함으로써, 사용자가 쉽게 빅데이터 분석을 수행할 수 있게 된다.
또한, 본 발명에 따른 빅데이터 분석 시스템은 빅데이터 서버가 가상 파일 시스템 모듈을 구동하고 빅데이터 클라이언트에서 가상 드라이브/폴더 모듈을 구동함으로써, 사용자는 빅데이터 클라이언트에서 파일 탐색기를 이용하여 데이터 저장 장치에 저장된 빅데이터들을 로컬 파일처럼 접근하여, 실행, 저장, 판독, 삭제 등의 작업을 수행할 수 있게 된다.
또한, 본 발명에 따른 빅데이터 분석 시스템은, 빅데이터 서버가 분석이 완료되면 작업 기술서 파일에 설정된 완료 알림 방법에 따라 사용자의 전자메일이나 휴대폰 메시지 또는 빅데이터 클라이언트의 메시지 박스를 통해 완료 알림 메시지를 전송시킴으로써, 사용자에게 분석 완료 여부를 알려줄 수 있게 된다.
도 1은 본 발명의 바람직한 실시예에 따른 빅데이터 분석 시스템을 전체적으로 도시한 블록도이다.
도 2는 본 발명의 바람직한 실시예에 따른 빅데이터 분석 시스템에 있어서, 빅데이터 분석 과정을 순차적으로 도시한 흐름도이다.
도 3은 본 발명의 바람직한 실시예에 따른 빅데이터 분석 시스템에 있어서, 분석용 언어 중 R로 작성된 분석 코드 파일의 일례를 도시한 것이다.
도 4는 본 발명의 바람직한 실시예에 따른 빅데이터 분석 시스템에 있어서, 작업 기술서의 일례를 도시한 것이다.
도 5는 본 발명의 바람직한 실시예에 따른 빅데이터 분석 시스템에 있어서, 파일 탐색기를 통한 분석 화면의 일례를 도시한 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 빅데이터 분석 시스템 및 방법에 대하여 구체적으로 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 빅데이터 분석 시스템을 전체적으로 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 빅데이터 분석 시스템(1)은 빅 데이터들이 저장된 데이터 저장 장치(10), 상기 데이터 저장 장치에 데이터를 저장, 처리 및 분석하는 빅데이터 서버(20) 및 상기 빅데이터 서버에 접근하여 데이터 분석을 요청하고 결과를 제공받는 빅데이터 클라이언트(30)를 구비한다. 전술한 구성의 빅데이터 분석 시스템은, 빅데이터 클라이언트(30)가 작업 기술서 파일 및 분석 코드 파일을 빅데이터 서버(20)에 업로드시킨 후 작업 기술서 파일을 기반으로 한 분석을 요청하면, 빅데이터 서버는 작업 기술서 파일을 기반으로 하여 데이터 저장 장치의 빅데이터들에 대한 분석 작업을 수행하고 그 결과 보고서를 빅데이터 클라이언트에게 제공하게 된다.
상기 분석 코드 파일은 빅데이터 분석을 위하여 소정의 분석용 언어로 작성된 파일이다. 상기 분석용 언어로는 R, 파이썬(Python), 스칼라(Scala) 등이 사용될 수 있다. 도 3은 본 발명의 바람직한 실시예에 따른 빅데이터 분석 시스템에 있어서, 분석용 언어 중 R로 작성된 분석 코드 파일의 일례를 도시한 것이다.
상기 작업 기술서(Job Description Language Document; 'JDD') 파일은 입력 파일 항목, 분석 언어 항목, 출력 파일 항목, 알림 방법 항목을 구비하고, 각 항목이 사전 설정된 양식에 따라 기재된 것을 특징으로 한다. 상기 작업 기술서 파일에는 알림 방법 항목과 연결되어 전자메일 항목, SMS 항목 등이 추가로 포함될 수 있다. 상기 전자메일 항목에는 분석 완료시 완료 메시지를 수신하고자 하는 전자메일의 주소를 기재하며, SMS 항목은 분석 완료시 완료 메시지를 문자 메시지의 형태로 수신하고자 하는 전화 번호를 기재한다.
상기 입력 파일 항목에는 수행되어야 할 분석 코드 파일의 이름이 기재되며, 상기 분석 언어 항목에는 상기 입력 파일 항목에 기재된 분석 코드 파일을 분석하기 위하여 사용될 분석용 언어의 종류가 기재되며, 상기 출력 파일 항목에는 분석 코드 파일에 의한 분석 완료시에 작성되어야 할 분석 결과 보고서 파일의 이름 및 형태가 기재된다. 상기 알림 방법 항목에는 분석 완료시 클라이언트에게 알리는 방법이 기재되며, 그 예로는 미알림, 알림 클라이언트 모듈을 이용하여 빅데이터 클라이언트의 화면에 메시지 박스(Message Box)를 띄어 완료를 알리는 방법, 전자메일 항목에 기재된 전자 메일로 완료 메시지를 전송하는 방법, SMS 항목에 기재된 전화 번호로 문자 메시지를 전송하는 방법 등이 있다.
도 4는 본 발명의 바람직한 실시예에 따른 빅데이터 분석 시스템에 있어서, 작업 기술서의 일례를 도시한 것이다. 도 4를 참조하면, "data"는 입력 데이터 항목으로서 입력 데이터나 입력 파일을 나타내며, "executable"은 분석 언어 항목으로서 분석용 언어를 나타내며, "input"은 입력 파일 항목으로서 분석 코드 파일을 나타내며, "outDir"은 출력 파일 항목으로서 출력 디렉토리를 나타내며, "outFile"은 출력 파일 항목으로서 분석 결과 보고서 파일의 이름을 나타내며, "inform"은 알림 방법 항목으로서 완료 통지 방법을 나타내며, "email"은 전자메일 항목으로서 완료 통지시 받을 전자메일 주소를 나타낸다.
이하, 전술한 특징을 갖는 빅데이터 분석 시스템의 각 구성 요소들에 대하여 보다 구체적으로 설명한다.
상기 데이터 저장 장치(10)는 수집된 데이터들을 저장하는 장치로서, HDFS 와 같은 파일 시스템 또는 MongoDB와 같은 NoSQL 데이터베이스 또는 PostgreSQL 과 같은 관계형 데이터베이스로 구성될 수 있다.
상기 빅데이터 서버(20)는 가상 파일 시스템 모듈(200), 작업 스케쥴러 모듈(210), 언어별 분석 엔진(220), 알림 서버 모듈(230), 컴퓨팅 자원 관리 모듈(240)을 구비하여, 빅데이터 플랫폼을 구성하여 빅데이터를 수집/저장/처리/분석한다.
상기 가상 파일 시스템(Virtual File System : 'VFS') 모듈은 빅데이터 클라이언트(30)가 데이터 저장 장치(10)에 저장된 데이터들에 파일 형태로 접근할 수 있도록 지원하는 API 또는 통신 프로토콜을 제공한다. 상기 가상 파일 시스템 모듈에 의해 제공되는 파일 관련 기능은, 파일 목록 보기, 파일 업로드/다운로드, 파일 삭제, 디렉토리 생성 및 삭제 등을 포함한다.
이와 같이, 가상 파일 시스템 모듈에 의해 사용자가 데이터 저장 장치의 데이터들에 파일 기반으로 하여 접근할 수 있기 때문에, 사용자는 파일 탐색기를 통해 데이터 저장 장치의 데이터들을 파일로 보고 접근할 수 있으나, 해당 데이터는 데이터 저장 장치에 반드시 파일로 저장되어 있을 필요는 없다. 즉, 데이터 저장 장치의 데이터는 파일 형태일 수도 있으며, 데이터 베이스 상의 데이터일 수도 있다.
상기 언어별 분석 엔진(220)은 R, 파이썬(Python), 스칼라(Scala) 등과 같은 각 분석용 언어에 대한 언어별 분석 엔진들을 구비한다.
상기 작업 스케쥴러 모듈(210)은, 빅데이터 클라이언트로부터 요청된 작업 기술서 파일을 판독하고, 작업 기술서 파일의 분석 언어 항목에 기재된 분석 엔진을 언어별 분석 엔진(220)으로부터 선택하고, 작업 기술서 파일의 입력 파일 항목에 기재된 데이터 분석 코드 파일을 파싱하고 상기 선택된 분석 엔진을 이용하여 빅데이터 분석 작업을 수행하게 된다. 그리고, 분석 작업이 완료되면, 작업 기술서 파일의 출력 파일 항목에 기재된 분석 결과 보고서 파일에 분석 결과를 기록하며, 작업 기술서 파일의 알림 방법 항목에 기재된 알림 방법에 따라 알림 서버 모듈(230)을 통해 클라이언트에게 분석 완료를 알려주게 된다.
상기 알림 서버 모듈(230)은 작업 스케쥴러 모듈의 요청에 따라 빅데이터 분석 작업이 완료되면 작업 기술서에 기재된 알림 방법으로 클라이언트에게 알려주게 된다. 알림 방법으로는 빅데이터 클라이언트의 알림 클라이언트 모듈을 통해 빅데이터 클라이언트의 화면에 메시지 박스(Message Box)를 띄워 완료 메시지를 디스플레이시키는 방법, 작업 기술서에 기재된 알림용 전자메일로 완료 메시지를 전송하는 방법, 작업 기술서에 기재된 휴대폰으로 완료를 알리는 문자 메시지를 전송하는 방법 등이 포함될 수 있다.
상기 컴퓨팅 자원 관리 모듈(240)은 빅데이터 서버의 CPU, 메모리, 네트워크, 데이터 저장 장치 등의 컴퓨팅 자원을 관리하게 된다.
한편, 상기 빅데이터 클라이언트(30)는 가상 드라이브/폴더 모듈(300), 파일 탐색기 확장 모듈(310), 분석 플러그인(320), 알림 클라이언트 모듈(330)을 구비한다.
상기 가상 드라이브/폴더 모듈(300)은, 파일 탐색기를 이용하여 데이터 저장 장치의 데이터들에 대하여 빅데이터 클라이언트에 저장된 파일처럼 접근할 수 있도록 가상 드라이브 또는 가상 폴더를 제공하는 모듈로서, 빅데이터 서버(20)의 가상 파일 시스템 모듈(200)에서 제공하는 API 또는 통신 프로토콜을 이용하여 데이터 저장 장치의 데이터들에 대하여 파일 형태로 접근할 수 있도록 한다.
도 5는 본 발명의 바람직한 실시예에 따른 빅데이터 분석 시스템에 있어서, 파일 탐색기를 통한 분석 화면의 일례를 도시한 것이다. 도 5를 참조하면, "MEDBIZ"라는 이름의 가상 드라이브를 실행함으로써, 빅데이터 클라이언트의 파일 탐색기에 빅데이터 서버의 파일이 빅데이터 클라이언트의 로컬 파일처럼 보이게 된다. 사용자는 분석 코드 파일과 작업 기술서 파일을 작성하여 도 5의 가상 드라이브 또는 가상 폴더에 복사한 후, 작업 기술서 파일에서 마우스 오른쪽 키를 눌러 디스플레이되는 팝업 메뉴의 "분석 시작" 메뉴를 클릭하여 분석을 시작하게 된다.
상기 파일 탐색기 확장 모듈(310)은, 파일 탐색기에서 작업 기술서 파일의 팝업 메뉴에 '분석 시작' 메뉴를 제공하는 모듈이다.
상기 분석 플러그인(320)은, 사용자 PC 내 분석 환경에서 클라우드 자원 활용을 위한 플러그인 및 라이브러리들을 포함하는 것으로서, IDE에 플러그인을 제공한다. 상기 분석 플러그인의 일례로서는 작업기술서 파일 편집기 등으로서, 사용자의 분석 편리성을 높이고 데이터 분석을 용이하게 하는 주변 도구들이 된다. 여기서, IDE(Integrated Development Environment)는 통합 개발 환경으로서, 그 예로서는 R-Studio, eclipse 등이 사용될 수 있다.
상기 알림 클라이언트 모듈(330)은, 빅데이터 서버(20)의 알림 서버 모듈(230)로부터 빅데이터 분석 완료 통지를 받으면, 화면상에 메시지 박스(Message Box)를 띄우고 분석 완료 메시지를 디스플레이함으로써, 사용자에게 분석 완료를 알리게 된다.
이하, 도 2를 참조하여 전술한 빅데이터 분석 시스템에 의해 수행되는 빅데이터 분석 방법에 대하여 구체적으로 설명한다.
도 2는 본 발명의 바람직한 실시예에 따른 빅데이터 분석 시스템에 있어서, 빅데이터 분석 과정을 순차적으로 도시한 흐름도이다.
도 2를 참조하면, 본 발명에 따른 빅데이터 분석 시스템을 이용한 빅데이터 분석 과정은, 먼저 사용자가 빅데이터 클라이언트에 분석 코드 파일 및 작업기술서 파일을 생성하여 저장한다(단계 200).
빅데이터 클라이언트의 가상 드라이브/폴더 모듈을 실행하고 로그인한다(단계 202). 다음, 빅데이터 서버에 로그인한다(단계204).
다음, 상기 분석 코드 파일 및 작업기술서 파일을 빅데이터 클라이언트의 가상 드라이브 또는 가상 폴더에 복사함으로써(단계 206), 분석 코드 파일 및 작업기술서 파일을 빅데이터 서버로 전송하게 된다(단계 208).
빅데이터 클라이언트에서 작업기술서 파일에 대한 '분석 시작' 명령을 실행하여(단계 210), 빅데이터 서버로 '분석 시작' 명령을 전송한다(단계 212). 빅데이터 서버는 '분석 시작' 명령에 따라 작업 기술서 파일에 따른 빅데이터 분석을 수행하고(단계 214), 분석 결과에 따른 분석 결과 파일을 생성하고(단계 216), 알림 서버 모듈이 분석 완료를 통보한다(단계 218).
사용자는 분석 완료 메시지를 수신하면 분석 결과 파일을 확인하고(단계 220), 빅데이터 클라이언트는 빅데이터 서버로부터 분석 결과 파일을 다운로드받고 이를 출력하게 된다(단계 222).
이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
1 : 빅데이터 분석 시스템
10 : 데이터 저장 장치
20 : 빅데이터 서버
30 : 빅데이터 클라이언트
200 : 가상 파일 시스템 모듈
210 : 작업 스케쥴러 모듈
220 : 언어별 분석 엔진
230 : 알림 서버 모듈
240 : 컴퓨팅 자원 관리 모듈
300 : 가상 드라이브/폴더 모듈
310 : 파일 탐색기 확장 모듈
320 : 분석 플러그인
330 : 알림 클라이언트 모듈

Claims (8)

  1. 빅 데이터들이 저장된 데이터 저장 장치; 상기 데이터 저장 장치에 데이터를 저장, 처리 및 분석하는 빅데이터 서버; 상기 빅데이터 서버에 접근하여 데이터 분석을 요청하고 결과를 제공받는 빅데이터 클라이언트;를 구비하는 빅데이터 분석 시스템에 있어서,
    상기 빅데이터 클라이언트는, 데이터 분석을 위한 분석 코드 파일 및 상기 분석 코드 파일에 대한 작업 내용을 명시한 작업 기술서 파일을 빅데이터 서버로 제공하고, 상기 작업 기술서 파일을 기반으로 한 분석을 요청하는 것을 특징으로 하고,
    상기 빅데이터 서버는, 상기 빅데이터 클라이언트로부터의 요청에 따라 상기 작업 기술서 파일을 기반으로 하여 빅데이터 분석을 수행하고 결과 파일을 생성하는 것을 특징으로 하며,
    상기 분석 코드 파일은 빅데이터 분석을 위하여 소정의 분석용 언어로 작성된 파일이며,
    상기 작업 기술서 파일은 입력 파일, 분석 언어, 출력 파일에 대한 정보들이 사전 설정된 양식에 따라 기재된 것을 특징으로 하며,
    상기 입력 파일에 대한 정보는 수행되어야 할 분석 코드 파일의 이름을 포함하며, 상기 분석 언어에 대한 정보는 상기 입력 파일에 기재된 분석 코드 파일을 분석하기 위하여 사용될 분석용 언어의 종류를 포함하며, 상기 출력 파일에 대한 정보는 분석 코드 파일에 의한 분석 완료시에 분석 결과 보고서 파일의 이름을 포함하는 것을 특징으로 하며,
    상기 빅데이터 서버는 빅데이터 클라이언트가 데이터 저장 장치에 저장된 데이터들에 파일 형태로 접근할 수 있도록 지원하는 API 또는 통신 프로토콜을 제공하는 가상 파일 시스템 모듈을 구비하고,
    상기 빅데이터 클라이언트는 빅데이터 서버의 가상 파일 시스템 모듈에 의해 파일 탐색기를 이용하여 데이터 저장 장치의 데이터들에 대하여 파일 형태로 접근할 수 있도록 구성된 가상 드라이브/폴더 모듈을 구비하여, 빅데이터 클라이언트가 파일 탐색기를 이용하여 작업 기술서 파일을 빅데이터 서버로 전송하거나 작업 기술서 파일을 기반으로 한 분석을 요청할 수 있도록 구성된 것을 특징으로 하는 빅데이터 분석 시스템.
  2. 제1항에 있어서,
    상기 작업 기술서 파일은 분석 완료시 클라이언트에게 알리는 알림 방법에 대한 정보가 더 기재된 것을 특징으로 하며,
    상기 빅데이터 서버는 알림 서버 모듈을 구비하고,
    상기 알림 서버 모듈은 스케쥴러 모듈에 의해 빅데이터 분석이 완료되면 작업 기술서에 기재된 알림 방식에 따라 분석 완료 메시지를 전송하는 것을 특징으로 하는 빅데이터 분석 시스템.
  3. 제1항에 있어서, 상기 빅데이터 서버는
    빅데이터 클라이언트로부터 제공된 작업 기술서 파일을 기반으로 하여 처리를 수행하는 작업 스케쥴러 모듈; 및
    데이터 분석용 언어들에 대한 언어별 분석 엔진들을 포함하는 언어별 분석 엔진; 을 구비하고,
    상기 작업 스케쥴러 모듈은, 빅데이터 클라이언트의 분석 요청에 따라 작업 기술서 파일에 기재된 분석 코드 파일에 대한 분석용 언어를 파악하고, 상기 분석 코드 파일을 상기 언어별 분석 엔진에서 상기 분석용 언어에 대응되는 분석 엔진을 검출하고, 상기 검출된 분석 엔진을 이용하여 상기 분석 코드 파일을 실행하는 것을 특징으로 하는 빅데이터 분석 시스템.
  4. 삭제
  5. 빅 데이터들이 저장된 데이터 저장 장치; 상기 데이터 저장 장치에 데이터를 저장, 처리 및 분석하는 빅데이터 서버; 상기 빅데이터 서버에 접근하여 데이터 분석을 요청하고 결과를 제공받는 빅데이터 클라이언트;를 구비하는 빅데이터 분석 시스템에서의 빅데이터 서버에 의한 빅데이터 분석 방법에 있어서,
    (a) 상기 빅데이터 클라이언트로부터, 데이터 분석을 위한 분석 코드 파일 및 상기 분석 코드 파일에 대한 작업 내용을 명시한 작업 기술서 파일을 제공받는 단계;
    (b) 상기 빅데이터 클라이언트로부터 상기 작업 기술서 파일을 기반으로 한 분석을 요청받는 단계;
    (c) 상기 빅데이터 클라이언트로부터의 요청에 따라 상기 작업 기술서 파일을 기반으로 하여 빅데이터 분석을 수행하고 결과 파일을 생성하는 단계;
    상기 분석 코드 파일은 빅데이터 분석을 위하여 소정의 분석용 언어로 작성된 파일이며,
    상기 작업 기술서 파일은 입력 파일, 분석 언어, 출력 파일에 대한 정보들이 사전 설정된 양식에 따라 기재된 것을 특징으로 하며,
    상기 입력 파일에 대한 정보는 수행되어야 할 분석 코드 파일의 이름을 포함하며, 상기 분석 언어에 대한 정보는 상기 입력 파일에 기재된 분석 코드 파일을 분석하기 위하여 사용될 분석용 언어의 종류를 포함하며, 상기 출력 파일에 대한 정보는 분석 코드 파일에 의한 분석 완료시에 분석 결과 보고서 파일의 이름을 포함하는 것을 특징으로 하며,
    상기 빅데이터 서버는 빅데이터 클라이언트가 데이터 저장 장치에 저장된 데이터들에 파일 형태로 접근할 수 있도록 지원하는 API 또는 통신 프로토콜을 제공하고,
    상기 빅데이터 클라이언트는 파일 탐색기를 이용하여 데이터 저장 장치의 데이터들에 대하여 파일 형태로 접근할 수 있도록 구성된 것을 특징으로 하는 빅데이터 분석 방법.
  6. 제5항에 있어서, 상기 빅데이터 분석 방법은, (d) 빅데이터 분석이 완료되면 작업 기술서 파일에 기재된 알림 방법에 따라 분석 완료 메시지를 전송하는 단계; 를 더 구비하고,
    상기 작업 기술서 파일은 분석 완료시 클라이언트에게 알리는 알림 방법에 대한 정보가 더 기재된 것을 특징으로 하는 빅데이터 분석 방법.
  7. 제5항에 있어서, 상기 빅데이터 서버는 데이터 분석용 언어들에 대한 언어별 분석 엔진들을 포함하는 언어별 분석 엔진을 구비하는 것을 특징으로 하고,
    상기 (c) 단계는, 빅데이터 클라이언트의 분석 요청에 따라 작업 기술서 파일에 기재된 분석 코드 파일에 대한 분석용 언어를 파악하고, 상기 분석 코드 파일을 상기 언어별 분석 엔진에서 상기 분석용 언어에 대응되는 분석 엔진을 검출하고, 상기 검출된 분석 엔진을 이용하여 상기 분석 코드 파일을 실행하는 것을 특징으로 하는 빅데이터 분석 방법.


  8. 삭제
KR1020180083715A 2018-07-18 2018-07-18 빅데이터 분석 시스템 및 빅데이터 분석 방법 KR102101251B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180083715A KR102101251B1 (ko) 2018-07-18 2018-07-18 빅데이터 분석 시스템 및 빅데이터 분석 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180083715A KR102101251B1 (ko) 2018-07-18 2018-07-18 빅데이터 분석 시스템 및 빅데이터 분석 방법

Publications (2)

Publication Number Publication Date
KR20200013153A KR20200013153A (ko) 2020-02-06
KR102101251B1 true KR102101251B1 (ko) 2020-05-15

Family

ID=69569167

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180083715A KR102101251B1 (ko) 2018-07-18 2018-07-18 빅데이터 분석 시스템 및 빅데이터 분석 방법

Country Status (1)

Country Link
KR (1) KR102101251B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160031807A (ko) 2014-09-15 2016-03-23 (주)아펙스씨앤에스 스프레드시트 기반 빅데이터 분석 시스템 및 그 방법
KR20170105325A (ko) * 2016-03-09 2017-09-19 세종대학교산학협력단 소스 코드 분석 방법과 이를 수행하기 위한 시스템 및 장치

Also Published As

Publication number Publication date
KR20200013153A (ko) 2020-02-06

Similar Documents

Publication Publication Date Title
US9703554B2 (en) Custom code migration suggestion system based on actual change references
US20180113862A1 (en) Method and System for Electronic Document Version Tracking and Comparison
US10437907B2 (en) Link expansion service
US10114843B2 (en) Content migration framework
US11288319B1 (en) Generating trending natural language request recommendations
US9098314B2 (en) Systems and methods for web based application modeling and generation
US8615477B2 (en) Monitoring relationships between digital items on a computing apparatus
US20170357486A1 (en) Enhancing a crowdsourced integrated development environment application
US11586591B1 (en) Electronic file management
US20230281377A1 (en) Systems and methods for displaying digital forensic evidence
CN112817817B (zh) 埋点信息查询方法、装置、计算机设备和存储介质
US11670062B1 (en) Web-based three-dimensional extended reality workspace editor
CN112764857A (zh) 信息处理方法、装置及电子设备
US20230077605A1 (en) Computerized system and method for electronically generating a dynamically visualized hierarchical representation of electronic information
CN111177623A (zh) 信息处理方法及装置
CN114556317A (zh) 通过版本散列链接图形的文档跟踪
KR102101251B1 (ko) 빅데이터 분석 시스템 및 빅데이터 분석 방법
US11861294B2 (en) Syndication of associations relating data and metadata
US20230064537A1 (en) System and method for implementing automated harvesting of scanned contracts
TWI576710B (zh) 預載關注網頁的啓動方法以及系統
Raji Digital forensic tools & cloud-based machine learning for analyzing crime data
JP6242707B2 (ja) 管理プログラム、管理方法、及び管理システム
CN106325895B (zh) 预载关注网页的启动方法以及***
JP2016040643A (ja) 画像データ管理システム
US20180365197A1 (en) Automatic upload and instant preview generation of locally unsupported files

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right