KR102345410B1

KR102345410B1 - Big data intelligent collecting method and device

Info

Publication number: KR102345410B1
Application number: KR1020190148303A
Authority: KR
Inventors: 송광헌; 이금탁; 김주성; 최원재; 신명지
Original assignee: 주식회사 피씨엔
Priority date: 2019-11-19
Filing date: 2019-11-19
Publication date: 2021-12-30
Also published as: KR20210060830A

Abstract

본 발명은 빅데이터 지능형 수집 방법 및 장치를 개시한다. 본 발명에 따르면, 프로세서 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 데이터 소스로부터 비정형 데이터, 반정형 데이터 및 정형 데이터 중 적어도 하나를 포함하는 데이터셋을 입력 받고, 상기 입력된 데이터셋을 파싱하고, 상기 파싱된 데이터셋를 하나 이상의 데이터베이스에 저장하기 위해 필터링하고, 상기 필터링된 데이터셋의 특징을 추출하여 상기 필터링된 데이터셋의 클래스를 분류하고, 상기 클래스가 분류된 데이터셋을 하나 이상의 데이터베이스에 저장하도록, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하는 빅데이터 지능형 수집 장치가 제공된다. The present invention discloses a big data intelligent collection method and apparatus. According to the present invention, a processor and a memory connected to the processor, wherein the memory receives a data set including at least one of unstructured data, semi-structured data, and structured data from a data source, and the input data set , filter to store the parsed dataset in one or more databases, extract features of the filtered dataset to classify the class of the filtered dataset, and convert the dataset into which the class is classified into one or more A big data intelligent collection device for storing program instructions executed by the processor to store in a database is provided.

Description

빅데이터 지능형 수집 방법 및 장치{Big data intelligent collecting method and device}Big data intelligent collecting method and device

본 발명은 빅데이터 지능형 수집 방법 및 장치에 관한 것이다.The present invention relates to a big data intelligent collection method and apparatus.

빅데이터 분석은 기존 데이터베이스 관리도구의 능력을 넘어서는 대량(수십 테라바이트)의 정형 또는 비정형 데이터의 집합에서 데이터로부터 가치를 추출하고 결과를 분석하는 기술이다. Big data analysis is a technology that extracts values from data and analyzes the results from a set of large (tens of terabytes) structured or unstructured data that exceeds the capabilities of existing database management tools.

다양한 종류의 대규모 데이터에 대한 생성, 수집, 분석, 표현을 그 특징으로 하는 빅데이터 기술의 발전은 다변화된 현대 사회를 더욱 정확하게 예측하여 효율적으로 작동하게 하고 개인화된 현대 사회 구성원마다 맞춤형 정보를 제공, 관리, 분석 가능하게 하며 과거에는 불가능했던 기술을 실현시키기도 한다. The development of big data technology, which is characterized by the generation, collection, analysis, and expression of various types of large-scale data, more accurately predicts the diversified modern society, makes it work efficiently, and provides customized information for each individualized modern society member; It makes management and analysis possible, and it also enables technology that was previously impossible to be realized.

이같이 빅데이터는 정치, 사회, 경제, 문화, 과학 기술 등 전 영역에 걸쳐서 사회와 인류에게 가치있는 정보를 제공할 수 있는 가능성을 제시하며 그 중요성이 부각되고 있다. As such, big data presents the possibility of providing valuable information to society and mankind in all areas such as politics, society, economy, culture, and science and technology, and its importance is being highlighted.

일반적으로 빅데이터 분석은 데이터 수집/저장, 데이터 전처리, 데이터 정제(프로파일링), 데이터 분석 및 데이터 시각화을 거친다. In general, big data analysis goes through data collection/storage, data preprocessing, data purification (profiling), data analysis, and data visualization.

최근 빅데이터 수집을 위한 데이터 소스는 음성, 문서, SNS 데이터와 같은 비정형 데이터, 로그 데이터, 머신 데이터 및 운용 데이터와 같은 반정형 데이터와 DB/DW와 같은 정형 데이터를 포함한다. Recently, data sources for big data collection include unstructured data such as voice, document, and SNS data, semi-structured data such as log data, machine data and operational data, and structured data such as DB/DW.

빅데이터 분석을 위해서는 데이터 수집이 정확이 이루어져야 하나, 데이터의 수집 위치 및 공개데이터의 설명 부족 등으로 해당 소스를 찾거나 활용하기 어려운 문제점이 있다. Data collection must be accurate for big data analysis, but there is a problem in that it is difficult to find or utilize the source due to the lack of explanation of the data collection location and public data.

빅데이터 분석에 있어서, 원하는 데이터를 얻기 위해서는 수집된 데이터의 정제가 필수적이며, 데이터 수집에 제대로 이루어지지 못하는 경우, 데이터 정제 과정에서도 데이터의 구성이 일관되지 않아 빅데이터 분석을 할 수 없는 문제점이 있다.In big data analysis, purification of the collected data is essential to obtain desired data. .

한국등록특허 제10-2033151호Korean Patent Registration No. 10-2033151

상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 데이터 수집 시 데이터셋을 자동으로 제시하거나 데이터셋 카테고리를 제공할 수 있는 빅데이터 지능형 수집 방법 및 장치를 제안하고자 한다. In order to solve the problems of the prior art, the present invention intends to propose a big data intelligent collection method and apparatus capable of automatically presenting a dataset or providing a dataset category when collecting data.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 빅데이터 지능형 수집 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 데이터 소스로부터 비정형 데이터, 반정형 데이터 및 정형 데이터 중 적어도 하나를 포함하는 데이터셋을 입력 받고, 상기 입력된 데이터셋을 파싱하고, 상기 파싱된 데이터셋를 하나 이상의 데이터베이스에 저장하기 위해 필터링하고, 상기 필터링된 데이터셋의 특징을 추출하여 상기 필터링된 데이터셋의 클래스를 분류하고, 상기 클래스가 분류된 데이터셋을 하나 이상의 데이터베이스에 저장하도록, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하는 빅데이터 지능형 수집 장치가 제공된다. In order to achieve the above object, according to an embodiment of the present invention, there is provided a big data intelligent collection device, comprising: a processor; and a memory connected to the processor, wherein the memory receives a data set including at least one of unstructured data, semi-structured data, and structured data from a data source, parses the input data set, and performs the parsing filtering to store the filtered dataset in one or more databases, classifying the class of the filtered dataset by extracting features of the filtered dataset, and storing the classified dataset in one or more databases, the A big data intelligent collection device for storing program instructions executed by a processor is provided.

상기 프로그램 명령어들은, 미리 설정된 알고리즘을 이용하여 복수의 데이터셋 각각에서 추출된 특징에 따른 클래스를 미리 분류할 수 있다. The program instructions may pre-classify a class according to a feature extracted from each of a plurality of data sets using a preset algorithm.

상기 필터링된 데이터셋의 특징은 하나 이상의 필드 각각의 타입, 도메인 및 최대/최소값을 포함할 수 있다. The characteristics of the filtered dataset may include a type, a domain, and a maximum/minimum value of each of one or more fields.

상기 타입은 숫자, 텍스트 및 이진 데이터 중 적어도 하나이고, 상기 도메인은 카테고리, 날짜, 시간, 금액, 좌표, 백분율, 분수 및 지수 중 적어도 하나일 수 있다. The type may be at least one of number, text, and binary data, and the domain may be at least one of category, date, time, amount, coordinate, percentage, fraction, and exponent.

상기 클래스가 분류된 데이터셋이 미리 학습된 데이터셋 분류 데이터베이스에 저장되어 있지 않은 경우, 새로운 클래스를 생성할 수 있다. When the dataset into which the class is classified is not stored in the pre-trained dataset classification database, a new class may be created.

상기 프로그램 명령어들은, 상기 미리 학습된 데이터 분류 데이터베이스를 이용하여 클래스가 분류된 데이터셋의 특징을 포함하는 메타데이터 제공 API를 생성할 수 있다. The program instructions may use the pre-learned data classification database to generate a metadata providing API including characteristics of a dataset into which a class is classified.

본 발명의 다른 측면에 따르면, 프로세서 및 메모리를 포함하는 장치에서 빅데이터를 수집하는 방법으로서, 데이터 소스로부터 비정형 데이터, 반정형 데이터 및 정형 데이터 중 적어도 하나를 포함하는 데이터셋을 입력 받는 단계; 상기 입력된 데이터셋을 파싱하는 단계; 상기 파싱된 데이터셋를 하나 이상의 데이터베이스에 저장하기 위해 필터링하는 단계; 상기 필터링된 데이터셋의 특징을 추출하여 상기 필터링된 데이터셋의 클래스를 분류하는 단계; 및 상기 클래스가 분류된 데이터셋을 하나 이상의 데이터베이스에 저장하는 단계를 포함하는 빅데이터 지능형 수집 방법이 제공된다. According to another aspect of the present invention, there is provided a method for collecting big data from a device including a processor and a memory, the method comprising: receiving a data set including at least one of unstructured data, semi-structured data, and structured data from a data source; parsing the input data set; filtering the parsed dataset for storage in one or more databases; classifying a class of the filtered dataset by extracting features of the filtered dataset; And there is provided a big data intelligent collection method comprising the step of storing the class-classified dataset in one or more databases.

본 발명의 또 다른 측면에 따르면, 상기한 방법을 수행하는 컴퓨터 프로그램이 제공된다. According to another aspect of the present invention, there is provided a computer program for performing the above method.

본 발명에 따르면, 데이터셋의 클래스 분류를 통해 빅데이터 수집의 관리 및 수집의 효율성을 한층 높일 수 있다. According to the present invention, it is possible to further improve the management and collection efficiency of big data collection through class classification of datasets.

도 1은 본 발명의 바람직한 일 실시예에 따른 빅데이터 지능형 수집 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 빅데이터 지능형 수집 장치의 상세 구성을 도시한 도면이다.
도 3은 본 실시예에 따른 빅데이터 지능형 수집을 위한 소프트웨어 모듈 구성을 도시한 도면이다.
도 4 내지 도 6은 서로 다른 클래스의 데이터셋을 도시한 도면이다.
도 7은 도 4 내지 도 6의 데이터셋의 특징에 따라 클래스를 분류한 결과를 나타낸 도면이다. 1 is a diagram showing the configuration of a big data intelligent collection system according to a preferred embodiment of the present invention.
2 is a diagram illustrating a detailed configuration of an intelligent big data collection device according to an embodiment of the present invention.
3 is a diagram showing the configuration of a software module for big data intelligent collection according to the present embodiment.
4 to 6 are diagrams illustrating datasets of different classes.
7 is a diagram illustrating a result of classifying a class according to the characteristics of the dataset of FIGS. 4 to 6 .

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention.

본 발명은 빅데이터 분석을 위한 데이터셋을 지능적으로 분류할 수 있는 방법 및 장치를 제공한다. The present invention provides a method and apparatus capable of intelligently classifying a dataset for big data analysis.

도 1은 본 발명의 바람직한 일 실시예에 따른 빅데이터 지능형 수집 시스템의 구성을 도시한 도면이다. 1 is a diagram showing the configuration of a big data intelligent collection system according to a preferred embodiment of the present invention.

도 1에 도시된 바와 같이, 본 실시예에 따른 빅데이터 지능형 수집 시스템은 데이터 소스(100), 데이터 소스와 네트워크를 통해 연결되는 데이터셋 수집 모듈(102), 수집된 데이터를 저장하는 하나 이상의 데이터베이스(104-n)를 포함할 수 있다. As shown in Fig. 1, the big data intelligent collection system according to this embodiment includes a data source 100, a dataset collection module 102 connected to the data source and a network through a network, and one or more databases for storing the collected data. (104-n).

데이터 소스(100)로부터 수집되는 데이터셋은, 정형 데이터(Structured Data), 반정형 데이터(Semistructured-Data) 및 비정형 데이터(Unstructured-Data)를 포함할 수 있다. The dataset collected from the data source 100 may include structured data, semistructured data, and unstructured data.

정형 데이터는 관계형 데이터베이스 시스템의 테이블과 같이 고정된 필드(컬럼)에 저장되는 데이터와 파일, 그리고 지정된 행과 열에 의해 데이터의 속성이 구별되는 스프레드시트 형태의 데이터이다. Structured data is data and files stored in fixed fields (columns) like tables in a relational database system, and spreadsheet-type data in which data properties are distinguished by specified rows and columns.

정형 데이터의 경우, 스키마 구조를 가지고 있기 때문에 데이터를 탐색하는 과정이 테이블 탐색, 컬럼 구조 탐색, 로우 탐색 순으로 정형화되어 있다.In the case of structured data, since it has a schema structure, the data search process is standardized in the order of table search, column structure search, and row search.

반정형 데이터는 데이터 내부에 정형데이터의 스키마에 해당되는 메타데이터를 갖고 있으며. 일반적으로 파일 형태로 저장되는 데이터로서, 로그 데이터, 머신 데이터 및 운용 데이터를 포함한다. Semi-structured data has metadata corresponding to the schema of structured data inside the data. As data generally stored in a file format, it includes log data, machine data, and operation data.

반정형 데이터의 경우 데이터 내부에 데이터 구조에 대한 메타데이터를 갖고 있기 때문에 어떤 형태를 가진 데이터인지를 파악하는 것이 필요하다. 데이터 내부에 있는 규칙성을 파악해 데이터를 파싱할 수 있는 파싱 규칙을 적용한다.In the case of semi-structured data, it is necessary to understand what type of data it is because it has metadata about the data structure inside the data. Apply parsing rules that can parse data by identifying regularities within data.

비정형 데이터는 음성, 문서 및 SNS 데이터와 같이 언어 분석이 가능한 텍스트 데이터, 음성, 이미지 및 동영상과 같은 멀티미디어 데이터를 포함한다. The unstructured data includes text data capable of language analysis such as voice, document, and SNS data, and multimedia data such as voice, image, and video.

본 실시예에 따른 데이터셋 수집 모듈(102)은 네트워크를 통해 연결되는 데이터 소스(100)로부터 정형, 반정형 및 비정형 데이터를 포함하는 데이터셋을 입력 받고, 입력된 데이터셋의 클래스를 분류한다. The dataset collection module 102 according to the present embodiment receives a dataset including structured, semi-structured, and unstructured data from the data source 100 connected through a network, and classifies the input dataset class.

도 1의 데이터셋 수집 모듈(102)이 본 발명의 빅데이터 지능형 수집 장치로 정의될 수 있다. The dataset collection module 102 of FIG. 1 may be defined as the big data intelligent collection device of the present invention.

도 2는 본 발명의 일 실시예에 따른 빅데이터 지능형 수집 장치의 상세 구성을 도시한 도면이다. 2 is a diagram illustrating a detailed configuration of an intelligent big data collection device according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 본 실시예에 따른 빅데이터 지능형 수집 장치는 프로세서(200) 및 메모리(202)를 포함할 수 있다. As shown in FIG. 2 , the big data intelligent collection apparatus according to the present embodiment may include a processor 200 and a memory 202 .

프로세서(200)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다. The processor 200 may include a central processing unit (CPU) capable of executing a computer program or other virtual machines.

메모리(202)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(202)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.Memory 202 may include a non-volatile storage device such as a fixed hard drive or a removable storage device. The removable storage device may include a compact flash unit, a USB memory stick, and the like. Memory 202 may also include volatile memory, such as various random access memories.

본 발명의 일 실시예에 따르면, 메모리(202)에는 정형, 반정형 및 비정형 데이터를 포함하는 데이터셋을 입력 받고, 입력된 데이터의 클래스를 분류하고, 클랙스가 분류된 데이터셋을 하나 이상의 데이터베이스(104-n)에 저장하는 프로그램 명령어들이 저장된다. According to an embodiment of the present invention, the memory 202 receives a data set including structured, semi-structured and unstructured data, classifies the class of the input data, and stores the class-classified data set in one or more databases ( 104-n) are stored program instructions.

본 실시예에 따른 클래스는, 빅데이터가 활용될 수 있는 서비스 분류를 의미하는 것으로서, 날씨, 건강, 로그 데이터를 예로 들 수 있으나, 이에 한정되지 않는다. The class according to the present embodiment means a service classification in which big data can be utilized, and may include, but is not limited to, weather, health, and log data.

본 실시예에 따른 메모리(202)에 저장된 프로그램 명령어들은 소정 기능을 수행하기 위한 소프트웨어 모듈로 정의될 수 있다. Program instructions stored in the memory 202 according to the present embodiment may be defined as a software module for performing a predetermined function.

도 3은 본 실시예에 따른 빅데이터 지능형 수집을 위한 소프트웨어 모듈 구성을 도시한 도면이다. 3 is a diagram showing the configuration of a software module for big data intelligent collection according to the present embodiment.

도 3에 도시된 바와 같이, 본 실시예에 따른 소프트웨어 모듈은 입력 모듈(300), 필터 모듈(302), 클래스 분류 모듈(304) 및 출력 모듈(306)을 포함할 수 있다. 3 , the software module according to this embodiment may include an input module 300 , a filter module 302 , a class classification module 304 , and an output module 306 .

일반적으로 정형 데이터는 DBMS 및 이진 파일을 포함한다. Typically structured data includes DBMS and binary files.

DBMS의 경우, DBMS 벤더가 제공하는 API를 통해 정형 데이터에 접근하여 수집된다. 이진 파일은 ftp 프로토콜을 통해 수집된다. In the case of DBMS, structured data is accessed and collected through the API provided by the DBMS vendor. Binary files are collected through the ftp protocol.

반정형 데이터는 스크립트 파일 및 이진 파일을 포함하고, 스크립트 파일은 http 프로토콜을 통해 파일의 텍스트가 스크랩된다. The semi-structured data includes a script file and a binary file, and the text of the script file is scraped through the http protocol.

비정형 데이터는 스크립트 파일 및 이진 파일을 포함하고, 이들의 수집은 상기한 바와 같다. The unstructured data includes a script file and a binary file, and their collection is as described above.

입력 모듈(300)은 데이터 소스(100)로부터 상기한 바와 같이 API, ftp 또는 http 프로토콜 등을 통해 정형, 반정형, 비정형 데이터를 수집하고, 이를 파싱한다. The input module 300 collects structured, semi-structured, and unstructured data from the data source 100 through API, ftp, or http protocol as described above, and parses it.

필터 모듈(302)은 파싱된 데이터를 데이터베이스(104-n)에 저장하기 위한 형식으로 변환하며, 데이터 필드의 추가, 삭제 및 마스킹을 수행한다. The filter module 302 converts the parsed data into a format for storage in the database 104-n, and performs addition, deletion, and masking of data fields.

클래스 분류 모듈(304)은 필터 모듈(302)에서 필터링된 데이터셋의 특징을 추출하여 데이터셋의 클래스를 분류한다. The class classification module 304 classifies the class of the dataset by extracting features of the dataset filtered by the filter module 302 .

본 실시예에 따르면, 클래스 분류 과정은 사전 학습된 알고리즘을 통해 수행될 수 있다. According to this embodiment, the class classification process may be performed through a pre-learned algorithm.

본 실시예에 따르면, k-NN, RNN 및 BERT 알고리즘을 미리 클래스를 알고 있는 데이터셋으로 사전 학습시킨다. According to this embodiment, k-NN, RNN, and BERT algorithms are pre-trained on a dataset whose class is known in advance.

사전 학습이 완료된 이후, 새로운 데이터셋이 입력되면, 클래스 분류 모듈(304)은 데이터셋의 특징을 추출하고, 추출된 특징을 사전 학습된 알고리즘에 입력값으로 하여 복수의 클래스 각각에 속하는 확률을 계산한다. After the pre-learning is completed, when a new dataset is input, the class classification module 304 extracts the features of the dataset, and calculates the probability of belonging to each of the plurality of classes by using the extracted features as input values to the pre-learning algorithm. do.

사전 학습을 통해 데이터셋 분류 데이터베이스(110)가 구축될 수 있으며, 데이터셋 분류 데이터베이스(110)는 미리 정의된 복수의 클래스와 각 클래스에 대응되는 특징에 관한 정보를 저장한다. The dataset classification database 110 may be built through prior learning, and the dataset classification database 110 stores a plurality of predefined classes and information about characteristics corresponding to each class.

데이터셋의 특징은 하나 이상의 필드(컬럼) 각각의 타입, 도메인 및 최대/최소값을 포함할 수 있다. The characteristics of the dataset may include the type, domain, and max/min value of each of one or more fields (columns).

여기서, 타입은 숫자, 텍스트 및 이진 데이터일 수 있고, 도메인은 카테고리, 날짜, 시간, 금액, 좌표, 백분율, 분수 및 지수를 포함할 수 있다. Here, the type may be numeric, text, and binary data, and the domain may include category, date, time, amount, coordinate, percentage, fraction, and exponent.

도 4 내지 도 6은 서로 다른 클래스의 데이터셋을 도시한 도면이고, 도 7은 도 4 내지 도 6의 데이터셋의 특징에 따라 클래스를 분류한 결과를 나타낸 도면이다. 4 to 6 are diagrams illustrating datasets of different classes, and FIG. 7 is a diagram illustrating the results of classifying classes according to the characteristics of the datasets of FIGS. 4 to 6 .

클래스 분류 모듈(304)은 필터링된 데이터셋의 복수의 필드 각각의 특징을 추출한다. The class classification module 304 extracts features of each of a plurality of fields of the filtered dataset.

도 4를 참조하면, 클래스 분류 모듈(304)은 복수의 필드의 타입, 도메인 및 최대/최소값을 사전 학습된 알고리즘에 입력하여 해당 데이터셋의 특징과 유사한 특징을 갖는 클래스를 비교하고, 복수의 클래스 각각에 대한 확률값을 계산한다. Referring to FIG. 4 , the class classification module 304 inputs types, domains, and maximum/minimum values of a plurality of fields to a pre-trained algorithm to compare classes having characteristics similar to those of the corresponding dataset, and a plurality of classes Calculate the probability value for each.

도 4에서, 제1 필드는 시간, 제2 필드 내지 제5 필드는 최대/최소를 갖는 숫자이므로, 클래스 분류 모듈(304)은 해당 데이터셋을 기상 관련 클래스로 결정할 수 있다. In FIG. 4 , since the first field is time, and the second to fifth fields are numbers having a maximum/minimum, the class classification module 304 may determine the corresponding dataset as a weather-related class.

또한, 클래스 분류 모듈(304)은 도 5와 같이, 제1 필드가 소정의 정수가 반복적으로 나타나고, 제2 필드가 최소 및 최대값을 갖는 데이터이고, 제3 필드가 텍스트이고 동일한 텍스트가 반복적으로 나타나는 경우, 이러한 특징을 추출하여 방(room)과 관련된 클래스로 분류한다. In addition, as shown in FIG. 5, the class classification module 304 is configured such that the first field is data having a predetermined integer repeatedly, the second field is data having the minimum and maximum values, the third field is text, and the same text is repeatedly displayed. When it appears, these features are extracted and classified into a room-related class.

본 발명의 일 실시예에 따르면, 클래스 분류 모듈(304)은 필터링된 데이터셋이 사전에 분류된 클래스에 속하지 않는 것으로 판단하는 경우, 새로운 클래스를 생성하고, 클래스 분류 데이터베이스(310)에 새로 생성된 클래스에 관한 정보가 저장되도록 한다. According to an embodiment of the present invention, the class classification module 304 generates a new class when it is determined that the filtered dataset does not belong to a previously classified class, and creates a new class in the class classification database 310 . Allows information about the class to be stored.

출력 모듈(306)은 각 데이터베이스에 상응하는 API를 이용하여 클래스가 분류된 데이터셋을 하나 이상의 데이터베이스(104)에 저장한다. The output module 306 stores the dataset into which the classes are classified using the API corresponding to each database in one or more databases 104 .

데이터셋을 저장하는 데이터베이스(104)는 RDB(관계형 데이터베이스), NoSQL(Not only SQL) 및 HDFS(Hadoop Distributed File System) 등을 포함할 수 있으나, 반드시 이에 한정되지 않는다. The database 104 for storing the dataset may include, but is not limited to, a relational database (RDB), Not only SQL (NoSQL), and a Hadoop Distributed File System (HDFS).

본 실시예에서와 같이, 수집된 데이터셋의 클래스를 분류하는 경우, 데이터셋 정제(프로파일리) 시 메타데이터를 분석할 필요 없이 클래스가 분류된 데이터셋의 특징을 API로 바로 제공할 수 있다. As in the present embodiment, in the case of classifying the class of the collected data set, the characteristics of the class-classified data set can be directly provided as an API without the need to analyze metadata during data set refinement (profile).

도 3에 도시된 바와 같이, 본 실시예에 따른 빅데이터 지능형 수집을 위한 소프트웨어 모듈은 API 생성 모듈(308)을 포함할 수 있다. As shown in FIG. 3 , the software module for big data intelligent collection according to the present embodiment may include an API generation module 308 .

API 생성 모듈(308)은 데이터 정제 시스템으로부터 요청이 있는 경우, 미리 학습된 데이터셋 분류 데이터베이스를 이용하여 데이터셋 메타데이터 제공 API를 생성한다. When there is a request from the data purification system, the API generation module 308 generates a dataset metadata providing API using a pre-learned dataset classification database.

도 4 내지 도 6에 도시된 바와 같이, 클래스 분류 모듈(304)에서 하나 이상의 필드의 타입, 도메인 및 최대/최소값이 추출되는 경우, 데이터셋의 특징으로 파함하는 메타데이터가 데이터 정제 시스템에 제공된다. 4 to 6 , when the type, domain, and maximum/minimum values of one or more fields are extracted in the class classification module 304, metadata including characteristics of the dataset is provided to the data purification system. .

데이터 정제는 다양한 형식의 빅데이터를 통합된 형식으로 변환하고, 비정형 데이터를 구조적 형태로 교정하여 기존 데이터와 통하하고, 빅데이터 저장 계획 수립, 빅데이터 저장소 선정, 품질 관리와 같은 과정을 의미한다. Data purification refers to processes such as converting big data of various formats into an integrated format, correcting unstructured data into a structural form to communicate with existing data, establishing a big data storage plan, selecting big data storage, and managing quality.

이러한 데이터 정제에 있어서, 데이터셋의 클래스를 수집 시 분석하고, 이들의 특징을 포함하는 메타데이터를 API로 제공하기 때문에 빅데이터 처리 효율을 한층 개선할 수 있다. In such data purification, the efficiency of big data processing can be further improved because the class of the dataset is analyzed when it is collected and metadata including their characteristics is provided as an API.

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.The above-described embodiments of the present invention have been disclosed for purposes of illustration, and various modifications, changes, and additions will be possible within the spirit and scope of the present invention by those skilled in the art having ordinary knowledge of the present invention, and such modifications, changes and additions should be regarded as belonging to the following claims.

Claims

빅데이터 지능형 수집 장치로서,
프로세서; 및
상기 프로세서에 연결되는 메모리를 포함하되,
상기 메모리는,
데이터 소스로부터 비정형 데이터, 반정형 데이터 및 정형 데이터를 포함하는 데이터셋을 입력 받고,
상기 입력된 데이터셋을 파싱하고,
상기 파싱된 데이터셋를 하나 이상의 데이터베이스에 저장하기 위해 필터링하고,
상기 필터링된 데이터셋의 특징을 추출하여 상기 필터링된 데이터셋의 클래스를 분류하고,
상기 클래스가 분류된 데이터셋을 하나 이상의 데이터베이스에 저장하도록,
상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하되,
복수의 데이터셋 각각에서 추출된 하나 이상의 필드 각각의 타입, 도메인 및 최대/최소값을 포함하는 특징을 사전 학습된 알고리즘에 입력하여 상기 복수의 데이터셋 각각에서 추출된 특징에 따른 클래스를 미리 분류하고,
상기 사전 학습된 알고리즘에 상기 필터링된 데이터셋의 특징인 하나 이상의 필드 각각의 타입, 도메인 및 최대/최소값을 입력하여 상기 미리 분류된 클래스와의 확률값을 계산하고,
상기 타입은 숫자, 텍스트 및 이진 데이터이고,
상기 도메인은 카테고리, 날짜, 시간, 금액, 좌표, 백분율, 분수 및 지수인 빅데이터 지능형 수집 장치. As a big data intelligent collection device,
processor; and
a memory coupled to the processor;
The memory is
receiving data sets including unstructured data, semi-structured data, and structured data from a data source;
Parsing the input data set,
filtering the parsed dataset for storage in one or more databases;
classifying the filtered dataset by extracting features of the filtered dataset,
To store the class-classified dataset in one or more databases,
store program instructions executed by the processor,
Classifying the class according to the features extracted from each of the plurality of datasets in advance by inputting the features including the type, domain, and maximum/minimum values of each of the one or more fields extracted from each of the plurality of datasets into a pre-learned algorithm,
inputting the type, domain, and maximum/minimum values of each of one or more fields that are characteristics of the filtered dataset to the pre-learned algorithm to calculate a probability value with the pre-classified class,
The types are numeric, text and binary data;
The domain is a big data intelligent collection device that is a category, date, time, amount, coordinates, percentage, fraction, and index.

삭제delete

제1항에 있어서,
상기 클래스가 분류된 데이터셋이 미리 학습된 데이터셋 분류 데이터베이스에 저장되어 있지 않은 경우, 새로운 클래스를 생성하는 빅데이터 지능형 수집 장치.According to claim 1,
Big data intelligent collection device for generating a new class when the dataset into which the class is classified is not stored in the pre-learned dataset classification database.

제5항에 있어서,
상기 미리 학습된 데이터셋 분류 데이터베이스를 이용하여 클래스가 분류된 데이터셋의 특징을 포함하는 메타데이터 제공 API를 생성하는 빅데이터 지능형 수집 장치.6. The method of claim 5,
A big data intelligent collection device for generating a metadata providing API including characteristics of a dataset into which a class is classified by using the pre-learned dataset classification database.

프로세서 및 메모리를 포함하는 장치에서 빅데이터를 수집하는 방법으로서,
복수의 데이터셋 각각에서 추출된 하나 이상의 필드 각각의 타입, 도메인 및 최대/최소값을 포함하는 특징을 사전 학습된 알고리즘에 입력하여 상기 복수의 데이터셋 각각에서 추출된 특징에 따른 클래스를 미리 분류하는 단계;
데이터 소스로부터 비정형 데이터, 반정형 데이터 및 정형 데이터 중 적어도 하나를 포함하는 데이터셋을 입력 받는 단계;
상기 입력된 데이터셋을 파싱하는 단계;
상기 파싱된 데이터셋를 하나 이상의 데이터베이스에 저장하기 위해 필터링하는 단계;
상기 사전 학습된 알고리즘에 상기 필터링된 데이터셋의 특징인 하나 이상의 필드 각각의 타입, 도메인 및 최대/최소값을 입력하여 상기 미리 분류된 클래스와의 확률값을 계산하여 상기 필터링된 데이터셋의 클래스를 분류하는 단계; 및
상기 클래스가 분류된 데이터셋을 하나 이상의 데이터베이스에 저장하는 단계를 포함하되,
상기 타입은 숫자, 텍스트 및 이진 데이터이고,
상기 도메인은 카테고리, 날짜, 시간, 금액, 좌표, 백분율, 분수 및 지수인 빅데이터 지능형 수집 방법.A method for collecting big data from a device comprising a processor and a memory, the method comprising:
Pre-classifying classes according to the features extracted from each of the plurality of datasets by inputting features including the type, domain, and maximum/minimum values of each one or more fields extracted from each of the plurality of datasets into a pre-learned algorithm ;
receiving a data set including at least one of unstructured data, semi-structured data, and structured data from a data source;
parsing the input data set;
filtering the parsed dataset for storage in one or more databases;
Classifying the class of the filtered dataset by calculating a probability value with the pre-classified class by inputting the type, domain, and maximum/minimum values of each of one or more fields that are characteristics of the filtered dataset to the pre-learned algorithm step; and
Storing the class-classified dataset in one or more databases,
The types are numeric, text and binary data;
The domain is a big data intelligent collection method that is a category, date, time, amount, coordinates, percentage, fraction, and index.

삭제delete

제7항에 따른 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.

A computer-readable recording medium storing a program for performing the method according to claim 7 .