KR101632253B1 - 대용량 데이터 병렬 처리 방법 - Google Patents

Abstract

본 발명은 관제데이터 처리 기술에 있어서, 특히 멀티 스레드(multi-thread) 및 해쉬 알고리즘을 이용하여 대용량 데이터를 병렬로 처리하는 대용량 데이터 병렬 처리 방법에 관한 것으로, 복수 개의 감지장비로부터 관제데이터를 수집하는 수집서버와 연동하는 관제시스템이 상기 수집서버로부터 상기 관제데이터를 수신하여 병렬 처리하는 방법으로서, 프로세스 수행경로(thread)를 멀티로 생성하는 단계와, 상기 멀티로 생성된 프로세스 수행경로 별로 상기 관제데이터를 처리하여 영상데이터를 생성하는 단계와, 상기 영상데이터를 활성화된 관제화면에 출력하는 단계로 이루어지는 것이 특징인 발명이다.

Description

대용량 데이터 병렬 처리 방법{method of processing massive data in parallel}

본 발명은 관제데이터 처리 기술에 관한 것으로, 특히 멀티 스레드(multi-thread) 및 해쉬 알고리즘을 이용하여 대용량 데이터를 병렬로 처리하는 대용량 데이터 병렬 처리 방법에 관한 것이다.

복수 개의 감지장비를 보유하는 관제시스템에서는 대용량의 관제데이터를 실시간으로 처리하기 위한 네트워크 보안 솔루션이 요구된다.

그러나, 일반적인 네트워크 보안 솔루션들은 대용량의 관제데이터가 발생할 시에 프로세스 부하가 가중되어 원활한 관제가 이루어지지 않거나 실시간 관제에 어려움이 따른다.

또한, 복수 개의 감지장비로부터 수집된 대용량의 관제데이터를 처리하여 관제화면에 출력할 시에는 리스트 형태로 저장된 데이터에 순차적으로 접근하여 처리하기 때문에, 하나의 작업이 처리된 후에 다음 작업을 처리해야 해서 빠른 처리를 보장하지 못하는 경우도 발생한다.

본 발명의 목적은 상기한 점을 감안하여 안출한 것으로, 특히 다수 네트워크 보안 솔루션의 대용량 데이터를 끊김 없이 실시간으로 처리하여 데이터의 누수 없는 원활한 관제를 지원하도록 해주는 대용량 데이터 병렬 처리 방법을 제공하는 데 있다.

본 발명의 또다른 목적은, 복수 개의 감지장비로부터 수집된 대용량의 관제데이터를 동시 다발적으로 처리하여 실시간 관제가 가능하도록 해주는 대용량 데이터 병렬 처리 방법을 제공하는 데 있다.

상기한 목적을 달성하기 위한 본 발명에 따른 대용량 데이터 병렬 처리 방법의 특징은, 복수 개의 감지장비로부터 관제데이터를 수집하는 수집서버와 연동하는 관제시스템이 상기 수집서버로부터 상기 관제데이터를 수신하여 병렬 처리하는 방법으로서, 프로세스 수행경로(thread)를 멀티로 생성하는 단계와, 상기 멀티로 생성된 프로세스 수행경로 별로 상기 관제데이터를 처리하여 영상데이터를 생성하는 단계와, 상기 영상데이터를 활성화된 관제화면에 출력하는 단계로 이루어지는 것이다.

바람직하게, 상기 프로세스 수행경로를 멀티로 생성하는 단계는, 상기 관제화면이 활성화됨에 따라, 상기 감지장비의 개수에 상응한 개수만큼 상기 프로세스 수행경로를 생성할 수 있다.

바람직하게, 상기 멀티로 생성된 프로세스 수행경로 별로 상기 관제데이터를 처리하여 영상데이터를 생성하는 단계는, 상기 수집서버와 연결이 성공됨에 따라, 상기 관제화면에 출력할 상기 영상데이터를 저장하는 해쉬 맵을 생성하는 단계와, 상기 수집서버로부터 수신되는 관제데이터를 상기 생성된 프로세스 수행경로 별로 데이터 큐에 저장하는 단계와, 상기 데이터 큐에 저장된 관제데이터를 파싱하는 단계와, 상기 파싱된 데이터를 상기 생성된 해쉬 맵에 저장하는 단계와, 상기 해쉬 맵에 저장된 데이터를 고속으로 추출하여 상기 영상데이터를 생성하는 단계로 이루어질 수 있다.

보다 바람직하게, 상기 데이터 큐에 저장된 관계데이터를 정해진 단위로 파싱하는 단계는, 상기 데이터 큐에 저장된 관제데이터를 복호화하는 단계와, 상기 복호화된 데이터를 의미 있는 단위로 파싱하는 단계를 포함할 수 있다. 여기서, 상기 복호화된 데이터를 파싱하는 상기 의미 있는 단위는 공격자와 피공격자의 IP주소, 포트번호, 서명을 포함할 수 있다. 또한, 상기 데이터 큐에 저장된 관계데이터는 암호화된 데이터일 수 있다.

보다 바람직하게, 상기 해쉬 맵에 저장되는 데이터는 해쉬 키(hash key)와 해쉬 값(hash value)으로 이루어지되, 상기 해쉬 맵에 저장된 데이터를 추출할 시에는 상기 해쉬 키로 해당 해쉬 값에 접근하여 추출하고, 상기 추출된 해쉬 값에 해당하는 영상데이터를 상기 관제화면에 출력시킬 수 있다.

바람직하게, 상기 관제화면에 출력된 영상데이터를 저장한 데이터 큐를 삭제하는 단계를 더 포함할 수 있다.

본 발명에 따르면 다음의 효과가 있다.

대용량의 관제데이터가 발생하더라도 감지장비의 개수에 상응하게 생성된 프로세스 수행경로를 통해 처리하기 때문에 프로세스 부하가 가중되지 않는다.

따라서, 원활한 관제가 이루어지며 특히, 실시간 관제가 가능해진다.

또한, 복수 개의 감지장비로부터 수집된 대용량의 관제데이터를 처리하여 관제화면에 출력할 시에는 해쉬 알고리즘을 이용하여 고속으로 추출한 후 화면 처리하기 때문에, 대용량의 관제데이터에 대한 신속한 처리를 보장해 준다.

도 1은 본 발명의 일 실시 예에 따른 관제시스템의 구성을 나타낸 블록다이어그램이고,
도 2는 본 발명의 일 실시 예에 따른 관제시스템의 대용량 데이터 병렬 처리 절차를 나타낸 플로우챠트이다.

본 발명의 다른 목적, 특징 및 이점들은 첨부한 도면을 참조한 실시 예들의 상세한 설명을 통해 명백해질 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예의 구성과 그 작용을 설명하며, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시 예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.

이하, 첨부한 도면을 참조하여 본 발명에 따른 대용량 데이터 병렬 처리 방법의 바람직한 실시 예를 자세히 설명한다.

도 1은 본 발명의 일 실시 예에 따른 관제시스템의 구성을 나타낸 블록다이어그램으로, 네트워크 장비인 감지장비로부터 관제데이터를 수집하는 수집서버(10)와 연동하여 실시간 관제를 수행하는 관제시스템(20)에 관한 구성을 나타낸 것이다.

도 1을 참조하면, 수집서버(10)는 복수 개의 감지장비로부터 관제데이터를 수집한다.

본 발명에 따른 관제시스템(20)은 수집서버(10)와 연동하여 그 수집서버(10)로부터 관제데이터를 수신하고, 수신된 관제데이터를 병렬 처리하여 관제화면으로 출력한다.

관제시스템(20)은 관제화면이 활성화됨에 따라 수집서버(10)로부터 관제데이터를 수신하고 또한 처리하기 위한 프로세스 수행경로(thread)를 멀티로 생성한다. 프로세스 수행경로의 생성 개수는 복수 개의 감지장비일 수 있으며, 그 복수 개(n)의 감지장비는 관제시스템(20)에 탑재된 관제프로그램에 등록된 장비일 수 있다. 따라서, 관제시스템(20)은 관제프로그램에 등록된 장비 개수에 상응하게 프로세스 수행경로를 멀티로 생성할 수 있다.

관제시스템(20)은 관제프로그램에서 HTTPS와 같이 SSL(Secure Sockets Layer) 에 기반하여 관제데이터를 수집한 수집서버(10)에 접속한다. 수집서버(10)에서는 관제시스템(20)의 접근에 대해 식별절차 및 인증절차를 수행할 수 있다. 이와 같은, 관제시스템(20)의 수집서버(10)의 접속 시도는 상호 간 연결이 성공할 때까지 수행되거나 관제화면이 비활성화될 때까지 수행될 수 있다.

관제시스템(20)은 수집서버(10)와 연결에 성공함에 따라 관제화면에 출력할 영상데이터를 저장하는 해쉬 맵을 생성할 수 있다. 여기서, 해쉬 맵은 맵 인터페이스의 한 종류로 해쉬 키(hash key)와 해쉬 값(hash value)으로 이루어진 형태로 데이터를 저장한다. 이와 같이, 본 발명에서는 데이터를 해쉬 맵에 저장시킴으로 데이터로의 접근 속도가 빠를 수 있다. 한편, 영상데이터로의 접근은 해쉬 키를 사용하며, 그 해쉬 키에 대응되는 해쉬 값이 관제화면에 영상으로 출력될 수 있다.

관제시스템(20)은 수집서버(10)와 연결에 성공함에 따라 수집서버(10)로부터 수신되는 관제데이터를 저장한 데이터 큐를 또한 생성한다. 수집서버(10)로부터 수신되는 관제데이터는 네트워크 탐지 이벤트 정보를 포함할 수 있으며, 그 네트워크 탐지 이벤트 정보로는 공격자와 피공격자의 IP주소, 포트번호, 서명 등을 포함할 수 있다.

이후에, 관제시스템(20)은 수집서버(10)에 관제데이터 즉, 네트워크 탐지 이벤트 정보를 요청하며, 수집서버(10)로부터 관제데이터가 수신되면 그 관제데이터를 데이터 큐에 저장한다.

한편, 수집서버(10)로부터 수신되는 관제데이터는 암호화된 데이터인 것이 바람직하다. 그에 따라, 관제시스템(20)은 데이터 큐에 저장된 관제데이터를 복호화할 수 있다.

관제시스템(20)은 데이터 큐에 저장된 관제데이터를 복호화한 후에 의미 있는 단위로 파싱하는데, 여기서 의미 있는 단위는 공격자와 피공격자의 IP주소, 포트번호, 서명 등을 포함할 수 있다.

관제시스템(20)은 파싱된 데이터를 이미 생성된 해쉬 맵에 저장하며, 그 해쉬 맵에 저장된 데이터를 고속으로 추출하여 영상데이터를 생성할 수 있다.

관제시스템(20)은 생성된 영상데이터를 관제화면을 통해 출력한다. 이때, 관제시스템(20)은 관제화면에 출력된 영상데이터를 저장했던 데이터 큐를 삭제하며, 그에 따라 해당하는 영상데이터도 삭제될 수 있다.

다음은 전술된 관제시스템에서 대용량 데이터를 병렬 처리하는 절차에 대해 설명한다.

도 2는 본 발명의 일 실시 예에 따른 관제시스템의 대용량 데이터 병렬 처리 절차를 나타낸 플로우챠트로서, 복수 개의 감지장비로부터 관제데이터를 수집하는 수집서버와 연동하는 관제시스템이 수집서버로부터 관제데이터를 수신하여 병렬 처리하는 절차이다. 여기서, 관제데이터는 네트워크 탐지 이벤트 정보이며, 그 정보는 공격자와 피공격자의 IP주소, 포트번호 및 서명 등을 포함할 수 있다.

도 2를 참조하면, 관제시스템(20)은 관제프로그램이 실행됨에 따라 관제화면을 활성화시킨다(S10). 관제시스템(20)은 관제화면이 활성화되면, 수집서버(10)로부터 관제데이터를 수신하고 또한 처리하기 위한 프로세스 수행경로(thread)를 멀티로 생성한다(S20). 여기서, 프로세스 수행경로는 감지장비의 개수에 상응한 개수만큼 생성할 수 있으며, 그 감지장비는 관제프로그램에 미리 등록된 장비일 수 있다.

이어, 관제시스템(20)은 멀티로 생성된 프로세스 수행경로 별로 관제데이터를 처리하여 영상데이터를 생성한다(S30).

상기에서 관제데이터의 처리 및 영상데이터 생성 과정을 상세하면, 관제시스템(20)은 수집서버(10)와 연결이 성공됨에 따라, 관제화면에 출력할 영상데이터를 저장하는 해쉬 맵을 생성한다(S31). 또한, 수집서버(10)로부터 수신되는 관제데이터를 저장할 데이터 큐를 생성한다(S32). 이어, 수집서버(10)로부터 수신되는 관제데이터를 프로세스 수행경로 별로 데이터 큐에 저장한다(S33). 이어, 관제시스템(20)은 데이터 큐에 저장된 관제데이터를 파싱한다(S35). 데이터 큐에 저장된 관제데이터는 암호화된 데이터이며, 그에 따라 관제시스템(20)은 데이터 큐에 저장된 관제데이터를 파싱하기 이전에 해당 저장된 관제데이터를 복호화할 수 있다(S34). 또한, 데이터 큐에 저장된 관계데이터를 복호화한 후에 파싱할 시에는 정해진 단위로 구분하여 파싱하며, 그 단위는 의미 있는 단위로서 공격자와 피공격자의 IP주소, 포트번호, 서명을 포함할 수 있다. 이어, 관제시스템(20)은 그 파싱된 데이터를 미리 생성된 해쉬 맵에 저장한다(S36). 이어, 관제시스템(20)은 해쉬 맵에 저장된 데이터를 고속으로 추출하여 영상데이터를 생성한다(S37).

영상데이터는 해쉬 맵 데이터로서, 관제시스템(20)은 생성된 영상데이터를 활성화된 관제화면에 출력한다(S40). 특히, 해쉬 맵에 저장되는 데이터는 해쉬 키(hash key)와 해쉬 값(hash value)으로 이루어지되, 그 해쉬 맵에 저장된 데이터를 추출할 시에는 해쉬 키로 해당 해쉬 값에 접근하여 추출한다. 그리고, 그 추출된 해쉬 값에 해당하는 영상데이터를 관제화면에 출력시킬 수 있다.

관제시스템(20)은 영상데이터를 관제화면에 출력한 후에 그 관제화면에 출력된 영상데이터를 저장하는 데이터 큐를 삭제하여 해당 영상데이터를 삭제한다(S50).

지금까지 본 발명의 바람직한 실시 예에 대해 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성을 벗어나지 않는 범위 내에서 변형된 형태로 구현할 수 있을 것이다.

그러므로 여기서 설명한 본 발명의 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 상술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함되는 것으로 해석되어야 한다.

10: 수집서버
20: 관제시스템

Claims (8)

1. 복수 개의 감지장비로부터 관제데이터를 수집하는 수집서버와 연동하는 관제시스템이 상기 수집서버로부터 상기 관제데이터를 수신하여 병렬 처리하는 방법에 있어서,
   프로세스 수행경로(thread)를 멀티로 생성하는 단계;
   상기 멀티로 생성된 프로세스 수행경로 별로 상기 관제데이터를 처리하여 영상데이터를 생성하는 단계; 및
   상기 영상데이터를 활성화된 관제화면에 출력하는 단계를 포함하고,
   상기 멀티로 생성된 프로세스 수행경로 별로 상기 관제데이터를 처리하여 영상데이터를 생성하는 단계는,
   상기 수집서버와 연결이 성공됨에 따라, 상기 관제화면에 출력할 상기 영상데이터를 저장하는 해쉬 맵을 생성하는 단계와,
   상기 수집서버로부터 수신되는 관제데이터를 상기 생성된 프로세스 수행경로 별로 데이터 큐에 저장하는 단계와,
   상기 데이터 큐에 저장된 관제데이터를 파싱하는 단계와,
   상기 파싱된 데이터를 상기 생성된 해쉬 맵에 저장하는 단계와,
   상기 해쉬 맵에 저장된 데이터를 고속으로 추출하여 상기 영상데이터를 생성하는 단계로 이루어지는 것을 특징으로 하는 대용량 데이터 병렬 처리 방법.
2. 제 1 항에 있어서,
   상기 프로세스 수행경로를 멀티로 생성하는 단계는,
   상기 관제화면이 활성화됨에 따라, 상기 감지장비의 개수에 상응한 개수만큼 상기 프로세스 수행경로를 생성하는 것을 특징으로 하는 대용량 데이터 병렬 처리 방법.
3. 삭제
4. 제 1 항에 있어서,
   상기 데이터 큐에 저장된 관계데이터를 정해진 단위로 파싱하는 단계는,
   상기 데이터 큐에 저장된 관제데이터를 복호화하는 단계와,
   상기 복호화된 데이터를 의미 있는 단위로 파싱하는 단계를 포함하는 것을 특징으로 하는 대용량 데이터 병렬 처리 방법.
5. 제 4 항에 있어서,
   상기 복호화된 데이터를 파싱하는 상기 의미 있는 단위는 공격자와 피공격자의 IP주소, 포트번호, 서명을 포함하는 것을 특징으로 하는 대용량 데이터 병렬 처리 방법.
6. 제 4 항에 있어서,
   상기 데이터 큐에 저장된 관계데이터는 암호화된 데이터인 것을 특징으로 하는 대용량 데이터 병렬 처리 방법.
7. 제 1 항에 있어서,
   상기 해쉬 맵에 저장되는 데이터는 해쉬 키(hash key)와 해쉬 값(hash value)으로 이루어지되, 상기 해쉬 맵에 저장된 데이터를 추출할 시에는 상기 해쉬 키로 해당 해쉬 값에 접근하여 추출하고, 상기 추출된 해쉬 값에 해당하는 영상데이터를 상기 관제화면에 출력시키는 것을 특징으로 하는 대용량 데이터 병렬 처리 방법.
8. 제 1 항에 있어서,
   상기 관제화면에 출력된 영상데이터를 저장한 데이터 큐를 삭제하는 단계를 더 포함하는 것을 특징으로 하는 대용량 데이터 병렬 처리 방법.
   

Images