KR101505468B1 - 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템 - Google Patents

클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템 Download PDF

Info

Publication number
KR101505468B1
KR101505468B1 KR1020130147492A KR20130147492A KR101505468B1 KR 101505468 B1 KR101505468 B1 KR 101505468B1 KR 1020130147492 A KR1020130147492 A KR 1020130147492A KR 20130147492 A KR20130147492 A KR 20130147492A KR 101505468 B1 KR101505468 B1 KR 101505468B1
Authority
KR
South Korea
Prior art keywords
virtual machine
sequence data
information
data
cloud computing
Prior art date
Application number
KR1020130147492A
Other languages
English (en)
Inventor
정창성
김기현
김수현
김윤기
손인규
윤상덕
정인용
조창우
한병전
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020130147492A priority Critical patent/KR101505468B1/ko
Application granted granted Critical
Publication of KR101505468B1 publication Critical patent/KR101505468B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/465—Distributed object oriented systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템에 관한 것으로, 보다 구체적으로는 정보수신부가 이벤트 발생에 따른 적어도 하나의 현재 상황정보를 실시간으로 입력받는 단계; 작업 스케줄러가 수신한 상기 상황정보의 분석을 위한 클라우드 자원을 요청하는 단계; 자원 관리부가 상기 작업 스케줄러의 클라우드 자원 요청에 응답하여 가상머신을 생성하는 단계; 클러스터링 관리부가 상기 작업 스케줄러로부터 상황정보를 수신하고, 수신한 상황정보를 시퀀스 데이터 형태로 변환하는 단계; 상기 가상머신이 상기 시퀀스 데이터를 분산 후 병렬 처리하여 기저장된 적어도 하나의 과거 상황정보와 비교 분석하는 단계; 및 사용자관리부가 상기 가상머신으로부터 상기 시퀀스 데이터의 분석결과를 수신하고, 수신한 분석결과를 사용자단말로 전송하는 단계;를 포함한다.
이러한 구성에 의해, 본 발명의 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템은 기저장된 과거 데이터와 실시간으로 입력되는 현재 데이터간 분산 병렬 처리를 통해 신속하게 비교 분석할 수 있는 효과가 있다.

Description

클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템{Data comparing processing method and system in cloud computing environment}
본 발명은 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템에 관한 것으로, 특히 기저장된 과거 데이터와 실시간으로 입력되는 현재 데이터간 분산 병렬 처리를 통해 신속하게 비교 분석할 수 있는 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템에 관한 것이다.
최근 들어, 가상화 기술의 발달과 성능향상 및 대용량의 하드웨어 인프라 구축 기술이 구현됨에 따라, 아마존을 비롯한 대표적인 글로벌 기업에서는 가상화 기반의 클라우드 컴퓨팅 서비스를 상용화하고 있는 추세이다.
특히, 클라우드 환경에서는 가상화를 통해 서비스 제공자로부터 사용자가 원하는 만큼의 컴퓨팅 자원을 할당받을 수 있으며, 사용자에게 할당된 컴퓨팅 자원에 대한 포괄적인 제어를 통해 사용자의 요구사항에 맞춰 컴퓨팅 자원 할당을 신속하게 확장하거나, 축소할 수 있다.
따라서, 물리머신 기반이던 클러스터가 클라우드의 이점을 얻기 위해, 점차 가상화 클러스터로 구축 환경이 변화되었다.
이러한, 클러스터 컴퓨팅 환경은 대규모 병렬 또는 분산 어플리케이션을 실행하기 위해 큰 성장을 지속해왔는데, 고성능 서버 클러스터들과 고가용성 클러스터들 같은 클러스터 서비스들을 제공하기 위해, 서로 연결된 다수의 물리머신으로 구성된다.
이와 더불어, 현대 사회에서 각종 범죄의 사고, 재난 등의 문제가 급격히 발생하고 있어, 이를 방지하기 위한 대비책의 마련이 요구되고 있다.
특히 각종 범죄, 사고, 재난 등의 문제가 발생하는 것을 미연에 방지하기 위해서는 상기 문제들이 발생할 때의 주변 상황정보를 미리 파악하여 문제가 발생하기 전 사용자에게 알려줌으로써, 사용자로 하여금 문제 발생을 인지할 수 있는 것이 중요하다.
하지만 문제 발생 시 함께 생성되는 주변 상황은 그 양이 워낙 방대하여 주변 상황의 정보만을 가지고 문제가 발생하였는지에 대한 예측이 정확하지 않고, 시간이 오래 소요된다는 문제점이 발생했다.
상술한 바와 같이, 본 발명의 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템을 살펴보면 다음과 같다.
선행기술은 한국공개특허공보 제2013-0085473호(2013.07.30)로서, 클라우드 컴퓨팅 서비스 침입 탐지 시스템의 암호화 시스템에 관한 것이다. 이러한 선행기술은 가상머신을 모니터링하여 상기 가상머신의 트래픽 값이 사용자가 설정한 임계값을 초과하는 경우 초급경보를 발생하는 초급 탐지기; 상기 초급경보와 로컬 데이터 베이스의 블랙리스트를 비교하여 동일하면 침입으로 판단하며 침입으로 판단되면 하이퍼경보를 발생하는 침입 탐지 판단기; 및 상기 초급경보와 하아퍼경보를 전송받는 침입 탐지 관리자를 포함하되, 상기 초급 경보와 하이퍼 경보는 메모리, CPU, 메모리, 스토리지 사용률을 포함한 상태값과 상기 임계 초과값, 침입탐지 ID가 포함되고, 상기 초급 탐지기는, 상기 가상머신의 네트워크 임계치가 초과된 경우 상기 초급 경보를 암호화하는 초급탐지기 암호기를 포함하며, 상기 침입탐지 판단기는 침입탐지 관리자 ID를 저장하고, 상기 가상머신의 네트워크 임계치가 초과된 경우 상기 하이퍼 경보를 암호화하는 판단기 암호기, 판단기 복호기를 포함하고, 상기 침입탐지 관리자는 상기 침입탐지 판단기의 ID를 저장하고, 비밀키 생성기, 관리자 복호기를 포함함으로써, 클라우드 컴퓨팅 서비스의 침입탐지 시스템이 같은 물리적 공간에 존재하기 때문에 가짜 초급탐지기 생성 및 데이터 유출 등 침입탐지 시스템의 성능 저하 및 공격 발생이 가능하므로 침입탐지 시스템의 노드간 인증 및 암호화 기법을 제공할 수 있는 효과가 있다.
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명은 기저장된 과거 데이터와 실시간으로 입력되는 현재 데이터간 분산 병렬 처리를 통해 신속하게 비교 분석할 수 있는 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템을 제공하고자 한다.
위와 같은 과제를 해결하기 위한 본 발명의 한 실시 예에 따른 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법은 정보수신부가 이벤트 발생에 따른 적어도 하나의 현재 상황정보를 실시간으로 입력받는 단계; 작업 스케줄러가 수신한 상기 상황정보의 분석을 위한 클라우드 자원을 요청하는 단계; 자원 관리부가 상기 작업 스케줄러의 클라우드 자원 요청에 응답하여 가상머신을 생성하는 단계; 클러스터링 관리부가 상기 작업 스케줄러로부터 상황정보를 수신하고, 수신한 상황정보를 시퀀스 데이터 형태로 변환하는 단계; 상기 가상머신이 상기 시퀀스 데이터를 분산 후 병렬 처리하여 기저장된 적어도 하나의 과거 상황정보와 비교 분석하는 단계; 및 사용자관리부가 상기 가상머신으로부터 상기 시퀀스 데이터의 분석결과를 수신하고, 수신한 분석결과를 사용자단말로 전송하는 단계;를 포함한다.
특히, 맵리듀스(MapReduce)를 통해 상기 시퀀스 데이터를 분산 후 병렬 처리하는 가상머신이 상기 시퀀스 데이터를 분산 후 병렬 처리하여 분석하는 단계를 포함할 수 있다.
보다 바람직하게는 상기 시퀀스 데이터를 기저장된 적어도 하나의 과거 상황정보와 비교하여 유사도를 판단하는 가상머신이 상기 시퀀스 데이터를 분산 후 병렬 처리하여 비교 분석하는 단계를 포함할 수 있다.
특히, 재난, 재해, 범죄, 사고 중 적어도 하나에 해당하는 이벤트 발생에 따른 현재 상황정보인 이벤트 발생에 따른 적어도 하나의 상황정보를 포함할 수 있다.
보다 바람직하게는 상기 시퀀스 데이터의 비교 분석이 완료된 후, 상기 자원관리부가 생성한 가상머신을 종료한 후 폐기하는 단계;를 더 포함할 수 있다.
위와 같은 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 클라우드 컴퓨팅 환경 내 데이터 비교 처리 시스템은 이벤트 발생에 따른 적어도 하나의 현재 상황정보를 실시간으로 입력받는 정보 수신부; 상기 상황정보의 분석을 위한 클라우드 자원을 요청하는 작업 스케줄러; 상기 작업 스케줄러의 클라우드 자원 요청에 응답하여 가상머신을 생성하는 자원 관리부; 상기 작업 스케줄러로부터 상황정보를 전달받아, 전달받은 상황정보를 시퀀스 데이터로 변환하는 클러스터링 관리부; 변환된 상기 시퀀스 데이터를 분산 후 병렬 처리하여 기저장된 과거 상황정보와 비교 분석하는 가상머신; 및 상기 가상머신으로부터 상기 시퀀스 데이터의 분석결과를 수신하고, 수신한 분석결과를 사용자단말로 전송하는 사용자관리부;를 포함한다.
보다 바람직하게는 과거의 각종 상황 발생 시 생성되는 주변의 상황정보를 적어도 하나 저장하는 데이터 저장부;를 더 포함할 수 있다.
특히, 맵리듀스(MapReduce)를 통해 상기 시퀀스 데이터를 분산 후 병렬 처리하는 가상머신을 포함할 수 있다.
보다 바람직하게는 상기 시퀀스 데이터를 기저장된 적어도 하나의 과거 상황정보와 비교하여 유사도를 판단하는 가상머신을 포함할 수 있다.
특히, 재난, 재해, 범죄, 사고 중 적어도 하나에 해당하는 이벤트 발생에 따른 상황정보인 이벤트 발생에 따른 적어도 하나의 상황정보를 포함할 수 있다.
보다 바람직하게는 상기 가상머신이 상기 시퀀스 데이터의 비교 분석을 완료하면, 생성한 가상머신을 종료한 후 폐기하는 자원 관리부를 포함할 수 있다.
본 발명의 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템은 기저장된 과거 데이터와 실시간으로 입력되는 현재 데이터간 분산 병렬 처리를 통해 신속하게 비교 분석할 수 있는 효과가 있다.
또한 본 발명의 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템은 과거의 범죄, 재난 상황 등 비상상황 발생 시 생성된 주변 상황을 모두 저장하고, 저장된 과거의 주변 상황을 현재 수신한 주변상황과 비교하여 유사도를 분석함으로써, 비상 상황이 현재 발생하기 전에 미리 사용자에게 알려줄 수 있는 효과가 있다.
이에 더불어, 본 발명의 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템은 가상머신을 이용하여 현재 수신한 주변 상황에 대한 분산 병렬 처리를 통한 비교 분석이 완료되면, 생성된 가상머신을 종료한 후 폐기함으로써, 생성된 가상머신의 유지에 따르는 전력, 메모리 및 디스크가 낭비되는 것을 방지할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 클라우드 컴퓨팅 환경 내 데이터 비교 처리 시스템의 블록도이다.
도 2는 본 발명의 다른 실시 예에 따른 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법의 순서도이다.
이하, 본 발명을 바람직한 실시 예와 첨부한 도면을 참고로 하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되는 것은 아니다.
먼저, 본 발명을 설명하기에 앞서 본 발명이 구현되는 클라우드 컴퓨팅 환경에 대하여 간략히 살펴보도록 한다.
클라우드 컴퓨팅이란, 구름(cloud)과 같이 무형의 형태로 존재하는 하드웨어 또는 소프트웨어 등의 컴퓨팅 자원을 사용자가 필요한 만큼 빌려 쓰고 이에 따른 사용요금을 지급하는 방식의 컴퓨팅 서비스로서, 서로 다른 물리적인 위치에 존재하는 컴퓨팅 자원을 가상화 기술로 통합하여 제공하는 기술을 말한다. 클라우드로 표현되는 인터넷상의 서버에서 데이터 저장, 처리, 네트워크, 콘텐츠 사용 등 IT 관련 서비스를 한번에 제공하는 혁신적인 컴퓨팅 기술인 클라우드 컴퓨팅은 인터넷을 이용한 IT 자원의 주문형 아웃소싱 서비스라고 정의되기도 한다.
이러한 클라우드 컴퓨팅을 도입하면, 기업 또는 개인은 컴퓨터 시스템을 유지, 보수, 관리하기 위해 소요되는 비용과, 서버의 구매 및 설치 비용, 업데이트 비용, 소프트웨어 구매 비용 등의 막대한 비용과 시간 및 인력을 줄일 수 있고, 에너지 절감에도 기여할 수 있다.
또한, PC에 자료를 보관할 경우에는 하드디스크 장애 등으로 인하여 자료가 손실될 수도 있지만, 클라우드 컴퓨팅 환경에서는 외부 서버에 자료들이 저장되기 때문에 안전하게 자료를 보관할 수 있고, 저장 공간의 제약도 극복할 수 있으며, 시간과 장소에 구애받지 않고 자신이 작업한 문서 등을 열람 및 수정할 수 있다.
특히, 클라우드 환경에서는 가상화를 통해 서비스 제공자로부터 사용자가 원하는 만큼의 컴퓨팅 자원을 할당받을 수 있으며, 사용자에게 할당된 컴퓨팅 자원에 대한 포괄적인 제어를 통해 사용자의 요구사항에 맞춰 컴퓨팅 자원 할당을 신속하게 확장하거나, 축소할 수 있다.
따라서, 물리머신 기반이던 클러스터가 클라우드의 이점을 얻기 위해, 점차 가상화 클러스터로 구축 환경이 변화되었다.
가상환경의 구현 시 사용되는 가상머신은 특정한 프로그램을 실행하되, 하드웨어와 직접적인 통신이 이루어지지 않는 가상의 컴퓨터를 말한다. 이러한 가상머신은 시스템 가상머신과 프로세스 가상머신으로 크게 나누어지는데, 본 발명에서는 시스템 가상머신에 대한 가상환경을 중심으로 설명하도록 한다.
시스템 가상머신은 완전한 시스템 플랫폼 즉, 완전한 운영체제(Operating System)의 실행을 지원하며, 각각의 운영체제를 실행하는 가상 머신 사이의 기초가 되는 물리 컴퓨터를 다중화(multiplex)한다. 이처럼, 가상화를 제공하는 소프트웨어 계층은 가상머신 모니터 또는 하이퍼바이저(Hypervisor)라고 하며, 상기 하이퍼바이저는 하드웨어 또는 호스트 운영체제의 위에서 실행할 수 있다.
이에 따라, 클라우드 컴퓨팅 환경에서의 데이터 비교 처리 방법에 대하여 자세히 살펴보도록 한다.
도 1은 본 발명의 일 실시 예에 따른 클라우드 컴퓨팅 환경 내 데이터 비교 처리 시스템의 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 가상 맵리듀스 클러스터 내 데이터 전송경로 추천 시스템(100)은 정보 수신부(120), 작업 스케줄러(130), 자원 관리부(140), 클러스터링 관리부(150), 가상머신(160), 사용자 관리부(170) 및 데이터 저장부(180)를 포함한다.
정보 수신부(120)는 이벤트 발생에 따른 적어도 하나의 상황정보를 사용자단말(110)로부터 실시간으로 입력받는다. 즉, 상기 사용자 단말(110)이 위치하는 지역에 측정한 주변 상황정보를 획득하여 실시간으로 상기 정보수신부(120)로 전달한다. 이때, 상기 이벤트 발생에 따른 적어도 하나의 상황정보는 재난, 재해, 범죄, 사고 중 적어도 하나에 해당하는 이벤트 발생 시, 발생 시간, 발생 위치, 날씨 정보, 특이 상황 등과 주변 상황을 나타내는 정보를 말한다.
작업 스케줄러(130)는 상기 정보 수신부(120)가 수신한 상기 상황정보를 분석할 수 있도록 클라우드 자원을 요청하며, 또한 상기 상황정보의 클라우드 자원 내 분산 배치 및 실행을 수행할 수 있다.
자원 관리부(140)는 상기 작업 스케줄러(130)의 클라우드 자원 요청에 응답하여 상황정보의 분석을 수행하는 가상머신(160)을 생성한다. 이러한 자원 관리부(140)는 상기 상황정보에 대한 비교 분석을 완료하면, 생성한 가상머신(160)을 종료한 후 폐기할 수 있다.
클러스터링 관리부(150)는 상기 작업 스케줄러(130)로부터 상기 상황정보를 전달받아, 전달받은 상황정보를 시퀀스 데이터로 변환한다.
가상머신(160)은 변환된 상기 시퀀스 데이터를 분산 후 병렬 처리하여 상기 시퀀스 데이터와 기저장된 과거 상황정보와 비교 분석한다. 이러한 가상머신(160)은 맵리듀스(MapReduce)를 통해 상기 시퀀스 데이터를 분산 후 병렬 처리할 수 있다. 특히, 하둡(Hadoop)은 분산처리 플랫폼을 제공하는 아파치 오픈소스 프로젝트로, 신뢰성(Reliability)과 확장성(Scalability)을 보장하는 환경을 제공하여 현재 아마존(Amazon), 야후(Yahoo!), 페이스북(Facebook) 등의 많은 업체에서 사용되고 있다. 이러한 하둡을 구성하는 중요한 요소 중 하나인 맵리듀스는 구글(Google)에서 제안한 맵리듀스 프로그래밍 모델을 하둡에 맞춰 구현한 소프트웨어 프레임워크로서, 분산환경에서 대용량 데이터를 처리하는데 있어서, 간단하고 직관적인 인터페이스를 제공한다.
또한, 상기 가상머신(160)은 상기 시퀀스 데이터를 기저장된 적어도 하나의 과거 상황정보와 비교하여 유사도를 판단할 수 있다.
사용자 관리부(170)는 상기 가상머신(160)으로부터 상기 시퀀스 데이터의 분석결과를 수신하고, 수신한 분석결과를 사용자단말(110)로 전송한다.
데이터 저장부(180)는 과거의 각종 비상 상황 발생 시 생성되는 주변 상황정보를 적어도 하나 기저장하며, 상기 정보 수신부(120)로 입력되는 상황정보 또한 저장한다.
이하, 도 2를 참조하여 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법에 대하여 살펴보도록 한다.
도 2는 본 발명의 다른 실시 예에 따른 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법의 순서도이다.
도 2에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른 클라우드 환경 내 데이터 비교 처리 방법은 먼저, 정보수신부(120)가 이벤트 발생에 따른 적어도 하나의 상황정보를 사용자단말(110)로부터 실시간으로 입력받는다(S210). 즉, 상기 사용자 단말(110)이 위치하는 지역의 주변 상황정보를 획득하여 상기 정보 수신부(120)로 실시간으로 전달한다. 이때, 상기 이벤트 발생에 따른 적어도 하나의 상황정보는 재난, 재해, 범죄, 사고 중 적어도 하나에 해당하는 이벤트 발생에 따른 발생 시간, 발생 위치, 날씨 정보, 특이 상황 등과 같이 주변 상황을 나타내는 정보를 말한다. 예를 들어, 사용자 단말(110)이 새벽 6시에 교차로 주변에 위치하는 경우, 상기 정보 수신부(120)가 상기 사용자 단말(110)로부터 새벽 6시라는 시간 정보와, 교차로 주변이라는 위치 정보를 수신할 수 있다.
이후, 작업 스케줄러(130)가 앞서 정보 수신부(120)가 수신한 상기 상황정보의 분석을 위해 클라우드 자원을 요청한다(S220).
자원 관리부(140)가 상기 작업 스케줄러(130)로부터 수신한 클라우드 자원 요청에 응답하여 가상머신(160)을 생성한다(S230).
클러스터링 관리부(150)가 상기 작업 스케줄러(130)로부터 상황정보를 전달받고, 전달받은 상황정보를 시퀀스 데이터 형태로 변환한다(S240).
이에 따라, 상기 가상머신(160)이 상기 시퀀스 데이터를 분산 후 병렬 처리하여 데이터 저장부(180)에 기저장된 적어도 하나의 과거 상황정보와 비교 분석한다(S250). 이때, 상기 가상머신(160)이 맵리듀스(MapReduce)를 통해 상기 시퀀스 데이터를 분산 후 병렬 처리하여 기저장된 동일한 이벤트 발생에 따른 상황정보와 비교 분석할 수 있다. 특히, 이때 사용되는 맵리듀스는 그 간편성, 확장성, 성능으로 인하여 생물 정보학(bioinformatics)이나 자연 언어 처리(natural language processing) 등과 같은 대규모 데이터 처리 어플리케이션을 위한 효과적인 모델 중 하나이다. 맵리듀스의 핵심 개념은 하나의 job을 다수의 작은 태스크로 분할하여 클러스터 된 자원 상에서 처리하는 것이다. 이러한 맵리듀스 모델은 맵(map), 셔플(shuffle), 리듀스(reduce)인 세 개의 주 단계로 구성된다. 각각의 맵리듀스 작업(job)은 맵 또는 리듀스 단계에서 처리되는 몇 개의 태스크(task)로 나누어지며, 셔플 단계는 상기 맵 단계 및 리듀스 단계를 중개하는 중간 단계로서의 역할을 한다.
특히, 분산 파일 시스템의 데이터는 기본적으로 다수의 작은 블록(block)으로 나누어진다. 각각의 맵퍼(mapper)는 분할된 작은 데이터를 이용하여 맵 태스크를 수행하고 그것의 출력(output)을 로컬 디스크((local disk)에 저장한다. 셔플 단계에서 리듀서는 맵 태스크들의 출력들을 복사하고 병합하여 리듀스 단계에서 병합된 데이터를 입력으로 리듀스 태스크를 수행한다.
또한, 상기 가상머신(160)이 상기 시퀀스 데이터를 기저장된 적어도 하나의 과거 상황정보와 비교하여 유사도를 판단할 수 있다.
즉, 앞서 상기 정보 수신부가 상기 사용자 단말로부터 새벽 6시라는 시간 정보 및 교차로 주변이라는 위치 정보를 수신함에 따라, 가상머신이 상기 시간 정보, 위치 정보에 대하여 맵리듀스를 통한 데이터의 분산 병렬 처리를 수행하여 데이터 저장부에 기저장된 과거 상황정보와 비교하여 유사도를 판단한다.
이에 따라, 사용자관리부(170)가 상기 가상머신(160)으로부터 현재 주변 상황 정보에 대한 분석결과를 수신하고, 수신한 분석결과를 사용자단말(110)로 전송한다(S260). 결국 상기 사용자관리부(170)가 유사도 분석결과를 사용자단말(110)로 전송함으로써, 사용자단말(110)이 현재 위치하고 있는 곳에서 발생한 이벤트는 사고이고, 유사도 결과 만큼의 사고 발생율이 존재하는 것을 사용자로 하여금 확인할 수 있도록 디스플레이한다.
이에 더하여, 상기 가상머신(160)이 현재 주변 상황정보에 대한 비교 분석을 완료하면, 상기 자원관리부(140)가 생성한 가상머신을 종료한 후 폐기한다.
상술한 예 뿐만 아니라, 이러한 본 발명은 군사 위험 상황 발생 감지 기술에서도 적용될 수 있다.
예를 들어, 사용자 단말로부터 2013년 9월 1일 오전 4시 55분에, 강원도 철원군 철원읍 지역(XY9012345678), 특이 상황으로서 적 소대급 병력이 전방 3km 지점에서 8시 방향으로 시간당 200m 의 속도로 이동 중이라는 특이상황을 나타내는 현재 상황정보를 수신하면, 데이터 저장부에 기저장된 과거 상황정보 예를 들어, 200년 10월 5일 오전 7시 12분, 2005년 11월 15일 오전 3시 27분, 1999년 5월 19일 오전 2시 23분 등의 시간 정보 또는 강원도 철원군 전 지역, 강원도 철원군 철원읍 지역 등의 적어도 하나의 상황정보를 맵리듀스를 통해 분산 병렬처리하여 비교 분석하고, 각 상황정보 별 유사도를 확인한 후 내림차순으로 정렬하여 유사도가 가장 높은 순서에 해당하는 과거 상황정보를 발생시킨 이벤트를 사용자 단말로 전송하여 알려준다.
본 발명의 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템은 기저장된 과거 데이터와 실시간으로 입력되는 현재 데이터간 분산 병렬 처리를 통해 신속하게 비교 분석할 수 있는 효과가 있다.
또한 본 발명의 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템은 과거의 범죄, 재난 상황 등 비상상황 발생 시 생성된 주변 상황을 모두 저장하고, 저장된 과거의 주변 상황을 현재 수신한 주변상황과 비교하여 유사도를 분석함으로써, 비상 상황이 현재 발생하기 전에 미리 사용자에게 알려줄 수 있는 효과가 있다.
이에 더불어, 본 발명의 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템은 가상머신을 이용하여 현재 수신한 주변 상황에 대한 분산 병렬 처리를 통한 비교 분석이 완료되면, 생성된 가상머신을 종료한 후 폐기함으로써, 생성된 가상머신의 유지에 따르는 전력, 메모리 및 디스크가 낭비되는 것을 방지할 수 있는 효과가 있다.
상기에서는 본 발명의 바람직한 실시 예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 본 발명의 기술 사상 범위 내에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 첨부된 특허청구범위에 속하는 것은 당연하다.
110: 사용자단말 120:정보 수신부
130: 작업 스케줄러 140: 자원 관리부
150: 클러스터링 관리부 160: 가상머신
170: 사용자 관리부 180: 데이터 저장부

Claims (12)

  1. 정보수신부가 이벤트 발생에 따른 적어도 하나의 현재 상황정보를 실시간으로 입력받는 단계;
    작업 스케줄러가 수신한 상기 상황정보의 분석을 위한 클라우드 자원을 요청하는 단계;
    자원 관리부가 상기 작업 스케줄러의 클라우드 자원 요청에 응답하여 가상머신을 생성하는 단계;
    클러스터링 관리부가 상기 작업 스케줄러로부터 상황정보를 수신하고, 수신한 상황정보를 시퀀스 데이터 형태로 변환하는 단계;
    상기 가상머신이 상기 시퀀스 데이터를 분산 후 병렬 처리하여 기저장된 적어도 하나의 과거 상황정보와 비교 분석하는 단계; 및
    사용자관리부가 상기 가상머신으로부터 상기 시퀀스 데이터의 분석결과를 수신하고, 수신한 분석결과를 사용자단말로 전송하는 단계;
    를 포함하는 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법.
  2. 제1항에 있어서,
    상기 가상머신이 상기 시퀀스 데이터를 분산 후 병렬 처리하여 분석하는 단계는
    맵리듀스(MapReduce)를 통해 상기 시퀀스 데이터를 분산 후 병렬 처리하는 것을 특징으로 하는 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법.
  3. 제1항에 있어서,
    상기 가상머신이 상기 시퀀스 데이터를 분산 후 병렬 처리하여 비교 분석하는 단계는
    상기 시퀀스 데이터를 기저장된 적어도 하나의 과거 상황정보와 비교하여 유사도를 판단하는 것을 특징으로 하는 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법.
  4. 제1항에 있어서,
    상기 이벤트 발생에 따른 적어도 하나의 상황정보는
    재난, 재해, 범죄, 사고 중 적어도 하나에 해당하는 이벤트 발생에 따른 현재 상황정보인 것을 특징으로 하는 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법.
  5. 제1항에 있어서,
    상기 시퀀스 데이터의 비교 분석이 완료된 후, 상기 자원관리부가 생성한 가상머신을 종료한 후 폐기하는 단계;
    를 더 포함하는 것을 특징으로 하는 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 따른 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체.
  7. 이벤트 발생에 따른 적어도 하나의 현재 상황정보를 실시간으로 입력받는 정보 수신부;
    상기 상황정보의 분석을 위한 클라우드 자원을 요청하는 작업 스케줄러;
    상기 작업 스케줄러의 클라우드 자원 요청에 응답하여 가상머신을 생성하는 자원 관리부;
    상기 작업 스케줄러로부터 상황정보를 전달받아, 전달받은 상황정보를 시퀀스 데이터로 변환하는 클러스터링 관리부;
    변환된 상기 시퀀스 데이터를 분산 후 병렬 처리하여 기저장된 과거 상황정보와 비교 분석하는 가상머신; 및
    상기 가상머신으로부터 상기 시퀀스 데이터의 분석결과를 수신하고, 수신한 분석결과를 사용자단말로 전송하는 사용자관리부;
    를 포함하는 클라우드 컴퓨팅 환경 내 데이터 비교 처리 시스템.
  8. 제7항에 있어서,
    과거의 각종 상황 발생 시 생성되는 주변의 상황정보를 적어도 하나 저장하는 데이터 저장부;
    를 더 포함하는 것을 특징으로 하는 클라우드 컴퓨팅 환경 내 데이터 비교 처리 시스템.
  9. 제7항에 있어서,
    상기 가상머신은
    맵리듀스(MapReduce)를 통해 상기 시퀀스 데이터를 분산 후 병렬 처리하는 것을 특징으로 하는 클라우드 컴퓨팅 환경 내 데이터 비교 처리 시스템.
  10. 제7항에 있어서,
    상기 가상머신은
    상기 시퀀스 데이터를 기저장된 적어도 하나의 과거 상황정보와 비교하여 유사도를 판단하는 것을 특징으로 하는 클라우드 컴퓨팅 환경 내 데이터 비교 처리 시스템.
  11. 제7항에 있어서,
    상기 이벤트 발생에 따른 적어도 하나의 상황정보는
    재난, 재해, 범죄, 사고 중 적어도 하나에 해당하는 이벤트 발생에 따른 상황정보인 것을 특징으로 하는 클라우드 컴퓨팅 환경 내 데이터 비교 처리 시스템.
  12. 제7항에 있어서,
    상기 자원 관리부는
    상기 가상머신이 상기 시퀀스 데이터의 비교 분석을 완료하면, 생성한 가상머신을 종료한 후 폐기하는 것을 특징으로 하는 클라우드 컴퓨팅 환경 내 데이터 비교 처리 시스템.
KR1020130147492A 2013-11-29 2013-11-29 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템 KR101505468B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130147492A KR101505468B1 (ko) 2013-11-29 2013-11-29 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130147492A KR101505468B1 (ko) 2013-11-29 2013-11-29 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101505468B1 true KR101505468B1 (ko) 2015-03-25

Family

ID=53028416

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130147492A KR101505468B1 (ko) 2013-11-29 2013-11-29 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101505468B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918579A (zh) * 2016-10-09 2018-04-17 北京神州泰岳软件股份有限公司 一种批量生成基线数据的方法和装置
KR20180068002A (ko) * 2016-12-13 2018-06-21 나무기술 주식회사 빅데이터 기반의 클라우드 인프라 실시간 분석 시스템 및 그 제공방법
KR20190081912A (ko) * 2017-12-29 2019-07-09 주식회사 포스코아이씨티 데이터 유실 방지 기능을 구비한 분산 병렬 처리 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004524611A (ja) 2001-01-25 2004-08-12 ザ リンカーン エレクトリック カンパニー 分散溶接アーキテクチャを提供するシステムおよび方法
KR20050108518A (ko) * 2004-05-12 2005-11-17 한국생산기술연구원 개방형 분산처리구조의 로봇 제어 소프트웨어구조
KR101245994B1 (ko) 2012-08-31 2013-03-20 케이씨씨시큐리티주식회사 대용량 데이터의 분산 병렬 처리 시스템 및 방법
KR101255060B1 (ko) 2012-07-16 2013-04-16 한국과학기술정보연구원 맵리듀스 기반 분산 병렬 개체 추출 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004524611A (ja) 2001-01-25 2004-08-12 ザ リンカーン エレクトリック カンパニー 分散溶接アーキテクチャを提供するシステムおよび方法
KR20050108518A (ko) * 2004-05-12 2005-11-17 한국생산기술연구원 개방형 분산처리구조의 로봇 제어 소프트웨어구조
KR101255060B1 (ko) 2012-07-16 2013-04-16 한국과학기술정보연구원 맵리듀스 기반 분산 병렬 개체 추출 시스템 및 방법
KR101245994B1 (ko) 2012-08-31 2013-03-20 케이씨씨시큐리티주식회사 대용량 데이터의 분산 병렬 처리 시스템 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918579A (zh) * 2016-10-09 2018-04-17 北京神州泰岳软件股份有限公司 一种批量生成基线数据的方法和装置
KR20180068002A (ko) * 2016-12-13 2018-06-21 나무기술 주식회사 빅데이터 기반의 클라우드 인프라 실시간 분석 시스템 및 그 제공방법
KR101971013B1 (ko) 2016-12-13 2019-04-22 나무기술 주식회사 빅데이터 기반의 클라우드 인프라 실시간 분석 시스템 및 그 제공방법
KR20190081912A (ko) * 2017-12-29 2019-07-09 주식회사 포스코아이씨티 데이터 유실 방지 기능을 구비한 분산 병렬 처리 시스템 및 방법
KR102026301B1 (ko) * 2017-12-29 2019-09-27 주식회사 포스코아이씨티 데이터 유실 방지 기능을 구비한 분산 병렬 처리 시스템 및 방법

Similar Documents

Publication Publication Date Title
US8595564B2 (en) Artifact-based software failure detection
US10061938B2 (en) Moving a portion of a streaming application to a public cloud based on sensitive data
CN105573824B (zh) 分布式计算***的监控方法及***
US10341355B1 (en) Confidential malicious behavior analysis for virtual computing resources
CN108833522B (zh) 一种确定节点可信的***及方法
US10129311B2 (en) Moving a portion of a streaming application to a public cloud based on sensitive data
US10296750B1 (en) Robust data tagging
US11392821B2 (en) Detecting behavior patterns utilizing machine learning model trained with multi-modal time series analysis of diagnostic data
KR101505468B1 (ko) 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템
Pătraşcu et al. Logging framework for cloud computing forensic environments
CN114780214A (zh) 任务处理方法、装置、***及设备
JP2024522983A (ja) 多層ストレージインフラストラクチャにおけるデータ分散およびセキュリティ
US20130145004A1 (en) Provisioning using presence detection
Shih et al. Implementation and visualization of a netflow log data lake system for cyberattack detection using distributed deep learning
US20150373078A1 (en) On-demand helper operator for a streaming application
US20220091866A1 (en) Containerized software discovery and identification
US11687116B2 (en) Intelligent user equipment central processing unit core clock adjustment
KR102323670B1 (ko) 프라이빗 멀티 클라우드에서 컨테이너화된 애플리케이션을 위한 동적 멀티레벨 규칙 기반 자동 스케일링 방법 및 장치
US11777944B2 (en) Scalable authentication management
US20230370426A1 (en) Sensitive Data Identification In Real-Time for Data Streaming
US20220188295A1 (en) Dynamic management of blockchain resources
US11050780B2 (en) Methods and systems for managing security in computing networks
CN118312626A (en) Data management method and system based on machine learning
Svetlana et al. ANALYSIS OF FOG COMPUTING TECHNOLOGIES
CN117813797A (zh) 将密码计算资源与用于解密加密通信的预测要求相匹配

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180108

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190211

Year of fee payment: 5