KR20150096286A - 유휴 컴퓨터를 활용한 클라우드 대용량 데이터 분석 방법 - Google Patents

유휴 컴퓨터를 활용한 클라우드 대용량 데이터 분석 방법 Download PDF

Info

Publication number
KR20150096286A
KR20150096286A KR1020140017541A KR20140017541A KR20150096286A KR 20150096286 A KR20150096286 A KR 20150096286A KR 1020140017541 A KR1020140017541 A KR 1020140017541A KR 20140017541 A KR20140017541 A KR 20140017541A KR 20150096286 A KR20150096286 A KR 20150096286A
Authority
KR
South Korea
Prior art keywords
cloud
agent
cloud server
file
idle
Prior art date
Application number
KR1020140017541A
Other languages
English (en)
Inventor
김성진
Original Assignee
주식회사 인피니플럭스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인피니플럭스 filed Critical 주식회사 인피니플럭스
Priority to KR1020140017541A priority Critical patent/KR20150096286A/ko
Publication of KR20150096286A publication Critical patent/KR20150096286A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

이 기술은 특정 에이전트 응용 프로그램이 설치된 사용자 개인 컴퓨터에게 네트워크를 통해 클라우드로부터 작업 명령을 받고, 그 작업을 수행한 이후에 그 결과를 다시 네트워크로 되돌리는 과정을 통해 발생한다
클라우드를 구현함에 있어서 유휴 컴퓨터를 활용하여 클라우드 서버를 추가하는 효과를 제공하는 방법으로서, 유휴 사용자 컴퓨터에 미리 작성된 에이전트 프로그램을 장착, 다운로드 받기 위해 특정 클라우드의 URL로 접근하여 다운로드 받는다.
다운로드 받은 에이전트 프로그램을 유휴 컴퓨터에서 수행하고, 이 프로그램이 유휴 컴퓨터의 자원 상황을 확인하고, 서비스 요청을 대기 하는 단계를 거친다.
대기하던 에이전트 프로그램이 클라우드로 부터 작업을 요청받고, 그 작업을 수행하며, 그 결과를 지속적으로 유휴 컴퓨터에 기록하는 단계를 거친다.
에이전트 프로그램이 모든 작업을 완료하고, 그 결과를 다시 클라우드 서버로 전송하고 다시 유휴 컴퓨터의 자원 상황을 확인하고, 서비스 요청을 대기 하는 단계로 진입하게 된다.

Description

유휴 컴퓨터를 활용한 클라우드 대용량 데이터 분석 방법 {Methods of Cloud BigData Analysis by using available personal computer}
본 발명은 대용량 데이터 분석방법에 관한 것으로서, 보다 상세하게는 특정집단에서 개인들이 보유한 유휴 컴퓨터를 클라우드에 참여하는 서버의 역할로 대신하게 함으로써 유연하고 효과적인 데이터 분석 성능향상을 제공하는 방법에 관한 것이다.
기존의 데이터 분석을 위한 클라우드 환경에서는 스토리지를 위한 데이터 노드와 대용량 병렬처리를 위한 워킹 노드가 별개로 존재한다. 각각의 노드가 추가적으로 필요할 경우 각각의 장비를 추가 설치하는 형태이다.
기존의 클라우드를 구성하는 서버는 가격이 높고, 고사양의 컴퓨팅 환경을 갖춘 고급 컴퓨터이다. 사용자의 서비스 요구사항이 높아져서 구축한 클라우드의 컴퓨팅 자원을 모두 고갈시켰을 경우에는 고사양의 서버를 다시 설치할 수 밖에는 없다. 그러나, 만일 사용자가 일반 용도로 사용하고 있는 유휴 컴퓨터를 클라우드 자원으로 사용할 수 있다면 굳이 비싼 서버를 구매할 필요는 없을 것이다.
본 발명이 이루고자 하는 기술적 과제는 이러한 클라우드 자원 확장에 대한 시간과 비용을 줄이는 방법을 제공하는 것이다.
클라우드를 구현함에 있어서 유휴 컴퓨터를 활용하여 클라우드 서버를 추가하는 효과를 제공하는 방법으로서,
(a) 유휴 사용자 컴퓨터에 미리 작성된 에이전트 프로그램을 장착, 다운로드 받기 위해 특정 클라우드의 URL로 접근하여 다운로드 받는 단계:
(b) 상기 다운로드 받은 에이전트 프로그램을 유휴 컴퓨터에서 수행하고, 이 프로그램이 유휴 컴퓨터의 자원 상황을 확인하고, 서비스 요청을 대기 하는 단계:
(c) 대기하던 에이전트 프로그램이 클라우드로 부터 작업을 요청받고, 그 작업을 수행하며, 그 결과를 지속적으로 유휴 컴퓨터에 기록하는 단계:
(d) 에이전트 프로그램이 모든 작업을 완료하고, 그 결과를 다시 클라우드 서버로 전송하는 단계:
(e) 상기 (b) 단계로 다시 돌아가서 서비스를 대기하는 단계를 포함하는 방법
(a) 단계는 사용자 PC에서 웹 브라우저를 통해서 클라우드 환경의 클라우드 참여를 위한 URL에 접속을 수행하는 단계와
해당 페이지에서 실행화일을 다운로드 받고, 그 화일을 PC에서 수행시키는 단계,
그리고, 실행화일이 사용자 PC에 클라우드 워킹 노드로서 동작을 할 수 있는 내부 특정 실행 프로세스(A)를 만들고, 운영체제 내부에서 영속적으로 동작할 수 있도록 수행되는 단계를 포함하는 방법
(b) 단계는 PC에서 수행중인 실행 프로세스(A)는 클라우드 서버와의 통신 연결을 요청하는 단계와
클라우드 서버의 요청이 불가능할 경우에는 지속적으로 요청하여, TCP-IP 연결이 될 수 있도록 재시도하는 단계,
클라우드 서버에 연결되었을 경우에 사용자 ID 및 Password를 통해 인증을 수행하는 단계로 이루어진 방법
단계 (b)가 완료되면, C-Agent는 지속적으로 현재 PC의 세부 리소스 정보 즉, CPU 갯수 및 성능, CPU 사용량, 작업 수행 여부, 네트워크 성능 정보, 저장공간 가용 여부를 검사하고, 이를 클라우드 서버에 되돌리는 단계와
상기 C-Agent가 클라우드 서버에서의 서비스 요청이 있을 경우를 대비하여, 통신 연결상에서 지속적으로 대기하는 단계를 포함하는 방법
(c) 단계는 클라우드 서버에서 C-Agent로의 작업 요청을 위해 수행할 실행화일 및 데이터를 전송하는 단계와,
상기 C-Agent가 받은 실행화일 및 데이터를 자신의 저장공간에 기록하는 단계,
그리고, 상기 C-Agent가 받은 실행화일을 수행하고, 종료될 때 까지 반복하는 단계를 포함하는 방법
(d) 단계는 상기 에이전트가 실행화일을 통한 업무가 완료되었을 경우, 저장공간에 생성된 화일이 있는지 확인하는 단계와
해당 화일이 존재할 경우 그 화일 내용을 읽어, 클라우드 서버로 전송하는 단계,
상기 에이전트가 다시 클라우드 서버로부터의 서비스를 대기하는 단계를 포함하는 방법
이 발명을 통해서 사용자는 고가의 클라우드 서버를 지속적으로 늘리는 대신에 저가의 사용자 유휴 컴퓨터를 클라우드 자원으로 일정 부분 대체할 수 있다. 이를 통해서 사용자는 유휴 자원을 효율적으로 활용할 뿐만 아니라, 서버의 추가에 들어가는 비용과 시간을 획기적으로 단축시킬 수 있다.
사용자 PC
사용자 PC는 클라우드 서비스를 이용하는 일반 유저가 사용하는 컴퓨터를 지칭한다.
종래의 방법에서는 이 PC가 클라우드를 사용하는 도구로서만 사용되지, 실제 클라우드 컴퓨팅에 참여하는 용도로는 사용되지 않았다.
그러나, 이 발명에서는 사용자 PC도 클라우드 워킹 노드로서 작동할 수 있도록 고안한다.
클라우드 에이전트(C-Agent)
사용자 PC에서 구동되며, 클라우드 작업을 받아들이고, 수행하며, 그 결과를 되돌려주는 역할을 수행하는 응용 프로그램
클라우드 워킹(작업) 노드
클라우드 환경에서 사용자가 요청한 분석 작업을 병렬로 처리하고, 그 결과를 되돌여주는 역할을 하는 노드(서버)이다.
네트워크 연결
사용자 PC와 데이터노드 그리고 워킹 노드간에는 네트워크(TCP/IP)를 통해 연결되어 있으며, 이 물리적 연결을 통해 서로간의 서비스 요청과 그 결과가 전송
C-Agent의 설치 단계
사용자 PC에서 웹 브라우저를 통해서 클라우드 환경의 클라우드 참여를 위한 URL에 접속을 수행한다.
해당 페이지에서 실행화일을 다운로드 받고, 그 화일을 PC에서 수행시킨다.
실행화일은 사용자 PC에 클라우드 워킹 노드로서 동작을 할 수 있는 내부 특정 실행 프로세스(A)를 만들고, 운영체제 내부에서 영속적으로 동작할 수 있도록 수행된다.
C-Agent의 초기 수행 및 대기 단계
PC에서 수행중인 A는 클라우드 서버와의 통신 연결을 요청한다.
클라우드 서버의 요청이 불가능할 경우에는 지속적으로 요청하여, TCP-IP 연결이 될 수 있도록 재시도 한다.
클라우드 서버에 연결되었을 경우에 사용자 ID 및 PW를 통해 인증을 수행한다.
C-Agent는 지속적으로 현재 PC의 세부 리소스 정보 즉, CPU 갯수 및 성능, CPU 사용량, 작업 수행 여부, 네트워크 성능 정보, 저장공간 가용 여부를 검사하고, 이를 클라우드 서버에 되돌린다.
C-Agent는 클라우드 서버에서의 서비스 요청이 있을 경우를 대비하여, 통신 연결상에서 지속적으로 대기한다.
C-Agent의 작업 수행 단계
클라우드 서버에서 C-Agent로의 작업 요청을 위해 수행할 실행화일 및 데이터를 전송한다.
C-Agent는 받은 실행화일 및 데이터를 자신의 저장공간에 기록한다.
C-Agent는 받은 실행화일을 수행하고, 종료될 때 까지 대기한다.
실행화일을 통한 업무가 완료되었을 경우, 저장공간에 생성된 화일이 있는지 확인한다.
화일이 있을 경우 그 화일을 읽어, 클라우드 서버로 전송한다.
결과의 완료를 클라우드 서버에게 알리고, 서비스 요청을 대기한다.

Claims (5)

  1. 클라우드를 구현함에 있어서 유휴 컴퓨터를 활용하여 클라우드 서버를 추가하는 효과를 제공하는 방법으로서,
    (a) 유휴 사용자 컴퓨터에 미리 작성된 에이전트 프로그램을 장착, 다운로드 받기 위해 특정 클라우드의 URL로 접근하여 다운로드 받는 단계:
    (b) 상기 다운로드 받은 에이전트 프로그램을 유휴 컴퓨터에서 수행하고, 이 프로그램이 유휴 컴퓨터의 자원 상황을 확인하고, 서비스 요청을 대기 하는 단계:
    (c) 대기하던 에이전트 프로그램이 클라우드로 부터 작업을 요청받고, 그 작업을 수행하며, 그 결과를 지속적으로 유휴 컴퓨터에 기록하는 단계:
    (d) 에이전트 프로그램이 모든 작업을 완료하고, 그 결과를 다시 클라우드 서버로 전송하는 단계:
    (e) 상기 (b) 단계로 다시 돌아가서 서비스를 대기하는 단계를 포함하는 방법
  2. 제 1항에 있어서, (a) 단계는 사용자 PC에서 웹 브라우저를 통해서 클라우드 환경의 클라우드 참여를 위한 URL에 접속을 수행하는 단계와
    해당 페이지에서 실행화일을 다운로드 받고, 그 화일을 PC에서 수행시키는 단계,
    그리고, 실행화일이 사용자 PC에 클라우드 워킹 노드로서 동작을 할 수 있는 내부 특정 실행 프로세스(A)를 만들고, 운영체제 내부에서 영속적으로 동작할 수 있도록 수행되는 단계를 포함하는 방법
  3. 제 1항에 있어서, (b) 단계는 PC에서 수행중인 실행 프로세스(A)는 클라우드 서버와의 통신 연결을 요청하는 단계와
    클라우드 서버의 요청이 불가능할 경우에는 지속적으로 요청하여, TCP-IP 연결이 될 수 있도록 재시도하는 단계,
    클라우드 서버에 연결되었을 경우에 사용자 ID 및 Password를 통해 인증을 수행하는 단계로 이루어진 방법
    단계 (b)가 완료되면, C-Agent는 지속적으로 현재 PC의 세부 리소스 정보 즉, CPU 갯수 및 성능, CPU 사용량, 작업 수행 여부, 네트워크 성능 정보, 저장공간 가용 여부를 검사하고, 이를 클라우드 서버에 되돌리는 단계와
    상기 C-Agent가 클라우드 서버에서의 서비스 요청이 있을 경우를 대비하여, 통신 연결상에서 지속적으로 대기하는 단계를 포함하는 방법
  4. 제 1항에 있어서, (c) 단계는 클라우드 서버에서 C-Agent로의 작업 요청을 위해 수행할 실행화일 및 데이터를 전송하는 단계와,
    상기 C-Agent가 받은 실행화일 및 데이터를 자신의 저장공간에 기록하는 단계,
    그리고, 상기 C-Agent가 받은 실행화일을 수행하고, 종료될 때 까지 반복하는 단계를 포함하는 방법
  5. 제 1항에 있어서, (d) 단계는 상기 에이전트가 실행화일을 통한 업무가 완료되었을 경우, 저장공간에 생성된 화일이 있는지 확인하는 단계와
    해당 화일이 존재할 경우 그 화일 내용을 읽어, 클라우드 서버로 전송하는 단계,
    상기 에이전트가 다시 클라우드 서버로부터의 서비스를 대기하는 단계를 포함하는 방법



KR1020140017541A 2014-02-14 2014-02-14 유휴 컴퓨터를 활용한 클라우드 대용량 데이터 분석 방법 KR20150096286A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140017541A KR20150096286A (ko) 2014-02-14 2014-02-14 유휴 컴퓨터를 활용한 클라우드 대용량 데이터 분석 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140017541A KR20150096286A (ko) 2014-02-14 2014-02-14 유휴 컴퓨터를 활용한 클라우드 대용량 데이터 분석 방법

Publications (1)

Publication Number Publication Date
KR20150096286A true KR20150096286A (ko) 2015-08-24

Family

ID=54058830

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140017541A KR20150096286A (ko) 2014-02-14 2014-02-14 유휴 컴퓨터를 활용한 클라우드 대용량 데이터 분석 방법

Country Status (1)

Country Link
KR (1) KR20150096286A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190062778A (ko) 2017-11-29 2019-06-07 국민대학교산학협력단 동적 신경망 학습 방법 및 이를 수행하는 동적 신경망 학습 장치
KR20210030746A (ko) * 2019-09-10 2021-03-18 엔에이치엔 주식회사 외부 장치와 자원들을 공유하는 사용자 컴퓨터 장치 및 방법
KR20210040824A (ko) * 2019-10-01 2021-04-14 유아이패스, 인크. 외부 트리거에 기초한 로봇 프로세스 자동화 워크플로우의 재개

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190062778A (ko) 2017-11-29 2019-06-07 국민대학교산학협력단 동적 신경망 학습 방법 및 이를 수행하는 동적 신경망 학습 장치
KR20210030746A (ko) * 2019-09-10 2021-03-18 엔에이치엔 주식회사 외부 장치와 자원들을 공유하는 사용자 컴퓨터 장치 및 방법
KR20210040824A (ko) * 2019-10-01 2021-04-14 유아이패스, 인크. 외부 트리거에 기초한 로봇 프로세스 자동화 워크플로우의 재개

Similar Documents

Publication Publication Date Title
JP6764989B2 (ja) 要求処理技術
US11159411B2 (en) Distributed testing service
US8452853B2 (en) Browser with offline web-application architecture
US20160378554A1 (en) Parallel and Distributed Computing Using Multiple Virtual Machines
Kumar et al. Economically efficient virtualization over cloud using docker containers
Di et al. GloudSim: Google trace based cloud simulator with virtual machines
WO2016177079A1 (zh) 云桌面资源的处理方法及装置
US9535754B1 (en) Dynamic provisioning of computing resources
KR20080106908A (ko) 하드웨어 장치와 같은 자원을 소유하는 가상 컴퓨터를 이동시키기 위해 이용될 수 있는 컴퓨팅 시스템 및 방법
US10938641B1 (en) On-demand development environment
CN103365713A (zh) 一种资源的调度和管理方法及装置
Kosar et al. Stork data scheduler: Mitigating the data bottleneck in e-science
Mehrotra et al. Performance evaluation of Amazon elastic compute cloud for NASA high‐performance computing applications
Wu et al. Jump‐start cloud: efficient deployment framework for large‐scale cloud applications
KR20150096286A (ko) 유휴 컴퓨터를 활용한 클라우드 대용량 데이터 분석 방법
RU2696299C2 (ru) Управление при инициировании элементарных задач на серверной платформе
Kjorveziroski et al. Webassembly orchestration in the context of serverless computing
CN112491940B (zh) 代理服务器的请求转发方法及装置、存储介质及电子设备
CN111683091A (zh) 一种访问云主机控制台方法、装置、设备及存储介质
US10462205B2 (en) Providing modifies protocol responses
US20160373523A1 (en) Profile management method and apparatus for running of virtual desktop in heterogeneous server
JP6205013B1 (ja) アプリケーション利用システム
US9772877B2 (en) Managing I/O operations in a shared file system
US20160170915A1 (en) Universal secure platform virtualization system and method thereof
Penchalaiah et al. Clustered Single-Board Devices with Docker Container Big Stream Processing Architecture.

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination