KR102567565B1 - Apparatus and system for managing federated learning resource, and resource efficiency method thereof - Google Patents

Apparatus and system for managing federated learning resource, and resource efficiency method thereof Download PDF

Info

Publication number
KR102567565B1
KR102567565B1 KR1020200039363A KR20200039363A KR102567565B1 KR 102567565 B1 KR102567565 B1 KR 102567565B1 KR 1020200039363 A KR1020200039363 A KR 1020200039363A KR 20200039363 A KR20200039363 A KR 20200039363A KR 102567565 B1 KR102567565 B1 KR 102567565B1
Authority
KR
South Korea
Prior art keywords
clients
information
server
resource
model
Prior art date
Application number
KR1020200039363A
Other languages
Korean (ko)
Other versions
KR20210121915A (en
Inventor
금승우
문재원
김영기
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020200039363A priority Critical patent/KR102567565B1/en
Priority to PCT/KR2020/017156 priority patent/WO2021201370A1/en
Publication of KR20210121915A publication Critical patent/KR20210121915A/en
Application granted granted Critical
Publication of KR102567565B1 publication Critical patent/KR102567565B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Abstract

본 발명은 연합학습(Federated Learning, FL) 자원 관리장치에 의해 수행되는 방법에 관한 것이다. 본 발명의 일 실시예는 FL 서버로부터 복수의 FL 클라이언트의 운용을 위한 요청 정보를 수신하는 단계; 상기 요청 정보에 기초하여 상기 복수의 FL 클라이언트 중 운용할 하나 이상의 FL 클라이언트를 선정하는 단계; 상기 선정된 FL 클라이언트로 기초모델 및 학습도구를 배포하는 단계; 및 상기 FL 서버가 갱신모델을 기반으로 통합모델을 생성함에 따라, 상기 FL 서버로부터 상기 통합모델의 배포 요청을 수신하는 단계를 포함한다.The present invention relates to a method performed by a Federated Learning (FL) resource management device. An embodiment of the present invention comprises the steps of receiving request information for operation of a plurality of FL clients from an FL server; selecting one or more FL clients to be operated from among the plurality of FL clients based on the request information; distributing the basic model and learning tool to the selected FL client; and receiving a distribution request of the integrated model from the FL server as the FL server generates the integrated model based on the updated model.

Description

연합학습 자원 관리장치, 시스템 및 이의 자원 효율화 방법{APPARATUS AND SYSTEM FOR MANAGING FEDERATED LEARNING RESOURCE, AND RESOURCE EFFICIENCY METHOD THEREOF}Federated learning resource management device, system and resource efficiency method thereof

본 발명은 연합학습 자원 관리장치, 시스템 및 이의 자원 효율화 방법에 관한 것으로서, 보다 구체적으로는 컴퓨팅 자원을 고려하여 복수의 FL 클라이언트를 선별적으로 운용함으로써 자원을 효율적으로 관리할 수 있는 시스템 및 방법에 관한 것이다.The present invention relates to an associated learning resource management device, system, and resource efficiency method thereof, and more specifically, to a system and method capable of efficiently managing resources by selectively operating a plurality of FL clients in consideration of computing resources. it's about

최근 클라우드 기술 및 인공지능과 기계학습(이하, AI/ML이라 한다) 기술이 발전함에 따라, 다양한 AI/ML 서비스들이 높은 정확도로 제공되고 있다.As cloud technology and artificial intelligence and machine learning (hereinafter referred to as AI/ML) technology develop recently, various AI/ML services are provided with high accuracy.

이러한 고도의 정확도를 유지하기 위해서는 학습을 위한 대용량의 데이터와 이를 처리할 수 있는 고성능의 컴퓨팅 자원이 필요하다. In order to maintain such a high degree of accuracy, a large amount of data for learning and high-performance computing resources capable of processing it are required.

이를 위하여 종래에는 고성능의 서버 또는 클라우드 등에 학습용 데이터를 모아두고 이를 통한 학습을 진행하였으나, 최근 개인정보 보호 등의 이슈가 제기되면서 대용량의 학습 데이터를 클라우드 상에 보관하는 것에 대한 문제가 제기되고 있다.To this end, conventionally, learning data was collected on a high-performance server or cloud, etc., and learning was conducted through it. However, as issues such as personal information protection have recently been raised, the problem of storing large-capacity learning data in the cloud has been raised.

연합학습(Federated Learning, FL)은 이러한 문제를 해결하기 위하여 데이터를 한 곳에 모아두지 않고 데이터 생성원에만 보관하게 한 후, 데이터 생성원에서 학습을 진행하고 학습 결과만을 독립된 서버에서 취합하여 AI/ML 모델의 성능을 개선하는 방법으로 제시되었다.Federated Learning (FL), in order to solve this problem, does not collect data in one place, but stores it only in the data generator, then proceeds with learning in the data generator and collects only the learning results on an independent server to AI/ML It was presented as a way to improve the performance of the model.

이러한 연합학습은 데이터가 한 곳에 모이지 않고 학습 자체가 데이터 생성원에서 진행되므로 개인정보 유출을 원천적으로 차단하는 효과가 있다.This federated learning has the effect of fundamentally blocking the leakage of personal information because the data is not gathered in one place and the learning itself is conducted at the data generator.

하지만, 연합학습의 구현은 FL 클라이언트가 FL 서버에 자신이 해당 기능을 수행하고자 함을 알리는 레지스터(register) 형태로 구현되어 있어 효율적인 자원의 관리가 어려운 문제점을 가지고 있다.However, the implementation of federated learning has a problem in that efficient resource management is difficult because the FL client is implemented in the form of a register that informs the FL server that it wants to perform its function.

현재 FL 클라이언트는 FL 어플리케이션이 설치되면 자신의 능력치에 관계없이 FL 서버에 자신을 FL 클라이언트로 등록하는 구조를 가지고 있다. 만약, 메모리가 부족하거나 프로세서 성능이 낮은 경우와 같이, 자신의 능력치가 연합학습을 수행할 수 없을 경우, FL 클라이언트는 운용될 수 없는 어플리케이션을 저장하고 있어 스토리지의 낭비가 발생한다. Current FL clients have a structure in which they register themselves as FL clients in the FL server regardless of their own capabilities when FL applications are installed. If, as in the case of insufficient memory or low processor performance, if its own ability level cannot perform federated learning, the FL client stores an application that cannot be operated, resulting in a waste of storage.

또한 FL 클라이언트는 시간 내 종료되지 않는 프로세스를 반복적으로 운용해야 하므로 CPU 및 메모리와 같은 컴퓨팅 자원의 낭비가 발생하게 된다.In addition, since the FL client has to repeatedly operate a process that does not terminate in time, computing resources such as CPU and memory are wasted.

본 발명의 실시예는 FL 클라이언트의 컴퓨팅 자원을 고려하여 복수의 FL 클라이언트를 선별적으로 운용함으로써 자원을 효율적으로 관리할 수 있는 연합학습 자원 관리장치, 시스템 및 이의 자원 효율화 방법을 제공한다.Embodiments of the present invention provide a combined learning resource management device, system, and resource efficiency method that can efficiently manage resources by selectively operating a plurality of FL clients in consideration of the computing resources of the FL clients.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problem to be achieved by the present embodiment is not limited to the technical problem as described above, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제1측면에 따른 연합학습(Federated Learning, FL) 자원 관리장치에 의해 수행되는 방법은 FL 서버로부터 복수의 FL 클라이언트의 운용을 위한 요청 정보를 수신하는 단계; 상기 요청 정보에 기초하여 상기 복수의 FL 클라이언트 중 운용할 하나 이상의 FL 클라이언트를 선정하는 단계; 상기 선정된 FL 클라이언트로 기초모델 및 학습도구를 배포하는 단계; 및 상기 FL 서버가 갱신모델을 기반으로 통합모델을 생성함에 따라, 상기 FL 서버로부터 상기 통합모델의 배포 요청을 수신하는 단계를 포함한다.As a technical means for achieving the above-described technical problem, the method performed by the Federated Learning (FL) resource management apparatus according to the first aspect of the present invention is request information for operation of a plurality of FL clients from the FL server. receiving; selecting one or more FL clients to be operated from among the plurality of FL clients based on the request information; distributing the basic model and learning tool to the selected FL client; and receiving a distribution request of the integrated model from the FL server as the FL server generates the integrated model based on the updated model.

본 발명의 일부 실시예에서, 상기 FL 서버로부터 복수의 FL 클라이언트의 운용을 위한 요청 정보를 수신하는 단계는, 상기 요청 정보로 상기 복수의 FL 클라이언트에 대한 컴퓨팅 요구사항 정보, 기초 모델 정보 및 학습 도구 정보 중 하나 이상을 포함하여 전달할 수 있다.In some embodiments of the present invention, the step of receiving request information for operation of a plurality of FL clients from the FL server includes computing requirement information, basic model information, and learning tools for the plurality of FL clients as the request information. One or more of the information may be included and conveyed.

본 발명의 일부 실시예에서, 상기 복수의 FL 클라이언트 중 운용할 하나 이상의 FL 클라이언트를 선정하는 단계는, 상기 복수의 FL 클라이언트의 컴퓨팅 자원 정보, 연관 서비스 운용 정보 및 로컬 데이터 수집 여부 정보 중 하나 이상에 기초하여 하나 이상의 FL 클라이언트를 선정할 수 있다.In some embodiments of the present invention, the step of selecting one or more FL clients to operate from among the plurality of FL clients may include at least one of computing resource information, related service operation information, and local data collection information of the plurality of FL clients. Based on this, one or more FL clients can be selected.

본 발명의 일부 실시예에서, 상기 복수의 FL 클라이언트 중 운용할 하나 이상의 FL 클라이언트를 선정하는 단계는, 상기 연관 서비스 운용 정보에 기초하여 상기 복수의 FL 클라이언트 중 연관 서비스가 운용되고 있는 FL 클라이언트를 1차 선정하는 단계를 포함할 수 있다.In some embodiments of the present invention, the step of selecting one or more FL clients to operate from among the plurality of FL clients may include selecting an FL client operating a related service from among the plurality of FL clients based on the related service operation information. A step of selecting a car may be included.

본 발명의 일부 실시예에서, 상기 복수의 FL 클라이언트 중 운용할 하나 이상의 FL 클라이언트를 선정하는 단계는, 상기 1차 선정된 FL 클라이언트 중 상기 컴퓨팅 자원 정보에 기초하여 가용한 FL 클라이언트를 최종 선정하는 단계를 포함할 수 있다.In some embodiments of the present invention, the step of selecting one or more FL clients to be operated from among the plurality of FL clients includes finally selecting an available FL client from among the firstly selected FL clients based on the computing resource information. can include

본 발명의 일부 실시예에는, 상기 선정된 FL 클라이언트만을 대상으로 연합학습을 위한 소프트웨어가 설치 및 실행될 수 있다.In some embodiments of the present invention, software for combined learning may be installed and executed only for the selected FL clients.

본 발명의 일부 실시예에서, 상기 선정된 FL 클라이언트는 상기 학습도구를 기반으로 상기 기초모델을 갱신하고, 상기 기초모델의 갱신이 완료됨에 따라 상기 FL 서버로 상기 갱신모델을 전송할 수 있다.In some embodiments of the present invention, the selected FL client may update the basic model based on the learning tool, and transmit the updated model to the FL server when updating of the basic model is completed.

본 발명의 일부 실시예에서, 상기 FL 서버는 기 설정된 개수 이상의 상기 갱신모델을 복수의 FL 클라이언트로부터 수신함에 따라 FL 서버에 저장된 상기 기초모델을 통합모델로 갱신하고, 상기 FL 자원 관리장치로 상기 복수의 FL 클라이언트로의 상기 통합모델의 배포를 요청할 수 있다.In some embodiments of the present invention, the FL server updates the basic model stored in the FL server into an integrated model upon receiving a predetermined number or more of the updated models from a plurality of FL clients, and the FL resource management device updates the plurality of updated models. may request distribution of the unified model to the FL client of the

본 발명의 일부 실시예에서는 상기 FL 클라이언트의 관리를 위하여 상기 복수의 FL 클라이언트를 등록하는 단계를 더 포함할 수 있다.Some embodiments of the present invention may further include registering the plurality of FL clients for management of the FL clients.

또한, 본 발명의 제2측면에 따른 연합학습(Federated Learning, FL) 자원 관리를 위한 장치는 FL 서버 및 복수의 FL 클라이언트에 데이터를 송수신하는 통신모듈, 상기 복수의 FL 클라이언트의 자원 관리를 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 통신모듈을 통해 FL 서버로부터 복수의 FL 클라이언트의 운용을 위한 요청 정보를 수신하면, 상기 요청정보에 기초하여 상기 복수의 FL 클라이언트 중 운용할 하나 이상의 FL 클라이언트를 선정하여 기초모델 정보 및 학습도구 정보를 배포한다.In addition, an apparatus for managing federated learning (FL) resources according to a second aspect of the present invention includes a communication module for transmitting and receiving data to and from an FL server and a plurality of FL clients, and a program for resource management of the plurality of FL clients. A processor executing the stored memory and a program stored in the memory, wherein the processor executes the program and receives request information for operating a plurality of FL clients from the FL server through the communication module, Based on the request information, one or more FL clients to be operated are selected from among the plurality of FL clients, and basic model information and learning tool information are distributed.

본 발명의 일부 실시예에서, 상기 프로세서는 상기 복수의 FL 클라이언트의 컴퓨팅 자원 정보, 연관 서비스 운용 정보 및 로컬 데이터 수집 여부 정보 중 하나 이상에 기초하여 하나 이상의 FL 클라이언트를 선정할 수 있다.In some embodiments of the present invention, the processor may select one or more FL clients based on one or more of computing resource information, related service operation information, and local data collection information of the plurality of FL clients.

또한, 본 발명의 제3측면에 따른 연합학습(Federated Learning, FL) 수행 및 관리를 위한 시스템은 선정된 적어도 하나가 운용되어 연합학습을 수행하여 기초모델을 갱신하는 복수의 FL 클라이언트, 상기 갱신된 갱신모델을 기 설정된 개수 이상 수신함에 따라 통합모델로 갱신하여 상기 복수의 FL 클라이언트로의 상기 통합모델 배포를 요청하는 FL 서버 및 상기 FL 서버로부터 복수의 FL 클라이언트의 운용을 위한 요청 정보를 수신하면, 상기 요청정보에 기초하여 상기 복수의 FL 클라이언트 중 운용할 하나 이상의 FL 클라이언트를 선정하여 기초모델 정보 및 학습도구 정보를 배포하며, 상기 FL 서버의 요청에 따라 통합모델을 상기 FL 클라이언트로 배포하는 FL 자원 관리장치를 포함한다.In addition, the system for performing and managing Federated Learning (FL) according to the third aspect of the present invention includes a plurality of FL clients in which at least one selected is operated to perform federated learning to update a basic model, the updated When an FL server requesting the distribution of the integrated model to the plurality of FL clients by updating the integrated model as a predetermined number or more is received and receiving request information for operation of the plurality of FL clients from the FL server, FL resources that select one or more FL clients to operate from among the plurality of FL clients based on the request information, distribute basic model information and learning tool information, and distribute an integrated model to the FL clients according to the FL server's request. Includes management device.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition to this, another method for implementing the present invention, another system, and a computer readable recording medium recording a computer program for executing the method may be further provided.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 다수의 FL 클라이언트에 일방적으로 연합학습을 위한 소프트웨어가 설치 및 운용되는 것이 아닌, FL 클라이언트의 컴퓨팅 자원을 고려하여 선정된 FL 클라이언트만을 운용되도록 함으로써 자원의 효율적 운용을 지원할 수 있다.According to any one of the above-described problem solving means of the present invention, software for federated learning is not unilaterally installed and operated in a plurality of FL clients, but only the FL clients selected in consideration of the computing resources of the FL clients are operated. It can support efficient management of resources.

또한, 선정된 FL 클라이언트에만 소프트웨어가 설치 및 운용되는바, FL 클라이언트 자원 활용의 효율성을 증대시킬 수 있으며, 타 단말의 유휴 자원을 증대시킬 수 있다.In addition, since the software is installed and operated only on the selected FL client, the efficiency of resource utilization of the FL client can be increased, and idle resources of other terminals can be increased.

이와 더불어, 연합학습 운용을 위한 FL 클라이언트의 모델 갱신 성공확률을 높일 수 있어 연합학습을 안정적으로 동작시킬 수 있으며, 이를 기반으로 갱신된 모델을 타 FL 클라이언트로 재배포되도록 하여 갱신된 모델의 기능을 안정적으로 제공할 수 있다. In addition, it is possible to increase the success rate of updating the model of the FL client for federated learning operation, so that federated learning can be operated stably. can be provided with

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 종래 기술에 따른 연합학습 프로토콜을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 연합학습 수행 및 관리 시스템을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 연합학습 수행 및 관리 시스템의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 연합학습 프로세스방법의 순서도이다.
1 is a diagram for explaining a federated learning protocol according to the prior art.
2 is a diagram for explaining a federated learning execution and management system according to an embodiment of the present invention.
3 is a block diagram of a federated learning execution and management system according to an embodiment of the present invention.
4 is a flowchart of a federated learning process method according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.Hereinafter, embodiments of the present invention will be described in detail so that those skilled in the art can easily practice the present invention with reference to the accompanying drawings. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In the entire specification, when a part "includes" a certain component, it means that it may further include other components without excluding other components unless otherwise stated.

도 1은 종래 기술에 따른 연합학습 프로토콜을 설명하기 위한 도면이다.1 is a diagram for explaining a federated learning protocol according to the prior art.

연합학습(Federated Learning, FL)을 수행하기 위한 환경은, 로컬 데이터를 수집하고 로컬 모델의 갱신을 수행하는 FL 클라이언트와, 로컬 갱신 모델을 취합하여 통합 모델의 갱신 및 배포를 수행하는 FL 서버로 구성된다.The environment for performing Federated Learning (FL) consists of an FL client that collects local data and updates local models, and an FL server that collects local updated models and updates and distributes integrated models. do.

먼저, FL 클라이언트는 FL 서버에 자신이 해당되는 FL 클라이언트임을 등록한다.First, the FL client registers itself as the corresponding FL client with the FL server.

이후, FL 서버는 통합 모델과 로컬 학습 기법을 등록된 FL 클라이언트로 전달한다.Then, the FL server delivers the unified model and local learning technique to registered FL clients.

FL 클라이언트는 상황 조건이 만족하면, 로컬 데이터에 대하여 로컬 학습 기법을 적용하여 로컬 모델의 갱신을 시도한다.The FL client tries to update the local model by applying the local learning technique to the local data when the situation condition is satisfied.

이후, FL 클라이언트는 해당 모델의 갱신이 완료되면 갱신된 모델을 FL 서버에 전달하고, FL 서버는 충분한 수의 갱신 모델이 확보되면 이를 기반으로 통합 모델로 갱신한다.Thereafter, the FL client transfers the updated model to the FL server when the update of the corresponding model is completed, and the FL server updates the integrated model based on a sufficient number of updated models.

이후, 통합 모델이 갱신됨에 따라 위 과정이 반복 수행된다.Thereafter, the above process is repeatedly performed as the integrated model is updated.

이와 같은 종래 기술은 FL 클라이언트의 컴퓨팅 자원에 대하여 고려하지 않고, FL 클라이언트가 자의적으로 등록을 진행한다는 문제가 있다. Such a prior art has a problem that the FL client arbitrarily proceeds with registration without considering the computing resources of the FL client.

즉, 종래기술은 FL 클라이언트의 메모리나 스토리지 자원이 부족하여 정상적인 FL 클라이언트로의 역할 수행을 할 수 없는 등의 자원 관리에 대한 고려가 전혀 되고 있지 않다. That is, in the prior art, there is no consideration for resource management, such as the inability to perform a role as a normal FL client due to insufficient memory or storage resources of the FL client.

이는 FL 클라이언트의 자원 활용도를 낮추는 결과를 초래하게 되고, 또한 FL 클라이언트로부터의 갱신 성공률을 낮추는 요인으로 동작하여, 전체 통합 모델의 갱신 성능에도 문제를 야기하게 된다.This results in lowering resource utilization of the FL client, and also acts as a factor that lowers the update success rate from the FL client, causing a problem in the update performance of the entire integrated model.

이와 달리 본 발명의 일 실시예는, 전술한 문제를 해결하기 위하여 FL 자원 관리장치(300)를 추가적으로 도입하는 것을 특징으로 한다. Unlike this, one embodiment of the present invention is characterized in that the FL resource management device 300 is additionally introduced to solve the above problem.

본 발명의 일 실시예에서 FL 자원 관리장치(300)는 일종의 자원 관리 도구로서, 등록되어 있는 다양한 자원들 중 FL 클라이언트(100)의 역할을 수행할 수 있는 자원, 즉 실제 해당 연합학습 서비스가 운용되고 있으며 충분한 가용 자원을 가지고 있는 경우만을 FL 클라이언트(100)로 선정함으로써, 자원의 효율적 운용 및 FL 프로세스의 효율성을 제고할 수 있다.In one embodiment of the present invention, the FL resource management device 300 is a kind of resource management tool, and among various registered resources, resources that can play the role of the FL client 100, that is, the corresponding federated learning service actually operates. It is possible to improve the efficient management of resources and the efficiency of the FL process by selecting as the FL client 100 only when there are sufficient available resources.

이하에서는 도 2 내지 도 3을 참조하여 본 발명의 일 실시예에 따른 연합학습 수행 및 관리 시스템(1)에 대해 설명하도록 한다.Hereinafter, a federated learning performance and management system 1 according to an embodiment of the present invention will be described with reference to FIGS. 2 and 3.

도 2는 본 발명의 일 실시예에 따른 연합학습 수행 및 관리 시스템(1)을 설명하기 위한 도면이다. 도 3은 본 발명의 일 실시예에 따른 연합학습 수행 및 관리 시스템(1)의 블록도이다.2 is a diagram for explaining a federated learning execution and management system 1 according to an embodiment of the present invention. 3 is a block diagram of a combined learning execution and management system 1 according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 연합학습 수행 및 관리 시스템(1)은 복수의 FL 클라이언트(100), FL 서버(200) 및 FL 자원 관리장치(300)를 포함한다.Referring to FIG. 2, the federated learning performance and management system 1 according to an embodiment of the present invention includes a plurality of FL clients 100, an FL server 200, and an FL resource management device 300.

FL 클라이언트(100)는 FL 자원 관리장치(300)에 의해 선정된 적어도 하나가 운용되며, 선정된 FL 클라이언트(100)는 연합학습을 수행하여 기초모델을 갱신한다. 즉, 본 발명의 일 실시예는 등록된 모든 FL 클라이언트(100)가 운용되는 것이 아니라, FL 클라이언트(100)의 컴퓨팅 자원 상태에 기반하여, 운용 가능한 상태의 FL 클라이언트(100)를 선별적으로 선택 및 운용하는 것을 특징으로 한다.At least one FL client 100 selected by the FL resource management device 300 is operated, and the selected FL client 100 performs federated learning to update a basic model. That is, in one embodiment of the present invention, not all registered FL clients 100 are operated, but based on the state of computing resources of the FL clients 100, FL clients 100 in an operable state are selectively selected. and operating.

FL 서버(200)는 FL 클라이언트(100)로부터 갱신된 갱신모델을 기 설정된 개수 이상 수신함에 따라, 갱신모델을 취합하여 통합모델로 갱신한 후 복수의 FL 클라이언트(100)로의 통합모델 배포를 FL 자원 관리장치(300)로 요청한다.As the FL server 200 receives a predetermined number or more of the renewed models from the FL clients 100, the FL resources are collected and updated as an integrated model, and then the integrated model is distributed to a plurality of FL clients 100 as FL resources. A request is made to the management device 300.

FL 자원 관리장치(300)는 FL 서버(200)로부터 복수의 FL 클라이언트(100)의 운용을 위한 요청 정보를 수신하면, 요청정보에 기초하여 복수의 FL 클라이언트(100) 중 운용할 하나 이상의 FL 클라이언트(100)를 선정하여 기초모델 정보 및 학습도구 정보를 배포한다.When the FL resource management device 300 receives request information for operation of a plurality of FL clients 100 from the FL server 200, one or more FL clients to be operated among the plurality of FL clients 100 based on the request information. (100) is selected to distribute basic model information and learning tool information.

이때, FL 자원 관리장치(300)는 복수의 FL 클라이언트(100)의 컴퓨팅 자원 정보, 연관 서비스 운용 정보 및 로컬 데이터 수집 여부 정보 중 하나 이상에 기초하여 하나 이상의 FL 클라이언트(100)를 선정할 수 있다.At this time, the FL resource management device 300 may select one or more FL clients 100 based on one or more of computing resource information, related service operation information, and local data collection information of the plurality of FL clients 100. .

한편, 본 발명의 일 실시예에서 FL 클라이언트(100), FL 서버(300) 및 FL 자원 관리장치(300)는 도 3과 같이 통신모듈(410), 메모리(420) 및 상기 메모리(420)에 저장된 프로그램을 실행시키는 프로세서(430)를 포함하도록 구성될 수 있다.On the other hand, in one embodiment of the present invention, the FL client 100, the FL server 300 and the FL resource management device 300 are connected to the communication module 410, the memory 420 and the memory 420 as shown in FIG. It may be configured to include a processor 430 that executes the stored program.

통신 모듈(410)은 무선 통신 모듈로 구성됨이 바람직하나 이는 유선 통신 모듈을 배제하는 것은 아니다. 무선 통신 모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다. 또한, 유선 통신 모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. The communication module 410 is preferably composed of a wireless communication module, but this does not exclude a wired communication module. The wireless communication module may be implemented with wireless LAN (WLAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60 GHz WPAN, Binary-CDMA, wireless USB technology, wireless HDMI technology, and the like. In addition, the wired communication module may be implemented as a power line communication device, a telephone line communication device, cable home (MoCA), Ethernet, IEEE1294, an integrated wired home network, and an RS-485 control device.

메모리(420)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다. 예를 들어, 메모리(420)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.The memory 420 collectively refers to a non-volatile storage device and a volatile storage device that continuously retain stored information even when power is not supplied. For example, the memory 420 may include a compact flash (CF) card, a secure digital (SD) card, a memory stick, a solid-state drive (SSD), and a micro SD card. NAND flash memory such as cards, magnetic computer storage devices such as hard disk drives (HDD), and optical disc drives such as CD-ROMs and DVD-ROMs. can

참고로, 본 발명의 실시예서 설명한 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.For reference, the components described in the embodiments of the present invention may be implemented in the form of software or hardware such as a Field Programmable Gate Array (FPGA) or Application Specific Integrated Circuit (ASIC), and may perform predetermined roles.

그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.However, 'components' are not meant to be limited to software or hardware, and each component may be configured to be in an addressable storage medium or configured to reproduce one or more processors.

따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.Thus, as an example, a component includes components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, sub routines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables.

구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.Components and the functionality provided within them may be combined into fewer components or further separated into additional components.

이하에서는 도 4를 참조하여 FL 자원 관리장치(300)에 의해 수행되는 연합학습 프로세스 자원 효율화 방법에 대하여 설명하도록 한다.Hereinafter, with reference to FIG. 4, a method for improving resource efficiency in the combined learning process performed by the FL resource management device 300 will be described.

도 4는 본 발명의 일 실시예에 따른 연합학습 프로세스방법의 순서도이다.4 is a flowchart of a federated learning process method according to an embodiment of the present invention.

먼저, FL 자원 관리장치(300)는 FL 서버(200)로부터 FL 클라이언트(100)의 운용을 위한 요청 정보를 수신한다(S110).First, the FL resource management device 300 receives request information for operation of the FL client 100 from the FL server 200 (S110).

이때, 본 발명의 일 실시예는 FL 클라이언트(100)의 선정을 위하여 FL 자원 관리장치(300)는 관리하고자 하는 복수의 FL 클라이언트(100)의 자원을 등록하는 과정을 수행할 수 있다. 즉, 등록되지 않은 FL 클라이언트(100)에 대해서는 별도의 등록 절차가 수행되지 않는 한 본 발명의 일 실시예에서 자원으로 활용이 불가하다.At this time, in one embodiment of the present invention, in order to select the FL client 100, the FL resource management device 300 may perform a process of registering resources of a plurality of FL clients 100 to be managed. That is, the unregistered FL client 100 cannot be used as a resource in one embodiment of the present invention unless a separate registration procedure is performed.

일 실시예로, FL 서버(200)는 상기 요청 정보로 복수의 FL 클라이언트(100)에 대한 컴퓨팅 요구사항 정보, 기초 모델 정보 및 학습 도구 정보 중 하나 이상을 포함하여 FL 자원 관리장치(300)로 전달할 수 있다.In one embodiment, the FL server 200 includes one or more of computing requirement information, basic model information, and learning tool information for a plurality of FL clients 100 as the request information to the FL resource management device 300. can be conveyed

다음으로, FL 자원 관리장치(300)는 상기 요청 정보에 기초하여 복수의 FL 클라이언트(100) 중 운용할 하나 이상의 FL 클라이언트(100)를 선정한다(S120).Next, the FL resource management device 300 selects one or more FL clients 100 to be operated from among the plurality of FL clients 100 based on the request information (S120).

일 실시예로, FL 자원 관리장치(300)는 FL 클라이언트(100)의 컴퓨팅 자원 정보, 연관서비스 운용 정보 및 로컬 데이터 수집 여부 정보 중 하나 이상에 기초하여 복수의 FL 클라이언트(100) 중 하나 이상의 FL 클라이언트(100)를 선정할 수 있다.In one embodiment, the FL resource management device 300 is based on one or more of computing resource information, related service operation information, and local data collection information of the FL client 100, one or more FL of the plurality of FL clients 100 A client 100 may be selected.

일 예로, FL 자원 관리장치(300)는 연관 서비스 운용 정보에 기초하여 복수의 FL 클라이언트(100) 중 연관 서비스가 운용되고 있는 FL 클라이언트(100)를 1차 선정할 수 있다.For example, the FL resource management device 300 may primarily select an FL client 100 operating a related service among a plurality of FL clients 100 based on related service operation information.

그 다음 FL 자원 관리장치(300)는 1차 선정된 FL 클라이언트(100) 중 컴퓨팅 자원 정보에 기초하여 가용한 FL 클라이언트(100)를 최종 선정할 수 있다.Then, the FL resource management device 300 may finally select an available FL client 100 from among the primarily selected FL clients 100 based on computing resource information.

예를 들어, 이미지 분류(Image Classification) 서비스를 연합학습을 통해 개선하고자 할 경우, FL 자원 관리장치(300)는 이미 이미지 분류 서비스를 수행할 수 있는 프로그램이 설치되어 있는 FL 클라이언트(100)를 먼저 선정한다. 그리고 선정된 FL 클라이언트(100)들로부터 충분한 가용 자원이 있는지 여부를 판단하여, 해당 조건을 만족하는 FL 클라이언트(100)를 다시 선정하게 된다. 이때, 전술한 과정은 Kubernetes 등의 도구로부터 특정 어플리케이션이 실행되고 있는 Pod를 검색하는 과정으로도 수행될 수 있다.For example, when trying to improve the image classification service through federated learning, the FL resource management device 300 first installs the FL client 100 in which a program capable of performing the image classification service is already installed. select Then, it is determined whether sufficient available resources are available from the selected FL clients 100, and the FL clients 100 that satisfy the corresponding conditions are selected again. At this time, the above-described process can also be performed as a process of searching for a Pod running a specific application from a tool such as Kubernetes.

다음으로, FL 자원 관리장치(300)는 선정된 FL 클라이언트(100)로 기초모델 및 학습도구를 배포한다(S130).Next, the FL resource management device 300 distributes the basic model and learning tool to the selected FL client 100 (S130).

이와 같이 선정된 FL 클라이언트(100)만이 연합학습을 위한 소프트웨어가 설치 및 실행된다.Only the FL client 100 selected in this way installs and executes software for federated learning.

이후, 선정된 FL 클라이언트(100)는 학습을 위한 환경이 충족될 경우, 학습도구를 기반으로 기초모델을 갱신하고, 기초모델의 갱신이 완료됨에 따라 FL 서버(200)로 갱신모델을 전송한다.Thereafter, the selected FL client 100 updates the basic model based on the learning tool when the environment for learning is satisfied, and transmits the updated model to the FL server 200 when the updating of the basic model is completed.

FL 서버(200)는 복수의 FL 클라이언트(100)로부터 기 설정된 개수 이상의 갱신모델을 수신함에 따라, FL 서버(200)에 저장된 기초모델을 통합모델로 갱신한다.The FL server 200 updates the basic model stored in the FL server 200 into an integrated model as it receives updated models equal to or greater than a predetermined number from the plurality of FL clients 100 .

다음으로, FL 서버(200)가 갱신모델을 기반으로 통합모델을 생성함에 따라, FL 서버(200)는 FL 자원 관리장치(300)로 통합모델의 배포를 요청한다 (S140).Next, as the FL server 200 creates an integrated model based on the updated model, the FL server 200 requests distribution of the integrated model to the FL resource management device 300 (S140).

예를 들어, 이미지 분류 서비스를 운용하고 있는 FL 클라이언트(100)가 있고, 해당 FL 클라이언트(100)에서 사용하는 모델이 연합학습을 통해 갱신된 경우, FL 서버(200)는 갱신된 모델을 수집하여 통합모델로 갱신한 후, 통합모델의 배포를 FL 자원 관리장치(300)로 요청할 수 있다. 이때, 이 과정은 kubernetes 등의 도구로부터 특정 어플리케이션이실행되고 있는 Pod를 검색하거나, 또는 별도의 CRD(Custom Resource Definition)를 정의함으로써 구현될 수 있다.For example, if there is an FL client 100 operating an image classification service and a model used by the FL client 100 is updated through federated learning, the FL server 200 collects the updated model and After updating to the integrated model, it is possible to request distribution of the integrated model to the FL resource management device 300 . At this time, this process can be implemented by searching for a Pod running a specific application from a tool such as kubernetes, or by defining a separate CRD (Custom Resource Definition).

FL 서버(200)는 통합모델이 FL 클라이언트(100)로의 배포가 완료되면 다시 전술한 과정을 반복하여 FL 클라이언트(100)의 운용을 위한 요청 정보를 FL 자원 관리장치(300)로 전달하게 된다.When the distribution of the integrated model to the FL client 100 is completed, the FL server 200 repeats the above-described process to deliver request information for operation of the FL client 100 to the FL resource management device 300.

한편, 상술한 설명에서, 단계 S110 내지 S140은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 전술한 도 2 내지 도 3에서의 내용은 도 4의 연합학습 프로세스 자원 효율화 방법에도 적용될 수 있다.Meanwhile, in the above description, steps S110 to S140 may be further divided into additional steps or combined into fewer steps according to an embodiment of the present invention. Also, some steps may be omitted if necessary, and the order of steps may be changed. In addition, even if other omitted contents, the contents of FIGS. 2 to 3 described above can be applied to the method of improving resource efficiency in the federated learning process of FIG. 4 .

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. An embodiment of the present invention may be implemented in the form of a computer program stored in a medium executed by a computer or a recording medium including instructions executable by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer readable media may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism, and includes any information delivery media.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.Although the methods and systems of the present invention have been described with reference to specific embodiments, some or all of their components or operations may be implemented using a computer system having a general-purpose hardware architecture.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustrative purposes, and those skilled in the art can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the detailed description above, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be construed as being included in the scope of the present invention. do.

100: FL 클라이언트
200: AI/ML 모델 저장소
200: FL 서버
300: FL 자원 관리장치
410: 통신모듈,
420: 메모리
430: 프로세서
100: FL client
200: AI/ML model repository
200: FL server
300: FL resource management device
410: communication module,
420: memory
430: processor

Claims (12)

연합학습(Federated Learning, FL) 자원 관리장치에 의해 수행되는 방법에 있어서,
FL 서버로부터 복수의 FL 클라이언트의 운용을 위한 요청 정보를 수신하는 단계;
상기 요청 정보에 기초하여 상기 복수의 FL 클라이언트 중 운용할 하나 이상의 FL 클라이언트를 선정하는 단계;
상기 선정된 FL 클라이언트로 기초모델 및 학습도구를 배포하는 단계; 및
상기 FL 서버가 갱신모델을 기반으로 통합모델을 생성함에 따라, 상기 FL 서버로부터 상기 통합모델의 배포 요청을 수신하는 단계를 포함하되,
상기 복수의 FL 클라이언트 중 운용할 하나 이상의 FL 클라이언트를 선정하는 단계는,
상기 복수의 FL 클라이언트의 컴퓨팅 자원 정보, 연관 서비스 운용 정보 및 로컬 데이터 수집 여부 정보에 기초하여 하나 이상의 FL 클라이언트를 선정하되, 상기 컴퓨팅 자원 정보, 연관 서비스 운용 정보 및 로컬 데이터 수집 여부 정보를 소정의 순서에 따라 순차적으로 적용하여 상기 하나 이상의 FL 클라이언트를 선정하는 것인 연합학습 프로세스 자원 효율화 방법.
In the method performed by the Federated Learning (FL) resource management device,
Receiving request information for operation of a plurality of FL clients from the FL server;
selecting one or more FL clients to be operated from among the plurality of FL clients based on the request information;
distributing the basic model and learning tool to the selected FL client; and
Receiving a distribution request of the integrated model from the FL server as the FL server generates the integrated model based on the updated model,
The step of selecting one or more FL clients to operate among the plurality of FL clients,
Select one or more FL clients based on the computing resource information of the plurality of FL clients, related service operation information, and local data collection availability information, and select the computing resource information, related service operation information, and local data collection availability information in a predetermined order. Federated learning process resource efficiency method of selecting the one or more FL clients by sequentially applying according to.
제1항에 있어서,
상기 FL 서버로부터 복수의 FL 클라이언트의 운용을 위한 요청 정보를 수신하는 단계는,
상기 요청 정보로 상기 복수의 FL 클라이언트에 대한 컴퓨팅 요구사항 정보, 기초 모델 정보 및 학습 도구 정보 중 하나 이상을 포함하여 전달하는 것인 연합학습 프로세스 자원 효율화 방법.
According to claim 1,
Receiving request information for operation of a plurality of FL clients from the FL server,
The combined learning process resource efficiency method of transmitting including at least one of computing requirement information, basic model information, and learning tool information for the plurality of FL clients as the request information.
제1항에 있어서,
상기 복수의 FL 클라이언트 중 운용할 하나 이상의 FL 클라이언트를 선정하는 단계는,
상기 연관 서비스 운용 정보에 기초하여 상기 복수의 FL 클라이언트 중 연관 서비스가 운용되고 있는 FL 클라이언트를 1차 선정하는 단계를 포함하는 연합학습 프로세스 자원 효율화 방법.
According to claim 1,
The step of selecting one or more FL clients to operate among the plurality of FL clients,
A method for improving resource efficiency in a federated learning process comprising the step of first selecting an FL client in which a related service is operated from among the plurality of FL clients based on the related service operation information.
제3항에 있어서,
상기 복수의 FL 클라이언트 중 운용할 하나 이상의 FL 클라이언트를 선정하는 단계는,
상기 1차 선정된 FL 클라이언트 중 상기 컴퓨팅 자원 정보에 기초하여 가용한 FL 클라이언트를 최종 선정하는 단계를 포함하는 연합학습 프로세스 자원 효율화 방법.
According to claim 3,
The step of selecting one or more FL clients to operate among the plurality of FL clients,
A federated learning process resource efficiency method comprising the step of finally selecting an available FL client based on the computing resource information among the primarily selected FL clients.
제1항에 있어서,
상기 선정된 FL 클라이언트만을 대상으로 연합학습을 위한 소프트웨어가 설치 및 실행되는 것인 연합학습 프로세스 자원 효율화 방법.
According to claim 1,
A method for improving resource efficiency in a federated learning process in which software for federated learning is installed and executed only for the selected FL clients.
제1항에 있어서,
상기 선정된 FL 클라이언트는 상기 학습도구를 기반으로 상기 기초모델을 갱신하고, 상기 기초모델의 갱신이 완료됨에 따라 상기 FL 서버로 상기 갱신모델을 전송하는 것인 연합학습 프로세스 자원 효율화 방법.
According to claim 1,
Wherein the selected FL client updates the basic model based on the learning tool, and transmits the updated model to the FL server when the updating of the basic model is completed.
제6항에 있어서,
상기 FL 서버는 기 설정된 개수 이상의 상기 갱신모델을 복수의 FL 클라이언트로부터 수신함에 따라 FL 서버에 저장된 상기 기초모델을 통합모델로 갱신하고, 상기 FL 자원 관리장치로 상기 복수의 FL 클라이언트로의 상기 통합모델의 배포를 요청하는 것인 연합학습 프로세스 자원 효율화 방법.
According to claim 6,
The FL server updates the basic model stored in the FL server into an integrated model as it receives the updated model equal to or greater than a predetermined number from the plurality of FL clients, and the FL resource management device transfers the integrated model to the plurality of FL clients. A method of resource efficiency in the federated learning process, which is to request the distribution of.
제1항에 있어서,
상기 FL 클라이언트의 관리를 위하여 상기 복수의 FL 클라이언트를 등록하는 단계를 더 포함하는 연합학습 프로세스 자원 효율화 방법.
According to claim 1,
The federated learning process resource efficiency method further comprising registering the plurality of FL clients for management of the FL clients.
연합학습(Federated Learning, FL) 자원 관리를 위한 장치에 있어서,
FL 서버 및 복수의 FL 클라이언트에 데이터를 송수신하는 통신모듈,
상기 복수의 FL 클라이언트의 자원 관리를 위한 프로그램이 저장된 메모리 및
상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 통신모듈을 통해 FL 서버로부터 복수의 FL 클라이언트의 운용을 위한 요청 정보를 수신하면, 상기 요청정보에 기초하여 상기 복수의 FL 클라이언트 중 운용할 하나 이상의 FL 클라이언트를 선정하여 기초모델 정보 및 학습도구 정보를 배포하고,
상기 프로세서는 상기 복수의 FL 클라이언트의 컴퓨팅 자원 정보, 연관 서비스 운용 정보 및 로컬 데이터 수집 여부 정보에 기초하여 하나 이상의 FL 클라이언트를 선정하되, 상기 컴퓨팅 자원 정보, 연관 서비스 운용 정보 및 로컬 데이터 수집 여부 정보를 소정의 순서에 따라 순차적으로 적용하여 상기 하나 이상의 FL 클라이언트를 선정하는 것인는 것인 연합학습 자원 관리 장치.
In the device for Federated Learning (FL) resource management,
A communication module for transmitting and receiving data to and from the FL server and a plurality of FL clients;
A memory in which a program for resource management of the plurality of FL clients is stored; and
Including a processor that executes the program stored in the memory,
When the processor executes the program and receives request information for operation of a plurality of FL clients from the FL server through the communication module, one or more FL clients to be operated from among the plurality of FL clients based on the request information. Select a client to distribute basic model information and learning tool information,
The processor selects one or more FL clients based on the computing resource information of the plurality of FL clients, related service operation information, and local data collection availability information, the computing resource information, related service operation information, and local data collection availability information. A combined learning resource management device that selects the one or more FL clients by sequentially applying them in a predetermined order.
연합학습(Federated Learning, FL) 수행 및 관리를 위한 시스템에 있어서,
선정된 적어도 하나가 운용되어 연합학습을 수행하여 기초모델을 갱신하는 복수의 FL 클라이언트,
상기 갱신된 갱신모델을 기 설정된 개수 이상 수신함에 따라 통합모델로 갱신하여 상기 복수의 FL 클라이언트로의 상기 통합모델 배포를 요청하는 FL 서버 및
상기 FL 서버로부터 복수의 FL 클라이언트의 운용을 위한 요청 정보를 수신하면, 상기 요청정보에 기초하여 상기 복수의 FL 클라이언트 중 운용할 하나 이상의 FL 클라이언트를 선정하여 기초모델 정보 및 학습도구 정보를 배포하며, 상기 FL 서버의 요청에 따라 통합모델을 상기 FL 클라이언트로 배포하는 FL 자원 관리 장치를 포함하되,
상기 FL 자원 관리 장치는 상기 복수의 FL 클라이언트의 컴퓨팅 자원 정보, 연관 서비스 운용 정보 및 로컬 데이터 수집 여부 정보에 기초하여 하나 이상의 FL 클라이언트를 선정하되, 상기 컴퓨팅 자원 정보, 연관 서비스 운용 정보 및 로컬 데이터 수집 여부 정보를 소정의 순서에 따라 순차적으로 적용하여 상기 하나 이상의 FL 클라이언트를 선정하는 것인 연합학습 수행 및 관리 시스템.
In the system for performing and managing Federated Learning (FL),
A plurality of FL clients in which at least one selected is operated to perform federated learning to update the basic model;
An FL server requesting distribution of the integrated model to the plurality of FL clients by updating the updated updated model to an integrated model upon receiving a predetermined number or more; and
When request information for operation of a plurality of FL clients is received from the FL server, one or more FL clients to be operated are selected based on the request information to distribute basic model information and learning tool information; Including an FL resource management device for distributing an integrated model to the FL client at the request of the FL server,
The FL resource management device selects one or more FL clients based on the computing resource information, related service operation information, and local data collection information of the plurality of FL clients, and collects the computing resource information, related service operation information, and local data. A federated learning execution and management system that selects the one or more FL clients by sequentially applying whether or not information in a predetermined order.
삭제delete 삭제delete
KR1020200039363A 2020-03-31 2020-03-31 Apparatus and system for managing federated learning resource, and resource efficiency method thereof KR102567565B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200039363A KR102567565B1 (en) 2020-03-31 2020-03-31 Apparatus and system for managing federated learning resource, and resource efficiency method thereof
PCT/KR2020/017156 WO2021201370A1 (en) 2020-03-31 2020-11-27 Federated learning resource management apparatus and system, and resource efficiency method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200039363A KR102567565B1 (en) 2020-03-31 2020-03-31 Apparatus and system for managing federated learning resource, and resource efficiency method thereof

Publications (2)

Publication Number Publication Date
KR20210121915A KR20210121915A (en) 2021-10-08
KR102567565B1 true KR102567565B1 (en) 2023-08-21

Family

ID=77929609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200039363A KR102567565B1 (en) 2020-03-31 2020-03-31 Apparatus and system for managing federated learning resource, and resource efficiency method thereof

Country Status (2)

Country Link
KR (1) KR102567565B1 (en)
WO (1) WO2021201370A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230105472A (en) 2022-01-04 2023-07-11 숭실대학교산학협력단 Federated learning system using Local Groups and method of controlling the same
KR20230126908A (en) 2022-02-24 2023-08-31 명지대학교 산학협력단 Efficient distributed clustering method and system for large-scale federated learning
KR102573880B1 (en) 2022-07-21 2023-09-06 고려대학교 산학협력단 Federated learning system and federated learning method based on multi-width artificial neural network
KR20240017623A (en) 2022-08-01 2024-02-08 이화여자대학교 산학협력단 Decentralized federated learning system and federated learning method
KR102523699B1 (en) * 2022-12-16 2023-04-21 (주)임픽스 Federated learning system for manufacturing environment

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11138517B2 (en) * 2017-08-11 2021-10-05 Google Llc On-device machine learning platform
KR20190096872A (en) * 2019-07-31 2019-08-20 엘지전자 주식회사 Method and apparatus for recognizing handwritten characters using federated learning
CN110598870B (en) * 2019-09-02 2024-04-30 深圳前海微众银行股份有限公司 Federal learning method and device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Sawsan AbdulRahman et al. "FedMCCS: Multicriteria Client Selection Model for Optimal IoT Federated Learning" IEEE INTERNET OF THINGS JOURNAL, VOL. 8, NO. 6, 2021.03.15.

Also Published As

Publication number Publication date
KR20210121915A (en) 2021-10-08
WO2021201370A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
KR102567565B1 (en) Apparatus and system for managing federated learning resource, and resource efficiency method thereof
US10496503B2 (en) Healing cloud services during upgrades
KR102273413B1 (en) Dynamic scheduling of network updates
US9276959B2 (en) Client-configurable security options for data streams
US9858322B2 (en) Data stream ingestion and persistence techniques
US9794135B2 (en) Managed service for acquisition, storage and consumption of large-scale data streams
US9330161B2 (en) Creating global aggregated namespaces for storage management
US20120150930A1 (en) Cloud storage and method for managing the same
US10574734B2 (en) Dynamic data and compute management
US20230205603A1 (en) Communications Framework for Multi-Cluster Management Systems
CN109379448B (en) File distributed deployment method and device, electronic equipment and storage medium
US20130205128A1 (en) Self-Updating Functionality in a Distributed System
US9641598B1 (en) Contextually unique identifier generation service
US20120179778A1 (en) Applying networking protocols to image file management
CN103607428A (en) Method of accessing shared memory and apparatus thereof
CN104850416A (en) Upgrading system, method and device and cloud computing node
CN112463290A (en) Method, system, apparatus and storage medium for dynamically adjusting the number of computing containers
CN116680040A (en) Container processing method, device, equipment, storage medium and program product
CN104951855A (en) Apparatus and method for improving resource management
US11290396B1 (en) Dynamic determination of parity packets for data transmissions
US10379780B2 (en) Statistics management for scale-out storage
CN116724543A (en) Container cluster management method and device
US11138035B1 (en) Messaging between device groups using a logical group address in an access network
CN108604231A (en) Mirror processing method and computing device
KR102310515B1 (en) Container-based Management Method for Intelligent Components

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right