KR102413116B1 - 인공 신경망의 계층 특성에 기반한 연합 학습 방법 - Google Patents

Abstract

인공 신경망의 계층 특성을 고려한 연합 학습 방법이 개시된다. 개시된 연합 학습 방법은 미리 설정된 개수의 라운드별로, 채널 상태를 이용하여, 연합 학습에 참여하는 학습 단말을 결정하는 단계; 상기 라운드별로, 상기 학습 단말 중에서, 로컬 학습 모델의 제1학습 파라미터를 전송할 단말을 지정하는 단계; 및 상기 라운드 각각에서 상기 학습 단말로부터, 로컬 학습 모델의 제1학습 파라미터 및 상기 로컬 학습 모델 중 얕은 계층의 제2학습 파라미터를 수신하는 단계를 포함하며, 현재 라운드까지의 상기 학습 단말의 개수에 대한 상기 제1학습 파라미터의 제1평균 전송 횟수는, 상기 제2학습 파라미터의 제2평균 전송 횟수 이하이다.

Description

인공 신경망의 계층 특성에 기반한 연합 학습 방법{FEDERATED LEARNING METHOD BASED ON LAYER CHARACTERISTIC OF ARTIFICIAL NEURAL NETWORK}

본 발명은 연합 학습 방법에 관한 발명으로서, 더욱 상세하게는 인공 신경망의 계층 특성을 고려한 연합 학습 방법에 관한 것이다.

연합 학습(federated learning) 기술은 중앙 서버와 분산적 기기들에 공통의 학습 모델을 마련해놓고, 분산적 기기들이 각자의 로컬 데이터를 활용하여 자신의 로컬 학습 모델을 각자 학습하는 기술이다. 이후 분산적 기기들이 중앙 서버로 데이터를 직접적으로 전송하는 대신에 로컬 학습 모델을 전송하면, 중앙 서버가 분산적 기기들로부터 전송 받은 로컬 학습 모델들을 취합하여 글로벌 학습 모델을 업데이트한다. 이 같은 과정을 통해, 훈련 데이터를 직접적으로 전송하지 않고, 학습 모델의 학습 파라미터 정보만을 전송하여 학습이 이루어짐으로써, 통신 비용 및 개인정보보호 문제를 해결하면서도, 각 분산적 기기에서 획득하는 데이터를 모두 활용하여 학습을 진행한 것과 유사한 효과를 기대할 수 있다.

연합 학습은 미리 설정된 개수의 라운드 별로 진행되며, 라운드 별로 연합 학습에 참여할 단말이 선택된다. 연합 학습에 참여하는 단말은 서버부터 전송된 로컬 학습 모델을 학습하고, 라운드 별로 로컬 학습 모델의 학습 파라미터를 서버로 전송한다. 여기서, 학습 파라미터는, 가중치, 그래디언트 등 학습을 통해 획득된 파라미터를 포함한다.

이러한 연합 학습 기술을 구현하기 위해, 하나의 액세스 포인트(access point, AP)와 다수의 단말로 이루어진, 무선 네트워크가 일반적으로 많이 고려되고 있다. 구체적으로 각 단말에서 학습된 로컬 학습 모델을 액세스 포인트에서 취합하는 형태로 연합 학습이 구현될 수 있다. 하지만 무선 네트워크에서 연합 학습 기술을 구현하게 되면, 무선 자원의 부족으로 인해서 모든 단말이 동시에 자신의 학습 모델을 액세스 포인트로 전송하기 어려운 문제가 있다. 이 같은 문제를 해결하기 위해, 무선 네트워크에서 연합 학습에 참여할 단말을 선택하고, 선택된 단말에 대한 무선 자원할당이 이루어져야 한다.

관련 선행문헌으로 특허 문헌인 대한민국 공개특허 제2021-0132500호, 제2021-0121915호, 대한민국 등록특허 제10-2197247호가 있다.

본 발명은 한정된 무선 자원 환경에서, 연합 학습에 참여할 단말의 선정과 무선 자원 할당을 효과적으로 수행할 수 있는 연합 학습 방법을 제공하기 위한 것이다.

또한 본 발명은 보다 높은 학습 효율을 제공하는 연합 학습 방법을 제공하기 위한 것이다.

상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 미리 설정된 개수의 라운드별로, 채널 상태를 이용하여, 연합 학습에 참여하는 학습 단말을 결정하는 단계; 상기 라운드별로, 상기 학습 단말 중에서, 로컬 학습 모델의 제1학습 파라미터를 전송할 단말을 지정하는 단계; 및 상기 라운드 각각에서 상기 학습 단말로부터, 로컬 학습 모델의 제1학습 파라미터 및 상기 로컬 학습 모델 중 얕은 계층의 제2학습 파라미터를 수신하는 단계를 포함하며, 현재 라운드까지의 상기 학습 단말의 개수에 대한 상기 제1학습 파라미터의 제1평균 전송 횟수는, 상기 제2학습 파라미터의 제2평균 전송 횟수 이하인, 인공 신경망의 계층 특성에 기반한 연합 학습 방법이 제공된다.

또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 액세스 포인트로부터 로컬 학습 모델을 수신하는 단계; 상기 로컬 학습 모델에 대한 학습을 수행하는 단계; 및 상기 로컬 학습 모델의 제1학습 파라미터 및 상기 로컬 학습 모델 중 얕은 계층의 제2학습 파라미터 중 적어도 하나를 상기 액세스 포인트로 전송하는 단계를 포함하며, 상기 제1학습 파라미터의 전송 횟수는 상기 제2학습 파라미터의 전송 횟수 이하인 인공 신경망의 계층 특성에 기반한 연합 학습 방법이 제공된다.

본 발명의 일실시예에 따르면 한정된 무선 자원 환경에서 채널 상태에 따라 학습 단말과 전체 학습 파라미터를 전송할 단말을 선정함으로써, 무선 자원을 효율적으로 이용할 수 있을 뿐만 아니라, 학습 효율을 높일 수 있도록 학습 단말과 전체 학습 파라미터를 전송할 단말이 선정될 수 있다.

도 1은 본 발명의 일실시예에 따른 연합 학습을 수행하는 무선 네트워크를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 인공 신경망의 계층 특성에 기반한 연합 학습 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 인공 신경망의 계층 특성에 기반한 연합 학습 방법을 설명하기 위한 도면이다.
도 4 및 도 5는 본 발명의 일실시예에 따른 연합 학습 방법의 성능을 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 연합 학습을 수행하는 무선 네트워크를 설명하기 위한 도면으로서, 이러한 무선 네트워크는 이동통신 네트워크, 무선랜 네트워크, 사물 인터넷 네트워크 등 액세스 포인트와 단말을 포함하는 모든 무선 네트워크를 포함한다. 도 1에서는 일실시예로서, 액세스 포인트(110) 및 3개의 단말(121 내지 123)이 포함된 사물 인터넷 네트워크가 일실시예로서 설명된다.

본 발명의 일실시예에 따른 액세스 포인트(110)는 네트워크에 포함된 단말(121 내지 123) 중에서, 연합 학습에 참여하는 학습 단말을 결정한다. 학습 단말은 채널 상태에 따라 결정되며, 학습 단말에 할당되는 무선 자원이 부족할 경우 단말이 액세스 포인트(110)로 학습 파라미터를 전송하지 못하기 때문에, 액세스 포인트(110)는 무선 자원을 할당하는 스케줄링 과정에서 학습 단말을 결정할 수 있다.

단말(121 내지 123)은 채널 추정을 통해 획득된 채널 정보를 액세스 포인트(110)로 전송하고, 액세스 포인트(110)는 라운드 별로 채널 상태가 양호한 단말을 학습 단말로 결정하고, 해당 학습 단말에 무선 자원을 채널 상태에 따라 할당할 수 있다.

본 발명의 일실시예에 따른 학습 단말은 로컬 데이터를 이용하여, 액세스 포인트로부터 전송된 로컬 학습 모델을 학습한다. 그리고 로컬 학습 모델의 학습 파라미터를 액세스 포인트로 전송하면, 액세스 포인트는 수신된 학습 파라미터를 이용하여 글로벌 학습 모델을 업데이트한다.

한편, 인공 신경망인 로컬 학습 모델은 깊은 계층(deep layer)과 얕은 계층(shallow layer)으로 이루어질 수 있다. 은닉층의 개수가 적은 계층을 얕은 계층이라하며, 은닉층의 개수가 많은 계층을 깊은 계층이라고 한다. 예컨대, 로컬 학습 모델이 CNN(Convolution Neural Network)인 경우, 컨벌루션 레이어는 얕은 계층에 해당하며, 완전 연결 신경망은 깊은 계층에 해당한다.

얕은 계층은 입력 데이터에 대한 일반적인 특징 정보를 추출하는 역할을 수행하며, 일반 계층은 주어진 작업의 중요한 특징 정보를 추출하는 역할을 수행한다. 그리고 입력 계층의 학습 파라미터는 깊은 계층의 학습 파라미터에 비해 그 수가 적다. 이러한 인공 신경망의 계층 특성에 따라, 깊은 계층에 대한 학습 파라미터를 액세스 포인트로 전송하는 횟수보다, 얕은 계층에 대한 학습 파라미터를 액세스 포인트로 전송하는 횟수를 증가시키면, 전체 전송 용량은 줄어들면서도 보다 좋은 학습 효율이 달성될 수 있다.

이러한 점에 착안하여 본 발명의 일실시예는 한정된 무선 자원을 효율적으로 이용하면서, 학습 효과를 높일 수 있는 연합 학습 방법을 제안한다.

본 발명의 일실시예에 따른 액세스 포인트(110)는, 라운드별로 연합 학습에 참여하는 학습 단말을 결정할 뿐만 아니라, 학습 단말 중에서 로컬 학습 모델의 제1학습 파라미터를 전송할 단말을 지정한다. 제1학습 파라미터는 로컬 학습 모델의 깊은 계층 및 얕은 계층의 학습 파라미터를 모두 포함하며, 제1학습 파라미터를 전송할 단말은 채널 상태에 따라 결정될 수 있다. 제1학습 파라미터를 전송할 단말은, 얕은 계층에 대한 학습 파라미터 대비 많은 양의 데이터를 전송해야 하므로, 양호한 채널 상태의 단말이 제1학습 파라미터를 전송할 단말로 지정될 수 있다. 즉, 양호한 채널 상태의 단말이 학습 단말로 선정되고, 학습 단말 중에서 상대적으로 양호한 채널 상태의 단말이 제1학습 파라미터를 전송할 단말로 지정될 수 있다.

본 발명의 일실시예에 따른 학습 단말은 라운드 각각에서 로컬 학습 모델 중 얕은 계층의 제2학습 파라미터를 액세스 포인트로 전송하며, 학습 단말 중 일부는 전술된 바와 같이, 제1학습 파라미터도 액세스 포인트로 전송한다.

예컨대, 도 1의 제1 내지 제3단말(121 내지 123) 중, 제1 내지 제2단말(121, 122)의 채널 상태가 상대적으로 양호하며, 제1 및 제2단말(121, 122) 중 제1단말(121)의 채널 상태가 상대적으로 양호하다면, 제1 및 제2단말(121, 122)이 학습 단말로 선정되고, 제1단말(121)이 제1학습 파라미터를 전송할 단말로 선정될 수 있다.

액세스 포인트(110)는 학습 단말 및 제1학습 파라미터를 전송할 단말로 선정된 단말에 대해 무선 자원을 할당하고, 선정 내용을 선정된 단말로 통지한다. 그리고 선정된 단말부터 학습 파라미터를 수신한다.

결국 본 발명의 일실시예에 따르면 한정된 무선 자원 환경에서 채널 상태에 따라 학습 단말과 전체 학습 파라미터를 전송할 단말을 선정함으로써, 무선 자원을 효율적으로 이용할 수 있을 뿐만 아니라, 학습 효율을 높일 수 있도록 학습 단말과 전체 학습 파라미터를 전송할 단말이 선정될 수 있다.

도 2는 본 발명의 일실시예에 따른 인공 신경망의 계층 특성에 기반한 연합 학습 방법을 설명하기 위한 도면으로서, 도 2에서는 액세스 포인트에서 수행되는 연합 학습 방법이 일실시예로서 설명된다.

본 발명의 일실시예에 따른 액세스 포인트는 미리 설정된 개수의 라운드별로, 채널 상태를 이용하여, 연합 학습에 참여하는 학습 단말을 결정(S210)한다. 그리고 라운드별로, 학습 단말 중에서, 로컬 학습 모델의 제1학습 파라미터를 전송할 단말을 지정(S220)하며, 라운드 각각에서 학습 단말로부터, 로컬 학습 모델의 제1학습 파라미터 및 제2학습 파라미터를 수신(S230)한다. 학습 단말은 제2학습 파라미터를 액세스 포인트로 전송하며, 학습 단말 중 단계 S220에서 지정된 단말은, 제2학습 파라미터뿐만 아니라 제1학습 파라미터도 액세스 포인트로 전송한다.

이 때, 현재 라운드까지의 학습 단말의 개수에 대한 제1학습 파라미터의 제1평균 전송 횟수는, 제2학습 파라미터의 제2평균 전송 횟수 이하가 될 수 있다. 제1평균 전송 횟수는, 최초 라운드부터 현재 라운드까지 제1학습 파라미터를 전송하도록 지정된 총 단말의 개수와, 총 단말이 제1학습 파라미터를 전송한 총 회수의 비율에 대응되며, 제2평균 전송 횟수는 최초 라운드부터 현재 라운드까지 연합 학습에 참여한 총 학습 단말의 개수와, 총 학습 단말이 제2학습 파라미터를 전송한 총 회수의 비율에 대응된다.

얕은 계층은 로컬 학습 모델의 계층 중, 은닉층의 개수가 미리 설정된 임계 개수 이하인 계층으로서, 임계 개수는 실시예에 따라 조절될 수 있다.

단계 S220에서, 액세스 포인트는 제1평균 전송 횟수에 대한 목표값과 현재 라운드까지의 제1평균 전송 횟수의 차이에 따라서, 다음 라운드에서 제1학습 파라미터를 전송할 단말을 지정할 수 있다. 채널 상태 등에 따라 제1학습 파라미터를 전송하지 못하는 상황이 발생할 수 있으며, 이 경우 기대하는 학습 효율을 달성할 수 없으므로, 액세스 포인트는 다음 라운드에서 제1학습 파라미터를 전송할 단말의 개수를 결정한다.

예컨대 목표값이 10인데, 현재 라운드까지의 제1평균 전송 횟수가 9라면, 다음 라운드에서 제1학습 파라미터를 전송할 단말을 증가시켜 지정할 수 있다. 또는 목표값이 10인데, 현재 라운드까지의 제1평균 수신 횟수가 11라면, 제1학습 파라미터를 전송할 단말을 감소시켜 지정할 수 있다. 이 때, 채널 상태를 고려하여 단말을 지정할 수 있다.

그리고 액세스 포인트는 일실시예로서, 가상 전송 큐를 이용하여, 다음 라운드에서 제1학습 파라미터를 전송할 단말을 지정할 수 있다. 가상 전송 큐는 목표값과, 제1평균 전송 횟수의 차이에 따라, 길이가 늘어나거나 감소하는 큐로서, 제1평균 전송 횟수가 목표값보다 작으면 초기 길이보다 늘어나고 제1평균 전송 횟수가 목표값보다 크면 초기 길이보다 감소할 수 있다. 액세스 포인트는 현재 라운드 종료 이후, 가상 전송 큐의 길이가 초기 길이보다 늘어난 경우, 다음 라운드에서 제1학습 파라미터를 전송할 단말의 개수를 증가시키고, 가상 전송 큐의 길이가 초기 길이보다 감소한 경우, 다음 라운드에서 제1학습 파라미터를 전송할 단말의 개수를 감소시킨다.

[표 1]과 같이, 학습 단말과 제1학습 파라미터를 전송할 단말(지정 단말)의 개수가 결정되고, 제1평균 전송 횟수에 대한 목표값이 2이며, 현재 라운드인 제2라운드에서 1개의 지정 단말만이 제1학습 파라미터를 전송한 경우, 현재 라운드까지의 제1평균 전송 횟수는 1.5이며, 제2평균 전송 횟수는 6이다. 따라서 액세스 포인트는 다음 라운드인 제3라운드에서, 제1학습 파라미터를 전송할 단말의 개수를 3개로 증가시킴으로써, 제1평균 전송 횟수를 목표값까지 증가시킬 수 있다.

	제1라운드(최초)	제2라운드(현재)	제3라운드(다음)
학습 단말	5	7	6
지정 단말	2	2	3

한편, 전술된 목표값은 제2평균 전송 횟수에, 0에서 1사이의 가중치가 곱해진 값 이상으로 결정될 수 있다. 에컨대, 가중치가 0.3이라면, 목표값은 제2평균 전송 횟수의 30% 이상의 값으로 결정될 수 있다. [표 1]에서, 제2평균 전송 횟수는 6이며, 따라서 목표값은 1.8 이상인 2로 결정될 수 있다.그리고 이러한 가중치는 로컬 학습 모델에 따라 결정될 수 있다. 일실시예로서 로컬 학습 모델의 깊은 계층의 학습 파라미터의 개수나, 로컬 학습 모델이 이용되는 태스크에 따라 가중치가 결정될 수 있다. 로컬 학습 모델의 깊은 계층의 파라미터의 개수가 적다면 가중치는 커질 수 있으며, 얕은 계층의 학습 파라미터가 중요한 태스크인 경우, 가중치는 작아질 수 있다.

도 3은 본 발명의 다른 실시예에 따른 인공 신경망의 계층 특성에 기반한 연합 학습 방법을 설명하기 위한 도면으로서, 도 3에서는 학습 단말의 연합 학습 방법이 일실시예로서 설명된다.

도 3을 참조하면 본 발명의 일실시예에 따른 학습 단말은 액세스 포인트로부터 로컬 학습 모델을 수신(S310)하고, 로컬 학습 모델에 대한 학습을 수행(S320)한다. 그리고 로컬 학습 모델의 제1학습 파라미터 및 로컬 학습 모델 중 얕은 계층의 제2학습 파라미터 중 적어도 하나를 액세스 포인트로 전송(S330)한다.

단계 S310에서 학습 모델은 제2학습 파라미터를 디폴트로 전송하고, 액세스 포인트의 요청에 따라, 선택적으로 제1학습 파라미터를 액세스 포인트로 전송할 수 있다. 그리고 제1학습 파라미터의 전송 여부는 채널 상태에 따라서 결정될 수 있다.

도 4 및 도 5는 본 발명의 일실시예에 따른 연합 학습 방법의 성능을 설명하기 위한 도면이다.

도 4 및 도 5는 30개의 무선 단말이 존재하는 네트워크 환경에서 MNIST 손글씨 인식 데이터셋을 훈련 데이터로 이용하여, CNN을 학습시킨 실험에 대한 결과를 나타낸다. 그리고 도 4 및 도 5에서 RR은 라운드 로빈 방식으로 제1학습 파라미터와 제2학습 파라미터가 전송되는 방식에 따른 연합 학습 방법을 나타내며, Max-ch는 최대 채널 이득을 나타내는 단말을 학습 단말로 선택하여 제1학습 파라미터를 전송하는 방식에 따른 연합 학습 방법을 나타낸다. 그리고 Myopic은 목표값 설정없이 제1학습 파라미터와 제2학습 파라미터가 전송되는 방식에 따른 연합 학습 방법을 나타내며, LAFLAS는 본 발명의 일실시예에 따른 연합 학습 방법을 나타낸다.

도 4(a)는 학습 손실, 도 4(b)는 실제 학습된 신경망의 정확도를 나타낸다. 도 4에서 확인할 수 있듯이, 본 발명의 일실시예에 따르면 가장 적은 학습 손실로 가장 빠르게 학습이 이루어진다.

그리고 도 5(a)는 글로벌 학습 모델의 목표 정확도를 만족하는 비율, 도 5(b)는 목표 정확도를 달성화기 위해 요구되는 평균적인 라운드 수를 나타낸다. 도 5에서 확인할 수 있듯이, 본 발명의 일실시예에 따르면 상대적으로 높은 목표 정확도를 만족하며, 보다 적은 라운드 수로 빠르게 학습이 이루어진다.

앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (10)

1. 미리 설정된 개수의 라운드별로, 채널 상태를 이용하여, 연합 학습에 참여하는 학습 단말을 결정하는 단계;
   상기 라운드별로, 상기 학습 단말 중에서, 로컬 학습 모델의 제1학습 파라미터를 전송할 단말을 지정하는 단계; 및
   상기 라운드 각각에서 상기 지정된 학습 단말로부터, 로컬 학습 모델의 제1학습 파라미터를 수신하고, 상기 학습 단말 중에서, 미지정된 학습 단말로부터, 상기 로컬 학습 모델 중 얕은 계층의 제2학습 파라미터를 수신하는 단계를 포함하며,
   현재 라운드까지의 상기 학습 단말의 개수에 대한 상기 제1학습 파라미터의 제1평균 전송 횟수는, 상기 제2학습 파라미터의 제2평균 전송 횟수 이하이며,
   상기 제1학습 파라미터를 전송할 단말을 지정하는 단계는
   상기 제1평균 전송 횟수에 대한 목표값과 상기 현재 라운드까지의 상기 제1평균 전송 횟수의 차이에 따라서, 다음 라운드에서 상기 제1학습 파라미터를 전송할 단말을 지정하는
   인공 신경망의 계층 특성에 기반한 연합 학습 방법.
   
2. 삭제
3. 제 1항에 있어서,
   상기 제1학습 파라미터를 전송할 단말을 지정하는 단계는
   상기 목표값과, 상기 제1평균 전송 횟수의 차이에 따라, 길이가 늘어나거나 감소하는 가상 전송 큐를 이용하여, 상기 다음 라운드에서 상기 제1학습 파라미터를 전송할 단말을 지정하는
   인공 신경망의 계층 특성에 기반한 연합 학습 방법.
   
4. 제 1항에 있어서,
   상기 목표값은
   상기 제2평균 전송 횟수에, 0에서 1사이의 가중치가 곱해진 값 이상의 값인
   인공 신경망의 계층 특성에 기반한 연합 학습 방법.
   
5. 제 4항에 있어서,
   상기 가중치는
   상기 로컬 학습 모델에 따라 결정되는
   인공 신경망의 계층 특성에 기반한 연합 학습 방법.
   
6. 제 1항에 있어서,
   상기 제1학습 파라미터를 전송할 단말을 지정하는 단계는
   상기 채널 상태에 따라서, 상기 제1학습 파라미터를 전송할 단말을 지정하는
   인공 신경망의 계층 특성에 기반한 연합 학습 방법.
   
7. 제 1항에 있어서,
   상기 얕은 계층은
   상기 로컬 학습 모델의 계층 중, 은닉층의 개수가 미리 설정된 임계 개수 이하인 계층인
   인공 신경망의 계층 특성에 기반한 연합 학습 방법.
   
8. 삭제
9. 삭제
10. 삭제

Images