WO2022124449A1

WO2022124449A1 - 유전자 알고리즘을 이용한 경량 인공지능 알고리즘의 하이퍼 파라미터 최적화 방법

Info

Publication number: WO2022124449A1
Application number: PCT/KR2020/018130
Authority: WO
Inventors: 김병수; 황태호; 장영종; 이재학; 전석훈
Original assignee: 한국전자기술연구원
Priority date: 2020-12-10
Filing date: 2020-12-11
Publication date: 2022-06-16
Also published as: KR102428572B1; KR20220082220A

Abstract

유전자 알고리즘을 이용한 경량 인공지능 알고리즘의 하이퍼 파라미터 최적화 방법이 제공된다. 본 발명의 실시예에 따른 인공지능 알고리즘의 파라미터 최적화 방법은, 인공지능 알고리즘의 파라미터가 개체로 정의된 개체 집단을 생성하고, 개체 집단에 대해 유전자 알고리즘을 적용하여 개체들을 진화시키며. 진화된 개체들 중 하나를 선택하여 인공지능 알고리즘의 파라미터를 설정한다. 이에 의해, 유전자 알고리즘을 통해 경량 인공지능 알고리즘에서 사용하는 하이퍼 파라미터의 최적화가 가능하며, 이는 경량 인공지능 알고리즘 모델의 성능향상으로 이어진다.

Description

유전자 알고리즘을 이용한 경량 인공지능 알고리즘의 하이퍼 파라미터 최적화 방법

본 발명은 경량 인공지능 알고리즘 최적화 방법에 관한 것으로, 보다 자세하게는 경량 인공지능 알고리즘의 성능 변화를 가져오는 하이퍼 파라미터들을 최적화하는 방법에 관한 것이다.

최근 딥러닝(Deep Learning) 기반 인공지능 기술이 다양한 분야에서 혁신적인 변화를 일으키고 있으나, 대부분 고사양의 서버 시스템, 대용량 스토리지, 클라우드에 의존적이다.

이러한 한계를 극복하기 위해 경량 디바이스, 모바일 단말 등 엣지 디바이스에서 직접 학습과 추론이 가능한 경량 인공지능(Lightweight Artificial Intelligence)에 대한 연구가 활발히 이루어지고 있다.

경량 인공지능은 사양이 낮고 저전력을 요구하는 임베디드 시스템에서 운용가능하며, 자체적으로 학습기능을 보유하고 있어, 응용 어플리케이션에 따라 특화된 학습 및 분류가 수행되어야 한다.

다양한 경량 인공지능 모델들이 개발되고 있지만, 최적의 성능을 낼 수 있는 하이퍼 파라미터(Hyper Parameter) 최적값에 대한 연구는 부족한 상황이며 주로 휴리스틱한 방법이나 경험 법칙에 의해서 하이퍼 파라미터의 최적값을 결정하고 있는 상황이다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 유전자 알고리즘을 통해 경량 인공지능 알고리즘의 하이퍼 파라미터를 최적화하는 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 인공지능 알고리즘의 파라미터 최적화 방법은, 인공지능 알고리즘의 파라미터가 개체로 정의된 개체 집단(Population)을 생성하는 단계; 개체 집단에 대해 유전자 알고리즘을 적용하여, 개체들을 진화시키는 단계; 및 진화된 개체들 중 하나를 선택하여, 인공지능 알고리즘의 파라미터를 설정하는 단계;를 포함한다.

그리고, 진화 단계는, 부모 개체들을 선택하는 단계; 선택된 개체들을 Crossover 연산 하여, 자식 개체들을 생성하는 단계; 생성된 자식 개체들의 적합도를 계산하는 단계; 계산된 적합도를 기초로, 개체들을 변경하는 단계;를 포함할 수 있다.

선택 단계는, 개체 집단의 각 개체에 대한 적합도를 계산하고, 계산된 적합도에 따라 개체들을 정렬하며, 정렬 순서에 따라 부모 개체들을 선택할 수 있다.

변경 단계는, 계산된 적합도를 기초로, 부모 개체를 자식 개체로 대체할지 여부를 결정하는 단계; 및 대체로 결정되면, 부모 개체를 자식 개체로 대체하는 단계;를 포함할 수 있다.

생성 단계는, Crossover 연산으로 Single Point Crossover 연산을 사용할 수 있다.

그리고, 진화 단계는, 생성된 자식 개체들을 Mutation 연산 하여, 변형하는 단계;를 더 포함하고, 계산 단계는, 변형된 자식 개체들의 적합도를 계산할 수 있다.

계산 단계는, 개체에 정의된 파라미터로 설정된 인공지능 알고리즘에 대해 테스트 데이터로 산출한 에러율을 적합도로 계산할 수 있다.

진화 단계는, 정해진 횟수 만큼 반복할 수 있다.

또한, 설정 단계는, 에러율이 가장 낮은 개체를 선택하되, 에러율이 동일한 개체가 다수이면 인공지능 알고리즘에서 뉴런 개수가 가장 작은 개체를 선택할 수 있다.

한편, 본 발명의 다른 실시예에 따른, 인공지능 시스템은, 인공지능 알고리즘를 구동하는 구동부; 및 인공지능 알고리즘의 파라미터를 설정하는 설정부;를 포함하고, 설정부는, 인공지능 알고리즘의 파라미터가 개체로 정의된 개체 집단(Population)을 생성하고, 개체 집단에 대해 유전자 알고리즘을 적용하여 개체들을 진화시키며, 진화된 개체들 중 하나를 선택하여 인공지능 알고리즘의 파라미터를 설정하다.

본 발명의 다른 실시예에 따른, 인공지능 알고리즘의 파라미터 최적화 방법은, 인공지능 알고리즘의 파라미터를 설정하는 단계; 설정된 인공지능 알고리즘을 구동하는 단계;를 포함하고, 설정 단계는, 인공지능 알고리즘의 파라미터가 개체로 정의된 개체 집단(Population)을 생성하는 단계; 개체 집단에 대해 유전자 알고리즘을 적용하여, 개체들을 진화시키는 단계; 및 진화된 개체들 중 하나를 선택하여, 인공지능 알고리즘의 파라미터를 설정하는 단계;를 포함한다.

한편, 본 발명의 다른 실시예에 따른, 컴퓨터로 읽을 수 있는 기록매체에는, 인공지능 알고리즘의 파라미터가 개체로 정의된 개체 집단(Population)을 생성하는 단계; 개체 집단에 대해 유전자 알고리즘을 적용하여, 개체들을 진화시키는 단계; 및 진화된 개체들 중 하나를 선택하여, 인공지능 알고리즘의 파라미터를 설정하는 단계;를 포함하는 것을 특징으로 하는 인공지능 알고리즘의 파라미터 최적화 방법을 수행할 수 있는 프로그램이 기록된다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 유전자 알고리즘을 통해 경량 인공지능 알고리즘에서 사용하는 하이퍼 파라미터의 최적화가 가능하며, 이는 경량 인공지능 알고리즘 모델의 성능향상으로 이어진다.

또한, 본 발명의 실시예들에 따르면, 학습 및 하이퍼 파라미터 선정 시 소요되는 시간을 감소시킬 수 있다.

특히, 본 발명의 실시예에서 이용하는 유전자 알고리즘은 점 탐색이 아닌 군 탐색 방법으로, 결정론적인 규칙을 이용하지 않고 확률적인 연산자를 사용하여, 계산에 의존한 최적화 방법에 비해 전역해를 구할 가능성이 높으며 다른 탐색 방법에 비해 효율적이다.

도 1은 본 발명의 일 실시예에 따른 유전자 알고리즘을 이용한 경량 인공지능 알고리즘의 하이퍼 파라미터 최적화 방법의 설명에 제공되는 흐름도,

도 2에는 경량 인공지능 알고리즘의 하이퍼 파라미터 최적화를 위한 유전자 알고리즘의 파라미터 예시,

도 3은, 도 2에 예시된 바에 따라 설정된 유전자 알고리즘으로 구한 최종 개체들,

도 4는 다양한 테스트 셋에 대한 시뮬레이션 결과,

도 5는 RCE 신경망의 구조를 도시한 도면,

도 6은 본 발명이 적용 가능한 경량 인공지능 시스템의 구조를 도시한 블럭도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

본 발명의 실시예에서는 경량 인공지능 알고리즘의 성능 변화를 가져오는 하이퍼 파라미터들을 최적화 할 수 있는 방법을 제시한다. 실험적인 방법으로 하이퍼 파라미터를 선정하였던 기존 방법과 달리, 본 발명의 실시예에서는 유전자 알고리즘을 이용하여 최적의 하이퍼 파라미터의 선정이 가능하다.

도 1은 본 발명의 일 실시예에 따른 유전자 알고리즘을 이용한 경량 인공지능 알고리즘의 하이퍼 파라미터 최적화 방법의 설명에 제공되는 흐름도이다.

최적화를 위해, 먼저 경량 인공지능 알고리즘의 하이퍼 파라미터가 개체로 정의된 초기 개체 집단(Population)을 랜덤하게 생성한다(S110). 적합도는 개체에 정의된 하이퍼 파라미터로 설정된 경량 인공지능 알고리즘에 대해, 테스트 데이터를 이용하여 산출한 에러율과 뉴런 개수이다.

에러율이 낮은 개체를 우수 개체로 평가하며, 에러율이 동일하다면 뉴런 개수가 더 작은 개체를 우수 개체로 평가한다. 뉴런 개수가 적을 수록 제한적인 성능, 리소스 상에서 효율적인 하드웨어 설계를 가능하게 할 수 있기 때문이다.

다음, S110단계에서 생성된 개체들 임의로 2개의 부모(Parent) 개체들을 선택(Selection)한다(S120).

그리고, S120단계에서 선택된 부모 개체들을 Crossover 연산 하여, 자식(offspring) 개체들을 생성한다(S130). 여기서, Crossover 연산으로 Single Point Crossover 연산을 사용할 수 있지만, 그 밖의 다른 기법을 사용할 수도 있음은 물론이다.

다음, S130단계에서 생성된 자식 개체들을 Mutation 연산 하여, 자식 개체들을 변형한다(S140). S140단계는 개체 집단이 가지는 해공간의 제한성을 극복하고 보다 다양한 탐색 후보들을 얻기 위한 절차이다.

이후, S130단계와 S140단계를 통해 생성된 자식 개체들의 적합도를 계산한다(S150). 적합도는 개체에 정의된 하이퍼 파라미터로 설정된 경량 인공지능 알고리즘에 대해, 테스트 데이터를 이용하여 산출한 에러율과 뉴런 개수이다.

이후, S150단계에서 계산된 적합도를 기초로, 부모 개체를 자식 개체로 대체할지 여부를 결정한다(S160). 부모 개체 보다 적합도가 우수한 자식 개체가 있으면, 부모 개체를 대체하는 것으로 결정한다.

다음, S160단계에서의 결정에 따라 부모 개체를 자식 개체로 대체한다(S170). S160단계에서 부모 개체들이 자식 개체들 보다 적합도가 더 우수 하였다면, S170단계에서 대체는 이루어지지 않으며, 부모 개체들이 그대로 유지된다.

S120단계 내지 S170단계를 거치면서, S110단계에서 생성된 개체 집단의 개체들은 진화하게 되는데, 이 과정은 종료 조건이 만족될 때까지 반복한다(S180). 종료 조건은 정해진 횟수(이를 테면, 100회) 일 수 있다. 이 경우는 위 과정이 100회 반복된 후 종료된다.

종료시 개체 집단에서 가장 우수한 개체, 즉, 에러율이 가장 낮고 에러율이 동일한 개체가 다수라면 유전자 개수가 가장 작은 개체를 선택하여, 경량 인공지능 알고리즘의 하이퍼 파라미터를 설정한다.

지금까지, 유전자 알고리즘을 이용한 경량 인공지능 알고리즘의 하이퍼 파라미터 최적화 방법에 대해, 바람직한 실시예를 들어 상세히 설명하였다.

도 2에는 경량 인공지능 알고리즘의 하이퍼 파라미터 최적화를 위한 유전자 알고리즘의 파라미터를 예시하였다.

도 2에 따라 설정된 유전자 알고리즘은, 반복 횟수가 100회이고, 집단에 포함되는 개체의 개수는 32개이며, 부모 개체는 랜덤하게 선택하고, Crossover(교차)는 Single Point Crossover이며, 교차조작 확률은 100%이고, 돌연변이 확률은 5%이다.

도 2에 예시된 바에 따른 유전자 알고리즘으로 구한 최종 개체들을 도 3에 나타내었다. 도 3의 좌측에서 첫 번째 열과 두 번째 열은 32개 개체들의 에러율과 뉴런 개수이다.

에러율이 0인 개체들이 상당히 많은데 이들 중 뉴런 개수가 52개로 가장 작은 6번 개체가, 도 3의 우측 상부에 나타난 바와 같이 최종 개체로 선정되어 경량 인공지능 알고리즘의 하이퍼 파라미터 설정에 이용된다.

6번 개체의 구체적인 하이퍼 파라미터(8 비트)를 도 3의 우측 하부에 나타내었다.

본 발명의 실시예에 따른 경량 인공지능 알고리즘의 하이퍼 파라미터 최적화방법의 검증을 위해 다양한 테스트 셋에 대한 시뮬레이션 결과를 도 4에 제시하였다.

MATLAB 시뮬레이터를 이용하였고, 경량 인공지능 알고리즘은 RCE 신경망을 이용하였으며, 테스트 데이터로는 UCI 데이터 셋을 사용하였다. 유전자 알고리즘은 도 2에 제시된 바와 같이 설정하였다.

도 4를 통해 본 발명의 실시예에 따른 경량 인공지능 알고리즘의 하이퍼 파라미터 최적화 방법은 높은 정확도로 하이퍼 파라미터 최적화가 가능하고, 뉴런의 개수도 최소화할 수 있음을 확인할 수 있다.

도 5는 RCE 신경망(Restricted Coulomb Energy Neural Network)의 구조를 도시한 도면이다. RCE 신경망 내의 뉴런들은 입력 데이터와 뉴런 중심점 사이의 거리를 계산하고 반지름과 비교하여 입력 데이터가 해당 뉴런에 포함되는지를 판단한다. 이 때 뉴런의 최대 반지름 값(MAX. AIF)과, 최소 반지름 값(MIN. AIF)은 인공지능 알고리즘의 성능과 밀접하게 연관된 하이퍼 파라미터로 최적값을 찾기 위해 데이터 셋의 에러율과 활성화된 뉴런 유닛의 개수를 유전 알고리즘의 적합도 함수 값으로 사용한다.

도 5에 제시된 RCE 신경망은 경량 인공지능 알고리즘의 일 예로 언급한 것이다. 본 발명의 기술적 사상은 RCE 신경망 이외의 다른 경량 인공지능 알고리즘에 대해서도 적용될 수 있다.

한편, 위 실시예에서 부모 개체 선택은 임의로 수행하는 것을 상정하였는데, 예시적인 것으로 변경이 가능하다. 예를 들어, 개체 집단에서 개체들을 적합도 순서로 정렬하고, 정렬 순서에 따라 적합도가 가장 우수한 2개의 개체들을 부모 개체로 선택하는 것으로 구현하는 것이 가능하다.

도 6은 본 발명이 적용 가능한 경량 인공지능 시스템의 구조를 도시한 블럭도이다. 본 발명이 적용 가능한 경량 인공지능 시스템은, 도시된 바와 같이, 데이터 입력부(110), 파라미터 설정부(120), 인공지능 구동부(130), 결과 출력부(140)를 포함하여 구성된다.

데이터 입력부(110)는 테스트 데이터와 추론할 데이터를 입력받아 인공지능 구동부(130)로 인가한다. 인공지능 구동부(130)는 전술한 경량 인공지능 알고리즘을 구동하여, 입력 데이터를 분석하여 결과 출력부(140)를 통해 결과를 출력하는 프로세서이다.

파라미터 설정부(120)는 전술한 유전자 알고리즘을 이용하여, 인공지능 구동부(130)에서 구동되는 경량 인공지능 알고리즘의 하이퍼 파라미터를 최적화하는 프로세서이다.

지금까지, 유전자 알고리즘을 이용한 경량 인공지능 알고리즘의 하이퍼 파라미터 최적화 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.

본 발명의 실시예에 따르면, 유전자 알고리즘을 통해 경량 인공지능 알고리즘에서 사용하는 하이퍼 파라미터의 최적화가 가능하며, 이는 경량 인공지능 알고리즘 모델의 성능향상으로 이어진다.

또한, 학습 및 하이퍼 파라미터 선정 시 소요되는 시간을 획기적으로 감소시킬 수 있다.

아울러, 유전자 알고리즘은 점 탐색이 아닌 군 탐색방법으로, 결정론적인 규칙을 이용하지 않고 확률적인 연산자를 사용하여, 계산에 의존한 최적화 방법에 비해 전역해를 구할 가능성이 높으며 다른 탐색방법에 비해 효율적이다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims

인공지능 알고리즘의 파라미터가 개체로 정의된 개체 집단(Population)을 생성하는 단계;

개체 집단에 대해 유전자 알고리즘을 적용하여, 개체들을 진화시키는 단계; 및

진화된 개체들 중 하나를 선택하여, 인공지능 알고리즘의 파라미터를 설정하는 단계;를 포함하는 것을 특징으로 하는 인공지능 알고리즘의 파라미터 최적화 방법.
청구항 1에 있어서,

진화 단계는,

부모 개체들을 선택하는 단계;

선택된 개체들을 Crossover 연산 하여, 자식 개체들을 생성하는 단계;

생성된 자식 개체들의 적합도를 계산하는 단계;

계산된 적합도를 기초로, 개체들을 변경하는 단계;를 포함하는 것을 특징으로 하는 인공지능 알고리즘의 파라미터 최적화 방법.
청구항 2에 있어서,

선택 단계는,

개체 집단의 각 개체에 대한 적합도를 계산하고, 계산된 적합도에 따라 개체들을 정렬하며, 정렬 순서에 따라 부모 개체들을 선택하는 것을 특징으로 하는 인공지능 알고리즘의 파라미터 최적화 방법.
청구항 2에 있어서,

변경 단계는,

계산된 적합도를 기초로, 부모 개체를 자식 개체로 대체할지 여부를 결정하는 단계; 및

대체로 결정되면, 부모 개체를 자식 개체로 대체하는 단계;를 포함하는 것을 특징으로 하는 인공지능 알고리즘의 파라미터 최적화 방법.
청구항 2에 있어서,

생성 단계는,

Crossover 연산으로 Single Point Crossover 연산을 사용하는 것을 특징으로 하는 인공지능 알고리즘의 파라미터 최적화 방법.
청구항 2에 있어서,

진화 단계는,

생성된 자식 개체들을 Mutation 연산 하여, 변형하는 단계;를 더 포함하고,

계산 단계는,

변형된 자식 개체들의 적합도를 계산하는 것을 특징으로 하는 인공지능 알고리즘의 파라미터 최적화 방법.
청구항 2에 있어서,

계산 단계는,

개체에 정의된 파라미터로 설정된 인공지능 알고리즘에 대해 테스트 데이터로 산출한 에러율을 적합도로 계산하는 것을 특징으로 하는 인공지능 알고리즘의 파라미터 최적화 방법.
청구항 7에 있어서,

진화 단계는,

정해진 횟수 만큼 반복하는 것을 특징으로 하는 인공지능 알고리즘의 파라미터 최적화 방법.
청구항 7에 있어서,

설정 단계는,

에러율이 가장 낮은 개체를 선택하되, 에러율이 동일한 개체가 다수이면 인공지능 알고리즘에서 뉴런 개수가 가장 작은 개체를 선택하는 것을 특징으로 하는 인공지능 알고리즘의 파라미터 최적화 방법.
인공지능 알고리즘를 구동하는 구동부; 및

인공지능 알고리즘의 파라미터를 설정하는 설정부;를 포함하고,

설정부는,

인공지능 알고리즘의 파라미터가 개체로 정의된 개체 집단(Population)을 생성하고, 개체 집단에 대해 유전자 알고리즘을 적용하여 개체들을 진화시키며, 진화된 개체들 중 하나를 선택하여 인공지능 알고리즘의 파라미터를 설정하는 것을 특징으로 하는 인공지능 시스템.
인공지능 알고리즘의 파라미터를 설정하는 단계;

설정된 인공지능 알고리즘을 구동하는 단계;를 포함하고,

설정 단계는,

인공지능 알고리즘의 파라미터가 개체로 정의된 개체 집단(Population)을 생성하는 단계;

개체 집단에 대해 유전자 알고리즘을 적용하여, 개체들을 진화시키는 단계; 및

진화된 개체들 중 하나를 선택하여, 인공지능 알고리즘의 파라미터를 설정하는 단계;를 포함하는 것을 특징으로 하는 인공지능 알고리즘 구동 방법.
인공지능 알고리즘의 파라미터가 개체로 정의된 개체 집단(Population)을 생성하는 단계;

개체 집단에 대해 유전자 알고리즘을 적용하여, 개체들을 진화시키는 단계; 및

진화된 개체들 중 하나를 선택하여, 인공지능 알고리즘의 파라미터를 설정하는 단계;를 포함하는 것을 특징으로 하는 인공지능 알고리즘의 파라미터 최적화 방법을 수행할 수 있는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.