KR102533908B1

KR102533908B1 - 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템

Info

Publication number: KR102533908B1
Application number: KR1020200174597A
Authority: KR
Inventors: 이재은; 김동욱; 서영호
Original assignee: 광운대학교 산학협력단
Priority date: 2020-12-14
Filing date: 2020-12-14
Publication date: 2023-05-18
Also published as: KR20220084774A

Abstract

시냅스 소자의 전도도를 양자화 하여 가중치 레벨에 매핑시키되, 양자화된 전도도들을 최대한 선형성을 갖도록 선정하고, 펄스 수에 따른 전도도를 샘플링하고, 샘플링된 전도도 중에서 전도도를 선정하여 양자화 하는, 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템에 관한 것으로서, 시냅스 소자로 구성된 시냅스 셀 어레이를 포함하는 뉴로모픽 신경망; 펄스를 발생시켜 신경망의 시냅스 소자에 가하는 펄스 발생기; 학습 데이터를 상기 뉴로모픽 신경망에 입력시켜 얻은 결과와, 상기 학습 데이터의 정답인 라벨 데이터를 정량적으로 비교하는 연산을 수행하는 손실함수 연산기; 상기 손실함수 연산기의 연산 결과를 이용하여, 상기 시냅스 소자의 가중치를 갱신하는 가중치 갱신기; 및, 갱신된 가중치를 가중치 레벨로 양자화 하고, 갱신된 가중치 레벨과 매핑되는 전도도(이하 갱신 전도도)을 구하고, 해당 시냅스 소자의 전도도를 갱신 전도도로 변환시키도록, 상기 펄스 발생기가 해당 시냅스 소자에 펄스를 가하도록 제어하는 선형 가중 양자화기를 포함하는 구성을 마련한다.
상기와 같은 시스템에 의하여, 전도도 크기가 선형성을 갖도록 가중치의 전도도 레벨들을 설정함으로써, 시냅스 소자의 비선형성, 불연속성, 불완전한 전도도 특성 등을 극복할 수 있다.

Description

시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템 { An on-chip learning system for neuromorphic neural networks based on deep learning composed of synaptic elements }

본 발명은 시냅스 소자로 구성된 뉴로모픽 신경망을 온칩 상태에서 학습 데이터로 학습시키되, 학습에 의한 가중치 변화량을 저장하기 위하여, 시냅스 소자에 펄스를 가하여 전도도를 변화시키는, 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템에 관한 것이다.

또한, 본 발명은 펄스 수에 따른 시냅스 소자의 전도도를 샘플링하고, 샘플링된 전도도 중에서 전도도를 선정하여 양자화하되, 양자화된 전도도들이 선형성을 갖도록 선정하고, 양자화된 전도도를 가중치에 매핑시키는, 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템에 관한 것이다.

일반적으로, 딥러닝은 사람의 인지 및 사고 능력을 컴퓨터에 주입시키기 위한 학습 방식으로, 사람 뇌의 연산 방식을 모방한 퍼셉트론으로 구성된 인공적인 신경망을 사용한다. 최근에는 CPU와 GPU를 기반으로 딥러닝을 구현하고, 거의 모든 분야에서 매우 우수한 성능을 내고 있다[비특허문헌 1, 2]. 하지만, 신경망의 파라미터와 데이터가 방대해지고, 연산량이 폭발적으로 증가함에 따라 요구되는 하드웨어의 양, 과도한 메모리 접근양, 및 높은 소비전력에 따른 병목현상이 발생하고 있다[비특허문헌 3, 4].

따라서, 이러한 폰 노이만 구조의 하드웨어를 대체할 새로운 하드웨어 컴퓨팅 방식이 필요하게 되었고, 새로운 소자를 이용하여 신경망의 구조를 유사하게 모델링하는 뉴로모픽 시스템이 그 대안으로 주목받고 있다[비특허문헌 5-7].

이를 구현하기 위해서 강유전성(ferroelectric) RAM, 상변화(phase change) RAM, 자기성(magnetic) RAM, 전기화학성(electrochemical) RAM, 그리고, 저항(resistive) RAM 같은 시냅스 소자가 이용된다[비특허문헌 8-12].

아직까지는 시냅스 소자의 기술적인 한계가 존재하고, 이는 온-칩 학습의 성능에 매우 큰 영향을 미친다[비특허문헌 13]. 학습 성능을 향상시키기 위해서는 시냅스 소자의 선형적인 전도도 변화, 강화(또는 증강, potentiation)와 약화(또는 억압, depression)의 대칭성, 그리고 높은 전도도 비율의 개선 등이 요구된다.

최근까지 시냅스 소자의 불완전한 전도도 특성을 개선하기 위한 다양한 접근의 연구들이 활발히 진행되어왔다[비특허문헌 14]. 하지만, 이전 연구들은 많은 양의 부가적인 회로를 필요로 하거나[비특허문헌 15], 작동 펄스 파동을 변경해야 하거나[비특허문헌 16, 17], 혹은 물질 및 소자 공학적 접근[비특허문헌 18]을 하는 등의 번거로움과 한계성이 존재한다.

따라서 입력 펄스의 형태(feature)를 비롯하여 뉴로모픽 시스템의 하드웨어적인 수정을 전혀 가하지 않으면서, 시냅스 소자의 불완전한 특성을 극복하여 높은 딥러닝 정확도를 가질 수 있는 새로운 온-칩 학습 기술이 필요하다.

J. Hu, L. Shen, and G. Sun. "Squeeze-and-excitation networks," arXiv preprint arXiv:1709.01507, 2017. K. He, G. Gkioxari, P. Dollar, and R. Girshick. "Mask r-cnn," arXiv:1703.06870, 2017. S. Yu, "Neuro-inspired computing with emerging nonvolatile memorys," Proc. IEE, vol. 106, no. 2, pp. 260-285, Feb. 2018, doi: 10.1109/jproc.2018.2790840. M. Prezioso, F. Merrikh-Bayat, B. D. Hoskins, G. C. Adam, K. K. Likharev, and D. B. Strukov, "Training and operation of an integrated neuromorphic network based on metal-oxide memristors," Nature, vol. 521, pp. 61-64, May 2015, doi: 10.1038/nature1444. A. Thomas, "Memristor based neural networks", J. Phys. D Appl. Phys., vol. 46, no. 9, 2013. D. Kuzum, S. Yu, and P. H.-S. Wong, "Synaptic electronics: Materials, devices and applications," Nanotechnology, vol. 24, no. 38, p. 382001, Sep. 2013, doi: 10.1088/0957-4484/24/38/382001. E. R. Kandel and J. H. Schwartz, Principles of Neural Science, 2nd ed. New York, NY, USA: Elsevier, 1985. A. Chanthbouala1, V. Garcia1, R. O. Cherifi, K. Bouzehouane, S. Fusil, X. Moya, S. Xavier, H. Yamada, C. Deranlot, N. D. Mathur, M. Bibes, A. Barthㅹlㅹmy and J. Grollier, "A ferroelectric memristor," Nature Mater., vol. 11, pp. 860-864, Oct. 2012. M. Suri, O. Bichler, D. Querlioz, B. Traorㅹ, O. Cueto, L. Perniola, V. Sousa, D. Vuillaume, C. Gamrat, and B. DeSalvo, "Physical aspects of low power synapses based on phase change memory devices," J. Appl. Phys., vol. 112, no. 5, p. 054904, Sep. 2012, doi: 10.1063/1.4749411. A. F. Vincent, J. Larroque, N. Locatelli, N. B. Romdhane, O. Bichler, C. Gamrat, W. S. Zhao, J.-O. Klein, S. Galdin-Retailleau, and D. Querlioz, "Spin-transfer torque magnetic memory as a stochastic memristive synapse for neuromorphic systems," IEEE Trans. Biomed. Circuits Syst., vol. 9, no. 2, pp. 166-174, Apr. 2015, doi: 10.1109/TBCAS.2015.2414423. C. Lee et al., "Two-Terminal Structured Synaptic Device Using Ionic Electrochemical Reaction Mechanism for Neuromorphic System," IEEE Electron Device Lett., vol. 40, no. 4, pp. 546-549, Apr. 2019. B. Govoreanu, G. S. Kar, Y.-Y. Chen, V. Paraschiv, S. Kubicek, A. Fantini, I. P. Radu, L. Goux, S. Clima, R. Degraeve, N. Jossart, O. Richard, T. Vandeweyer, K. Seo, P. Hendrickx, G. Pourtois, H. Bender, L. Altimime, D. J. Wouters, J. A. Kittl, and M. Jurczak, "10×10 nm2 Hf/HfOx crossbar resistive RAM with excellent performance, reliability and low-energy operation," in Proc. IEEE Int. Electron Devices Meeting, pp. 31.6.1-31.6.4, Dec. 2011, doi: 10.1109/IEDM.2011.6131652. G. W. Burr, R. M. Shelby, S. Sidler, C. di Nolfo, J. Jang, I. Boybat, R. S. Shenoy, P. Narayanan, K. Virwani, E. U. Giacometti, B. N. Kurdi, and H. Hwang, "Experimental demonstration and tolerancing of a largescale neural network (165,000 synapses) using phase-change memory as the synaptic weight element," IEEE Trans. Electron Devices, vol. 62, no. 11, pp. 3498-3507, Nov. 2015, doi: 10.1109/TED.2015.2439635. D. Lee et al., "Oxide based nanoscale analog synapse device for neural signal recognition system," in IEDM Tech. Dig., pp. 91-94, Dec. 2015, doi: 10.1109/IEDM.2015.7409628. M. Suri, D. Querlioz, O. Bichler, G. Palma, E. Vianello, D. Vuillaume, C. Gamrat, and B. DeSalvo, "Bio-inspired stochastic computing using binary CBRAM synapses," IEEE Trans. Electron Devices, vol. 60, no. 7, pp. 2402-2409, Jul. 2013, doi: 10.1109/TED.2013.2263000. S. Oh et al., "HfZrOx Based Ferroelectric Synapse Device With 32 Levels of Conductance States for Neuromorphic Applications," IEEE Electron Device Lett., vol. 38, no. 6, pp. 732-735, Jun. 2017. J. Jang et al., "Optimization of Conductance Change in Pr1-xCaxMnO3-Based Synaptic Devices for Neuromorphic Systems," IEEE Electron Device Lett., vol. 36, no. 5, pp. 457-459, May, 2015. J. Woo et al., "Improved synaptic behavior under identical pulses using AlOx /HfO2 bilayer RRAM array for neuromorphic systems," IEEE Electron Device Lett., vol. 37, no. 8, pp. 994-997, Aug. 2016. C. Lee, S. Koo, J. Oh, and D. Lee, "Compensated Synaptic Device for Improved Recognition Accuracy of Neuromorphic System", IEEE Journal of the Electron Devices Society, vol. 6, pp. 403-407, Mar. 2018. DOI: 10.1109/JEDS.2018.2815703 S. Lim, C. Sung, H. Kim, T. Kim, J. Song, J. J. Kim, and H. Hwang, "Microstructural engineering in interface-type synapse device for enhancing linear and symmetric conductance changes", Nanotechnology, vol. 30, no. 30, May. 2019. DOI: 10.1088/1361-6528/ab180f

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 시냅스 소자로 구성된 뉴로모픽 신경망을 온칩 상태에서 학습 데이터로 학습시키되, 학습에 의한 가중치 변화량을 저장하기 위하여, 시냅스 소자에 펄스를 가하여 전도도를 변화시키는, 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템을 제공하는 것이다.

또한, 본 발명의 목적은 펄스 수에 따른 시냅스 소자의 전도도를 샘플링하고, 샘플링된 전도도 중에서 전도도를 선정하여 양자화하되, 양자화된 전도도들이 선형성을 갖도록 선정하고, 양자화된 전도도를 가중치에 매핑시키는, 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템에 관한 것으로서, 시냅스 소자로 구성된 시냅스 셀 어레이를 포함하는 뉴로모픽 신경망; 펄스를 발생시켜 신경망의 시냅스 소자에 가하는 펄스 발생기; 학습 데이터를 상기 뉴로모픽 신경망에 입력시켜 얻은 결과와, 상기 학습 데이터의 정답인 라벨 데이터를 정량적으로 비교하는 연산을 수행하는 손실함수 연산기; 상기 손실함수 연산기의 연산 결과를 이용하여, 상기 시냅스 소자의 가중치를 갱신하는 가중치 갱신기; 및, 상기 시냅스 소자의 펄스에 따른 전도도를 양자화 하여 가중치에 매핑해두고, 해당 시냅스 소자의 전도도를 갱신 전도도로 변환시키도록, 매핑 정보를 참조하여 상기 펄스 발생기를 통해 해당 시냅스 소자에 펄스를 가하도록 제어하는 선형 가중 양자화기를 포함하는 것을 특징으로 한다.

또, 본 발명은 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템에 있어서, 상기 선형 가중 양자화기는 상기 양자화된 전도도의 선형성이 최대화가 되도록, 전도도를 양자화 하는 것을 특징으로 한다.

또, 본 발명은 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템에 있어서, 상기 선형 가중 양자화기는 각 펄스 수에 따른 전도도를 샘플링 하고, 샘플링된 전도도들 선정하여 양자화 하되, 최소 전도도와 최대 전도도를 선정하고, 양자화된 모든 전도도의 간격들의 제곱의 합이 최소화 되도록, 샘플링된 전도도 중에서 양자화할 전도도를 선정하고, 양자화할 전도도를 가중치의 개수만큼 선정하는 것을 특징으로 한다.

또, 본 발명은 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템에 있어서, 상기 선형 가중 양자화기는 펄스 수에 따른 전도도를 표현하는 상기 시냅스 소자의 전도도 모델을 설정하고, 설정된 전도도 모델을 이용하여 전도도를 샘플링하는 것을 특징으로 한다.

또, 본 발명은 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템에 있어서, 상기 선형 가중 양자화기는 시냅스 소자의 이상적 특성을 나타내는 수학적 모델과, 해당 수학적 모델의 특성 파라미터를 설정하여 상기 전도도 모델을 정의하는 것을 특징으로 한다.

또, 본 발명은 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템에 있어서, 상기 수학적 모델은 다음 수식 1에 의해 정의되는 것을 특징으로 한다.

[수식 1]

단, G_LRS와 G_HRS는 각각 LRS(low resistance state)와 HRS(high resistance state) 전도도이고, α는 시냅스 소자의 특성 파라미터이고, w는 내부 변수임.

또, 본 발명은 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템에 있어서, 상기 전도도 모델은 강화 펄스에 의해 전도도가 상승하는 강화 전도도 모델과, 약화 펄스에 의해 전도도가 하락하는 약화 전도도 모델로 구분되어 구성되는 것을 특징으로 한다.

또, 본 발명은 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템에 있어서, 상기 선형 가중 양자화기는 상기 시냅스 소자의 전도도를 정규화하여, 전도도를 0과 1 사이의 이산 값을 갖도록 변환하는 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템에 의하면, 전도도 크기가 선형성을 갖도록 가중치의 전도도 레벨들을 설정함으로써, 시냅스 소자의 비선형성, 불연속성, 불완전한 전도도 특성 등을 극복할 수 있고, 이를 통해, 시냅스 소자 등 하드웨어적인 수정을 전혀 하지 않으면서 성능을 향상시킬 수 있는 효과가 얻어진다.

도 1은 본 발명에서 사용될 수 있는 시냅스 소자의 단면 투과 전자 현미경 이미지(cross-sectional transmission electron microscopy images) 및 I-V 특성(I-V characteristics) 그래프로서, (a) PCMO 시냅스 소자(Pt/PCMO/N:TiN/Pt) (b) LiCoO₂ 시냅스 소자(TE/Li_1-xCoO₂/a-Si/BE), 및 (c) TiO_x 시냅스 소자에 대한 이미지 및 그래프.
도 2는 본 발명의 일실시예에 따른 각 시냅스 소자에 대해 전도도를 양자화 하여 가중치에 매핑하는 방법을 설명하는 흐름도.
도 3은 본 발명의 일실시예에 따른 일정한 펄스들에 의한 시냅스 소자의 강화 및 약화 특성들과 10 레벨로 측정된 정도도의 히스토그램(점들은 측정된 전도도이고 실선은 모델링 함수에 해당함)에 대한 예시 그래프로서, (a) PCMO, (b) LiCoO₂, 및 (c) TiO_x에 대한 예시 그래프.
도 4는 본 발명의 일실시예에 따른 시냅스 소자에 대한 모델링 함수에 대한 예시 그래프.
도 5는 본 발명의 일실시예에 따른 양자화된 전도도의 생성 과정에 대한 예시도로서, (a) 측정된 전도도를 가중치로 사용하기 위해 0~1로 정규화하는 단계, (b) 정규화된 전도도를 이용하여 알파의 값을 추출하고 시냅스 소자에 대해 모델링을 수행하는 단계, (c) 모델링된 함수에 소자의 특성을 적용하기 위해 일정한 펄스(identical pulse)를 기반으로 샘플링하는 단계에 대한 예시도.
도 6은 본 발명의 일실시예에 따른 전도도를 샘플링하고 양자화 하여 가중치로 매핑하는 과정을 나타낸 예시 그래프.
도 7은 본 발명과 종래기술에 따른 양자화된 전도도로의 변환 과정을 나타낸 그래프로서, (a) 본 발명에 따른 방법, (b) 기존의 방법에 대한 그래프.
도 8은 본 발명의 일실시예에 따른 신경망 학습 시스템의 구성에 대한 특징을 종래 기술의 구성 특징과 비교한 표.
도 9는 본 발명의 일실시예에 따른 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템을 설명하는 흐름도.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명의 일실시예에 따른 시냅스 소자에 대하여 도 1을 참조하여 설명한다.

본 발명은 다양한 시냅스 소자를 사용할 수 있고, 각 시냅스 소자는 각각의 고유 특성을 가진다. 바람직하게는, 본 발명은 Pr1-xCaxMnO₃(이하 PCMO), LiCoO₂, TiOx 등의 시냅스 소자를 사용한다. 해당 종류의 시냅스 소자의 전도도 특성은 이미 분석되고 있다[비특허문헌 11, 19, 20]. 해당 시냅스 소자에 대해, 본 발명에 따른 선형 가중치 양자화 방식을 적용하여, 분석한 전도도를 가중치로 매핑한다. 매핑된 가중치를 이용하여 MNIST를 분류할 수 있는 전-결합 층(fully-connected layer)으로 구성된 신경망을 만든 후, 학습과 추론을 수행하여 본 발명에 따른 시스템의 효과를 검증할 수 있다.

도 1은 적용가능한 시냅스 소자의 투과 전자 현미경(TEM) 이미지와 전류-전압(I-V) 특성을 나타낸다. 이 특성은 모두 적용된 바이어스에 대한 전도도 변화를 나타낸다. 도 1(a)와 같이, PCMO의 이러한 전도도의 변화는 형성 또는 제거에 기인한다. PCMO와 N:TiN 사이의 금속 산화물 층. 네거티브(포지티브) 바이어스가 적용되면 PCMO(TiNOx)의 산소가 N:TiN(PCMO) 층으로 이동하고 TiON의 하위 산화물층이 형성(용해)되어 소자 컨덕턴스가 변경된다. 도 1(b)와 같이, LiCoO₂의 전도도는 또한 순차 포지티브 및 네거티브 바이어스 애플리케이션에서 변경된다. Li 농도를 수정하여 LiCoO₂는 전도도를 변경할 수 있기 때문에, 전도도가 조정 가능 재료로 알려져 있다. 제작된 Ti(BE)/a-Si/LiCoO₂/Ni(TE) 적층 시냅스 소자에서 TE(BE)에 포지티브(네거티브) 바이어스가 적용된다. 이로 인해 LiCoO₂(a-Si) 내의 Li- 이온이 a-Si (LiCoO₂)쪽으로 이동하여 소자 전도도가 감소(증가)된다. 또한, 도 1(b)와 같이, TiO_x의 전도도는 산소 농도를 통해 변조될 수 있다. 특히 산소 결손이 국부 전도 경로에 기여하기 때문에 물질 전도도는 산소가 역할을 하는 TiO_x 층 내의 산소 결손의 양에 의해 영향을 받는다. 따라서 소자의 Mo(TE)에 포지티브(네거티브) 바이어스를 적용하면 산소 이온의 양방향 이동을 통해 전도도를 제어하는 메커니즘이 제공된다.

다음으로, 본 발명의 일실시예에 따른 각 시냅스 소자에 대해 전도도를 양자화 하여 가중치에 매핑하는 방법을 도 2 내지 도 7을 참조하여 설명한다.

도 2는 전도도를 가중치에 매핑하는 전체 방법을 설명하는 흐름도이다. 도 3은 다양한 시냅스 소자의 강화 및 약화 특성 그래프이다. 도 4는 시냅스 소자의 특성을 위한 모델링 함수를 나타낸 그래프이다. 또한, 도 5는 전도도의 샘플링 과정에 대한 예시도이다. 또한, 도 6 및 도 7은 샘플링된 전도도를 양자화 하여 가중치에 매핑하는 과정을 나타낸 그래프이다.

도 2에서 보는 바와 같이, 본 발명의 일실시예에 따른 각 시냅스 소자에 대해 전도도를 양자화 하여 가중치에 매핑하는 방법은 시냅스 소자의 실제 전도도를 측정하여 정규화 하는 단계(S10), 이상 모델에 적용하여 시냅스 소자의 전도도 모델을 설정하는 단계(S20), 및, 전도도를 양자화 하여 가중치에 매핑하는 단계(S30)로 구성된다. 즉, 본 발명에 따른 방법은, 측정된 전도도를 양자화된 전도도로 변환하는 과정으로서, 정규화한 전도도에 모델링 함수를 적용한 이후, 일정한 펄스(identical pulse)를 기반으로 전도도를 샘플링하고, 선형성을 최대화시키는 전도도를 선택하여 양자화된 전도도를 추출한다.

먼저, 시냅스 소자에 대한 실제 전도도를 측정하고, 측정된 전도도를 정규화 한다(S10).

이때, 측정되는 전도도는, 해당 시냅스 소자에 가해진 펄스 수에 대한 전도도로 측정된다. 즉, 소자의 입력 펄스에 기반한 실제 전도도 값을 얻는다(S11).

특히, 전도도 값을 신경망의 가중치로 쉽게 변환하기 위해 정규화를 진행한다. 전도도의 최댓값과 최솟값을 찾아 모든 전도도를 정규화하면 전도도는 0과 1사이의 불연속적인 값을 갖는다(S12).

장기 강화(long-term potentiation) 및 장기 약화(long-term depression)을 포함한 시냅스 특성은 각각 도 3에 표시된 것처럼 측정된다. 도 3에서, 좌측의 펄스수-전도도 그래프 내의 각 점들이, 입력 펄스에 기반한 전도도를 나타낸다.

세 가지 소자의 전도도 변화 특성을 도 3(a)-(c)에 나타내고 있다. 각 도면은 세 가지 소그림으로 구성된다; 1) 펄스에 따른 전도도의 변화, 2) 강화(potentiation) 및 3) 약화(depression)의 측정된 전도도가 일정 범위 내에 존재하는 빈도수를 나타낸 히스토그램.

입력 펄스는 그대로 전도도를 변화시키는데 사용된다. 측정된 전도도의 히스토그램은 특정 범위에 집중적으로 분포되어 있고, 아예 존재하지 않는 범위도 있다 ('X'로 표시). PCMO와 같이 비선형적인 소자일수록 존재하지 않는 전도도 값이 더 많다. 전도도가 균일하게 분포하지 않는 특성뿐만 아니라 전도도가 갖는 큰 오차범위와 같은 불안정성으로 인해서 전도도의 전기적 특성을 이용하는 것에 한계가 존재한다. 실제의 시냅스 소자가 사용할 수 있는 범위의 전도도 레벨과 실현 가능한 값만으로 학습과 추론을 수행한다.

요약하면, 아래 수학식 1을 사용하여 다양한 소자의 특성을 정밀하게 분석한 후 동일한 펄스를 기반으로 전도도 값을 얻는다. 이후 전도도 값을 신경망의 가중치로 쉽게 변환하기 위해 정규화가 수행된다. 전도도의 최대값과 최소값을 찾아 모든 전도도를 정규화하면 전도도는 0과 1 사이의 이산 값을 갖는다.

특히, 도 5(a)에서 볼 수 있듯이 시냅스 소자에서 측정된 전도도는 다소 무질서한 형태이다. 도 5의 위쪽의 3개의 그래프는 강화(potentiation)를 위한 것이고 하단 3개의 그래프는 약화(depression)에 대한 것이다.

다음으로, 정규화된 전도도에 대하여 특성 변수를 추출하여, 해당 시냅스 소자의 전도도 모델을 설정한다(S20). 신경망의 구현과 학습을 위해, 시냅스 소자의 전도도 특성을 정확히 분석할 필요가 있다.

즉, 각 시냅스 소자의 특성(또는 전도도 모델)은 수학적 모델(이하 특성 모델)과, 해당 모델의 특성 파라미터를 설정함으로써 정의된다. 소자의 특성 모델은 펄스에 따른 소자의 전도도를 나타내는 모델로서, 각 시냅스 소자에 고유한 파라미터(이하 특성 파라미터)에 의해 해당 시냅스 소자의 특성을 표현할 수 있다. 이때, 각 시냅스 소자의 실제 전도도와, 특성 모델에 의해 예측된(계산된) 전도도의 차이를 최소화 하는 특성 파라미터를 찾는다. 또한, 각 시냅스 소자의 특성 파라미터는 강화 또는 약화에 따라 달리 설정된다.

보다 구체적인 내용을 이하에서 설명한다.

장기 강화(long-term potentiation) 및 장기 약화(long-term depression)을 포함한 시냅스의 이상적인 특성은 도 4에 표시된 것처럼 모델링된다. 다음 수학식 1과 같이, 뉴로모픽 시스템의 다양한 강화(potentiation)과 약화(depression) 특성을 표현이 가능한, 시냅스 소자의 특성 모델을 정의한다[비특허문헌 17].

[수학식 1]

여기서, G_LRS와 G_HRS는 LRS(low resistance state, 저저항 상태)와 HRS(high resistance state, 고저항 상태) 전도도이고, α는 소자의 전도도 특성을 표현하는 파라미터(또는 특성 파라미터, 특성 변수)이고, w는 내부 변수이다. 학습하는 동안, w는 시냅스 소자에 강화(potentiation) 펄스 또는 약화(depression) 펄스가 적용되면 증가 또는 감소한다.

수학식 1의 모델링 함수는 선형성과 대칭성을 판단하기에도 매우 적합하다. α=1인 경우가 가장 선형적이고, α>1이면 오목함수, α<1이면 볼록함수의 모양을 가진다. 도 4는 소자 동작에 따른 모델 함수를 보여준다(α값이 변화한다).

α_p와 α_d는 각각 강화(potentiation)과 약화(depression) 특성에 대한 파라미터(또는 특성 변수)이다.

또한, 수학식 1을 이용하여 예측한 전도도(conductance)(G)와, 실제 소자의 측정한 전도도(conductance)의 차이를 구하여 α_p와 α_d를 계산한다. 먼저, α를 -10부터 10까지 0.01의 간격으로 증가시키면서, 수학식 1을 이용하여 전도도(conductance)를 예측한다. 다음으로 MSE(mean square error)를 이용하여 예측한 값과 측정한 값의 차이를 구하고, 최소의 차이를 갖는 α를 찾는다(S21).

이 모델에서 PCMO, LiCoO₂, 그리고 TiO_x는 각각 (2.56, -3.77), (1.38, -3.44), 그리고 (1.96, 0.18)의 (α_p, α_d)를 갖는다. PCMO, LiCoO₂, 그리고 TiO_x 순으로 비선형/비대칭적인 특성을 가졌음을 확인할 수 있다. 도 3(a)-(c)에서 좌측의 첫번째 그림(펄스에 따른 전도도의 변화) 내에서 실선 그래프가 해당 시냅스 소자의 전도도 모델을 나타내고 있다(S22).

즉, 수학식 1을 사용하여 다양한 소자의 특성을 정밀하게 분석한 후, 소자의 입력 펄스에 기반한 전도도 값을 얻는다.

요약하여, 앞서 도 5의 예를 참조하면 다시 설명한다. 도 5(a)의 무질서한 전도도에 대하여, 앞서 수학식 1을 사용하여 정렬되지 않은 측정된 전도도의 추세에 가장 가까운 함수를 모델링한다. 함수를 모델링하는 데 사용되는 α는 다양한 방법을 사용하여 계산할 수 있다. 반복적인 다양한 실험을 통해 각 시냅스 소자에 대한 최적의 α를 미리 획득한다. 모델링된 함수는 도 5(b)에 나와 있다.

한편, 이하 단계(S30)에서, 도 5(b)의 전도도 모델을 이용하여, 실제 시냅스 소자에서 표현할 수 있는 전도도는 모델링된 함수로 표현할 수 있는 전도도 값 중 샘플링된다. 이 과정은 도 5(c)에 나와 있다. 결국, 도 5(c)의 전도도를 사용하여 시냅스 소자로 구성된 신경망을 학습한다.

다음으로, 전도도 모델에 따른 전도도를 샘플링하고 양자화 하여 가중치에 매핑한다(S30). 즉, 정규화된 불연속적인 전도도들 중에서 균일 함수와 가장 근사하는 전도도를 추출하여 양자화 하고, 양자화된 전도도를 가중치에 매핑한다. 양자화된 전도도와, 가중치의 매핑 정보를 저장해둔다.

이때, 가중치도 N 레벨의 가중치로 양자화 된다. 즉, 가중치는 양자화된 N개의 값을 가지는 것으로 설정한다. N개로 구분된 각 가중치를 가중치 레벨이라고 부르기로 한다. 다만, 이하에서, 설명의 편의를 위하여 가중치와 가중치 레벨을 혼용한다.

구체적으로, 전도도 모델에서, 각 펄스 수에 따른 전도도를 샘플링한다(S31). 도 6의 예에서, 펄스 수 0, 1, 2, ... 에 대하여, 각각 전도도가 C0, C1, C2, ... 등으로 샘플링된다.

다음으로, 선형성이 최대화가 되도록, 샘플링된 전도도들 선정하여 양자화 한다(S32). 이때, 가중치가 N 레벨이면, 샘플링된 전도도를 N개로 양자화 한다. 바람직하게는, 최소 전도도와 최대 전도도를 포함하는 균일 양자화 함수를 N 레벨 생성하여 비슷한 값을 가지는 소자의 전도도로 매핑한다. 이때, 균일 양자화 함수는 N 레벨로 하고, 소자는 펄스의 수만큼 레벨을 생성해둔 다음에 진행한다. 비선형적인 소자일수록 균일 양자화 함수를 따르지 않기 때문에, N 레벨로 진행한다면 매핑되지 않는 값도 존재한다. 따라서, N 레벨 매핑을 위해서 더 많은 개수의 레벨을 가지는 균일 양자화 함수가 요구된다.

도 6의 예에서, N은 5로 가정한다. 이때, 도 6의 예에서, 최소 전도도 C0와, 최대 전도도 C9는 포함된다. 또한, N개의 균일 양자화 함수 N 레벨의 값과 매핑이 되는, C0, C1, C3, C6, C9의 5개의 전도도가 양자화 된다.

또는, 다른 실시예에 의하면, 샘플링된 전도도들에 대하여, 최소 전도도와 최대 전도도를 포함하고 양자화된 N개의 전도도의 간격의 제곱의 합이 최소화 되도록, 샘플링된 전도도 중에서 N개의 전도도를 선정한다.

앞서와 같은 예에서, N개의 전도도의 간격의 제곱의 합 중 (C0-C1)²+(C1-C3)²+(C3-C6)²+(C6-C9)² 이 최소가 되므로, C0, C1, C3, C6, C9의 5개의 전도도가 양자화 된다.

다음으로, 양자화된 전도도를 각각 가중치 N 레벨(또는 가중치)에 각각 매핑시킨다.

한편, 크기 변화를 기준으로 소자의 강화(potentiation) 특성과 약화(depression) 특성을 따로 적용하기 때문에 한 소자에 대해 각각 수행한다. 이러한 과정은 소자의 고유한 전도도의 선형성을 최대화할 수 있다.

이 과정을 통해 소자의 전도도가 가질 수 있는 선형성을 최대화시킨다. 제작된 시냅스 소자는 완벽할 수 없기 때문에, 측정된 전도도의 분포에는 변이(disturbance)가 존재한다. 이와 같은 분포의 변이(disturbance)는 시냅스 소자의 불완전함에서 기인할 수도 있지만, 측정 시에 발생한 실험 환경의 불완전함에 의해서도 발생할 수 있다. 이와 같이 평균 분포에서 벗어나는 이상점(outlier)은 도 3(a)에서 특별히 많이 나타난다. 이상점(outlier)들은 제안한 양자화를 적용한 이후에 일정한 펄스(identical pulse)를 기반으로 하여 예측한 함수에 의한 양자화된 값들로 근사화된다.

다시 말하면, 일반적으로 시냅스 소자가 선형성을 가질수록 시냅스 소자를 이용한 뉴로모픽 딥러닝 시스템의 학습이 잘 이루어진다[비특허문헌 15][비특허문헌 16]. 그러나 전형적인 시냅스 소자는 선형적인 전기적 동작 특성을 갖기가 매우 어렵고, 도 3(a)-(c)와 같은 비선형적인 동작 특성을 갖는다. 시냅스 소자가 비선형적인 동작 특성을 갖고 있다고 할지라도 일정한 펄스(identical pulse)를 기반으로 하여 선형성이 높은 양자화 알고리즘을 적용한다면 선형적인 동작을 할 수도 있다. 즉, 비선형적인 동작 특성을 갖는 시냅스 소자에 선형적인 동작을 할 수 있는 양자화 방식을 적용한다면, 뉴로모픽 시스템의 학습 효율을 향상시킬 수 있다.

또한, 전도도의 샘플링 및 양자화, 매핑 단계(S30)를 기존의 방법과 비교하여 설명한다.

기존의 방법(A typical method)은 시냅스 소자를 양자화하는 가장 기본적인 방법이다. 이 방법은 일정한 간격(스트라이드)으로 시냅스 소자의 전도도를 샘플링하고 양자화한다. 즉, 이 방법을 사용하면 소자의 비선형성이 그대로 반영될 수 있다.

도 7a, b에서는 일반적인 기존 방법[비특허문헌 22]과 본 발명에 따른 선형 가중 양자화 단계(S30)를 직접 비교한다. 도 7(a)는 본 발명에 따른 방법, 도 7(b)는 기존의 방법에 대한 그래프를 나타낸다. 이때, 도 7에서, (a)와 (b)에서 위쪽은 강화 그래프(potentiation graph)이고 아래쪽은 약화 그래프(depression graph)이고, (a)와 (b)에서 왼쪽은 일정한 펄스에 대한 정규화된 전도도이고, 오른쪽은 정규화된 전도도의 양자화된 전도도를 나타낸다.

각 방법에 대해 5개의 전도도 대표값들은 점으로 표시하였다. 기존의 방법에서는 스트라이드를 2로 설정하여 양자화된 값을 샘플링한다. 따라서 소자 특성이 그대로 적용되기 때문에 비선형성이 심하게 발생할 수 있다. 그러나 본 발명에 따른 방법에서는 샘플링된 스트라이드를 유연하게 적용할 수 있어 비선형적인 소자도 선형적으로 동작시킬 수 있다.

기존의 방법(Typical method)[비특허문헌 17]과 본 발명에 따른 선형 가중치 양자화 단계(S30)를 도 7(a, b)에서 비교하고 있다. 전도도 범위에 대해 특정 범위를 대표하는 전도도 값을 점으로 표현하고 있다. 도 7(a)는 입력 펄스에 기반한 소자의 비선형적인 전도도를 검정색 점으로, 본 발명에 따른 양자화 방식을 적용하여 펄스 범위에 대해 특정 범위를 대표하는 펄스에 해당하는 전도도 값을 빨간색 점으로 표현하고 있다. 이 그림에서 왼쪽 그림의 점의 값과 오른쪽 그림과 동일하다. PCMO 시냅스 소자의 강화(potentiation)과 약화(depression)의 두 경우에 대해 정규화 이후에 5 레벨로 양자화한 전도도를 나타내고 있다. 기존의 방법은 소자의 특성을 그대로 적용하였기 때문에, 매우 비선형적인 것을 확인할 수 있다. 하지만, 본 발명에 따른 선형 가중치 양자화 방법은 소자의 특성 내에서 선형성을 극대화하는 전도도 선택 방식을 적용하였기 때문에 양자화 이후의 전도도 특성은 선형성을 보인다. 즉, 소자의 특성이 선형적이지 않더라도, 선형적인 전도도 레벨을 선택함으로써 선형성을 갖는 이상적인 소자와 같은 학습 특성을 보여줄 수 있다.

다음으로, 본 발명의 일실시예에 따른 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템의 구성에 대하여 도 8 내지 도 9를 참조하여 설명한다.

신경망을 학습하는 과정에서, [비특허문헌 15]에서 제안한 방식은 가중치(weight)를 정규화한 이후에, 양자화를 적용하고 가중치(weight)를 갱신(update)한다. [비특허문헌 16]에서 제안한 방식은 뉴런들의 활성화 함수(activation function)을 조절하고, 각 뉴런들의 가중치(weight)에 임계값(threshold)를 설정한다. 각 방식들은 사용하는 시냅스 소자(synaptic device)가 모두 다르다. [비특허문헌 15]에서는 GSD (Gated Schottky diode)가 사용되고, [비특허문헌 16]에서는 Ta/HfO2/Al-doped TiO2/TiN가 사용된다.

본 발명에서는 PCMO, Li, 그리고 TiO_x가 사용된다. 신경망의 구조로는 모두 전-결합층(Fully Connected (FC) layer)이 사용되고, 활성화 함수(activation function)는 각각 순서대로 강-시그모이드(hard-sigmoid), 시그모이드(sigmoid), 그리고 ReLU가 사용된다. [비특허문헌 15]은 오프칩 학습(Off-chip training)에 대한 것이고, 나머지는 온칩 학습(On-chip training)에 대한 것이다. 도 8의 표에 각 기술들의 특징을 요약하고 있다.

신경망의 학습은 손실 함수를 이용하여 최적화된 뉴런의 가중치와 편향(bias)을 찾아내는 과정을 의미한다. 손실함수를 이용하여 정답과 신경망의 결과를 정량적으로 비교하는 연산을 수행한 후에, 그 결과를 이용하여 모든 뉴런의 가중치와 편형을 갱신한다. 이러한 과정을 수많이 반복하여 신경망를 최적화시킨다.

이때 준비된 데이터 세트(학습 데이터)의 모든 데이터를 확률적으로 한번 다 사용하기 위한 반복의 단위를 에폭(epoch)라고 정의한다. 즉, 학습 과정은 수 많은 에폭으로 구성된다.

학습을 하는 과정에서 신경망에 대한 다양한 실험조건을 조절할 수 있다. 일반적으로 조절가능한 실험조건들을 하이퍼파라미터라고 한다. 학습에 포함한 하이퍼파라미터의 개수와 학습조건에 따라서 다양한 학습을 수행할 수 있고, 학습 시간도 큰 차이를 보인다.

본 발명에 따른 시냅스로 구성된 하드웨어 형태의 신경망(뉴로모픽 시스템, 뉴로모픽 신경망) 칩에서 학습이 수행될 경우에, 이러한 학습을 온칩 학습이라고 한다. 온칩 학습을 수행하기 위해서는 학습을 위한 기능들을 뉴로모픽 시스템 하드웨어가 거의 모두 내장하고 있어야만 한다. 또한 학습이 완료된 딥러닝 알고리즘은 학습된 뉴로모픽 시스템을 이용하여 즉시 추론 동작을 수행할 수 있다.

이에 반해서 오프칩 학습은 소프트웨어 등을 이용하여 뉴로모픽 시스템의 외부에서 학습을 수행하는 방식이다. 외부에서 학습이 완료된 이후에, 가중치를 뉴로모픽 시스템에 맞게 후처리를 하여 사용하거나 혹은 후처리된 가중치를 이용하여 뉴로모픽 시스템을 제작한다.

구체적으로, 도 9에서 보는 바와 같이, 본 발명의 일실시예에 따른 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템(100)은 시냅스 소자로 구성되는 뉴로모픽 신경망(10), 신경망(10)의 출력과, 라벨 데이터와의 차이를 손실로 산출하는 손실함수 연산기(20), 손실을 최소화 하도록 가중치를 갱신하는 가중치 갱신기(30), 펄스를 발생시켜 신경망의 시냅스 소자에 가하는 펄스 발생기(50), 및, 갱신된 가중치에 매핑되는 전도도 레벨을 구하여 해당 시냅스 소자의 전도도를 변화시키도록 제어하는 선형 가중 양자화기(40)로 구성된다. 각 구성 요소는 회로, 집적 회로, ASIC, 칩 등으로 구현될 수 있다.

먼저, 뉴로모픽 신경망(10)은 시냅스 셀 어레이(synapse cell array)로서, 시냅스 소자로 구성되는 뉴로모픽 시스템이다. 즉, 신경망(뉴로모픽 시스템)의 뉴런들을 시냅스 소자로 구성한다.

시냅스 셀 어레이에서 한 쌍의 시냅스 뉴런으로 가중치를 구현한다. 즉, 시냅스 소자들은 전도도로 가중치를 저장한다고 볼 수 있다. 또한, 가중치는 시냅스 뉴런 어레이의 펄스로 조정된다.

다음으로, 펄스 발생기(50)는 범용 펄스 발생기(universal pulse generator)로서, 각 시냅스 소자에 연결되어 해당 시냅스 소자에 펄스를 가해준다. 각 시냅스 소자별로 각기 다른 펄스 수의 펄스를 가할 수 있도록 구성된다. 각 시냅스 소자에 펄스가 가해지면, 자신의 전도도가 변화된다.

다음으로, 손실함수 연산기(20)는 학습 데이터(input data)를 신경망(시냅스 셀 어레이)에 입력시켜 얻은 결과와, 학습 데이터의 정답인 라벨 데이터와의 차이(또는 손실, 손실 값)를 연산한다. 즉, 손실함수를 이용하여 정답과 신경망의 결과를 정량적으로 비교하는 연산을 수행한다.

다음으로, 가중치 갱신부(30)는 손실함수 연산기(20)의 연산 결과를 이용하여, 모든 뉴런의 가중치를 갱신한다. 즉, 손실(손실 함수)를 최소화(최적화)하는 가중치를 획득한다. 계산된 손실 값을 이용하여 손실 함수의 기울기를 계산한 후에 최적화를 위한 가중치(weight)를 구하는 데 사용된다.

새로운 가중치는 이전 가중치와 다르므로, 신경망의 뉴런에 새로운 가중치로 갱신해주어야 한다.

다음으로, 선형 가중 양자화기(40)는 전도도를 양자화 하여 가중치에 매핑하는 매핑 정보를 사전에 설정하고, 해당 시냅스 소자의 전도도를 갱신 전도도로 변환시키도록, 매핑 정보를 참조하여 펄스를 가하도록 제어한다.

즉, 선형 가중 양자화기(40)는 시냅스 소자의 펄스에 따른 전도도를 양자화 하여 가중치에 매핑하고, 매핑한 정보를 사전에 설정하여 저장해둔다.

그리고 선형 가중 양자화기(40)는 가중치가 갱신될 때마다, 갱신된 가중치 레벨과 매핑되는 전도도 레벨(양자화된 전도도)을 구하고, 매핑 정보를 참조하여 해당 전도도 레벨의 전도도로 변환시키기 위한 펄스 수를 구한다. 즉, 각 뉴런에 대해 해당 뉴런의 시냅스 소자에 대한 펄스 수를 구한다.

또한, 선형 가중 양자화기(40)는 펄스 발생기(50)를 통해 해당 펄스 수만큼 펄스를 발생시켜, 해당 뉴런의 시냅스 소자에 펄스를 가하도록 제어한다. 갱신 펄스가 가해지면, 해당 신경망(10)의 시냅스 소자의 전도도는 변화되고, 해당 뉴런의 가중치는 갱신된다.

한편, 온칩 학습 시스템(100)은 상기와 같이, 학습 데이터와 라벨 데이터를 입력하여, 상기와 같은 가중치 갱신 과정을 반복함으로써, 뉴로모픽 신경망(10)에 대해 온칩 학습을 수행한다.

다음으로, 본 발명의 효과에 대하여 보다 구체적으로 설명한다.

본 발명에서는 Pr_1-xCa_xMnO₃, LiCoO₂ 및 TiO_x로 구현된 시냅스 소자의 비선형, 불연속 및 비대칭적인 특성을 극복하기 위한 새로운 온-칩 학습 시스템을 제안하고 있다. 현재의 기술로 제작할 수 있는 시냅스 소자의 불완전한 전도도 특성은 시냅스 소자를 이용하여 딥러닝을 구현하기 위한 뉴로모픽 회로를 구성하는 주요 장애물로 고려된다. 그것은 온-칩 학습이 가능한 뉴로모픽 시스템을 구성하는 경우에 알고리즘 수준에서 보이는 정확도로 학습되지 않기 때문이다.

본 발명에서 개발한 시냅스 소자의 전도도 반응을 성공적으로 분석하고, 시냅스 소자에 인가된 입력 펄스에 따라 전도도를 업데이트하는 새로운 방식을 제안하고 있다. 뉴로모픽 시스템을 학습하는 것에 본 발명을 이용할 경우, 소자의 특성이 비선형적이고 비대칭적일수록 더욱 성능이 잘 향상될 수 있다. 바람직하게는, 구현가능성 및 현실성을 반영하여 시냅스 소자가 가질 수 있는 전도도 레벨의 수를 5개에서 20개로 제한한다. 또한, 본 발명을 평가하기 위해 MNIST를 예측하는 전결합층 신경망을 구성하여 학습과 추론을 수행한다.

또한, 본 발명에서, 선형 가중치 양자화기를 이용하여 2개의 RRAM과 ECRAM의 강화(potentiation)과 약화(depression) 특성을 향상시킬 수 있고, 시냅스 소자를 위한 온-칩 학습 방식으로 신경망의 학습 및 추론을 수행할 수 있다. 기존의 방법과 비교했을 때 PCMO 시냅스 소자의 정확도가 최대 37.7%만큼 향상된다. 즉, 본 발명에 따른 방법을 적용하지 않았을 경우와 비교할 때, 5 레벨의 경우에 전도도 특성이 가장 좋지 않는 Pr_1-xCa_xMnO₃,로 구성된 뉴로모픽 시스템의 성능이 37.7%만큼 향상됨을 확인할 수 있다. 이를 통해 비록 비선형, 불연속, 및 비대칭적인 특성을 가진 소자라 할지라도 본 발명에 따른 시스템을 사용한다면, 뉴로모픽 시스템이 높은 정확도를 가질 수 있다. 또한 본 발명에 따른 방법은 부가적인 회로가 필요하지도, 작동 펄스 파동을 변경하지 않아도, 혹은 물질 및 소자 공학적 접근이 필요하지도 않다는 장점도 갖는다. 즉, 본 발명은 시냅스 소자 및 뉴로모픽 시스템의 하드웨어적인 수정을 전혀 하지 않으면서 성능을 향상시킬 수 있다.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 뉴로모픽 신경망 20 : 손실함수 연산기
30 : 가중치 갱신기 40 : 선형 가중 양자화기
50 : 펄스 발생기

Claims

시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템에 있어서,
시냅스 소자로 구성된 시냅스 셀 어레이를 포함하는 뉴로모픽 신경망;
펄스를 발생시켜 신경망의 시냅스 소자에 가하는 펄스 발생기;
학습 데이터를 상기 뉴로모픽 신경망에 입력시켜 얻은 결과와, 상기 학습 데이터의 정답인 라벨 데이터를 정량적으로 비교하는 연산을 수행하는 손실함수 연산기;
상기 손실함수 연산기의 연산 결과를 이용하여, 상기 시냅스 소자의 가중치를 갱신하는 가중치 갱신기; 및,
상기 시냅스 소자의 펄스에 따른 전도도를 양자화 하여 가중치에 매핑해두고, 해당 시냅스 소자의 전도도를 갱신 전도도로 변환시키도록, 매핑 정보를 참조하여 상기 펄스 발생기를 통해 해당 시냅스 소자에 펄스를 가하도록 제어하는 선형 가중 양자화기를 포함하고,
상기 선형 가중 양자화기는 상기 양자화된 전도도의 선형성이 최대화가 되도록, 전도도를 양자화 하고,
상기 선형 가중 양자화기는 펄스 수에 따른 전도도를 표현하는 상기 시냅스 소자의 전도도 모델을 설정하고, 설정된 전도도 모델을 이용하여 전도도를 샘플링하는 것을 특징으로 하는 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템.
삭제
제1항에 있어서,
상기 선형 가중 양자화기는 각 펄스 수에 따른 전도도를 샘플링 하고, 샘플링된 전도도들 선정하여 양자화 하되, 최소 전도도와 최대 전도도를 선정하고, 양자화된 모든 전도도의 간격들의 제곱의 합이 최소화 되도록, 샘플링된 전도도 중에서 양자화할 전도도를 선정하고, 양자화할 전도도를 가중치의 개수만큼 선정하는 것을 특징으로 하는 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템.
삭제
제1항에 있어서,
상기 선형 가중 양자화기는 시냅스 소자의 이상적 특성을 나타내는 수학적 모델과, 해당 수학적 모델의 특성 파라미터를 설정하여 상기 전도도 모델을 정의하는 것을 특징으로 하는 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템.
제5항에 있어서,
상기 수학적 모델은 다음 수식 1에 의해 정의되는 것을 특징으로 하는 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템.
[수식 1]

단, G_LRS와 G_HRS는 각각 LRS(low resistance state)와 HRS(high resistance state) 전도도이고, α는 시냅스 소자의 특성 파라미터이고, w는 내부 변수임.
제1항에 있어서,
상기 전도도 모델은 강화 펄스에 의해 전도도가 상승하는 강화 전도도 모델과, 약화 펄스에 의해 전도도가 하락하는 약화 전도도 모델로 구분되어 구성되는 것을 특징으로 하는 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템.
제1항에 있어서,
상기 선형 가중 양자화기는 상기 시냅스 소자의 전도도를 정규화하여, 전도도를 0과 1 사이의 이산 값을 갖도록 변환하는 것을 특징으로 하는 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템.