KR20200066952A - 확장 컨벌루션 연산을 수행하는 장치 및 방법 - Google Patents

확장 컨벌루션 연산을 수행하는 장치 및 방법 Download PDF

Info

Publication number
KR20200066952A
KR20200066952A KR1020180153723A KR20180153723A KR20200066952A KR 20200066952 A KR20200066952 A KR 20200066952A KR 1020180153723 A KR1020180153723 A KR 1020180153723A KR 20180153723 A KR20180153723 A KR 20180153723A KR 20200066952 A KR20200066952 A KR 20200066952A
Authority
KR
South Korea
Prior art keywords
feature map
neural network
sub
feature maps
expansion rate
Prior art date
Application number
KR1020180153723A
Other languages
English (en)
Inventor
장준우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180153723A priority Critical patent/KR20200066952A/ko
Priority to US16/393,107 priority patent/US11017264B2/en
Publication of KR20200066952A publication Critical patent/KR20200066952A/ko
Priority to US17/243,057 priority patent/US11854241B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

확장 컨벌루션(dilated convolution) 연산을 수행하는 뉴럴 네트워크 장치는 분할 장치, 컨벌루션 연산기 및 병합 장치를 포함한다.
분할 장치는 확장률(dilation rate)에 기초하여 상기 입력 피처맵을 복수의 서브 피처맵들로 분할(split)하고, 컨벌루션 연산기는 복수의 서브 피처맵들과 기본 웨이트 간의 컨벌루션 연산을 수행함으로써 복수의 중간 피처맵들을 생성하며, 병합 장치는 확장률에 기초하여 상기 복수의 중간 피처맵들을 병합(merge)함으로써 출력 피처맵을 생성한다.

Description

확장 컨벌루션 연산을 수행하는 장치 및 방법 {METHOD AND APPARATUS FOR PERFORMING DILATED CONVOLUTION OPERATION IN NEURAL NETWORK}
본 개시는 확장 컨벌루션 연산을 수행하는 장치 및 방법에 관한다.
뉴럴 네트워크(neural network)는 생물학적 뇌를 모델링한 컴퓨터 과학적 아키텍쳐(computational architecture)를 참조한다. 뉴럴 네트워크(neural network) 기술이 발전함에 따라, 다양한 종류의 전자 시스템에서 뉴럴 네트워크를 활용하여 입력 데이터를 분석하고 유효한 정보를 추출하고 있다.
최근에는, 심층 신경망(Deep Neural Network, DNN)을 저전력으로 효율적으로 사용하기 위한 하드웨어 가속기에 대한 연구가 활발히 진행되고 있다. 뉴럴 네트워크를 처리하는 장치는 복잡한 입력 데이터에 대한 많은 양의 연산을 필요로 한다.
특히 저전력 및 저성능으로 구현되는 디바이스에서, 뉴럴 네트워크를 이용하여 대량의 입력 데이터를 실시간으로 분석하여 원하는 정보를 추출하기 위해서는 뉴럴 네트워크에 관한 연산을 효율적으로 처리할 수 있는 기술이 요구된다.
확장 컨벌루션 연산을 수행하는 장치 및 방법을 제공하는데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은, 확장 컨벌루션(dilated convolution) 연산을 수행하는 뉴럴 네트워크 장치에 있어서, 적어도 하나의 프로그램이 저장된 메모리; 및 상기 적어도 하나의 프로그램을 실행함으로써 뉴럴 네트워크를 구동하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 입력 피처맵(feature map) 및 기본 웨이트(weight)를 상기 메모리로부터 획득하고, 확장률(dilation rate)에 기초하여 상기 입력 피처맵을 복수의 서브 피처맵들로 분할(split)하고, 상기 복수의 서브 피처맵들과 상기 기본 웨이트 간의 컨벌루션 연산을 수행함으로써 복수의 중간 피처맵들을 생성하며, 상기 확장률에 기초하여 상기 복수의 중간 피처맵들을 병합(merge)함으로써 출력 피처맵을 생성하는 것인, 뉴럴 네트워크 장치를 제공할 수 있다.
또한, 상기 복수의 서브 피처맵들에서 서로 인접하는 픽셀들은, 상기 입력 피처맵에서 상기 확장률 - 1만큼 이격되어 위치하는 것인, 뉴럴 네트워크 장치를 제공할 수 있다.
또한, 상기 복수의 서브 피처맵들 각각의 크기를 기설정된 크기와 비교하며, 적어도 하나의 서브 피처맵의 크기가 상기 기설정된 크기 보다 작은 경우, 상기 기설정된 크기가 되도록 상기 적어도 하나의 서브 피처맵의 가장자리 중 적어도 일부를 소정의 값으로 패딩(padding)하는 것인, 뉴럴 네트워크 장치를 제공할 수 있다.
또한, 상기 복수의 중간 피처맵들 각각에서 서로 인접하는 픽셀들은, 상기 출력 피처맵에서 상기 확장률 - 1만큼 이격되어 위치하는 것인, 뉴럴 네트워크 장치를 제공할 수 있다.
또한, 상기 적어도 하나의 프로세서에는 분할 장치 및 병합 장치가 포함되고,
상기 분할 장치는 확장률에 기초하여 상기 입력 피처맵을 복수의 서브 피처맵들로 분할하며, 상기 병합 장치는 상기 확장률에 기초하여 상기 복수의 중간 피처맵들을 병합함으로써 출력 피처맵을 생성하는 것인, 뉴럴 네트워크 장치를 제공할 수 있다.
또한, 상기 확장률과 임계값을 비교하고, 상기 확장률이 임계값을 초과하는 경우, 상기 확장률을 소정의 값으로 나눔으로써 상기 확장률을 업데이트하고, 상기 소정의 값에 기초하여 상기 입력 피처맵을 복수의 서브 피처맵들로 분할하는 것인, 뉴럴 네트워크 장치를 제공할 수 있다.
또한, 상기 확장률과 임계값을 비교하고, 상기 확장률이 임계값을 초과하는 경우, 상기 확장률을 소정의 값으로 나눔으로써 상기 확장률을 업데이트하고, 상기 소정의 값에 기초하여 상기 복수의 중간 피처맵들을 병합함으로써 출력 피처맵을 생성하는 것인, 뉴럴 네트워크 장치를 제공할 수 있다.
또한, 상기 적어도 하나의 프로세서에는 컨벌루션 연산기가 포함되고, 상기 컨벌루션 연산기는 상기 복수의 서브 피처맵들과 상기 기본 웨이트 간의 컨벌루션 연산을 수행하는 것인, 뉴럴 네트워크 장치를 제공할 수 있다.
또한, 확장 웨이트(dilated weight)를 메모리로부터 획득하고, 상기 확장률에 기초하여 상기 확장 웨이트를 기본 웨이트로 복구하는 것인, 뉴럴 네트워크 장치를 제공할 수 있다.
또한, 본 개시의 제 2 측면은, 뉴럴 네트워크 장치에서 확장 컨벌루션 연산을 수행하는 방법에 있어서, 입력 피처맵 및 기본 웨이트를 획득하는 단계; 확장률에 기초하여 상기 입력 피처맵을 복수의 서브 피처맵들로 분할하는 단계; 상기 복수의 서브 피처맵들과 상기 기본 웨이트 간의 컨벌루션 연산을 수행함으로써 복수의 중간 피처맵들을 생성하는 단계; 및 상기 확장률에 기초하여 상기 복수의 중간 피처맵들을 병합함으로써 출력 피처맵을 생성하는 단계;를 포함하는, 방법을 제공할 수 있다.
또한, 본 개시의 제 3 측면은, 제 2 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
본 발명에 따르면, 분할 장치, 컨벌루션 연산기 및 병합 장치를 포함하는 하드웨어를 이용하여 확장 컨벌루션(dilated convolution)을 수행함으로써 연산속도 및 전력 효율을 향상시킬 수 있다.
도 1은 일 실시예에 따른 뉴럴 네트워크의 아키텍처를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 뉴럴 네트워크에서 입력 피처맵 및 출력 피처맵의 관계를 설명하기 위한 도면이다.
도 3a 내지 도 3b는 일 실시예에 따른 확장 컨벌루션 연산을 설명하기 위한 예시적인 도면이다.
도 4는 일 실시예에 따른 분할 및 병합 방식을 이용하여 확장 컨벌루션 연산을 수행하는 예시를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 분할 장치 및 병합 장치를 이용하여 확장 컨벌루션 연산을 수행하는 예시를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 서브 피처맵을 패딩하는 방법을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 분할 장치 및 병합 장치의 연산 성능을 고려하여 확장 컨벌루션 연산을 수행하는 방법에 대한 흐름도이다.
도 8a 내지 도 8b는 일 실시예에 따른 분할 장치 및 병합 장치의 연산 성능을 고려하여 확장 컨벌루션 연산을 수행하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 뉴럴 네트워크 장치의 하드웨어 구성을 도시한 블록도이다.
도 10은 일 실시예에 따른 뉴럴 네트워크 장치에서 확장 컨벌루션 연산을 수행하는 방법의 흐름도이다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 뉴럴 네트워크의 아키텍처를 설명하기 위한 도면이다.
도 1을 참조하면, 뉴럴 네트워크(1)는 딥 뉴럴 네트워크(Deep Neural Network, DNN) 또는 n-계층 뉴럴 네트워크(n-layers neural networks)의 아키텍처일 수 있다. DNN 또는 n-계층 뉴럴 네트워크는 컨벌루션 뉴럴 네트워크(Convolutional Neural Networks, CNN), 리커런트 뉴럴 네트워크(Recurrent Neural Networks, RNN), Deep Belief Networks, Restricted Boltzman Machines 등에 해당될 수 있다. 예를 들어, 뉴럴 네트워크(1)는 컨벌루션 뉴럴 네트워크(CNN)로 구현될 수 있으나, 이에 제한되지 않는다. 도 1에서는 뉴럴 네트워크(1)의 예시에 해당하는 컨벌루션 뉴럴 네트워크에서는 컨벌루션 레이어 외에도, 서브샘플링 레이어(subsampling layer, 또는 풀링 레이어(pooling layer)), 풀리 커넥티드(fully connected) 레이어 등이 더 포함될 수 있다.
뉴럴 네트워크(1)는 입력 이미지, 피처맵들(feature maps) 및 출력을 포함하는 복수 레이어들을 갖는 아키텍처로 구현될 수 있다. 뉴럴 네트워크(1)에서 입력 이미지는 웨이트(weight)라 불리는 필터와의 컨벌루션 연산이 수행되고, 그 결과 피처맵들이 출력된다. 이때 생성된 출력 피처맵들은 입력 피처맵들로서 다시 웨이트와의 컨벌루션 연산이 수행되고, 새로운 피처맵들이 출력된다. 이와 같은 컨벌루션 연산이 반복적으로 수행된 결과, 최종적으로는 뉴럴 네트워크(1)를 통한 입력 이미지의 특징들에 대한 인식 결과가 출력될 수 있다.
예를 들어, 도 1의 뉴럴 네트워크(1)에 24x24 픽셀 크기의 이미지가 입력된 경우, 입력 이미지는 웨이트와의 컨벌루션 연산을 통해 20x20 크기를 갖는 4채널의 피처맵들로 출력될 수 있다. 또한, 서브샘플링 과정을 통해 20x20 크기를 갖는 4채널의 피처맵의 픽셀 값들 중 일부만이 이용되어 10x10 크기를 갖는 4채널의 피처맵들이 출력될 수 있다. 서브샘플링 방식으로는 최대-풀링(max-pooling), 평균-풀링(average-pooling) 등의 방식 등이 적용될 수 있다.
이후에도, 10x10 피처맵들은 웨이트와의 반복적인 컨벌루션 연산 및 서브샘플링 연산을 통해 크기가 줄어들면서, 최종적으로는 글로벌(global)한 특징들이 출력될 수 있다. 뉴럴 네트워크(1)는 여러 레이어들에서 컨벌루션 연산 및 서브샘플링(또는 풀링) 연산을 반복적으로 수행함으로써 입력 이미지로부터 이미지 전체를 대표할 수 있는 강인한 특징들을 필터링하여 출력하고, 출력된 글로벌한 특징들이 풀리 커넥티드 레이어에 입력됨으로써 최종적으로 입력 이미지에 대한 인식 결과를 도출할 수 있다.
도 2는 일 실시예에 따른 뉴럴 네트워크에서 입력 피처맵 및 출력 피처맵의 관계를 설명하기 위한 도면이다.
도 2를 참조하면, 뉴럴 네트워크의 어느 레이어(2)에서, 제 1 피처맵(FM1)은 입력 피처맵에 해당될 수 있고, 제 2 피처맵(FM2)은 출력 피처맵에 해당될 수 있다. 피처맵은 입력 데이터의 다양한 특징들이 표현된 데이터 세트를 의미할 수 있다. 피처맵들(FM1, FM2)은 2차원 매트릭스의 엘리먼트들을 갖거나 또는 3차원 매트릭스의 엘리먼트들을 가질 수 있고, 각각의 엘리먼트에는 픽셀 값이 정의될 수 있다. 피처맵들(FM1, FM2)은 너비(W)(또는 칼럼이라고 함), 높이(H)(또는 로우라고 함) 및 깊이(D)를 가진다. 이때, 깊이(D)는 채널들의 개수에 해당될 수 있다.
제 1 피처맵(FM1) 및 웨이트(weight)에 대한 컨벌루션 연산이 수행될 수 있고, 그 결과 제 2 피처맵(FM2)이 생성될 수 있다. 웨이트(weight)는 각 엘리먼트에 정의된 웨이트로 제 1 피처맵(FM1)과 컨벌루션 연산을 수행함으로써 제 1 피처맵(FM1)의 특징들을 필터링한다. 웨이트(weight)는 제 1 피처맵(FM1)을 슬라이딩 윈도우 방식으로 시프트하면서 제 1 피처맵(FM1)의 윈도우들(또는 타일이라고도 함)과 컨벌루션 연산을 수행한다. 각 시프트 동안, 웨이트(weight)에 포함된 픽셀 값들 각각은 제 1 피처맵(FM1) 내 중첩된 윈도우의 픽셀 값들 각각과 곱해지고 더해질 수 있다. 제 1 피처맵(FM1)과 웨이트(weight)가 컨벌루션됨에 따라, 제 2 피처맵(FM2)의 하나의 채널이 생성될 수 있다. 도 1에는 하나의 웨이트(weight)가 도시되었으나, 실제로는 복수의 웨이트들이 제 1 피처맵(FM1)과 각각 컨벌루션되어, 복수의 채널들의 제 2 피처맵(FM2)이 생성될 수 있다.
한편, 제 2 피처맵(FM2)은 다음 레이어의 입력 피처맵에 해당될 수 있다. 예를 들어, 제 2 피처맵(FM2)은 풀링(또는 서브샘플링) 레이어의 입력 피처맵이 될 수 있다.
도 1 및 도 2에서는 설명의 편의를 위하여 뉴럴 네트워크(1)의 개략적인 아키텍처에 대해서만 도시되어 있다. 하지만, 뉴럴 네트워크(1)는 도시된 바와 달리, 보다 많거나 적은 개수의 레이어들, 피처맵들, 웨이트들 등으로 구현될 수 있고, 그 크기들 또한 다양하게 변형될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
도 3a 내지 도 3b는 일 실시예에 따른 확장 컨벌루션 연산을 설명하기 위한 예시적인 도면이다.
도 3a를 참조하면, 기본 웨이트(310)와 확장된 웨이트(320)가 도시된다. 일반적인 컨벌루션 연산에서는 입력 피처맵과 기본 웨이트(310) 간의 컨벌루션 연산이 수행되는 반면, 확장 컨벌루션(dilated convolution) 연산에서는 입력 피처맵과 확장된 웨이트(320) 간의 컨벌루션 연산이 수행될 수 있다.
뉴럴 네트워크 장치는 확장 컨벌루션 연산을 수행함으로써, 해상도의 손실 없이 수용 영역(receptive field)의 크기를 확장시킬 수 있다. 일반적으로 수용 영역을 확장시키기 위해서는 파라미터(즉, 웨이트)의 개수를 증가시켜야 하나, 확장 컨벌루션 연산에서는 파라미터의 개수를 증가시키지 않고도 수용 영역의 크기를 확장시킬 수 있다는 이점이 존재한다. 즉, 뉴럴 네트워크 장치는 확장 컨벌루션 연산을 수행함으로써 연산량을 감소시킬 수 있다.
일 실시예에서 뉴럴 네트워크 장치는 확장률(dilation rate)에 기초하여 확장된 웨이트(320)의 크기를 결정할 수 있다. 일 실시예에서 뉴럴 네트워크 장치는 기본 웨이트(310)에 포함된 서로 인접한 픽셀들을, (확장률 - 1)만큼 이격시킴으로써 기본 웨이트(310)를 확장된 웨이트(320)로 확장시킬 수 있다.
도 3a를 참조하면, 확장률이 '2'인 경우, 뉴럴 네트워크 장치는 3x3 크기의 기본 웨이트(310)에 포함된 서로 인접한 픽셀들을 '1'만큼 이격시킴으로써, 3x3 크기의 기본 웨이트(310)를 5x5 크기의 확장된 웨이트(320)로 확장시킬 수 있다. 마찬가지 방식으로, 확장률이 '3'인 경우 뉴럴 네트워크 장치는 3x3 크기의 기본 웨이트(310)를 7x7 크기의 확장된 웨이트로 확장시킬 수 있다.
일 실시예에서 기본 웨이트(310)의 서로 인접한 픽셀들이 확장된 웨이트(320)에서 서로 이격됨에 따라, 그 사이에 새롭게 생성되는 픽셀들의 값은 기설정된 값으로 설정될 수 있다. 도 3a를 참조하면, 확장된 웨이트(320)는 제 1 픽셀(321) 및 제 2 픽셀(322)로 구성될 수 있다. 제 1 픽셀(321)은 기본 웨이트(310)를 구성하는 픽셀들로서, 입력 피처맵과의 컨벌루션 연산에 사용되는 실제 의미가 있는 픽셀이다. 제 2 픽셀(322)은 수용 영역의 크기를 확장시키기 위해 적용된 픽셀로서, 예를 들어 제 2 픽셀(322)의 값은 '0'으로 설정될 수 있다.
도 3b는 확장된 웨이트(320)와 입력 피처맵(330) 간의 컨벌루션 연산 즉, 확장 컨벌루션 연산이 수행되는 방식을 설명하는 도면이다.
5x5 크기의 확장된 웨이트(320)는 8x8 크기의 입력 피처맵(330)을 슬라이딩 윈도우 방식으로 시프트하면서 입력 피처맵(330)의 픽셀들과 컨벌루션 연산을 수행할 수 있다. 각 시프트 동안, 확장된 웨이트(320)에 포함된 픽셀들은 입력 피처맵(330) 내 중첩된 픽셀들과 곱해지고 더해짐으로써 컨벌루션 연산이 수행될 수 있다.
확장된 웨이트(320)는 5x5 크기를 가지므로 수용 영역의 크기 역시 5x5가 되나, 5x5 크기의 확장된 웨이트(320)에 포함된 픽셀들 중 제 2 픽셀들의 값은 모두 '0'으로 설정되므로, 실질적으로 확장 컨벌루션에서의 연산량은 제 1 픽셀들의 값과 이와 중첩되는 입력 피처맵(330)의 픽셀들 간의 연산량이 된다. 즉, 확장된 웨이트(320)의 크기가 5x5임에도 불구하고, 연산량은 3x3 크기의 웨이트를 처리하는 연산량과 동일하다.
도 4는 일 실시예에 따른 분할 및 병합 방식을 이용하여 확장 컨벌루션 연산을 수행하는 예시를 설명하기 위한 도면이다.
뉴럴 네트워크 장치는 확장률(dilation rate)에 기초하여 입력 피처맵(410)을 복수의 서브 피처맵들(420)로 분할(split)할 수 있다.
일 실시예에서 뉴럴 네트워크 장치는 확장률에 기초하여, 입력 피처맵(410)이 분할됨에 따라 생성되는 서브 피처맵들(420)의 개수를 결정할 수 있다. 뉴럴 네트워크 장치는 (확장률2)만큼의 서브 피처맵들(420)이 생성되도록 입력 피처맵(410)을 분할할 수 있다. 도 4를 참조하면, 확장률이 '2'인 경우, 뉴럴 네트워크 장치는 8x8 크기의 입력 피처맵(410)을 분할하여 4x4 크기를 갖는 4(=22)개의 서브 피처맵들(420)을 생성할 수 있다.
또한, 뉴럴 네트워크 장치는 확장률에 기초하여 입력 피처맵(410)을 분할하는 방식을 결정할 수 있다. 뉴럴 네트워크 장치는 입력 피처맵(410) 내에서 (확장률 -1)만큼 이격되어 위치한 픽셀들이 하나의 서브 피처맵에 포함되도록 입력 피처맵(410)을 분할할 수 있다. 즉, 복수의 서브 피처맵들(420)에서 서로 인접하는 픽셀들은, 입력 피처맵(410)에서 (확장률 - 1)만큼 이격되어 위치하는 픽셀들일 수 있다.
도 4를 참조하면, 확장률이 '2'인 경우, 뉴럴 네트워크 장치는 입력 피처맵(410)에서 '1'만큼 이격되어 위치한 픽셀들이 하나의 서브 피처맵에 포함되도록 입력 피처맵(410)을 분할할 수 있다. 예를 들어, 8x8 크기의 입력 피처맵(410)을 구성하는 64개의 픽셀들 중에서, '1'만큼 이격되어 위치한 a1 내지 a16 픽셀들이 하나의 서브 피처맵을 구성할 수 있다. 마찬가지 방식으로, b1 내지 b16 픽셀들, c1 내지 c16의 픽셀들 및 d1 내지 d16의 픽셀들은 각각 하나의 서브 피처맵을 구성할 수 있다.
뉴럴 네트워크 장치는 복수의 서브 피처맵들(420)과 기본 웨이트(450) 간의 컨벌루션 연산을 수행함으로써 복수의 중간 피처맵들(430)을 생성할 수 있다.
일 실시예에서 뉴럴 네트워크 장치는 복수의 서브 피처맵들(420) 각각에 대해 기본 웨이트(450)를 슬라이딩 윈도우 방식으로 시프트하면서, 복수의 서브 피처맵들(420)의 픽셀들과 기본 웨이트(450) 간의 컨벌루션 연산을 수행할 수 있다. 각 시프트 동안, 기본 웨이트(450)에 포함된 픽셀들은 복수의 서브 피처맵들(420) 내 중첩된 픽셀들과 곱해지고 더해짐으로써 컨벌루션 연산이 수행될 수 있다.
복수의 서브 피처맵들(420)과 기본 웨이트(450) 간의 컨벌루션 연산이 수행된 결과, 뉴럴 네트워크 장치는 복수의 서브 피처맵들(420) 각각에 대응하는 복수의 중간 피처맵들(430)을 생성할 수 있다. 즉, 복수의 서브 피처맵들(420)의 개수와 복수의 중간 피처맵들(430)의 개수는 동일할 수 있다.
도 4를 참조하면, 뉴럴 네트워크 장치는 4x4 크기를 갖는 4개의 서브 피처맵들(420)과 3x3 크기를 갖는 기본 웨이트(450) 간의 컨벌루션 연산을 수행함으로써, 2x2 크기를 갖는 4개의 중간 피처맵들(430)을 생성할 수 있다.
뉴럴 네트워크 장치는 확장률에 기초하여 복수의 중간 피처맵들(430)을 병합(merge)함으로써 출력 피처맵(440)을 생성할 수 있다. 일 실시예에서 뉴럴 네트워크 장치는 확장률에 기초하여 복수의 중간 피처맵들(430)을 병합하는 방식을 결정할 수 있다. 뉴럴 네트워크 장치는 복수의 중간 피처맵들(430) 각각에서 서로 인접하는 픽셀들이 출력 피처맵(440)에서 (확장률 - 1)만큼 이격되어 위치하도록, 복수의 중간 피처맵들(430)을 병합할 수 있다.
도 4를 참조하면, 확장률이 '2'인 경우, 뉴럴 네트워크 장치는 복수의 중간 피처맵들(430) 각각에서 서로 인접하는 픽셀들이 출력 피처맵(440)에서 '1'만큼 이격되어 위치하도록, 복수의 중간 피처맵들(430)을 병합할 수 있다. 뉴럴 네트워크 장치는 2x2 크기를 갖는 4개의 중간 피처맵들(430)을 병합하여 4x4 크기의 출력 피처맵(440)을 생성할 수 있다.
도 3a 내지 도 3b에서 상술한 확장된 웨이트(320)를 이용하여 확장 컨벌루션 연산을 수행하는 방법은, 기본 웨이트(310)를 확장시킨 확장된 웨이트(320)를 사용해야 하며 컨벌루션 연산에 이용되지 않는 입력 피처맵의 픽셀들(즉, 제 2 픽셀들)까지 읽어와야 한다는 점에서 비효율적이다.
본 개시에서는 확장 컨벌루션 연산을 수행하는데 분할 및 병합 방식을 적용하여, 기본 웨이트(310, 450)를 확장된 웨이트(320)로 확장시킬 필요가 없고, 컨벌루션 연산에 실질적으로 이용되는 입력 피처맵의 픽셀들(즉, 복수의 서브 피처맵들(420) 각각의 픽셀들)만을 읽어와 확장 컨벌루션 연산을 수행할 수 있다는 점에서, 연산속도 및 전력 효율을 향상시킬 수 있다.
도 5는 일 실시예에 따른 분할 장치 및 병합 장치를 이용하여 확장 컨벌루션 연산을 수행하는 예시를 설명하기 위한 도면이다.
도 5를 참조하면, 뉴럴 네트워크 장치(500)는 분할 장치(510), 컨벌루션 연산기(520) 및 병합 장치(530)를 포함할 수 있다. 분할 장치(510), 컨벌루션 연산기(520) 및 병합 장치(530)는 뉴럴 네트워크 장치(500) 내에 구비된 CPU(central processing unit), GPU(graphics processing unit), AP(application processor) 등으로 구현될 수 있으나, 이에 제한되지 않는다.
뉴럴 네트워크 장치(500)는 입력 피처맵(501) 및 기본 웨이트(505)를 메모리로부터 획득할 수 있다.
분할 장치(510)에는 입력 피처맵(501)이 입력될 수 있다. 분할 장치(510)는 확장률에 기초하여 입력 피처맵(501)을 복수의 서브 피처맵들(502)로 분할할 수 있다. 일 실시예에서 분할 장치(510)는 (확장률2)만큼의 서브 피처맵들(502)이 생성되도록 입력 피처맵(501)을 분할할 수 있다. 또한, 분할 장치(510)는 입력 피처맵(501) 내에서 (확장률 -1)만큼 이격되어 위치한 픽셀들이 하나의 서브 피처맵에 포함되도록 입력 피처맵(501)을 분할할 수 있다.
컨벌루션 연산기(520)에는 분할 장치(510)로부터 생성된 복수의 서브 피처맵들(502)과 기본 웨이트(505)가 입력될 수 있다. 컨벌루션 연산기(520)는 복수의 서브 피처맵들(502)과 기본 웨이트(505) 간의 컨벌루션 연산을 수행할 수 있다. 컨벌루션 연산기(520)는 복수의 서브 피처맵들(502) 각각에 대해 기본 웨이트(505)를 슬라이딩 윈도우 방식으로 시프트하면서, 복수의 서브 피처맵들(502)의 픽셀들과 기본 웨이트(505) 간의 컨벌루션 연산을 수행할 수 있다. 컨벌루션 연산기(520)는 복수의 서브 피처맵들(502)과 기본 웨이트(505) 간의 컨벌루션 연산을 수행함으로써 복수의 서브 피처맵들(502) 각각에 대응하는 복수의 중간 피처맵들(503)을 생성할 수 있다.
병합 장치(530)에는 컨벌루션 연산기(520)로부터 생성된 복수의 중간 피처맵들(503)이 입력될 수 있다. 병합 장치(530)는 확장률에 기초하여 복수의 중간 피처맵들(503)을 병합(merge)함으로써 출력 피처맵(504)을 생성할 수 있다. 병합 장치(530)는 복수의 중간 피처맵들(503) 각각에서 서로 인접하는 픽셀들이 출력 피처맵(504)에서 (확장률 - 1)만큼 이격되어 위치하도록, 복수의 중간 피처맵들(503)을 병합할 수 있다.
한편, 뉴럴 네트워크 장치(500)는 기본 웨이트(505) 대신 확장된 웨이트를 메모리로부터 획득할 수 있다. 이 경우, 뉴럴 네트워크 장치(500)는 확장률에 기초하여 확장된 웨이트를 기본 웨이트(505)로 복구(restore)할 수 있다. 도 3a를 참조하여 설명하면, 뉴럴 네트워크 장치(500)는 확장된 웨이트(320)의 제 2 픽셀들을 제거함으로써, 확장된 웨이트(320)를 제 1 픽셀들만으로 구성된 기본 웨이트(310, 505)로 복구할 수 있다. 뉴럴 네트워크 장치(500)는 복구된 기본 웨이트(310, 505)와 분할 장치(510)로부터 생성된 복수의 서브 피처맵들(502)을 컨벌루션 연산기(520)에 입력할 수 있다.
확장 컨벌루션 연산을 수행하는데 있어서, 일반 컨벌루션 연산에 이용되는 하드웨어를 이용할 경우 기본 웨이트를 확장시킨 확장된 웨이트를 사용해야 하며 컨벌루션 연산에 이용되지 않는 입력 피처맵의 픽셀들(즉, 도 3a 내지 도 3b의 제 2 픽셀들)까지 읽어와야 한다는 점에서 비효율적이다.
본 개시에서는 분할 장치(510), 컨벌루션 연산기(520) 및 병합 장치(530)를 포함하는 하드웨어를 이용함으로써 기본 웨이트를 확장된 웨이트로 확장시킬 필요가 없으며, 컨벌루션 연산에 실질적으로 이용되는 입력 피처맵의 픽셀들(즉, 복수의 서브 피처맵들(502) 각각의 픽셀들)만을 읽어와 확장 컨벌루션 연산을 수행할 수 있다는 점에서, 연산속도 및 전력 효율을 향상시킬 수 있다.
도 6은 일 실시예에 따른 서브 피처맵을 패딩하는 방법을 설명하기 위한 도면이다.
뉴럴 네트워크 장치는 확장률에 기초하여 입력 피처맵(610)을 복수의 중간 서브 피처맵들(621 내지 624)로 분할할 수 있다. 일 실시예에서 뉴럴 네트워크 장치는 (확장률2)만큼의 중간 서브 피처맵들(621 내지 624)이 생성되도록 입력 피처맵(610)을 분할할 수 있다. 또한, 뉴럴 네트워크 장치는 입력 피처맵(610) 내에서 (확장률 -1)만큼 이격되어 위치한 픽셀들이 하나의 중간 서브 피처맵에 포함되도록 입력 피처맵(610)을 분할할 수 있다.
도 6을 참조하면, 입력 피처맵(610)이 5x5 크기를 갖고 확장률이 '2'인 경우, 입력 피처맵(610)은 3x3 크기의 제 1 중간 서브 피처맵(621), 3x2 크기의 제 2 중간 서브 피처맵(622), 2x3 크기의 제 3 중간 서브 피처맵(623) 및 2x2 크기의 제 4 중간 서브 피처맵(624)으로 분할될 수 있다.
뉴럴 네트워크 장치는 복수의 중간 서브 피처맵들(621 내지 624) 각각의 크기를 기설정된 크기와 비교하고, 기설정된 크기보다 작은 중간 서브 피처맵의 크기가 기설정된 크기가 되도록 중간 서브 피처맵의 가장자리 중 적어도 일부를 소정의 값으로 패딩(padding)할 수 있다. 일 실시예에서 기설정된 크기는 복수의 중간 서브 피처맵들 중 가장 큰 중간 서브 피처맵의 크기일 수 있으나, 이에 제한되지 않는다.
도 6을 참조하면, 뉴럴 네트워크 장치는 기설정된 크기를 3x3(즉, 제 1 중간 서브 피처맵(621)의 크기)으로 설정하고, 3x3 보다 작은 제 2 내지 제 4 중간 서브 피처맵들(622 내지 624)의 가장자리를 '0'으로 패딩함으로써 복수의 최종 서브 피처맵들(631 내지 634)을 생성할 수 있다.
복수의 최종 서브 피처맵들(631 내지 634) 중, 제 1 최종 서브 피처맵(631)은 제 1 중간 서브 피처맵(621)과 동일하다. 한편, 제 2 중간 서브 피처맵(622)의 세 번째 열이 '0'으로 패딩되어 제 2 최종 서브 피처맵(632)이 생성되고, 제 3 중간 서브 피처맵(623)의 세 번째 행이 '0'으로 패딩되어 제 3 최종 서브 피처맵(633)이 생성되며, 제 4 중간 서브 피처맵(624)의 세 번째 열 및 세 번째 행이 '0'으로 패딩되어 제 4 최종 서브 피처맵(634)이 생성될 수 있다.
복수의 최종 서브 피처맵들(631 내지 634)이 생성된 후, 뉴럴 네트워크 장치는 복수의 최종 서브 피처맵들(631 내지 634)과 기본 웨이트 간의 컨벌루션 연산을 수행할 수 있다. 이하의 과정은 도 4 내지 5에서 자세히 상술하였으므로 편의상 생략하기로 한다.
도 7은 일 실시예에 따른 분할 장치 및 병합 장치의 연산 성능을 고려하여 확장 컨벌루션 연산을 수행하는 방법에 대한 흐름도이다.
일 실시예에서 분할 장치 및 병합 장치는 기설정된 임계값 이하의 확장률만을 지원하도록 설계될 수 있다. 이 때, 뉴럴 네트워크 장치는 분할 장치 및 병합 장치를 반복적으로 사용하여 임계값을 초과하는 확장률에 대해서도 확장 컨벌루션을 수행할 수 있다.
이하에서는, 뉴럴 네트워크 장치 내 분할 장치 및 병합 장치가 '2' 또는 '3'의 확장률만을 지원하도록 설계된 경우, 뉴럴 네트워크 장치에서 확장률이 '6'인 확장 컨벌루션이 수행되는 방법에 대해 설명하기로 한다.
먼저, 뉴럴 네트워크 장치는 참조 값(이하, r)을 '6'으로 설정할 수 있다.
도 7을 참조하면, 단계 711에서 뉴럴 네트워크 장치는 확장 컨벌루션을 수행하기 위한 r이 '1'인지 여부를 결정할 수 있다. r이 '1'이 아닌 경우 단계 712로 진행한다.
단계 712에서 뉴럴 네트워크 장치는 r이 '2'의 배수인지 여부를 결정할 수 있다. r이 '2'의 배수인 경우 단계 713으로 진행한다.
단계 713에서 뉴럴 네트워크 장치는 확장률을 '2'로 설정한 후 입력 피처맵을 복수의 서브 피처맵들로 분할할 수 있다. 확장률이 '2'인 경우, 입력 피처맵은 4개의 서브 피처맵들로 분할될 수 있다. 또한, 뉴럴 네트워크 장치는 r을 r/2로 업데이트한 후, 단계 711로 돌아가 r이 '1'인지 여부를 결정할 수 있다.
단계 712에서 r이 '2'의 배수가 아닌 경우 단계 714로 진행한다.
단계 714에서 뉴럴 네트워크 장치는 r이 '3'의 배수인지 여부를 결정할 수 있다. r이 '3'의 배수인 경우 단계 715로 진행한다.
단계 715에서 뉴럴 네트워크 장치는 확장률을 '3'으로 설정한 후 입력 피처맵을 복수의 서브 피처맵들로 분할할 수 있다. 확장률이 '3'인 경우, 입력 피처맵은 9개의 서브 피처맵들로 분할될 수 있다. 또한, 뉴럴 네트워크 장치는 r을 r/3로 업데이트한 후, 단계 711로 돌아가 r이 '1'인지 여부를 결정할 수 있다.
한편, 확장률에 따라 단계 713 및/또는 단계 715가 여러 번 수행될 수 있다.
예를 들어, 확장률이 '4'인 경우, 단계 713이 두 번 수행된다. 이 경우, 뉴럴 네트워크 장치는 먼저 단계 713에서 입력 피처맵을 4개의 제 1 서브 피처맵들로 분할하고, r을 '2(=4/2)'로 업데이트할 수 있다. 이후, 뉴럴 네트워크 장치는 다시 단계 713에서 4개의 제 1 서브 피처맵들 각각을 4개의 제 2 서브 피처맵들로 분할하고, r을 '1(=2/2)'로 업데이트할 수 있다. 즉, 단계 713이 두 번 수행된 결과, 총 16개의 제 2 서브 피처맵들이 생성될 수 있다. 상술한 과정을 통해 생성된 16개의 제 2 서브 피처맵들은, 확장률이 '4'인 경우를 지원하는 분할 장치에서 생성된 16개의 서브 피처맵들과 동일하다.
또는, 확장률이 '6'인 경우, 단계 713이 수행된 후 단계 715가 수행된다. 이 경우, 뉴럴 네트워크 장치는 먼저 단계 713에서 입력 피처맵을 4개의 제 1 서브 피처맵들로 분할하고, r을 '3(=6/2)'으로 업데이트할 수 있다. 이후, 뉴럴 네트워크 장치는 단계 715에서 4개의 제 1 서브 피처맵들 각각을 9개의 제 2 서브 피처맵들로 분할하고, r을 '1(=3/3)'로 업데이트할 수 있다. 즉, 단계 713 및 단계 715가 순차적으로 수행된 결과, 총 36개의 제 2 서브 피처맵들이 생성될 수 있다. 상술한 과정을 통해 생성된 36개의 제 2 서브 피처맵들은, 확장률이 '6'인 경우를 지원하는 분할 장치에서 생성된 36개의 서브 피처맵들과 동일하다.
단계 711에서 r이 '1'인 경우, 뉴럴 네트워크 장치는 단계 720으로 진행한다. 단계 720이 진행되는 경우, r은 초기 값으로 리셋(reset)된다. 즉, r은 초기 값 '6'으로 리셋될 수 있다.
단계 720에서 뉴럴 네트워크 장치는 컨벌루션 연산기를 이용하여 복수의 서브 피처맵들과 기본 웨이트 간의 컨벌루션 연산을 수행하고, 그 결과 복수의 중간 피처맵들이 생성된다.
컨벌루션 연산이 수행된 후, 단계 731에서 뉴럴 네트워크 장치는 확장 컨벌루션을 수행하기 위한 r이 '1'인지 여부를 결정할 수 있다. r이 '1'이 아닌 경우 단계 732로 진행한다.
단계 732에서 뉴럴 네트워크 장치는 r이 '3'의 배수인지 여부를 결정할 수 있다. r이 '3'의 배수인 경우 단계 733으로 진행한다.
단계 733에서 뉴럴 네트워크 장치는 확장률을 '3'로 설정한 후 복수의 중간 피처맵들을 출력 피처맵으로 병합할 수 있다. 또한, 뉴럴 네트워크 장치는 r을 r/3로 업데이트한 후, 단계 731로 돌아가 r이 '1'인지 여부를 결정할 수 있다.
단계 732에서 r이 '3'의 배수가 아닌 경우 단계 734로 진행한다.
단계 734에서 뉴럴 네트워크 장치는 r이 '2'의 배수인지 여부를 결정할 수 있다. r이 '2'의 배수인 경우 단계 735로 진행한다.
단계 735에서 뉴럴 네트워크 장치는 확장률을 '2'로 설정한 후 복수의 중간 피처맵들을 출력 피처맵으로 병합할 수 있다. 또한, 뉴럴 네트워크 장치는 r을 r/2로 업데이트한 후, 단계 731로 돌아가 r이 '1'인지 여부를 결정할 수 있다.
한편, 확장률에 따라 단계 733 및/또는 단계 735가 복수 번 수행될 수 있다.
예를 들어, 확장률이 '4'인 경우, 단계 735가 두 번 수행된다. 이 경우, 뉴럴 네트워크 장치는 먼저 단계 735에서 16개의 제 1 중간 피처맵들을 병합하여 4개의 제 2 중간 피처맵들을 생성하고, r을 '2(=4/2)'로 업데이트할 수 있다. 이후, 뉴럴 네트워크 장치는 다시 단계 735에서 4개의 제 2 중간 피처맵들을 병합하여 1개의 출력 피처맵을 생성하고, r을 '1(=2/2)'로 업데이트할 수 있다. 즉, 단계 735가 두 번 수행된 결과, 16개의 제 1 중간 피처맵들이 병합되어 1개의 출력 피처맵이 생성될 수 있다. 상술한 과정을 통해 생성된 출력 피처맵은, 확장률이 '4'인 경우를 지원하는 병합 장치에서 생성된 출력 피처맵과 동일하다.
또는, 확장률이 '6'인 경우, 단계 733이 수행된 후 단계 735가 수행된다. 이 경우, 뉴럴 네트워크 장치는 먼저 단계 733에서 36개의 제 1 중간 피처맵들을 병합하여 4개의 제 2 중간 피처맵들을 생성하고, r을 '2(=6/3)'로 업데이트할 수 있다. 이후, 뉴럴 네트워크 장치는 단계 735에서 4개의 제 2 서브 피처맵들을 병합하여 1개의 출력 피처맵을 생성하고, r을 '1(=2/2)'로 업데이트할 수 있다. 즉, 단계 733 및 단계 735가 순차적으로 수행된 결과, 36개의 제 1 중간 피처맵들이 병합되어 1개의 출력 피처맵이 생성될 수 있다. 상술한 과정을 통해 생성된 출력 피처맵은, 확장률이 '6'인 경우를 지원하는 병합 장치에서 생성된 출력 피처맵과 동일하다.
단계 731에서 r이 '1'인 경우, 뉴럴 네트워크 장치는 병합 단계를 종료하고 출력 피처맵을 결과 값으로 출력할 수 있다.
한편, 도 7에는 분할 장치 및 병합 장치가 '2' 또는 '3'의 확장률만을 지원하는 경우를 도시하고 있으나, 분할 장치 및 병합 장치가 지원하는 확장률의 종류 및 개수는 이에 제한되지 않는다.
도 8a 내지 도 8b는 일 실시예에 따른 분할 장치 및 병합 장치의 연산 성능을 고려하여 확장 컨벌루션 연산을 수행하는 방법을 설명하기 위한 도면이다.
이하에서는, 뉴럴 네트워크 장치가 '2' 또는 '3'의 확장률만을 지원하도록 설계된 경우, 뉴럴 네트워크 장치에서 확장 컨벌루션이 수행되는 방법에 대해 설명하기로 한다.
도 8a를 참조하면, 확장률이 '6'인 경우 24x24 크기의 입력 피처맵(810)을 복수의 서브 피처맵들로 분할할 수 있다. 먼저, 뉴럴 네트워크 장치는 참조 값(이하, r)을 '6'으로 설정할 수 있다.
뉴럴 네트워크 장치는 r이 2의 배수이므로 확장률을 '2'로 설정하여 24x24 크기의 입력 피처맵(810)을 12x12 크기의 4(=22)개의 제 1 서브 피처맵들(821)로 분할할 수 있다. 확장률이 '2'로 설정된 상태이므로, 뉴럴 네트워크 장치는 입력 피처맵(810)에서 '1'만큼 이격되어 위치한 픽셀들이 하나의 제 1 서브 피처맵에 포함되도록 입력 피처맵(810)을 분할할 수 있다. 뉴럴 네트워크 장치는 제 1 서브 피처맵들(821)을 생성한 후, r을 '3(=r/2)'으로 업데이트할 수 있다.
다음으로, 업데이트된 r이 3의 배수이므로, 뉴럴 네트워크 장치는 확장률을 '3'으로 설정하여 12x12 크기의 4개의 제 1 서브 피처맵들(821) 각각을 4x4 크기의 9개의 제 2 서브 피처맵들(822)로 분할할 수 있다. 확장률이 '3'으로 설정된 상태이므로, 뉴럴 네트워크 장치는 제 1 서브 피처맵들(821)에서 '2'만큼 이격되어 위치한 픽셀들이 하나의 제 2 서브 피처맵에 포함되도록 제 1 서브 피처맵들(821)을 분할할 수 있다. 뉴럴 네트워크 장치는 제 2 서브 피처맵들(822)을 생성한 후, r을 '1(=확장률/3)'로 업데이트할 수 있다.
상술한 과정을 통해 생성된 4x4 크기의 36개의 제 2 서브 피처맵들(822)은, 확장률이 '6'인 경우를 지원하는 뉴럴 네트워크 장치에서 생성된 4x4 크기의 36개의 서브 피처맵들과 동일하다.
도 8b를 참조하면, 뉴럴 네트워크 장치는 4x4 크기의 36개의 제 2 서브 피처맵들(822)과 3x3 크기의 기본 웨이트 간의 컨벌루션 연산을 수행함으로써, 2x2 크기의 36개의 제 1 중간 피처맵들(831)을 생성할 수 있다.
뉴럴 네트워크 장치는 r을 다시 '6'으로 리셋할 수 있다. 또한, 뉴럴 네트워크 장치는 상술한 분할 과정의 역순으로 병합 과정을 진행할 수 있다.
뉴럴 네트워크 장치는 r이 3의 배수이므로 확장률을 '3'으로 설정할 수 있다. 뉴럴 네트워크 장치는 2x2 크기의 36개의 제 1 중간 피처맵들(831)을 병합하여 6x6 크기의 4개의 제 2 중간 피처맵들(832)을 생성할 수 있다. 확장률이 '3'으로 설정된 상태이므로, 뉴럴 네트워크 장치는 제 1 중간 피처맵들(831) 각각에서 서로 인접하는 픽셀들이 제 2 중간 피처맵들(832)에서 '2'만큼 이격되어 위치하도록, 제 1 중간 피처맵들(831)을 병합할 수 있다. 뉴럴 네트워크 장치는 제 2 중간 피처맵들(832)을 생성한 후, r을 '2(=확장률/3)'로 업데이트할 수 있다.
다음으로, 업데이트된 r이 2의 배수이므로, 뉴럴 네트워크 장치는 확장률을 '2'로 설정하여 장치는 6x6 크기의 4개의 제 2 중간 피처맵들(832)을 병합하여 12x12 크기의 출력 피처맵(840)을 생성할 수 있다. 확장률이 '2'로 설정된 상태이므로, 뉴럴 네트워크 장치는 제 2 중간 피처맵들(832) 각각에서 서로 인접하는 픽셀들이 출력 피처맵(840)에서 '1'만큼 이격되어 위치하도록, 제 2 중간 피처맵들(832)을 병합할 수 있다. 뉴럴 네트워크 장치는 출력 피처맵(840)을 생성한 후, r을 '1(=확장률/2)'로 업데이트할 수 있다.
상술한 과정을 통해 생성된 12x12 크기의 출력 피처맵(840)은, r이 '6'인 경우를 지원하는 뉴럴 네트워크 장치에서 생성된 12x12 크기의 출력 피처맵과 동일하다.
도 9는 일 실시예에 따른 뉴럴 네트워크 장치의 하드웨어 구성을 도시한 블록도이다.
뉴럴 네트워크 장치(900)는 PC(personal computer), 서버 디바이스, 모바일 디바이스, 임베디드 디바이스 등의 다양한 종류의 디바이스들로 구현될 수 있고, 구체적인 예로서 뉴럴 네트워크를 이용한 음성 인식, 영상 인식, 영상 분류 등을 수행하는 스마트폰, 태블릿 디바이스, AR(Augmented Reality) 디바이스, IoT(Internet of Things) 디바이스, 자율주행 자동차, 로보틱스, 의료기기 등에 해당될 수 있으나, 이에 제한되지 않는다. 나아가서, 뉴럴 네트워크 장치(900)는 위와 같은 디바이스에 탑재되는 전용 하드웨어 가속기(HW accelerator)에 해당될 수 있고, 뉴럴 네트워크 장치(900)는 뉴럴 네트워크 구동을 위한 전용 모듈인 NPU(neural processing unit), TPU(Tensor Processing Unit), Neural Engine 등과 같은 하드웨어 가속기일 수 있으나, 이에 제한되지 않는다.
도 9를 참조하면, 뉴럴 네트워크 장치(900)는 프로세서(910) 및 메모리(920)를 포함한다. 도 9에 도시된 뉴럴 네트워크 장치(900)에는 본 실시예들와 관련된 구성요소들만이 도시되어 있다. 따라서, 뉴럴 네트워크 장치(900)에는 도 9에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다.
프로세서(910)는 뉴럴 네트워크 장치(900)를 실행하기 위한 전반적인 기능들을 제어하는 역할을 한다. 예를 들어, 프로세서(910)는 뉴럴 네트워크 장치(900) 내의 메모리(920)에 저장된 프로그램들을 실행함으로써, 뉴럴 네트워크 장치(900)를 전반적으로 제어한다. 프로세서(910)는 뉴럴 네트워크 장치(900) 내에 구비된 CPU(central processing unit), GPU(graphics processing unit), AP(application processor) 등으로 구현될 수 있으나, 이에 제한되지 않는다.
메모리(920)는 뉴럴 네트워크 장치(900) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 예를 들어, 메모리(920)는 뉴럴 네트워크 장치(900)에서 처리된 데이터들 및 처리될 데이터들을 저장할 수 있다. 또한, 메모리(920)는 뉴럴 네트워크 장치(900)에 의해 구동될 애플리케이션들, 드라이버들 등을 저장할 수 있다. 메모리(920)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함할 수 있다.
프로세서(910)는 메모리(920)로부터 뉴럴 네트워크 데이터, 예를 들어 이미지 데이터, 피처맵 데이터, 웨이트 데이터 등을 리드/라이트(read/write)하고, 리드/라이트된 데이터를 이용하여 뉴럴 네트워크를 실행한다. 뉴럴 네트워크가 실행될 때, 프로세서(910)는 출력 피처맵에 관한 데이터를 생성하기 위하여, 입력 피처맵과 웨이트 간의 컨벌루션 연산을 반복적으로 수행한다. 이때, 입력 피처맵의 채널 수, 웨이트의 채널 수, 입력 피처맵의 크기, 웨이트의 크기, 값의 정밀도(precision) 등의 다양한 팩터들에 의존하여 컨벌루션 연산의 연산량이 결정될 수 있다. 도 1에 도시된 뉴럴 네트워크(1)와 달리, 뉴럴 네트워크 장치(900)에서 구동되는 실제 뉴럴 네트워크는 보다 복잡한 아키텍처로 구현될 수 있다. 이에 따라 프로세서(910)는 수억에서 수백억에 다다를 정도로 매우 많은 연산량(operation count)의 컨벌루션 연산들을 수행하게 되고, 프로세서(910)가 컨벌루션 연산을 위해 메모리(920)에 액세스하는 빈도가 함께 비약적으로 증가될 수 밖에 없다. 이와 같은 연산량 부담으로 인하여 비교적 처리 성능이 낮은 스마트폰, 태블릿, 웨어러블 디바이스 등과 같은 모바일 디바이스, 임베디드(embedded) 디바이스 등에서는 뉴럴 네트워크의 처리가 원활하지 않을 수 있다.
한편, 뉴럴 네트워크에서 웨이트는 부동 소수점(floating point) 타입의 웨이트 또는 고정 소수점(fixed point) 타입의 웨이트를 갖거나, 바이너리(binary)-웨이트 웨이트 또는 터너리(ternary)-웨이트 웨이트에 해당될 수도 있다. 즉, 뉴럴 네트워크에서 웨이트는 뉴럴 네트워크의 활용 목적, 디바이스의 성능 등 다양한 요인들을 고려하여 다양하게 정의될 수 있다.
프로세서(910)는 확장 컨벌루션 네트워크를 구동할 수 있다. 프로세서(910)는 분할 장치, 컨벌루션 연산기 및 병합 장치를 포함할 수 있다. 분할 장치는 확장률에 기초하여 입력 피처맵을 복수의 서브 피처맵들로 분할(split)할 수 있다. 컨벌루션 연산기는 복수의 서브 피처맵들과 기본 웨이트 간의 컨벌루션 연산을 수행할 수 있다. 병합 장치는 확장률에 기초하여 복수의 중간 피처맵들을 병합(merge)함으로써 출력 피처맵을 생성할 수 있다.
도 10은 일 실시예에 따른 뉴럴 네트워크 장치에서 확장 컨벌루션 연산을 수행하는 방법의 흐름도이다.
도 10에 도시된, 뉴럴 네트워크 장치에서 확장 컨벌루션(dilated convolution) 연산을 수행하는 방법은, 앞서 설명된 도면들에서 설명된 실시예들에 관련되므로, 이하 생략된 내용이라 할지라도, 앞서 도면들에서 설명된 내용들은 도 10의 방법에도 적용될 수 있다.
도 10을 참조하면, 단계 1010에서 뉴럴 네트워크 장치는 입력 피처맵(feature map) 및 기본 웨이트(weight)를 획득할 수 있다.
뉴럴 네트워크 장치는 입력 피처맵 및 기본 웨이트를 메모리로부터 획득하거나, 외부로부터 할 수 있다.
일 실시예에서 뉴럴 네트워크 장치는 기본 웨이트 대신 확장된 웨이트를 획득할 수 있다. 이 경우, 뉴럴 네트워크 장치는 확장률에 기초하여 확장된 웨이트를 기본 웨이트로 복구(restore)할 수 있다.
단계 1020에서 뉴럴 네트워크 장치는 확장률(dilation rate)에 기초하여 입력 피처맵을 복수의 서브 피처맵들로 분할(split)할 수 있다.
복수의 서브 피처맵들에서 서로 인접하는 픽셀들은, 입력 피처맵에서 (확장률 - 1)만큼 이격되어 위치하는 픽셀들일 수 있다.
일 실시예에서 뉴럴 네트워크 장치는 복수의 서브 피처맵들 각각의 크기를 기설정된 크기와 비교할 수 있다. 비교 결과 적어도 하나의 서브 피처맵의 크기가 기설정된 크기 보다 작은 경우, 뉴럴 네트워크 장치는 적어도 하나의 서브 피처맵의 크기가 기설정된 크기가 되도록, 적어도 하나의 서브 피처맵의 가장자리 중 적어도 일부를 소정의 값으로 패딩(padding)할 수 있다.
한편, 단계 1020은 뉴럴 네트워크 장치에 포함된 분할 장치에 의해 수행될 수 있다.
단계 1030에서 뉴럴 네트워크 장치는 복수의 서브 피처맵들과 기본 웨이트 간의 컨벌루션 연산을 수행함으로써 복수의 중간 피처맵들을 생성할 수 있다.
단계 1040에서 뉴럴 네트워크 장치는 확장률에 기초하여 복수의 중간 피처맵들을 병합(merge)함으로써 출력 피처맵을 생성할 수 있다.
복수의 중간 피처맵들 각각에서 서로 인접하는 픽셀들은, 출력 피처맵에서 (확장률 - 1)만큼 이격되어 위치하는 픽셀들일 수 있다.
한편, 단계 1040은 뉴럴 네트워크 장치에 포함된 병합 장치에 의해 수행될 수 있다.
본 실시예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 명세서의 설명은 예시를 위한 것이며, 본 명세서의 내용이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 실시예의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 포함되는 것으로 해석되어야 한다.

Claims (17)

  1. 확장 컨벌루션(dilated convolution) 연산을 수행하는 뉴럴 네트워크 장치에 있어서,
    적어도 하나의 프로그램이 저장된 메모리; 및
    상기 적어도 하나의 프로그램을 실행함으로써 뉴럴 네트워크를 구동하는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    입력 피처맵(feature map) 및 기본 웨이트(weight)를 상기 메모리로부터 획득하고,
    확장률(dilation rate)에 기초하여 상기 입력 피처맵을 복수의 서브 피처맵들로 분할(split)하고,
    상기 복수의 서브 피처맵들과 상기 기본 웨이트 간의 컨벌루션 연산을 수행함으로써 복수의 중간 피처맵들을 생성하며,
    상기 확장률에 기초하여 상기 복수의 중간 피처맵들을 병합(merge)함으로써 출력 피처맵을 생성하는 것인, 뉴럴 네트워크 장치.
  2. 제 1 항에 있어서,
    상기 복수의 서브 피처맵들에서 서로 인접하는 픽셀들은, 상기 입력 피처맵에서 상기 확장률 - 1만큼 이격되어 위치하는 것인, 뉴럴 네트워크 장치.
  3. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 복수의 서브 피처맵들 각각의 크기를 기설정된 크기와 비교하며,
    적어도 하나의 서브 피처맵의 크기가 상기 기설정된 크기 보다 작은 경우, 상기 기설정된 크기가 되도록 상기 적어도 하나의 서브 피처맵의 가장자리 중 적어도 일부를 소정의 값으로 패딩(padding)하는 것인, 뉴럴 네트워크 장치.
  4. 제 1 항에 있어서,
    상기 복수의 중간 피처맵들 각각에서 서로 인접하는 픽셀들은, 상기 출력 피처맵에서 상기 확장률 - 1만큼 이격되어 위치하는 것인, 뉴럴 네트워크 장치.
  5. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서에는 분할 장치 및 병합 장치가 포함되고,
    상기 분할 장치는 확장률에 기초하여 상기 입력 피처맵을 복수의 서브 피처맵들로 분할하며, 상기 병합 장치는 상기 확장률에 기초하여 상기 복수의 중간 피처맵들을 병합함으로써 출력 피처맵을 생성하는 것인, 뉴럴 네트워크 장치.
  6. 제 5 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 확장률과 임계값을 비교하고,
    상기 확장률이 임계값을 초과하는 경우, 상기 확장률을 소정의 값으로 나눔으로써 상기 확장률을 업데이트하고, 상기 소정의 값에 기초하여 상기 입력 피처맵을 복수의 서브 피처맵들로 분할하는 것인, 뉴럴 네트워크 장치.
  7. 제 5 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 확장률과 임계값을 비교하고,
    상기 확장률이 임계값을 초과하는 경우, 상기 확장률을 소정의 값으로 나눔으로써 상기 확장률을 업데이트하고, 상기 소정의 값에 기초하여 상기 복수의 중간 피처맵들을 병합함으로써 출력 피처맵을 생성하는 것인, 뉴럴 네트워크 장치.
  8. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서에는 컨벌루션 연산기가 포함되고,
    상기 컨벌루션 연산기는 상기 복수의 서브 피처맵들과 상기 기본 웨이트 간의 컨벌루션 연산을 수행하는 것인, 뉴럴 네트워크 장치.
  9. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는,
    확장 웨이트(dilated weight)를 메모리로부터 획득하고,
    상기 확장률에 기초하여 상기 확장 웨이트를 기본 웨이트로 복구하는 것인, 뉴럴 네트워크 장치.
  10. 뉴럴 네트워크 장치에서 확장 컨벌루션 연산을 수행하는 방법에 있어서,
    입력 피처맵 및 기본 웨이트를 획득하는 단계;
    확장률에 기초하여 상기 입력 피처맵을 복수의 서브 피처맵들로 분할하는 단계;
    상기 복수의 서브 피처맵들과 상기 기본 웨이트 간의 컨벌루션 연산을 수행함으로써 복수의 중간 피처맵들을 생성하는 단계; 및
    상기 확장률에 기초하여 상기 복수의 중간 피처맵들을 병합함으로써 출력 피처맵을 생성하는 단계;
    를 포함하는, 방법.
  11. 제 10 항에 있어서,
    상기 복수의 서브 피처맵들에서 서로 인접하는 픽셀들은, 상기 입력 피처맵에서 상기 확장률 - 1만큼 이격되어 위치하는 것인, 방법.
  12. 제 10 항에 있어서,
    상기 분할하는 단계는,
    상기 복수의 서브 피처맵들 각각의 크기를 기설정된 크기와 비교하는 단계; 및
    적어도 하나의 서브 피처맵의 크기가 상기 기설정된 크기 보다 작은 경우, 상기 기설정된 크기가 되도록 상기 적어도 하나의 서브 피처맵의 가장자리 중 적어도 일부를 소정의 값으로 패딩하는 단계;
    를 더 포함하는, 방법.
  13. 제 10 항에 있어서,
    상기 복수의 중간 피처맵들 각각에서 서로 인접하는 픽셀들은, 상기 출력 피처맵에서 상기 확장률 - 1만큼 이격되어 위치하는 것인, 방법.
  14. 제 10 항에 있어서,
    상기 분할하는 단계는,
    상기 확장률과 임계값을 비교하는 단계; 및
    상기 확장률이 임계값을 초과하는 경우, 상기 확장률을 소정의 값으로 나눔으로써 상기 확장률을 업데이트하고, 상기 소정의 값에 기초하여 상기 입력 피처맵을 복수의 서브 피처맵들로 분할하는 단계;
    를 포함하는, 방법.
  15. 제 10 항에 있어서,
    상기 분할하는 단계는,
    상기 확장률과 임계값을 비교하는 단계; 및
    상기 확장률이 임계값을 초과하는 경우, 상기 확장률을 소정의 값으로 나눔으로써 상기 확장률을 업데이트하고, 상기 소정의 값에 기초하여 상기 복수의 중간 피처맵들을 병합함으로써 출력 피처맵을 생성하는 단계;
    를 포함하는, 방법.
  16. 제 13 항에 있어서,
    상기 획득하는 단계는,
    상기 입력 피처맵 및 확장 웨이트를 메모리로부터 획득하는 단계; 및
    상기 확장률에 기초하여 상기 확장 웨이트를 기본 웨이트로 복구하는 단계;
    를 포함하는, 방법.
  17. 제 10 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020180153723A 2018-12-03 2018-12-03 확장 컨벌루션 연산을 수행하는 장치 및 방법 KR20200066952A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180153723A KR20200066952A (ko) 2018-12-03 2018-12-03 확장 컨벌루션 연산을 수행하는 장치 및 방법
US16/393,107 US11017264B2 (en) 2018-12-03 2019-04-24 Method and apparatus with dilated convolution
US17/243,057 US11854241B2 (en) 2018-12-03 2021-04-28 Method and apparatus with dilated convolution

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180153723A KR20200066952A (ko) 2018-12-03 2018-12-03 확장 컨벌루션 연산을 수행하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20200066952A true KR20200066952A (ko) 2020-06-11

Family

ID=70849241

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180153723A KR20200066952A (ko) 2018-12-03 2018-12-03 확장 컨벌루션 연산을 수행하는 장치 및 방법

Country Status (2)

Country Link
US (2) US11017264B2 (ko)
KR (1) KR20200066952A (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734211B (zh) * 2018-05-17 2019-12-24 腾讯科技（深圳）有限公司 图像处理的方法和装置
JP7353772B2 (ja) * 2019-03-07 2023-10-02 キヤノン株式会社 データ処理装置及びその方法、プログラム
US11862146B2 (en) * 2019-07-05 2024-01-02 Asapp, Inc. Multistream acoustic models with dilations
KR20210082970A (ko) * 2019-12-26 2021-07-06 삼성전자주식회사 컨볼루션 연산을 수행하는 방법 및 장치
US20210357730A1 (en) * 2020-05-12 2021-11-18 Alibaba Group Holding Limited Multi-size convolutional layer background
KR20220071605A (ko) * 2020-11-24 2022-05-31 삼성전자주식회사 신경망 장치 및 신경망 장치의 동작 방법
CN112329737A (zh) * 2020-12-01 2021-02-05 哈尔滨理工大学 一种基于改进Faster RCNN的车辆检测方法
CN112862667A (zh) * 2021-01-29 2021-05-28 成都商汤科技有限公司 一种池化方法、芯片、设备和存储介质
EP4057183A1 (en) * 2021-03-10 2022-09-14 Aptiv Technologies Limited Methods and systems for object detection
CN115564962A (zh) * 2021-06-30 2023-01-03 华为技术有限公司 特征图的处理方法和相关设备
CN113326809A (zh) * 2021-06-30 2021-08-31 重庆大学 基于三通道神经网络的离线签名鉴定方法及***
CN113610223B (zh) * 2021-08-03 2023-12-26 安谋科技（中国）有限公司 乘法电路、卷积运算方法、介质、片上***和电子设备
CN113642589B (zh) * 2021-08-11 2023-06-06 南方科技大学 图像特征提取方法及装置、计算机设备和可读存储介质
CN114925825A (zh) * 2022-05-20 2022-08-19 北京地平线信息技术有限公司 卷积神经网络的处理方法、装置、介质和设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI485632B (zh) * 2012-02-24 2015-05-21 Htc Corp 影像校準方法及影像校準系統
JP6528608B2 (ja) 2015-08-28 2019-06-12 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
WO2017132830A1 (en) * 2016-02-02 2017-08-10 Xiaogang Wang Methods and systems for cnn network adaption and object online tracking
US10360494B2 (en) 2016-11-30 2019-07-23 Altumview Systems Inc. Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules
US11048997B2 (en) 2016-12-27 2021-06-29 Texas Instruments Incorporated Reduced complexity convolution for convolutional neural networks
US9953236B1 (en) 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
US10776694B2 (en) 2017-05-16 2020-09-15 Samsung Electronics Co., Ltd. Optimized neural network input stride method and apparatus
KR20190051697A (ko) 2017-11-07 2019-05-15 삼성전자주식회사 뉴럴 네트워크의 디컨벌루션 연산을 수행하는 장치 및 방법
US10699388B2 (en) * 2018-01-24 2020-06-30 Adobe Inc. Digital image fill
US20200251183A1 (en) * 2018-07-11 2020-08-06 Illumina, Inc. Deep Learning-Based Framework for Identifying Sequence Patterns that Cause Sequence-Specific Errors (SSEs)
US10936912B2 (en) * 2018-11-01 2021-03-02 International Business Machines Corporation Image classification using a mask image and neural networks
CN113168684B (zh) * 2018-11-26 2024-04-05 Oppo广东移动通信有限公司 提升低亮度图像的质量的方法、***和计算机可读介质

Also Published As

Publication number Publication date
US20210248413A1 (en) 2021-08-12
US11854241B2 (en) 2023-12-26
US11017264B2 (en) 2021-05-25
US20200175313A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
KR20200066952A (ko) 확장 컨벌루션 연산을 수행하는 장치 및 방법
JP7132824B2 (ja) ニューラルネットワークにおいてデコンボルーション演算を実行する装置及びその方法
KR102452953B1 (ko) 뉴럴 네트워크의 컨볼루션 연산을 수행하는 방법 및 장치
CN107506707B (zh) 采用嵌入式***中的小规模卷积神经网络模块的人脸检测
US10043113B1 (en) Method and device for generating feature maps by using feature upsampling networks
US20190163716A1 (en) Method and apparatus for performing operation of convolutional layers in convolutional neural network
CN107368886B (zh) 基于重复使用小规模卷积神经网络模块的神经网络***
KR102129895B1 (ko) 폴드된 특징 데이터에 대한 컨볼루션 연산을 수행하기 위한 방법 및 장치
KR20210036715A (ko) 뉴럴 프로세싱 장치 및 뉴럴 프로세싱 장치에서 뉴럴 네트워크의 풀링을 처리하는 방법
KR102452951B1 (ko) 뉴럴 네트워크의 컨볼루션 연산을 수행하는 방법 및 장치
KR102261894B1 (ko) 객체인식장치 및 객체인식방법
KR20210024865A (ko) 데이터를 처리하는 방법 및 장치
KR20200067632A (ko) 뉴럴 네트워크를 구동하기 위한 메모리 공간을 할당하는 방법 및 장치
US11176457B2 (en) Method and apparatus for reconstructing 3D microstructure using neural network
JP2020107338A (ja) ニューラルネットワークのコンボルーション演算を処理する方法及びその装置
US20240126833A1 (en) Apparatus and method of performing matrix multiplication operation of neural network
KR20200095300A (ko) 뉴럴 네트워크의 컨볼루션 연산을 처리하는 방법 및 장치
KR20230081697A (ko) 팽창 컨볼루션 계산 가속화 방법 및 장치
US12014505B2 (en) Method and apparatus with convolution neural network processing using shared operand
CN111831207A (zh) 一种数据处理方法、装置及其设备
US11842273B2 (en) Neural network processing
US20210174178A1 (en) Method and apparatus for processing data
US11681915B2 (en) Neural network method and apparatus
CN114548361A (zh) 神经网络装置及其操作方法
KR20200141663A (ko) 컨볼루션 신경망 모델에 기초한 컴퓨팅 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination