KR20030057562A - Neural Cortex - Google Patents
Neural Cortex Download PDFInfo
- Publication number
- KR20030057562A KR20030057562A KR10-2003-7007184A KR20037007184A KR20030057562A KR 20030057562 A KR20030057562 A KR 20030057562A KR 20037007184 A KR20037007184 A KR 20037007184A KR 20030057562 A KR20030057562 A KR 20030057562A
- Authority
- KR
- South Korea
- Prior art keywords
- pattern
- index
- recognized
- input
- ram
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Neurology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Character Discrimination (AREA)
- Control By Computers (AREA)
- Programmable Controllers (AREA)
- Thermistors And Varistors (AREA)
Abstract
신경 네트워크 시스템은 랜덤 액세스 메모리(RAM) 및 칼럼의 토포그래피(columnar topography)를 갖는 인덱스 기반의 가중치 없는 신경 네트워크(index-based weightless neural network)를 포함하고, 상기 네트워크 시스템에 있어서 이진 연결들의 패턴들과 출력 노드들의 액티비티 값들은 RAM에 저장된다. 패턴 인덱스에서 인식될 복수의 출력 패턴들을 저장하는 단계, 입력 패턴을 수용하고 입력 패턴을 복수의 성분들로 분할하는 단계, 입력 패턴에 대응하는 인식된 출력패턴을 확인하기 위해 패턴 인덱스에 따라 각 성분을 처리하는 단계로써, 정보는 신경 네트워크를 사용하는 패턴 인식에 의해 처리된다.The neural network system includes an index-based weightless neural network with random access memory (RAM) and column topography, and patterns of binary connections in the network system. The activity values of the and output nodes are stored in RAM. Storing a plurality of output patterns to be recognized in the pattern index, accepting the input pattern and dividing the input pattern into a plurality of components, each component according to the pattern index to identify a recognized output pattern corresponding to the input pattern As a step of processing, the information is processed by pattern recognition using neural networks.
Description
인공 신경 네트워크(artificial neural network)는 인공 뉴런으로 전형적으로 불리우는 다수의 상호 결합 유닛들로 구성되는 구조이다. 각 유닛은 입력/출력 특성을 가지고, 로컬 계산 또는 기능(local computation or function)을 구현한다. 임의 유닛의 출력은 그것의 입력/출력 특성 및 그것의 다른 유닛들과의 상호 결합에 의해 결정될 수 있다. 전형적으로, 유닛 입력/출력 특성은 상대적으로 단순하다.An artificial neural network is a structure composed of a number of mutually coupled units, typically called artificial neurons. Each unit has input / output characteristics and implements local computation or function. The output of any unit can be determined by its input / output characteristics and its mutual coupling with other units. Typically, the unit input / output characteristics are relatively simple.
인공 신경 네트워크와 관련되어, 3개의 큰 문제점 즉, a) 스케일링 및 하드웨어 크기의 실제 한계(scaling and hardware size practical limits); b) 네트워크 토폴로지(network topology); 및 c)훈련(training)이 있다. 스케일링 및 하드웨어 크기 문제는, 애플리케이션 복잡성 및 인공 신경 네트워크 크기 사이의 관계가 있어서 고해상도 이미지를 수용하기 위한 스케일링은 실제 한계를 넘는 하드웨어 자원을 필요로 할 수 있기 때문에 발생한다.In relation to artificial neural networks, three major problems are: a) scaling and hardware size practical limits; b) network topology; And c) training. Scaling and hardware size problems arise because there is a relationship between application complexity and artificial neural network size, so scaling to accommodate high resolution images may require hardware resources that go beyond practical limits.
달성되는 전체 기능 또는 기능성은 네트워크 토폴로지에 의해 결정되지만 임의의 애플리케이션에 대한 확실한 규칙 또는 설계 가이드라인이 없기 때문에, 네트워크 토폴로지 문제가 발생한다.The overall functionality or functionality achieved is determined by the network topology, but network topology problems arise because there are no clear rules or design guidelines for any application.
훈련이 달성하기 어렵기 때문에 훈련 문제가 발생한다.Training problems arise because training is difficult to achieve.
n 개조 분류기(n-Tuple Classifier)가 이들 문제를 다루기 위해 제안되었다. 상기 분류기는 처음으로 제안된 RAM 기반 신경 네트워크 개념이다. n 개조 개념의 첫 하드웨어 구현은 1979년도 즈음에 브루널 대학(Brunel University)에서 개발된 WISARD 시스템이다(1982년도 I 알렉산더, T 스톤험 및 B 윌키 저술의 "Computer Vision Systems for Industry"의 10장에 있는 "Computer Vision Systems for Industry: Comparisons" 참조). WISARD 시스템은 RAM 기반의 가중치 없는 신경 네트워크의 분류에 속한다. 이러한 스타일의 신경 네트워크는 데이터를 RAM 네트워크로 기록함으로써 대용량 계산 기반 훈련(massive computations-based training)의 문제를 다루고, 범용 RAM 기반의 네트워크 구조를 제안함으로써 토폴로지 문제를 다룬다. 그러나, WISARD 타입의 범용 구조(universal structure)의 네트워크 토폴로지는 생물학적인 신경 네트워크에서 볼 수 있는 뉴런 구성의 높은 레벨들을 시뮬레이션하지 않는다. 이것은 메모리의 비효율적인 사용을 초래하고, 따라서 스케일링 문제는 RAM 기반 신경 네트워크에 심각하게 여전히 남게 되고, WISARD 기술의애플리케이션 범위가 제한된다.An n-Tuple Classifier has been proposed to address these issues. The classifier is the first RAM-based neural network concept proposed. The first hardware implementation of the retrofit concept was a WISARD system developed at Brunel University around 1979 (see chapter 10 of "Computer Vision Systems for Industry" by I Alexander, T Stoneham and B Wilkie in 1982). See "Computer Vision Systems for Industry: Comparisons"). The WISARD system belongs to the classification of RAM-based unweighted neural networks. This style of neural network addresses the problem of massive computational-based training by recording data into RAM network, and addresses the topology problem by proposing a general RAM-based network structure. However, the network topology of the universal structure of the WISARD type does not simulate the high levels of neuronal configuration found in biological neural networks. This results in inefficient use of memory, so scaling problems still remain serious in RAM-based neural networks, and the application range of WISARD technology is limited.
단순 기억 작업에 의해 훈련 문제를 극복하는 신경 네트워크의 다른 예는 희소 분포 메모리(Sparse Distribute Memory)(P 카너바, 1998, "Sparse Distributed Memory", 캠브리지, MA: NIT 프레스). 그러나, 희소 분포 메모리의 문제는, WISARD 시스템과 마찬가지로, 큰 메모리 크기이다. 희소 분포 메모리의 다른 단점은 계산 복잡성이다. 이것은 이러한 타입의 메모리에 대해서는 입력 워드가 모든 메모리 장소와 비교되어야 하기 때문이다.Another example of a neural network that overcomes training problems by simple memory tasks is sparse distributed memory (P Canerva, 1998, "Sparse Distributed Memory", Cambridge, MA: NIT Press). However, the problem of sparse distributed memory, like the WISARD system, is a large memory size. Another disadvantage of sparse distribution memory is computational complexity. This is because for this type of memory the input words must be compared with all memory locations.
N 개조 분류 시스템들은 인식 방법을 사용하고, 이로써 신경 네트워크로의 입력은 다수의 성분들(n 개조들)로 분할되고 각 성분들은 일련의 성분 룩업 테이블(look-up table)과 비교된다. 통상적으로 각 성분들마다 개별 룩업 테이블이 있다. 그 다음, 네트워크는 각 성분을 다수의 룩업 테이블을 고려하여 처리하여, 일치 여부를 결정한다. 한 성분에 대해 일치가 발생하면, 상기 성분은 인식되었다는 것을 나타낸다. 입력의 각 성분들의 인식은 입력의 인식을 초래한다.N modified classification systems use a recognition method whereby the input to the neural network is divided into a number of components (n modifications) and each component is compared with a series of component look-up tables. Typically there is a separate lookup table for each component. The network then processes each component by considering a plurality of lookup tables to determine a match. If a match occurs for one component, that component is recognized. Recognition of each component of the input results in recognition of the input.
다수의 룩업 테이블의 존재는 잠재적으로 큰 메모리 크기를 초래한다. 필요한 메모리 크기는 네트워크가 확인할 수도 있는 성분의 수와 비례한다. 이것으로 인해 패턴 크기가 증가하는 메모리에서의 실질적인 증가를 초래한다. 예를 들면, 인공 신경 네트워크는 초기에 n x n (n = 128) 이미지를 이용하는 이미지 처리 애플리케이션을 위해 디자인될 수 있다. 이것은 오늘날의 표준에 비해 상대적으로 낮은 해상도 이미지이다. 처리될 이미지가 n = 128에서 n = 2048로 증가되면, 뉴런의 수 즉 네트워크의 크기는 256 팩터(factor)로 커진다. 메모리의 이러한 증가는 잠재적으로 부가적인 하드웨어 모듈러 블록들을 필요로 하는 네트워크 확장에 대한 필요 조건을 초래한다. 이미지의 해상도가 증가하는 경우, 포인트는 고해상도 이미지를 수용하는 스케일링이 실제 달성할 수 있는 메모리 한계를 넘는 곳에 빨리 도달한다.The presence of multiple lookup tables results in potentially large memory sizes. The memory size required is proportional to the number of components that the network may be able to identify. This results in a substantial increase in memory where the pattern size increases. For example, artificial neural networks may be designed for image processing applications that initially use n x n (n = 128) images. This is a relatively low resolution image compared to today's standards. When the image to be processed is increased from n = 128 to n = 2048, the number of neurons, i.e. the size of the network, grows to 256 factors. This increase in memory leads to the requirement for network expansion, potentially requiring additional hardware modular blocks. As the resolution of an image increases, the point quickly reaches where the scaling to accommodate the high resolution image exceeds the memory limits that can actually be achieved.
본 발명이 달성하려는 목적은 종래 기술에서 나타난 단점의 일부 또는 전부를 극복하기 위한 것이다.It is an object of the present invention to overcome some or all of the disadvantages seen in the prior art.
본 발명은 인덱스 기반의 신경 네트워크 및 신경 네트워크를 사용한 패턴 인식에 의해 정보를 처리하는 방법에 관한 것이다. 특히, 본 발명은 칼럼의 토포그래피(columnar topography)를 갖는 인덱스 기반의 가중치가 없는 신경 네트워크를 갖는 신경 네트워크 컴퓨터와, 입력 패턴이 복수의 성분들로 분할되고 각 성분은 단일 패턴 인덱스에 따라 처리되어 입력 패턴에 대응되는 인식된 출력 패턴을 확인하는 방법에 관한 것이다. 그러나, 본 발명은 여기에만 한정되는 것은 아니다.The present invention relates to an index-based neural network and a method for processing information by pattern recognition using neural networks. In particular, the present invention relates to a neural network computer having an index-based weightless neural network with column topography, and that an input pattern is divided into a plurality of components and each component is processed according to a single pattern index. The present invention relates to a method of identifying a recognized output pattern corresponding to an input pattern. However, the present invention is not limited thereto.
도 1은 본 발명의 일 실시예에 따른 입력 처리를 설명하는 인덱스 테이블이다.1 is an index table illustrating input processing according to an embodiment of the present invention.
도 2는 본 발명의 실시예에 따른 입력 처리를 설명하는 개략적 블록 다이어그램이다.2 is a schematic block diagram illustrating input processing according to an embodiment of the present invention.
도 3은 본 발명의 실시예에 따른 출력 처리를 설명하는 개략적 블록 다이어그램이다.3 is a schematic block diagram illustrating output processing according to an embodiment of the present invention.
본 발명의 제 1 태양에 의하면, a) 랜덤 액세스 메모리(RAM); 및 b) 칼럼의 토포그래피(columnar topography)를 갖는 인덱스 기반의 가중치 없는 신경 네트워크를 포함하고, 이진 연결들의 패턴들과 출력 노드들의 액티비티 값은 RAM에 저장되는 신경 네트워크 시스템이 제공된다.According to a first aspect of the present invention, there is provided an apparatus comprising: a) random access memory (RAM); And b) an index-based weighted neural network with column topography, wherein the patterns of binary connections and the activity values of the output nodes are stored in RAM.
바람직하게는, 신경 네트워크 시스템은 컴퓨터 하드웨어 구성요소를 포함한다.Preferably, the neural network system includes computer hardware components.
바람직한 양태에서, 신경 네트워크는 잠재적인 스케일링 능력을 가진다. 스케일링은 임의의 적당한 방법으로 달성될 수 있다. 바람직하게는, 체계적인 확장은 RAM의 크기를 증가시킴으로써 달성된다.In a preferred embodiment, the neural network has potential scaling capability. Scaling can be accomplished in any suitable way. Preferably, systematic expansion is achieved by increasing the size of the RAM.
신경 네트워크는 임의의 적당한 방법으로 훈련될 수 있다. 바람직하게는, 신경 네트워크는 데이터를 RAM에 기록함으로써 훈련되고, 훈련 중에 네트워크 토폴로지가 현출된다.The neural network can be trained in any suitable way. Preferably, the neural network is trained by writing data to RAM and the network topology emerges during training.
바람직하게는, 신경 네트워크의 성능은 입력 데이터의 분해 스타일을 변경하여 입력 성분들의 다이내믹 레인지를 변경함으로써 조정된다.Preferably, the performance of the neural network is adjusted by changing the decomposition style of the input data to change the dynamic range of the input components.
바람직하게는, 신경 네트워크로의 입력 성분들은 단일 공통 인덱스를 어드레스한다.Preferably, the input components to the neural network address a single common index.
본 발명의 제 2 태양에 따르면, a) 패턴 인덱스에서 인식될 복수의 출력 패턴들을 저장하는 단계; b) 입력 패턴을 수용하고 입력 패턴을 복수의 성분들로 분할하는 단계; c) 입력 패턴에 대응하는 인식된 출력패턴을 확인하기 위해 패턴 인덱스에 따라 각 성분을 처리하는 단계를 포함하는 신경 네트워크를 사용하는 패턴 인식에 의해 정보를 처리하는 방법이 제공된다.According to a second aspect of the present invention, there is provided a method comprising: a) storing a plurality of output patterns to be recognized at a pattern index; b) accepting an input pattern and dividing the input pattern into a plurality of components; c) there is provided a method for processing information by pattern recognition using neural networks comprising processing each component according to a pattern index to identify a recognized output pattern corresponding to the input pattern.
바람직하게는, 각 출력 패턴은 복수의 인식된 성분들로 분할되고, 각 인식된 성분들은 인식을 위해 패턴 인덱스에 저장된다. 바람직하게는, 인덱스는 칼럼(column)들로 이루어지고, 각 칼럼은 하나 이상의 인식된 성분들에 대응된다. 바람직하게는, 인덱스는 인식된 성분들의 수보다 작거나 같은 다수의 칼럼들로 분할된다. 더욱 바람직하게는 인덱스는 인식된 성분들의 수와 같은 다수의 칼럼들로 분할된다.Preferably, each output pattern is divided into a plurality of recognized components, each recognized component stored in a pattern index for recognition. Preferably, the index consists of columns, each column corresponding to one or more recognized components. Preferably, the index is divided into a number of columns that are less than or equal to the number of recognized components. More preferably, the index is divided into a number of columns, such as the number of recognized components.
상기 방법은, 각 입력 성분은 대응되는 인식된 성분 칼럼과 비교되고, 스코어(score)가 하나 이상의 인식된 성분들에 할당되는 단계를 더욱 포함한다. 바람직하게는, 패턴의 각 인식된 성분에 대한 스코어는 더해지고 가장 높은 스코어를 갖는 인식된 패턴이 출력 패턴으로 확인된다.The method further includes comparing each input component with a corresponding recognized component column and assigning a score to one or more recognized components. Preferably, the score for each recognized component of the pattern is added and the recognized pattern with the highest score is identified as the output pattern.
이하, 본 발명의 실시예 형태를 도시하는 첨부된 도면을 참조하여 본 발명을 더욱 자세히 설명한다. 하기의 설명의 특정은 전술한 개시 내용의 일반성을 제한하지 않는다는 것을 이해하여야 한다.Hereinafter, with reference to the accompanying drawings showing embodiments of the present invention will be described in more detail the present invention. It is to be understood that the following description does not limit the generality of the foregoing disclosure.
본 발명은 표준 디지털 칩을 사용하여 제작된 신경 카드의 사용을 통해서 구현될 수 있다. 본 발명은 RAM에 이진 연결의 패턴 및 출력 노드들의 액티비티 값을 저장하는 칼럼의 토폴로지를 갖는 인덱스 기반의 가중치 없는 신경 네트워크에 관한 것이다. 상기 네트워크는 다음을 제공한다:The present invention can be implemented through the use of neural cards fabricated using standard digital chips. The present invention is directed to an index-based weightless neural network having a topology of columns that store patterns of binary connections and activity values of output nodes in RAM. The network provides:
a) 스케일링 잠재적 능력: 이전의 인공 신경 네트워크처럼 부가적 모듈라 빌딩 블록을 부가하지 않고, 부가적 칼럼을 포함하기 위해 RAM 크기를 증가시키거나 인덱스의 높이를 증가시킴으로써, 체계적인 신경 네트워크의 확장이 달성될 수 있다. 예를 들면, 64MB로써 1600만개의 연결이 구현될 수 있다.a) Scaling Potential: Expansion of a systematic neural network can be achieved by increasing the size of the RAM or increasing the height of the index to include additional columns, without adding additional modular building blocks as in previous artificial neural networks. Can be. For example, 64 million connections can be implemented with 64 MB.
b) WISARD 시스템과 같은 이전의 n 개조 시스템과 비교할 때 필요한 메모리 크기는 N의 팩터로 감소되는데, N은 입력 성분들의 개수(n 개조)이다. 이것은 n 개조 분류기는 N개의 룩업 테이블을 필요로 하지만 본 발명은 단 하나의 공통저장(common storage)만을 필요로 하기 때문이다.b) Compared with previous n retrofit systems, such as the WISARD system, the required memory size is reduced by a factor of N, where N is the number of input components (n retrofit). This is because the n retrofit classifier requires N lookup tables, but the present invention requires only one common storage.
c) 네트워크 토폴로지는 훈련 중에 자동적으로 현출된다.c) The network topology is automatically present during training.
d) 훈련은 데이터를 RAM으로 기록하는 것으로 감소된다.d) Training is reduced to writing data to RAM.
e) 성능은 입력 성분들의 다이내믹 레인지를 변경함으로써 용이하게 조정될 수 있는데, 상기 다이내믹 레인지 변경은 입력 데이터의 분해 스타일을 변경함으로서 달성될 수 있다.e) Performance can be easily adjusted by changing the dynamic range of the input components, which can be achieved by changing the decomposition style of the input data.
본 발명에 따라 제조된 장치를 이하 신경 코텍스라 한다. 종래의 인공 신경 네트워크 및 종래의 RAM 기반의 인공 신경 네트워크 양자 모두는 뉴런 형의 계산 유닛의 네트워크이다. 그러나, 인간 두뇌의 계산 유닛은 다중 뉴런 피질 칼럼이다. 본 발명이 기초하는 단일 공통 인덱스의 일반적 모습은 신호가 하부에서 상부로 전달되는 수직 칼럼들의 집합으로 가장 잘 서술될 수 있다.The device made according to the invention is hereinafter referred to as the nerve cortex. Both conventional neural networks and conventional RAM-based artificial neural networks are networks of neuron-type computational units. However, the computational unit of the human brain is a multiple neuronal cortical column. The general aspect of a single common index on which the present invention is based may best be described as a set of vertical columns through which signals are passed from bottom to top.
종래의 RAM 기반의 신경 네트워크들과는 달리, 신경 코텍스는 성분 룩업 테이블에서 분류들의 이름을 저장하지 않고, 입력 성분들의 인덱스(링크된 데이터 표현)를 생성/기억함으로써 동작한다. 상기 인덱스는 분류들의 이름들(분류 참조 번호들)을 포함하고, 훈련 중에 생성된다.Unlike conventional RAM-based neural networks, the neural cortex operates by creating / remembering the index of the input components (linked data representation) without storing the names of the classifications in the component lookup table. The index contains the names of classifications (classification reference numbers) and is created during training.
검색 중에, n 개조 분류기와 같은 신경 코텍스는 입력 성분들에 의해 활성화된 이름들을 합산한다. 합산 작동은 신경 네트워크에서 특유한 일반화 능력을 제공한다. 그러나, "승자가 모든 것을 취함(winner-takes-all)" 전략이 채택되는 n 개조 분류기와는 달리, 신경 코텍스는 "승자들이 모든 것을 취함(winners-take-all)" 전략을 채택한다. 이것은 선호의 문제가 아니고 단일 공통 저장을 사용함으로써 발생되는 필요의 문제이다. n 개조 분류기의 경우, 각 입력 성분(n 개조)은 그것의 자체 룩업 테이블을 어드레스한다. 신경 코텍스의 경우, 모든 입력 성분들은 단일 공통 인덱스를 어드레스한다. 이것으로 인해 메모리 크기가 매우 감소될 수 있다. n 개조 분류기 및 희소 분산 메모리 시스템 양자 모두에서의 단일 공통 인덱스의 부존재로 인해 이전의 RAM 기반의 신경 네트워크가 메모리 필요조건의 관점에서 어려움을 갖는데, 큰 크기의 메모리 필요조건은 애플리케이션 범위를 제한한다.During retrieval, neural cortex, such as the n retrofit classifier, sums the names activated by the input components. Summing operation provides unique generalization capabilities in neural networks. However, unlike the n modifier classifier, where the "winner-takes-all" strategy is adopted, the neural cortex adopts the "winners-take-all" strategy. This is not a matter of preference, but a need that arises from using a single common store. For n retrofit classifiers, each input component (n retrofit) addresses its own lookup table. In the case of a neural cortex, all input components address a single common index. This can greatly reduce the memory size. The absence of a single common index in both retrofit classifiers and sparse distributed memory systems has made previous RAM-based neural networks difficult in terms of memory requirements, with large memory requirements limiting application scope.
더욱이, 단일의 공통 인덱스는 신경 네트워크 확장 문제의 효율적인 솔루션이다. 전술한 바와 같이, 종래의 인공 신경 네트워크들 및 종래의 RAM 기반의 인공 신경 네트워크들은 애플리케이션 크기가 커질 때 스케일링의 어려움을 갖는다. 예를 들면, 이미지 크기가 128 x 128에서 2048 x 2048로 커지면, 종래의 인공 신경 네트워크는 메모리에서 256배의 증가를 필요로 한다. 왜냐하면, n 개조의 수가 256 = 2048 * 2048 / 128 * 128 의 팩터만큼 증가하기 때문이다. 그러나, 동일한 상황에서 역설적으로, 본 발명에 따른 신경 코텍스의 크기는 변경없이 그대로 있을 수 있다. 왜냐하면, 단 하나의 공통 인덱스만이 사용되기 때문이다.Moreover, a single common index is an efficient solution of the neural network expansion problem. As mentioned above, conventional artificial neural networks and conventional RAM-based artificial neural networks have difficulty in scaling when the application size increases. For example, as the image size grows from 128 x 128 to 2048 x 2048, conventional artificial neural networks require a 256-fold increase in memory. This is because the number of n modifications increases by a factor of 256 = 2048 * 2048/128 * 128. However, paradoxically in the same situation, the size of the neural cortex according to the present invention may remain unchanged. This is because only one common index is used.
본 발명은 입력 성분들의 단일 패턴 인덱스를 생성한다. 상기 인덱스는 출력 성분들을 포함한다. 그리고, 상기 인덱스는 출력 패턴을 저장하여 뉴런들을 패턴 인덱스 내에 저장된 패턴을 인식하도록 훈련시킴으로써 생성된다.The present invention creates a single pattern index of the input components. The index includes output components. The index is then created by storing the output pattern to train neurons to recognize the pattern stored in the pattern index.
출력 패턴 S는 N 개의 성분들 S1, S2, ... , SN으로 분해되어, 각 성분 Si는 인덱스로부터 칼럼의 어드레스로서 해석된다. 각 칼럼은 하나 이상의 이들 성분에서 값 Si를 갖는 이들 패턴의 참조 번호를 저장한다: 각 칼럼은 각 참조 번호의 한 샘플 이상을 포함하지 않는다. 입력 I가 수신되면, 이것은 다수의 성분 I1, I2, ... , IX로 분할된다. 각 입력 성분 I1내지 IX는 상기 성분을 패턴 인덱스와 비교함으로써 네트워크에 의해 처리된다. 입력 Ii의 성분이 출력 Si의 성분과 일치하는 경우, Si 칼럼에 열거되어 있는 각 참조번호는 스코어의 총계에 더해지는 1의 스코어를 갖는다. 이러한 처리는 각 입력 성분들마다 반복된다. 그 다음, 상기 스코어는 승자를 결정하기 위해 더해진다. 승자는 최고의 스코어를 갖는 참조번호이다. 인식된 출력 패턴에 대응하는 참조번호는 네트워크에 의해 인식된다.The output pattern S is N components SOne, S2, ..., SNDecomposed into, each component SiIs interpreted as the address of the column from the index. Each column has a value S from one or more of these components.iStore the reference numbers of these patterns with: Each column does not contain more than one sample of each reference number. When the input I is received, this is the number of components IOne, I2, ..., IXDivided into. Each input component IOneTo IXIs processed by the network by comparing the component with the pattern index. Input IiThe component of the output SiIf it matches the component of, Si Each reference number listed in the column has a score of 1, which is added to the total of the scores. This process is repeated for each input component. The score is then added to determine the winner. The winner is the reference number with the highest score. Reference numbers corresponding to the recognized output patterns are recognized by the network.
패턴 인덱스의 예가 도 1에 도시되어 있다. 상기 도면은 인덱스가 "background", "variable" 및 "mouse"의 3단어를 인식하도록 훈련되거나 프로그래밍된 경우를 도시한다. 상기 도면에서, 단어들은 참조번호 1, 2 및 3에 각각 할당된다. 출력 패턴은 "a" 내지 "z"의 문자들이고, 이들 문자들은 인덱스 내에 칼럼으로서 포함된다. 입력이 네트워크에 의해 수신되면, 입력의 각 성분들은 단일 패턴 인덱스를 참조함으로써 처리된다. 상기 예에서, 입력은 단어"mouse"의 형태이다. 상기 입력은 연이어 다섯 개의 문자들로 분해된다. 각 문자는 인덱스를 사용하여 네트워크 내에서 처리된다. 네트워크에서 취해지는 처리의 동시 특성은 각 성분들의 처리가 실질적으로 동시에 취해지는 것을 보장할 수 있다. 다음의 처리가 취해진다.An example of a pattern index is shown in FIG. The figure shows the case where the index is trained or programmed to recognize three words: "background", "variable" and "mouse". In this figure, words are assigned to reference numerals 1, 2 and 3, respectively. The output pattern is the letters "a" through "z", which are included as columns in the index. Once the input is received by the network, each component of the input is processed by referring to a single pattern index. In this example, the input is in the form of the word "mouse". The input is decomposed into five characters in succession. Each character is processed within the network using an index. The simultaneous nature of the processing taken in the network can ensure that the processing of each component is taken substantially simultaneously. The following processing is taken.
a) 입력 "m"의 성분이 처리되고, 이 경우에 있어서 1점이 변수 3에 기인하는 스코어에 더해진다.a) The component of the input "m" is processed, and in this case, one point is added to the score resulting from the variable 3.
b) 성분 입력 "o"이 처리되고, 1점이 변수 1 및 3에 더해진다.b) The component input "o" is processed and one point is added to the variables 1 and 3.
c) 성분 입력 "u"가 처리되고, 1점이 변수 1 및 3에 더해진다.c) The component input "u" is processed and one point is added to the variables 1 and 3.
d) 성분 입력 "s"가 처리되고, 1점이 변수 3에 더해진다.d) The component input "s" is processed and one point is added to the variable 3.
e) 성분 입력 "e"가 처리되고, 1점이 변수 2 및 3에 더해진다.e) The component input "e" is processed and one point is added to the variables 2 and 3.
그 다음, 네트워크는 각 변수에 기인하는 점수들을 합산한다. 이 예에 있어서, 변수 1은 스코어 2를 갖고, 변수 2는 스코어 1을 갖고, 변수 3은 스코어 5를 갖는다. 가장 높은 스코어를 갖는 변수가 승자로 결정되고 따라서 확인된다. 따라서, 스코어 5를 갖는 변수 3은 단어 "mouse"에 대응되고, 확인된 것으로 여겨진다.The network then sums the scores attributed to each variable. In this example, variable 1 has score 2, variable 2 has score 1, and variable 3 has score 5. The variable with the highest score is determined as the winner and is therefore identified. Thus, variable 3 with a score of 5 corresponds to the word "mouse" and is considered confirmed.
표준 RAM의 경우에 있어서, 2개의 다른 어드레스 단어는 언제나 2개의 다른 메모리 장소로 포인트된다. 이것은 신경 코텍스의 경우에 있어서는 더 이상 사실이 아니다. 예를 들면, 입력 패턴이 3개의 성분들(a, b, c)을 가지고, 성분 다이내믹 레인지가 1바이트이면, 패턴들 (a, c, b), (b, a, c), (b, c, a), (c, a, b), (c, b, a)는 3의 동일한 스코어를 생성할 것이다. 왜냐하면, 신경 코텍스는 순열에 대해서는 불변이기 때문이다. 상기 불변은 모든 성분들(n 개조들)이 단일 공통 저장을 어드레스 한다는 사실에 기인한다. 공통 저장은 N-차원 공간을 1-차원 공간으로 축소시켜서 순열 불변의 원인이 되는데, 순열 불변은 종래의 RAM 기반의 신경 네트워크와 비교할 때 메모리 크기의 급격한 감소를 위해 치러지는 대가이다. 상기 불변은 신경 코텍스의 핵심이다. 동시에 본 접근법의 장점이다. 왜냐하면, 상기 불변은 성분 다이내믹 레인지가 증가하는 경우에도 실질적으로 무해하기 때문이다. 상기 예를 위해, 패턴 (a, b, c)이 2개의 성분 패턴 (ab, bc)으로 변환되는 2 바이트 다이나믹 레인지를 사용함으로써, 다음의 스코어들이 구해질 수 있다:(a, b, c) => 2, (a, c, b) => 0, (b, a, c) => 0, (b, c, a) => 1, (c, a, b) => 1, (c, b, a) => 0 따라서 패턴(a, b, c)은 정확히 확인될 것이다.In the case of standard RAM, two different address words are always pointed to two different memory locations. This is no longer true in the case of neural cortex. For example, if the input pattern has three components (a, b, c) and the component dynamic range is one byte, then the patterns (a, c, b), (b, a, c), (b, c, a), (c, a, b), (c, b, a) will produce the same score of three. Because neural cortex is immutable for permutations. The invariant is due to the fact that all components (n modifications) address a single common store. Common storage reduces permutation of the N-dimensional space into one-dimensional space, causing permutation invariance, which is a price paid for a drastic reduction in memory size when compared to conventional RAM-based neural networks. This constant is at the heart of the neural cortex. At the same time it is an advantage of this approach. This is because the invariance is substantially harmless even when the component dynamic range is increased. For this example, by using a two byte dynamic range in which the patterns (a, b, c) are converted into two component patterns (ab, bc), the following scores can be obtained: (a, b, c) => 2, (a, c, b) => 0, (b, a, c) => 0, (b, c, a) => 1, (c, a, b) => 1, (c , b, a) => 0 Thus the patterns (a, b, c) will be identified correctly.
일반적인 경우에 있어서, n-성분의 입력 패턴( s 1 , s 2 , ... , s N )의, 성분들이 더 큰 다이내믹 레인지를 갖고 M < N 인 새로운 패턴 ( c 1 , c 2 , ... , c M )으로의 변환은 신경 코텍스 카드의 소프트웨어 드라이버에 의해 행해진다.In a typical case, the pattern of the n- type component (s 1, s 2, ... , s N) of the ingredient to have a larger dynamic range M <N, a new pattern (c 1, c 2, .. , c M ) is done by the software driver of the neural cortex card.
상기 변환이 모든 입력 패턴의 시퀀스를 한 차원의 혼돈 반복 맵(chaotic iterated map)으로 변환한다면, 상기 변환은 C(haos)-변환으로 언급될 수 있다. 확인 모호성의 부재를 위한 충분한 조건은 모든 C-변환된 입력 패턴들의 시퀀스는 혼돈 반복 맵이다는 것이다. 이러한 것은 상기 경우에 있어서 모든 패턴 성분들이 다르고 확인 모호성의 여지를 남기지 않기 때문에 사실이다. 사실상, 이러한 조건은 너무 강하다. 왜냐하면, 임의의 2개의 패턴들이 하나의 성분에서 하여간 다르면 충분하기 때문이다. 실용적 목적을 위해서, 2, 3 또는 그 이상의 성분들이 서로 결합될 때, 즉 (a, b, c)가 2개의 성분 패턴 (ab, bc)로 변환될 때, C 변환의 양호한 근사(approximation)는 성분들의 다이내믹 레인지를 2바이트, 3바이트 등으로 증가시킴으로써 달성될 수 있다.If the transform transforms the sequence of all input patterns into a one-dimensional chaotic iterated map, then the transform may be referred to as a C (haos) -transformation. A sufficient condition for the absence of confirmation ambiguity is that the sequence of all C-transformed input patterns is a chaotic iteration map. This is true because in this case all the pattern components are different and leave no room for confirmation ambiguity. In fact, these conditions are too strong. This is because any two patterns are sufficient to differ in one component. For practical purposes, when two, three or more components are combined with each other, that is, when (a, b, c) is converted into two component patterns (ab, bc), a good approximation of the C transformation is It can be achieved by increasing the dynamic range of the components to 2 bytes, 3 bytes, and the like.
신경 코텍스의 읽기 사이클 블록 다이어그램이 도2에 도시되어 있다. 블록들'루트(root)들', '링크들', '이름들', '스코어'는 RAM 장치들이다. ∑는 합산기이다. T-로직은 종료 로직 장치(terminating logic device)이다.A read cycle block diagram of the neural cortex is shown in FIG. The blocks 'roots', 'links', 'names' and 'scores' are RAM devices. ∑ is a summer. T-logic is a terminating logic device.
1. 각 패턴 성분(A-워드)은 '루트들' RAM의 어드레스 버스로 전달된다.1. Each pattern component (A-word) is transferred to the address bus of the 'roots' RAM.
2. '루트들' RAM의 출력 값 R은 '링크들' RAM의 어드레스 버스로 전달된다.2. The output value R of the 'roots' RAM is passed to the address bus of the 'links' RAM.
3. '링크들' RAM의 출력 값 L은 '이름들' RAM의 어드레스 버스로 전달된다.3. The output value L of the 'links' RAM is passed to the address bus of the 'names' RAM.
4. 그리고, 마지막으로, '이름들' RAM의 출력 값 N은 '스코어' RAM의 어드레스 버스로 전달된다.4. And finally, the output value N of the 'names' RAM is passed to the address bus of the 'score' RAM.
L이 0이면, T-로직은 처리를 종료시킨다. 그렇지 않은 경우, '이름' RAM의 출력에 의해 결정되는 어드레스 N에 있는 '스코어' RAM 내용은 1의 값만큼 증가된다. 그 다음, '링크들' RAM 출력은 '링크들' RAM 어드레스 버스로 피드백 된다. 상기 처리는 단계3부터 반복된다.If L is zero, T-Logic terminates the process. Otherwise, the contents of the 'score' RAM at address N, determined by the output of the 'name' RAM, are increased by a value of one. The 'links' RAM output is then fed back to the 'links' RAM address bus. The above process is repeated from step 3.
신경 코텍스 기록 사이클 블록 다이어그램이 도3에 도시되어 있다. 블록들 '루트들', '링크들', '이름들'은 RAM 디바이스들이다. CU는 제어 유닛이다.A neural cortex write cycle block diagram is shown in FIG. The blocks 'roots', 'links', 'names' are RAM devices. CU is a control unit.
1. 각 패턴 성분 A는 '루트들' RAM의 어드레스 버스로 전달된다.1. Each pattern component A is passed to the address bus of the 'roots' RAM.
2. '루트들' RAM의 출력 값 R은 '링크들' RAM의 어드레스 버스로 전달된다.2. The output value R of the 'roots' RAM is passed to the address bus of the 'links' RAM.
3. '링크' RAM의 출력 값 L은 '이름들' RAM의 어드레스 버스로 전달된다. '이름들' RAM의 출력 값은 N으로 표시되고, 현 패턴 이름은 P로 표시된다.3. The output value L of the 'link' RAM is passed to the address bus of the 'names' RAM. The output of 'names' RAM is denoted by N, and the current pattern name is denoted by P.
4. 값들 R, L, N, 및 P는 제어 유닛으로 전달되는데, 상기 제어 유닛은 다음의 로직을 이용한다. L = 0 이면, 상기 제어 유닛은 '루트들'을 업데이트하는 것에 대한 결정(단계5)을 한다. 그렇지 않으면, L은 '링크들' RAM 어드레스 버스로 피드백된다. 처리는 단계3부터 반복된다.4. The values R, L, N, and P are passed to the control unit, which uses the following logic. If L = 0, the control unit makes a decision (step 5) of updating the 'roots'. Otherwise, L is fed back to the 'links' RAM address bus. The process is repeated from step 3.
5. 결정 로직:5. Decision logic:
a) N = P 이면, 처리를 종료;a) if N = P, terminate the process;
R = 0이면, 카운터 값 C를 1만큼 증가시킴,If R = 0, increase counter value C by 1,
C를 어드레스 A의 '루트들' RAM에 기록,Write C to the 'roots' RAM at address A,
C를 어드레스 R의 '링크들' RAM에 기록,Write C to the 'links' RAM at address R,
P를 어드레스 L의 '이름들' RAM에 기록,Write P to the 'names' RAM at address L,
R > 0 그리고 L = 0이면, 카운터 값 C를 1만큼 증가시킴,If R> 0 and L = 0, increase counter value C by 1,
C를 어드레스 R의 '링크들' RAM에 기록,Write C to the 'links' RAM at address R,
P를 어드레스 L의 '이름들' RAM에 기록,Write P to the 'names' RAM at address L,
b) 처리를 종료b) terminate processing
신경 코텍스의 성능은 메모리 크기 및 읽기/기록 횟수에 따라 조정될 수 있다. 통상적으로, 저장 및 호출 횟수는 훈련이 계속됨에 따라 분류의 수가 증가될 때 증가한다. 부가적인 분류들은 인덱스 칼럼에 저장되는 참조 번호들의 양을 증가시키고, 따라서 억세스 되어져야 하는 인덱스 셀들의 양을 증가시킨다. 해결책으로써, 입력 패턴 성분들의 다이내믹 레인지 D 를 증가시킬 수 있다. 이것은 인덱스 칼럼들의 수를 증가시킨다. 왜냐하면, 인덱스 어드레스 공간은 D 와 동일하기 때문이다. 참조 번호들의 동일한 양은 넓은 영역에서 퍼질 것이고, 이는 다시 평균 인덱스 높이 H 를 감소시킨다.The performance of neural cortex can be adjusted according to the memory size and the number of reads / writes. Typically, the number of saves and calls increases as the number of classifications increases as training continues. Additional classifications increase the amount of reference numbers stored in the index column, thus increasing the amount of index cells that must be accessed. As a solution, it is possible to increase the dynamic range D of the input pattern components. This increases the number of index columns. This is because the index address space is equal to D. The same amount of reference numbers will spread over a wide area, which in turn reduces the average index height H.
저장 및 호출의 처리 시간은 억세스되는 메모리 셀의 수에 비례하고, 상기억세스되는 메모리 셀의 수는 HN 에 비례한다. 여기서, N 은 패턴 성분들의 수이다.D가 증가함에 따라, 처리 시간은 O(N) 에 접근한다. 이것은 H 는 D 에 반비례한다는 사실에서 나온다.The processing time of store and call is proportional to the number of memory cells accessed and the number of memory cells accessed is proportional to HN . Where N is the number of pattern components. As D increases, the processing time approaches O (N) . This comes from the fact that H is inversely proportional to D.
메모리 크기는 HD 에 비례한다. 그러나, H 는 D 보다 빠르게 증가/감소한다. 따라서, 다이내믹 레인지 D 를 정하는 것으로 효율적으로 메모리 크기를 제어할 수 있다. 최악의 경우, 신경 코텍스는 단지 하나의 "룩업 테이블"을 가지기 때문에, 신경 코텍스 크기는 CD 를 넘지 않는다(단, C 는 패턴 분류들의 수). 반면에, 종래의 RAM 기반의 인공 신경 네트워크의 메모리 크기는 CDN 이다. 왜냐하면, 이런 타입의 인공 신경 네트워크에 있어서 입력 룩업 테이블들의 수는 입력 패턴 성분들의 의 수 N 과 동일하기 때문이다.Memory size is proportional to HD . However, H increases / decreases faster than D. Therefore, by determining the dynamic range D , the memory size can be controlled efficiently. In the worst case, since the neural cortex has only one "look up table", the neural cortex size does not exceed CD (where C is the number of pattern classifications). On the other hand, the memory size of the conventional RAM-based artificial neural network is CDN . This is because, for this type of artificial neural network, the number of input lookup tables is equal to the number N of input pattern components.
본 발명의 범위를 벗어남 없이 다양한 수정, 변경, 및/또는 부가가 전술한 부분에 행해질 수 있다는 것이 이해되어야 한다.It is to be understood that various modifications, changes, and / or additions may be made to the above described parts without departing from the scope of the present invention.
Claims (13)
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/SG2000/000182 WO2002044926A1 (en) | 2000-11-30 | 2000-11-30 | Neural cortex |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20030057562A true KR20030057562A (en) | 2003-07-04 |
Family
ID=20428883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2003-7007184A KR20030057562A (en) | 2000-11-30 | 2000-11-30 | Neural Cortex |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US7305370B2 (en) |
| EP (1) | EP1340160A4 (en) |
| JP (1) | JP2004515002A (en) |
| KR (1) | KR20030057562A (en) |
| CN (1) | CN1470022A (en) |
| AU (1) | AU2001215675A1 (en) |
| CA (1) | CA2433999A1 (en) |
| MX (1) | MXPA03005942A (en) |
| WO (1) | WO2002044926A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101037885B1 (en) * | 2011-01-18 | 2011-05-31 | 주식회사 청오에이치앤씨 | Apparatus for movable vacuum cleaning |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1331092C (en) * | 2004-05-17 | 2007-08-08 | 中国科学院半导体研究所 | Special purpose neural net computer system for pattern recognition and application method |
| US20060271342A1 (en) * | 2005-05-27 | 2006-11-30 | Trustees Of The University Of Pennsylvania | Cort_x: a dynamic brain model |
| SG133421A1 (en) * | 2005-12-13 | 2007-07-30 | Singapore Tech Dynamics Pte | Method and apparatus for an algorithm development environment for solving a class of real-life combinatorial optimization problems |
| RU2666308C1 (en) | 2015-01-28 | 2018-09-06 | Гугл Инк. | Package normalization layers |
| EP3295381B1 (en) * | 2016-02-05 | 2022-08-24 | DeepMind Technologies Limited | Augmenting neural networks with sparsely-accessed external memory |
| JP2017182710A (en) * | 2016-03-31 | 2017-10-05 | ソニー株式会社 | Information processing device, information processing method, and information providing method |
| US10140574B2 (en) * | 2016-12-31 | 2018-11-27 | Via Alliance Semiconductor Co., Ltd | Neural network unit with segmentable array width rotator and re-shapeable weight memory to match segment width to provide common weights to multiple rotator segments |
| KR102499396B1 (en) | 2017-03-03 | 2023-02-13 | 삼성전자 주식회사 | Neural network device and operating method of neural network device |
| CN108109694B (en) * | 2018-01-05 | 2023-06-30 | 李向坤 | Event judging method and device, storage medium and electronic equipment |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5285522A (en) * | 1987-12-03 | 1994-02-08 | The Trustees Of The University Of Pennsylvania | Neural networks for acoustical pattern recognition |
| JPH02195400A (en) * | 1989-01-24 | 1990-08-01 | Canon Inc | Speech recognition device |
| WO1990016036A1 (en) * | 1989-06-14 | 1990-12-27 | Hitachi, Ltd. | Hierarchical presearch-type document retrieval method, apparatus therefor, and magnetic disc device for this apparatus |
| US6408402B1 (en) * | 1994-03-22 | 2002-06-18 | Hyperchip Inc. | Efficient direct replacement cell fault tolerant architecture |
| GB2289969A (en) | 1994-05-24 | 1995-12-06 | Ibm | Character segmentation |
| US5621848A (en) * | 1994-06-06 | 1997-04-15 | Motorola, Inc. | Method of partitioning a sequence of data frames |
| DE69422406T2 (en) * | 1994-10-28 | 2000-05-04 | Hewlett Packard Co | Method for performing data chain comparison |
| US5995868A (en) * | 1996-01-23 | 1999-11-30 | University Of Kansas | System for the prediction, rapid detection, warning, prevention, or control of changes in activity states in the brain of a subject |
| US6058206A (en) * | 1997-12-01 | 2000-05-02 | Kortge; Chris Alan | Pattern recognizer with independent feature learning |
| ATE208516T1 (en) * | 1998-02-05 | 2001-11-15 | Intellix As | CLASSIFICATION SYSTEM AND METHODS USING N-TUPLE OR RAM-BASED NEURONAL NETWORK |
-
2000
- 2000-11-30 EP EP00978191A patent/EP1340160A4/en not_active Withdrawn
- 2000-11-30 CN CNA008200017A patent/CN1470022A/en active Pending
- 2000-11-30 KR KR10-2003-7007184A patent/KR20030057562A/en not_active Application Discontinuation
- 2000-11-30 MX MXPA03005942A patent/MXPA03005942A/en unknown
- 2000-11-30 JP JP2002547024A patent/JP2004515002A/en active Pending
- 2000-11-30 CA CA002433999A patent/CA2433999A1/en not_active Abandoned
- 2000-11-30 WO PCT/SG2000/000182 patent/WO2002044926A1/en not_active Application Discontinuation
- 2000-11-30 AU AU2001215675A patent/AU2001215675A1/en not_active Abandoned
- 2000-11-30 US US10/398,279 patent/US7305370B2/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101037885B1 (en) * | 2011-01-18 | 2011-05-31 | 주식회사 청오에이치앤씨 | Apparatus for movable vacuum cleaning |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2433999A1 (en) | 2002-06-06 |
| WO2002044926A8 (en) | 2003-10-02 |
| EP1340160A1 (en) | 2003-09-03 |
| AU2001215675A1 (en) | 2002-06-11 |
| JP2004515002A (en) | 2004-05-20 |
| US20040034609A1 (en) | 2004-02-19 |
| WO2002044926A1 (en) | 2002-06-06 |
| EP1340160A4 (en) | 2005-03-23 |
| US7305370B2 (en) | 2007-12-04 |
| MXPA03005942A (en) | 2005-02-14 |
| CN1470022A (en) | 2004-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Picton et al. | What is a neural network? | |
| Gowda et al. | Divisive clustering of symbolic objects using the concepts of both similarity and dissimilarity | |
| Denoeux et al. | Initializing back propagation networks with prototypes | |
| KR20030057562A (en) | Neural Cortex | |
| Van Der Velde | Symbols Language Neural Networks Performance | |
| Li et al. | A new approach to rule learning based on fusion of fuzzy logic and neural networks | |
| Fan et al. | A genetic sparse distributed memory approach to the application of handwritten character recognition | |
| NZ526795A (en) | Hardware component of an index-based weightless neural cortex using a single common index with a systematic expansion | |
| Melnik et al. | RAAM for infinite context-free languages | |
| Chuang et al. | Automatic classification of block-shaped parts based on their 2D projections | |
| Palmieri et al. | Self-association and Hebbian learning in linear neural networks | |
| US6704459B1 (en) | Process and arrangement for transforming an input variable | |
| US11893477B2 (en) | Technology for lowering instantaneous power consumption of neural processing unit | |
| Poechmueller et al. | Handwritten pattern recognition with a binary associative memory | |
| Seow et al. | High storage capacity architecture for pattern recognition using an array of Hopfield neural networks | |
| Tambouratzis et al. | A logical neural network that adapts to changes in the pattern environment | |
| Hung et al. | Predictive top-down knowledge improves neural exploratory bottom-up clustering | |
| Owens et al. | A multi-output-layer perceptron | |
| Da Silva et al. | Generalization in a diluted neural network | |
| Serrano et al. | A CMOS VLSI analog current-mode high-speed ART1 chip | |
| Brouwer | Growing of a fuzzy recurrent artificial neural network (FRANN) for pattern classification | |
| Gunther Palm et al. | Neural Associative Memories | |
| MPITSOS | Parallel processing and learning: Variability and chaos in self-organization of activity in groups of neurons(Final Report, 15 Jan. 1989-14 Jan. 1992) | |
| International Neural Network Society (INNS), the IEEE Neural Network Council Cooperating Societies et al. | Neural network unit density: a critical biological parameter | |
| Semenov | Dynamics of circular neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E801 | Decision on dismissal of amendment | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |