WO2019164250A1 - 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법 및 장치 - Google Patents
완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법 및 장치 Download PDFInfo
- Publication number
- WO2019164250A1 WO2019164250A1 PCT/KR2019/002050 KR2019002050W WO2019164250A1 WO 2019164250 A1 WO2019164250 A1 WO 2019164250A1 KR 2019002050 W KR2019002050 W KR 2019002050W WO 2019164250 A1 WO2019164250 A1 WO 2019164250A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- bit
- sequence
- output
- validity determination
- edge sequence
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/46—Conversion to or from run-length codes, i.e. by representing the number of consecutive digits, or groups of digits, of the same kind by a code word and a digit indicative of that kind
Definitions
- Disclosed embodiments include a recording of a program for performing a method for controlling data input and output of a fully connected network, a device for controlling data input and output of a fully connected network, and a method for controlling data input and output of a fully connected network. It is about the medium.
- AI Artificial Intelligence
- AI technology is composed of elementary technologies that utilize machine learning (deep learning) and machine learning.
- Machine learning is an algorithm technology that classifies / learns characteristics of input data by itself
- element technology is a technology that simulates the functions of human brain cognition and judgment by using machine learning algorithms such as deep learning. It consists of technical areas such as understanding, reasoning / prediction, knowledge representation, and motion control.
- Linguistic understanding is a technology for recognizing and applying / processing human language / characters and includes natural language processing, machine translation, dialogue system, question and answer, speech recognition / synthesis, and the like.
- Visual understanding is a technology that recognizes and processes objects as human vision, and includes object recognition, object tracking, image retrieval, person recognition, scene understanding, spatial understanding, and image enhancement.
- Inference prediction is a technique of judging information, logically inferring, and predicting information, and includes knowledge / probability based inference, optimization prediction, preference based planning, and recommendation.
- Knowledge expression is a technology that automatically processes human experience information into knowledge data, and includes knowledge construction (data generation / classification) and knowledge management (data utilization).
- Motion control is a technology for controlling autonomous driving of a vehicle and movement of a robot, and includes motion control (navigation, collision, driving), operation control (action control), and the like.
- a method and apparatus for controlling data input and output of a fully connected network are provided.
- the technical problem to be achieved by the present embodiment is not limited to the technical problems as described above, and further technical problems can be inferred from the following embodiments.
- 1A is a diagram illustrating a learning method of a neural network.
- FIG. 1B is a diagram for describing a method of omitting unnecessary operations in a neural network to improve learning performance.
- FIG. 2 is a block diagram of a control device according to an embodiment.
- FIG. 3 is a diagram illustrating an example of a sequence generated by an encoding circuit.
- FIG. 4 is a block diagram illustrating a relationship between a control device and a learning circuit, according to an exemplary embodiment.
- 5A to 5H are diagrams illustrating a calculation process of a learning circuit based on an output of a control device according to the first embodiment.
- 6A to 6H are diagrams illustrating a calculation process of a learning circuit based on an output of a control device according to a second embodiment.
- FIG. 7 is a flowchart illustrating a control method according to an exemplary embodiment.
- a control device connected to a learning circuit that processes learning of a fully-connected network and controls input and output of data, including: a memory; Receive from the learning circuit an edge sequence indicating the connection relationship of nodes included in the current layer of the fully connected network, and compresses consecutive invalid bits among the bit strings constituting the edge sequence into one bit. Generates a compressed edge sequence and a validity determination sequence for determining valid and invalid bits among the bit strings constituting the compressed edge sequence, and writing the compressed edge sequence and the validity determination sequence to the memory. an encoding circuit for writing; And a decoding circuit that sequentially reads the compressed edge sequence from the memory so that the valid bits are sequentially output to the learning circuit.
- the valid bit may be a bit larger than a predetermined threshold value
- the invalid bit may be a bit not larger than the predetermined threshold value
- the compressed edge sequence may include a bit indicating the number of consecutive invalid bits.
- the bit value of the position in the validity determination sequence corresponding to the position of the valid bit in the compressed edge sequence is '1'
- the position of the invalid bit in the compressed edge sequence The bit value of the position in the validity determination sequence corresponding to may be '0'.
- the decoding circuit determines whether the output wait bit of the compressed edge sequence is valid based on the validity determination sequence, and if the output wait bit is invalid, the output.
- the read wait bit may be skipped and the output wait bit may be read if the output wait bit is valid.
- the validity determination sequence may be used as a clock gating signal for performing an operation of the learning circuit.
- the validity determination sequence may be used to jump the operation processing step of the learning circuit.
- the valid bits sequentially output from the control apparatus may be sequentially calculated with weight bits of a next layer of the fully connected network stored in the learning circuit.
- control device may input and output data in a first in first out (FIFO) manner.
- FIFO first in first out
- a control method of a control device connected to a learning circuit for processing learning of a fully-connected network and controlling input / output of data includes a current layer of the fully-connected network.
- Receiving an edge sequence from the learning circuit the edge sequence indicating a connection relationship between nodes included in the node; Validity of discriminating a valid bit and a valid bit among a compressed edge sequence in which consecutive invalid bits of the bit sequence constituting the edge sequence are compressed into one bit and a bit string constituting the compressed edge sequence.
- Generating a discrimination sequence Writing the compressed edge sequence and the validity determination sequence to a memory; And sequentially reading the compressed edge sequence from the memory based on the validity determination sequence such that the valid bits are sequentially output to the learning circuit.
- a computer-readable recording medium includes a recording medium having recorded thereon a program for executing the above method on a computer.
- ... unit means a unit for processing at least one function or operation, which is implemented in hardware or software or a combination of hardware and software. Can be.
- NeuralNetwork can be designed to simulate the human brain structure on a computer.
- the neural network may include an artificial neural network model, or a deep learning network model developed from the neural network model.
- Examples of various types of deep learning networks include fully connected networks (FCNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), and deep belif networks (Deep).
- FCNs fully connected networks
- CNNs convolutional neural networks
- RNNs recurrent neural networks
- Deep deep belif networks
- BDN Belief Network
- RBM Restricted Boltzman Machine
- a learning network model using the structure of a neural network includes a plurality of weighted network nodes that simulate neurons in a human neural network. At this time, network nodes of the neural network form links with other network nodes.
- the plurality of network nodes may be designed to simulate synaptic activity in which neurons send and receive signals through synapses.
- the disclosed embodiment relates to the processing of data based on the neural network described above. More specifically, the disclosed embodiments reduce power consumption and reduce processing speed by losslessly compressing data to reduce the read / write frequency to memory in a computational processing process based on a fully connected network. It is related to raising. According to the disclosed embodiments, efficient use of memory in the data input / output control device can be promoted.
- the disclosed embodiment can reduce data traffic and associated storage capacity for intermediate results during the neural network forward execution.
- the execution of the neural network may mean processing data of the neural network using a layer (for example, using a device such as a processor, a computing unit, etc.).
- processing of data may include updating the connection weights between neurons in a fully connected network.
- intermediate result may mean an operation result performed in at least one layer in the neural network.
- 1A is a diagram illustrating a learning method of a neural network.
- the neural network 100 includes an input layer 120, a hidden layer 140, and an output layer 145.
- FIG. 1A illustrates a fully connected network that classifies and outputs information included in input data. Specifically, when the input data is the image data, the neural network 100 outputs the result data of sorting the type of the image object included in the image data as output data.
- the plurality of layers forming the neural network 100 may include a plurality of nodes (eg, 125) that receive data. In addition, two adjacent layers are connected to a plurality of edges (eg, 130) as shown. Each node has a corresponding weight value, so that the neural network 100 may obtain output data based on a value obtained by calculating, for example, multiplying the input signal and the weight value.
- the input layer 120 receives input data, for example, image data 110 including a cat as an image object.
- the neural network 100 may include a first layer 150, a first hidden layer HIDDEN LAYER1 and a second hidden layer formed between the input layer 120 and the first hidden layer HIDDEN LAYER1.
- a second layer (Layer 2) 155 formed between HIDDEN LAYER2, a third layer (Layer 3) 160 formed between a second hidden layer (HIDDEN LAYER2) and a third hidden layer (HIDDEN LAYER3), and a second layer A third layer (HIDDEN LAYER3) and the output layer (OUTPUT LAYER 145) may be formed of a fourth layer (Layer 4) (170) formed.
- a plurality of nodes included in the input layer 120 of the neural network 100 receives signals corresponding to the input data 110.
- the output layer 145 may output the output data 175 corresponding to the image data 110 through operations on the plurality of layers included in the hidden layer 140.
- the neural network 100 may output an output data 175 of 'Cat probability: 98%' by performing an operation for classifying the types of image objects included in the input image.
- the output layer 145 performs learning in the direction of the input layer 120, and weight values are increased to increase the accuracy of the output data. Can be modified.
- the neural network 100 may adjust the connection weights of at least one node in the layer through learning.
- an overfitting problem may occur in the process of adjusting the weight. Overfitting refers to a situation in which the output accuracy of newly input data is reduced due to excessive concentration on the training data.
- an operation using a technique such as dropout and pruning may be used. Operations such as dropout and pruning are techniques that can improve learning performance by eliminating unnecessary operations in neural networks.
- FIG. 1B is a diagram for describing a method of omitting unnecessary operations in a neural network to improve learning performance.
- a fully connected neural network 180 and a neural network 190 with some connections omitted are shown.
- the neural network 190, with some connections omitted, has fewer nodes and fewer edges than the fully connected neural network 180.
- the neural network 190 in which some connections are omitted may be a network to which a dropout is applied.
- One of the methods that may be used to improve the learning performance of the fully connected neural network 180 may be a model combination.
- training using different training data or models must have different structures.
- learning a plurality of networks in a deep network requires a large amount of computation.
- Dropouts are designed to solve this problem, and instead of creating multiple models, some neurons can be omitted at random during the learning cycle. In this case, since the effects of training various models exponentially as the combination of the omitted neurons is generated, the effects of model combining can be enjoyed.
- the neural network 190 in which some connections are omitted may have a smaller number of edges than the fully connected neural network 180. Accordingly, the neural network 190 in which some connections are omitted may include a plurality of bit values '0' indicating 'disconnected' among edge sequences indicating connection relationships between nodes.
- the multiplication of the matrix and the vector used in the computation process of the neural network can be quickly performed at low power.
- FIG. 2 is a block diagram of a control device according to an embodiment.
- the control device 200 includes a memory 210, an encoding circuit 220, and a decoding circuit 230.
- the control device 200 may be connected to the learning circuit 240 that performs the learning of the neural network.
- the control device 200 may receive information output during the operation of the learning circuit 240, and may transmit information generated by the control device 200 to the learning circuit 240.
- the learning circuit 240 may perform an operation through a neural network including an input layer, a hidden layer, and an output layer.
- the hidden layer may include a plurality of layers, for example, a first layer, a second layer, a third layer, and the like.
- the operation of the neural network performed by the learning circuit 120 is as described above with reference to FIGS. 1A through 1B.
- the control apparatus 200 may receive data from the learning circuit 240 and output data to the learning circuit 240 in a first-in, first-out (FIFO) manner.
- the learning circuit 240 may process information in units of layers in the neural network. In this case, a waiting time may exist for each layer in the information processing process of the learning circuit 240. For example, the operation result for the first layer may be reprocessed or processed for a predetermined waiting time after the operation for the first layer. Such processing or reprocessing of the calculation result may be performed through the control device 200.
- the control device 200 may process the calculation result of the first layer and transmit it to the learning circuit 240.
- the processed calculation result received by the learning circuit 240 from the control device 200 may be used for the calculation of the second layer.
- the control device 200 may sequentially receive data from the learning circuit 240 and sequentially output data processed by the learning circuit 240.
- the memory 210 may store a sequence or bitstream having a predetermined size.
- the sequence according to an embodiment may be information related to whether edges are connected between nodes constituting a plurality of layers constituting a neural network.
- the sequence may be information indicating connection or disconnection of each of a plurality of edges formed in one layer included in the neural network.
- the sequence may be information related to an edge sequence indicating a connection relationship between each of the plurality of edges 130 included in a predetermined layer, for example, the first layer 150.
- the value of each bit string constituting the sequence may indicate a connection strength of a predetermined edge.
- the larger the bit value may mean that the connection strength of the predetermined edge is stronger, and the smaller the bit value may mean that the connection strength of the predetermined edge is weaker.
- information indicating the connection strength of predetermined edges as a sequence will be referred to as an "edge sequence".
- the sequence may be information related to a sequence that distinguishes valid and invalid bits from a bit string constituting an edge sequence.
- the value '0' included in the bit string constituting the sequence may indicate that the bit of the edge sequence corresponding to the address of the corresponding bit is an invalid bit.
- a value of '1' included in the bit string constituting the sequence may indicate that the bit of the edge sequence corresponding to the address of the bit is a valid bit. Whether bits in the edge sequence are invalid or valid can be determined by comparing the magnitude with a predetermined threshold.
- a sequence for determining a valid bit and an invalid bit among the bit strings constituting the edge sequence will be referred to as an "validity determination sequence".
- the memory 210 may store the above-described edge sequence or validity determination sequence.
- An edge sequence according to an embodiment may be compressed and stored in the memory 210 in the form of a compressed edge sequence. Detailed descriptions of the edge sequence, the compressed edge sequence, and the validity determination sequence will be described later with reference to FIG. 3.
- the control device 200 may receive the calculation result for the corresponding layer from the learning circuit 240.
- the operation result for the corresponding layer may mean an edge sequence for the corresponding layer.
- the encoding circuit 220 may process the edge sequence received by the control device 200 and store the processed edge sequence in the memory 210.
- the processed sequence may be a compressed sequence that compresses an edge sequence.
- the processed sequence may be a validity determination sequence that distinguishes valid and invalid bits from the bit strings constituting the compressed edge sequence.
- the encoding circuit 220 may generate a processed sequence corresponding to the operation period of the learning circuit 240.
- the encoding circuit 220 may write the processed sequence to the memory 210.
- the encoding circuit 220 since the compressed sequence has fewer bits than the sequence before being compressed, the encoding circuit 220 may reduce the number of writes to the memory 210. Therefore, the control device 200 may reduce power consumption due to the reduction in the number of writes.
- the decoding circuit 230 may transmit the processed sequence generated by the encoding circuit 220 to the learning circuit 240 to determine the connection state of the edge in the neural network.
- the decoding circuit 230 may read the processed sequence from the memory 210 to cause the control device 200 to sequentially output the bit strings in the processed sequence.
- the decoding circuit 230 since the compressed sequence has fewer bits than the sequence before being compressed, the decoding circuit 230 may reduce the number of reads from the memory 210. Therefore, the control device 200 may reduce power consumption due to the reduction in the number of reads.
- FIG. 3 is a diagram illustrating an example of a sequence generated by an encoding circuit.
- an edge sequence 310 a compressed edge sequence 320 and 340, and a validity determination sequence 330 and 350 are illustrated.
- the edge sequence 310 may be information indicating connection strength of predetermined edges.
- the edge sequence 310 may be composed of a bit string. The larger the bit value included in the bit string may mean that the connection strength of the predetermined edge is stronger, and the smaller bit value may mean that the connection strength of the predetermined edge is weaker.
- the edge sequence 310 may include valid bits and invalid bits. Whether bits in the edge sequence are invalid or valid can be determined by comparing the magnitude with a predetermined threshold. According to an embodiment, when a bit of an edge sequence is less than or equal to a threshold value, the corresponding bit may be invalid. The invalid means may mean that the edge corresponding to the corresponding bit is disconnected. Processing invalid bits below a predetermined threshold may be to omit unnecessary calculations in order to improve learning performance, such as pruning or dropout.
- the encoding circuit 220 may generate compressed edge sequences 320 and 340 which compress consecutive consecutive invalid bits into one bit among the bit strings constituting the edge sequence 310.
- a predetermined threshold is '0'
- bits having a value less than or equal to '0' are invalid in the bit string constituting the edge sequence 310, and only bits having a value greater than '0' are valid. can do.
- bits having a value equal to or less than a threshold value '0' may exist continuously.
- the encoding circuit 220 may generate the compressed edge sequence 320 by expressing it as one bit value when there are consecutive bits having a value equal to or less than the threshold '0'. In this case, the expressed bit value may indicate the number of times that bits having a value equal to or less than a threshold value '0' are consecutive in the edge sequence 310.
- the encoding circuit 220 may improve the operation speed of the learning circuit 240 by compressing consecutive invalid bits into one bit.
- the predetermined threshold is '3'
- bits having a value less than or equal to '3' are invalid in the bit string constituting the edge sequence 310, and only bits having a value greater than '3' are valid. can do.
- bits having a value equal to or less than a threshold value '3' may be continuously present.
- the encoding circuit 220 may generate the compressed edge sequence 340 by expressing it as one bit value when bits having a value equal to or less than the threshold value '3' are continuously present. In this case, the expressed bit value may represent the number of times that the bit having a value equal to or less than the threshold value '3' is consecutive in the edge sequence 310.
- the encoding circuit 220 may improve the operation speed of the learning circuit 240 by compressing consecutive invalid bits into one bit.
- the encoding circuit 220 may generate validity determination sequences 330 and 350 representing valid and invalid bits among the bit strings constituting the compressed edge sequences 320 and 340.
- the validity determination sequences 330 and 350 may be binary sequences represented by '0' and '1'. For example, a value of '0' included in the bit string constituting the validity determination sequences 330 and 350 may indicate that the bits of the compressed edge sequences 320 and 340 corresponding to the addresses of the corresponding bits are invalid bits. . Also, for example, a value of '1' included in the bit string constituting the validity determination sequence 330 or 350 may indicate that the bits of the compressed edge sequence 320 or 340 corresponding to the address of the corresponding bit are valid bits. have.
- the decoding circuit 230 may include only the valid bits of the compressed edge sequences 320 and 340 based on the compressed edge sequences 320 and 340 and the validity determination sequences 330 and 350 from the memory 210. You can lead. Specifically, the decoding circuit 230 determines whether the output wait bit of the compressed edge sequence 320, 340 is valid based on the validity determination sequence 330, 350, and waits for output if the output wait bit is invalid. It is possible to skip the read of the bit and read the output wait bit if the output wait bit is valid. For example, for the compressed edge sequence 320, the decoding circuit 230 may read a bit string of valid bits "93124781". Also, for example, for the compressed edge sequence 340, the decoding circuit 230 may read a bit string of "9478" which is a valid bit.
- valid bits sequentially output from the control device 200 may be sequentially processed with weight bits of a next layer of a fully connected network stored in the learning circuit 240.
- FIG. 4 is a block diagram illustrating a relationship between a control device and a learning circuit, according to an exemplary embodiment.
- control device 410 may be connected to a learning circuit 440 that processes learning of a neural network to control input / output of data.
- the FIFO controller 450 may be connected to the learning circuit 440 to control input / output of data.
- the FIFO controller 450 may output the information related to the weight matrix of the predetermined layer to the learning circuit 440.
- the control device 410 includes an encoding circuit 420 and a decoding circuit 430. Since the encoding circuit 420 and the decoding circuit 430 of FIG. 4 correspond to the encoding circuit 220 and the decoding circuit 230 described above with reference to FIG. 2, a detailed description thereof will be omitted.
- the learning circuit 440 may perform an operation for learning the neural network.
- the neural network may be a fully connected network. Nodes included in each layer in a fully connected network have weight values.
- a signal input to the current layer may be output with a weight matrix and an operation, for example, multiplication.
- the signal input to the current layer may be matrix data of size N ⁇ 1 (N is the number of nodes constituting the current layer).
- the weight matrix multiplied by the signal input to the current layer may be matrix data of size M ⁇ N (M is the number of nodes constituting the next layer of the current layer, N is the number of nodes constituting the current layer). have.
- the signal output from the current layer may be input to the next layer.
- the signal output from the current layer may be input to the next layer through control by the control device 410.
- the learning circuit 440 may include registers 442 and 444, a comparator 446, and an accumulator 448.
- the control device 410 may output the validity determination sequence read from the memory by the decoding circuit 430 to the comparator 446 of the learning circuit 440. According to an embodiment, the validity determination sequence sequentially output from the control device 410 may be compared with the validity determination sequence sequentially output from the FIFO controller 450 through the comparator 446.
- the comparator 446 may perform an AND operation on the values of two bits received from the control device 410 and the FIFO controller 450 and use them as clock gating signals only when both are '1'. . That is, if any one of the values of two bits received from the control device 410 and the FIFO controller 450 is '0', the clock may not be applied, and thus the toggle of the registers 442 and 444 may not occur.
- the comparator 446 according to an exemplary embodiment may serve to initiate a calculation operation only when data input to the learning circuit 440 is valid.
- the register 442 may store the current bit of the edge sequence received from the control device 410 based on the clock gating signal received from the comparator 446.
- the register 444 may store the current bit of the weight sequence received from the FIFO controller 450 based on the clock gating signal received from the comparator 446.
- the current bit of the edge sequence stored in register 442 may be multiplied by the current bit of the weighted sequence stored in register 444.
- the multiplied result may be accumulated in the accumulator 448 and added to the next calculation result.
- the accumulator 448 may accumulate the calculation result until the control device 410 outputs the last bit of the edge sequence.
- the learning circuit 440 may output the final result stored in the accumulator 448 as a result value for the current layer to the control device 410.
- the registers 442 and 444 may be hardware elements (eg, processing elements) that perform systematic operations for their own purposes. A process of storing and outputting data in the registers 442 and 444 will be described in detail below.
- 5A to 5H are diagrams illustrating a calculation process of a learning circuit based on an output of a control device according to the first embodiment.
- the control device 510 may output data for learning a neural network (eg, a fully connected network) to the learning circuit 580.
- the data output from the control device 510 may be input data for the current layer of the neural network.
- the input data for the current layer output from the control device 510 may be calculated with the weight data 540, 550, 560, 570 of the current layer.
- This operation may be a multiplication operation of the weight matrix (e.g., 4 x 4 size) and the input matrix (e.g., 4 x 1 size).
- the learning circuit 580 may perform a multiplication operation between matrices using a plurality of processing elements. The data progression order between the processing elements may proceed sequentially from left to right.
- the learning circuit 580 may output a result of calculating the data output from the control device 510 and the weight data 540, 550, 560, 570 as the output of the current layer.
- a threshold for determining validity of the bit value is illustrated as 0.
- a compressed edge sequence “427” and a validity determination sequence “101” are illustrated as objects to be output by the control device 510 to the learning circuit 580.
- the compressed edge sequence “427” and the validity determination sequence “101” may be generated by the encoding circuit 520 and written to a memory in the control device 510.
- the decoding circuit 530 may read and output an edge sequence (that is, a compressed edge sequence) and a validity determination sequence from a memory in a first in first out (FIFO) manner.
- bit '7' of the edge sequence to be first outputted from the control device 510 is determined to be valid by the bit value '1' indicated by the validity determination sequence and is applied to the processing element of the learning circuit 580. Can be delivered. Accordingly, bit '7' of the edge sequence outputted first from the control device 510 may be multiplied by a valid bit '1' of the weight sequence 540 and stored as a value of '7'.
- the edge sequence to be output second from the control device 510 may be determined to be invalid by the bit value '0' indicated by the validity determination sequence and may not be transmitted to the processing element. Accordingly, the processing element may not perform a multiplication operation with the weight sequence 540. Thus, the result of the calculation with the weighting sequence 540 may still remain '7'. Meanwhile, the bit '7' of the edge sequence first output from the control device 510 may be transferred to an adjacent processing element for the multiplication operation with the weight sequence 550.
- the third edge sequence to be output from the control device 510 may be determined to be invalid by the bit value '0' indicated by the validity determination sequence and may not be transmitted to the processing element. Accordingly, the processing element may not perform a multiplication operation with the weight sequence 540. Thus, the result of the calculation with the weighting sequence 540 may still remain '7'. Meanwhile, the bit '7' of the edge sequence first output from the control device 510 may be transferred to an adjacent processing element for the multiplication operation with the weight sequence 560. In addition, the information indicating that the second bit of the edge sequence is invalid may be transferred to a processing element for calculation with the weight sequence 550.
- the fourth edge sequence to be output from the control device 510 may be determined to be valid by the bit value '1' indicated by the validity determination sequence and transferred to the processing element. Accordingly, the bit '4' of the fourth edge sequence output from the control device 510 is multiplied by the valid bit '4' of the weight sequence 540, and the multiplied result value '16' is a pre-stored intermediate result. In addition to the value '7' it can be stored as the final result value '23'. Meanwhile, the bit '7' of the edge sequence first output from the control device 510 may be transferred to an adjacent processing element for the multiplication operation with the weight sequence 570.
- information indicating that the second bit of the edge sequence is invalid may be passed to a processing element for computation with the weight sequence 560.
- information indicating that the third bit of the edge sequence is invalid may be transferred to a processing element for calculation with the weight sequence 550.
- bit '4' of the fourth edge sequence outputted from the control device 510 is multiplied by a valid bit '2' of the weight sequence 560, and the multiplied result '8' is a previously stored intermediate result ' In addition to 35 ', the final result can be stored as' 43'.
- bit '4' of the fourth edge sequence outputted from the control device 510 is multiplied by a valid bit '7' of the weight sequence 570, and the multiplied result '28' is a previously stored intermediate result ' In addition to '14' can be stored as the final result '42'.
- the calculation result of the finally output current layer is [23, 42, 43, 42] T.
- the result of this operation is consistent with the matrix multiplication result of the input data [7, 0, 0, 4] T of the current layer and the weight data (540, 550, 560, 570).
- the validity determination sequence output from the control device 510 serves to toggle or trigger the operation of the processing element in the learning circuit 580. can do.
- 6A to 6H are diagrams illustrating a calculation process of a learning circuit based on an output of a control device according to a second embodiment.
- the control device 610 may output data for learning a neural network (eg, a fully connected network) to the learning circuit 640.
- the data output from the control device 610 may be input data for the current layer of the neural network.
- the input data for the current layer output from the control device 610 may be calculated with the weight data 650 of the current layer.
- the learning circuit 640 may perform a multiplication operation between the matrices using the processing element.
- the learning circuit 640 may output a result of calculating the data output from the control device 610 and the weight data 650 as the output of the current layer.
- a compressed edge sequence “532427” and a validity determination sequence “110101” are illustrated as objects to be output by the control device 610 to the learning circuit 640.
- the compressed edge sequence “532427” and the validity determination sequence “110101” may be generated by the encoding circuit 620 and written to the memory.
- the decoding circuit 630 may read and output an edge sequence and a validity determination sequence compressed in a first in first out (FIFO) manner from a memory.
- FIFO first in first out
- the learning circuit 640 may jump a next operation sequence by the bit value of the edge sequence corresponding to the address.
- the bit value '1' may be input to the address counter.
- the bit value of the validity determination sequence to be first output from the control device 610 is '1'.
- the decoding circuit 630 of the control device 610 may identify that the bit value of the validity determination sequence waiting for output is '1'.
- a bit value '7' of an edge sequence first output from the control device 610 and a bit value '1' first output from the weight sequence 650 may be input to the register 660.
- the register 660 may store a value of '7' by multiplying the bit value '7' of the edge sequence by the bit value '1' of the weight sequence 650.
- a value of '1' identified by the decoding circuit 630 in FIG. 6B may be transferred to the address counter of the learning circuit 640.
- the value transferred to the address counter may mean a difference from a bit address for performing a current operation to a bit address for performing a next operation. That is, if a value of '1' is passed to the address counter, the bit after one space in the next operation participates in the operation.
- the decoding circuit 630 of the control device 610 may identify that the bit value of the validity determination sequence waiting for the output (that is, the second output) is '0'.
- the second bit value of the edge sequence should be output from the control device 610 based on the value of '1' transmitted to the address counter.
- the second bit value of the edge sequence may be determined to be invalid by the bit value '0' indicated by the validity determination sequence and may not be transmitted to the register 660. Accordingly, the register 660 may not perform a multiplication operation with the weight sequence 650. Thus, the value stored in register 660 can still remain at a value of '7'.
- the decoding circuit 630 in FIG. 6C since the decoding circuit 630 in FIG. 6C has identified that the bit value of the validity determination sequence waiting for output is '0', the decoding circuit 630 in FIG. 6B determines the bit value of the edge sequence corresponding to the corresponding address. 2 'may be transferred to the address counter of the learning circuit 640. This may mean that the bit after two spaces in the next operation will participate in the operation.
- the decoding circuit 630 of the control device 610 may identify that the bit value of the validity determination sequence waiting for output (that is, the third output) is '0'.
- a bit value '1' which is fourth output from the weight sequence 650, may be input to the register 660 based on the value of '2' transferred to the address counter.
- the register 660 may store the value obtained by multiplying the bit value '4' of the edge sequence by the bit value '1' of the weight sequence 650 and the previously stored intermediate result value '7' and storing the value '11'. have.
- the decoding circuit 630 in FIG. 6D since the decoding circuit 630 in FIG. 6D has identified that the bit value of the validity determination sequence waiting for output is '0', the decoding circuit 630 in FIG. 6E determines the bit value of the edge sequence corresponding to the corresponding address. 2 'may be transferred to the address counter of the learning circuit 640. This may mean that the bit after two spaces in the next operation will participate in the operation.
- the decoding circuit 630 of the control device 610 may identify that the bit value of the validity determination sequence waiting for output is '1'.
- the sixth bit value from the weight sequence 650 should be input into the register.
- the sixth bit value of weight sequence 650 may not be passed to register 660 as '0'. Accordingly, register 660 may not perform a multiply operation and the value stored in register 660 may still remain at a value of '11'.
- the decoding circuit 630 in FIG. 6E since the decoding circuit 630 in FIG. 6E has identified that the bit value of the validity determination sequence waiting for output is '1', the decoding circuit 630 in FIG. 6F determines the value of '1' in the learning circuit 640. Can be passed to the address counter. This may mean that a bit after one space in the next operation will participate in the operation. At the same time, the decoding circuit 630 of the control device 610 may identify that the bit value of the validity determination sequence waiting for output is '1'.
- the seventh bit value '4' output from the weight sequence 650 may be input to the register 660.
- the register 660 may store the value obtained by multiplying the bit value '3' of the edge sequence by the bit value '4' of the weight sequence 650 and the stored intermediate result value '11' as the value '23'. have.
- the decoding circuit 630 in FIG. 6F since the decoding circuit 630 in FIG. 6F has identified that the bit value of the validity determination sequence waiting for output is '1', the decoding circuit 630 in FIG. 6G determines the value of '1' in the learning circuit 640. Can be passed to the address counter. This may mean that a bit after one space in the next operation will participate in the operation.
- a bit value '3' which is eighth output from the weight sequence 650, may be input to the register 660 based on the value of '1' transferred to the address counter.
- the register 660 may store the value obtained by multiplying the bit value '5' of the edge sequence by the bit value '3' of the weight sequence 650 and the previously stored intermediate result value '23', and store the value '38'. have.
- the validity determination sequence output from the control device 610 may be used to jump the operation processing step of the learning circuit 640.
- FIG. 7 is a flowchart illustrating a control method according to an exemplary embodiment.
- control device 200 may receive an edge sequence indicating a connection relationship between nodes included in a current layer of a fully connected network, from the learning circuit.
- control apparatus 200 determines a valid edge and an invalid bit among the compressed edge sequence that compresses consecutive invalid bits into one bit among the bit sequences constituting the edge sequence and the bit string constituting the compressed edge sequence.
- a validity determination sequence can be generated.
- control device 200 may write the compressed edge sequence and the validity determination sequence to the memory.
- control apparatus 200 may sequentially read the compressed edge sequence based on the validity determination sequence from the memory so that valid bits are sequentially output to the learning circuit.
- the device includes a processor, memory for storing and executing program data, permanent storage such as a disk drive, a communication port for communicating with an external device, a touch panel, a key, a button And a user interface device such as the like.
- Methods implemented by software modules or algorithms may be stored on a computer readable recording medium as computer readable codes or program instructions executable on the processor.
- the computer-readable recording medium may be a magnetic storage medium (eg, read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and an optical reading medium (eg, CD-ROM). ) And DVD (Digital Versatile Disc).
- the computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
- the medium is readable by the computer, stored in the memory, and can be executed by the processor.
- This embodiment can be represented by functional block configurations and various processing steps. Such functional blocks may be implemented in various numbers of hardware or / and software configurations that perform particular functions.
- an embodiment may include an integrated circuit configuration such as memory, processing, logic, look-up table, etc. that may execute various functions by the control of one or more microprocessors or other control devices. You can employ them.
- the present embodiment includes various algorithms implemented in C, C ++, Java (data structures, processes, routines or other combinations of programming constructs). It may be implemented in a programming or scripting language such as Java), an assembler, or the like.
- the functional aspects may be implemented with an algorithm running on one or more processors.
- the present embodiment may employ the prior art for electronic configuration, signal processing, and / or data processing.
- Terms such as “mechanism”, “element”, “means”, “configuration” can be used widely and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Neurology (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Error Detection And Correction (AREA)
- Image Analysis (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
본 개시는 딥러닝 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공지능(AI) 시스템 및 그 응용에 관련된 것이다. 특히, 본 개시는 인공지능 시스템 및 그 응용에 따른 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법으로, 완전 연결 네트워크의 현재 계층에 포함된 노드들의 연결관계를 나타내는 엣지 시퀀스를 학습 회로로부터 수신하고, 엣지 시퀀스를 구성하는 비트열 중 연속하는 무효 비트를 하나의 비트로 압축한 압축된 엣지 시퀀스 및 압축된 엣지 시퀀스를 구성하는 비트열 중 유효 비트와 무효 비트를 판별하는 유효성 판별 시퀀스를 생성하고, 압축된 엣지 시퀀스 및 유효성 판별 시퀀스를 메모리에 라이트하고, 유효 비트가 학습 회로로 순차적으로 출력되도록, 유효성 판별 시퀀스에 기초하여 압축된 엣지 시퀀스를 메모리로부터 순차적으로 리드할 수 있다.
Description
개시된 실시예는 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법, 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 장치 및 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법을 수행하는 프로그램이 기록된 기록매체에 관한 것이다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 Rule 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
다양한 실시예들에 따라 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법 및 장치를 제공한다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
도 1a는 뉴럴 네트워크의 학습 방법을 설명하기 위한 도면이다.
도 1b는 학습 성능 개선을 위해 뉴럴 네트워크 내의 불필요한 연산을 생략하는 방법을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 제어 장치의 블록도이다.
도 3은 인코딩 회로가 생성하는 시퀀스를 예시적으로 나타낸 도면이다.
도 4는 일 실시예에 따른 제어 장치 및 학습 회로의 관계를 나타낸 블록도이다.
도 5a 내지 5h는 제 1 실시예에 따라 제어 장치의 출력에 기초한 학습 회로의 연산 수행 과정을 나타낸 도면이다.
도 6a 내지 6h는 제 2 실시예에 따라 제어 장치의 출력에 기초한 학습 회로의 연산 수행 과정을 나타낸 도면이다.
도 7은 일 실시예에 따른 제어 방법을 나타내는 흐름도이다.
상술한 기술적 과제를 해결하기 위한 일 실시예에 따른 완전 연결 네트워크(Fully-Connected Network)의 학습을 처리하는 학습 회로(circuit)와 연결되어 데이터의 입출력을 제어하는 제어 장치는, 메모리; 상기 완전 연결 네트워크의 현재 계층(layer)에 포함된 노드들의 연결관계를 나타내는 엣지 시퀀스를 상기 학습 회로로부터 수신하고, 상기 엣지 시퀀스를 구성하는 비트열 중 연속하는 무효(invalid) 비트를 하나의 비트로 압축한 압축된 엣지 시퀀스 및 상기 압축된 엣지 시퀀스를 구성하는 비트열 중 유효(valid) 비트와 무효 비트를 판별하는 유효성 판별 시퀀스를 생성하고, 상기 압축된 엣지 시퀀스 및 상기 유효성 판별 시퀀스를 상기 메모리에 라이트(write)하는 인코딩 회로; 및 상기 유효 비트가 상기 학습 회로로 순차적으로 출력되도록, 상기 유효성 판별 시퀀스에 기초하여 상기 압축된 엣지 시퀀스를 상기 메모리로부터 순차적으로 리드(read)하는 디코딩 회로를 포함한다.
또한, 일 실시예에 따른 제어 장치에 있어서, 상기 유효 비트는 소정의 임계값보다 큰 비트이고, 상기 무효 비트는 상기 소정의 임계값보다 크지 않은 비트일 수 있다.
또한, 일 실시예에 따른 제어 장치에 있어서, 상기 압축된 엣지 시퀀스는 상기 연속하는 무효 비트의 개수를 나타내는 비트를 포함할 수 있다.
또한, 일 실시예에 따른 제어 장치에 있어서, 상기 압축된 엣지 시퀀스 내의 유효 비트의 위치에 대응하는 상기 유효성 판별 시퀀스 내의 위치의 비트값은 '1'이고, 상기 압축된 엣지 시퀀스 내의 무효 비트의 위치에 대응하는 상기 유효성 판별 시퀀스 내의 위치의 비트값은 '0'일 수 있다.
또한, 일 실시예에 따른 제어 장치에 있어서, 상기 디코딩 회로는 상기 유효성 판별 시퀀스에 기초하여 상기 압축된 엣지 시퀀스의 출력 대기 비트가 유효한지 여부를 결정하고, 상기 출력 대기 비트가 무효한 경우 상기 출력 대기 비트의 리드를 스킵(skip)하고, 상기 출력 대기 비트가 유효한 경우 상기 출력 대기 비트를 리드할 수 있다.
또한, 일 실시예에 따른 제어 장치에 있어서, 상기 유효성 판별 시퀀스는 상기 학습 회로의 연산 수행을 위한 클록 게이팅 신호(clock gating signal)로 이용될 수 있다.
또한, 일 실시예에 따른 제어 장치에 있어서, 상기 유효성 판별 시퀀스는 상기 학습 회로의 연산 처리 단계를 점프(jump)하기 위해 이용될 수 있다.
또한, 일 실시예에 따른 제어 장치에 있어서, 상기 제어 장치로부터 순차적으로 출력되는 상기 유효 비트는 상기 학습 회로에 저장된 상기 완전 연결 네트워크의 다음 계층의 가중치 비트와 순차적으로 연산될 수 있다.
또한, 일 실시예에 따른 제어 장치에 있어서, 상기 제어 장치는 FIFO(first in first out)방식으로 데이터를 입출력할 수 있다.
일 실시예에 따른 완전 연결 네트워크(Fully-Connected Network)의 학습을 처리하는 학습 회로(circuit)와 연결되어 데이터의 입출력을 제어하는 제어 장치의 제어 방법은, 상기 완전 연결 네트워크의 현재 계층(layer)에 포함된 노드들의 연결관계를 나타내는 엣지 시퀀스를 상기 학습 회로로부터 수신하는 단계; 상기 엣지 시퀀스를 구성하는 비트열 중 연속하는 무효(invalid) 비트를 하나의 비트로 압축한 압축된 엣지 시퀀스 및 상기 압축된 엣지 시퀀스를 구성하는 비트열 중 유효(valid) 비트와 무효 비트를 판별하는 유효성 판별 시퀀스를 생성하는 단계; 상기 압축된 엣지 시퀀스 및 상기 유효성 판별 시퀀스를 메모리에 라이트(write)하는 단계; 및 상기 유효 비트가 상기 학습 회로로 순차적으로 출력되도록, 상기 유효성 판별 시퀀스에 기초하여 상기 압축된 엣지 시퀀스를 상기 메모리로부터 순차적으로 리드(read)하는 단계를 포함한다.
일 실시예에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
개시된 실시 예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
뉴럴 네트워크(NeuralNetwork)는 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있다. 뉴럴 네트워크는, 인공 지능 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 네트워크 모델을 포함할 수 있다. 다양한 종류의 딥 러닝 네트워크를 예로 들면, 완전 연결 네트워크(Fully Connected Network; FCN), 컨볼루션 뉴럴 네트워크(Convolutional Neural Network; CNN), 회귀 뉴럴 네트워크(Recurrent Neural Network; RNN), 딥 빌리프 네트워크(Deep Belief Network; DBN), 제한된 볼츠만 기계(Restricted Boltzman Machine; RBM) 방식 등이 있으나, 이에 제한되지 않는다.
뉴럴 네트워크의 구조를 이용하는 학습 네트워크 모델은 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함한다. 이 때, 뉴럴 네트워크의 네트워크 노드들은 다른 네트워크 노드들과의 연결들(links)을 형성한다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 시냅틱(synaptic) 활동을 모의하도록 설계될 수 있다.
개시된 실시예는 상술한 뉴럴 네트워크를 기반으로 한 데이터의 처리와 관련된다. 보다 구체적으로, 개시된 실시예는 완전 연결 네트워크를 기반으로 한 연산 처리 과정에 있어서, 데이터를 손실 없이 압축하여 메모리로의 리드(read)/라이트(write) 빈도를 줄임으로써 전력 소모를 감소시키고 처리 속도를 높이는 것에 관련된다. 개시된 실시예에 따르면 데이터 입출력 제어 장치 내의 메모리의 효율적인 사용을 증진시킬 수 있다.
또한, 개시된 실시예는 뉴럴 네트워크가 실행되는(forward execution) 동안의 중간 결과들에 관한 데이터 트래픽 및 연관된 저장 용량을 감소시킬 수 있다. 여기서, 뉴럴 네트워크를 실행한다는 의미는 계층을 이용하여(예를 들어, 프로세서, 컴퓨팅 유닛 등과 같은 디바이스를 이용하여) 뉴럴 네트워크의 데이터를 처리함을 의미할 수 있다. 또한, "데이터의 처리"의 예시는, 완전 연결 네트워크 내의 뉴런들 사이의 연결 가중치를 업데이트하는 것을 포함할 수 있다. 또한, "중간 결과"는 뉴럴 네트워크 내의 적어도 하나의 계층에서 수행되는 연산 결과를 의미할 수 있다.
도 1a는 뉴럴 네트워크의 학습 방법을 설명하기 위한 도면이다.
도 1a를 참조하면, 뉴럴 네트워크(100)는 입력 계층(120), 히든 계층(hidden layer)(140) 및 출력 계층(145)을 포함한다. 도 1a에서는 입력 데이터에 포함되는 정보를 분류하여 출력하는 완전 연결 네트워크를 예로 들어 도시하였다. 구체적으로, 뉴럴 네트워크(100)는 입력 데이터가 영상 데이터일 때, 영상 데이터에 포함되는 영상 객체의 종류를 분류한 결과 데이터를 출력 데이터로써 출력한다.
뉴럴 네트워크(100)을 형성하는 복수개의 계층들은 데이터를 수신하는 복수개의 노드(node)(예를 들어, 125)들을 포함할 수 있다. 그리고, 인접한 두 개의 계층들은 도시된 바와 같이 복수개의 엣지(edge)(예를 들어, 130)들로 연결된다. 각각의 노드들은 대응되는 가중치 값을 가지고 있어서, 뉴럴 네트워크(100)는 입력된 신호와 가중치 값을 연산, 예를 들어, 곱하기 연산한 값에 근거하여, 출력 데이터를 획득할 수 있다.
도 1a를 참조하면, 입력 계층(120)은 입력 데이터, 예를 들어, 고양이를 영상 객체로 포함하는 영상 데이터(110)를 입력 받는다.
또한, 뉴럴 네트워크(100)는 입력 계층(120)과 제 1 히든 계층(HIDDEN LAYER1) 간에 형성되는 제 1 계층(Layer 1)(150), 제 1 히든 계층(HIDDEN LAYER1)과 제 2 히든 계층(HIDDEN LAYER2) 간에 형성되는 제 2 계층(Layer 2)(155), 제 2 히든 계층(HIDDEN LAYER2)과 제 3 히든 계층(HIDDEN LAYER3) 간에 형성되는 제 3 계층(Layer 3)(160), 및 제 3 히든 계층(HIDDEN LAYER3)과 출력 계층(OUTPUT LAYER(145) 간에 형성되는 제 4 계층(Layer 4)(170)으로 형성될 수 있다.
뉴럴 네트워크(100)의 입력 계층(120)에 포함되는 복수개의 노드들은 입력 데이터(110)에 대응되는 신호들을 수신한다. 그리고, 히든 계층(140)에 포함되는 복수개의 계층들에서의 연산을 통하여, 출력 계층(145)에서는 영상 데이터(110)에 대응되는 출력 데이터(175)를 출력할 수 있다. 도시된 예시에서, 뉴럴 네트워크(100)는 입력된 영상에 포함되는 영상 객체의 종류를 분류하기 위한 연산을 수행하여 'Cat 확률: 98%'라는 출력 데이터(175)를 출력할 수 있다. 뉴럴 네트워크(100)을 통하여 출력된 출력 데이터(175)의 정확도를 높이기 위해서, 출력 계층(145)에서 입력 계층(120) 방향으로 학습(learning)을 수행하며 출력 데이터의 정확도가 높아지도록 가중치값들을 수정할 수 있다.
이처럼, 뉴럴 네트워크(100)는 학습을 통하여 계층 내의 적어도 하나의 노드의 연결 가중치들을 조절할 수 있다. 이 때, 가중치를 조절하는 과정에서 오버피팅(overfitting) 문제가 발생할 수 있다. 오버피팅은 학습 데이터에 지나치게 집중을 함으로써 새롭게 입력되는 데이터에 대한 출력 정확도가 떨어지는 상황을 의미한다. 이러한 오버피팅 문제를 해결하기 위해 이용되는 방법으로 드랍아웃(dropout), 프루닝(pruning) 등의 기법을 이용한 연산이 이용되기도 한다. 드랍아웃, 프루닝 등과 같은 연산은 뉴럴 네트워크 내의 불필요한 연산을 생략함으로써 학습 성능을 개선할 수 있는 기법을 말한다.
도 1b는 학습 성능 개선을 위해 뉴럴 네트워크 내의 불필요한 연산을 생략하는 방법을 설명하기 위한 도면이다.
도 1b를 참조하면, 완전 연결 뉴럴 네트워크(180) 및 일부 연결이 생략된 뉴럴 네트워크(190)가 도시된다. 일부 연결이 생략된 뉴럴 네트워크(190)는 완전 연결 뉴럴 네트워크(180)에 비해 적은 수의 노드 및 적은 수의 엣지를 갖는다. 예를 들어, 일부 연결이 생략된 뉴럴 네트워크(190)는 드랍아웃이 적용된 네트워크일 수 있다.
완전 연결 뉴럴 네트워크(180)의 학습 성능을 개선하기 위해서 이용될 수 있는 방법 중에 하나는 모델 결합(model combination)일 수 있다. 이러한 모델 결합을 위해서는 서로 다른 학습 데이터를 이용해서 학습을 하거나, 모델이 서로 다른 구조를 가져야 한다. 그러나, 네트워크가 깊은 경우에 복수개의 네트워크를 학습시키는 것은 많은 연산량을 필요로 한다는 문제점을 갖는다. 드랍아웃은 이러한 문제점을 해결하기 위한 것으로, 복수개의 모델을 만드는 대신 학습 사이클이 진행되는 동안 무작위로 일부 뉴런을 생략할 수 있다. 이 경우, 생략된 뉴런의 조합만큼 지수함수적으로 다양한 모델을 학습시키는 것과 같은 효과가 생기게 되므로 모델 결합의 효과를 누릴 수 있다.
도 1b를 참조하면, 일부 연결이 생략된 뉴럴 네트워크(190)는 완전 연결 뉴럴 네트워크(180)에 비해 엣지의 개수가 적을 수 있다. 따라서, 일부 연결이 생략된 뉴럴 네트워크(190)는 노드들 사이의 연결관계를 나타내는 엣지 시퀀스 중에서 '연결해제'를 나타내는 비트값 '0'을 다수 포함할 수 있다.
이하에서는, 전술한 드랍아웃 또는 프루닝 등을 적용한 뉴럴 네트워크의 연산에서 불필요한 연산들을 생략하는 실질적인 방법에 대해 상세히 설명하기로 한다. 개시된 실시예에 따르면, 뉴럴 네트워크(예를 들어, 완전 연결 네트워크)의 연산 과정에서 사용되는 매트릭스와 벡터의 곱셈을 저전력으로 빠르게 수행할 수 있다.
도 2는 일 실시예에 따른 제어 장치의 블록도이다.
도 2를 참조하면, 제어 장치(200)는 메모리(210), 인코딩 회로(220) 및 디코딩 회로(230)를 포함한다. 제어 장치(200)는 뉴럴 네트워크의 학습을 수행하는 학습 회로(240)와 연결될 수 있다. 제어 장치(200)는 학습 회로(240)의 연산 과정에서 출력되는 정보를 수신할 수 있으며, 제어 장치(200)에서 생성된 정보를 학습 회로(240)로 전송할 수도 있다.
학습 회로(240)는, 입력 계층, 히든 계층(hidden layer) 및 출력 계층을 포함하는 뉴럴 네트워크를 통한 연산을 수행할 수 있다. 여기서, 히든 계층은 복수개의 계층들, 예를 들어, 제 1 계층, 제 2 계층, 제 3 계층 등을 포함할 수 있다. 학습 회로(120)에서 수행되는 뉴럴 네트워크의 연산은 도 1a 내지 1b를 통해 전술한 바와 같다.
일 실시예에 따른 제어 장치(200)는 선입선출 방식, 즉, FIFO(first in first out) 방식으로 학습 회로(240)로부터 데이터를 수신하고 학습 회로(240)로 데이터를 출력할 수 있다. 학습 회로(240)는 뉴럴 네트워크 내의 각각의 계층 단위로 정보를 처리할 수 있다. 이 때, 학습 회로(240)의 정보 처리 과정에서 각 계층 별로 대기 시간이 존재할 수 있다. 예를 들어, 제 1 계층에 대한 연산 이후 소정 대기 시간 동안 제 1 계층에 대한 연산 결과가 재처리 또는 가공될 수 있다. 이와 같은 연산 결과의 재처리 또는 가공 과정은 제어 장치(200)를 통해 수행될 수 있다. 제어 장치(200)는 제 1 계층의 연산 결과를 가공하여 학습 회로(240)에 전송할 수 있다. 학습 회로(240)가 제어 장치(200)로부터 수신한 가공된 연산 결과는 제 2 계층의 연산을 위해 이용될 수 있다. 제어 장치(200)는 학습 회로(240)로부터 데이터를 순차적으로 입력받고 학습 회로(240)로 가공한 데이터를 순차적으로 출력할 수 있다.
일 실시예에 따른 메모리(210)는 소정의 크기를 가지는 시퀀스(sequence) 또는 비트스트림(bitstream)을 저장할 수 있다.
일 실시예에 따른 시퀀스는 뉴럴 네트워크를 구성하는 복수개의 계층을 구성하는 노드들 간의 엣지(edge)의 연결 여부와 관련된 정보일 수 있다. 구체적으로, 시퀀스는 뉴럴 네트워크에 포함되는 일 계층에서 형성되는 복수개의 엣지들 각각의 연결 또는 연결해제를 나타내는 정보가 될 수 있다. 예를 들어, 도 1a를 참조하면, 시퀀스는 소정 계층, 예를 들어, 제1 계층(150)에 포함되는 복수개의 엣지들(130) 각각의 연결관계를 나타내는 엣지 시퀀스와 관련된 정보일 수 있다.
일 실시예에 따라, 시퀀스를 구성하는 비트열 각각의 값은 소정 엣지의 연결 강도를 나타낼 수 있다. 예를 들어, 비트값이 클수록 소정 엣지의 연결 강도가 강하다는 것을 의미할 수 있고, 비트값이 작을수록 소정 엣지의 연결 강도가 약하다는 것을 의미할 수 있다. 이하에서는 시퀀스로서 소정 엣지들의 연결 강도를 나타내는 정보를 "엣지 시퀀스"라고 지칭하도록 한다.
일 실시예에 따른 시퀀스는 엣지 시퀀스를 구성하는 비트열 중에서 유효한(valid) 비트와 무효한(invalid) 비트를 구별하는 시퀀스와 관련된 정보일 수 있다. 예를 들면, 시퀀스를 구성하는 비트열에 포함되는 '0' 값은 해당 비트의 어드레스에 대응하는 엣지 시퀀스의 비트가 무효한 비트임을 나타낼 수 있다. 또한, 예를 들면, 시퀀스를 구성하는 비트열에 포함되는 '1' 값은 해당 비트의 어드레스에 대응하는 엣지 시퀀스의 비트가 유효한 비트임을 나타낼 수 있다. 엣지 시퀀스의 비트가 무효한지 또는 유효한지 여부는 소정의 임계값과의 크기를 비교함으로써 결정될 수 있다. 이하에서는 엣지 시퀀스를 구성하는 비트열 중에서 유효한(valid) 비트와 무효한(invalid) 비트를 판별하는 시퀀스를 "유효성 판별 시퀀스"라고 지칭하도록 한다.
일 실시예에 따른 메모리(210)는 전술한 엣지 시퀀스 또는 유효성 판별 시퀀스를 저장할 수 있다. 일 실시예에 따른 엣지 시퀀스는 압축되어 압축된 엣지 시퀀스의 형태로서 메모리(210)에 저장될 수도 있다. 엣지 시퀀스, 압축된 엣지 시퀀스 및 유효성 판별 시퀀스에 대한 자세한 설명은 도 3을 통해 후술하기로 한다.
일 실시예에 따라 학습 회로(240)가 소정 계층에 대한 연산을 종료하면, 제어 장치(200)는 학습 회로(240)로부터 해당 계층에 대한 연산 결과를 수신할 수 있다. 이 때, 해당 계층에 대한 연산 결과는 해당 계층에 대한 엣지 시퀀스를 의미하는 것일 수 있다.
일 실시예에 따른 인코딩 회로(220)는 제어 장치(200)가 수신한 엣지 시퀀스를 가공하여 메모리(210)에 저장할 수 있다. 예를 들어, 가공된 시퀀스는 엣지 시퀀스를 압축한 압축된 시퀀스일 수 있다. 또한, 예를 들어, 가공된 시퀀스는 압축된 엣지 시퀀스를 구성하는 비트열 중에서 유효한 비트와 무효한 비트를 구별하는 유효성 판별 시퀀스일 수도 있다. 일 실시예에 따른 인코딩 회로(220)는 학습 회로(240)의 연산 주기에 대응하여 가공된 시퀀스를 생성할 수 있다. 일 실시예에 따른 인코딩 회로(220)는 가공된 시퀀스를 메모리(210)에 라이트(write)할 수 있다. 일 실시예에 따라 압축된 시퀀스는 압축되기 이전의 시퀀스에 비해 비트열의 개수가 적으므로, 인코딩 회로(220)는 메모리(210)로의 라이트 횟수를 줄일 수 있다. 따라서, 제어 장치(200)는 라이트 횟수의 감소로 인해 전력 소모를 절감할 수 있다.
일 실시예에 따른 디코딩 회로(230)는 인코딩 회로(220)가 생성한 가공된 시퀀스를 학습 회로(240)에 전달함으로써 뉴럴 네트워크 내의 엣지의 연결 상태를 결정하도록 할 수 있다. 일 실시예에 따른 디코딩 회로(230)는 메모리(210)로부터 가공된 시퀀스를 리드(read)하여 제어 장치(200)로 하여금 가공된 시퀀스 내의 비트열을 순차적으로 출력하도록 할 수 있다. 일 실시예에 따라 압축된 시퀀스는 압축되기 이전의 시퀀스에 비해 비트열의 개수가 적으므로, 디코딩 회로(230)는 메모리(210)로부터의 리드 횟수를 줄일 수 있다. 따라서, 제어 장치(200)는 리드 횟수의 감소로 인해 전력 소모를 절감할 수 있다.
도 3은 인코딩 회로가 생성하는 시퀀스를 예시적으로 나타낸 도면이다.
도 3을 참조하면, 엣지 시퀀스(310), 압축된 엣지 시퀀스(320, 340) 및 유효성 판별 시퀀스(330, 350)가 예시된다.
일 실시예에 따른 엣지 시퀀스(310)는 소정 엣지들의 연결 강도를 나타내는 정보일 수 있다. 엣지 시퀀스(310)는 비트열로 구성될 수 있다. 비트열에 포함된 비트값이 클수록 소정 엣지의 연결 강도가 강하다는 것을 의미할 수 있고, 비트값이 작을수록 소정 엣지의 연결 강도가 약하다는 것을 의미할 수 있다.
일 실시예에 따른 엣지 시퀀스(310)는 유효한 비트와 무효한 비트를 포함할 수 있다. 엣지 시퀀스의 비트가 무효한지 또는 유효한지 여부는 소정의 임계값과의 크기를 비교함으로써 결정될 수 있다. 일 실시예에 따라 엣지 시퀀스의 비트가 임계값 이하일 경우 해당 비트는 무효할 수 있다. 무효하다는 의미는, 해당 비트에 대응하는 엣지가 연결 해제됨을 의미할 수 있다. 소정 임계값 이하의 비트를 무효로 처리하는 것은, 프루닝이나 드랍아웃 등과 같이 학습 성능 개선 차원에서 불필요한 계산을 생략하기 위함일 수 있다.
일 실시예에 따른 인코딩 회로(220)는 엣지 시퀀스(310)를 구성하는 비트열 중 연속하는 무효 비트를 하나의 비트로 압축한 압축된 엣지 시퀀스(320, 340)를 생성할 수 있다.
예를 들어, 소정의 임계값이 '0'일 경우 엣지 시퀀스(310)를 구성하는 비트열 중에서 '0' 이하의 값을 갖는 비트들이 무효하고, '0' 보다 큰 값을 갖는 비트들만이 유효할 수 있다. 또한, 엣지 시퀀스(310) 중에서는 임계값 '0' 이하의 값을 갖는 비트가 연속으로 존재할 수 있다. 인코딩 회로(220)는 임계값 '0' 이하의 값을 갖는 비트가 연속적으로 존재할 경우, 이를 하나의 비트값으로 표현함으로써 압축된 엣지 시퀀스(320)를 생성할 수 있다. 이 때, 표현되는 비트값은 엣지 시퀀스(310) 중에서 임계값 '0' 이하의 값을 갖는 비트가 연속하는 횟수를 나타낼 수 있다. 예를 들어, 엣지 시퀀스(310) 중에서 "000"과 같이 임계값 '0' 이하의 값을 갖는 비트가 3회 연속하는 경우, 엣지 시퀀스(310)의 "000"은 압축된 엣지 시퀀스(320) 상에서 "3"으로 표현될 수 있다. 이처럼 인코딩 회로(220)는 연속하는 무효 비트를 하나의 비트로 압축함으로써 학습 회로(240)의 연산 속도를 개선시킬 수 있다.
예를 들어, 소정의 임계값이 '3'일 경우 엣지 시퀀스(310)를 구성하는 비트열 중에서 '3' 이하의 값을 갖는 비트들이 무효하고, '3' 보다 큰 값을 갖는 비트들만이 유효할 수 있다. 또한, 엣지 시퀀스(310) 중에서는 임계값 '3' 이하의 값을 갖는 비트가 연속으로 존재할 수 있다. 인코딩 회로(220)는 임계값 '3' 이하의 값을 갖는 비트가 연속적으로 존재할 경우, 이를 하나의 비트값으로 표현함으로써 압축된 엣지 시퀀스(340)를 생성할 수 있다. 이 때, 표현되는 비트값은 엣지 시퀀스(310) 중에서 임계값 '3' 이하의 값을 갖는 비트가 연속하는 횟수를 나타낼 수 있다. 예를 들어, 엣지 시퀀스(310) 중에서 "00310002"과 같이 임계값 '3' 이하의 값을 갖는 비트가 8회 연속하는 경우, 엣지 시퀀스(310)의 "00310002"은 압축된 엣지 시퀀스(340) 상에서 "8"로 표현될 수 있다. 이처럼 인코딩 회로(220)는 연속하는 무효 비트를 하나의 비트로 압축함으로써 학습 회로(240)의 연산 속도를 개선시킬 수 있다.
일 실시예에 따른 인코딩 회로(220)는 압축된 엣지 시퀀스(320, 340)를 구성하는 비트열 중 유효 비트와 무효 비트를 나타내는 유효성 판별 시퀀스(330, 350)를 생성할 수 있다.
일 실시예에 따른 유효성 판별 시퀀스(330, 350)는 '0' 과 '1'로 표현되는 이진수 시퀀스(binary sequence)일 수 있다. 예를 들면, 유효성 판별 시퀀스(330, 350)를 구성하는 비트열에 포함되는 '0' 값은 해당 비트의 어드레스에 대응하는 압축된 엣지 시퀀스(320, 340)의 비트가 무효한 비트임을 나타낼 수 있다. 또한, 예를 들면, 유효성 판별 시퀀스(330, 350)를 구성하는 비트열에 포함되는 '1' 값은 해당 비트의 어드레스에 대응하는 압축된 엣지 시퀀스(320, 340)의 비트가 유효한 비트임을 나타낼 수 있다.
일 실시예에 따른 디코딩 회로(230)는 압축된 엣지 시퀀스(320, 340)와 유효성 판별 시퀀스(330, 350)에 기초하여 압축된 엣지 시퀀스(320, 340) 중 유효한 비트만을 메모리(210)로부터 리드할 수 있다. 구체적으로, 디코딩 회로(230)는 유효성 판별 시퀀스(330, 350)에 기초하여 압축된 엣지 시퀀스(320, 340)의 출력 대기 비트가 유효한지 여부를 결정하고, 출력 대기 비트가 무효한 경우 출력 대기 비트의 리드를 스킵(skip)하고, 출력 대기 비트가 유효한 경우 출력 대기 비트를 리드할 수 있다. 예를 들어, 압축된 엣지 시퀀스(320)에 대해 디코딩 회로(230)는 유효 비트인 "93124781" 로 이루어진 비트열을 리드할 수 있다. 또한 예를 들어, 압축된 엣지 시퀀스(340)에 대해 디코딩 회로(230)는 유효 비트인 "9478" 로 이루어진 비트열을 리드할 수 있다.
일 실시예에 따라 제어 장치(200)로부터 순차적으로 출력되는 유효 비트는 학습 회로(240)에 저장된 완전 연결 네트워크의 다음 계층의 가중치 비트와 순차적으로 연산 처리될 수 있다.
도 4는 일 실시예에 따른 제어 장치 및 학습 회로의 관계를 나타낸 블록도이다.
도 4를 참조하면 제어 장치(410)는 뉴럴 네트워크의 학습을 처리하는 학습 회로(440)와 연결되어 데이터의 입출력을 제어할 수 있다. 또한, FIFO 제어기(450)는 학습 회로(440)와 연결되어 데이터의 입출력을 제어할 수 있다. FIFO 제어기(450)는 소정 계층의 가중치 매트릭스와 관련된 정보를 학습 회로(440)에 출력할 수 있다.
일 실시예에 따른 제어 장치(410)는 인코딩 회로(420)와 디코딩 회로(430)를 포함한다. 도 4의 인코딩 회로(420) 및 디코딩 회로(430)는 도 2를 통해 전술한 인코딩 회로(220) 및 디코딩 회로(230)와 대응하므로 자세한 설명은 생략하기로 한다.
일 실시예에 따른 학습 회로(440)는 뉴럴 네트워크의 학습을 위한 연산을 수행할 수 있다. 예를 들어, 뉴럴 네트워크는 완전 연결 네트워크일 수 있다. 완전 연결 네트워크에서 각각의 계층에 포함되는 노드들은 가중치 값을 가지고 있다. 완전 연결 네트워크에서, 현재 계층에 입력된 신호는 가중치 매트릭스와 연산, 예를 들어, 곱하기 연산되어 출력될 수 있다. 여기서, 현재 계층에 입력된 신호는 N x 1(N은 현재 계층을 구성하는 노드의 개수) 크기의 매트릭스 데이터일 수 있다. 또한, 현재 계층에 입력된 신호와 곱하기 연산되는 가중치 매트릭스는 M x N(M은 현재 계층의 다음 계층을 구성하는 노드의 개수, N은 현재 계층을 구성하는 노드의 개수) 크기의 매트릭스 데이터일 수 있다. 현재 계층에서 출력되는 신호는 다음 계층에 입력될 수 있다. 여기서, 일 실시예에 따라 현재 계층에서 출력되는 신호는 제어 장치(410)에 의한 제어를 통해 다음 계층에 입력될 수 있다.
일 실시예에 따른 학습 회로(440)는 레지스터(442, 444), 비교기(446) 및 누산기(accumulator; 448)를 포함할 수 있다.
일 실시예에 따른 제어 장치(410)는 디코딩 회로(430)가 메모리로부터 리드한 유효성 판별 시퀀스를 학습 회로(440)의 비교기(446)로 출력할 수 있다. 일 실시예에 따라 제어 장치(410)로부터 순차적으로 출력되는 유효성 판별 시퀀스는 FIFO 제어기(450)로부터 순차적으로 출력되는 유효성 판별 시퀀스와 비교기(446)를 통해 비교될 수 있다.
일 실시예에 따른 비교기(446)는 제어 장치(410) 및 FIFO 제어기(450)로부터 수신한 두 비트의 값을 AND 연산하여 모두 '1'인 경우에만 클록 게이팅(clock gating) 신호로 활용할 수 있다. 즉, 제어 장치(410) 및 FIFO 제어기(450)로부터 수신한 두 비트의 값 중 하나라도 '0'이면 클록이 인가되지 않아서 레지스터(442, 444)의 토글(toggle)이 일어나지 않을 수 있다. 일 실시예에 따른 비교기(446)는 학습 회로(440)에 입력되는 데이터가 유효한 경우에만 연산 동작을 개시하는 역할을 할 수 있다.
일 실시예에 따른 레지스터(442)는 제어 장치(410)로부터 수신한 엣지 시퀀스의 현재 비트를 비교기(446)로부터 수신한 클록 게이팅 신호에 기초하여 저장할 수 있다. 또한, 레지스터(444)는 FIFO 제어기(450)로부터 수신한 가중치 시퀀스의 현재 비트를 비교기(446)로부터 수신한 클록 게이팅 신호에 기초하여 저장할 수 있다.
일 실시예에 따라, 레지스터(442)에 저장된 엣지 시퀀스의 현재 비트는 레지스터(444)에 저장된 가중치 시퀀스의 현재 비트와 곱하기 연산될 수 있다. 곱하기 연산된 결과는, 누산기(448)에 누산되어 다음 연산 결과와 더해질 수 있다. 일 실시예에 따른 누산기(448)는 제어 장치(410)가 엣지 시퀀스의 마지막 비트를 출력할 때까지 연산 결과를 누산할 수 있다. 일 실시예에 따른 학습 회로(440)는 현재 계층에 대한 결과값으로서 누산기(448)에 저장된 최종 결과를 제어 장치(410)로 출력할 수 있다.
일 실시예에 따른 레지스터(442, 444)는 독자적인 목적에 의해 체계적인 동작을 수행하는 하드웨어 소자(예를 들어, 처리 소자(processing element))일 수 있다. 레지스터(442, 444)에 데이터가 저장되고 출력되는 과정에 대해 이하 상세히 설명하기로 한다.
도 5a 내지 5h는 제 1 실시예에 따라 제어 장치의 출력에 기초한 학습 회로의 연산 수행 과정을 나타낸 도면이다.
도 5a 내지 5h를 참조하면, 제 1 실시예에 따른 제어 장치(510)는 학습 회로(580)로 뉴럴 네트워크(예를 들어, 완전 연결 네트워크)의 학습을 위한 데이터를 출력할 수 있다. 제어 장치(510)로부터 출력되는 데이터는 뉴럴 네트워크의 현재 계층에 대한 입력 데이터일 수 있다. 제어 장치(510)로부터 출력되는 현재 계층에 대한 입력 데이터는 현재 계층의 가중치 데이터(540, 550, 560, 570)와 연산될 수 있다. 이러한 연산은 가중치 매트릭스(예를 들어, 4 x 4 크기)와 입력 매트릭스(예를 들어, 4 x 1 크기)의 곱하기 연산일 수 있다. 학습 회로(580)는 복수개의 처리 소자를 이용하여 매트릭스들 사이의 곱하기 연산을 수행할 수 있다. 처리 소자들 간의 데이터 진행 순서는 왼쪽에서 오른쪽으로 순차적으로 진행될 수 있다.
학습 회로(580)는 현재 계층의 출력으로서, 제어 장치(510)로부터 출력되는 데이터와 가중치 데이터(540, 550, 560, 570)와 연산한 결과를 출력할 수 있다. 도 5a 내지 5h에 예시된 연산 동작에서는 4개의 비트가 학습 회로(580)에 입력되며, 비트값의 유효성을 판단하는 임계값이 0인 것으로 예시되었다.
도 5a를 참조하면, 제어 장치(510)가 학습 회로(580)로 출력하는 대상으로서 압축된 엣지 시퀀스 "427"과 유효성 판별 시퀀스 "101"이 예시되어 있다. 압축된 엣지 시퀀스 "427" 및 유효성 판별 시퀀스 "101"는 인코딩 회로(520)에 의해 생성되어 제어 장치(510) 내의 메모리에 라이트된 것일 수 있다. 제 1 실시예에 따라, 디코딩 회로(530)는 선입선출(first in first out;FIFO) 방식으로 엣지 시퀀스(즉, 압축된 엣지 시퀀스)와 유효성 판별 시퀀스를 메모리로부터 리드하여 출력할 수 있다.
도 5b를 참조하면, 제어 장치(510)로부터 첫번째로 출력될 엣지 시퀀스의 비트 '7'은, 유효성 판별 시퀀스가 가리키는 비트값 '1'에 의해 유효한 것으로 판별되어 학습 회로(580)의 처리 소자에 전달될 수 있다. 이에 따라, 제어 장치(510)로부터 첫번째로 출력되는 엣지 시퀀스의 비트 '7'은 가중치 시퀀스(540)의 유효한 비트 '1'과 곱하기 연산되어 '7'의 값으로 저장될 수 있다.
도 5c를 참조하면, 제어 장치(510)로부터 두번째로 출력될 엣지 시퀀스는, 유효성 판별 시퀀스가 가리키는 비트값 '0'에 의해 무효한 것으로 판별되어 처리 소자에 전달되지 않을 수 있다. 이에 따라, 처리 소자는 가중치 시퀀스(540)와의 곱하기 연산을 수행하지 않을 수 있다. 따라서, 가중치 시퀀스(540)와의 연산 결과는 여전히 '7'로 유지될 수 있다. 한편, 제어 장치(510)로부터 첫번째로 출력된 엣지 시퀀스의 비트 '7'은 가중치 시퀀스(550)와의 곱하기 연산을 위해 인접한 처리 소자로 전달될 수 있다.
도 5d를 참조하면, 제어 장치(510)로부터 세번째로 출력될 엣지 시퀀스는, 유효성 판별 시퀀스가 가리키는 비트값 '0'에 의해 무효한 것으로 판별되어 처리 소자에 전달되지 않을 수 있다. 이에 따라, 처리 소자는 가중치 시퀀스(540)와의 곱하기 연산을 수행하지 않을 수 있다. 따라서, 가중치 시퀀스(540)와의 연산 결과는 여전히 '7'로 유지될 수 있다. 한편, 제어 장치(510)로부터 첫번째로 출력된 엣지 시퀀스의 비트 '7'은 가중치 시퀀스(560)와의 곱하기 연산을 위해 인접한 처리 소자로 전달될 수 있다. 또한, 엣지 시퀀스의 두번째 비트가 무효임을 나타내는 정보는 가중치 시퀀스(550)와의 연산을 위한 처리 소자에 전달될 수 있다.
도 5e를 참조하면, 제어 장치(510)로부터 네번째로 출력될 엣지 시퀀스는, 유효성 판별 시퀀스가 가리키는 비트값 '1'에 의해 유효한 것으로 판별되어 처리 소자에 전달될 수 있다. 이에 따라, 제어 장치(510)로부터 네번째로 출력되는 엣지 시퀀스의 비트 '4'는 가중치 시퀀스(540)의 유효한 비트 '4'와 곱하기 연산되며, 곱하기 연산된 결과값 '16'은 기저장된 중간 결과값인 '7'과 더해져서 최종 결과값 '23'으로 저장될 수 있다. 한편, 제어 장치(510)로부터 첫번째로 출력된 엣지 시퀀스의 비트 '7'은 가중치 시퀀스(570)와의 곱하기 연산을 위해 인접한 처리 소자로 전달될 수 있다. 또한, 엣지 시퀀스의 두번째 비트가 무효임을 나타내는 정보는 가중치 시퀀스(560)와의 연산을 위한 처리 소자에 전달될 수 있다. 또한, 엣지 시퀀스의 세번째 비트가 무효임을 나타내는 정보는 가중치 시퀀스(550)와의 연산을 위한 처리 소자에 전달될 수 있다.
도 5f를 참조하면, 제어 장치(510)로부터 엣지 시퀀스가 모두 출력되었으므로, 가중치 시퀀스(540)와의 연산은 종료되었다. 제어 장치(510)로부터 네번째로 출력된 엣지 시퀀스의 비트 '4'는 가중치 시퀀스(550)의 유효한 비트 '7'와 곱하기 연산되며, 곱하기 연산된 결과값 '28'은 기저장된 중간 결과값인 '14'과 더해져서 최종 결과값 '42'로 저장될 수 있다.
도 5g를 참조하면, 가중치 시퀀스(540, 550)와의 연산은 종료되었다. 제어 장치(510)로부터 네번째로 출력된 엣지 시퀀스의 비트 '4'는 가중치 시퀀스(560)의 유효한 비트 '2'와 곱하기 연산되며, 곱하기 연산된 결과값 '8'은 기저장된 중간 결과값인 '35'와 더해져서 최종 결과값 '43'으로 저장될 수 있다.
도 5h를 참조하면, 가중치 시퀀스(540, 550, 560)와의 연산은 종료되었다. 제어 장치(510)로부터 네번째로 출력된 엣지 시퀀스의 비트 '4'는 가중치 시퀀스(570)의 유효한 비트 '7'와 곱하기 연산되며, 곱하기 연산된 결과값 '28'은 기저장된 중간 결과값인 '14'와 더해져서 최종 결과값 '42'로 저장될 수 있다.
도 5a 내지 5h에 예시된 학습 회로의 연산 수행 과정에서, 최종적으로 출력되는 현재 계층의 연산 결과는 [23, 42, 43, 42]
T 이다. 이 같은 연산 결과는 현재 계층의 입력 데이터 [7, 0, 0, 4]
T 와 가중치 데이터(540, 550, 560, 570)와의 매트릭스 곱셈 결과와 일치한다.
도 5a 내지 5h를 참조하여 설명한 제 1 실시예에 따르면, 제어 장치(510)로부터 출력되는 유효성 판별 시퀀스는 학습 회로(580) 내의 처리 소자의 동작을 토글링(toggling) 또는 트리거링(trigerring) 시키는 역할을 할 수 있다.
도 6a 내지 6h는 제 2 실시예에 따라 제어 장치의 출력에 기초한 학습 회로의 연산 수행 과정을 나타낸 도면이다.
도 6a 내지 6h를 참조하면, 제 2 실시예에 따른 제어 장치(610)는 학습 회로(640)로 뉴럴 네트워크(예를 들어, 완전 연결 네트워크)의 학습을 위한 데이터를 출력할 수 있다. 제어 장치(610)로부터 출력되는 데이터는 뉴럴 네트워크의 현재 계층에 대한 입력 데이터일 수 있다. 제어 장치(610)로부터 출력되는 현재 계층에 대한 입력 데이터는 현재 계층의 가중치 데이터(650)와 연산될 수 있다. 학습 회로(640)는 처리 소자를 이용하여 매트릭스들 사이의 곱하기 연산을 수행할 수 있다. 학습 회로(640)는 현재 계층의 출력으로서, 제어 장치(610)로부터 출력되는 데이터와 가중치 데이터(650)와 연산한 결과를 출력할 수 있다.
도 6a를 참조하면, 제어 장치(610)가 학습 회로(640)로 출력하는 대상으로서 압축된 엣지 시퀀스 "532427"과 유효성 판별 시퀀스 "110101"이 예시되어 있다. 압축된 엣지 시퀀스 "532427"과 유효성 판별 시퀀스 "110101"는 인코딩 회로(620)에 의해 생성되어 메모리에 라이트된 것일 수 있다. 제 2 실시예에 따라, 디코딩 회로(630)는 선입선출(first in first out;FIFO) 방식으로 압축된 엣지 시퀀스와 유효성 판별 시퀀스를 메모리로부터 리드하여 출력할 수 있다. 제 2 실시예에 따르면, 제어 장치(610)로부터 출력되는 유효성 판별 시퀀스의 비트값이 '0'인 경우, 해당 어드레스에 대응하는 엣지 시퀀스의 비트값이 어드레스 카운터에 입력될 수 있다. 여기서, 학습 회로(640)는 다음 수행할 연산 순서를 해당 어드레스에 대응하는 엣지 시퀀스의 비트값 만큼 점프(jump)할 수 있다. 제 2 실시예에 따르면, 제어 장치(610)로부터 출력되는 유효성 판별 시퀀스의 비트값이 '1'인 경우, 비트값 '1'이 어드레스 카운터에 입력될 수 있다.
도 6b를 참조하면, 제어 장치(610)로부터 첫번째로 출력될 유효성 판별 시퀀스의 비트값은 '1'이다. 제어 장치(610)의 디코딩 회로(630)는 출력 대기하는 유효성 판별 시퀀스의 비트값이 '1'임을 식별할 수 있다.
도 6c를 참조하면, 제어 장치(610)로부터 첫번째로 출력되는 엣지 시퀀스의 비트값 '7'과 가중치 시퀀스(650)로부터 첫번째로 출력되는 비트값 '1'이 레지스터(660)에 입력될 수 있다. 레지스터(660)는 엣지 시퀀스의 비트값 '7'과 가중치 시퀀스(650)의 비트값 '1'을 곱하기 연산하여 '7'의 값을 저장할 수 있다.
또한, 도 6c를 참조하면, 도 6b에서 디코딩 회로(630)가 식별한 '1'의 값이 학습 회로(640)의 어드레스 카운터에 전달될 수 있다. 어드레스 카운터에 전달되는 값은 현재 연산을 수행하는 비트 어드레스로부터 다음 연산을 수행할 비트 어드레스까지의 차이를 의미할 수 있다. 즉, 어드레스 카운터에 '1'의 값이 전달되면 다음 연산에서 1칸 뒤의 비트가 연산에 참여하게 된다. 한편, 이와 동시에 제어 장치(610)의 디코딩 회로(630)에서는 출력 대기하는(즉, 두번째로 출력될) 유효성 판별 시퀀스의 비트값이 '0'임을 식별할 수 있다.
도 6d를 참조하면, 어드레스 카운터에 전달된 '1'의 값에 근거하여, 제어 장치(610)로부터 엣지 시퀀스의 두번째 비트값이 출력되어야 한다. 그러나, 엣지 시퀀스의 두번째 비트값은 유효성 판별 시퀀스가 가리키는 비트값 '0'에 의해 무효한 것으로 판별되어 레지스터(660)에 전달되지 않을 수 있다. 이에 따라 레지스터(660)는 가중치 시퀀스(650)와의 곱하기 연산을 수행하지 않을 수 있다. 따라서, 레지스터(660)에 저장된 값은 여전히 '7'의 값으로 유지될 수 있다.
또한, 도 6c에서의 디코딩 회로(630)가 출력 대기하는 유효성 판별 시퀀스의 비트값이 '0'임을 식별하였으므로, 도 6b에서의 디코딩 회로(630)는 해당 어드레스에 대응하는 엣지 시퀀스의 비트값 '2'를 학습 회로(640)의 어드레스 카운터에 전달할 수 있다. 이는 다음 연산에서 2칸 뒤의 비트가 연산에 참여하게 된다는 것을 의미할 수 있다. 한편, 이와 동시에 제어 장치(610)의 디코딩 회로(630)에서는 출력 대기하는(즉, 세번째로 출력될) 유효성 판별 시퀀스의 비트값이 '0'임을 식별할 수 있다.
도 6e를 참조하면, 어드레스 카운터에 전달된 '2'의 값에 근거하여, 가중치 시퀀스(650)로부터 네번째로 출력되는 비트값 '1'이 레지스터(660)에 입력될 수 있다. 레지스터(660)는 엣지 시퀀스의 비트값 '4'와 가중치 시퀀스(650)의 비트값 '1'을 곱하기 연산하여 얻은 값을 기저장된 중간 결과값 '7'과 더하여 '11'의 값으로 저장할 수 있다.
또한, 도 6d에서의 디코딩 회로(630)가 출력 대기하는 유효성 판별 시퀀스의 비트값이 '0'임을 식별하였으므로, 도 6e에서의 디코딩 회로(630)는 해당 어드레스에 대응하는 엣지 시퀀스의 비트값 '2'를 학습 회로(640)의 어드레스 카운터에 전달할 수 있다. 이는 다음 연산에서 2칸 뒤의 비트가 연산에 참여하게 된다는 것을 의미할 수 있다. 한편, 이와 동시에 제어 장치(610)의 디코딩 회로(630)에서는 출력 대기하는 유효성 판별 시퀀스의 비트값이 '1'임을 식별할 수 있다.
도 6f를 참조하면, 어드레스 카운터에 전달된 '2'의 값에 근거하여, 가중치 시퀀스(650)로부터 여섯번째 비트값이 레지스터에 입력되어야 한다. 그러나, 가중치 시퀀스(650)의 여섯번째 비트값은 '0'으로서 레지스터(660)에 전달되지 않을 수 있다. 이에 따라 레지스터(660)는 곱하기 연산을 수행하지 않을 수 있고, 레지스터(660)에 저장된 값은 여전히 '11'의 값으로 유지될 수 있다.
또한, 도 6e에서의 디코딩 회로(630)가 출력 대기하는 유효성 판별 시퀀스의 비트값이 '1'임을 식별하였으므로, 도 6f에서의 디코딩 회로(630)는 '1'의 값을 학습 회로(640)의 어드레스 카운터에 전달할 수 있다. 이는 다음 연산에서 1칸 뒤의 비트가 연산에 참여하게 된다는 것을 의미할 수 있다. 한편, 이와 동시에 제어 장치(610)의 디코딩 회로(630)에서는 출력 대기하는 유효성 판별 시퀀스의 비트값이 '1'임을 식별할 수 있다.
도 6g를 참조하면, 어드레스 카운터에 전달된 '1'의 값에 근거하여, 가중치 시퀀스(650)로부터 일곱번째로 출력되는 비트값 '4'가 레지스터(660)에 입력될 수 있다. 레지스터(660)는 엣지 시퀀스의 비트값 '3'와 가중치 시퀀스(650)의 비트값 '4'를 곱하기 연산하여 얻은 값을 기저장된 중간 결과값 '11'과 더하여 '23'의 값으로 저장할 수 있다.
또한, 도 6f에서의 디코딩 회로(630)가 출력 대기하는 유효성 판별 시퀀스의 비트값이 '1'임을 식별하였으므로, 도 6g에서의 디코딩 회로(630)는 '1'의 값을 학습 회로(640)의 어드레스 카운터에 전달할 수 있다. 이는 다음 연산에서 1칸 뒤의 비트가 연산에 참여하게 된다는 것을 의미할 수 있다.
도 6h를 참조하면, 어드레스 카운터에 전달된 '1'의 값에 근거하여, 가중치 시퀀스(650)로부터 여덟번째로 출력되는 비트값 '3'이 레지스터(660)에 입력될 수 있다. 레지스터(660)는 엣지 시퀀스의 비트값 '5'와 가중치 시퀀스(650)의 비트값 '3'을 곱하기 연산하여 얻은 값을 기저장된 중간 결과값 '23'과 더하여 '38'의 값으로 저장할 수 있다.
도 6a 내지 6h를 참조하여 설명한 제 2 실시예에 따르면, 제어 장치(610)로부터 출력되는 유효성 판별 시퀀스는 학습 회로(640)의 연산 처리 단계를 점프하기 위해 이용될 수 있다.
도 7은 일 실시예에 따른 제어 방법을 나타내는 흐름도이다.
단계 S710에서, 제어 장치(200)는 완전 연결 네트워크의 현재 계층에 포함된 노드들의 연결관계를 나타내는 엣지 시퀀스를 학습 회로로부터 수신할 수 있다.
단계 S720에서, 제어 장치(200)는 엣지 시퀀스를 구성하는 비트열 중 연속하는 무효 비트를 하나의 비트로 압축한 압축된 엣지 시퀀스 및 압축된 엣지 시퀀스를 구성하는 비트열 중 유효 비트와 무효 비트를 판별하는 유효성 판별 시퀀스를 생성할 수 있다.
단계 S730에서, 제어 장치(200)는 압축된 엣지 시퀀스 및 유효성 판별 시퀀스를 메모리에 라이트할 수 있다.
단계 S740에서, 제어 장치(200)는 유효 비트가 학습 회로로 순차적으로 출력되도록, 유효성 판별 시퀀스에 기초하여 압축된 엣지 시퀀스를 메모리로부터 순차적으로 리드할 수 있다.
상기 살펴 본 실시예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
Claims (15)
- 완전 연결 네트워크(Fully-Connected Network)의 학습을 처리하는 학습 회로(circuit)와 연결되어 데이터의 입출력을 제어하는 제어 장치에 있어서,메모리;상기 완전 연결 네트워크의 현재 계층(layer)에 포함된 노드들의 연결관계를 나타내는 엣지 시퀀스를 상기 학습 회로로부터 수신하고, 상기 엣지 시퀀스를 구성하는 비트열 중 연속하는 무효(invalid) 비트를 하나의 비트로 압축한 압축된 엣지 시퀀스 및 상기 압축된 엣지 시퀀스를 구성하는 비트열 중 유효(valid) 비트와 무효 비트를 판별하는 유효성 판별 시퀀스를 생성하고, 상기 압축된 엣지 시퀀스 및 상기 유효성 판별 시퀀스를 상기 메모리에 라이트(write)하는 인코딩 회로; 및상기 유효 비트가 상기 학습 회로로 순차적으로 출력되도록, 상기 유효성 판별 시퀀스에 기초하여 상기 압축된 엣지 시퀀스를 상기 메모리로부터 순차적으로 리드(read)하는 디코딩 회로;를 포함하는, 제어 장치.
- 제 1 항에 있어서,상기 유효 비트는 소정의 임계값보다 큰 비트이고, 상기 무효 비트는 상기 소정의 임계값보다 크지 않은 비트인, 제어 장치.
- 제 1 항에 있어서,상기 압축된 엣지 시퀀스는 상기 연속하는 무효 비트의 개수를 나타내는 비트를 포함하는, 제어 장치.
- 제 1 항에 있어서,상기 압축된 엣지 시퀀스 내의 유효 비트의 위치에 대응하는 상기 유효성 판별 시퀀스 내의 위치의 비트값은 '1'이고, 상기 압축된 엣지 시퀀스 내의 무효 비트의 위치에 대응하는 상기 유효성 판별 시퀀스 내의 위치의 비트값은 '0'인, 제어 장치.
- 제 1 항에 있어서,상기 디코딩 회로는 상기 유효성 판별 시퀀스에 기초하여 상기 압축된 엣지 시퀀스의 출력 대기 비트가 유효한지 여부를 결정하고, 상기 출력 대기 비트가 무효한 경우 상기 출력 대기 비트의 리드를 스킵(skip)하고, 상기 출력 대기 비트가 유효한 경우 상기 출력 대기 비트를 리드하는, 제어 장치.
- 제 1 항에 있어서,상기 유효성 판별 시퀀스는 상기 학습 회로의 연산 수행을 위한 클록 게이팅 신호(clock gating signal)로 이용되는, 제어 장치.
- 제 1 항에 있어서,상기 유효성 판별 시퀀스는 상기 학습 회로의 연산 처리 단계를 점프(jump)하기 위해 이용되는, 제어 장치.
- 완전 연결 네트워크(Fully-Connected Network)의 학습을 처리하는 학습 회로(circuit)와 연결되어 데이터의 입출력을 제어하는 제어 장치의 제어 방법에 있어서,상기 완전 연결 네트워크의 현재 계층(layer)에 포함된 노드들의 연결관계를 나타내는 엣지 시퀀스를 상기 학습 회로로부터 수신하는 단계;상기 엣지 시퀀스를 구성하는 비트열 중 연속하는 무효(invalid) 비트를 하나의 비트로 압축한 압축된 엣지 시퀀스 및 상기 압축된 엣지 시퀀스를 구성하는 비트열 중 유효(valid) 비트와 무효 비트를 판별하는 유효성 판별 시퀀스를 생성하는 단계;상기 압축된 엣지 시퀀스 및 상기 유효성 판별 시퀀스를 메모리에 라이트(write)하는 단계; 및상기 유효 비트가 상기 학습 회로로 순차적으로 출력되도록, 상기 유효성 판별 시퀀스에 기초하여 상기 압축된 엣지 시퀀스를 상기 메모리로부터 순차적으로 리드(read)하는 단계를 포함하는, 제어 방법.
- 제 8 항에 있어서,상기 유효 비트는 소정의 임계값보다 큰 비트이고, 상기 무효 비트는 상기 소정의 임계값보다 크지 않은 비트인, 제어 방법.
- 제 8 항에 있어서,상기 압축된 엣지 시퀀스는 상기 연속하는 무효 비트의 개수를 나타내는 비트를 포함 하는, 제어 방법.
- 제 8 항에 있어서,상기 압축된 엣지 시퀀스 내의 유효 비트의 위치에 대응하는 상기 유효성 판별 시퀀스 내의 위치의 비트값은 '1'이고, 상기 압축된 엣지 시퀀스 내의 무효 비트의 위치에 대응하는 상기 유효성 판별 시퀀스 내의 위치의 비트값은 '0'인, 제어 방법.
- 제 8 항에 있어서,상기 리드하는 단계는,상기 유효성 판별 시퀀스에 기초하여 상기 압축된 엣지 시퀀스의 출력 대기 비트가 유효한지 여부를 결정하는 단계;상기 출력 대기 비트가 무효한 경우 상기 출력 대기 비트의 리드를 스킵(skip)하는 단계; 및상기 출력 대기 비트가 유효한 경우 상기 출력 대기 비트를 리드하는 단계를 포함하는, 제어 방법.
- 제 8 항에 있어서,상기 유효성 판별 시퀀스는 상기 학습 회로의 연산 수행을 위한 클록 게이팅 신호(clock gating signal)로 이용되는, 제어 방법.
- 제 8 항에 있어서,상기 유효성 판별 시퀀스는 상기 학습 회로의 연산 처리 단계를 점프(jump)하기 위해 이용되는, 제어 방법.
- 제 8 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/970,859 US11755904B2 (en) | 2018-02-20 | 2019-02-20 | Method and device for controlling data input and output of fully connected network |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180020014A KR20190099930A (ko) | 2018-02-20 | 2018-02-20 | 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법 및 장치 |
KR10-2018-0020014 | 2018-02-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019164250A1 true WO2019164250A1 (ko) | 2019-08-29 |
Family
ID=67686974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2019/002050 WO2019164250A1 (ko) | 2018-02-20 | 2019-02-20 | 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법 및 장치 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11755904B2 (ko) |
KR (1) | KR20190099930A (ko) |
WO (1) | WO2019164250A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3843012A1 (en) * | 2019-12-27 | 2021-06-30 | Samsung Electronics Co., Ltd. | Method and apparatus with neural network data input and output control |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10740434B1 (en) | 2018-04-20 | 2020-08-11 | Perceive Corporation | Reduced dot product computation circuit |
US11049013B1 (en) | 2018-04-20 | 2021-06-29 | Perceive Corporation | Encoding of weight values stored on neural network inference circuit |
US11210586B1 (en) | 2018-04-20 | 2021-12-28 | Perceive Corporation | Weight value decoder of neural network inference circuit |
US10937196B1 (en) * | 2018-08-21 | 2021-03-02 | Perceive Corporation | Compressive sensing based image capture device |
US11526965B2 (en) * | 2020-09-28 | 2022-12-13 | Robert Bosch Gmbh | Multiplicative filter network |
KR102339896B1 (ko) * | 2021-05-24 | 2021-12-16 | 리벨리온 주식회사 | 프로세싱 엘리먼트, 이의 동작 방법, 및 이를 포함하는 가속기 |
KR20240103490A (ko) | 2022-12-27 | 2024-07-04 | 주식회사 케이티 | 차량의 장애 발생을 예측하는 서버 및 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070077141A (ko) * | 2006-01-20 | 2007-07-25 | 실리콘 이미지, 인크.(델라웨어주 법인) | 내장된 자가-테스트 및 디버그 특징을 갖는 동시 코드검사기 및 하드웨어 효율적인 고속 i/o |
KR20120104175A (ko) * | 2009-10-02 | 2012-09-20 | 샌디스크 테크놀로지스, 인코포레이티드 | 일회기록 다회판독 메모리 장치의 인증 및 보안 |
KR20130140190A (ko) * | 2011-04-15 | 2013-12-23 | 블랙베리 리미티드 | 마지막 유효 계수의 위치를 코딩 및 디코딩하는 방법 및 장치 |
KR20170080087A (ko) * | 2015-12-31 | 2017-07-10 | 인천대학교 산학협력단 | 인공 신경망의 희소 활동을 활용하는 동기 직접 회로의 소비 전력 절감 장치 및 방법 |
KR20170101287A (ko) * | 2014-12-26 | 2017-09-05 | 시스템73, 인크. | 디지털 콘텐츠의 적응적 가상 방송을 위한 방법 및 시스템 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5532693A (en) | 1994-06-13 | 1996-07-02 | Advanced Hardware Architectures | Adaptive data compression system with systolic string matching logic |
US5818368A (en) | 1997-04-18 | 1998-10-06 | Premier Research, Llc | Method and apparatus for lossless digital data compression |
US20060230008A1 (en) * | 2005-04-08 | 2006-10-12 | Robin Burgener | Artificial neural network guessing method and game |
EP1710735A1 (en) * | 2005-04-08 | 2006-10-11 | 20Q.net Inc. | Artificial neural network guessing method and game |
US7840861B2 (en) | 2006-06-27 | 2010-11-23 | Silicon Image, Inc. | Scan-based testing of devices implementing a test clock control structure (“TCCS”) |
US20180096249A1 (en) * | 2016-10-04 | 2018-04-05 | Electronics And Telecommunications Research Institute | Convolutional neural network system using adaptive pruning and weight sharing and operation method thereof |
JP7162074B2 (ja) * | 2018-04-27 | 2022-10-27 | アリババ グループ ホウルディング リミテッド | 機械学習を行うための方法及びシステム |
KR20210083624A (ko) * | 2019-12-27 | 2021-07-07 | 삼성전자주식회사 | 신경망의 데이터 입력 및 출력을 제어하는 제어 방법 및 장치 |
KR20210086233A (ko) * | 2019-12-31 | 2021-07-08 | 삼성전자주식회사 | 완화된 프루닝을 통한 행렬 데이터 처리 방법 및 그 장치 |
WO2021157067A1 (ja) * | 2020-02-07 | 2021-08-12 | 株式会社日立ハイテク | 学習処理装置及び方法 |
-
2018
- 2018-02-20 KR KR1020180020014A patent/KR20190099930A/ko active IP Right Grant
-
2019
- 2019-02-20 WO PCT/KR2019/002050 patent/WO2019164250A1/ko active Application Filing
- 2019-02-20 US US16/970,859 patent/US11755904B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070077141A (ko) * | 2006-01-20 | 2007-07-25 | 실리콘 이미지, 인크.(델라웨어주 법인) | 내장된 자가-테스트 및 디버그 특징을 갖는 동시 코드검사기 및 하드웨어 효율적인 고속 i/o |
KR20120104175A (ko) * | 2009-10-02 | 2012-09-20 | 샌디스크 테크놀로지스, 인코포레이티드 | 일회기록 다회판독 메모리 장치의 인증 및 보안 |
KR20130140190A (ko) * | 2011-04-15 | 2013-12-23 | 블랙베리 리미티드 | 마지막 유효 계수의 위치를 코딩 및 디코딩하는 방법 및 장치 |
KR20170101287A (ko) * | 2014-12-26 | 2017-09-05 | 시스템73, 인크. | 디지털 콘텐츠의 적응적 가상 방송을 위한 방법 및 시스템 |
KR20170080087A (ko) * | 2015-12-31 | 2017-07-10 | 인천대학교 산학협력단 | 인공 신경망의 희소 활동을 활용하는 동기 직접 회로의 소비 전력 절감 장치 및 방법 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3843012A1 (en) * | 2019-12-27 | 2021-06-30 | Samsung Electronics Co., Ltd. | Method and apparatus with neural network data input and output control |
US11580393B2 (en) | 2019-12-27 | 2023-02-14 | Samsung Electronics Co., Ltd. | Method and apparatus with neural network data input and output control |
US11790232B2 (en) | 2019-12-27 | 2023-10-17 | Samsung Electronics Co., Ltd. | Method and apparatus with neural network data input and output control |
Also Published As
Publication number | Publication date |
---|---|
US20200380363A1 (en) | 2020-12-03 |
KR20190099930A (ko) | 2019-08-28 |
US11755904B2 (en) | 2023-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019164250A1 (ko) | 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법 및 장치 | |
US11657257B2 (en) | Spiking neural network | |
US11481621B2 (en) | Unsupervised, supervised and reinforced learning via spiking computation | |
US10846567B2 (en) | Scene understanding using a neurosynaptic system | |
WO2018230832A1 (en) | Image processing apparatus and method using multi-channel feature map | |
US20190258932A1 (en) | Method of performing learning of deep neural network and apparatus thereof | |
US9798972B2 (en) | Feature extraction using a neurosynaptic system for object classification | |
WO2019164237A1 (ko) | 시스톨릭 배열을 이용하여 딥 러닝 연산을 수행하는 방법 및 장치 | |
KR20200129639A (ko) | 모델 학습 방법 및 장치 | |
KR102541660B1 (ko) | 음성 신호에 기반한 감정 인식 장치 및 방법 | |
US11790232B2 (en) | Method and apparatus with neural network data input and output control | |
WO2018212584A2 (ko) | 딥 뉴럴 네트워크를 이용하여 문장이 속하는 클래스를 분류하는 방법 및 장치 | |
CN114925320B (zh) | 一种数据处理方法及相关装置 | |
WO2019198900A1 (en) | Electronic apparatus and control method thereof | |
WO2021045434A1 (ko) | 전자 장치 및 이의 제어 방법 | |
WO2018084473A1 (ko) | 신경망 학습에 기반한 입력 처리 방법 및 이를 위한 장치 | |
KR102090109B1 (ko) | 학습 및 추론 장치 및 그 방법 | |
CN113239974A (zh) | 一种可连续学习的快速图像数据分类方法 | |
CN113239077B (zh) | 一种基于神经网络的搜索方法、***和计算机可读存储介质 | |
WO2024049025A1 (ko) | 음성 인식 모델을 학습시키기 위한 전자 장치 및 이의 제어 방법 | |
CN117746205A (zh) | 模型训练方法、装置、设备和计算机可读存储介质 | |
JP2001084236A (ja) | パターン識別装置及びその学習処理手順 | |
JPH07121497A (ja) | 信号処理装置 | |
JPH056351A (ja) | 信号処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19757076 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19757076 Country of ref document: EP Kind code of ref document: A1 |