WO2021070303A1 - 演算処理装置 - Google Patents

演算処理装置 Download PDF

Info

Publication number
WO2021070303A1
WO2021070303A1 PCT/JP2019/039897 JP2019039897W WO2021070303A1 WO 2021070303 A1 WO2021070303 A1 WO 2021070303A1 JP 2019039897 W JP2019039897 W JP 2019039897W WO 2021070303 A1 WO2021070303 A1 WO 2021070303A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing
unit
data
pooling
storage memory
Prior art date
Application number
PCT/JP2019/039897
Other languages
English (en)
French (fr)
Inventor
古川　英明
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2021551021A priority Critical patent/JP7410961B2/ja
Priority to PCT/JP2019/039897 priority patent/WO2021070303A1/ja
Publication of WO2021070303A1 publication Critical patent/WO2021070303A1/ja
Priority to US17/558,783 priority patent/US20220113944A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/57—Arithmetic logic units [ALU], i.e. arrangements or devices for performing two or more of the operations covered by groups G06F7/483 – G06F7/556 or for performing logical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443—Sum of products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
    • G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
    • G06F2207/4802—Special implementations
    • G06F2207/4818—Threshold devices
    • G06F2207/4824—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Definitions

  • the present invention relates to an arithmetic processing unit, more specifically, a circuit configuration of an arithmetic processing unit that performs deep learning using a convolutional neural network.
  • an arithmetic processing unit that executes an arithmetic using a neural network in which a plurality of processing layers are hierarchically connected.
  • arithmetic processing devices that perform image recognition, deep learning using a convolutional neural network (hereinafter referred to as CNN) is widely performed.
  • CNN convolutional neural network
  • FIG. 28 is a diagram showing a flow of image recognition processing by deep learning using CNN.
  • image recognition by deep learning using CNN the input image data (pixel data) is sequentially processed in a plurality of processing layers of CNN, so that an object contained in the image is recognized.
  • the final calculation result data is obtained.
  • the processing layer of CNN is a Convolution layer that performs Convolution processing including convolution processing, non-linear processing, reduction processing (pooling processing), etc., and FullConnect processing that multiplies all input data (pixel data) by a filter coefficient and cumulatively adds them. It is roughly classified into a Full Connect layer (fully connected layer) to be performed. However, there are also convolutional neural networks that do not have a FullConnect layer.
  • Image recognition by deep learning using CNN is performed as follows. First, a convolution calculation process that extracts a certain area from the image data and multiplies it by a plurality of filters having different filter coefficients to create a feature map (Fature Map, FM), and reduces a part of the feature map.
  • the combination of the reduction processing (pooling processing) to be performed is regarded as one processing layer, and this is performed a plurality of times (in a plurality of processing layers). These processes are the processes of the Convolution layer.
  • FIG. 29 is a diagram showing the flow of Convolution processing.
  • 1 pixel and pixels in the vicinity thereof (8 pixels in the vicinity in the example of FIG. 29) are extracted from the image data, filter processing with different filter coefficients is performed for each (convolution calculation processing), and all of these are cumulatively added.
  • data corresponding to one pixel can be obtained.
  • non-linear conversion and reduction processing (pooling processing) on the created data and performing the above processing on all pixels of the image data
  • oFM output feature map
  • the generated output feature map (oFM) is used as the input feature map (iFM) for the next Convolution process, and the Convolution process is repeated by further performing filter processing with different filter coefficients. In this way, the Convolution process is performed a plurality of times to obtain an output feature amount map (oFM).
  • the image data was read as a one-dimensional data string.
  • Full Connect processing is performed a plurality of times (in a plurality of processing layers) to multiply each data in the one-dimensional data string by different coefficients and perform cumulative addition. These treatments are the treatments of the fully connected layer (FullConnect layer).
  • the probability that the object included in the image is detected is output as the subject estimation result which is the final calculation result.
  • the probability that a dog was detected was 0.01 (1%)
  • the probability that a cat was detected was 0.04 (4%)
  • the probability that a boat was detected was 0.94 (94%)
  • the probability that a bird is detected is 0.02 (2%).
  • the relationship between the FM (Fature Map) size and the number of FMs (the number of FM surfaces) in the (K-1) layer and the Kth layer may be as shown in the following equation. In many cases, it is difficult to optimize when determining the memory size as a circuit.
  • FM size [K] 1/4 x FM size [K-1]
  • FM number [K] 2 x FM number [K-1]
  • Non-Patent Document 1 discloses an accelerator for deep CNN based on an FPGA (Field-Programmable Gate Array) platform.
  • the number of iFMs may be extremely smaller than the input parallelism degree N of the circuit. In this case, it is conceivable to reduce the power consumption by shutting off the power supply so that the unused circuit does not operate. However, since Deep Learning is a very heavy process, it is more effective to shorten the processing time by utilizing the mounted circuit as much as possible.
  • Non-Patent Document 1 describes an example in which the number of iFMs in the first layer is 3, while the FPGA configuration is 7. Non-Patent Document 1 does not specifically mention how to operate it, but if only 3 out of 7 configurations are used, more than half of the mounted circuits are used. It will not be working.
  • Non-Patent Document 1 describes an example in which the number of oFMs in the second layer is 20, while the configuration of the FPGA is 64. There is no specific mention of how to operate it, but if only 20 out of 64 are used, it means that more than two-thirds of the mounted circuits are not operating.
  • the present invention shortens the processing time by enabling parallel processing to execute data necessary for executing pooling processing in an arithmetic processing unit that performs deep learning using a convolutional neural network.
  • An object of the present invention is to provide an arithmetic processing unit.
  • a first aspect of the present invention is an arithmetic processing apparatus for deep learning that performs Convolution processing and FullConnect processing, which is a data storage memory for storing input feature amount map data and data for managing and controlling the data storage memory.
  • a data storage memory management unit having a storage memory control unit; a filter coefficient storage memory management unit having a filter coefficient storage memory for storing filter coefficients and a filter coefficient storage memory control unit for managing and controlling the filter coefficient storage memory.
  • an external memory for storing the input feature amount map data and the output feature amount map data; a data input unit for acquiring the input feature amount map data from the external memory; and the filter coefficient from the external memory.
  • the input feature amount map data is acquired from the data storage memory in the configuration of the input N parallel and the output M parallel (a positive number of N, M ⁇ 1), and the filter coefficient storage memory is used to obtain the input feature amount map data.
  • An arithmetic unit that acquires a filter coefficient and performs filter processing, cumulative addition processing, non-linear arithmetic processing, and pooling processing; M parallel data output from the arithmetic unit is concatenated to obtain the external feature amount map data.
  • It has a data output unit that outputs data to a memory; a controller that controls the inside of the arithmetic processing device; the arithmetic unit includes a filter arithmetic unit that executes filter processing in N parallel, and N / k of the filter arithmetic unit. K first adders that cumulatively add up the calculation results, and k first adders that are provided after the first adder and branch the output of the first adder to the first processing side and the second processing side. The selector to be switched with, the second adder that cumulatively adds the results of the cumulative addition processing of k of the first adder when the selector branches to the first processing side, and the accumulation of the second adder.
  • a second pooling in which the results of the cumulative addition processing of the k first adders, which have been nonlinearly processed by the nonlinear conversion unit and the second nonlinear conversion unit, are input, and the pooling processing is performed on the simultaneously input data.
  • a processing unit an arithmetic control unit that controls the inside of the arithmetic unit, and When the number of input feature amount map data input to the calculation unit ⁇ N / k, the data storage memory management unit writes the same data to k different data storage memories, and controls the calculation.
  • the unit is an arithmetic processing device that controls the selector to branch to the second processing side when the number of input feature amount map data ⁇ N / k.
  • the data storage memory control unit controls to write the same data to the same address of k different data storage memories when writing to the data storage memory, and N / k the data storage memory.
  • Each group may be classified into k groups, and when reading from the data storage memory, the addresses may be changed in each group to control access to addresses that are vertically and / or horizontally offset by several pixels.
  • the data storage memory control unit writes the same data to addresses shifted by several pixels vertically and / or horizontally in k different data storage memories when writing to the data storage memory. You may control and access all the data storage memories with the same address when reading from the data storage memory.
  • a first aspect of the present invention is an arithmetic processing apparatus for deep learning that performs Convolution processing and FullConnect processing, which is a data storage memory for storing input feature amount map data and data for managing and controlling the data storage memory.
  • a data storage memory management unit having a storage memory control unit; a filter coefficient storage memory management unit having a filter coefficient storage memory for storing filter coefficients and a filter coefficient storage memory control unit for managing and controlling the filter coefficient storage memory.
  • an external memory for storing the input feature amount map data and the output feature amount map data; a data input unit for acquiring the input feature amount map data from the external memory; and the filter coefficient from the external memory.
  • the input feature amount map data is acquired from the data storage memory in the configuration of the input N parallel and the output M parallel (a positive number of N, M ⁇ 1), and the filter coefficient storage memory is used to obtain the input feature amount map data.
  • An arithmetic unit that acquires a filter coefficient and performs filter processing, cumulative addition processing, non-linear arithmetic processing, and pooling processing; M parallel data output from the arithmetic unit is concatenated to obtain the external feature amount map data.
  • It has a data output unit that outputs data to a memory; a controller that controls the inside of the arithmetic processing device; the arithmetic unit includes a filter arithmetic unit that executes filter processing in N parallel, and N / k of the filter arithmetic unit. K first adders that cumulatively add up the calculation results, and k first adders that are provided after the first adder and branch the output of the first adder to the first processing side and the second processing side. The selector to be switched with, the second adder that cumulatively adds the results of the cumulative addition processing of k of the first adder when the selector branches to the first processing side, and the accumulation of the second adder.
  • a second linear that is provided after the processing unit and the second pooling processing unit and performs non-linear arithmetic processing on the result of the cumulative addition processing of the first adder that is pooled by the second pooling processing unit.
  • a conversion unit and an arithmetic control unit that controls the inside of the arithmetic unit.
  • the data storage memory management unit writes the same data to k different data storage memories when the number of input feature amount map data input to the calculation unit ⁇ N / k, and the calculation
  • the control unit is an arithmetic processing device that controls the selector to branch to the second processing side when the number of input feature amount map data ⁇ N / k.
  • the first nonlinear conversion unit and the second linear conversion unit may have the same configuration, or may be shared by the first processing side and the second processing side.
  • the second pooling processing unit performs pooling processing separately in the vertical direction and the horizontal direction with respect to the scanning direction, and a trigger signal is input to each of the vertical pooling processing and the horizontal pooling processing.
  • the operation control unit may output the trigger signal at a preset timing.
  • the processing time can be shortened by enabling the data required for executing the pooling process to be executed in parallel processing. Can be done.
  • FIG. 1 is an image diagram of obtaining an output feature amount map (oFM) from an input feature amount map (iFM) by Convolution processing.
  • oFM output feature amount map
  • iFM input feature amount map
  • Convolution processing all the input iFM data are subjected to different filter coefficients (filter process), all of them are cumulatively added, and processing such as non-linear conversion and pooling (reduction process) is performed to obtain oFM data.
  • the information (iFM data and filter coefficient) of all pixels in the vicinity of the coordinates of the iFM data corresponding to the output (1 pixel of oFM) is the information required to calculate 1 pixel (1 pixel) of the oFM data. is necessary.
  • FIG. 2 is a block diagram showing an overall configuration of the arithmetic processing unit according to the present embodiment.
  • the arithmetic processing device 1 includes a controller 2, a data input unit 3, a filter coefficient input unit 4, an IBUF (data storage memory) management unit 5, a WBUF (filter coefficient storage memory) management unit 6, and an arithmetic unit (calculation).
  • a block) 7 and a data output unit 8 are provided.
  • the data input unit 3, the filter coefficient input unit 4, and the data output unit 8 are connected to the DRAM (external memory) 9 via the bus 10.
  • the arithmetic processing unit 1 generates an output feature amount map (oFM) from the input feature amount map (iFM).
  • oFM output feature amount map
  • the IBUF management unit 5 has an input feature amount map (iFM) data storage memory (data storage memory, IBUF) and a data storage memory management / control circuit (data storage memory control unit). Each IBUF is composed of a plurality of SRAMs.
  • iFM input feature amount map
  • IBUF data storage memory
  • data storage memory management / control circuit data storage memory control unit
  • the IBUF management unit 5 counts the number of valid data in the input data (iFM data), converts it into coordinates, further converts it into an IBUF address (address in IBUF), stores the data in IBUF, and determines it.
  • the iFM data is retrieved from the IBUF by the method.
  • the WBUF management unit 6 has a memory for storing the filter coefficient (filter coefficient storage memory, WBUF) and a management / control circuit for the filter coefficient storage memory (filter coefficient storage memory control unit).
  • the WBUF management unit 6 refers to the status of the IBUF management unit 5 and extracts the filter coefficient corresponding to the data extracted from the IBUF management unit 5 from the WBUF.
  • the DRAM 9 stores iFM data, oFM data, and filter coefficients.
  • the data input unit 3 acquires an input feature amount map (iFM) from the DRAM 9 by a predetermined method and passes it to the IBUF (data storage memory) management unit 5.
  • the data output unit 8 writes output feature amount map (oFM) data to the DRAM 9 by a predetermined method. Specifically, the data output unit 8 concatenates the M parallel data output from the calculation unit 7 and outputs the data to the DRAM 9.
  • the filter coefficient input unit 4 acquires the filter coefficient from the DRAM 9 by a predetermined method and passes it to the WBUF (filter coefficient storage memory) management unit 6.
  • the calculation unit 7 acquires data from the IBUF (data storage memory) management unit 5 and filter coefficients from the WBUF (filter coefficient storage memory) management unit 6, and performs data processing such as filter processing, cumulative addition, non-linear calculation, and pooling processing. I do.
  • the data (cumulative addition result) subjected to data processing by the calculation unit 7 is stored in the DRAM 9 via the data output unit 8.
  • the controller 2 controls the entire circuit.
  • processing for the required number of layers is repeatedly executed in a plurality of processing layers. Then, the arithmetic processing device 1 outputs the subject estimation result as the final output data, and obtains the subject estimation result by processing the final output data using a processor (may be a circuit).
  • FIG. 3 is a diagram showing a configuration of a calculation unit 7 of the calculation processing unit according to the present embodiment.
  • the number of input channels of the arithmetic unit 7 is N (N is a positive number of 1 or more), and N-dimensional input data is processed in parallel (input N parallel).
  • the number of output channels of the arithmetic unit 7 is M (M is a positive number of 1 or more), and M-dimensional data is output in parallel (output M parallel).
  • iFM data (d_0 to d_15) and filter coefficients (k_0 to k_15) are input, and one oFM data is output. This process is performed in parallel with the M layer (M surface), and M oFM data (oCh_0 to oCh_M-1) are output.
  • the arithmetic unit 7 has a configuration in which the number of input channels is N, the number of output channels is M, and the degree of parallelism is N ⁇ M. Since the sizes of the number of input channels N and the number of output channels M can be set (changed) according to the size of the CNN, they are appropriately set in consideration of the processing performance and the circuit scale.
  • the calculation unit 7 includes a calculation control unit 71 that controls each unit in the calculation unit. Further, the calculation unit 7 includes a filter calculation unit 72, k first adders 81, a selector 82, a second adder 83, a third adder 74, and FF (for each layer (face)). A flip-flop) 75, a first non-linear conversion unit 76, a first pooling processing unit 77, a second non-linear conversion unit 86, and a second pooling processing unit 87 are provided. The same circuit exists for each layer (face), and there are M such circuits (faces).
  • the filter calculation unit 72 is internally configured so that the multiplier and the adder can be executed in N parallel at the same time, filters the input data, and outputs the result of the filter processing in N parallel.
  • Each of the first adders 81 cumulatively adds N / k filter processing results in the filter calculation unit 72.
  • a selector 82 is provided after the first adder 81, and the output of the first adder 81 is branched and switched.
  • the switching condition depends on which of the iFM number and N / k input to the calculation unit 7 is larger. In the example of FIG. 3, there are k selectors 82 corresponding to each first adder 81, but the output of the first adder 81 may be configured to be commonly switched by one selector 82.
  • the arithmetic control unit 71 sets and controls to switch the selector 82 so as to perform normal processing (first processing). Specifically, the selector 82 is switched so that the output of the first adder 81 is input to the second adder 83.
  • the second adder 83 cumulatively adds the results of the cumulative addition processing of the k input first adders 81. That is, during normal processing, the first adder 81 divides N (16 in FIG. 3) input channels into k (4 in FIG. 3) and performs the first addition, and the second addition is performed.
  • the device 83 adds all the inputs in the second addition.
  • the third adder 74 cumulatively adds the result of the cumulative addition process of the second adder 83, which is input in a time division manner, at a later stage.
  • An FF75 for holding the result of cumulative addition is provided in the subsequent stage of the third adder 74.
  • the first non-linear conversion unit 76 performs non-linear arithmetic processing by an Activate function or the like on the result of cumulative addition in the third adder 74 and FF75.
  • the specific implementation is not specified, but for example, nonlinear arithmetic processing is performed by polygonal line approximation.
  • the first pooling processing unit 77 selectively outputs the maximum value (maximum value pooling) from a plurality of data input from the first nonlinear conversion unit 76, calculates the average value (mean value pooling), and the like. Perform processing.
  • the processing in the first nonlinear conversion unit 76 and the first pooling processing unit 77 can be omitted by the arithmetic control unit 71.
  • the arithmetic control unit 71 sets and controls to switch the selector 82 so as to perform parallel processing (second processing).
  • the parallel processing refers to a process of executing the data necessary for executing the pooling process in parallel with the normal process by utilizing the non-operating circuit. As a result, the processing time can be shortened and the arithmetic processing can be speeded up.
  • the selector 82 is switched so that the output of the first adder 81 is input to the second nonlinear conversion unit 86.
  • the second non-linear conversion unit 86 performs non-linear conversion (non-linear processing) such as an Activate function on the result of the cumulative addition processing of k first adders 81.
  • the second pooling processing unit 87 inputs the results of the cumulative addition processing of k first adders 81, which have been nonlinearly processed by the second nonlinear conversion unit 86, and performs pooling processing on the simultaneously input data. ..
  • the output of the first adder 81 is sent to the parallel processing side, individual non-linear conversion is performed, and then k (4 in FIG. 3) data simultaneous input pooling.
  • the process is executed.
  • the pooling process in the case of mean value pooling, it is added and divided by k (4 in FIG. 3) (2-bit shift), and in the case of max pooling, the maximum value is acquired.
  • FIG. 4 is a diagram showing an image of the pooling process.
  • the filter processing creates four pieces of 3 ⁇ 3 pixel data.
  • the configuration of FIG. 3 described above since there are four second nonlinear conversion units 86 (generally k), the data necessary for executing the pooling process can be executed in parallel with the normal process. Therefore, when the input channel is free, the data generation required for pooling can be executed at once in parallel with the normal processing.
  • the first non-linear conversion unit 76 can be used as the second non-linear conversion unit 86 by switching with the selector 82. It may be.
  • FIG. 5 is a diagram showing the configuration of such a calculation unit 7.
  • One of the four selectors 82 (selector 82') is connected to the input of the first nonlinear conversion unit 76 via the selector 84. Then, the output of the first nonlinear conversion unit 76 is connected to the selector 85 so that the output destination can be selected from the first pooling processing unit 77 and the second pooling processing unit 87.
  • the arithmetic control unit 71 sets and controls to switch the selector 82 so as to perform normal processing (first processing). That is, the selector 82 is switched so that the output of the first adder 81 is input to the second adder 83.
  • the second adder 83 cumulatively adds the results of the cumulative addition processing of the k first adders 81 that have been input, and the third adder 74 is the cumulative addition of the second adder 83 that is input in a time-divided manner.
  • the processing results are cumulatively added in the latter stage.
  • An FF75 for holding the result of cumulative addition is provided in the subsequent stage of the third adder 74.
  • a selector 84 is provided between the FF 75 and the first non-linear conversion unit 76, and the input of the first non-linear conversion unit 76 can be switched between the normal processing side and the parallel processing side.
  • the first nonlinear conversion unit 76 performs nonlinear arithmetic processing by an Activate function or the like on the result of cumulative addition in the third adder 74 and FF75.
  • a selector 85 is provided after the first nonlinear conversion unit 76, and the output of the first nonlinear conversion unit 76 can be switched between the normal processing side and the parallel processing side.
  • the data processed by the first nonlinear conversion unit 76 is input to the first pooling processing unit 77.
  • the first pooling processing unit 77 selectively outputs the maximum value (maximum value pooling) from a plurality of data input from the first nonlinear conversion unit 76, calculates the average value (mean value pooling), and the like. Perform processing.
  • the arithmetic control unit 71 sets and controls to switch the selector 82 so as to perform parallel processing (second processing). That is, the selector 82 is switched so that the output of the first adder 81 is input to the second nonlinear conversion unit 86.
  • one of the four selectors 82 (selector 82') is connected to the input of the first nonlinear conversion unit 76 via the selector 84. That is, the output of one of the four first adders 81 (first adder 81') is input to the first nonlinear conversion unit 76.
  • the second non-linear conversion unit 86 performs non-linear conversion (non-linear processing) such as an Activate function on the result of the cumulative addition processing of (k-1) pieces (three in FIG. 5) of the first adder 81.
  • the first non-linear conversion unit 76 performs non-linear conversion (non-linear processing) such as an Activate function on the result of the cumulative addition processing of the first adder 81'.
  • the selector 85 is switched so that the output of the first nonlinear conversion unit 76 is input to the second pooling processing unit 87.
  • the second pooling processing unit 87 includes k (4 in FIG. 5) first adders 81 (first adders 81') that have been non-linearly processed by the second non-linear conversion unit 86 and the first non-linear conversion unit 76.
  • the result of the cumulative addition process (including) is input, and the pooling process is performed on the data input at the same time.
  • the number of the second nonlinear conversion units 86 can be reduced by one, and the circuit configuration can be reduced.
  • FIG. 6 is a diagram showing the configuration of the IBUF (data storage memory) management unit 5 of the present embodiment.
  • the IBUF management unit 5 includes an IBUF storage unit 51 that stores data in an IBUF (data storage memory), an IBUF array 52 in which a plurality of IBUFs are arranged, and an IBUF reading unit 53 that reads data from the IBUF.
  • the IBUF storage unit 51 and the IBUF reading unit 53 are included in the above-mentioned data storage memory control unit.
  • the IBUF storage unit 51 When iFM data is input, the IBUF storage unit 51 counts the number of valid data in the input data and converts it into coordinates (coordinate generation), further converts it into an IBUF address (address conversion), and iFM data (iFM data (address conversion). Store in IBUF together with data).
  • the data storage memory control unit of the IBUF management unit 5 controls writing to the IBUF and reading from the IBUF, and this control has several modes. The following is the control in the case of one mode (first mode).
  • first mode When the number of iFMs ⁇ N / k, the IBUF storage unit 51 classifies the IBUFs into k groups by N / k, and when writing to the IBUF, k to the same address of k different IBUFs belonging to different groups. Write the same data.
  • the IBUF storage unit 51 divides the IBUF (IBUF0 to IBUF15) into the following four groups. ⁇ IBUF0-3 ⁇ IBUF4-7 ⁇ IBUF8-11 ⁇ IBUF12 ⁇ 15
  • FIG. 7 is a diagram showing in detail the we-generating portion of the IBUF storage unit 51 of FIG. As a result, the same data as IBUF 0 to 3 is duplicated in IBUF 4 to 7, IBUF 8 to 11, and IBUF 12 to 15.
  • the IBUF reading unit 53 reads a portion shifted by one pixel (or several pixels) vertically and / or horizontally when reading from the IBUF. This can be achieved by changing the addressing of each group during data access and accessing addresses that are offset by several pixels vertically and / or horizontally. For example, by generating one address for each of IBUF0 to 3, IBUF4 to 7, IBUF8 to 11, and IBUF12 to 15, data is generated from a position shifted by one pixel vertically and / or horizontally as shown on the left of FIG. Can be read.
  • IBUF storage unit 51 classifies IBUFs into k groups of N / k each. Then, when writing to the IBUF, the IBUF storage unit 51 writes the same data in k different IBUFs belonging to different groups to addresses shifted by several pixels (for example, one pixel) vertically and / or horizontally. That is, the data is written so that data shifted by several pixels (for example, one pixel) is stored at the same address in each group.
  • the IBUF reading unit 53 does not change the access address when reading from the IBUF, and accesses all the IBUFs with the same address. Since it can be read from the same address, reading becomes easier.
  • the we generation at the time of writing is the same as the above example, and the writing address is generated so as to be shifted by one pixel at IBUF0 to 3, IBUF4 to 7, IBUF8 to 11, and IBUF12 to 15. By doing so, the address at the time of reading can be shared.
  • FIG. 8 is a diagram showing the relationship between the input (x1 to x4) and the output (f (x1) to f (x4)) of the non-linear conversion unit when the non-linear conversion f (x) is a monotonically increasing function.
  • the non-linear transformation f is a monotonically increasing function
  • the maximum value pooling process and the non-linear transformation f can be interchanged. Therefore, if the condition that the non-linear conversion characteristic is a monotonically increasing function and the pooling process is only the maximum value pooling process is satisfied, the non-linear process may be performed on one data after the pooling process.
  • the circuit scale can be further reduced.
  • FIG. 9 and 10 are diagrams showing the configuration of the calculation unit 7 in which the order of the non-linear processing and the pooling processing is exchanged in this way.
  • the order of the pooling process (second pooling processing unit 87) of the parallel processing side path and the non-linear conversion is changed, and the parallel processing side path and the normal processing side path operate exclusively to the normal processing side.
  • the non-linear conversion unit 76 of the above is shared by the parallel processing and the normal processing. Specifically, the output of the second pooling processing unit 87 on the parallel processing side and the output of the FF75 on the normal processing side are switched by the selector 88 and input to the non-linear conversion unit 76. With such a configuration, the processing speed is quadrupled by increasing the maximum value extraction circuit by one.
  • the non-linear conversion unit 76 When the non-linear conversion unit 76 is not shared, for example, in FIG. 3, the order of the second non-linear conversion unit 86 and the second pooling processing unit 87 is changed, and as shown in FIG. 10, the second pooling processing unit 87 is placed after the second pooling processing unit 87. 2
  • the non-linear conversion unit 86 may be provided.
  • FIG. 11 is a diagram showing the configuration of the second pooling processing unit 87 when the pooling processing is performed separately in the vertical direction and the horizontal direction with respect to the scanning direction. It is assumed that the configuration of the entire calculation unit 7 is as shown in FIG.
  • the pooling process passes through the upper path in the second pooling process unit 87 shown in FIG. 11, and the same pooling process as the method described above is performed. ..
  • the pooling process passes through the lower path in the second pooling process unit 87 of FIG. That is, the pooling process is performed separately in the vertical direction and the horizontal direction with respect to the scanning direction.
  • the data to be input at the same time is only one of the vertical direction and the horizontal direction, and all the data necessary for the pooling process is input over several cycles.
  • the vertical pooling process and the horizontal pooling process are executed at the timing when the trigger signal is input, respectively.
  • the arithmetic control unit 71 outputs a trigger signal for executing the vertical pooling process and the horizontal pooling process at a preset timing.
  • the four input ports of the second pooling processing unit 87 are the addition results for FM4 surfaces, and two of them are added. Therefore, the two ports immediately before the vertical pooling processing are the addition results for FM8 surfaces. Become. By pooling in the vertical and horizontal directions with such a configuration, it is possible to execute two FMs in parallel for up to eight FM surfaces.
  • FIG. 12 is a diagram showing in detail the we generation portion of the IBUF management unit 5.
  • the maximum value is extracted by both the vertical pooling processing unit and the horizontal pooling processing unit.
  • the vertical pooling process section / horizontal pooling process section produces two addition results, but the horizontal pooling process section finally divides by 4 (2-bit shift) to obtain the average value. You can get it.
  • a second embodiment of the present invention will be described.
  • the processing time is shortened by avoiding the redundant processing that occurs in the sixth layer of Yoro_tiny_v2, which is one of the variations of the CNN.
  • the processing in the second pooling processing unit 87 is different from that in the first embodiment, and the other basic configurations are the same as those in the first embodiment. Therefore, only the processing in the second pooling processing unit 87 will be described below.
  • FIG. 13A and 13B are diagrams showing the iFM processing process when the kernel size of the filter processing is 3 ⁇ 3 and the pooling processing unit is 2 ⁇ 2.
  • iFM is processed so as not to overlap when viewed as a result after filtering. Since the pooling processing unit is 2 ⁇ 2, the iFM is output in half the vertical and horizontal sizes by the pooling processing. This is a movement on the premise that the center of gravity of the pixel during the pooling process moves in units of 2 pixels, which is the same as the unit of pooling processing.
  • stride 2.
  • FIG. 14 is a diagram showing the configuration of the second pooling processing unit 87 of the present embodiment. Separately in the vertical direction and the horizontal direction with respect to the scanning direction of the process, each of them receives an execution pulse from the arithmetic control unit and operates so as to execute the pooling process. That is, each of the vertical pooling processing unit that performs the vertical pooling processing and the horizontal pooling processing unit that performs the horizontal pooling processing performs the pooling processing at the timing when the trigger (execution pulse) is input.
  • the arithmetic control unit 71 outputs a trigger signal for executing the horizontal pooling process and the vertical pooling process at a preset timing.
  • FIG. 15 is a diagram showing a pixel image of FM after non-linear conversion (after filtering).
  • the maximum value is taken in the case of maximum value pooling, and in the case of average value pooling, it is added and divided by the number of pixels when all is completed.
  • the larger of D11 and D21 is selected in the case of maximum value pooling, and D11 + D21 is calculated in the case of mean value pooling.
  • the horizontal pooling result o1 select the larger of p1 and p2 in the case of maximum value pooling, and calculate (p1 + p2) ⁇ 4 in the case of mean value pooling.
  • the number of data to be processed at one time is reduced, so the number of FFs for waiting can be reduced, the maximum value calculation (or total addition) circuit can be reduced, and the circuit scale can be reduced. Can be made smaller.
  • a third embodiment of the present invention will be described.
  • a method of effectively utilizing the unused portion when there is an unused circuit on the input side of the arithmetic unit has been proposed, but in the third embodiment, the unused circuit on the output side of the arithmetic unit has been proposed. Regarding how to effectively utilize the unused part when there is.
  • the basic operation of the calculation unit is to generate one oFM by inputting all iFMs, but one oFM may be created by sharing it among a plurality of output channel groups.
  • FIG. 19 is an image diagram in which two output channel groups (output channel A and output channel B) are shared to create one oFM.
  • the left figure of FIG. 19 shows an example (line sharing) of sharing oFM in line units (odd line and even line), and the right figure of FIG. 19 shows an example of sharing oFM.
  • An example (region sharing) in which the oFM is divided into left and right regions and shared is shown.
  • the degree of output parallelism is M and the number of oFMs is ⁇ M / 2
  • one oFM can be divided into a plurality of regions, and each region can be shared and processed by a plurality of output channel groups.
  • one oFM data is output by combining the outputs from the two different output channel groups. Therefore, it is necessary to define a format that can integrate the outputs from two different output channel groups so that the input in the next layer becomes one FM data.
  • the odd-numbered lines and the even-numbered lines of the oFM are shared and processed by the two output channel groups as shown in the left figure of FIG.
  • the number of output channel groups sharing one oFM is not limited to two, and may be shared by three or four output channel groups.
  • FIG. 20 is a diagram showing a configuration on the output side of the IBUF (data storage memory) management unit 5 of the present embodiment.
  • IBUF data storage memory
  • a DBUF 57 (second data storage memory) for temporarily storing the data is prepared, and the data is first transferred from the IBUF to the DBUF.
  • the first control unit 56 in the previous stage of the DBUF 57 divides the oFM into a plurality of regions, extracts data necessary for processing each region, and writes the data in the DBUF 57.
  • the data for odd-numbered lines is stored in DBUFodd
  • the data for even-numbered lines is stored in DBUFeven.
  • the output channel oCh. 0-oCh. (2 / M-1) belongs to the output channel group in the first half, and the output channel oCh. (2 / M-1) -oCh. It is assumed that (M-1) belongs to the output channel group in the latter half. Then, it is assumed that the output channel group in the first half processes the odd-numbered lines of oFM, and the output channel group in the second half processes the even-numbered lines of oFM.
  • the IBUF reading unit 53 transfers the data stored in the DBUFodd to the output channel group in the first half as data (data_odd) required for odd-numbered line processing. Similarly, the IBUF reading unit 53 transfers the data stored in the DBUFeven to the output channel group in the latter half as data (data_even) required for even-numbered line processing.
  • FIG. 21 is a diagram showing a data storage image in DBUFodd and DBUFeven.
  • the iFM required to generate the first line of the oFM is the area of the first line and the second line on the iFM, and the iFM required to generate the second line of the oFM is on the iFM. This is the area of the second line and the third line. That is, since there is an overlapping region on the iFM, that portion is stored in both DBUFodd and DBUFeven.
  • each DBUF 57 the data required for generating the oFM1 pixel is sequentially read from the data stored in the DBUF 57.
  • the second control unit 58 controls to acquire data from the DBUF 57 by a predetermined method. By this read control, data_odd is supplied to the output channel group in the first half, and data_even is supplied to the output channel group in the second half.
  • FIG. 22 is a diagram showing an image of the difference in position on the iFM processed by the two output channel groups.
  • the left side of FIG. 22 shows the position to be processed by the output channel group in the first half, and the right side of FIG. 22 shows the position to be processed by the output channel group in the latter half.
  • FIG. 23A and 23B are image diagrams of oFM data output from the calculation unit.
  • FIG. 23A shows the case of normal processing, that is, the case where one oFM is processed by one output channel group.
  • one oFM consists of M FMs (oFM0, oFM1, oFM2, ...), Each from M output channels (oCh.0, oCh.1, oCh.2, ). The data at the same position of FM is output.
  • FIG. 23B shows a case where one oFM is processed by dividing the line between two output channel groups.
  • the output channels (oCh.0, oCh.1, oCh.2, ..., OCh.M / 2-1) of the output channel group in the first half output the data at the same position of each FM.
  • the output channels (oCh.M / 2, oCh.M / 2 + 1, oCh.M / 2 + 2, ..., OCh.M-1) of the output channel group in the latter half output the data at the position shifted by one line of each FM.
  • the output channel group in the first half and the output channel group in the second half output data at positions shifted by one line on the same oFM.
  • An operation selection signal (mode) is input to the unit 3 to switch the control.
  • D (k) is changed to oCh.
  • D0_16 is defined as all oCh. It is defined as concatenating the data (D (0) to D (16-1)) output from.
  • FIG. 24 is a diagram showing a flow from the processing of the k-th layer to the processing of the (k + 1) layer during the normal processing.
  • the output of the calculation unit of the k-th layer only the first half portion of D0_16 is valid, and the second half portion of D0_16 is in an unused state.
  • D0_16 in this state is input to the (k + 1) layer. If D0_16 can be acquired by one burst transfer, unused data will be input, resulting in poor transfer efficiency.
  • FIG. 25 is a diagram showing a flow from the processing of the k-th layer to the processing of the (k + 1) layer during the line sharing processing.
  • the latter half portion that was unused during normal processing also has the same iFM data (data at a position shifted one line below) as the first half portion.
  • D0_16N stored in the IBUF storage unit is divided into two data and output to the IBUF separately.
  • FIG. 26A and 26B are diagrams showing images of writing specific data to IBUF.
  • FIG. 26A shows the time of line sharing processing
  • FIG. 26B shows the time of area sharing processing.
  • the addressing is performed so as to shift downward by one pixel.
  • the addressing is also shifted by half a line.
  • FIG. 27 is a diagram showing the overall configuration of the IBUF management unit 5 of the present embodiment.
  • the IBUF storage unit 51 includes a control unit 54 that determines the mode and changes the control, and a data retention / selector unit 55.
  • the control unit 54 has a mode in which iFMs input in the same cycle are held and controlled so as to be divided into several cycles and written to the same IBUF.
  • the processing can be parallelized and the execution time can be shortened when the number of oFMs ⁇ M / 2.
  • the configuration in the IBUF storage unit 51 is the same as that in FIG.
  • the IBUF reading unit 53 uses paths (data2, req2) for directly extracting IBUF data without going through the DBUF 57 during normal processing.
  • one FM can be simultaneously processed by a plurality of output channel groups, and the data can be restored at the time of input to the next layer, and the processing time can be increased.
  • Each component is for explaining the function and processing related to each component.
  • One configuration may simultaneously realize functions and processes related to a plurality of components.
  • Each component may be realized by a computer including one or more processors, a logic circuit, a memory, an input / output interface, a computer-readable recording medium, and the like, respectively or as a whole.
  • the above-mentioned various functions and processes are realized by recording a program for realizing each component or the entire function on a recording medium, reading the recorded program into a computer system, and executing the program. You may.
  • the processor is at least one of a CPU, a DSP (Digital Signal Processor), and a GPU (Graphics Processing Unit).
  • the logic circuit is at least one of an ASIC (Application Specific Integrated Circuit) and an FPGA (Field-Programmable Gate Array).
  • the "computer system” here may include hardware such as an OS and peripheral devices. Further, the “computer system” includes a homepage providing environment (or a display environment) if a WWW system is used.
  • the "computer-readable recording medium” includes a flexible disk, a magneto-optical disk, a ROM, a writable non-volatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, and the like. Refers to the storage device of.
  • the "computer-readable recording medium” is a volatile memory inside a computer system that serves as a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line (for example, DRAM (Dynamic)). It also includes those that hold the program for a certain period of time, such as Random Access Memory)).
  • the above program may be transmitted from a computer system in which this program is stored in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
  • the "transmission medium" for transmitting a program means a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the above program may be for realizing a part of the above-mentioned functions. Further, it may be a so-called difference file (difference program) that realizes the above-mentioned function in combination with a program already recorded in the computer system.
  • the present invention can be widely applied to an arithmetic processing unit that performs deep learning using a convolutional neural network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Neurology (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

演算処理装置において、演算制御部は、セレクタが第２処理側に分岐した場合に、第１加算器の累積加算処理の結果に対して非線形演算処理を行う第２非線形変換部と、前記第２非線形変換部で非線形処理された、ｋ個の前記第１加算器の累積加算処理の結果が入力され、同時に入力されたデータに対してプーリング処理を行う第２プーリング処理部と、を有する。データ格納メモリ管理部は、演算部に入力される入力特徴量マップデータの数≦Ｎ／ｋの時に、ｋ個の異なるデータ格納メモリに同じデータを書き込む。前記演算制御部は、前記入力特徴量マップデータの数≦Ｎ／ｋの時は、前記セレクタが前記第２処理側に分岐するよう制御する。

Description

演算処理装置
　本発明は、演算処理装置、より詳しくは、畳み込みニューラルネットワークを用いたディープラーニングを行う演算処理装置の回路構成に関する。
　従来、複数の処理層が階層的に接続されたニューラルネットワークを用いて演算を実行する演算処理装置がある。特に画像認識を行う演算処理装置では、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ、以下ＣＮＮという）を用いたディープラーニングが広く行われている。
　図２８は、ＣＮＮを用いたディープラーニングによる画像認識の処理の流れを示す図である。ＣＮＮを用いたディープラーニングによる画像認識では、入力された画像データ（ピクセルデータ）に対して、ＣＮＮの複数の処理層における処理が順次施されることにより、画像に含まれる対象物が認識された最終的な演算結果データが得られる。
　ＣＮＮの処理層は、畳み込み演算処理、非線形処理、縮小処理（プーリング処理）等を含むＣｏｎｖｏｌｕｔｉｏｎ処理を行うＣｏｎｖｏｌｕｔｉｏｎ層と、全ての入力データ（ピクセルデータ）にフィルタ係数を乗じて累積加算するＦｕｌｌＣｏｎｎｅｃｔ処理を行うＦｕｌｌＣｏｎｎｅｃｔ層（全結合層）とに大きく分類される。ただし、ＦｕｌｌＣｏｎｎｅｃｔ層がない畳み込みニューラルネットワークも存在する。
　ＣＮＮを用いたディープラーニングによる画像認識は以下のようにして行われる。まず、画像データに対して、ある領域を抽出してフィルタ係数の異なる複数のフィルタを乗じて特徴量マップ（Ｆｅａｔｕｒｅ　Ｍａｐ、ＦＭ）を作成する畳み込み演算処理と、特徴量マップの一部領域を縮小する縮小処理（プーリング処理）の組合せを１つの処理層として、これを複数回（複数の処理層において）行う。これらの処理が、Ｃｏｎｖｏｌｕｔｉｏｎ層の処理である。
　プーリング処理は、近傍４ピクセルの最大値を抽出して１／２×１／２に縮小するｍａｘ　ｐｏｏｌｉｎｇの他、近傍４ピクセルの平均値を求める（抽出ではない）ａｖｅｒａｇｅ　ｐｏｏｌｉｎｇなどのバリエーションがある。
　図２９は、Ｃｏｎｖｏｌｕｔｉｏｎ処理の流れを示す図である。最初に、画像データから１ピクセルおよびその近傍のピクセル（図２９の例では近傍８ピクセル）を抽出して、夫々にフィルタ係数の異なるフィルタ処理を行い（畳み込み演算処理）、これらを全て累積加算することにより、１ピクセルに対応するデータができる。作成されたデータに対し、非線形変換および縮小処理（プーリング処理）を行い、以上の処理を画像データの全ピクセルに対して行うことで、出力特徴量マップ（ｏＦＭ）が１面分生成される。これを複数回繰り返すことでｏＦＭを複数面生成する。実際の回路では上記全てがパイプライン処理される。
　生成された出力特徴量マップ（ｏＦＭ）を、次のＣｏｎｖｏｌｕｔｉｏｎ処理の入力特徴量マップ（ｉＦＭ）として、さらにフィルタ係数の異なるフィルタ処理を行うことにより、Ｃｏｎｖｏｌｕｔｉｏｎ処理を繰り返す。このようにして複数回のＣｏｎｖｏｌｕｔｉｏｎ処理を行い、出力特徴量マップ（ｏＦＭ）を得る。
　Ｃｏｎｖｏｌｕｔｉｏｎ処理が進み、特徴量マップ（ＦＭ）をある程度まで小さくしたところで、画像データを１次元のデータ列と読み変える。この１次元のデータ列の各データに対して、各々異なる係数を乗じて累積加算を行うＦｕｌｌＣｏｎｎｅｃｔ処理を複数回（複数の処理層において）行う。これらの処理が、全結合層（ＦｕｌｌＣｏｎｎｅｃｔ層）の処理である。
　そして、ＦｕｌｌＣｏｎｎｅｃｔ処理の後、最終的な演算結果である被写体推定結果として、画像に含まれる対象物が検出された確率（被写体検出の確率）が出力される。図２８の例では、最終的な演算結果データとして、犬が検出された確率は０．０１（１％）、猫が検出された確率は０．０４（４％）、ボートが検出された確率は０．９４（９４％）、鳥が検出された確率は０．０２（２％）である。
　このようにして、ＣＮＮを用いたディープラーニングによる画像認識は、高い認識率を実現できる。しかし、検出する被写体の種類を増やしたり、被写体検出精度を上げるためには、ネットワークを大きくする必要がある。そうするとデータ格納バッファやフィルタ係数格納バッファが必然的に大容量になるが、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）にはあまり大容量のメモリを搭載できない。
　また、画像認識処理におけるディープラーニングでは、（Ｋ－１）層目とＫ層目におけるＦＭ（Ｆｅａｔｕｒｅ　Ｍａｐ）サイズとＦＭ数（ＦＭの面数）の関係は次式のような関係になる場合が多く、回路としてメモリサイズを決定する際には最適化が困難である。
　ＦＭサイズ［Ｋ］＝１／４×ＦＭサイズ［Ｋ－１］
　ＦＭ数［Ｋ］＝２×ＦＭ数［Ｋ－１］
　例えば、ＣＮＮのバリエーションの１つであるＹｏｌｏ＿ｖ２に対応可能な回路のメモリのサイズを考える場合、ＦＭサイズとＦＭ数の最大値だけで決定しようとすると１ＧＢ程度必要となる。実際には、ＦＭ数とＦＭサイズは反比例的関係があるため、計算上メモリは３ＭＢ程度あれば十分ではあるが、電池駆動のモバイル機器に搭載するＡＳＩＣとしては、できるだけ消費電力やチップコストを小さくしたいニーズがあるため、メモリを極力小さくする工夫が必要となってくる。
　このような問題があることから、ＣＮＮは一般的には高性能ＰＣやＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を用いたソフトウエア処理で実装される。しかし、ＣＮＮの高速処理を実現するためには処理の重い部分をハードウェアで構成する必要がある。このようなハードウェア実装の例が、非特許文献１に記載されている。非特許文献１は、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）プラットフォームをベースとしたディープＣＮＮ用のアクセラレータを開示している。
Ｏｐｔｉｍｉｚｉｎｇ ＦＰＧＡ－ｂａｓｅｄ Ａｃｃｅｌｅｒａｔｏｒ Ｄｅｓｉｇｎ ＦＯＲ Ｄｅｅｐ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ, Ｐｒｏｃｅｅｄｉｎｇｓ ＯＦ ｔｈｅ　２０１５　ＡＣＭ/ＳＩＧＤＡ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ
　ＣＮＮの浅い層では、ｉＦＭ数（ｉＦＭの面数）が回路の入力並列度Ｎより極端に少なくなることがある。この場合、使わない回路が動作しないように電源遮断するなどで消費電力を削減することも考えられる。しかし、ＤｅｅｐＬｅａｒｎｉｎｇは大変重い処理であるから、搭載されている回路をできるだけ活用して処理時間を短くする方がより有効である。
　非特許文献１では、１層目のｉＦＭ数が３個であるのに対しＦＰＧＡのコンフィギュレーションは７個である例が記載されている。非特許文献１では、具体的にどのように動作させるかについての言及がないが、仮に７個のコンフィギュレーションのうちの３個しか使用していないとすると、搭載されている回路の半分以上が動作していないことになる。
　出力側についても、非特許文献１では、２層目のｏＦＭ数が２０であるのに対しＦＰＧＡのコンフィギュレーションは６４である例が記載されている。具体的にどのように動作させるかについての言及はないが、仮に６４のうち２０しか使っていないとすると、搭載されている回路の２／３以上が動作していないことになる。
　また、プーリング処理では、例えば２×２の最大値プーリング処理の場合、入力された４個のデータから最大値を１個だけ抽出する。これによりデータレートは１／４となり、処理後のＦＭサイズは縦・横半分のサイズになる。しかし設定によっては、同じ位置データを重複処理して、結果的にデータレートが変化せず、ＦＭのサイズが変化しないことがある。これを他の層と同じように画一的に処理すると、演算部での処理時間が４倍に増えることになり、動画対応のような高速処理をする上で問題となる。非特許文献１では、このような速度低下への対策について言及していない。
　上述の事情を踏まえ、本発明は、畳み込みニューラルネットワークを用いたディープラーニングを行う演算処理装置において、プーリング処理の実行に必要なデータを並列処理で実行できるようにすることで、処理時間を短縮する演算処理装置を提供することを目的とする。
　本発明の第一の態様は、Ｃｏｎｖｏｌｕｔｉｏｎ処理とＦｕｌｌＣｏｎｎｅｃｔ処理を行うディープラーニング用の演算処理装置であって、入力特徴量マップデータを格納するデータ格納メモリと、前記データ格納メモリを管理および制御するデータ格納メモリ制御部とを有するデータ格納メモリ管理部と；フィルタ係数を格納するフィルタ係数格納メモリと、前記フィルタ係数格納メモリを管理および制御するフィルタ係数格納メモリ制御部とを有するフィルタ係数格納メモリ管理部と；前記入力特徴量マップデータおよび出力特徴量マップデータを格納する外部メモリと；前記外部メモリから、前記入力特徴量マップデータを取得するデータ入力部と；前記外部メモリから、前記フィルタ係数を取得するフィルタ係数入力部と；入力Ｎ並列、出力Ｍ並列の構成（Ｎ、Ｍ≧１の正数）で、前記データ格納メモリから前記入力特徴量マップデータを取得し、前記フィルタ係数格納メモリから前記フィルタ係数を取得して、フィルタ処理、累積加算処理、非線形演算処理およびプーリング処理を行う演算部と；前記演算部から出力されるＭ並列のデータを連結して、出力特徴量マップデータとして前記外部メモリに出力するデータ出力部と；前記演算処理装置内を制御するコントローラと；を有し、前記演算部は、Ｎ並列でフィルタ処理を実行するフィルタ演算部と、前記フィルタ演算部のＮ／ｋ個の演算結果を累積加算するｋ個の第１加算器と、前記第１加算器の後段に設けられ、前記第１加算器の出力を分岐して、第１処理側と第２処理側とで切り替えるセレクタと、前記セレクタが前記第１処理側に分岐した場合に、ｋ個の前記第１加算器の累積加算処理の結果を累積加算する第２加算器と、前記第２加算器の累積加算処理の結果を後段で累積加算する第３加算器と、前記第３加算器の累積加算処理の結果に対して非線形演算処理を行う第１非線形変換部と、前記第１非線形変換部の処理結果に対してプーリング処理を行う第１プーリング処理部と、前記セレクタが前記第２処理側に分岐した場合に、前記第１加算器の累積加算処理の結果に対して非線形演算処理を行う第２非線形変換部と、前記第２非線形変換部で非線形処理された、ｋ個の前記第１加算器の累積加算処理の結果が入力され、同時に入力されたデータに対してプーリング処理を行う第２プーリング処理部と、前記演算部内を制御する演算制御部と、を有し、前記データ格納メモリ管理部は、前記演算部に入力される前記入力特徴量マップデータの数≦Ｎ／ｋの時に、ｋ個の異なるデータ格納メモリに同じデータを書き込み、前記演算制御部は、前記入力特徴量マップデータの数≦Ｎ／ｋの時は、前記セレクタが前記第２処理側に分岐するよう制御する演算処理装置である。
　前記データ格納メモリ制御部は、第１モードにおいて、前記データ格納メモリへの書き込み時に、ｋ個の異なるデータ格納メモリの同一アドレスに同一のデータを書き込むよう制御し、前記データ格納メモリをＮ／ｋ個ずつｋ個のグループに分類し、前記データ格納メモリからの読み出し時に、各グループでアドレスを変えて、互いに縦および／または横に数画素ずれたアドレスにアクセスするよう制御してもよい。
　前記データ格納メモリ制御部は、第２モードにおいて、前記データ格納メモリへの書き込み時に、ｋ個の異なるデータ格納メモリにおいて、同一データを、縦および／または横に数画素ずれたアドレスに書き込むように制御し、前記データ格納メモリからの読み出し時に、同一アドレスで全ての前記データ格納メモリにアクセスしてもよい。
　本発明の第一の態様は、Ｃｏｎｖｏｌｕｔｉｏｎ処理とＦｕｌｌＣｏｎｎｅｃｔ処理を行うディープラーニング用の演算処理装置であって、入力特徴量マップデータを格納するデータ格納メモリと、前記データ格納メモリを管理および制御するデータ格納メモリ制御部とを有するデータ格納メモリ管理部と；フィルタ係数を格納するフィルタ係数格納メモリと、前記フィルタ係数格納メモリを管理および制御するフィルタ係数格納メモリ制御部とを有するフィルタ係数格納メモリ管理部と；前記入力特徴量マップデータおよび出力特徴量マップデータを格納する外部メモリと；前記外部メモリから、前記入力特徴量マップデータを取得するデータ入力部と；前記外部メモリから、前記フィルタ係数を取得するフィルタ係数入力部と；入力Ｎ並列、出力Ｍ並列の構成（Ｎ、Ｍ≧１の正数）で、前記データ格納メモリから前記入力特徴量マップデータを取得し、前記フィルタ係数格納メモリから前記フィルタ係数を取得して、フィルタ処理、累積加算処理、非線形演算処理およびプーリング処理を行う演算部と；前記演算部から出力されるＭ並列のデータを連結して、出力特徴量マップデータとして前記外部メモリに出力するデータ出力部と；前記演算処理装置内を制御するコントローラと；を有し、前記演算部は、Ｎ並列でフィルタ処理を実行するフィルタ演算部と、前記フィルタ演算部のＮ／ｋ個の演算結果を累積加算するｋ個の第１加算器と、前記第１加算器の後段に設けられ、前記第１加算器の出力を分岐して、第１処理側と第２処理側とで切り替えるセレクタと、前記セレクタが前記第１処理側に分岐した場合に、ｋ個の前記第１加算器の累積加算処理の結果を累積加算する第２加算器と、前記第２加算器の累積加算処理の結果を後段で累積加算する第３加算器と、前記第３加算器の累積加算処理の結果に対して非線形演算処理を行う第１非線形変換部と、前記第１非線形変換部の処理結果に対してプーリング処理を行う第１プーリング処理部と、前記セレクタが前記第２処理側に分岐した場合に、前記第１加算器の累積加算処理の結果に対してプーリング処理を行う第２プーリング処理部と、前記第２プーリング処理部の後段に設けられ、前記第２プーリング処理部でプーリング処理された前記第１加算器の累積加算処理の結果に対して非線演算処理を行う第２線形変換部と、前記演算部内を制御する演算制御部と、を有し、前記データ格納メモリ管理部は、前記演算部に入力される前記入力特徴量マップデータの数≦Ｎ／ｋの時に、ｋ個の異なるデータ格納メモリに同じデータを書き込み、前記演算制御部は、前記入力特徴量マップデータの数≦Ｎ／ｋの時は、前記セレクタが前記第２処理側に分岐するよう制御する演算処理装置である。
　前記第１非線形変換部と前記第２線形変換部は同一の構成であってもよく、前記第１処理側と前記第２処理側で共用されていてもよい。
　前記第２プーリング処理部は、走査方向に対して垂直方向と水平方向とで別々に、プーリング処理を行い、前記垂直方向のプーリング処理および前記水平方向のプーリング処理は、各々、トリガ信号が入力されるタイミングで実行され、前記演算制御部は、予め設定したタイミングで、前記トリガ信号を出力してもよい。
　本発明の各態様によれば、畳み込みニューラルネットワークを用いたディープラーニングを行う演算処理装置において、プーリング処理の実行に必要なデータを並列処理で実行できるようにすることで、処理時間を短縮することができる。
Ｃｏｎｖｏｌｕｔｉｏｎ処理によって、入力特徴量マップ（ｉＦＭ）から出力特徴量マップ（ｏＦＭ）を得るイメージ図である。 本発明の実施形態に係る演算処理装置の全体構成を示すブロック図である。 本発明の第１実施形態に係る演算処理装置の演算部の構成を示す図である。 プーリング処理のイメージを示す図である。 本発明の第１実施形態の変形例に係る演算処理装置の演算部の構成を示す図である。 本発明の第１実施形態に係る演算処理装置のＩＢＵＦ（データ格納メモリ）管理部の構成を示す図である。 本発明の第１実施形態に係る演算処理装置のＩＢＵＦ管理部のｗｅ生成部分を詳細に示した図である。 非線形変換が単調増加関数である場合の、非線形変換部の入力と出力の関係を示す図である。 本発明の第１実施形態の変形例に係る演算処理装置の演算部の構成を示す図である。 本発明の第１実施形態の変形例に係る演算処理装置の演算部の構成を示す図である。 本発明の第１実施形態の変形例に係る演算処理装置の演算部の第１プーリング処理部の構成を示す図である。 本発明の第１実施形態の変形例に係る演算処理装置のＩＢＵＦ管理部のｗｅ生成部分を詳細に示した図である。 通常のプーリング処理における、ｉＦＭの処理過程を示す図である。 Ｙｏｌｏ_ｔｉｎｙ_ｖ２の６層目のプーリング処理における、ｉＦＭの処理過程を示す図である。 本実施形態の第２実施形態に係る演算処理装置の第１プーリング処理部の構成を示す図である。 非線形変換処理後のＦＭのピクセルイメージを示す図である。 通常のプーリング処理で、操作方向を水平方向とした場合の、第１プーリング処理部の実行波形を示す図である。 ｓｔｒｉｄｅ＝１時の、操作方向を水平方向とした場合の、第２プーリング処理部の実行波形を示す図である。 本実施形態の第２実施形態に係る演算処理装置の、第１プーリング処理部の実行波形を示す図である。 本実施形態の第３実施形態に係る演算処理装置において、２個の出力チャネルグループで分担して、１個のｏＦＭを作成するイメージ図である。 本実施形態の第３実施形態に係る演算処理装置のＩＢＵＦ管理部の出力側の構成を示す図である。 本実施形態の第３実施形態に係る演算処理装置のＩＢＵＦ管理部の、ＤＢＵＦｏｄｄ、ＤＢＵＦｅｖｅｎにおけるデータの格納イメージを示す図である。 本実施形態の第３実施形態に係る演算処理装置において、２個の出力チャネルグループで処理するｉＦＭ上の位置の違いのイメージを示す図である。 通常処理時の、演算部から出力されるｏＦＭデータのイメージ図である。 １個のｏＦＭを２個の出力チャネルグループでライン分担して処理した場合の、演算部から出力されるｏＦＭデータのイメージ図である。 通常処理時の、ｋ層目の処理から（ｋ＋１）層目の処理への流れを示す図である。 ライン分担処理時の、ｋ層目の処理から（ｋ＋１）層目の処理への流れを示す図である。 ライン分担処理時の、ＩＢＵＦへの具体的なデータの書き込みイメージを示す図である。 領域分担処理時の、ＩＢＵＦへの具体的なデータの書き込みイメージを示す図である。 本実施形態の第３実施形態に係る演算処理装置のＩＢＵＦ管理部の全体構成を示す図である。 ＣＮＮを用いたディープラーニングによる画像認識の処理の流れを示す図である。 従来技術に係るＣｏｎｖｏｌｕｔｉｏｎ処理の流れを示す図である。
　本発明の実施形態について、図面を用いて説明する。まず、本発明の実施形態の構成を採用する背景について説明する。
　図１は、Ｃｏｎｖｏｌｕｔｉｏｎ処理によって、入力特徴量マップ（ｉＦＭ）から出力特徴量マップ（ｏＦＭ）を得るイメージ図である。Ｃｏｎｖｏｌｕｔｉｏｎ処理は、入力される全てのｉＦＭデータに異なるフィルタ係数をかけ（フィルタ処理）、それらを全て累積加算し、非線形変換、プーリング（縮小処理）などの処理を施すことにより、ｏＦＭデータを得る。ｏＦＭデータの１ピクセル（１画素）を計算するのに必要な情報として、出力（ｏＦＭの１ピクセル）に対応するｉＦＭデータの座標の近傍にある全てのピクセルの情報（ｉＦＭデータおよびフィルタ係数）が必要である。
　Ｃｏｎｖｏｌｕｔｉｏｎ処理は、入力Ｎ並列（Ｎは１以上の正数）、すなわちｉＦＭ数（ｉＦＭの面数）＝Ｎであり、Ｎ次元の入力データが並列して処理される（入力Ｎ並列）。また、出力Ｍ並列（Ｍは１以上の正数）、すなわちｏＦＭ数（ｏＦＭの面数）＝Ｍであり、Ｍ次元のデータが並列して出力される（出力Ｍ並列）。
　（第１実施形態）
　次に、本発明の第１実施形態について、図面を用いて説明する。図２は、本実施形態に係る演算処理装置の全体構成を示すブロック図である。演算処理装置１は、コントローラ２と、データ入力部３と、フィルタ係数入力部４と、ＩＢＵＦ（データ格納メモリ）管理部５と、ＷＢＵＦ（フィルタ係数格納メモリ）管理部６と、演算部（演算ブロック）７と、データ出力部８を備える。データ入力部３と、フィルタ係数入力部４と、データ出力部８は、バス１０を介して、ＤＲＡＭ（外部メモリ）９と接続されている。演算処理装置１は、入力特徴量マップ（ｉＦＭ）から出力特徴量マップ（ｏＦＭ）を生成する。
　ＩＢＵＦ管理部５は、入力特徴量マップ（ｉＦＭ）データ格納用のメモリ（データ格納メモリ、ＩＢＵＦ）と、データ格納メモリの管理・制御回路（データ格納メモリ制御部）を有する。ＩＢＵＦは、それぞれが複数のＳＲＡＭから構成される。
　ＩＢＵＦ管理部５は、入力データ（ｉＦＭデータ）中の有効データ数をカウントして座標に変換し、さらにそれをＩＢＵＦアドレス（ＩＢＵＦにおけるアドレス）に変換し、データをＩＢＵＦに格納するとともに、所定の方法でｉＦＭデータをＩＢＵＦから取り出す。
　ＷＢＵＦ管理部６は、フィルタ係数格納用のメモリ（フィルタ係数格納メモリ、ＷＢＵＦ）と、フィルタ係数格納メモリの管理・制御回路（フィルタ係数格納メモリ制御部）を有する。ＷＢＵＦ管理部６は、ＩＢＵＦ管理部５のステータスを参照して、ＩＢＵＦ管理部５から取り出すデータに対応するフィルタ係数をＷＢＵＦから取り出す。
　ＤＲＡＭ９は、ｉＦＭデータ、ｏＦＭデータおよびフィルタ係数を格納する。データ入力部３は、ＤＲＡＭ９から所定の方法で、入力特徴量マップ（ｉＦＭ）を取得し、ＩＢＵＦ（データ格納メモリ）管理部５に渡す。データ出力部８は、ＤＲＡＭ９に所定の方法で、出力特徴量マップ（ｏＦＭ）データを書き出す。具体的には、データ出力部８は、演算部７から出力されたＭ並列のデータを連結してＤＲＡＭ９に出力する。フィルタ係数入力部４は、ＤＲＡＭ９から所定の方法で、フィルタ係数を取得し、ＷＢＵＦ（フィルタ係数格納メモリ）管理部６に渡す。
　演算部７は、ＩＢＵＦ（データ格納メモリ）管理部５からデータ、ＷＢＵＦ（フィルタ係数格納メモリ）管理部６からフィルタ係数を取得して、フィルタ処理・累積加算・非線形演算・プーリング処理等のデータ処理を行う。演算部７がデータ処理を施したデータ（累積加算結果）は、データ出力部８を介して、ＤＲＡＭ９に格納される。コントローラ２は、回路全体の制御を行う。
　ＣＮＮでは、複数の処理層において、必要な層数分の処理が繰り返し実行される。そして、演算処理装置１は最終出力データとして被写体推定結果を出力し、この最終出力データを、プロセッサ（回路でもよい）を用いて処理することにより被写体推定結果を得る。
　図３は、本実施形態に係る演算処理装置の演算部７の構成を示す図である。演算部７の入力チャネル数はＮ（Ｎは１以上の正数）であり、Ｎ次元の入力データが並列して処理される（入力Ｎ並列）。演算部７の出力チャネル数はＭ（Ｍは１以上の正数）であり、Ｍ次元のデータが並列して出力される（出力Ｍ並列）。
　１つの層（面）において、ｉＦＭデータ（ｄ＿０～ｄ＿１５）とフィルタ係数（ｋ＿０～ｋ＿１５）が入力され、１個のｏＦＭデータを出力する。この処理がＭ層（Ｍ面）、並行して行われ、Ｍ個のｏＦＭデータ（ｏＣｈ＿０～ｏＣｈ＿Ｍ－１）が出力される。
　このように、演算部７は、入力チャネル数をＮ、出力チャネル数をＭとして、並列度がＮ×Ｍとなる構成を取る。入力チャネル数Ｎおよび出力チャネル数Ｍの大きさは、ＣＮＮの大きさに応じて設定（変更）することができるので、処理性能や回路規模を勘案して適切に設定する。
　本実施形態は、演算部７が演算可能な入力チャネル数Ｎよりも、実際に演算部７に入力されるｉＦＭ数が少ない場合に、未稼働回路を活用することで演算処理の高速化を図ったものである。なお、分かりやすくするため、以下の条件で説明する。
　・入力並列度Ｎ＝１６
　・出力並列度Ｍ＝１６
　・ｉＦＭ数＝３（ＲＧＢの３面）
　・ｏＦＭ数＝16
　・フィルタサイズ　３×３
　・プーリング実行単位（プーリングサイズ）　ｋ＝２×２
　この場合、１つのチャネルグループで１つのｉＦＭを処理しようとすると、入力１６チャネルのうち１３チャネルが未稼働となってしまう。そこで、未稼働回路を有効活用する。
　演算部７は、演算部内各部の制御を行う演算制御部７１を備える。また、演算部７は、各層（面）ごとに、フィルタ演算部７２と、ｋ個の第１加算器８１と、セレクタ８２と、第２加算器８３と、第３加算器７４と、ＦＦ（フリップフロップ）７５と、第１非線形変換部７６と、第１プーリング処理部７７と、第２非線形変換部８６と、第２プーリング処理部８７とを備える。各層（面）ごとに同じ回路が存在し、このような各（面）がＭ個ある。
　演算制御部７１が、演算部７の前段に対してリクエストを発行することにより、所定のデータがフィルタ演算部７２に入力される。フィルタ演算部７２は、内部で乗算器と加算器がＮ並列で同時に実行できるように構成されており、入力データのフィルタ処理を行い、フィルタ処理の結果をＮ並列で出力する。
　第１加算器８１の各々は、フィルタ演算部７２におけるＮ／ｋ個のフィルタ処理結果を累積加算する。図３の例では、Ｎ＝１６、ｋ＝４なので、第１加算器８１の各々は、１６／４＝４個のフィルタ処理結果を累積加算している。
　第１加算器８１の後段にはセレクタ８２が設けられ、第１加算器８１の出力を分岐して切り替える。切り替えの条件は、演算部７に入力されるｉＦＭ数とＮ／ｋのどちらが大きいかによる。なお、図３の例では、セレクタ８２は各第１加算器８１に対応してｋ個あるが、第１加算器８１の出力を１つのセレクタ８２で共通に切り替えるように構成してもよい。
　ｉＦＭ数＞Ｎ／ｋの場合、演算制御部７１は、通常処理（第１処理）を行うようにセレクタ８２を切り替える設定・制御を行う。具体的には、第１加算器８１の出力が、第２加算器８３に入力されるようにセレクタ８２が切り替えられる。第２加算器８３は、入力されたｋ個の第１加算器８１の累積加算処理の結果を累積加算する。すなわち、通常処理時には、第１加算器８１が、Ｎ個（図３では１６個）の入力チャネルをｋ個ずつ（図３では４個ずつ）に分けて１回目の加算を行い、第２加算器８３が２回目の加算で全入力分の加算を行う。
　第３加算器７４は、時分割で入力される第２加算器８３の累積加算処理の結果を後段で累積加算する。第３加算器７４の後段には、累積加算の結果を保持するためのＦＦ７５が設けられている。
　第１非線形変換部７６は、第３加算器７４およびＦＦ７５での累積加算の結果に対して、Ａｃｔｉｖａｔｅ関数などによる非線形演算処理を行う。具体的な実装は特に規定しないが、例えば折れ線近似により非線形演算処理を行う。
　第１プーリング処理部７７は、第１非線形変換部７６から入力された複数のデータの中から最大値を選択出力（最大値プーリング）する、平均値を算出（平均値プーリング）する、などのプーリング処理を行う。なお、第１非線形変換部７６と第１プーリング処理部７７における処理は、演算制御部７１により省略することができる。
　ｉＦＭ数≦Ｎ／ｋの場合、演算制御部７１は、並列処理（第２処理）を行うようにセレクタ８２を切り替える設定・制御を行う。ここで、並列処理とは、未稼働回路を活用することで、プーリング処理の実行に必要なデータを通常処理と並列で実行する処理のことを言う。これにより、処理時間を短縮し、演算処理の高速化を図ることができる。並列処理を行うことが選択された場合、第１加算器８１の出力が、第２非線形変換部８６に入力されるようにセレクタ８２が切り替えられる。
　第２非線形変換部８６は、ｋ個の第１加算器８１の累積加算処理の結果に対してＡｃｔｉｖａｔｅ関数などの非線形変換（非線形処理）を行う。第２プーリング処理部８７は、第２非線形変換部８６で非線形処理された、ｋ個の第１加算器８１の累積加算処理の結果が入力され、同時に入力されたデータに対してプーリング処理を行う。
　すなわち、ｉＦＭ数が少ない時は、第１加算器８１の出力が並列処理側に送られて、個別に非線形変換が施された後、ｋ個（図３では４個）のデータ同時入力のプーリング処理が実行される。プーリング処理は、平均値プーリングの場合は加算してｋ（図３では４）で割り（２ビットシフト）、ｍａｘプーリングの場合は最大値を取得する。
　図４は、プーリング処理のイメージを示す図である。入力データが４×４ピクセル、フィルタサイズが３×３ピクセルの場合、フィルタ処理によって、３×３ピクセルのデータが４個作られる。プーリング実行単位ｋ＝２×２の場合、フィルタ処理後の４個のデータが揃ってプーリング処理が１回実行される。従って、４個（一般的にはｋ個）のデータを同時に演算できれば、処理時間を短縮し、演算処理の高速化を図ることができる。上述の図３の構成によれば、第２非線形変換部８６が４個（一般的にはｋ個）あるので、プーリング処理の実行に必要なデータを通常処理と並列で実行することができる。したがって、入力チャネルが空いている時、通常処理と並列してプーリングに必要なデータ生成を一度に実行することができる。
　（変形例）
　なお、図３の上側（並列処理側）と下側（通常処理側）は排他利用されるので、セレクタ８２で切り替えることにより、第１非線形変換部７６を第２非線形変換部８６として利用できる構成にしてもよい。図５はこのような演算部７の構成を示す図である。
　４個あるセレクタ８２のうちの１個（セレクタ８２´）は、セレクタ８４を介して第１非線形変換部７６の入力に接続している。そして第１非線形変換部７６の出力はセレクタ８５に接続し、出力先を第１プーリング処理部７７と第２プーリング処理部８７とから選択できるようにしている。
　ｉＦＭ数＞Ｎ／ｋの場合、演算制御部７１は、通常処理（第１処理）を行うようにセレクタ８２を切り替える設定・制御を行う。すなわち、第１加算器８１の出力が、第２加算器８３に入力されるようにセレクタ８２が切り替えられる。第２加算器８３は、入力されたｋ個の第１加算器８１の累積加算処理の結果を累積加算し、第３加算器７４は、時分割で入力される第２加算器８３の累積加算処理の結果を後段で累積加算する。第３加算器７４の後段には、累積加算の結果を保持するためのＦＦ７５が設けられている。
　ＦＦ７５と第１非線形変換部７６の間にはセレクタ８４が設けられており、第１非線形変換部７６の入力を、通常処理側と並列処理側とで切り替えることができる。通常処理の場合は、第１非線形変換部７６は、第３加算器７４およびＦＦ７５での累積加算の結果に対して、Ａｃｔｉｖａｔｅ関数などによる非線形演算処理を行う。
　第１非線形変換部７６の後段にはセレクタ８５が設けられており、第１非線形変換部７６の出力を、通常処理側と並列処理側とで切り替えることができる。通常処理の場合は、第１非線形変換部７６によって処理されたデータは第１プーリング処理部７７に入力される。第１プーリング処理部７７は、第１非線形変換部７６から入力された複数のデータの中から最大値を選択出力（最大値プーリング）する、平均値を算出（平均値プーリング）する、などのプーリング処理を行う。
　ｉＦＭ数≦Ｎ／ｋの場合、演算制御部７１は、並列処理（第２処理）を行うようにセレクタ８２を切り替える設定・制御を行う。すなわち、第１加算器８１の出力が、第２非線形変換部８６に入力されるようにセレクタ８２が切り替えられる。このとき、４個あるセレクタ８２のうちの１個（セレクタ８２´）は、セレクタ８４を介して第１非線形変換部７６の入力に接続している。すなわち４個ある第１加算器８１のうちの１個（第１加算器８１´）の出力は、第１非線形変換部７６に入力される。
　第２非線形変換部８６は、（ｋ－１）個（図５では３個）の第１加算器８１の累積加算処理の結果に対してＡｃｔｉｖａｔｅ関数などの非線形変換（非線形処理）を行う。同時に、第１非線形変換部７６は、第１加算器８１´の累積加算処理の結果に対してＡｃｔｉｖａｔｅ関数などの非線形変換（非線形処理）を行う。そして、第１非線形変換部７６の出力が、第２プーリング処理部８７に入力されるようにセレクタ８５が切り替えられる。
　第２プーリング処理部８７は、第２非線形変換部８６および第１非線形変換部７６で非線形処理された、ｋ個（図５では４個）の第１加算器８１（第１加算器８１´を含む）の累積加算処理の結果が入力され、同時に入力されたデータに対してプーリング処理を行う。このような構成により、第２非線形変換部８６の数を１個減らすことができ、回路構成を小さくすることができる。
　（ＩＢＵＦへのデータの格納・読み出し方法）
　次に、本実施形態におけるＩＢＵＦ（データ格納メモリ）へのデータの格納・読み出し方法について説明する。図６は、本実施形態のＩＢＵＦ（データ格納メモリ）管理部５の構成を示す図である。
　ＩＢＵＦ管理部５は、ＩＢＵＦ（データ格納メモリ）にデータを格納するＩＢＵＦ格納部５１と、複数のＩＢＵＦが配置されているＩＢＵＦアレイ５２と、ＩＢＵＦからデータを読み出すＩＢＵＦ読み出し部５３とを備える。ＩＢＵＦ格納部５１とＩＢＵＦ読み出し部５３は、前述のデータ格納メモリ制御部に含まれる。入力Ｎ並列の場合、Ｎ個のＩＢＵＦを使用する。例えば、図６に示すように、入力並列度Ｎ＝１６の場合、１６個のＩＢＵＦ（ＩＢＵＦ０～ＩＢＵＦ１５）を使用する。
　ＩＢＵＦ格納部５１は、ｉＦＭデータが入力されると、入力データ中の有効データ数をカウントして座標に変換し（座標生成）、さらにそれをＩＢＵＦアドレスに変換し（アドレス変換）、ｉＦＭデータ（ｄａｔａ）とともにＩＢＵＦに格納する。
　ＩＢＵＦ管理部５のデータ格納メモリ制御部は、ＩＢＵＦへの書き込みおよびＩＢＵＦからの読み出しの制御を行うが、この制御にはいくつかのモードがある。以下は、１つのモード（第1モード）の場合の制御である。ＩＢＵＦ格納部５１は、ｉＦＭ数≦Ｎ／ｋの場合、ＩＢＵＦをＮ／ｋ個ずつｋ個のグループに分類し、ＩＢＵＦへの書き込み時に、別々のグループに属するｋ個の異なるＩＢＵＦの同一アドレスに同一のデータを書き込む。
　例えば、Ｎ＝１６、ｋ＝４の場合、ＩＢＵＦ格納部５１は、ＩＢＵＦ（ＩＢＵＦ０～ＩＢＵＦ１５）を以下の４グループに分ける。
・ＩＢＵＦ０～３
・ＩＢＵＦ４～７
・ＩＢＵＦ８～１１
・ＩＢＵＦ１２～１５
　そして、ＩＢＵＦ格納部５１は、ＩＢＵＦへの書き込み時に、別々のグループに属する４個のＩＢＵＦ（例えばＩＢＵＦ０、ＩＢＵＦ４、ＩＢＵＦ８、ＩＢＵＦ１２）の同一アドレスに同一のデータを書き込む。書き込みは、ｍｏｄｅ信号によりｗｅの生成を切り替えることで実現できる。図７は、図６のＩＢＵＦ格納部５１のｗｅ生成部分を詳細に示した図である。これにより、ＩＢＵＦ０～３と同じデータがＩＢＵＦ４～７、ＩＢＵＦ８～１１、ＩＢＵＦ１２～１５に複製される。
　ＩＢＵＦ読み出し部５３は、ＩＢＵＦからの読み出し時に、縦および／または横に１画素（または数画素）ずれた部分を読み出す。これは、データアクセスの際に、各グループでアドレッシングを変えて、互いに縦および／または横に数画素ずれたアドレスにアクセスすることで実現できる。例えば、ＩＢＵＦ０～３、ＩＢＵＦ４～７、ＩＢＵＦ８～１１、ＩＢＵＦ１２～１５のそれぞれに１本ずつアドレスを生成することで、図４の左のように縦および／または横に１画素ずれた位置からデータを読み出すことができる。
　（ＩＢＵＦへのデータの格納・読み出し方法の変形例）
　ＩＢＵＦへのデータの格納・読み出し方法の別の例について説明する。本例は、上述の第1モードとは別のモード（第２モード）の場合の制御である。ＩＢＵＦ格納部５１は、ｉＦＭ数≦Ｎ／ｋの場合、ＩＢＵＦをＮ／ｋ個ずつｋ個のグループに分類する。そして、ＩＢＵＦ格納部５１は、ＩＢＵＦへの書き込み時に、別々のグループに属するｋ個の異なるＩＢＵＦにおいて、同一のデータを、縦および／または横に数画素（例えば１画素）ずれたアドレスに書き込む。すなわち、各グループの同一アドレスに数画素（例えば１画素）ずれたデータが格納されるように書き込む。
　ＩＢＵＦ読み出し部５３は、ＩＢＵＦからの読み出し時に、アクセスするアドレスを変えることはせず、全てのＩＢＵＦに同一アドレスでアクセスする。同一アドレスから読み出すことができるので、読み出しが楽になる。
　書き込み時のｗｅ生成については上述の例と同様であり、書き込むアドレスをＩＢＵＦ０～３、ＩＢＵＦ４～７、ＩＢＵＦ８～１１、ＩＢＵＦ１２～１５で１画素ずれるように生成する。このようにすることで、読み出し時のアドレスは共通化できる。
　以上は入力１６並列の場合で説明したが、それ以上の入力並列度である場合、例えば入力３２並列で構成されていた場合は、プーリング処理を一度に実行できる３ｃｈ×４並列を２セット持つことができるので、さらに倍速で演算可能となる。あるいは、プーリングサイズが３×３になっても、３ｃｈ×９並列の構成として９並列で３×３プーリングを一度に実施するようにも構成することができる。
　（非線形処理の変形例）
　非線形処理は、通常、Ｓｉｇｍｏｉｄ／ＲｅＬＵ／Ｔａｎｈなどの活性化関数の処理部であるが、これらはほぼ単調増加関数である。図８は、非線形変換ｆ（ｘ）が単調増加関数である場合の、非線形変換部の入力（ｘ１～ｘ４）と出力（ｆ（ｘ１）～ｆ（ｘ４））の関係を示す図である。
　プーリング処理が最大値プーリングである場合を考える。この場合、非線形処理後の結果（ｆ（ｘ１）～ｆ（ｘ４））に対してプーリング処理する場合、ｆ（ｘ１）～ｆ（ｘ４）のうちから最大のｆ（ｘ４）を出力する。一方、先にプーリング処理してから非線形処理する場合は、ｘ１～ｘ４のうちの最大のｘ４に対して非線形処理を行うのでｆ（ｘ４）を出力する。すなわち、以下の式が成立し、結果は変わらない。
　ｍａｘ（ｆ（ｘ１），ｆ（ｘ２），ｆ（ｘ３），ｆ（ｘ４））＝ｆ（ｍａｘ（ｘ１，ｘ２，ｘ３，ｘ４））
　すなわち、非線形変換ｆが単調増加関数であれば、最大値プーリング処理と非線形変換ｆを入れ替え可能である。従って、非線形変換特性が単調増加関数で、かつプーリング処理が最大値プーリング処理のみである、という条件が満たされていれば、非線形処理はプーリング処理後の１つのデータに対して行えば良いので、回路規模がさらに削減できる。
　図９および図１０は、このように、非線形処理とプーリング処理の順序を入れ替えた、演算部７の構成を示す図である。図９では、並列処理側パスのプーリング処理（第２プーリング処理部８７）と非線形変換の順序を入れ替え、さらに並列処理側パスと通常処理側パスが排他動作することを利用して、通常処理側の非線形変換部７６を、並列処理と通常処理とで共用している。具体的には、並列処理側の第２プーリング処理部８７の出力と通常処理側のＦＦ７５の出力とが、セレクタ８８で切り替えられて、非線形変換部７６に入力される。このような構成にすることで、最大値抽出回路が１個増えるだけで、処理が４倍速となる。
　非線形変換部７６を共用しない場合は、例えば図３において、第２非線形変換部８６と第２プーリング処理部８７の順序を入れ替え、図１０に示すように、第２プーリング処理部８７の後段に第２非線形変換部８６が設けられるようにすればよい。
　（プーリング処理の変形例）
　以上述べてきた方法は、「入力並列度Ｎ≧ｉＦＭ数×プーリングサイズ」を満たすので並列実行可能である。しかし、ｉＦＭ数がもう少し増えて、「入力並列度Ｎ＜ｉＦＭ数×プーリングサイズ」となった場合は、対応できない。例えば、Ｎ＝１６、ｉＦＭ数＝８（プーリングサイズは２×２）の場合、１６＜８×２×２＝３２となり、以上述べてきた方法では対応できず、並列実行は不可能である。しかし、プーリング処理を１度に行うのでなく、垂直方向・水平方向に分けて数サイクルで実行することで、「入力並列度Ｎ＜ｉＦＭ数×プーリングサイズ」の場合も並列実行可能となる。
　図１１は、走査方向に対して垂直方向・水平方向に別々にプーリング処理する場合の、第２プーリング処理部８７の構成を示す図である。なお、演算部７全体の構成は図９に示すものであるとする。
　ｉＦＭ数≦４（一般的にはプーリングサイズｋ）の場合、プーリング処理は、図１１に示す第２プーリング処理部８７内の上側のパスを通り、以上述べてきた方法と同じプーリング処理がなされる。
　４＜ｉＦＭ数≦８の場合、プーリング処理は、図１１の第２プーリング処理部８７内の下側のパスを通る。すなわち、走査方向に対して垂直方向・水平方向に別々にプーリング処理がなされる。なお、同時入力されるデータは垂直方向・水平方向のどちらか１方向のみであり、数サイクルかけてプーリング処理に必要なデータが全て入力される。前記垂直方向のプーリング処理および前記水平方向のプーリング処理は、各々、トリガ信号が入力されるタイミングで実行される。演算制御部７１は、予め設定したタイミングで、垂直プーリング処理および水平プーリング処理を実行するトリガ信号を出力する。
　第２プーリング処理部８７の４個の入力ポートはそれぞれＦＭ４面分の加算結果であり、このうちの２本ずつを加算するので、垂直プーリング処理直前の２つのポートはＦＭ８面分の加算結果となる。このような構成で垂直方向・水平方向にプーリング処理することで、最大８面までのＦＭに対して２並列で実行可能となる。
　なお、４＜ｉＦＭ数≦８の場合は、ＩＢＵＦ０～７のデータがＩＢＵＦ８～１５に複製されることになるので、ＩＢＵＦ管理部５にも少々構造の追加が必要となる。図１２は、このようなＩＢＵＦ管理部５のｗｅ生成部分を詳細に示した図である。
　図１１において、プーリング処理が最大値プーリングの場合は、垂直プーリング処理部／水平プーリング処理部の両方で最大値を抽出する。プーリング処理が平均値プーリングの場合は、垂直プーリング処理部／水平プーリング処理部では２つの加算結果を出すが、水平プーリング処理部は最後に４で除する（２ビットシフト）することで平均値を取得できる。
　（第２実施形態）
　本発明の第２実施形態について説明する。第１実施形態では、回路として使われない部分を有効活用することによってＣＮＮの処理速度を上げる提案をした。第２実施形態では、ＣＮＮのバリエーションの１つであるＹｏｌｏ_ｔｉｎｙ_ｖ２の６層目で発生する冗長な処理を回避して処理時間を短縮する。第２実施形態では、第２プーリング処理部８７における処理が第１実施形態と異なるだけであり、それ以外の基本構成は第１実施形態と同じである。そこで、以下、第２プーリング処理部８７における処理だけを説明する。
　図１３Ａおよび図１３Ｂは、フィルタ処理のカーネルサイズが３×３、プーリング処理単位が２×２の場合の、ｉＦＭの処理過程を示す図である。図１３Ａは通常のプーリング処理を示し、重心移動量が２（ｓｔｒｉｄｅ＝２）である。図１３ＢはＹｏｌｏ_ｔｉｎｙ_ｖ２の６層目におけるプーリング処理を示し、重心移動量が１（ｓｔｒｉｄｅ＝１）である。
　通常は図１３Ａに示すように、ｉＦＭは、フィルタ処理後の結果で見た時に、オーバーラップしないように処理される。プーリング処理単位が２×２であるので、プーリング処理によってｉＦＭは縦横半分のサイズとなって出力される。これは、プーリング処理時のピクセル重心が、プーリング処理単位と同じ２ピクセル単位で動く事を前提とした時の動きである。重心移動量はｓｔｒｉｄｅと言うパラメータで設定され、この例の場合はｓｔｒｉｄｅ＝２である。
　問題となるのは、設定上、ｓｔｒｉｄｅ＝１があり得ることで、実際、Ｙｏｌｏ_ｔｉｎｙ_ｖ２では６層目でｓｔｒｉｄｅ＝１となる。ｓｔｒｉｄｅ＝１時の動作は図１３Ｂのようになり、フィルタ処理後の結果でオーバーラップが発生する。そのため、フィルタ処理自体は同じデータに対して数度実行することになり、処理時間の低下に繋がる。
　本実施形態ではこれを解決するために、プーリング処理を垂直方向・水平方向に分けて、別々に実行パルスを与える事で対応する。図１４は、本実施形態の第２プーリング処理部８７の構成を示す図である。処理の走査方向に対して垂直方向と水平方向とで別々に、それぞれが演算制御部からの実行パルスを受けて、プーリング処理を実行するように動作する。すなわち、垂直方向のプーリング処理を行う垂直プーリング処理部と、水平方向のプーリング処理を行う水平プーリング処理部の各々は、トリガ（実行パルス）が入力されるタイミングでプーリング処理を行う。演算制御部７１は、予め設定したタイミングで、水平プーリング処理および垂直プーリング処理を実行するトリガ信号を出力する。
　具体的には、以下のようにプーリング処理が行われる。図１５は、非線形変換後（フィルタ処理後）のＦＭのピクセルイメージを示す図である。図１６は、通常のプーリング処理（ｓｔｒｉｄｅ＝２）で、操作方向を水平方向とした場合の、第２プーリング処理部８７の実行波形を示す図である。図１５に示すｉＦＭデータが図１６に示すように第２プーリング処理部８７に順次入力され、順次プーリング処理が実行される。
　プーリング処理は、最大値プーリングの場合は最大値をとっていき、平均値プーリングの場合は加算して全部終わったら画素数で割る。例えば、図１６において、垂直プーリングの結果ｐ１は、最大値プーリングの場合Ｄ１１とＤ２１のうち大きい方を選択し、平均値プーリングの場合Ｄ１１＋Ｄ２１を計算する。水平プーリングの結果ｏ１は、最大値プーリングの場合ｐ１とｐ２のうち大きい方を選択し、平均値プーリングの場合（ｐ１＋ｐ２）÷４を計算する
　図１７は、ｓｔｒｉｄｅ＝１時の、操作方向を水平方向とした場合の、第２プーリング処理部８７の実行波形を示す図である。図１６と比較して、水平プーリングの実行パルス間隔が半分になっている。
　このようにして、ｓｔｒｉｄｅ＝１であってもパイプライン処理的にプーリングを実行することができる。また、垂直方向・水平方向のプーリング処理を分けることで一度に処理するデータ数が減るので、待ち合わせ用のＦＦの数が削減でき、最大値算出（もしくは全加算）回路も小さくなり、回路規模を小さくできる。
　また、このようにプーリング処理を制御するようにしておくと、例えばプーリングサイズが３×３でｓｔｒｉｄｅ＝２のような複雑な設定でも、待ち合わせのＦＦ等を追加する必要があるが、容易に対応できる。図１８は、プーリングサイズが３×３でｓｔｒｉｄｅ＝２の場合の、第２プーリング処理部８７の実行波形を示す図である。
　ｓｔｒｉｄｅ＝１時、縦方向のオーバーラップを避けるためにラインメモリを設置して垂直プーリング結果を保持しておくことも可能であるが、１ライン分のメモリが必要となる。ラインメモリはＦＭサイズの上限を規定してしまうため、本明細書では今後考案される新規ネットワークへの対応も勘案して搭載していないが、問題がなければそのような改良も可能である。この場合、ラインメモリとその制御が追加されるだけなので図示は省略する。
　（第３実施形態）
　本発明の第３実施形態について説明する。第１実施形態では、演算部の入力側に未使用の回路がある場合に、未使用部分を有効活用する方法を提案したが、第３実施形態は、演算部の出力側に未使用の回路がある場合に、未使用部分を有効活用する方法に関する。
　演算部の基本的な動きとしては、全てのｉＦＭを入力として１個のｏＦＭを生成するが、複数の出力チャネルグループで分担して１個のｏＦＭを作成してもよい。出力並列度をＭとして、例えば、ｏＦＭ数＝Ｍ／２の場合、１個のｏＦＭを２個の出力チャネルグループで分担して作成することができる。
　図１９は、２個の出力チャネルグループ（出力チャネルＡと出力チャネルＢ）で分担して、１個のｏＦＭを作成するイメージ図である。２個の出力チャネルグループによる分担の方法として、図１９の左の図は、ｏＦＭをライン単位（奇数ラインと偶数ライン）で分担する例（ライン分担）を示し、図１９の右の図は、ｏＦＭを左右の領域に分割して分担する例（領域分担）を示す。同様に、出力並列度をＭとして、ｏＦＭ数≦Ｍ／２の場合、１個のｏＦＭを複数の領域に分割し、各領域を複数の出力チャネルグループで分担して処理することができる。
　このような処理を実行するには、ＩＢＵＦ読み出し部５３でのデータの読み出しアドレスを適切に設定することで容易に対応できる。ただし、異なる２個の出力チャネルグループからの出力を合わせて１個のｏＦＭデータが出力される。そのため、次の層での入力時には１個のＦＭデータとなるように、異なる２個の出力チャネルグループからの出力を統合できるフォーマットを定義する必要がある。
　以降の説明は、図１９の左の図のように、２個の出力チャネルグループでｏＦＭの奇数ラインと偶数ラインを分担して処理する場合を例に行う。ただし、１個のｏＦＭを分担する出力チャネルグループの数は２個に限定されず、３個や４個の出力チャネルグループで分担してもよい。
　図２０は、本実施形態のＩＢＵＦ（データ格納メモリ）管理部５の出力側の構成を示す図である。ＩＢＵＦ読み出し部５３において、ＩＢＵＦからデータをリードする時に、奇数ライン用のデータと偶数ライン用のデータを別個に用意する必要がある。そこで、データをいったん保存するためのＤＢＵＦ５７（第２のデータ格納メモリ）を用意し、まずはＩＢＵＦからＤＢＵＦにデータを転送する。ＤＢＵＦ５７の前段の第１制御部５６は、ｏＦＭを複数の領域に分割し、それぞれの領域を処理するために必要なデータを取り出してＤＢＵＦ５７に書き込む。奇数ライン用のデータはＤＢＵＦｏｄｄに保存され、偶数ライン用のデータはＤＢＵＦｅｖｅｎに保存される。
　ここで、出力並列度をＭとして、Ｍ個の出力チャネルｏＣｈ．０～ｏＣｈ．（Ｍ－１）のうち、出力チャネルｏＣｈ．０～ｏＣｈ．（２／Ｍ－１）が前半の出力チャネルグループに属し、出力チャネルｏＣｈ．（２／Ｍ－１）～ｏＣｈ．（Ｍ－１）が後半の出力チャネルグループに属するとする。そして、前半の出力チャネルグループがｏＦＭの奇数ラインを処理し、後半の出力チャネルグループがｏＦＭの偶数ラインを処理するとする。
　ＩＢＵＦ読み出し部５３は、ＤＢＵＦｏｄｄに保存されたデータを、前半の出力チャネルグループに、奇数ライン処理に必要なデータ（ｄａｔａ_ｏｄｄ）として、転送する。同様に、ＩＢＵＦ読み出し部５３は、ＤＢＵＦｅｖｅｎに保存されたデータを、後半の出力チャネルグループに、偶数ライン処理に必要なデータ（ｄａｔａ_ｅｖｅｎ）として、転送する。
　図２１は、ＤＢＵＦｏｄｄ、ＤＢＵＦｅｖｅｎにおけるデータの格納イメージを示す図である。ｏＦＭの第１ライン目を生成するために必要なｉＦＭは、ｉＦＭ上で第１ラインと第２ラインの領域であり、ｏＦＭの第２ライン目を生成するために必要なｉＦＭは、ｉＦＭ上で第２ラインと第３ラインの領域である。すなわち、ｉＦＭ上にオーバーラップする領域があるので、その部分はＤＢＵＦｏｄｄとＤＢＵＦｅｖｅｎの両方に格納される。
　各ＤＢＵＦ５７の後段（図２０の第２制御部５８）では、ＤＢＵＦ５７に格納されたデータから、ｏＦＭ１画素の生成に必要なデータを順次リードする。第２制御部５８は、ＤＢＵＦ５７から所定の方法でデータを取得する制御を行う。この読み出し制御により、前半の出力チャネルグループにはｄａｔａ_ｏｄｄが、後半の出力チャネルグループにはｄａｔａ_ｅｖｅｎが供給される。
　図２２は、２個の出力チャネルグループで処理するｉＦＭ上の位置の違いのイメージを示す図である。図２２の左側は前半の出力チャネルグループで処理する位置を示し、図２２の右側は後半の出力チャネルグループで処理する位置を示す。図２２に示すように、前半の出力チャネルグループと後半の出力チャネルグループで１ラインずれた領域の処理を同時に行うことができる。
　次に、上述のような処理で演算部を経由して出力されるｏＦＭデータについて説明する。図２３Ａおよび図２３Ｂは、演算部から出力されるｏＦＭデータのイメージ図である。図２３Ａは、通常処理時、すなわち、１個のｏＦＭを１個の出力チャネルグループで処理する場合を示す。出力並列度をＭとして、１個のｏＦＭはＭ枚のＦＭ（ｏＦＭ０、ｏＦＭ１、ｏＦＭ２、…）からなり、Ｍ個の出力チャネル（ｏＣｈ．０、ｏＣｈ．１、ｏＣｈ．２、…）から各ＦＭの同じ位置のデータが出力される。
　図２３Ｂは、１個のｏＦＭを２個の出力チャネルグループでライン分担して処理した場合を示す。図２３Ｂに示すように、前半の出力チャネルグループの出力チャネル（ｏＣｈ．０、ｏＣｈ．１、ｏＣｈ．２、…、ｏＣｈ．Ｍ／２－１）は各ＦＭの同じ位置のデータを出力し、後半の出力チャネルグループの出力チャネル（ｏＣｈ．Ｍ／２、ｏＣｈ．Ｍ／２＋１、ｏＣｈ．Ｍ／２＋２、…、ｏＣｈ．Ｍ－１）は各ＦＭの１ラインずれた位置のデータを出力する。このように、ライン分担で処理した場合、前半の出力チャネルグループと後半の出力チャネルグループが、同じｏＦＭ上の１ラインずれた位置のデータを出力していることになる。
　このように異なる２個の出力チャネルグループから出力されたｏＦＭデータのフォーマットを、次の層（（ｋ＋１）層目）で1個のｉＦＭとして入力するため、（ｋ＋１）層目処理時に、データ入力部３に動作選択信号（ｍｏｄｅ）を入力して制御を切り替える。
　以降の説明では、さらに簡単化するために、入力並列度Ｎ＝１６、出力並列度Ｍ＝１６、ｏＦＭ数＝Ｍ／２＝８とする。また、Ｄ（ｋ）をｏＣｈ．ｋから出力されるデータと定義し、Ｄ０＿１６を全てのｏＣｈ．から出力されるデータ（Ｄ（０）～Ｄ（１６－１））を連結したものと定義する。
　最初に、通常処理、すなわち、分担処理をしない場合について説明する。図２４は、通常処理時の、ｋ層目の処理から（ｋ＋１）層目の処理への流れを示す図である。図２４では、ｋ層目の演算部の出力は、Ｄ０＿１６の前半部分だけが有効で、Ｄ０＿１６の後半部分は未使用の状態となっている。（ｋ＋１）層目に、この状態のＤ０＿１６を入力することになる。Ｄ０＿１６を一度のバースト転送で取得できる場合は、未使用データを入力する事になるので転送効率が悪い。
　次に、ライン分担処理時について説明する。図２５は、ライン分担処理時の、ｋ層目の処理から（ｋ＋１）層目の処理への流れを示す図である。（ｋ＋１）層目に入力されるＤ０＿１６Ｎでは、通常処理時に未使用であった後半部分にも前半部分と同じｉＦＭデータ（１ライン下にずれた位置のデータ）がある。ＩＢＵＦ格納部に格納されたＤ０＿１６Ｎは、２つのデータに分けられて、別々にＩＢＵＦに出力される。
　図２６Ａおよび図２６Ｂは、ＩＢＵＦへの具体的なデータの書き込みイメージを示す図である。図２６Ａはライン分担処理時を示し、図２６Ｂは領域分担処理時を示す。図２６Ａに示すように、ライン分担処理時は、１画素下方向にずれるようにアドレッシングされる。図２６Ｂに示すように、領域分担処理時は、１ラインの半分だけずれた位置関係なので、アドレッシングも半ライン分ずれることになる。
　図２７は、本実施形態のＩＢＵＦ管理部５の全体構成を示す図である。上述の処理を実現するために、ＩＢＵＦ格納部５１は、モード判定して制御を変える制御部５４とデータ保持・セレクタ部５５を有する。制御部５４は、同一サイクルで入力されるｉＦＭを保持し、数サイクルに分けて同一ＩＢＵＦに書き込むように制御するモードを持つ。これにより、ｏＦＭ数≦Ｍ／２の時に処理を並列化して実行時間を短縮することができる。それ以外のＩＢＵＦ格納部５１内の構成は、図６と同じである。また、ＩＢＵＦ読出部５３において、通常処理時はＤＢＵＦ５７を経由せず、ＩＢＵＦデータを直接取り出すパス（ｄａｔａ２、ｒｅｑ２）を使用する。
　このような構成により、１個のＦＭを複数の出力チャネルグループで同時処理し、次の層への入力時にそれらのデータを復元処理することが可能となり、処理時間が高速化できる。
　以上、本発明の実施形態について説明したが、本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において構成要素の組み合わせを変えたり、各構成要素に種々の変更を加えたり、削除したりすることができる。
　各構成要素は、それぞれの構成要素に係る機能や処理を説明するためのものである。複数の構成要素に係る機能や処理を、１つの構成（回路）が同時に実現してもよい。
　各構成要素は、それぞれもしくは全体として、１個又は複数のプロセッサ、論理回路、メモリ、入出力インタフェース及びコンピュータ読み取り可能な記録媒体などからなるコンピュータで実現するようにしてもよい。その場合、各構成要素もしくは全体の機能を実現するためのプログラムを記録媒体に記録しておき、記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって、上述した種々の機能や処理を実現してもよい。
　この場合、例えば、プロセッサは、ＣＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）の少なくとも１つである。
　また、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリなどの書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置をいう。
　さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
　また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体をいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
　本発明は、畳み込みニューラルネットワークを用いたディープラーニングを行う演算処理装置に広く適用できる。
　１　演算処理装置
　２　コントローラ
　３　データ入力部
　４　フィルタ係数入力部
　５　ＩＢＵＦ管理部（データ格納メモリ管理部）
　６　ＷＢＵＦ管理部（フィルタ係数格納メモリ管理部）
　７　演算部
　８　データ出力部
　９　ＤＲＡＭ（外部メモリ）
　１０　バス
　５１　ＩＢＵＦ格納部（データ格納メモリ制御部）
　５２　ＩＢＵＦアレイ（データ格納メモリ）
　５３　ＩＢＵＦ読み出し部（データ格納メモリ制御部）
　５４　制御部
　５５　データ保持・セレクタ部
　５６　第１制御部
　５７　ＤＢＵＦ（第２のデータ格納メモリ）
　５８　第２制御部
　７１　演算制御部
　７２　フィルタ演算部
　７４　第３加算器
　７５　ＦＦ（フリップフロップ）
　７６　第１非線形変換部
　７７　第１プーリング処理部
　８１、８１´　第１加算器
　８２、８２´　セレクタ
　８３　第２加算器
　８４　セレクタ
　８５　セレクタ
　８６　第２非線形変換部
　８７　第２プーリング処理部
　８８　セレクタ
 

Claims (6)

  1. 　Ｃｏｎｖｏｌｕｔｉｏｎ処理とＦｕｌｌＣｏｎｎｅｃｔ処理を行うディープラーニング用の演算処理装置であって、
    　入力特徴量マップデータを格納するデータ格納メモリと、前記データ格納メモリを管理および制御するデータ格納メモリ制御部とを有するデータ格納メモリ管理部と；
    　フィルタ係数を格納するフィルタ係数格納メモリと、前記フィルタ係数格納メモリを管理および制御するフィルタ係数格納メモリ制御部とを有するフィルタ係数格納メモリ管理部と；
    　前記入力特徴量マップデータおよび出力特徴量マップデータを格納する外部メモリと；
    　前記外部メモリから、前記入力特徴量マップデータを取得するデータ入力部と；
    　前記外部メモリから、前記フィルタ係数を取得するフィルタ係数入力部と；
    　入力Ｎ並列、出力Ｍ並列の構成（Ｎ、Ｍ≧１の正数）で、前記データ格納メモリから前記入力特徴量マップデータを取得し、前記フィルタ係数格納メモリから前記フィルタ係数を取得して、フィルタ処理、累積加算処理、非線形演算処理およびプーリング処理を行う演算部と；
    　前記演算部から出力されるＭ並列のデータを連結して、出力特徴量マップデータとして前記外部メモリに出力するデータ出力部と；
    　前記演算処理装置内を制御するコントローラと；
    を有し、
    　前記演算部は、
    　　Ｎ並列でフィルタ処理を実行するフィルタ演算部と、
    　　前記フィルタ演算部のＮ／ｋ個の演算結果を累積加算するｋ個の第１加算器と、
    　　前記第１加算器の後段に設けられ、前記第１加算器の出力を分岐して、第１処理側と第２処理側とで切り替えるセレクタと、
    　　前記セレクタが前記第１処理側に分岐した場合に、ｋ個の前記第１加算器の累積加算処理の結果を累積加算する第２加算器と、
    　　前記第２加算器の累積加算処理の結果を後段で累積加算する第３加算器と、
    　　前記第３加算器の累積加算処理の結果に対して非線形演算処理を行う第１非線形変換部と、
    　　前記第１非線形変換部の処理結果に対してプーリング処理を行う第１プーリング処理部と、
    　　前記セレクタが前記第２処理側に分岐した場合に、前記第１加算器の累積加算処理の結果に対して非線形演算処理を行う第２非線形変換部と、
    　　前記第２非線形変換部で非線形処理された、ｋ個の前記第１加算器の累積加算処理の結果が入力され、同時に入力されたデータに対してプーリング処理を行う第２プーリング処理部と、
    　　前記演算部内を制御する演算制御部と、
    　を有し、
    　前記データ格納メモリ管理部は、前記演算部に入力される前記入力特徴量マップデータの数≦Ｎ／ｋの時に、ｋ個の異なるデータ格納メモリに同じデータを書き込み、
    　前記演算制御部は、前記入力特徴量マップデータの数≦Ｎ／ｋの時は、前記セレクタが前記第２処理側に分岐するよう制御する演算処理装置。
  2. 　前記データ格納メモリ制御部は、第１モードにおいて、
    　前記データ格納メモリへの書き込み時に、ｋ個の異なるデータ格納メモリの同一アドレスに同一のデータを書き込むよう制御し、
    　前記データ格納メモリをＮ／ｋ個ずつｋ個のグループに分類し、前記データ格納メモリからの読み出し時に、各グループでアドレスを変えて、互いに縦および／または横に数画素ずれたアドレスにアクセスするよう制御する
    　請求項１に記載の演算処理装置。
  3. 　前記データ格納メモリ制御部は、第２モードにおいて、
    　前記データ格納メモリへの書き込み時に、ｋ個の異なるデータ格納メモリにおいて、同一データを、縦および／または横に数画素ずれたアドレスに書き込むように制御し、
    　前記データ格納メモリからの読み出し時に、同一アドレスで全ての前記データ格納メモリにアクセスする
    　請求項１に記載の演算処理装置。
  4. 　Ｃｏｎｖｏｌｕｔｉｏｎ処理とＦｕｌｌＣｏｎｎｅｃｔ処理を行うディープラーニング用の演算処理装置であって、
    　入力特徴量マップデータを格納するデータ格納メモリと、前記データ格納メモリを管理および制御するデータ格納メモリ制御部とを有するデータ格納メモリ管理部と；
    　フィルタ係数を格納するフィルタ係数格納メモリと、前記フィルタ係数格納メモリを管理および制御するフィルタ係数格納メモリ制御部とを有するフィルタ係数格納メモリ管理部と；
    　前記入力特徴量マップデータおよび出力特徴量マップデータを格納する外部メモリと；
    　前記外部メモリから、前記入力特徴量マップデータを取得するデータ入力部と；
    　前記外部メモリから、前記フィルタ係数を取得するフィルタ係数入力部と；
    　入力Ｎ並列、出力Ｍ並列の構成（Ｎ、Ｍ≧１の正数）で、前記データ格納メモリから前記入力特徴量マップデータを取得し、前記フィルタ係数格納メモリから前記フィルタ係数を取得して、フィルタ処理、累積加算処理、非線形演算処理およびプーリング処理を行う演算部と；
    　前記演算部から出力されるＭ並列のデータを連結して、出力特徴量マップデータとして前記外部メモリに出力するデータ出力部と；
    　前記演算処理装置内を制御するコントローラと；
    を有し、
    　前記演算部は、
    　　Ｎ並列でフィルタ処理を実行するフィルタ演算部と、
    　　前記フィルタ演算部のＮ／ｋ個の演算結果を累積加算するｋ個の第１加算器と、
    　　前記第１加算器の後段に設けられ、前記第１加算器の出力を分岐して、第１処理側と第２処理側とで切り替えるセレクタと、
    　　前記セレクタが前記第１処理側に分岐した場合に、ｋ個の前記第１加算器の累積加算処理の結果を累積加算する第２加算器と、
    　　前記第２加算器の累積加算処理の結果を後段で累積加算する第３加算器と、
    　　前記第３加算器の累積加算処理の結果に対して非線形演算処理を行う第１非線形変換部と、
    　　前記第１非線形変換部の処理結果に対してプーリング処理を行う第１プーリング処理部と、
    　　前記セレクタが前記第２処理側に分岐した場合に、前記第１加算器の累積加算処理の結果に対してプーリング処理を行う第２プーリング処理部と、
    　　前記第２プーリング処理部の後段に設けられ、前記第２プーリング処理部でプーリング処理された前記第１加算器の累積加算処理の結果に対して非線演算処理を行う第２線形変換部と、
    　　前記演算部内を制御する演算制御部と、
    　を有し、
    　前記データ格納メモリ管理部は、前記演算部に入力される前記入力特徴量マップデータの数≦Ｎ／ｋの時に、ｋ個の異なるデータ格納メモリに同じデータを書き込み、
    　前記演算制御部は、前記入力特徴量マップデータの数≦Ｎ／ｋの時は、前記セレクタが前記第２処理側に分岐するよう制御する演算処理装置。
  5. 　前記第１非線形変換部と前記第２線形変換部は同一の構成であり、前記第１処理側と前記第２処理側で共用されている、請求項４に記載の演算処理装置。
  6. 　前記第２プーリング処理部は、走査方向に対して垂直方向と水平方向とで別々に、プーリング処理を行い、
    　前記垂直方向のプーリング処理および前記水平方向のプーリング処理は、各々、トリガ信号が入力されるタイミングで実行され、
    　前記演算制御部は、予め設定したタイミングで、前記トリガ信号を出力する請求項１に記載の演算処理装置。
     
PCT/JP2019/039897 2019-10-09 2019-10-09 演算処理装置 WO2021070303A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021551021A JP7410961B2 (ja) 2019-10-09 2019-10-09 演算処理装置
PCT/JP2019/039897 WO2021070303A1 (ja) 2019-10-09 2019-10-09 演算処理装置
US17/558,783 US20220113944A1 (en) 2019-10-09 2021-12-22 Arithmetic processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/039897 WO2021070303A1 (ja) 2019-10-09 2019-10-09 演算処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/558,783 Continuation US20220113944A1 (en) 2019-10-09 2021-12-22 Arithmetic processing device

Publications (1)

Publication Number Publication Date
WO2021070303A1 true WO2021070303A1 (ja) 2021-04-15

Family

ID=75438072

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/039897 WO2021070303A1 (ja) 2019-10-09 2019-10-09 演算処理装置

Country Status (3)

Country Link
US (1) US20220113944A1 (ja)
JP (1) JP7410961B2 (ja)
WO (1) WO2021070303A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11507831B2 (en) 2020-02-24 2022-11-22 Stmicroelectronics International N.V. Pooling unit for deep learning acceleration
DE102022116944A1 (de) * 2022-07-07 2024-01-18 Krones Aktiengesellschaft Verfahren zur automatischen Regelung einer Behältertransportvorrichtung mit einem oder mehreren Transportbändern zum Anpassen einer Behälterdichte und Behältertransportvorrichtung

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018032190A (ja) * 2016-08-24 2018-03-01 キヤノン株式会社 演算回路、その制御方法及びプログラム
JP2018067154A (ja) * 2016-10-19 2018-04-26 ソニーセミコンダクタソリューションズ株式会社 演算処理回路および認識システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018032190A (ja) * 2016-08-24 2018-03-01 キヤノン株式会社 演算回路、その制御方法及びプログラム
JP2018067154A (ja) * 2016-10-19 2018-04-26 ソニーセミコンダクタソリューションズ株式会社 演算処理回路および認識システム

Also Published As

Publication number Publication date
JP7410961B2 (ja) 2024-01-10
JPWO2021070303A1 (ja) 2021-04-15
US20220113944A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
JP7358382B2 (ja) 演算を加速するための加速器及びシステム
CN112840356B (zh) 运算加速器、处理方法及相关设备
CN108388527B (zh) 直接存储器存取引擎及其方法
US20150324685A1 (en) Adaptive configuration of a neural network device
US10678479B1 (en) Registers for restricted memory
KR20170007151A (ko) 인공 신경 네트워크를 실행하는 방법 및 장치
JP7261226B2 (ja) 演算処理装置
CN111465943B (zh) 一种集成电路和用于神经网络处理的方法
US20220113944A1 (en) Arithmetic processing device
JP7008983B2 (ja) テンソルデータにアクセスするための方法および装置
US11030095B2 (en) Virtual space memory bandwidth reduction
US11455781B2 (en) Data reading/writing method and system in 3D image processing, storage medium and terminal
CN107590085A (zh) 一种具有多级缓存的动态可重构阵列数据通路及其控制方法
US11579921B2 (en) Method and system for performing parallel computations to generate multiple output feature maps
CN109472734B (zh) 一种基于fpga的目标检测网络及其实现方法
WO2019041264A1 (zh) 图像处理装置、方法及相关电路
KR20200095300A (ko) 뉴럴 네트워크의 컨볼루션 연산을 처리하는 방법 및 장치
CN111047037B (zh) 数据处理方法、装置、设备及存储介质
CN104869284A (zh) 一种双线性插值放大算法的高效率fpga实现方法和装置
CN110490312B (zh) 一种池化计算方法和电路
CN111047029A (zh) 具有存储器内运算架构的存储器及其操作方法
US11500632B2 (en) Processor device for executing SIMD instructions
CN115796236A (zh) 一种基于存内cnn中间缓存调度的存储器
CN117422608A (zh) 图像引导滤波方法及***
KR20210138954A (ko) 변형 가능한 합성곱 신경망의 설계 방법 및 이를 이용한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19948513

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021551021

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19948513

Country of ref document: EP

Kind code of ref document: A1