WO2018135516A1 - ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、及び、ニューラルネットワーク学習プログラムが格納された記録媒体 - Google Patents

ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、及び、ニューラルネットワーク学習プログラムが格納された記録媒体 Download PDF

Info

Publication number
WO2018135516A1
WO2018135516A1 PCT/JP2018/001151 JP2018001151W WO2018135516A1 WO 2018135516 A1 WO2018135516 A1 WO 2018135516A1 JP 2018001151 W JP2018001151 W JP 2018001151W WO 2018135516 A1 WO2018135516 A1 WO 2018135516A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
neural network
size
local region
layer
Prior art date
Application number
PCT/JP2018/001151
Other languages
English (en)
French (fr)
Inventor
雅人 石井
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/477,234 priority Critical patent/US11556780B2/en
Priority to JP2018563355A priority patent/JP7047778B2/ja
Publication of WO2018135516A1 publication Critical patent/WO2018135516A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a technique for controlling learning by a neural network.
  • the pattern recognition technique is a technique for estimating which class (category) an input pattern belongs to.
  • Specific examples of such pattern recognition include, for example, object recognition that estimates what an object is in the input image, or voice recognition that estimates the utterance content from the input voice. .
  • Patent Document 1 discloses an image processing apparatus that shortens the learning time of a multilayer neural network when a registered category is updated.
  • This multilayer neural network performs a process of outputting an output value to the processing unit of the next layer based on the result of applying different spatial filters to the input image.
  • the multilayer neural network includes a front layer and a back layer.
  • the front layer finally generates each of a plurality of feature amounts.
  • the rear layer is finally input by performing a process of outputting an output value to the processing unit of the next layer based on the result of applying different weighting factors to the plurality of feature amounts.
  • Patent Document 2 discloses a learning device that performs learning using a forward propagation type multilayer neural network by supervised learning. This learning device performs learning by cost calculation using a training data set for a multilayer neural network having probing neurons that do not propagate forward to an output layer in a hidden layer. The learning device removes the upper layer of the multilayer neural network based on the cost of the probing neuron, and then uses the remaining uppermost probing neuron as an output layer.
  • Over-learning is a state in which the neural network can be adapted to input learning data but cannot be adapted to unknown data (that is, not generalized).
  • the main object of the present invention is to provide a neural network learning apparatus or the like that solves such a problem.
  • a neural network learning device is configured to determine the size of a local area in learning information, which is a learning target of a neural network including a plurality of hierarchies, based on the structure of the neural network. And determining means for determining the local area from the learning information based on the size of the local area determined by the determining means, and the learning information represented by the repeatedly extracted local area Control means for controlling so that the neural network learns repeatedly while changing the size of the local region extracted from the learning information.
  • a neural network learning method is configured to determine a size of a local region in learning information, which is a learning target of a neural network including a plurality of layers, by an information processing device. , Based on the structure of the neural network, determined for each of the layers, and based on the determined size of the local area, the local area is extracted from the learning information, and the extracted local area is Control is performed so that the neural network learns the learning information to be expressed repeatedly while changing the size of the local region extracted from the learning information.
  • a neural network learning program is configured to determine a size of a local area in learning information, which is a learning target of a neural network including a plurality of layers. Based on the structure of the network, the determination process for each of the hierarchies, and the local area is extracted from the learning information based on the size of the local area determined by the determination process, and extracted A control process for controlling the neural network to repeatedly learn the learning information represented by the local area while changing the size of the local area extracted from the learning information. It is a program.
  • the present invention can also be realized by a computer-readable non-volatile recording medium in which such a neural network learning program (computer program) is stored.
  • the present invention can avoid a decrease in generalization performance of a neural network even when there is little learning data.
  • FIG. 1 It is a block diagram which shows the structure of the neural network learning apparatus 10 which concerns on 1st Embodiment of this invention. It is a figure which illustrates the hierarchical structure of the neural network 11 which concerns on 1st Embodiment of this invention. It is a figure which illustrates the relationship between the convolution calculation which the intermediate
  • FIG. It is a flowchart which shows operation
  • FIG. 1 is a block diagram conceptually showing the structure of a neural network learning apparatus 10 according to the first embodiment of the present invention.
  • the neural network learning device 10 is a device that performs deep learning based on input learning data 100 (learning information) and performs processing such as pattern recognition based on the learning result.
  • the learning data 100 is, for example, teacher data including a combination of data (problem) representing an object on which pattern recognition is performed and an expected recognition result (answer).
  • the neural network learning device 10 includes a neural network 11, a determination module 12, and a control module 15.
  • the neural network 11 is a multilayer neural network including a plurality of layers (layers), and performs deep learning using the input learning data 100.
  • the neural network 11 performs pattern recognition processing based on the learning result and outputs the result as a pattern recognition result 102.
  • the neural network 11 performs, for example, face recognition processing, object recognition processing, voice recognition processing, or the like as the pattern recognition processing.
  • FIG. 2 is a diagram conceptually illustrating the hierarchical structure of the neural network 11 according to this embodiment.
  • the neural network 11 includes an input layer 110, an L1 layer 111, an L2 layer 112, an L3 layer 113, and an output layer 114.
  • the L1 layer 111, the L2 layer 112, and the L3 layer 113 are intermediate layers (hidden layers).
  • the intermediate layer according to the present embodiment has a three-layer structure, the intermediate layer is not limited to the three-layer structure.
  • the input layer 110, the L1 layer 111, the L2 layer 112, the L3 layer 113, and the output layer 114 are units having neuron elements (not shown) imitating a biological neural circuit, for example.
  • the output layer 114 side is defined as the upper side (next stage side, rear stage side), and the input layer 110 side is defined as the lower side (previous stage side).
  • the neural network 11 When the neural network 11 performs pattern recognition, after data (image data or audio data) representing a recognition target is input to the input layer 110, the intermediate layer (that is, the L1 layer 111, the L2 layer 112, and the L3 layer) 113) performs recognition processing on the data representing the recognition target, and the output layer outputs the recognition result.
  • the intermediate layer that is, the L1 layer 111, the L2 layer 112, and the L3 layer
  • the neural network 11 is configured as a convolutional neural network CNN (Convolutional Neural Network), which is well known in the technical field such as deep learning.
  • CNN Convolutional Neural Network
  • the “convolution” operation performed in the CNN for example, when image data representing a recognition target is represented as a matrix (each element of the matrix corresponds to one pixel), the sliding window function (filter) and the matrix are combined into elements. Multiply every.
  • this “convolution” operation the operation for summing the multiplication values for each element is performed on each element by sliding the filter (kernel) so as to cover the entire matrix, thereby performing the entire convolution. .
  • Each of the L1 layer 111, the L2 layer 112, and the L3 layer 113 according to the present embodiment performs a convolution operation using a filter having a size of “3 ⁇ 3” (hereinafter referred to as “3 ⁇ 3 filter” in the present application). I will do it.
  • the size of the window when the convolution operation is performed on these intermediate layers using a filter is not limited to “3 ⁇ 3”.
  • the intermediate layer included in the neural network 11 performs more advanced recognition processing from the layer located on the lower side to the layer located on the upper side.
  • the L1 layer 111 performs processing for detecting an edge from face image data (pixel data) representing a recognition target.
  • the L2 layer 112 performs processing for detecting a simple shape (such as an element constituting the face) in the face image using the edge detected by the L1 layer 111.
  • the L3 layer 113 uses the simple shape detected by the L2 layer 112 to perform processing for detecting more complicated features necessary for specifying a person.
  • FIG. 3 shows a convolution operation performed by the intermediate layer included in the neural network 11 according to the present embodiment, and a partial region in the learning data 100 input to the input layer 110 to be learned by the neural network 11 (hereinafter referred to as “ It is a figure which illustrates notionally the relationship with the magnitude
  • the L3 layer 113 performs a convolution operation using a 3 ⁇ 3 filter on the output from the L2 layer 112.
  • the L2 layer 112 performs a convolution operation using a 3 ⁇ 3 filter on the output from the L1 layer 111. Therefore, the “5 ⁇ 5” region in which the “3 ⁇ 3” region in the L2 layer can move by two elements at maximum in the row direction and the column direction is a learning target region in the L1 layer 111 related to the element in the L3 layer 113.
  • the L1 layer 111 performs a convolution operation with a 3 ⁇ 3 filter on the output from the input layer 110. Therefore, the “7 ⁇ 7” region, which is the region in which the “5 ⁇ 5” region in the L1 layer can move by two elements at maximum in the row direction and the column direction, is the learning target region in the input layer 110 related to the element in the L3 layer 113. .
  • FIG. 3 represents the above-described relationship, and shows that the minimum value of the size of the learning target region in the input layer 110 that is expected to have a learning effect with respect to the L3 layer 113 is “7 ⁇ 7”. That is, when the size of the learning target area is less than “7 ⁇ 7”, effective data exists only in the center of the filter with respect to the L3 layer 113, and learning becomes difficult. Similarly, the minimum value of the size of the learning target area in the input layer 110 that is expected to have a learning effect with respect to the L2 layer 112 is “5 ⁇ 5”. Similarly, the minimum value of the size of the learning target region in the input layer 110 that is expected to have a learning effect with respect to the L1 layer 111 is “3 ⁇ 3”.
  • the higher the layer the higher the recognition process.
  • learning target area learning target area
  • the minimum value of the size of the learning target area is required to be small for the L1 layer 111 and large for the L3 layer 113.
  • the neural network learning device 10 takes the size of the learning target region into the learning data 100 in consideration of the difference in the size of the required learning target region related to the different intermediate layers described above.
  • the neural network 11 is controlled so that learning is performed a plurality of times. That is, the determination module 12 shown in FIG. 1 determines the size of the local region (learning target region) in the input layer 110 that is the learning target of the neural network 11 based on the structure of the neural network 11 as the L1 layers 111 and L2. Determination is made for each of the layer 112 and the L3 layer 113.
  • the determination module 12 uses, for example, the size of the filter related to the L1 layer 111, the L2 layer 112, and the L3 layer 113 that perform the convolution operation using the filter.
  • FIG. 4 shows the size of the learning target area determined by the determination module 12 according to the present embodiment as the learning target in the first learning process and the minimum value of the size of the local area expected to have a learning effect in each layer. It is a figure which illustrates a relationship.
  • the determination module 12 is equal to or larger than the minimum value of the size of the local region where the learning effect related to the L1 layer 111 is expected and the size of the local region where the learning effect related to the L2 layer 112 is expected.
  • the size of the learning target region is determined so as to satisfy the condition that it is less than the minimum value. More specifically, as illustrated in FIG.
  • the determination module 12 determines, for example, “4 ⁇ 4” as the size of the local region determined as the first learning target in order to satisfy the condition.
  • the determination module 12 determines the size of the learning target area in the second learning process based on the structure of the neural network 11.
  • FIG. 5 illustrates the relationship between the size of the local region determined as the second learning target by the determination module 12 according to the present embodiment and the minimum value of the size of the local region expected to have a learning effect in each layer.
  • the determination module 12 is equal to or larger than the minimum value of the size of the local region where the learning effect in the L2 layer 112 is expected and the size of the local region where the learning effect in the L3 layer 113 is expected.
  • the size of the learning target region is determined so as to satisfy the condition that it is less than the minimum value. More specifically, as illustrated in FIG.
  • the determination module 12 determines, for example, “6 ⁇ 6” as the size of the local region determined as the second learning target in order to satisfy the condition.
  • the determination module 12 determines the size of the learning target region so as to satisfy the condition that the learning effect in the L3 layer 113 is not less than the minimum value of the size of the local region expected for the third learning process. To decide.
  • the condition includes “the size of the local region in which the learning effect in the next layer is expected. “Less than minimum” is not included. Therefore, in this case, the determination module 12 determines the size of the third learning target area to be “8 ⁇ 8”, for example.
  • the control module 15 shown in FIG. 1 includes an extraction module 13 and a learning control module 14. Based on the size of the learning target region determined by the determination module 12, the extraction module 13 repeatedly extracts the local region from the learning data 100 while changing the size. That is, the extraction module 13 extracts a local region having a size of “4 ⁇ 4” from the learning data 100 in the first learning process. The extraction module 13 extracts a local region having a size of “6 ⁇ 6” from the learning data 100 in the second learning process. In the third learning process, the extraction module 13 extracts a local region having a size of “8 ⁇ 8” from the learning data 100. At this time, the extraction module 13 may divide the learning data 100 into the size of the local region determined by the determination module 12 or allow the plurality of local regions to overlap, You may make it extract at random.
  • the learning control module 14 controls the neural network 11 to repeatedly learn using the local region repeatedly extracted by the extraction module 13 as an input. That is, in the first learning process, the learning control module 14 performs control so that the neural network 11 learns by using a local region having a size of “4 ⁇ 4” as an input. In this case, as described above, the neural network 11 learns about the L1 layer 111 because learning about the L2 layer 112 and the L3 layer 113 is difficult.
  • the learning control module 14 performs control so that the neural network 11 learns with a local region having a size of “6 ⁇ 6” as an input. In this case, the neural network 11 learns about the L1 layer 111 and the L2 layer 112 because learning about the L3 layer 113 is difficult. Then, in the third learning process, the learning control module 14 performs control so that the neural network 11 learns with a local region having a size of “8 ⁇ 8” as an input. In this case, the neural network 11 performs learning regarding the L1 layer 111 to the L3 layer 113.
  • the neural network 11 performs the above-described learning using, for example, a stochastic gradient descent method based on the error back propagation method, which is a commonly used learning method.
  • the neural network learning device 10 repeatedly executes the processing from step S102 to step S104 while changing the variable i (i is an integer from 1 to 3) from 1 to 3 (step S101).
  • the determination module 12 is based on the structure of the neural network 11 and is not less than the minimum value of the size of the local region where the learning effect in the Li layer is expected and the learning effect in the L (i + 1) layer is expected.
  • the size of the learning target region is determined so as to satisfy the condition that it is less than the minimum value of the region size (step S102).
  • the extraction module 13 included in the control module 15 extracts the learning target area from the learning data 100 based on the size of the learning target area determined by the determination module 12 (step S103).
  • the learning control module 14 included in the control module 15 controls the neural network 11 to learn using the learning target region extracted by the determination module 12 as an input (step S104).
  • Step S105 When the variable i is less than 3, the neural network learning device 10 adds 1 to the variable i and executes the processing from step S102. When the variable i is 3, the entire processing is terminated. (Step S105).
  • the neural network learning device 10 repeatedly performs steps S102 to S104, but the flow performed by the neural network learning device 10 may be different from this.
  • the neural network learning device 10 illustrated in FIG. 6 after determining all the sizes of the learning target regions for each intermediate layer (that is, after completing step S102 for all possible values of the variable i). S103 to S104 may be repeated.
  • the neural network learning apparatus 10 can avoid a decrease in generalization performance of the neural network even when the learning data is small. The reason is that the neural network learning apparatus 10 determines the size of the learning target region for each layer based on the structure of the neural network including a plurality of layers, and uses the local region extracted by the size as an input. This is because the neural network is controlled to repeatedly learn.
  • the neural network learning apparatus 10 includes a determination module 12 and a control module 15.
  • the control module 15 includes an extraction module 13 and a learning control module 14. That is, the determination module 12 determines the size of the local region in the input layer 110, which is the learning target of the neural network 11 including a plurality of layers, for each layer based on the structure of the neural network 11. Based on the size of the local region (learning target region) determined by the determination module 12, the extraction module 13 repeatedly extracts the local region while changing its size. Then, the learning control module 14 controls the neural network 11 to repeatedly learn using the local region repeatedly extracted by the extraction module 13 as an input.
  • the neural network learning device 10 first has a local region (a learning target) having a size such that learning regarding the L1 layer 111 proceeds and learning regarding the L2 layer 112 and the L3 layer 113 does not proceed.
  • the neural network 11 is controlled to learn using the (region) as an input.
  • the neural network learning device 10 performs control so that the neural network 11 learns by using a local region having a size such that learning regarding the L1 layer 111 and the L2 layer 112 proceeds and learning regarding the L3 layer 113 does not proceed. To do.
  • the neural network learning device 10 controls the neural network 11 to learn by using a local region having a size such that learning regarding the L1 layer 111 to the L3 layer 113 proceeds.
  • the neural network learning device 10 reduces the generalization performance of the neural network 11 by controlling the neural network 11 to efficiently learn even when the learning data is small. Can be avoided.
  • the determination module 12 is equal to or larger than the minimum value of the size of the local region where the learning effect related to the first hierarchy is expected, and is adjacent to the upper level of the first hierarchy.
  • the size of the local area is determined for the first hierarchy so as to satisfy the condition that the learning effect related to the hierarchy is less than the minimum value of the expected local area size.
  • the determination module 12 determines the size of the local region based on the size of the filter related to the hierarchy that performs the convolution operation by the filter. Thereby, the neural network learning apparatus 10 according to the present embodiment can reliably avoid the generalization performance of the neural network 11 from being lowered.
  • FIG. 7 is a block diagram conceptually showing the structure of the neural network learning apparatus 20 according to the second embodiment of the present invention.
  • the neural network learning device 20 includes a determination module 22 and a control module 25.
  • the determination module 22 determines the size of the local area in the learning information 200, which is the learning target of the neural network 21 including a plurality of layers, for each layer based on the structure of the neural network 21.
  • the control module 25 extracts the local area from the learning information 200 based on the size of the local area determined by the determination module 22.
  • the control module 25 performs control so that the neural network 21 learns the learning information represented by the extracted local area while repeatedly changing the size of the local area extracted from the learning information 200.
  • the neural network learning device 20 can avoid a decrease in generalization performance of the neural network even when the learning data is small. The reason is that the neural network learning device 20 determines the size of the local region to be learned for each layer based on the structure of the neural network including a plurality of layers, and extracts the local region extracted by the size. This is because the neural network is controlled so as to repeatedly learn.
  • each unit in the neural network learning devices 10 and 20 shown in FIGS. 1 and 7 can be realized by a dedicated HW (HardWare) (electronic circuit). 1 and 7, at least the following configuration can be regarded as a function (processing) unit (software module) of a software program. Decision modules 12 and 22, Control modules 15 and 25;
  • FIG. 8 is a diagram illustratively illustrating the configuration of an information processing apparatus 900 (computer) that can execute the neural network learning apparatus according to each embodiment of the present invention. That is, FIG. 8 shows the configuration of the computer (information processing apparatus) that can realize the neural network learning apparatus shown in FIGS. 1 and 7 or a part thereof, and can realize each function in the above-described embodiment. Represents a hardware environment.
  • the information processing apparatus 900 illustrated in FIG. 8 includes the following as constituent elements.
  • CPU Central_Processing_Unit
  • ROM Read_Only_Memory
  • RAM Random_Access_Memory
  • -Hard disk storage device
  • a communication interface 905 with an external device such as a wireless transmission / reception unit, ⁇ Bus 906 (communication line),
  • the information processing apparatus 900 including the above-described components is a general computer in which these configurations are connected via a bus 906.
  • the information processing apparatus 900 may include a plurality of CPUs 901 or may include a CPU 901 configured by a multi-core.
  • the present invention described by taking the above embodiment as an example supplies a computer program capable of realizing the following functions to the information processing apparatus 900 shown in FIG.
  • the function is the above-described configuration in the block configuration diagram (FIGS. 1 and 7) referred to in the description of the embodiment, or the function of the flowchart (FIG. 6).
  • the present invention is then achieved by reading the computer program to the CPU 901 of the hardware, interpreting it and executing it.
  • the computer program supplied to the apparatus may be stored in a readable / writable volatile memory (RAM 903) or a nonvolatile storage device such as the ROM 902 or the hard disk 904.
  • RAM 903 readable / writable volatile memory
  • nonvolatile storage device such as the ROM 902 or the hard disk 904.
  • a general procedure can be adopted as a method for supplying a computer program into the hardware.
  • the procedure includes, for example, a method of installing in the apparatus via various recording media 907 such as a CD-ROM, and a method of downloading from the outside via a communication line such as the Internet.
  • the present invention is configured by a code constituting the computer program or a recording medium 907 in which the code is stored.
  • Neural network learning apparatus 11 Neural network 110 Input layer 111 L1 layer 112 L2 layer 113 L3 layer 114 Output layer 12 Decision module 13 Extraction module 14 Learning control module 15 Control module 100 Learning data 101 Pattern recognition input data 102 Pattern recognition result 20 Neural Network learning device 21 Neural network 22 Decision module 25 Control module 200 Learning information 900 Information processing device 901 CPU 902 ROM 903 RAM 904 Hard disk (storage device) 905 Communication interface 906 Bus 907 Recording medium 908 Reader / writer 909 Input / output interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

ニューラルネットワーク学習装置２０は、複数の階層を含むニューラルネットワーク２１が学習対象とする、学習情報２００における局所領域の大きさを、ニューラルネットワーク２１の構造に基づいて、個々の階層に対して決定する決定モジュール２２と、決定モジュール２２により決定された局所領域の大きさに基づいて、局所領域を学習情報２００から抽出するとともに、抽出した局所領域が表す学習情報をニューラルネットワーク２１が学習することを、学習情報２００から抽出する局所領域の大きさを変えながら繰り返し行うように制御する制御モジュール２５と、を備えることによって、学習データが少ない場合であっても、ニューラルネットワークの汎化性能が低下することを回避する。

Description

ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、及び、ニューラルネットワーク学習プログラムが格納された記録媒体
　本願発明は、ニューラルネットワークによる学習を制御する技術に関する。
　近年、人工知能（ＡＩ：Artificial Intelligence）に関する技術が急速に発達してきていることにより、ＡＩを構成するニューラルネットワークが、様々な技術分野において注目されている。このような技術分野の一つとして、パターン認識技術がある。パターン認識技術とは、入力されたパターンが、どのクラス（カテゴリ）に属するパターンであるのかを推定する技術である。このようなパターン認識に関する具体例としては、例えば、入力された画像に写っている物体が何であるのかを推定する物体認識、あるいは、入力された音声から発話内容を推定する音声認識などが挙げられる。
　パターン認識技術においては、統計的機械学習が広く利用されている。そして、近年、深層学習（ディープラーニング）と呼ばれる学習技術が急速に発達したことによって、ニューラルネットワークは、多種多様に変動する入力パターンに対して、その変動に影響されることなく、正確な認識を行なうことができるようになってきている。このような背景から、ニューラルネットワークによる学習を効率的に行うとともに、ニューラルネットワークがより正確に判断できるようにするための技術に対する期待が高まってきている。
　このような技術に関連する技術として、特許文献１には、登録されているカテゴリが更新されたときに、多層ニューラルネットワークの学習時間を短縮するようにした画像処理装置が開示されている。この多層ニューラルネットワークは、入力画像に対してそれぞれ異なる空間フィルタを作用させた結果に基づいて、次段の層の処理ユニットに対して出力値を出力する処理を行なう。この多層ニューラルネットワークは、前層及び後層を含む。前層は、最終的に複数の特徴量のそれぞれを生成する。後層は、当該複数の特徴量に対してそれぞれ異なる重み係数を作用させた結果に基づいて、次段の層の処理ユニットに対して出力値を出力する処理を行なうことによって、最終的に入力画像を複数のカテゴリのいずれかに分類する。当該画像処理装置は、カテゴリが更新された場合に、前層におけるフィルタの値を修正せずに、後層における重み係数の値を修正する。
　また、特許文献２には、教師あり学習によって、順伝搬型の多層ニューラルネットワークによる学習を行う学習装置が開示されている。この学習装置は、隠れ層に、出力層に順伝搬しないプロービングニューロンを有する多層ニューラルネットワークについて、訓練データセットを用いたコスト計算による学習を行う。そしてこの学習装置は、当該プロービングニューロンのコストに基づいて、当該多層ニューラルネットワークの上層を除去したのち、残った最上層のプロービングニューロンを出力層とする。
特開2016-139176号公報 特開2015-095215号公報
　ニューラルネットワークが行なう深層学習では、学習すべきパラメータが非常に多いことから、一般的に大量の学習データが必要となる。そして、学習データが少量である場合、過学習（Overfitting）によって、汎化性能が大きく低下することが知られている。過学習とは、ニューラルネットワークが、入力された学習データには適合できているが、未知のデータには適合できていない（即ち汎化できていない）状態のことである。
　深層学習では、一般的に、誤差逆伝播法に基づいて学習が行なわれる。誤差逆伝播法では、多層ニューラルネットワークにおける出力層から入力層に向かって誤差を逆伝播することによって、出力層における誤差が小さくなるように学習する。学習データが少量である場合、ニューラルネットワークは、出力層に近い上位層のみにおいて学習することによって、誤差を十分小さくすることができる。この場合、上位層における学習が進み、入力層に近い下位層における学習が進まなくなるという現象が発生する。これにより、ニューラルネットワークは過学習の状態となるので、その汎化性能が低下するという問題がある。特許文献１及び２は、この問題について言及していない。本願発明の主たる目的は、このような問題を解決するニューラルネットワーク学習装置等を提供することである。
　本願発明の一態様に係るニューラルネットワーク学習装置は、複数の階層を含むニューラルネットワークが学習対象とする、学習情報における局所領域の大きさを、前記ニューラルネットワークの構造に基づいて、個々の前記階層に対して決定する決定手段と、前記決定手段により決定された前記局所領域の大きさに基づいて、前記局所領域を前記学習情報から抽出するとともに、繰り返し抽出した前記局所領域が表す前記学習情報を前記ニューラルネットワークが学習することを、前記学習情報から抽出する前記局所領域の大きさを変えながら繰り返し行うように制御する制御手段と、を備える。
　上記目的を達成する他の見地において、本願発明の一態様に係るニューラルネットワーク学習方法は、情報処理装置によって、複数の階層を含むニューラルネットワークが学習対象とする、学習情報における局所領域の大きさを、前記ニューラルネットワークの構造に基づいて、個々の前記階層に対して決定し、決定した前記局所領域の大きさに基づいて、前記局所領域を前記学習情報から抽出するとともに、抽出した前記局所領域が表す前記学習情報を前記ニューラルネットワークが学習することを、前記学習情報から抽出する前記局所領域の大きさを変えながら繰り返し行うように制御する。
　また、上記目的を達成する更なる見地において、本願発明の一態様に係るニューラルネットワーク学習プログラムは、複数の階層を含むニューラルネットワークが学習対象とする、学習情報における局所領域の大きさを、前記ニューラルネットワークの構造に基づいて、個々の前記階層に対して決定する決定処理と、前記決定処理により決定された前記局所領域の大きさに基づいて、前記局所領域を前記学習情報から抽出するとともに、抽出した前記局所領域が表す前記学習情報を前記ニューラルネットワークが学習することを、前記学習情報から抽出する前記局所領域の大きさを変えながら繰り返し行うように制御する制御処理と、をコンピュータに実行させるためのプログラムである。
　更に、本願発明は、係るニューラルネットワーク学習プログラム（コンピュータプログラム）が格納された、コンピュータ読み取り可能な、不揮発性の記録媒体によっても実現可能である。
　本願発明は、学習データが少ない場合であっても、ニューラルネットワークの汎化性能が低下することを回避できる。
本願発明の第１の実施形態に係るニューラルネットワーク学習装置１０の構成を示すブロック図である。 本願発明の第１の実施形態に係るニューラルネットワーク１１の階層構造を例示する図である。 本願発明の第１の実施形態に係るニューラルネットワーク１１に含まれる中間層が行なう畳み込み演算と、学習対象とする局所領域の大きさとの関係を例示する図である。 本願発明の第１の実施形態に係る決定モジュール１２が１回目の学習処理における学習対象として決定する局所領域の大きさと、各層において学習効果が期待される局所領域の大きさの最小値との関係を例示する図である。 本願発明の第１の実施形態に係る決定モジュール１２が２回目の学習処理における学習対象として決定する局所領域の大きさと、各層において学習効果が期待される局所領域の大きさの最小値との関係を例示する図である。 本願発明の第１の実施形態に係るニューラルネットワーク学習装置１０の動作を示すフローチャートである。 本願発明の第２の実施形態に係るニューラルネットワーク学習装置２０の構成を示すブロック図である。 本願発明の各実施形態に係るニューラルネットワーク学習装置を実行可能な情報処理装置９００の構成を示すブロック図である。
　以下、本願発明の実施の形態について図面を参照して詳細に説明する。
　＜第１の実施形態＞
　図１は、本願発明の第１の実施の形態に係るニューラルネットワーク学習装置１０の構成を概念的に示すブロック図である。ニューラルネットワーク学習装置１０は、入力された学習データ１００（学習情報）によって深層学習を行い、その学習結果に基づいて、パターン認識等の処理を行う装置である。学習データ１００は、例えば、パターン認識が行なわれる対象を表すデータ（問題）と、期待される認識結果（答え）との組み合わせを含む教師データである。
　ニューラルネットワーク学習装置１０は、ニューラルネットワーク１１、決定モジュール１２、及び、制御モジュール１５を備えている。
　ニューラルネットワーク１１は、複数の階層（層）を含む多層ニューラルネットワークであり、入力された学習データ１００を使用して深層学習を行なう。ニューラルネットワーク１１は、パターン認識が行なわれるべき対象を表す入力データ（パターン認識入力データ１０１）が入力された場合、学習結果に基づいてパターン認識処理を行い、その結果をパターン認識結果１０２として出力する。ニューラルネットワーク１１は、このパターン認識処理として、例えば、顔認識処理、あるいは物体認識処理、あるいは音声認識処理等を行う。
　図２は、本実施形態に係るニューラルネットワーク１１の階層構造を概念的に例示する図である。ニューラルネットワーク１１は、入力層１１０、Ｌ１層１１１、Ｌ２層１１２、Ｌ３層１１３、及び、出力層１１４を含んでいる。Ｌ１層１１１、Ｌ２層１１２、及び、Ｌ３層１１３は中間層（隠れ層）である。本実施形態にかかる中間層は３層構成であるが、中間層は３層構成に限定されない。
　入力層１１０、Ｌ１層１１１、Ｌ２層１１２、Ｌ３層１１３、及び、出力層１１４は、例えば、生物の神経回路を模したニューロン素子（図示せず）を有するユニットである。本実施形態では、出力層１１４側を上位側（次段側、後段側）と定義し、入力層１１０側を下位側（前段側）と定義する。
　ニューラルネットワーク１１がパターン認識を行なう場合、認識対象を表すデータ（画像データあるいは音声データ等）が入力層１１０に入力されたのち、中間層（即ち、Ｌ１層１１１、Ｌ２層１１２、及び、Ｌ３層１１３）が、認識対象を表すデータに対する認識処理を行い、出力層がその認識結果を出力する。
　本実施形態に係るニューラルネットワーク１１は、例えば、深層学習等の技術分野においてはよく知られている、畳み込みニューラルネットワークＣＮＮ（Convolutional Neural Network）として構成されている。ＣＮＮにおいて行われる「畳み込み」演算では、例えば認識対象を表す画像データを行列として表した場合（行列の各要素は、それぞれ１つのピクセルに相当）、スライド窓関数（フィルタ）と当該行列とを要素ごとに乗算する。この「畳み込み」演算では、次に、要素ごとの乗算値を合計する演算を、行列全体をカバーするようにフィルタ（カーネル）をスライドさせながら各要素に対して行うことによって、全体の畳み込みを行なう。本実施形態に係るＬ１層１１１、Ｌ２層１１２、及び、Ｌ３層１１３は、いずれも、大きさが「３ｘ３」であるフィルタ（以降、本願では、「３ｘ３フィルタ」と称する）による畳み込み演算を行なうこととする。但し、これらの中間層に対して例えば畳み込み演算がフィルタを用いて施される際の窓の大きさは、「３ｘ３」に限定されない。
　ニューラルネットワーク１１に含まれる中間層は、下位側に位置する層から上位側に位置する層になるにつれて、より高度な認識処理を行う。例えば、ニューラルネットワーク１１が顔認識処理を行う場合、Ｌ１層１１１は、認識対象を表す顔画像データ（ピクセルデータ）からエッジを検出する処理を行う。Ｌ２層１１２は、Ｌ１層１１１によって検出されたエッジを使用して、顔画像における単純な形状（顔を構成する要素等）を検出する処理を行う。そして、Ｌ３層１１３は、Ｌ２層１１２によって検出された単純な形状を使用して、人物の特定に必要となる、より複雑な特徴を検出する処理を行う。
　図３は、本実施形態に係るニューラルネットワーク１１に含まれる中間層が行なう畳み込み演算と、ニューラルネットワーク１１が学習対象とする入力層１１０に入力された学習データ１００における部分領域（以降、本願では「局所領域」と称する）の大きさとの関係を概念的に例示する図である。
　Ｌ３層１１３は、Ｌ２層１１２からの出力に対して、３ｘ３フィルタによる畳み込み演算を行なう。この場合、Ｌ３層１１３における１つの要素（領域サイズ＝１ｘ１）に関する（基準とする）Ｌ２層１１２における学習の対象となる領域（以下、学習対象領域と称する）の大きさは「３ｘ３」となる。Ｌ２層１１２は、Ｌ１層１１１からの出力に対して、３ｘ３フィルタによる畳み込み演算を行なう。したがって、Ｌ２層における「３ｘ３」の領域が行方向及び列方向に最大２要素ずつ移動可能な領域である「５ｘ５」の領域は、Ｌ３層１１３における当該要素に関するＬ１層１１１における学習対象領域である。Ｌ１層１１１は、入力層１１０からの出力に対して、３ｘ３フィルタによる畳み込み演算を行なう。したがって、Ｌ１層における「５ｘ５」の領域が行方向及び列方向に最大２要素ずつ移動可能な領域である「７ｘ７」の領域は、Ｌ３層１１３における当該要素に関する入力層１１０における学習対象領域である。
　図３は、上述した関係を表しており、Ｌ３層１１３に関して学習効果が期待される、入力層１１０における学習対象領域の大きさの最小値が「７ｘ７」であることを示している。すなわち、学習対象領域の大きさが「７ｘ７」未満である場合、Ｌ３層１１３に関しては、フィルタの中心部にしか有効なデータが存在しないことになるので、学習が困難となる。同様に、Ｌ２層１１２に関して学習効果が期待される、入力層１１０おける学習対象領域の大きさの最小値は「５ｘ５」である。同様にまた、Ｌ１層１１１に関して学習効果が期待される、入力層１１０おける学習対象領域の大きさの最小値は「３ｘ３」である。
　上述した通り、ニューラルネットワーク１１においては、一般に、上位側に位置する層ほど高度な認識処理を行う。そして、行なう認識処理が高度になるにつれて、より広範囲な局所領域（学習対象領域）を用いた学習が必要となる。従って、精度の高い処理結果を学習後の運用時に享受するためには、学習対象領域の大きさの最小値は、Ｌ１層１１１に関しては小さく、Ｌ３層１１３に関しては大きいことが必要とされる。
　本実施形態に係るニューラルネットワーク学習装置１０は、上述した、異なる中間層に関する、必要とされる学習対象領域の大きさの違いを考慮して、学習データ１００に対して、学習対象領域の大きさを変更した、複数回にわたる学習をニューラルネットワーク１１が行なうように制御する。即ち、図１に示す決定モジュール１２は、ニューラルネットワーク１１が学習対象とする、入力層１１０における局所領域（学習対象領域）の大きさを、ニューラルネットワーク１１の構造に基づいて、Ｌ１層１１１、Ｌ２層１１２、及び、Ｌ３層１１３の個々に対して決定する。決定モジュール１２は、ニューラルネットワーク１１の構造として、例えば、フィルタによる畳み込み演算を行うＬ１層１１１、Ｌ２層１１２、及び、Ｌ３層１１３に関する当該フィルタの大きさを用いる。
　図４は、本実施形態に係る決定モジュール１２が、１回目の学習処理における学習対象として決定する学習対象領域の大きさと、各層において学習効果が期待される局所領域の大きさの最小値との関係を例示する図である。決定モジュール１２は、１回目の学習処理において、Ｌ１層１１１に関する学習効果が期待される局所領域の大きさの最小値以上であり、かつ、Ｌ２層１１２に関する学習効果が期待される局所領域の大きさの最小値未満であるという条件を満たすように、学習対象領域の大きさを決定する。より具体的には、図４に例示する通り、Ｌ１層１１１における学習効果が期待される局所領域の大きさの最小値は「３ｘ３」であり、Ｌ２層１１２における学習効果が期待される局所領域の大きさの最小値は「５ｘ５」である。したがって、決定モジュール１２はこの場合、当該条件を満足すべく、１回目の学習対象として決定する局所領域の大きさを、例えば「４ｘ４」に決定する。
　決定モジュール１２は、次に、ニューラルネットワーク１１の構造に基づいて、２回目の学習処理における学習対象領域の大きさを決定する。図５は、本実施形態に係る決定モジュール１２が、２回目の学習対象として決定する局所領域の大きさと、各層において学習効果が期待される局所領域の大きさの最小値との関係を例示する図である。決定モジュール１２は、２回目の学習処理において、Ｌ２層１１２における学習効果が期待される局所領域の大きさの最小値以上であり、かつ、Ｌ３層１１３における学習効果が期待される局所領域の大きさの最小値未満であるという条件を満たすように、学習対象領域の大きさを決定する。より具体的には、図５に例示する通り、Ｌ２層１１２における学習効果が期待される局所領域の大きさの最小値は「５ｘ５」であり、Ｌ３層１１３における学習効果が期待される局所領域の大きさの最小値は「７ｘ７」である。したがって、決定モジュール１２はこの場合、当該条件を満足すべく、２回目の学習対象として決定する局所領域の大きさを、例えば「６ｘ６」に決定する。
　決定モジュール１２は、その次に、３回目の学習処理に関して、Ｌ３層１１３における学習効果が期待される局所領域の大きさの最小値以上であるという条件を満たすように、学習対象領域の大きさを決定する。尚、本実施形態では、Ｌ３層１１３は、中間層における最上位に位置する層であるので、当該条件には、「次段に位置する層における学習効果が期待される局所領域の大きさの最小値未満である」ことは含まれない。そこでこの場合、決定モジュール１２は、３回目の学習対象領域の大きさを、例えば「８ｘ８」に決定する。
　図１に示す制御モジュール１５は、抽出モジュール１３、及び、学習制御モジュール１４を含んでいる。抽出モジュール１３は、決定モジュール１２により決定された学習対象領域の大きさに基づいて、局所領域を、その大きさを変えながら、繰り返し、学習データ１００から抽出する。すなわち、抽出モジュール１３は、１回目の学習処理において、学習データ１００から、大きさが「４ｘ４」である局所領域を抽出する。抽出モジュール１３は、２回目の学習処理において、学習データ１００から、大きさが「６ｘ６」である局所領域を抽出する。抽出モジュール１３は、３回目の学習処理において、学習データ１００から、大きさが「８ｘ８」である局所領域を抽出する。抽出モジュール１３は、この際、学習データ１００を、決定モジュール１２により決定された局所領域の大きさに分割してもよいし、複数の局所領域が重複することを許して、複数の局所領域をランダムに抽出するようにしてもよい。
　学習制御モジュール１４は、抽出モジュール１３により繰り返し抽出された局所領域を入力として、ニューラルネットワーク１１が繰り返し学習するように制御する。すなわち、学習制御モジュール１４は、１回目の学習処理において、大きさが「４ｘ４」である局所領域を入力として、ニューラルネットワーク１１が学習するように制御する。この場合、上述した通り、ニューラルネットワーク１１は、Ｌ２層１１２及びＬ３層１１３に関する学習が困難であるので、Ｌ１層１１１に関する学習を行なう。
　学習制御モジュール１４は、２回目の学習処理において、大きさが「６ｘ６」である局所領域を入力として、ニューラルネットワーク１１が学習するように制御する。この場合、ニューラルネットワーク１１は、Ｌ３層１１３に関する学習が困難であるので、Ｌ１層１１１及びＬ２層１１２に関する学習を行なう。そして学習制御モジュール１４は、３回目の学習処理において、大きさが「８ｘ８」である局所領域を入力として、ニューラルネットワーク１１が学習するように制御する。この場合、ニューラルネットワーク１１は、Ｌ１層１１１乃至Ｌ３層１１３に関する学習を行なう。
　ニューラルネットワーク１１は、例えば一般的によく用いられる学習方法である、誤差逆伝播法に基づく確率的勾配降下法などを用いて、上述した学習を行なう。
　次に図６のフローチャートを参照して、上述した各モジュールを本実施形態に係るニューラルネットワーク学習装置１０に実装する場合の動作（処理）について詳細に説明する。
　ニューラルネットワーク学習装置１０は、変数ｉ（ｉは１乃至３のいずれかの整数）を１から３に変化させながら、ステップＳ１０２からステップＳ１０４までの処理を繰り返し実行する（ステップＳ１０１）。
　決定モジュール１２は、ニューラルネットワーク１１の構造に基づいて、Ｌｉ層における学習効果が期待される局所領域の大きさの最小値以上であり、かつ、Ｌ（ｉ＋１）層における学習効果が期待される局所領域の大きさの最小値未満であるという条件を満たすように、学習対象領域の大きさを決定する（ステップＳ１０２）。
　制御モジュール１５に含まれる抽出モジュール１３は、決定モジュール１２によって決定された学習対象領域の大きさに基づいて、学習対象領域を学習データ１００から抽出する（ステップＳ１０３）。制御モジュール１５に含まれる学習制御モジュール１４は、決定モジュール１２によって抽出された学習対象領域を入力として、ニューラルネットワーク１１が学習するように制御する（ステップＳ１０４）。
　ニューラルネットワーク学習装置１０は、変数ｉが３未満である場合は、変数ｉに１を加算して、ステップＳ１０２からの処理を実行し、変数ｉが３である場合は、全体の処理を終了する（ステップＳ１０５）。
　なお、図６に示すフローチャートでは、ニューラルネットワーク学習装置１０は、ステップＳ１０２乃至Ｓ１０４を繰り返し行なうが、ニューラルネットワーク学習装置１０が行なうフローは、これとは異なってもよい。ニューラルネットワーク学習装置１０は、例えば、各中間層に対して学習対象領域の大きさを全て決定した後に（即ち、変数ｉが取り得る全ての値についてステップＳ１０２を完了した後に）、図６に示すＳ１０３乃至Ｓ１０４を繰り返し行なうようにしてもよい。
　本実施形態に係るニューラルネットワーク学習装置１０は、学習データが少ない場合であっても、ニューラルネットワークの汎化性能が低下することを回避できる。その理由は、ニューラルネットワーク学習装置１０は、複数の階層を含むニューラルネットワークの構造に基づいて、学習対象領域の大きさを各階層に対して決定し、その大きさで抽出した局所領域を入力として、ニューラルネットワークが繰り返し学習するように制御するからである。
　以下に、本実施形態に係るニューラルネットワーク学習装置１０によって実現される効果について、詳細に説明する。
　ニューラルネットワークが行なう深層学習では、学習データが少量である場合、過学習によって、汎化性能が大きく低下することが知られている。深層学習では、一般的に、誤差逆伝播法に基づいて、出力層から入力層に向かって誤差を逆伝播することによって、出力層における誤差が小さくなるように学習する。学習データが少量である場合、ニューラルネットワークは、出力層に近い上位層のみにおいて学習することによって、誤差を十分小さくすることができる。但しこの場合、上位層における学習が進み、入力層に近い下位層における学習が進まなくなるという現象が発生する。これにより、ニューラルネットワークは過学習の状態となるので、その汎化性能が低下するという問題がある。
　このような問題に対して、本実施形態に係るニューラルネットワーク学習装置１０は、決定モジュール１２、及び、制御モジュール１５を備える。そして制御モジュール１５は、抽出モジュール１３、及び、学習制御モジュール１４を含む。即ち、決定モジュール１２は、複数の階層を含むニューラルネットワーク１１が学習対象とする、入力層１１０における局所領域の大きさを、ニューラルネットワーク１１の構造に基づいて、個々の階層に対して決定する。抽出モジュール１３は、決定モジュール１２により決定された局所領域（学習対象領域）の大きさに基づいて、局所領域を、その大きさを変えながら繰り返し抽出する。そして、学習制御モジュール１４は、抽出モジュール１３により繰り返し抽出された局所領域を入力として、ニューラルネットワーク１１が繰り返し学習するように制御する。
　より具体的には、本実施形態に係るニューラルネットワーク学習装置１０は、まず、Ｌ１層１１１に関する学習が進み、Ｌ２層１１２及びＬ３層１１３に関する学習が進まないような大きさの局所領域（学習対象領域）を入力として、ニューラルネットワーク１１が学習するように制御する。ニューラルネットワーク学習装置１０は、次に、Ｌ１層１１１及びＬ２層１１２に関する学習が進み、Ｌ３層１１３に関する学習が進まないような大きさの局所領域を入力として、ニューラルネットワーク１１が学習するように制御する。ニューラルネットワーク学習装置１０は、その後、Ｌ１層１１１乃至Ｌ３層１１３に関する学習が進むような大きさの局所領域を入力として、ニューラルネットワーク１１が学習するように制御する。これにより、本実施形態に係るニューラルネットワーク学習装置１０は、学習データが少ない場合であっても、ニューラルネットワーク１１が効率的に学習するように制御することによって、ニューラルネットワーク１１の汎化性能が低下することを回避できる。
　また、本実施形態に係る決定モジュール１２は、第１の階層に関する学習効果が期待される局所領域の大きさの最小値以上であり、かつ、その第１の階層の上位に隣接する第２の階層に関する学習効果が期待される局所領域の大きさの最小値未満であるという条件を満たすように、第１の階層に対して局所領域の大きさを決定する。そして、決定モジュール１２は、フィルタによる畳み込み演算を行う階層に関するフィルタの大きさに基づいて、局所領域の大きさを決定する。これにより、本実施形態に係るニューラルネットワーク学習装置１０は、ニューラルネットワーク１１の汎化性能が低下することを、確実に回避することができる。
　＜第２の実施形態＞
　図７は、本願発明の第２の実施形態に係るニューラルネットワーク学習装置２０の構成を概念的に示すブロック図である。
　本実施形態に係るニューラルネットワーク学習装置２０は、決定モジュール２２、及び、制御モジュール２５を備えている。
　決定モジュール２２は、複数の階層を含むニューラルネットワーク２１が学習対象とする、学習情報２００における局所領域の大きさを、ニューラルネットワーク２１の構造に基づいて、個々の階層に対して決定する。
　制御モジュール２５は、決定モジュール２２により決定された局所領域の大きさに基づいて、局所領域を学習情報２００から抽出する。
　制御モジュール２５は、抽出した局所領域が表す学習情報を、ニューラルネットワーク２１が学習することを、学習情報２００から抽出する局所領域の大きさを変えながら繰り返し行うように制御する。
　本実施形態に係るニューラルネットワーク学習装置２０は、学習データが少ない場合であっても、ニューラルネットワークの汎化性能が低下することを回避できる。その理由は、ニューラルネットワーク学習装置２０は、複数の階層を含むニューラルネットワークの構造に基づいて、学習対象とする局所領域の大きさを各階層に対して決定し、その大きさで抽出した局所領域を入力として、ニューラルネットワークが繰り返し学習するように制御するからである。
　＜ハードウェア構成例＞
　上述した各実施形態において図１、及び、図７に示したニューラルネットワーク学習装置１０及び２０における各部は、専用のＨＷ（ＨａｒｄＷａｒｅ）（電子回路）によって実現することができる。また、図１、及び、図７において、少なくとも、下記構成は、ソフトウェアプログラムの機能（処理）単位（ソフトウェアモジュール）と捉えることができる。
・決定モジュール１２及び２２、
・制御モジュール１５及び２５。
　但し、これらの図面に示した各部の区分けは、説明の便宜上の構成であり、実装に際しては、様々な構成が想定され得る。この場合のハードウェア環境の一例を、図８を参照して説明する。
　図８は、本願発明の各実施形態に係るニューラルネットワーク学習装置を実行可能な情報処理装置９００（コンピュータ）の構成を例示的に説明する図である。即ち、図８は、図１、及び、図７に示したニューラルネットワーク学習装置或いはその一部を実現可能なコンピュータ（情報処理装置）の構成であって、上述した実施形態における各機能を実現可能なハードウェア環境を表す。図８に示した情報処理装置９００は、構成要素として下記を備えている。
・ＣＰＵ（Ｃｅｎｔｒａｌ＿Ｐｒｏｃｅｓｓｉｎｇ＿Ｕｎｉｔ）９０１、
・ＲＯＭ（Ｒｅａｄ＿Ｏｎｌｙ＿Ｍｅｍｏｒｙ）９０２、
・ＲＡＭ（Ｒａｎｄｏｍ＿Ａｃｃｅｓｓ＿Ｍｅｍｏｒｙ）９０３、
・ハードディスク（記憶装置）９０４、
・無線送受信部等の外部装置との通信インタフェース９０５、
・バス９０６（通信線）、
・ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ＿Ｄｉｓｃ＿Ｒｅａｄ＿Ｏｎｌｙ＿Ｍｅｍｏｒｙ）等の記録媒体９０７に格納されたデータを読み書き可能なリーダライタ９０８、
・入出力インタフェース９０９。
　即ち、上記構成要素を備える情報処理装置９００は、これらの構成がバス９０６を介して接続された一般的なコンピュータである。情報処理装置９００は、ＣＰＵ９０１を複数備える場合もあれば、マルチコアにより構成されたＣＰＵ９０１を備える場合もある。
　そして、上述した実施形態を例に説明した本願発明は、図８に示した情報処理装置９００に対して、次の機能を実現可能なコンピュータプログラムを供給する。その機能とは、その実施形態の説明において参照したブロック構成図（図１及び図７）における上述した構成、或いはフローチャート（図６）の機能である。本願発明は、その後、そのコンピュータプログラムを、当該ハードウェアのＣＰＵ９０１に読み出して解釈し実行することによって達成される。また、当該装置内に供給されたコンピュータプログラムは、読み書き可能な揮発性のメモリ（ＲＡＭ９０３）、または、ＲＯＭ９０２やハードディスク９０４等の不揮発性の記憶デバイスに格納すれば良い。
　また、前記の場合において、当該ハードウェア内へのコンピュータプログラムの供給方法は、現在では一般的な手順を採用することができる。その手順としては、例えば、ＣＤ－ＲＯＭ等の各種記録媒体９０７を介して当該装置内にインストールする方法や、インターネット等の通信回線を介して外部よりダウンロードする方法等がある。そして、このような場合において、本願発明は、係るコンピュータプログラムを構成するコード或いは、そのコードが格納された記録媒体９０７によって構成されると捉えることができる。
　以上、上述した実施形態を模範的な例として本願発明を説明した。しかしながら、本願発明は、上述した実施形態には限定されない。即ち、本願発明は、本願発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　この出願は、２０１７年１月１９日に出願された日本出願特願２０１７－００７６１４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１０　　ニューラルネットワーク学習装置
　１１　　ニューラルネットワーク
　１１０　　入力層
　１１１　　Ｌ１層
　１１２　　Ｌ２層
　１１３　　Ｌ３層
　１１４　　出力層
　１２　　決定モジュール
　１３　　抽出モジュール
　１４　　学習制御モジュール
　１５　　制御モジュール
　１００　　学習データ
　１０１　　パターン認識入力データ
　１０２　　パターン認識結果
　２０　　ニューラルネットワーク学習装置
　２１　　ニューラルネットワーク
　２２　　決定モジュール
　２５　　制御モジュール
　２００　　学習情報
　９００　　情報処理装置
　９０１　　ＣＰＵ
　９０２　　ＲＯＭ
　９０３　　ＲＡＭ
　９０４　　ハードディスク（記憶装置）
　９０５　　通信インタフェース
　９０６　　バス
　９０７　　記録媒体
　９０８　　リーダライタ
　９０９　　入出力インタフェース

Claims (10)

  1. 　複数の階層を含むニューラルネットワークが学習対象とする、学習情報における局所領域の大きさを、前記ニューラルネットワークの構造に基づいて、個々の前記階層に対して決定する決定手段と、
    　前記決定手段により決定された前記局所領域の大きさに基づいて、前記局所領域を前記学習情報から抽出するとともに、抽出した前記局所領域が表す前記学習情報を前記ニューラルネットワークが学習することを、前記学習情報から抽出する前記局所領域の大きさを変えながら繰り返し行うように制御する制御手段と、
    　を備えるニューラルネットワーク学習装置。
  2. 　前記決定手段は、第一の前記階層に関する学習効果が期待される前記局所領域の大きさの最小値以上であり、かつ、前記第一の階層の次段に位置する第二の前記階層における学習効果が期待される前記局所領域の大きさの最小値未満であることを満たすように、前記第一の階層に対して前記局所領域の大きさを決定する、
    　請求項１に記載のニューラルネットワーク学習装置。
  3. 　前記決定手段は、フィルタによる畳み込み演算を行う前記階層に関する前記フィルタの大きさに基づいて、前記局所領域の大きさを決定する、
    　請求項１または２に記載のニューラルネットワーク学習装置。
  4. 　パターン認識処理を行う前記ニューラルネットワークをさらに備える、
    　請求項１乃至３のいずれか一項に記載のニューラルネットワーク学習装置。
  5. 　前記ニューラルネットワークは、前記パターン認識処理として、顔認識処理、あるいは物体認識処理、あるいは音声認識処理を行う、
    　請求項４に記載のニューラルネットワーク学習装置。
  6. 　情報処理装置によって、
    　　複数の階層を含むニューラルネットワークが学習対象とする、学習情報における局所領域の大きさを、前記ニューラルネットワークの構造に基づいて、個々の前記階層に対して決定し、
    　　決定した前記局所領域の大きさに基づいて、前記局所領域を前記学習情報から抽出するとともに、抽出した前記局所領域が表す前記学習情報を前記ニューラルネットワークが学習することを、前記学習情報から抽出する前記局所領域の大きさを変えながら繰り返し行うように制御する、
    　ニューラルネットワーク学習方法。
  7. 　第一の前記階層に関する学習効果が期待される前記局所領域の大きさの最小値以上であり、かつ、前記第一の階層の次段に位置する第二の前記階層における学習効果が期待される前記局所領域の大きさの最小値未満であることを満たすように、前記第一の階層に対して前記局所領域の大きさを決定する、
    　請求項６に記載のニューラルネットワーク学習方法。
  8. 　フィルタによる畳み込み演算を行う前記階層に関する前記フィルタの大きさに基づいて、前記局所領域の大きさを決定する、
    　請求項６または７に記載のニューラルネットワーク学習方法。
  9. 　複数の階層を含むニューラルネットワークが学習対象とする、学習情報における局所領域の大きさを、前記ニューラルネットワークの構造に基づいて、個々の前記階層に対して決定する決定処理と、
    　前記決定処理により決定された前記局所領域の大きさに基づいて、前記局所領域を前記学習情報から抽出するとともに、抽出した前記局所領域が表す前記学習情報を前記ニューラルネットワークが学習することを、前記学習情報から抽出する前記局所領域の大きさを変えながら繰り返し行うように制御する制御処理と、
    　をコンピュータに実行させるためのニューラルネットワーク学習プログラムが格納された記録媒体。
  10. 　前記決定処理は、第一の前記階層に関する学習効果が期待される前記局所領域の大きさの最小値以上であり、かつ、前記第一の階層の次段に位置する第二の前記階層における学習効果が期待される前記局所領域の大きさの最小値未満であることを満たすように、前記第一の階層に対して前記局所領域の大きさを決定する、
    　請求項９に記載のニューラルネットワーク学習プログラムが格納された記録媒体。
PCT/JP2018/001151 2017-01-19 2018-01-17 ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、及び、ニューラルネットワーク学習プログラムが格納された記録媒体 WO2018135516A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/477,234 US11556780B2 (en) 2017-01-19 2018-01-17 Neural network learning device, neural network learning method, and recording medium on which neural network learning program is stored
JP2018563355A JP7047778B2 (ja) 2017-01-19 2018-01-17 ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、及び、ニューラルネットワーク学習プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-007614 2017-01-19
JP2017007614 2017-01-19

Publications (1)

Publication Number Publication Date
WO2018135516A1 true WO2018135516A1 (ja) 2018-07-26

Family

ID=62908594

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/001151 WO2018135516A1 (ja) 2017-01-19 2018-01-17 ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、及び、ニューラルネットワーク学習プログラムが格納された記録媒体

Country Status (3)

Country Link
US (1) US11556780B2 (ja)
JP (1) JP7047778B2 (ja)
WO (1) WO2018135516A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021103521A (ja) * 2019-12-24 2021-07-15 財團法人工業技術研究院Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ ニューラルネットワーク演算装置および方法
US11676065B2 (en) 2018-12-12 2023-06-13 Kabushiki Kaisha Toshiba Model training system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115113814B (zh) * 2022-06-21 2024-02-02 腾讯科技（深圳）有限公司 一种神经网络模型上线方法和相关装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0635889A (ja) * 1992-07-20 1994-02-10 Hitachi Ltd ニューラルネットワーク装置及びその学習方法
US20160307096A1 (en) * 2015-04-19 2016-10-20 International Business Machines Corporation Annealed dropout training of neural networks

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6236296B2 (ja) 2013-11-14 2017-11-22 株式会社デンソーアイティーラボラトリ 学習装置、学習プログラム、及び学習方法
JP2016139176A (ja) 2015-01-26 2016-08-04 シャープ株式会社 画像処理装置、画像処理システム、画像処理方法、およびその画像処理プログラム
US20160283864A1 (en) * 2015-03-27 2016-09-29 Qualcomm Incorporated Sequential image sampling and storage of fine-tuned features
US9786036B2 (en) * 2015-04-28 2017-10-10 Qualcomm Incorporated Reducing image resolution in deep convolutional networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0635889A (ja) * 1992-07-20 1994-02-10 Hitachi Ltd ニューラルネットワーク装置及びその学習方法
US20160307096A1 (en) * 2015-04-19 2016-10-20 International Business Machines Corporation Annealed dropout training of neural networks

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11676065B2 (en) 2018-12-12 2023-06-13 Kabushiki Kaisha Toshiba Model training system
JP2021103521A (ja) * 2019-12-24 2021-07-15 財團法人工業技術研究院Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ ニューラルネットワーク演算装置および方法
JP7365999B2 (ja) 2019-12-24 2023-10-20 財團法人工業技術研究院 ニューラルネットワーク演算装置および方法

Also Published As

Publication number Publication date
US11556780B2 (en) 2023-01-17
US20210133552A1 (en) 2021-05-06
JP7047778B2 (ja) 2022-04-05
JPWO2018135516A1 (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
Borovykh et al. Dilated convolutional neural networks for time series forecasting
AU2019451948B2 (en) Real-time video ultra resolution
US20190303715A1 (en) Combining convolution and deconvolution for object detection
US20160283842A1 (en) Neural network and method of neural network training
KR102545128B1 (ko) 뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템
KR102570706B1 (ko) 분류를 위한 강제된 희소성
TWI634488B (zh) 人造神經網路之簡化裝置和簡化方法以及應用於簡化人造神經網路之非暫態電腦可讀取儲存媒體
WO2018135516A1 (ja) ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、及び、ニューラルネットワーク学習プログラムが格納された記録媒体
KR102428054B1 (ko) 화상 처리 방법, 장치, 전자 장치 및 저장 매체
JP6521440B2 (ja) ニューラルネットワーク及びそのためのコンピュータプログラム
CN113065632A (zh) 验证用于图像识别的神经网络的训练的方法和设备
CN112868033A (zh) 用于提供具有可调节计算需求的机器学习模型的***和方法
CN108985442B (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
CN108985151B (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
KR102256289B1 (ko) 인공 신경망에서 학습을 통한 로드 밸런싱 방법 및 시스템
US20220374679A1 (en) Biologically inspired sleep algorithm for artificial neural networks
CN113837350A (zh) 神经形态设备和训练用于图像识别的神经网络的方法
CN110889316B (zh) 一种目标对象识别方法、装置及存储介质
CN113490955A (zh) 用于产生金字塔层的架构的***和方法
CN111602145A (zh) 卷积神经网络的优化方法及相关产品
US20220327386A1 (en) Neural network layer folding
CN114676835A (zh) 基于模式的神经网络修剪
KR20220128015A (ko) 피부 분석 시스템
KR20220128016A (ko) 피부 분석 시스템
EP4141646B1 (en) Method and apparatus with calculation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18741197

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018563355

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18741197

Country of ref document: EP

Kind code of ref document: A1