JP5802916B2 - Sensory data identification device and program - Google Patents
Sensory data identification device and program Download PDFInfo
- Publication number
- JP5802916B2 JP5802916B2 JP2011042814A JP2011042814A JP5802916B2 JP 5802916 B2 JP5802916 B2 JP 5802916B2 JP 2011042814 A JP2011042814 A JP 2011042814A JP 2011042814 A JP2011042814 A JP 2011042814A JP 5802916 B2 JP5802916 B2 JP 5802916B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- sensory
- sensory data
- learning
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
本発明は、感覚データ識別装置及びプログラムに係り、特に、感覚データを識別するための感覚特徴量を学習して、感覚データを識別する感覚データ識別装置及びプログラムに関する。 The present invention relates to a sensory data identification device and program, and more particularly, to a sensory data identification device and program for learning sensory feature quantities for identifying sensory data and identifying sensory data.
従来より、正準相関解析で得られた変換行列によって特徴ベクトルを写像して新特徴ベクトルを算出する物品判別方法が知られている(特許文献1)。 2. Description of the Related Art Conventionally, an article discrimination method is known in which a feature vector is mapped by a transformation matrix obtained by canonical correlation analysis to calculate a new feature vector (Patent Document 1).
しかしながら、上記の特許文献1に記載の技術では、正準相関解析にて特徴ベクトルを次元圧縮しているだけであり、識別性能を向上させる特徴量を算出することはできない、という問題がある。 However, the technique described in Patent Document 1 has a problem that the feature vector is merely dimensionally compressed by canonical correlation analysis, and a feature amount that improves the identification performance cannot be calculated.
本発明は、上記の問題点を解決するためになされたもので、正準相関解析のカーネル版(カーネル正準相関解析)を使って、感覚データに対する識別性能を向上させることができる感覚データ識別装置及びプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and sensory data identification that can improve the discrimination performance for sensory data using the kernel version of canonical correlation analysis (kernel canonical correlation analysis). An object is to provide an apparatus and a program.
上記の目的を達成するために第1の発明に係る感覚データ識別装置は、感覚データ又は関連感覚データを与えたときに生物の脳の各計測点で計測された信号を表わす脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段と、予め用意された複数の感覚データの各々から、前記学習手段によって学習された前記感覚特徴量を算出する第2特徴量算出手段と、前記第2特徴量算出手段によって算出された前記感覚特徴量と対応する感覚データに対して予め求められた識別結果とを学習データとして、前記感覚データを識別するための識別モデルを学習する識別モデル学習手段と、入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された前記感覚特徴量と前記識別モデルとに基づいて、前記感覚データを識別する識別手段と、を含んで構成されている。 In order to achieve the above object, a sensory data identification device according to a first aspect of the present invention provides brain activity data representing signals measured at each measurement point of a biological brain when sensory data or related sensory data is given, and Kernel canonical correlation analysis is performed on the sensory data or the related sensory data, and is expressed as a linear sum of kernel functions so that the correlation between the brain activity data and the sensory data or the related sensory data becomes high. Learning means that learns weights in the canonical correlation variable and uses the learned weights as the canonical feature variable for identifying the sensory data, and a plurality of sensory data prepared in advance Corresponding to the sensory feature quantity calculated by the second feature quantity calculating means and the second feature quantity calculating means for calculating the sensory feature quantity learned by the learning means. And the identification result obtained in advance with respect to sensory data as learning data, the identification model learning means for learning the identification model to identify the sensory data from the input sensory data, which is learned by the learning means A feature amount calculating unit for calculating the sensory feature amount; and an identification unit for identifying the sensory data based on the sensory feature amount and the identification model calculated by the feature amount calculating unit. ing.
第2の発明に係るプログラムは、コンピュータを、感覚データ又は関連感覚データを与えたときに生物の脳の各計測点で計測された信号を表わす脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段、予め用意された複数の感覚データの各々から、前記学習手段によって学習された前記感覚特徴量を算出する第2特徴量算出手段と、前記第2特徴量算出手段によって算出された前記感覚特徴量と対応する感覚データに対して予め求められた識別結果とを学習データとして、前記感覚データを識別するための識別モデルを学習する識別モデル学習手段と、入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段、及び前記特徴量算出手段によって算出された前記感覚特徴量と前記識別モデルとに基づいて、前記感覚データを識別する識別手段として機能させるためのプログラムである。 According to a second aspect of the invention, there is provided a program comprising: a brain activity data representing a signal measured at each measurement point of a living organism's brain when sensory data or related sensory data is given; and the sensory data or the related sensory data; Is subjected to kernel canonical correlation analysis, and weights in the canonical correlation variable represented by a linear sum of kernel functions are set so that the correlation between the brain activity data and the sensory data or the related sensory data is high. Learning means that uses the learned canonical correlation variables using the learned weights as sensory feature quantities for identifying the sensory data, and learns from each of a plurality of sensory data prepared in advance. A second feature value calculating unit for calculating the sensory feature value, and a sensory data corresponding to the sensory feature value calculated by the second feature value calculating unit. And the identification result obtained because as learning data, the identification model learning means for learning the identification model to identify the sensory data from the input sensory data, the sensory characteristic amount learned by the learning means It is a program for functioning as an identification means for identifying the sensory data based on the feature quantity calculation means to be calculated and the sensory feature quantity calculated by the feature quantity calculation means and the identification model .
第1の発明及び第2の発明によれば、学習手段によって、感覚データ又は関連感覚データを与えたときに生物の脳の各計測点で計測された信号を表わす脳活動データと感覚データ又は関連感覚データとに対して、カーネル正準相関分析を行って、脳活動データと感覚データ又は関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習する。そして、学習された重みを用いた正準相関変数を、感覚データを識別するための感覚特徴量とする。 According to the first invention and the second invention, the brain activity data representing the signals measured at each measurement point of the brain of the organism when the sensory data or the related sensory data is given by the learning means and the sensory data or the related data. Kernel canonical correlation analysis is performed on sensory data, and weights in the canonical correlation variable expressed by a linear sum of kernel functions are set so that the correlation between brain activity data and sensory data or related sensory data becomes high. learn. Then, the canonical correlation variable using the learned weight is used as a sensory feature amount for identifying sensory data.
そして、特徴量算出手段によって、入力された感覚データから、学習手段によって学習された感覚特徴量を算出する。識別手段によって、特徴量算出手段によって算出された感覚特徴量に基づいて、感覚データを識別する。 Then, the sensory feature amount learned by the learning unit is calculated from the input sensory data by the feature amount calculating unit. The identification means identifies sensory data based on the sensory feature quantity calculated by the feature quantity calculation means.
このように、脳活動データと感覚データ又は関連感覚データとに対して、カーネル正準相関分析を行って、カーネル関数の線形和で表わされる正準相関変数を、感覚特徴量とすることにより、感覚データに対する識別性能を向上させることができる。 In this way, by performing kernel canonical correlation analysis on brain activity data and sensory data or related sensory data, a canonical correlation variable represented by a linear sum of kernel functions is used as a sensory feature amount. The discrimination performance for sensory data can be improved.
なお、感覚特徴量を学習するために使う感覚データは、識別の対象となる感覚データとまったく同じものではなくてよく、ある程度関連はあるものであればよい。本明細書では感覚特徴量を学習ためのデータであって、識別の対象となる感覚データと関連のあるデータを「関連感覚データ」、「関連画像データ」などと呼ぶ。 Note that sensory data used for learning sensory feature values does not have to be exactly the same as sensory data to be identified, and may be anything that is relevant to some extent. In this specification, data for learning sensory feature quantities and data related to sensory data to be identified is referred to as “related sensory data”, “related image data”, and the like.
第4の発明に係るプログラムは、コンピュータを、感覚データと前記感覚データに対して予め求められた識別結果との組み合わせを学習データとして学習されたニューラルネットワークに前記感覚データ又は関連感覚データを与えたときに前記ニューラルネットワークの中間層の各ニューロンで観測された出力を表わす擬似脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記擬似脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段、予め用意された複数の感覚データの各々から、前記学習手段によって学習された前記感覚特徴量を算出する第2特徴量算出手段と、前記第2特徴量算出手段によって算出された前記感覚特徴量と対応する感覚データに対して予め求められた識別結果とを学習データとして、前記感覚データを識別するための識別モデルを学習する識別モデル学習手段と、入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段、及び前記特徴量算出手段によって算出された前記感覚特徴量と前記識別モデルとに基づいて、前記感覚データを識別する識別手段として機能させるためのプログラムである。 According to a fourth aspect of the present invention, the computer gives the sensory data or the related sensory data to a neural network that has been learned by using a combination of sensory data and an identification result obtained in advance for the sensory data as learning data. A pseudo-canonical correlation analysis is performed on the pseudo brain activity data representing the output observed in each neuron of the intermediate layer of the neural network and the sensory data or the related sensory data, and the pseudo brain activity data is obtained. And learning the weight in the canonical correlation variable represented by a linear sum of kernel functions so that the correlation between the sensory data or the related sensory data is high, and the canonical correlation variable using the learned weight, each of the plurality of sensory data learning means, prepared in advance to sensory characteristic quantity for identifying the sensory data A second feature quantity calculating means for calculating the sensory feature quantity learned by the learning means, and sensory data corresponding to the sensory feature quantity calculated by the second feature quantity calculating means. A discrimination model learning means for learning an identification model for identifying the sensory data, using the identification result as learning data, and a feature for calculating the sensory feature quantity learned by the learning means from the input sensory data A program for functioning as an identification unit for identifying the sensory data based on a quantity calculation unit, and the sensory feature amount calculated by the feature amount calculation unit and the identification model .
第3の発明及び第4の発明によれば、学習手段によって、感覚データと感覚データに対して予め求められた識別結果との組み合わせを学習データとして学習されたニューラルネットワークに感覚データ又は関連感覚データを与えたときにニューラルネットワークの中間層の各ニューロンで観測された出力を表わす擬似脳活動データと感覚データ又は関連感覚データとに対して、カーネル正準相関分析を行って、擬似脳活動データと感覚データ又は関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習する。そして、学習された重みを用いた正準相関変数を、感覚データを識別するための感覚特徴量とする。 According to the third and fourth inventions, sensory data or related sensory data is stored in a neural network that has been learned by the learning means using a combination of sensory data and a discrimination result obtained in advance for sensory data as learning data. The brain canonical correlation analysis is performed on the simulated brain activity data and sensory data or related sensory data representing the output observed in each neuron of the intermediate layer of the neural network. A weight in a canonical correlation variable represented by a linear sum of kernel functions is learned so that the correlation with sensory data or related sensory data is high. Then, the canonical correlation variable using the learned weight is used as a sensory feature amount for identifying sensory data.
このように、擬似脳活動データと感覚データ又は関連感覚データとに対して、カーネル正準相関分析を行って、カーネル関数の線形和で表わされる正準相関変数を、感覚特徴量とすることにより、感覚データに対する識別性能を向上させることができる。 In this way, by performing kernel canonical correlation analysis on pseudo brain activity data and sensory data or related sensory data, the canonical correlation variable represented by the linear sum of kernel functions is used as a sensory feature quantity. The identification performance for sensory data can be improved.
上記感覚特徴量は、以下の式で表されるようにすることができる。 The sensory feature amount can be expressed by the following equation.
ただし、Ia (n)(x)は、入力された感覚データxの感覚特徴量であり、aT (n)φ(x)は、n番目の正準相関変数であり、x(j)は、カーネル正準相関分析のために予め与えられたj番目の感覚データ又は関連感覚データである。ka(x,x’)はカーネル関数であり、αj (n)はj番目のカーネル関数に対する重みである。 Here, I a (n) (x) is a sensory feature quantity of the input sensory data x, a T (n) φ (x) is the nth canonical correlation variable, and x (j) Is the jth sensory data or related sensory data previously given for kernel canonical correlation analysis. k a (x, x ′) is a kernel function, and α j (n) is a weight for the j-th kernel function.
上記の学習手段は、複数の正準相関変数の各々における重みを学習し、学習された重みを用いた複数の正準相関変数を、感覚特徴量とすることができる。 The learning means can learn weights in each of a plurality of canonical correlation variables, and can use a plurality of canonical correlation variables using the learned weights as sensory feature quantities.
上記の感覚データを、画像データ、音データ、においデータ、又は触覚データとすることができる。 The sensory data can be image data, sound data, odor data, or tactile data.
上記の感覚データ識別装置は、識別手段による識別結果と、入力された感覚データとを対応付けて表示手段に表示させる表示制御手段を更に含むようにすることができる。 The sensory data identification device may further include display control means for causing the display means to display the identification result obtained by the identification means in association with the input sensory data.
以上説明したように、本発明の感覚データ識別装置及びプログラムによれば、脳活動データ又は擬似脳活動データと感覚データ又は関連感覚データとに対して、カーネル正準相関分析を行って、カーネル関数の線形和で表わされる正準相関変数を、感覚特徴量とすることにより、感覚データに対する識別性能を向上させることができる、という効果が得られる。 As described above, according to the sensory data identification apparatus and program of the present invention, kernel canonical correlation analysis is performed on brain activity data or pseudo brain activity data and sensory data or related sensory data to obtain a kernel function. By using the canonical correlation variable represented by the linear sum of the sensation feature quantity, the effect of improving the discrimination performance for the sensation data can be obtained.
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、撮像画像が、識別対象物としての歩行者を撮像した画像であるか否かを識別する対象物識別装置に本発明を適用した場合を例に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In addition, the case where this invention is applied to the target object identification apparatus which identifies whether a captured image is an image which imaged the pedestrian as an identification target object is demonstrated to an example.
図1に示すように、第1の実施の形態に係る対象物識別装置10は、車両(図示省略)に取り付けられ、かつ、車両の前方を撮像して画像を生成する撮像装置12と、撮像装置12から得られる撮像画像が歩行者を撮像した画像であるか否かを識別するコンピュータ14と、コンピュータ14の識別結果を表示する表示装置16とを備えている。 As shown in FIG. 1, an object identification device 10 according to the first embodiment is attached to a vehicle (not shown), and captures an image of the front of the vehicle to generate an image, and an imaging The computer 14 which identifies whether the captured image obtained from the apparatus 12 is the image which imaged the pedestrian, and the display apparatus 16 which displays the identification result of the computer 14 are provided.
撮像装置12は、車両の前方を撮像し、画像の画像信号を生成する撮像部(図示省略)と、撮像部で生成された画像信号をA/D変換するA/D変換部(図示省略)と、A/D変換された画像信号を一時的に格納するための画像メモリ(図示省略)とを備えている。 The imaging device 12 images the front of the vehicle and generates an image signal of the image (not shown), and an A / D conversion unit (not shown) that A / D converts the image signal generated by the imaging unit. And an image memory (not shown) for temporarily storing the A / D converted image signal.
コンピュータ14は、CPUと、RAMと、後述する特徴量学習処理ルーチン及び識別処理ルーチンを実行するためのプログラムを記憶したROMとを備え、機能的には次に示すように構成されている。コンピュータ14は、後述する画像データ及び脳活動データのペアを複数記憶した画像脳信号記憶部20と、画像データ及び脳活動データの複数ペアに基づいて、画像特徴量を学習する画像特徴量学習部22と、画像特徴量学習部22による学習結果を記憶する学習結果記憶部24と、を備えている。 The computer 14 includes a CPU, a RAM, and a ROM that stores a program for executing a feature amount learning processing routine and an identification processing routine, which will be described later, and is functionally configured as follows. The computer 14 includes an image brain signal storage unit 20 that stores a plurality of pairs of image data and brain activity data, which will be described later, and an image feature amount learning unit that learns image feature amounts based on the plurality of pairs of image data and brain activity data. 22 and a learning result storage unit 24 that stores a learning result obtained by the image feature amount learning unit 22.
画像脳信号記憶部20に記憶されている画像データ及び脳活動データの複数ペアは、図2に示す脳活動データ計測装置30によって求められる。脳活動データ計測装置30は、被験者の頭部表面上の複数の部位から脳波信号を検出するためのキャップ型電極32と、画像データを表示する表示装置34と、表示装置34に画像データを表示させたときにキャップ型電極32により検出した各部位の脳波信号を表わす脳活動データを記録するコンピュータ36とを備えている。 A plurality of pairs of image data and brain activity data stored in the image brain signal storage unit 20 is obtained by the brain activity data measuring device 30 shown in FIG. The brain activity data measuring device 30 includes a cap-type electrode 32 for detecting an electroencephalogram signal from a plurality of parts on the subject's head surface, a display device 34 for displaying image data, and displaying image data on the display device 34. And a computer 36 for recording brain activity data representing the electroencephalogram signal of each part detected by the cap-type electrode 32.
図3に示すように、キャップ型電極32は、被験者の頭部表面上の複数の部位に装着され、頭部表面上の複数の部位から脳波信号を検出する。また、表示装置34の表示画面は、被験者に対して向いている。 As shown in FIG. 3, the cap-type electrode 32 is attached to a plurality of sites on the subject's head surface, and detects electroencephalogram signals from the plurality of sites on the head surface. The display screen of the display device 34 is suitable for the subject.
コンピュータ36は、CPUと、RAMと、ROMとを備え、機能的には次に示すように構成されている。コンピュータ36は、歩行者画像と非歩行者画像を含む複数の画像データを予め記憶すると共に、対応する脳活動データを格納するための画像脳信号記憶部38と、画像脳信号記憶部38から読み込んだ画像データを表示装置34に表示させる表示制御部40と、表示装置34に画像データが表示されたときにキャップ型電極32から出力された脳波信号を取得する信号取得部42と、A/D変換を行って、信号取得部42によって取得した脳波信号をデジタル信号に変換するA/D変換部44と、得られた各部位の脳波信号を表わす脳活動データを、画像データと対応させて画像脳信号記憶部38に格納する記憶制御部46とを備えている。 The computer 36 includes a CPU, a RAM, and a ROM, and is functionally configured as follows. The computer 36 stores in advance a plurality of image data including a pedestrian image and a non-pedestrian image, and reads from the image brain signal storage unit 38 and an image brain signal storage unit 38 for storing corresponding brain activity data. A display control unit 40 for displaying the image data on the display device 34, a signal acquisition unit 42 for acquiring an electroencephalogram signal output from the cap-type electrode 32 when the image data is displayed on the display device 34, and an A / D An A / D conversion unit 44 that converts the brain wave signal acquired by the signal acquisition unit 42 into a digital signal by performing conversion, and the obtained brain activity data representing the brain wave signal of each part is imaged in correspondence with the image data. And a storage control unit 46 for storing in the brain signal storage unit 38.
信号取得部42は、被験者の頭部表面上の複数の部位に取り付けられた電極の各々から出力された脳波信号を取得し、雑音除去や増幅処理を行う。 The signal acquisition unit 42 acquires an electroencephalogram signal output from each of the electrodes attached to a plurality of sites on the subject's head surface, and performs noise removal and amplification processing.
コンピュータ36は、表示制御部40によって、画像脳信号記憶部38に記憶された複数の画像データを順次表示装置34に表示させると共に、記憶制御部46によって、各画像データを表示させたときに検出された脳活動データを、画像データと対応させて画像脳信号記憶部38に記憶させる。これによって、画像脳信号記憶部38には、画像データと脳活動データとのペアが複数記憶される。 The computer 36 causes the display control unit 40 to sequentially display a plurality of image data stored in the image brain signal storage unit 38 on the display device 34, and detects when each image data is displayed by the storage control unit 46. The brain activity data thus obtained is stored in the image brain signal storage unit 38 in correspondence with the image data. As a result, the image brain signal storage unit 38 stores a plurality of pairs of image data and brain activity data.
画像脳信号記憶部38に記憶された画像データと脳活動データとの複数ペアが、対象物識別装置10のコンピュータ14に入力され、画像脳信号記憶部20には、脳活動データ計測装置30の画像脳信号記憶部38と同じ画像データと脳活動データとの複数ペアが記憶される。 A plurality of pairs of image data and brain activity data stored in the image brain signal storage unit 38 are input to the computer 14 of the object identification device 10, and the image brain signal storage unit 20 stores the brain activity data measurement device 30. A plurality of pairs of the same image data and brain activity data as in the image brain signal storage unit 38 are stored.
次に、画像データと脳活動データとの複数ペアから、画像特徴量を学習する原理について説明する。 Next, the principle of learning image feature amounts from a plurality of pairs of image data and brain activity data will be described.
いま目の前に見えている対象物が人であるか無いかといった視覚弁別タスクは、対象物がノイズや遮蔽物によって隠されると既存の装置にとって極めて困難な課題となる。一方、生物はこのような視覚妨害物への正しい対応が生存上必須であり、上記のタスクを脳はうまくこなすことができる。そこで、脳からその方法を学ぶ事を考える。近年の急速な脳活動測定技術の進歩により、脳が視覚弁別をこなしている時の多数の脳細胞の活動を同時に計測することが可能になっている。そこで、被験者が見ている画像データをx、その時の脳活動をy、その画像が歩行者であるかないかについての脳の判断をzとする。xは画像を表すので画素数の次元をもつベクトル、yは、複数部位の活動を表すので同時測定される部位数の次元を持つベクトルとして表現される。最後にzは歩行者かそうでないかの判断なので0か1を取るスカラー変数である。 The visual discrimination task such as whether or not the object that is visible in front of you is a human being becomes a very difficult task for existing devices if the object is hidden by noise or shielding. On the other hand, living organisms must respond correctly to such visual obstacles for survival, and the brain can perform the above tasks well. Therefore, consider learning the method from the brain. Recent progress in rapid brain activity measurement technology has made it possible to simultaneously measure the activity of many brain cells when the brain is making visual discrimination. Therefore, the image data viewed by the subject is x, the brain activity at that time is y, and the brain judgment as to whether the image is a pedestrian is z. Since x represents an image, it represents a vector having the dimension of the number of pixels, and y represents an activity of a plurality of parts, so that y is represented as a vector having the dimension of the number of parts simultaneously measured. Finally, z is a scalar variable that takes 0 or 1 because it is a decision as to whether it is a pedestrian or not.
なお、画像及び脳活動のある時刻一点における値だけでなく複数の時刻における値を考えて、それらの間の対応を調べるというように拡張することも可能で、その場合の次元数は、上述の次元数に、考慮する時刻の個数を乗じたものとなる。 Note that it is possible to expand not only the values at a certain point in time of the image and brain activity but also the values at a plurality of times, and examine the correspondence between them. In that case, the number of dimensions is as described above. The number of dimensions is multiplied by the number of times to consider.
従来より、多数の画像x(1)、x(2)、x(3)、・・・x(N)に対する脳の判断z(1)、z(2)、z(3)、・・・z(N)を学習データとして、視覚弁別アルゴリズムとしてのSVMモデルを学習する手法が知られている。この従来手法では、x(j)とz(j)の組から画像の弁別にとって重要な画像の特徴量を見つける、という方法が主なものであるが、その従来の手法では識別精度に限界があった。 Conventionally, a large number of image x (1), x (2 ), x (3), ··· x (N) determination of the brain for z (1), z (2 ), z (3), ··· A method for learning an SVM model as a visual discrimination algorithm using z (N) as learning data is known. In this conventional method, the main method is to find the feature quantity of the image that is important for image discrimination from the set of x (j) and z (j). there were.
本実施の形態で提案する方法の新しいところは、その時の脳活動y(1)、y(2)、y(3)、・・・y(N)を用いるところである。脳神経の活動y(j)によってz(j)という正しい判断がなされていることに注目すると、画像特徴の中で神経活動と相関するものが、画像の識別にとって重要な画像特徴量であると考えられるため、画像を識別するときの脳活動データ、又は関連画像データを入力するときの脳活動データを用いる。 A new place of the method proposed in the present embodiment is that the brain activity y (1) , y (2) , y (3) ,... Y (N) at that time is used. Focusing on the fact that the correct judgment of z (j) is made by the cranial nerve activity y (j) , it is considered that the image features that correlate with the neural activity are the image features important for image identification. Therefore, the brain activity data for identifying the image or the brain activity data for inputting the related image data is used.
また、画像x(j)と脳活動y(j)の関係は極めて非線形であり通常の正準相関解析で求めるのは難しい。しかし、画像x(j)と脳活動y(j)を、それぞれ高次元特徴空間にφ(x(j))とΨ(y(j))のように写像すると、φ(x(j))とΨ(y(j))の関係が線形になる。このことを利用するために、本実施の形態では、画像x(j)と脳活動y(j)の間の相関を、カーネル正準相関分析(Kernel Canonical Correlation Analysis: KCCA)を使って求める。 Further, the relationship between the image x (j) and the brain activity y (j) is extremely non-linear and difficult to obtain by normal canonical correlation analysis. However, if the image x (j) and the brain activity y (j) are mapped onto the high-dimensional feature space as φ (x (j) ) and Ψ (y (j) ), respectively, φ (x (j) ) And Ψ (y (j) ) are linear. In order to utilize this, in the present embodiment, the correlation between the image x (j) and the brain activity y (j) is obtained by using kernel canonical correlation analysis (KCCA).
{φ(x(j))}が存在する空間と{Ψ(y(j))}が存在する空間とでお互いが最も高い線形相関を持つような1次元空間を探すには、それぞれをある1次元に射影した量であるaTφ(x(j))とbTΨ(y(j))を考える。カーネル正準相関分析では、以下の(1)式で表されるaTφ(x(j))とbTΨ(y(j))の相関C(aTφ(x(j)),bTΨ(y(j)))が最大になるaTとbTを決定する。 To search for a one-dimensional space having the highest linear correlation between the space where {φ (x (j) )} exists and the space where {Ψ (y (j) )} exists, respectively Consider a T φ (x (j) ) and b T Ψ (y (j) ), which are projections in one dimension. In the kernel canonical correlation analysis, the correlation C (a T φ (x (j) )) between a T φ (x (j) ) and b T Ψ (y (j) ) expressed by the following equation (1): Determine a T and b T that maximize b T Ψ (y (j) )).
ここで、aTとbTは、それぞれ、φ(x(j))とΨ(y(j))と同じ次元のベクトルの転置である。また、Cov(X,Y)は共分散であり、Var(X)は分散である。 Here, a T and b T are transposes of vectors having the same dimensions as φ (x (j) ) and ψ (y (j) ), respectively. Also, Cov (X, Y) is covariance and Var (X) is dispersion.
また、aTとbTを求める際に、aTとbTを求めるために与えられた有限個のデータに対して相関が極端に高くなり、未知のデータに対する相関を悪くする危険(オーバーフィッティング)を防ぐため、以下の(2)式で表される正則化項を付け加えた上で最大化問題を解く。 Further, when obtaining the a T and b T, correlation becomes extremely high for a finite number of data provided to determine the a T and b T, dangerous (overfitting to poor correlation for unknown data In order to prevent this problem, the regularization term expressed by the following equation (2) is added and the maximization problem is solved.
具体的な計算では、aTφ(x(j))とbTΨ(y(j))が、予め定められたカーネル関数(ここではGaussカーネルを用いる)の線形和として、具体的に以下の(3)式、(4)式に示すように、α、βを使って表現ができることを用いる(カーネルトリック)。 In a specific calculation, a T φ (x (j) ) and b T Ψ (y (j) ) are specifically expressed as a linear sum of a predetermined kernel function (here, using a Gauss kernel). As shown in equations (3) and (4), the expression that can be expressed using α and β is used (kernel trick).
すなわち、本実施の形態では、上記(1)式に上記(3)式、(4)式を代入した式を最大化するα、βを求める。なお、α、βを計算するための、上記(2)式で表される正則化項を付け加えた詳細な式については、非特許文献(カーネル多変量解析、赤穂昭太郎、岩波書店、2008、76−77ページ、式(3.80))に記載されている式と同様な式を用いればよいため、記載を省略する。 That is, in the present embodiment, α and β that maximize the formula obtained by substituting the formulas (3) and (4) into the formula (1) are obtained. In addition, for a detailed formula with the addition of the regularization term represented by the above formula (2) for calculating α and β, non-patent literature (kernel multivariate analysis, Shotaro Akaho, Iwanami Shoten, 2008, 76) Since the expression similar to the expression described in page -77, expression (3.80) may be used, the description is omitted.
上述のようなベクトル(a,b)の組(具体的な計算では、(α、β)の組)は一般化固有値問題の解として求まるが、求められる固有ベクトル(a,b)を、相関値c(1)、c(2)、c(3)、・・・の高い順に、(a(1),b(1))、(a(2),b(2))、(a(3),b(3))、・・・とする。また、上記(1)式の相関値はベクトル(a,b)に依存しない量なので、ここでの最大化の手続きでは、ベクトル(a(j),b(j))の長さは指定されない。しかしながら、大きな相関値に対応するベクトルほど重要と考えられるので、以下の(5)式により、これらベクトルの長さを相関の値と等しくすることによって、ベクトルの重要度の情報を織り込むことにする。 A set of vectors (a, b) as described above (in a specific calculation, a set of (α, β)) is obtained as a solution to the generalized eigenvalue problem, but the obtained eigenvector (a, b) is used as a correlation value. c (1) , c (2) , c (3) ,... in descending order (a (1) , b (1) ), (a (2) , b (2) ), (a (3 ) , B (3) ), ... Further, since the correlation value of the above equation (1) is an amount that does not depend on the vector (a, b), the length of the vector (a (j) , b (j) ) is not specified in the maximization procedure here. . However, since a vector corresponding to a large correlation value is considered to be more important, information on the importance of the vector is incorporated by making the length of these vectors equal to the correlation value according to the following equation (5). .
以下で現れる(a(j),b(j))はこのように長さを調整したものを意味する。 The following (a (j) , b (j) ) means the length adjusted in this way.
以上のように定めたaT (1)φ(x)、bT (1)Ψ(y)をそれぞれ画像の第1正準相関変数、脳活動の第1正準相関変数と呼び、同様に、aT (2)φ(x)、bT (2)Ψ(y)を画像および脳活動の第2正準相関変数と、順次呼ぶことにする。 A T (1) φ (x) and b T (1) Ψ (y) determined as above are called the first canonical correlation variable of the image and the first canonical correlation variable of the brain activity, respectively. , A T (2) φ (x), b T (2) Ψ (y) are sequentially called the second canonical correlation variable of image and brain activity.
このようにして得られる画像側の正準相関変数が、画像判別に有用な画像特徴量となる。画像xに対する画像特徴量Ia(x)は、カーネル関数ka(a,b)の線形和として具体的に以下の(6)式で計算できる。 The image-side canonical correlation variable obtained in this way is an image feature amount useful for image discrimination. Image feature amount I a for the image x (x) can be calculated as specifically Equation (6) below as a linear sum of the kernel function k a (a, b).
ただし、x(j)は、カーネル正準相関分析のために予め与えられた画像データである。 Here, x (j) is image data given in advance for kernel canonical correlation analysis.
ちなみに、脳活動側の特徴量Ib(x)も、同様に脳活動側カーネル関数kb(y、y’)の線形和として、以下の(7)式で計算できる。 Incidentally, the feature value I b (x) on the brain activity side can also be calculated by the following equation (7) as a linear sum of the brain function on the brain activity side k b (y, y ′).
ところで、上記(2)式で必要であった|a(j)|と|b(j)|もカーネル関数で書けるので実質的な計算が可能である。 By the way, since | a (j) | and | b (j) | required in the above equation (2) can also be written by a kernel function, substantial calculation is possible.
このようにして得られた上記(6)式で表わされる画像特徴量は、今問題としている視覚弁別課題を高精度で解くことのできる脳の活動を反映させてつくられたものである。したがって、当該画像特徴量を使った視覚弁別アルゴリズムは、原理的に脳の能力を反映した高性能を示す。 The image feature amount represented by the above equation (6) obtained in this way is created by reflecting the brain activity that can solve the visual discrimination task that is currently a problem with high accuracy. Therefore, the visual discrimination algorithm using the image feature amount shows high performance reflecting the ability of the brain in principle.
また、本実施の形態では、画像側のn0個の正準相関変数{I(1) a(x),I(2) a(x),・・・,I(n0) a(x)}を画像特徴量として用いる。 In this embodiment, n 0 canonical correlation variables {I (1) a (x), I (2) a (x),..., I (n0) a (x) on the image side } Is used as an image feature amount.
画像特徴量学習部24は、上記で説明したように、画像データと脳活動データとの複数ペアから、n0個の正準相関変数の各々における重みα、βを学習して、当該重みαと当該画像データの集合とを用いて上記(6)式で算出される画像側のn0個の正準相関変数を、画像特徴量として決定し、学習結果記憶部24に、画像特徴量の学習結果として、n0個の正準相関変数の各々について、上記(6)式の重みα及び画像データx(j)を含む各パラメータを格納する。 As described above, the image feature amount learning unit 24 learns weights α and β in each of n 0 canonical correlation variables from a plurality of pairs of image data and brain activity data, and the weight α And n 0 canonical correlation variables on the image side calculated by the above equation (6) using the image data set and the image data set are determined as image feature values, and the learning result storage unit 24 stores the image feature values. As a learning result, for each of the n 0 canonical correlation variables, the parameters including the weight α and the image data x (j) in the above equation (6) are stored.
また、対象物識別装置10のコンピュータ14は、画像脳信号記憶部20に記憶された画像データの各々から、学習された画像特徴量を算出する特徴量算出部50と、算出された画像特徴量、および対応する画像データに与えられた教師ラベルに基づいて、識別モデルを学習する識別モデル学習部52と、学習された識別モデルを記憶した識別モデル記憶部54とを更に備えている。 In addition, the computer 14 of the object identification device 10 includes a feature amount calculation unit 50 that calculates a learned image feature amount from each of the image data stored in the image brain signal storage unit 20, and a calculated image feature amount. And an identification model learning unit 52 for learning the identification model based on the teacher label given to the corresponding image data, and an identification model storage unit 54 for storing the learned identification model.
特徴量算出部50は、画像脳信号記憶部20に記憶された画像データの各々から、画像特徴量として、上記(6)式で表わされる画像側のn0個の正準相関変数を算出する。 The feature amount calculation unit 50 calculates n 0 canonical correlation variables on the image side represented by the above equation (6) as image feature amounts from each of the image data stored in the image brain signal storage unit 20. .
識別モデル学習部52は、算出された画像特徴量、および対応する画像データが歩行者画像及び非歩行者画像の何れであるかに応じて付与された教師ラベルに基づいて、識別モデルとしてのSVM(サポートベクターマシン)モデルを学習し、学習されたSVMモデルを、識別モデル記憶部54に格納する。 The identification model learning unit 52 performs SVM as an identification model based on the calculated image feature amount and a teacher label given according to whether the corresponding image data is a pedestrian image or a non-pedestrian image. (Support vector machine) The model is learned, and the learned SVM model is stored in the identification model storage unit 54.
コンピュータ14は、撮像装置12によって撮像された画像データから、学習された画像特徴量を算出する特徴量算出部56と、算出された画像特徴量、及び学習されたSVMモデルとに基づいて、SVM識別器により、撮像された画像データが歩行者を撮像した画像であるか否かを識別する識別部58とを更に備えている。 The computer 14 is based on the feature amount calculation unit 56 that calculates the learned image feature amount from the image data captured by the imaging device 12, the calculated image feature amount, and the learned SVM model. The discriminator 58 further includes a discriminator 58 that discriminates whether or not the captured image data is an image of a pedestrian.
特徴量算出部56は、撮像装置12によって撮像された画像データを取得し、取得した画像データから、画像特徴量として、上記(6)式で表わされる画像側のn0個の正準相関変数を算出する。 The feature amount calculation unit 56 acquires the image data captured by the imaging device 12, and from the acquired image data, as the image feature amount, n 0 canonical correlation variables on the image side represented by the above equation (6). Is calculated.
識別部58は、識別モデル記憶部54に記憶されたSVMモデルと、特徴量算出部56により算出された画像特徴量としての画像側のn0個の正準相関変数とに基づいて、従来既知のSVM識別器を用いて、撮像された画像データが歩行者を撮像した画像であるか否かを識別し、識別結果を、撮像された画像データと対応付けて表示装置16に表示させる。 The identification unit 58 is conventionally known based on the SVM model stored in the identification model storage unit 54 and the n 0 canonical correlation variables on the image side as the image feature amount calculated by the feature amount calculation unit 56. The SVM discriminator is used to identify whether or not the captured image data is an image of a pedestrian, and the identification result is displayed on the display device 16 in association with the captured image data.
例えば、SVM識別器では、画像側のn0個の正準相関変数の張る空間での線形分離、または画像側のn0個の正準相関変数をさらに高次元に写像した空間での線形分離を行う。これらの線形分離では、それぞれ、以下の(8)式、(9)式で表わされるカーネル関数を使って、画像の識別を行う。 For example, the SVM classifier, linear separation in space mapped with higher dimensional image side of the n 0 pieces of canonical correlation spanned by variable space linearly separable or image side n 0 amino canonical correlation variable, I do. In these linear separations, images are identified using kernel functions represented by the following equations (8) and (9), respectively.
次に、本実施の形態の作用について説明する。まず、歩行者を撮像することにより得られた複数の歩行者画像データと、歩行者以外を撮像することにより得られた非歩行者画像データとを用意し、各画像データに教師ラベルを与えて、脳活動データ計測装置30の画像脳信号記憶部38に格納する。 Next, the operation of the present embodiment will be described. First, prepare a plurality of pedestrian image data obtained by imaging pedestrians and non-pedestrian image data obtained by imaging other than pedestrians, and give a teacher label to each image data The image data is stored in the image brain signal storage unit 38 of the brain activity data measuring device 30.
そして、キャップ型電極32を被験者の頭部に装着した状態で、脳活動データ計測装置30のコンピュータ36によって、画像脳信号記憶部38に記憶されている各画像データを、表示装置34に表示させると共に、このときに検出される各部位の脳波信号を表わす脳活動データを取得し、画像脳信号記憶部38に、当該画像データと対応させて脳活動データを格納する。これによって、画像脳信号記憶部38に、画像データと脳活動データとの複数ペアが格納される。 Then, each image data stored in the image brain signal storage unit 38 is displayed on the display device 34 by the computer 36 of the brain activity data measuring device 30 with the cap-type electrode 32 attached to the head of the subject. At the same time, brain activity data representing the electroencephalogram signal of each part detected at this time is acquired, and the brain activity data is stored in the image brain signal storage unit 38 in association with the image data. As a result, a plurality of pairs of image data and brain activity data are stored in the image brain signal storage unit 38.
また、脳活動データ計測装置30の画像脳信号記憶部38に記憶されたデータを、対象物識別装置10に入力して、画像脳信号記憶部20に格納する。そして、対象物識別装置10のコンピュータ14において、図4に示す特徴量学習処理ルーチンが実行される。 Further, the data stored in the image brain signal storage unit 38 of the brain activity data measuring device 30 is input to the object identification device 10 and stored in the image brain signal storage unit 20. Then, a feature amount learning process routine shown in FIG. 4 is executed in the computer 14 of the object identification device 10.
ステップ100において、画像脳信号記憶部20から、画像データと脳活動データとの複数ペアを読み込み、次のステップ102で、上記ステップ100で読み込んだ画像データと脳活動データとの複数ペアに基づいて、上記(1)式に上記(3)式、(4)式を代入した式で表わされる相関を最大にするカーネル関数の重みα、βを学習すると共に、学習された重みαを適用した上記(6)式で表わされる画像側のn0個の正準相関変数を、画像特徴量として決定する。例えば、相関値が所定値以上となる画像側の全ての正準相関変数を、画像特徴量として決定する。 In step 100, a plurality of pairs of image data and brain activity data are read from the image brain signal storage unit 20, and in the next step 102, based on the plurality of pairs of image data and brain activity data read in step 100 above. The kernel function weights α and β that maximize the correlation represented by the formulas obtained by substituting the formulas (3) and (4) into the formula (1) are learned, and the learned weight α is applied. The n 0 canonical correlation variables on the image side represented by the equation (6) are determined as image feature amounts. For example, all canonical correlation variables on the image side where the correlation value is greater than or equal to a predetermined value are determined as image feature amounts.
そして、ステップ104において、上記ステップ102で学習された上記(6)式で表される画像特徴量における、重みα及び画像データx(j)を含む各パラメータを学習結果記憶部24に格納する。 In step 104, the parameters including the weight α and the image data x (j) in the image feature amount represented by the above equation (6) learned in step 102 are stored in the learning result storage unit 24.
次のステップ106では、画像脳信号記憶部20から各画像データを読み込み、各画像データについて、上記ステップ102で学習された画像特徴量を算出する。そして、ステップ108において、画像脳信号記憶部20から各画像データについて与えられた教師ラベルを読み込み、上記ステップ106で算出された各画像データの画像特徴量と、教師ラベルとに基づいて、SVMモデルを学習し、ステップ110において、上記ステップ108の学習結果を、識別モデル記憶部54に格納し、特徴量学習処理ルーチンを終了する。 In the next step 106, each image data is read from the image brain signal storage unit 20, and the image feature amount learned in the above step 102 is calculated for each image data. In step 108, the teacher label given for each image data is read from the image brain signal storage unit 20, and based on the image feature amount of each image data calculated in step 106 and the teacher label, the SVM model. In step 110, the learning result in step 108 is stored in the identification model storage unit 54, and the feature amount learning processing routine is terminated.
そして、対象物識別装置10を搭載した車両の走行中に、撮像装置12によって車両の前方の所定領域が撮像されると、コンピュータ14において、図5に示す識別処理ルーチンが実行される。 Then, when a predetermined area in front of the vehicle is imaged by the imaging device 12 while the vehicle equipped with the object identification device 10 is traveling, the identification processing routine shown in FIG.
まず、ステップ120において、撮像装置12から画像データを取得し、次のステップ122では、上記ステップ120で取得した画像データについて、学習された画像特徴量を算出する。そして、ステップ124において、上記ステップ122で算出された画像特徴量に基づいて、学習されたSVMモデル及びSVM識別器を用いて、撮像画像データが、歩行者を表わす歩行者画像データであるか否かを識別する。そして、ステップ126において、上記ステップ124における識別結果を、図6に示すように、撮像画像データと対応付けて表示装置16に表示して、識別処理ルーチンを終了する。 First, in step 120, image data is acquired from the imaging device 12, and in the next step 122, a learned image feature amount is calculated for the image data acquired in step 120. In step 124, whether or not the captured image data is pedestrian image data representing a pedestrian using the learned SVM model and SVM classifier based on the image feature amount calculated in step 122. To identify. In step 126, the identification result in step 124 is displayed on the display device 16 in association with the captured image data as shown in FIG. 6, and the identification processing routine is terminated.
以上説明したように、第1の実施の形態に係る対象物識別装置によれば、画像データと、当該画像データを表示したときに得られる脳活動データとに対して、カーネル正準相関分析を行って、カーネル関数の重みを学習し、学習された重みを適用した画像側の正準相関変数を、画像特徴量とすることにより、画像データに対する識別性能を向上させる画像特徴量を学習することができる。 As described above, according to the object identification device according to the first embodiment, kernel canonical correlation analysis is performed on image data and brain activity data obtained when the image data is displayed. To learn the kernel function weights, and to learn image feature quantities that improve the discrimination performance for image data by using the image-side canonical correlation variables as image feature quantities Can do.
また、現在まで、人間を補助するために、人間にまねた様々な認知判断を行う装置が開発されてきたが、人間または動物の脳の能力には遠く及ばないことが多い。脳の持つ高い能力に少しでも迫るために、近年脳科学の知見をヒントとした新しい計算アルゴリズムに基づく機械装置の開発が模索されているが、それらの試みはまだ萌芽的段階にある。産業界の様々な業種で脳科学の知見を応用した新しい発想に基づく装置の開発が望まれているが、脳と機械では信号処理の原理、計算原理が全く異なり、脳科学の知見を機械に応用するのは容易でない。特に脳の研究は、分子生物学的研究から、行動、心理学的研究まで多岐にわたっており、脳は極めて複雑であるため、その中のどの知見が新装置の開発に役立つか明らかでない。このように、脳科学に学ぶことは重要とされながら、脳科学の知識を応用する具体的な手段は示されてこなかった。 Up to now, in order to assist human beings, devices for making various cognitive judgments imitating human beings have been developed, but they often do not reach the human brain ability. In recent years, the development of mechanical devices based on new computational algorithms inspired by the knowledge of brain science has been sought in order to get close to the high ability of the brain, but these attempts are still at an early stage. Development of devices based on new ideas applying brain science knowledge in various industries is desired, but the principles of signal processing and calculation principles are completely different between the brain and machine, and brain science knowledge is used in machines. It is not easy to apply. In particular, brain research ranges from molecular biological research to behavioral and psychological research. Since the brain is extremely complex, it is not clear which knowledge is useful for the development of new devices. Thus, while learning from brain science is considered important, no specific means of applying knowledge of brain science has been shown.
本実施の形態では脳科学実験で得られるタスク遂行中の脳活動データを用いて、脳の高度な特性を生かし、かつ、実装可能な計算アルゴリズムを提供して、画像データに対する識別性能を向上させる画像特徴量を学習することができるようにした。また、本実施の形態で学習される画像特徴量を用いることにより、これまでの認識機械での課題(例えば、画像による歩行者認識における、遮蔽やノイズの影響による誤認識及び不認識の問題)を解決することができる。 In this embodiment, brain activity data during task execution obtained in brain science experiments is used to make use of the advanced characteristics of the brain and provide a computational algorithm that can be implemented to improve discrimination performance for image data. Added the ability to learn image features. In addition, by using the image feature values learned in the present embodiment, problems with conventional recognition machines (for example, problems of misrecognition and non-recognition due to the influence of shielding or noise in pedestrian recognition using images) Can be solved.
また、本実施の形態では、脳から学ぶ現実的な方法を規定した。脳が行う知的タスクを、1)どの情報を使うか、2)その情報からどのように計算するか、に分けて考えるとき、本実施の形態では、1)のみについて脳から学び、2)については既存の数学的、工学的手法を適用し、脳からは学ばないようにした。このように学ぶ対象を明確に限定することにより、現実的かつ精密に脳科学の知見を取り入れた装置を開発することができる。 In the present embodiment, a realistic method of learning from the brain is defined. In this embodiment, when the intellectual tasks performed by the brain are divided into 1) which information is used and 2) how to calculate from the information, in this embodiment, only 1) is learned from the brain, and 2) I applied the existing mathematical and engineering methods to avoid learning from the brain. By clearly limiting the objects to be learned in this way, it is possible to develop a device that incorporates the knowledge of brain science realistically and precisely.
次に、第2の実施の形態について説明する。なお、第2の実施の形態に係る対象物識別装置の構成は、第1の実施の形態と同様であるため、同一符号を付して説明を省略する。 Next, a second embodiment will be described. In addition, since the structure of the target object identification apparatus which concerns on 2nd Embodiment is the same as that of 1st Embodiment, it attaches | subjects the same code | symbol and abbreviate | omits description.
第2の実施の形態では、学習されたニューラルネットワークから、画像データを入力したときの擬似脳活動データを取得している点が、第1の実施の形態と主に異なっている。 The second embodiment is mainly different from the first embodiment in that pseudo brain activity data when image data is input is acquired from a learned neural network.
第2の実施の形態では、対象物識別装置10の画像脳信号記憶部20に、画像データ及び擬似脳活動データのペアが複数記憶されている。 In the second embodiment, a plurality of pairs of image data and simulated brain activity data are stored in the image brain signal storage unit 20 of the object identification device 10.
画像脳信号記憶部20に記憶されている画像データ及び擬似脳活動データの複数ペアは、図7に示す擬似脳活動データ計測装置230によって得られる。擬似脳活動データ計測装置230は、CPUと、RAMと、後述する擬似脳信号取得処理ルーチンを実行するためのプログラムを記憶したROMとを備えたコンピュータであり、機能的には次に示すように構成されている。擬似脳活動データ計測装置230は、教師ラベルが付与された複数の画像データを予め記憶すると共に、対応する擬似脳活動データを格納するための画像脳信号記憶部238と、画像脳信号記憶部238から各画像データ及び教師ラベルを読み込んで、画像データが歩行者画像であるか非歩行者画像であるかを識別するためのニューラルネットワーク(擬似脳)を学習するニューラルネットワーク学習部240と、画像脳信号記憶部238から各画像データを読み込んでニューラルネットワークの入力層に入力する画像データ取得部242と、学習されたニューラルネットワークに基づいて、入力された画像データが歩行者画像であるか非歩行者画像であるかを識別するニューラルネットワーク識別部244と、画像データが入力されたときにニューラルネットワークの中間層の各ニューロンで観測された出力(擬似脳信号)を表わす擬似脳活動データを取得する擬似脳信号取得部246と、得られた擬似脳活動データを、入力された画像データと対応させて画像脳信号記憶部238に格納する記憶制御部248とを備えている。 A plurality of pairs of image data and simulated brain activity data stored in the image brain signal storage unit 20 are obtained by the simulated brain activity data measuring device 230 shown in FIG. The simulated brain activity data measuring device 230 is a computer including a CPU, a RAM, and a ROM that stores a program for executing a simulated brain signal acquisition processing routine to be described later. It is configured. The simulated brain activity data measuring device 230 stores in advance a plurality of image data to which a teacher label is assigned, and also stores an image brain signal storage unit 238 for storing corresponding pseudo brain activity data, and an image brain signal storage unit 238. A neural network learning unit 240 that reads each image data and teacher label from the image and learns a neural network (pseudo-brain) for identifying whether the image data is a pedestrian image or a non-pedestrian image; An image data acquisition unit 242 that reads each image data from the signal storage unit 238 and inputs it to the input layer of the neural network, and based on the learned neural network, whether the input image data is a pedestrian image or a non-pedestrian Neural network identification unit 244 for identifying whether the image is an image and when image data is input A pseudo brain signal acquisition unit 246 that acquires pseudo brain activity data representing an output (pseudo brain signal) observed in each neuron of the intermediate layer of the neural network, and the obtained pseudo brain activity data is inputted as image data and And a storage control unit 248 that stores the image brain signal storage unit 238 in a corresponding manner.
図8に示すように、本実施の形態で擬似脳として用いるニューラルネットワークモデルは、例えば、人工的神経回路網モデル(ANN)であり、入力層、中間層、及び出力層から構成され、各層は、少なくとも1つのニューロンを備えている。 As shown in FIG. 8, the neural network model used as a pseudo brain in the present embodiment is, for example, an artificial neural network model (ANN), which is composed of an input layer, an intermediate layer, and an output layer. , Comprising at least one neuron.
ニューラルネットワーク学習部240は、画像脳信号記憶部238から読み込んだ各画像データについて、画像データの各画素の画素値を、ニューラルネットワークの入力層の各ニューロンに入力したときに、出力層のニューロンから出力されるべき値を、当該画像データに対する教師ラベルに基づいて与えて、ニューラルネットワークを学習する。 For each image data read from the image brain signal storage unit 238, the neural network learning unit 240 inputs the pixel value of each pixel of the image data to each neuron of the input layer of the neural network, from the neurons of the output layer. A value to be output is given based on a teacher label for the image data, and the neural network is learned.
ニューラルネットワーク識別部244は、上記のように学習されたニューラルネットワークに基づいて、画像データが入力されたときの出力層の出力に従って、当該画像データが歩行者画像であるか非歩行者画像であるかを識別する
擬似脳活動データ計測装置230は、画像データ取得部242によって、画像脳信号記憶部238に記憶された複数の画像データを順次、学習されたニューラルネットワークに入力すると共に、擬似脳信号取得部246によって、各画像データをニューラルネットワークに入力したときに観測された擬似脳活動データを取得し、記憶制御部248によって、画像データと対応させて擬似脳活動データを画像脳信号記憶部238に記憶させる。これによって、画像脳信号記憶部238には、画像データと擬似脳活動データとのペアが複数記憶される。
The neural network identifying unit 244 is a pedestrian image or a non-pedestrian image according to the output of the output layer when the image data is input based on the neural network learned as described above. In the pseudo brain activity data measuring device 230, the image data acquisition unit 242 sequentially inputs a plurality of image data stored in the image brain signal storage unit 238 to the learned neural network, and the pseudo brain signal The acquisition unit 246 acquires the simulated brain activity data observed when each piece of image data is input to the neural network, and the storage control unit 248 stores the simulated brain activity data corresponding to the image data in the image brain signal storage unit 238. Remember me. As a result, the image brain signal storage unit 238 stores a plurality of pairs of image data and simulated brain activity data.
画像脳信号記憶部238に記憶された画像データと擬似脳活動データとの複数ペアが、対象物識別装置10のコンピュータ14に入力され、画像脳信号記憶部20には、擬似脳活動データ計測装置230の画像脳信号記憶部238と同じ画像データと擬似脳活動データとの複数ペアが記憶される。 A plurality of pairs of image data and simulated brain activity data stored in the image brain signal storage unit 238 are input to the computer 14 of the object identification device 10, and the simulated brain activity data measurement device is stored in the image brain signal storage unit 20. A plurality of pairs of the same image data and simulated brain activity data as the image brain signal storage unit 238 of 230 are stored.
次に、本実施の形態の作用について説明する。まず、歩行者を撮像することにより得られた複数の歩行者画像データと、歩行者以外を撮像することにより得られた非歩行者画像データとを用意し、各画像データに教師ラベルを与えて、脳活動データ計測装置30の画像脳信号記憶部38に格納する。 Next, the operation of the present embodiment will be described. First, prepare a plurality of pedestrian image data obtained by imaging pedestrians and non-pedestrian image data obtained by imaging other than pedestrians, and give a teacher label to each image data The image data is stored in the image brain signal storage unit 38 of the brain activity data measuring device 30.
そして、擬似脳活動データ計測装置230によって、図9に示す擬似脳信号取得処理ルーチンが実行される。 Then, the simulated brain activity data measurement device 230 executes a simulated brain signal acquisition processing routine shown in FIG.
まず、ステップ250において、画像脳信号記憶部238に記憶されている各画像データ及び教師ラベルを読み込み、ステップ252において、上記ステップ250で読み込んだ各画像データ及び教師ラベルに基づいて、ニューラルネットワークを学習する。 First, in step 250, each image data and teacher label stored in the image brain signal storage unit 238 is read. In step 252, a neural network is learned based on each image data and teacher label read in step 250. To do.
そして、ステップ254において、画像脳信号記憶部238に記憶されている1つの画像データを取得し、ステップ256において、上記ステップ254で取得した画像データを、ニューラルネットワークの入力層に入力する。 In step 254, one image data stored in the image brain signal storage unit 238 is acquired. In step 256, the image data acquired in step 254 is input to the input layer of the neural network.
そして、ステップ258において、上記ステップ256においてニューラルネットワークに画像データが入力されたときにニューラルネットワークの中間層の各ニューロンから出力される擬似脳信号を取得し、各ニューロンの擬似脳信号を表わす擬似脳活動データを取得する。そして、ステップ260において、画像脳信号記憶部238に、当該画像データと対応させて擬似脳活動データを格納する。ステップ262において、画像脳信号記憶部238に記憶されている全ての画像データについて、上記ステップ254〜ステップ260の処理を実行したか否かを判定する。上記ステップ254〜ステップ260の処理が実行されていない画像データが存在する場合には、上記ステップ254へ戻り、当該画像データについて、上記ステップ254〜ステップ260の処理を繰り返す。一方、全ての画像データについて、上記ステップ254〜ステップ260の処理を実行した場合には、擬似脳信号取得処理ルーチンを終了する。 In step 258, a pseudo brain signal output from each neuron in the intermediate layer of the neural network when image data is input to the neural network in step 256 is obtained, and a pseudo brain representing the pseudo brain signal of each neuron is obtained. Get activity data. In step 260, the simulated brain activity data is stored in the image brain signal storage unit 238 in association with the image data. In step 262, it is determined whether or not the processing in steps 254 to 260 has been executed for all image data stored in the image brain signal storage unit 238. If there is image data for which the processing in steps 254 to 260 has not been performed, the process returns to step 254, and the processing in steps 254 to 260 is repeated for the image data. On the other hand, when the processes in steps 254 to 260 are executed for all image data, the pseudo brain signal acquisition process routine is terminated.
なお、第2の実施の形態に係る対象物識別装置10の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。 In addition, since it is the same as that of 1st Embodiment about the structure and effect | action of the target object identification apparatus 10 which concern on 2nd Embodiment, description is abbreviate | omitted.
以上説明したように、第2の実施の形態に係る対象物識別装置によれば、画像データと、当該画像データを与えたときにニューラルネットワークから得られる擬似脳活動データとに対して、カーネル正準相関分析を行って、カーネル関数の重みを学習し、学習された重みを適用した画像側の正準相関変数を、画像特徴量とすることにより、画像データに対する識別性能を向上させる画像特徴量を学習することができる。 As described above, according to the object identification device according to the second embodiment, kernel correction is performed on image data and pseudo brain activity data obtained from a neural network when the image data is given. Image feature quantity that improves identification performance for image data by performing quasi-correlation analysis, learning kernel function weights, and using image-side canonical correlation variables as learned image weights Can learn.
次に、第3の実施の形態について説明する。音データを識別する音識別装置に本発明を適用した場合を例に説明する。なお、第3の実施の形態に係る音識別装置及び脳活動データ計測装置の構成は、第1の実施の形態とほぼ同様の構成となっているため、同一符号を付して説明を省略する。 Next, a third embodiment will be described. A case where the present invention is applied to a sound identification device for identifying sound data will be described as an example. Note that the configurations of the sound identification device and the brain activity data measurement device according to the third embodiment are substantially the same as those of the first embodiment, and thus the same reference numerals are given and description thereof is omitted. .
第3の実施の形態では、画像データではなく、音データを被験者に与え、得られる脳活動データから、音特徴量を学習している点が、第1の実施の形態と異なっている。 The third embodiment is different from the first embodiment in that sound data is given to the subject instead of image data, and the sound feature amount is learned from the obtained brain activity data.
第3の実施の形態では、脳活動データ計測装置において、音データに基づいて音出力装置によって被験者に対して音出力し、このときに得られる各部位の脳波信号を表わす脳活動データを取得する。 In the third embodiment, in the brain activity data measuring device, the sound output device outputs a sound to the subject based on the sound data, and the brain activity data representing the electroencephalogram signal of each part obtained at this time is acquired. .
また、第3の実施の形態に係る音識別装置は、音データの周波数スペクトルデータと、脳活動データとの複数ペアから、上記(1)式で表わされる相関を最大にするカーネル関数の重みα、βを学習すると共に、学習された重みα及び学習用の音データx(j)を用いて上記(6)式で表わされる音側のn0個の正準相関変数を、音特徴量として決定し、学習された上記(6)式の重みα及び音データx(j)を含む各パラメータを学習結果記憶部24に格納する。 In addition, the sound identification apparatus according to the third embodiment has a kernel function weight α that maximizes the correlation expressed by the above equation (1) from a plurality of pairs of frequency spectrum data of sound data and brain activity data. , Β, and using the learned weight α and learning sound data x (j) , n 0 canonical correlation variables on the sound side represented by the above equation (6) are used as sound feature quantities. Each parameter including the weight α and the sound data x (j) determined and learned in the equation (6) is stored in the learning result storage unit 24.
また、音識別装置は、第1の実施の形態と同様に、上記のように学習された音特徴量を用いて、SVMモデルを学習すると共に、音入力装置から入力された音データの周波数スペクトルデータから、音特徴量を算出して、学習されたSVMモデルを用いて、音データを識別する。 In addition, the sound identification device learns the SVM model using the sound feature amount learned as described above, and the frequency spectrum of the sound data input from the sound input device, as in the first embodiment. A sound feature amount is calculated from the data, and the sound data is identified using the learned SVM model.
このように、第3の実施の形態に係る音識別装置によれば、音データと、当該音データを出力したときに得られる脳活動データとに対して、カーネル正準相関分析を行って、カーネル関数の重みを学習し、学習された重みを適用した音側の正準相関変数を、音特徴量とすることにより、音データに対する識別性能を向上させる音特徴量を学習することができる。 Thus, according to the sound identification device according to the third embodiment, kernel canonical correlation analysis is performed on sound data and brain activity data obtained when the sound data is output. By learning the weight of the kernel function and using the learned canonical correlation variable on the sound side as the sound feature value, it is possible to learn the sound feature value that improves the discrimination performance for the sound data.
なお、上記の第3の実施の形態において、上記第2の実施の形態で説明した手法と同様に、ニューラルネットワークなどの擬似脳を用いてもよい。この場合には、音データの周波数スペクトルデータを用いて、ニューラルネットワークを学習し、音データの周波数スペクトルデータを、学習されたニューラルネットワークに入力したときの擬似脳活動データを取得するようにすればよい。 In the third embodiment, a pseudo brain such as a neural network may be used as in the method described in the second embodiment. In this case, the neural network is learned using the frequency spectrum data of the sound data, and the pseudo brain activity data when the frequency spectrum data of the sound data is input to the learned neural network is acquired. Good.
また、上記の第1の実施の形態〜第3の実施の形態では、画像データ又は音データを識別するための画像特徴量、又は音特徴量を学習する場合について説明したが、脳は視覚、聴覚の他に、嗅覚、触覚、味覚などの感覚信号も処理弁別しており、このような別の感覚に対しても本発明を適用可能である。例えば、n個の化学物質センサで検出される各信号を表わす匂いデータに対して、食欲をそそるに匂いかを識別する匂い識別装置に本発明を適用してもよい。視覚の場合には、画像データが、ピクセル数の次元のベクトルであったが、嗅覚の場合は、匂いデータが、センサ個数の次元のベクトルトルとなり、匂いデータと脳活動データとに対して、カーネル正準相関分析を行って、嗅覚特徴量を学習すればよい。その結果、匂い判別に有利な嗅覚特徴量Ia(x)が得られ、嗅覚特徴量に基づいて、匂いを高精度に識別することができる。 In the first to third embodiments, the image feature amount for identifying image data or sound data or the case of learning the sound feature amount has been described. In addition to hearing, sensory signals such as olfaction, touch, and taste are also discriminated, and the present invention can be applied to such other senses. For example, the present invention may be applied to an odor discriminating apparatus for discriminating whether an odor is appetizing with respect to odor data representing each signal detected by n chemical substance sensors. In the case of vision, the image data is a vector of the number of pixels, but in the case of the olfaction, the odor data is a vector vector of the number of sensors, and for the odor data and the brain activity data, A kernel canonical correlation analysis may be performed to learn olfactory features. As a result, an olfactory feature quantity I a (x) advantageous for odor discrimination is obtained, and the odor can be identified with high accuracy based on the olfactory feature quantity.
また、例えば、指先の感じる質感でその材質が木製であるかないかを識別する触覚識別装置に本発明を適用してもよい。この場合には、n個の触覚センサの出力を表わす触覚データと脳活動データとに対してカーネル正準相関分析を行って、材質判別に有利な触覚特徴量を学習することができる。 In addition, for example, the present invention may be applied to a tactile sensation identification device that identifies whether a material is wooden or not with a texture felt by a fingertip. In this case, kernel canonical correlation analysis is performed on the tactile data representing the outputs of the n tactile sensors and the brain activity data to learn tactile feature quantities advantageous for material discrimination.
また、上記の第2の実施の形態では、ニューラルネットワーク(疑似脳)を用いて、擬似脳活動データを取得する場合を例に説明したが、これに限定されるものではない。現存する多数の人工的視覚処理信号装置に、本発明で提案した手法を応用して、それらの装置がどのように一定の識別性能を発揮しているかを調べることも可能である。例えば、人工的視覚処理信号装置が、A=>B=>C=>...=>Eのように途中に何段か処理ステップを有する場合、興味ある処理ステップ、例えばA=>Cの間に対してカーネル正準相関分析を行って、Aの段に入力されるデータにおいて、識別に有利な特徴量が何かを理解するのに役立ててもよい。 In the second embodiment, the case where pseudo brain activity data is acquired using a neural network (pseudo brain) has been described as an example. However, the present invention is not limited to this. It is also possible to examine how the devices exhibit a certain discrimination performance by applying the technique proposed in the present invention to many existing artificial visual processing signal devices. For example, if the artificial visual processing signal device is A => B => C =>. . . => E, if there are several processing steps in the middle, the kernel canonical correlation analysis is performed between the processing steps of interest, for example, A => C, and the data input to the A stage , It may be useful for understanding what is a characteristic quantity advantageous for identification.
また、上記の第1の実施の形態〜第3の実施の形態では、カーネル正準相関分析(KCCA)を用いた場合について示したが、通常の正準相関分析(CCA)を用いるだけで十分な性能が得られる場合もありうる。従って、実施手順として、まずはCCAを用いて、画像特徴量を学習し、学習された画像特徴量を用いた識別性能が不十分であった場合に、KCCAを用いて、画像特徴量を学習するようにしてもよい。 In the first to third embodiments, the case where the kernel canonical correlation analysis (KKCA) is used is described. However, it is sufficient to use the normal canonical correlation analysis (CCA). In some cases, a good performance can be obtained. Therefore, as an implementation procedure, first, the image feature amount is learned using CCA, and when the identification performance using the learned image feature amount is insufficient, the image feature amount is learned using KCCA. You may do it.
また、上記の第1の実施の形態、第3の実施の形態では、人間の脳について脳活動データを計測する場合を例に説明したが、これに限定されるものではなく、他の生物(例えばラットやサル)の脳について脳活動データを計測してもよい。例えば、手書き数字などの判別ができるように生物を訓練でき、その判別時の脳活動(例えば一次視覚野)を2光子顕微鏡や多点電極などを用いて計測できれば、脳活動データとして用いることができる。 In the first embodiment and the third embodiment, the case where brain activity data is measured for the human brain has been described as an example. However, the present invention is not limited to this, and other organisms ( For example, brain activity data may be measured for the brains of rats and monkeys. For example, if the organism can be trained so that handwritten numbers can be discriminated and the brain activity (for example, primary visual cortex) at the time of discrimination can be measured using a two-photon microscope or a multipoint electrode, it can be used as brain activity data. it can.
また、SVM識別器を用いて、画像の識別処理を行う場合を例に説明したが、これに限定されるものではなく、従来既知の他の識別手法(例えば、最近傍識別、線形判別など)を用いて、画像の識別処理を行うようにしてもよい。 Moreover, although the case where image identification processing is performed using an SVM classifier has been described as an example, the present invention is not limited to this, and other conventionally known identification methods (for example, nearest neighbor identification, linear discrimination, etc.) May be used to perform image identification processing.
また、撮像装置から撮像画像を取得し、撮像画像に対し、歩行者画像であるか否かを識別する場合を例に説明したが、これに限定されるものではなく、ハードディスク装置から画像データを読み込み、読み込んだ画像データに対し、歩行者画像であるか否かを識別してもよい。 Moreover, although the case where the captured image is acquired from the imaging device and the captured image is identified as to whether it is a pedestrian image has been described as an example, the present invention is not limited thereto, and the image data is acquired from the hard disk device. You may identify whether it is a pedestrian image with respect to the read image data and read.
また、様々な大きさの切り出しウィンドウを用いて、撮像画像からウィンドウ画像を抽出し、各ウィンドウ画像に対して、学習された画像特徴量を算出して、歩行者画像であるか否かを識別してもよい。 In addition, a window image is extracted from the captured image using cutout windows of various sizes, and a learned image feature amount is calculated for each window image to identify whether it is a pedestrian image or not. May be.
また、識別対象物が人物である場合を例に説明したが、これに限定されるものではなく、人物以外の物体を識別対象物としてもよい。 Moreover, although the case where the identification target object is a person has been described as an example, the present invention is not limited to this, and an object other than a person may be used as the identification target object.
なお、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをCDROM等の記憶媒体に格納して提供することも可能である。 In the specification of the present application, the embodiment has been described in which the program is installed in advance. However, the program may be provided by being stored in a storage medium such as a CDROM.
本発明を適用した対象物識別装置の実施例について説明する。以下では、第2の実施の形態で説明した対象物識別装置10及び擬似脳活動データ計測装置230の実施例について説明する。 An embodiment of an object identification device to which the present invention is applied will be described. Hereinafter, examples of the object identification device 10 and the simulated brain activity data measurement device 230 described in the second embodiment will be described.
手書き数字は書き手によって様々な癖があるため、それぞれの手書き数字がどの数字を意味するかの識別は、困難な画像識別問題の一つである。特に手書き文字の一部が遮蔽されている場合には、その認識は自動認識機械にとっては困難を極めるが、そのような状況でも人間の脳はどの数字かを何とか識別することができる。ここでは、人間の脳の代わりに十分なトレーニングセットを与え、十分な時間かけてトレーニングされた人工的神経回路網モデル(ANN)を疑似脳として用い、この疑似脳を、上記の第2の実施の形態で説明した方法により学習することによって、数字弁別の能力を獲得する対象物識別装置を製作した実施例について説明する。 Since handwritten numbers have various habits depending on the writer, identifying which number each handwritten number means is one of the difficult image identification problems. In particular, when a part of a handwritten character is shielded, the recognition is extremely difficult for an automatic recognition machine, but even in such a situation, the human brain can somehow identify which number. Here, an artificial neural network model (ANN) given a sufficient training set in place of the human brain and trained for a sufficient amount of time is used as a pseudo brain, and this pseudo brain is used in the second implementation described above. An embodiment will be described in which an object identification device that acquires the ability of numerical discrimination by learning by the method described in the above embodiment is manufactured.
まず、図10に示すような、通常の手書き数字を示す画像データ{x(1),x(2),・・・x(N)}(基本数字画像データと呼ぶ)と、遮蔽された手書き数字を示す画像データ{ ̄x(1), ̄x(2),・・・ ̄x(N’)}(遮蔽数字画像データと呼ぶ)をトレーニングセットとして与え、正答率95%以上で正答するようにANNの学習を行った(ANNの出力層10個のうち一番大きな値を出力とする)。 First, as shown in FIG. 10, image data {x (1) , x (2) ,... X (N) } (referred to as basic numeral image data ) indicating normal handwritten numerals and shielded handwriting. Image data indicating numbers { ̄x (1) ,  ̄x (2) ,... ' X ( N ′) } (referred to as shielded numeric image data) is given as a training set, and correct answers with a correct answer rate of 95% or more are given. Thus, ANN learning was performed (the largest value among the ten output layers of ANN was used as the output).
手書き文字のデータベースとしては、電子技術総合研究所(現・産業技術総合研究所)のETL6データベース(数字)、ETL7lデータベース(平仮名)を使い、文字としては、計算負荷の都合上14×14画素の画像にダウンサンプリングしたものを使った。したがって、{x(j)}、{ ̄x(j)}は、それぞれ、14×14=196次元のベクトルである。 As the database of handwritten characters, the ETL6 database (numbers) and the ETL7l database (Hiragana) of the Electronic Technology Research Institute (currently the National Institute of Advanced Industrial Science and Technology) are used. I used a downsampled image. Therefore, {x (j) } and { ̄x (j) } are 14 × 14 = 196-dimensional vectors, respectively.
上記のトレーニング済みのANNを、擬似脳活動データ計測装置230のニューラルネットワークとして用いた。 The trained ANN was used as a neural network of the simulated brain activity data measuring device 230.
次に、この疑似脳の脳活動を表す中間層の60個のニューロンの出力を表わす擬似脳活動データと画像データの間の相関を、第1の実施の形態で説明した手法で計算する。その際のデータセットとしては、手書き数字を示す画像データ{x(1),x(2),・・・x(N)}、{ ̄x(1), ̄x(2),・・・ ̄x(N’)}と、それらに対応する中間層の各ニューロンの出力を表わす擬似脳活動データ{y(1),y(2),・・・y(N)}、{ ̄y(1), ̄y(2),・・・ ̄y(N’)}とを用いる。これらのデータ組に基づいて、相関を最大化する正準相関変数を画像特徴量として学習した。 Next, the correlation between the simulated brain activity data representing the output of 60 neurons in the intermediate layer representing the brain activity of the simulated brain and the image data is calculated by the method described in the first embodiment. As a data set at that time, image data {x (1) , x (2) ,... X (N) }, { ̄x (1) ,  ̄x (2) ,.  ̄x (N ′) } and pseudo brain activity data {y (1) , y (2) ,... Y (N) } representing the output of each neuron in the corresponding intermediate layer, { ̄y ( 1) ,  ̄y (2) , ...  ̄y (N ') }. Based on these data sets, a canonical correlation variable that maximizes the correlation was learned as an image feature amount.
第1の実施の形態で説明したように、画像側、脳活動側の双方を高次元特徴空間に写像した後、それぞれの特徴空間の中のある方向a(1)及びb(1)への射影した対、aT (1)φ(x)、bT (1)Ψ(y)を考え、これらが最も相関の高い1次元の対となるようなa(1)及びb(1)を見つけることができる。それが第1正準相関変数の対である。図11(A)に示すように、実際にこの例について計算されたaT (1)φ(x)、bT (1)Ψ(y)の対は、良く相関していることが確認された(相関値=0.997)。なお、x軸が画像側、y軸が脳活動側の変数である。 As described in the first embodiment, after mapping both the image side and the brain activity side to the high-dimensional feature space, the direction to a direction a (1) and b (1) in each feature space is changed. Consider the projected pairs, a T (1) φ (x), b T (1) Ψ (y), and a (1) and b (1) such that these are the most correlated one-dimensional pairs. Can be found. That is a pair of first canonical correlation variables. As shown in FIG. 11A, it is confirmed that the a T (1) φ (x) and b T (1) Ψ (y) pairs actually calculated for this example are well correlated. (Correlation value = 0.997). The x-axis is a variable on the image side, and the y-axis is a variable on the brain activity side.
詳しくは、総計900個の手書き数字画像データのうち、500個の数字画像データをANNに入力したときの擬似脳活動データを使って上記の第一正準相関変数を決め、その決定に使わなかった残りの400個の手書き数字画像データについて正準相関変数の対を求めた。求められた正準相関変数対の値が図11(A)に示され、それぞれが何の数字(0〜9)であるかが示されている。同様に図11(B)、図12(A)、(B)に、第2、3、4の正準相関変数の対を示す。どの対も非常に良く相関していることが分かった。 Specifically, among the total 900 handwritten numeric image data, the first canonical correlation variable is determined using the pseudo brain activity data when 500 numeric image data is input to the ANN, and is not used for the determination. A pair of canonical correlation variables was determined for the remaining 400 handwritten numeral image data. The values of the obtained canonical correlation variable pairs are shown in FIG. 11A and indicate what numbers (0 to 9) each is. Similarly, FIGS. 11B, 12A, and 12B show pairs of second, third, and fourth canonical correlation variables. All pairs were found to correlate very well.
また、多数の手書き数字画像データのうち、“0”を表す画像データには1番から40番までの背番号を、“1”を表す画像データには41番から80番の背番号を、というように、総計400個の手書き数字画像データに1番から400番までの背番号を付けて、図13(A)に、背番号の若い順に下から上へ、画像側の第1正準相関変数の値aT (1)φ(x)を横軸として示した。図13(B)は同様に第2正準相関変数の値aT (2)φ(x)を横軸に示したものである。 Of the many handwritten numeral image data, the image data representing “0” is assigned the back number from 1 to 40, the image data representing “1” is assigned the back number from 41 to 80, In this way, a total number of 400 handwritten numeral image data is assigned with a back number from 1 to 400, and FIG. 13A shows the first canonical image on the image side from the bottom to the top in ascending order of the back number. The value a T (1) φ (x) of the correlation variable is shown on the horizontal axis. FIG. 13B similarly shows the value a T (2) φ (x) of the second canonical correlation variable on the horizontal axis.
正準相関変数の値は具体的にはカーネル関数の線形結合として以下の(10)式のように算出されるが、正準相関変数の値は、画像xを与える毎に計算できる値であるから、画像特徴量とみなせる。この画像特徴量が手書き数字の弁別に有効な特徴量であることは、上記図13(A)、(B)から理解できる。なぜなら、例えば、第一正準相関変数が−0.02より小さければ、手書き数字が、{1,4,7}または低い確率で{2,9}であることが分かり、第一正準相関変数が.01より大きければ、手書き数字が{0,5,6}または低い確率で{2,8}であることが分かる。第一正準相関変数でここまで限定した後、第2正準相関変数の値もみれば、さっき区別しきれなかった{1,4,7}をかなり確実に識別できる。 The value of the canonical correlation variable is specifically calculated as the following equation (10) as a linear combination of kernel functions. The value of the canonical correlation variable is a value that can be calculated every time the image x is given. Therefore, it can be regarded as an image feature amount. It can be understood from FIGS. 13A and 13B that the image feature amount is an effective feature amount for discrimination of handwritten numerals. Because, for example, if the first canonical correlation variable is smaller than −0.02, the handwritten number is found to be {1, 4, 7} or {2, 9} with a low probability, and the first canonical correlation variable The variable is. If it is greater than 01, it can be seen that the handwritten digit is {0, 5, 6} or {2, 8} with a low probability. After limiting to this point with the first canonical correlation variable, {1, 4, 7} that could not be distinguished before can be identified with certainty by looking at the value of the second canonical correlation variable.
このように、手書き数字の弁別をこなす疑似脳から学ぶ形で作られた正準相関変数は、有用な画像特徴量である。一方で、脳から直接は学ばない従来の画像特徴量である画像のPCA(主成分分析)の第1、第2成分を図示したのが図14(A)、(B)である。これらの成分はもとの画素数196次元から最も分散の大きな方向を取りだしたものである。しかし、図14(A)、(B)から分かるように、これら特徴量の値は異なる数字間で大幅に重なっていて、数字を識別するための画像特徴量として有用でないことが分かる。 In this way, the canonical correlation variable created by learning from the pseudo brain that discriminates handwritten numerals is a useful image feature amount. On the other hand, FIGS. 14A and 14B show the first and second components of PCA (principal component analysis) of an image, which is a conventional image feature quantity that cannot be learned directly from the brain. These components are extracted in the direction of the greatest dispersion from the original number of pixels of 196 dimensions. However, as can be seen from FIGS. 14A and 14B, the values of the feature quantities are greatly overlapped between different numbers, and it can be seen that they are not useful as image feature quantities for identifying the numbers.
このように、脳から直接は学ばない従来の画像弁別アルゴリズムに対して、本発明で提案した脳から学ぶアルゴリズムの有意性が確認できた。 Thus, the significance of the algorithm learned from the brain proposed in the present invention was confirmed with respect to the conventional image discrimination algorithm not learned directly from the brain.
次に、カーネル正準相関分析(KCCA)を使い脳から学んで構成した、相関が0.4以上となる全ての画像側の正準相関変数を画像特徴量として用いて、上記(9)式に示すカーネル関数を使った画像弁別アルゴリズムKCCA−SVMの性能を評価する。 Next, using all canonical correlation variables on the image side having a correlation of 0.4 or more, constructed by learning from the brain using kernel canonical correlation analysis (KCCA), the above equation (9) is used. The performance of the image discrimination algorithm KCCA-SVM using the kernel function shown in FIG.
評価の課題は遮蔽への対応能力である。即ち、手書き文字の典型と考えられる、上記図10の左上部に示すような基本手書き数字(遮蔽なし)の分類がほぼ100%正しく出来るようにトレーニングされたSVM識別器の性能が、遮蔽を受けた手書き数字に対してどの程度低下するかをテストした。具体的には、与えられた遮蔽手書き数字が”5”であるかないかの2択問題で、テストした。 The issue of evaluation is the ability to respond to shielding. That is, the performance of the SVM classifier trained so that the classification of basic handwritten numerals (no occlusion) as shown in the upper left part of FIG. We tested how much it declined against handwritten numbers. Specifically, the test was performed with a two-choice question whether the given handwritten handwritten numeral is “5” or not.
なお、このように遮蔽文字でトレーニングを受けていないSVMやKCCA−SVMが遮蔽文字にどの程度対応できるのかがここでの評価であるが、ANNは遮蔽を受けた文字でも区別する能力のある“擬似脳”である、という想定なので、ANNのトレーニングセットには遮蔽文字を含み、遮蔽文字も識別できるようにANNが学習されている。 It should be noted that the evaluation here is to what extent SVM and KCCA-SVM that are not trained with shield characters can cope with shield characters, but ANN has the ability to distinguish even shielded characters. Since it is assumed that it is a “pseudo-brain”, the ANN training set includes a shield character, and the ANN is learned so that the shield character can be identified.
まず、以下の(11)式で表されるカーネル関数を使用する従来のSVMの成績をみると、図15に示すように、その正解率は、手書き文字の遮蔽により100%から大きく落ち込む。 First, looking at the results of a conventional SVM that uses the kernel function expressed by the following equation (11), as shown in FIG. 15, the accuracy rate drops significantly from 100% due to the shielding of handwritten characters.
一方、本発明で提案したKCCA−SVMでの正解率は、遮蔽の影響をほとんど受けず、ほぼ100%にとどまっている。どちらの弁別アルゴリズムも、SVMモデルのトレーニングセットとしては遮蔽を含まない基本手書き文字しか与えていないが、KCCA−SVMはその構成上、文字の識別をうまくやるための一般的指針を疑似脳から学んでいるので、数字への遮蔽に効果的に対応できていることがわかった。 On the other hand, the accuracy rate in the KCCA-SVM proposed in the present invention is hardly affected by the shielding and is almost 100%. Both discriminant algorithms give only basic handwritten characters that do not include occlusion as the training set of the SVM model, but KCCA-SVM has learned from the pseudo-brain the general guidelines for successful character identification. As a result, it was found that it was able to effectively cope with shielding against numbers.
ここでは、基本文字群と、それを遮蔽という視覚上の妨害因子(ディストラクター)を加えた文字群との両方を正しく弁別できる疑似脳(ANN)を用意し、そのANNの遮蔽への対応能力を本発明で提案したKCCAを使って引き出すために、ANNへの刺激入力として、遮蔽文字を含む文字群を使用し、このときの脳活動を用いて正準相関変数を求めた。このやり方は、視覚弁別において、対応したい妨害因子が何であるかが初めから決まっていて、かつ脳がそれに対応できることもあらかじめわかっている場合に具体的に適用できる。 Here, we prepared a pseudo brain (ANN) that can correctly discriminate both the basic character group and the character group added with the visual hindrance factor (distractor) that shields it. Is extracted using the KCCA proposed in the present invention, a character group including a shield character is used as a stimulus input to the ANN, and a canonical correlation variable is obtained using the brain activity at this time. This method can be concretely applied in the case of visual discrimination in which it is determined from the beginning what the disturbing factor that the user wants to deal with is known, and it is known in advance that the brain can cope with it.
一方、脳は、一般に遮蔽だけでなくインクによる汚れやライティング条件の変化など多種多様な妨害因子への対応能力を持っているはずなので、予め特定の妨害因子を想定してその対応能力だけを脳から学ぼうとするのでなく、脳のいくつかの妨害因子への対応能力を、妨害因子の事前特定なしに学ぶことができれば、脳から学ぶ方法としてさらに有用であると考えられる。 On the other hand, the brain generally has not only shielding but also ability to cope with various interference factors such as ink stains and changes in lighting conditions. If it is possible to learn the ability of the brain to respond to several disturbing factors without prior identification of the disturbing factors, it would be more useful as a method of learning from the brain.
そこで、妨害因子の事前特定なしに、種々の妨害因子への対応能力を学習可能かどうかを調べた。妨害因子を“遮蔽”と特定しないので、KCCAで正準相関変数を求める際のANNへの入力刺激(以下、相関変数抽出刺激と呼ぶこととする。)として遮蔽された数字は使えない。代わりに、ここでは図16に示すような手書き平仮名(およびそれに回転、反転、遮蔽を加えたもの)の集まりを、相関変数抽出刺激として使うことにする。なお、この手書き平仮名(およびそれに回転、反転、遮蔽を加えたもの)が、関連感覚データの一例である。上記図16に示す相関変数抽出刺激に基づいて、上と同じ手続きで正準相関変数を求め、画像側の正準相関変数を画像特徴量として使ったKCCA−SVMの手書き数字(遮蔽されたものを含14の識別性能を調べた。上記図15に示す通り、上記の手書き平仮名を入力刺激とした場合でも極めて高い識別性能を有することが分かった。このことは、妨害要因をあらかじめ正確に知らなくても、脳が備えている妨害要因への対応能力をKCCAで読み取り、その能力を身に付けたSVM分類器(KCCA−SVM)を構築できることを意味し、本発明で提案した手法のさらなる有用性が示された。 Therefore, we investigated whether it was possible to learn the ability to cope with various disturbing factors without prior identification of the disturbing factors. Since the interfering factor is not specified as “shielding”, a shielded number cannot be used as an input stimulus (hereinafter referred to as a correlation variable extraction stimulus) to the ANN when a canonical correlation variable is obtained by KCCA. Instead, here, a collection of handwritten hiragana characters as shown in FIG. 16 (and rotations, inversions, and shieldings added) is used as a correlation variable extraction stimulus. In addition, this handwritten hiragana (and the one added with rotation, inversion, and shielding) is an example of related sense data. Based on the correlation variable extraction stimulus shown in FIG. 16 above, the canonical correlation variable is obtained by the same procedure as above, and the KCCA-SVM handwritten numeral (shielded one) using the canonical correlation variable on the image side as the image feature amount. 15, it was found that even when the above handwritten hiragana is used as an input stimulus, the discrimination performance is extremely high. Even if it is not, it means that the ability of the brain to cope with disturbing factors can be read with KCCA, and an SVM classifier (CKCA-SVM) with that ability can be constructed. The usefulness was shown.
10 対象物識別装置
14 コンピュータ
20 画像脳信号記憶部
22 画像特徴量学習部
24 学習結果記憶部
26 対象物検出部
30 脳活動データ計測装置
32 キャップ型電極
34 表示装置
36 コンピュータ
38、238 画像脳信号記憶部
50 特徴量算出部
52 識別モデル学習部
54 識別モデル記憶部
56 特徴量算出部
58 識別部
230 擬似脳活動データ計測装置
240 ニューラルネットワーク学習部
244 ニューラルネットワーク識別部
DESCRIPTION OF SYMBOLS 10 Object identification apparatus 14 Computer 20 Image brain signal memory | storage part 22 Image feature-value learning part 24 Learning result memory | storage part 26 Target object detection part 30 Brain activity data measuring device 32 Cap-type electrode 34 Display device 36 Computer 38, 238 Image brain signal Storage unit 50 Feature amount calculation unit 52 Identification model learning unit 54 Identification model storage unit 56 Feature amount calculation unit 58 Identification unit 230 Pseudo brain activity data measuring device 240 Neural network learning unit 244 Neural network identification unit
Claims (8)
予め用意された複数の感覚データの各々から、前記学習手段によって学習された前記感覚特徴量を算出する第2特徴量算出手段と、
前記第2特徴量算出手段によって算出された前記感覚特徴量と対応する感覚データに対して予め求められた識別結果とを学習データとして、前記感覚データを識別するための識別モデルを学習する識別モデル学習手段と、
入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出された前記感覚特徴量と前記識別モデルとに基づいて、前記感覚データを識別する識別手段と、
を含む感覚データ識別装置。 Kernel canonical correlation analysis is performed on brain activity data representing the signals measured at each measurement point of the brain of the organism when sensory data or related sensory data is given, and the sensory data or the related sensory data. Learning weights in a canonical correlation variable represented by a linear sum of kernel functions so that the correlation between the brain activity data and the sensory data or the related sensory data is high, and using the learned weights A learning means that uses a quasi-correlation variable as a sensory feature amount for identifying the sensory data,
Second feature amount calculating means for calculating the sensory feature value learned by the learning means from each of a plurality of sensory data prepared in advance;
An identification model for learning an identification model for identifying the sensory data using, as learning data, an identification result obtained in advance for the sensory data corresponding to the sensory feature quantity calculated by the second feature quantity calculating means. Learning means,
Feature quantity calculating means for calculating the sensory feature quantity learned by the learning means from input sensory data;
Identification means for identifying the sensory data based on the sensory feature quantity calculated by the feature quantity calculation means and the identification model ;
Sensory data identification device including
予め用意された複数の感覚データの各々から、前記学習手段によって学習された前記感覚特徴量を算出する第2特徴量算出手段と、
前記第2特徴量算出手段によって算出された前記感覚特徴量と対応する感覚データに対して予め求められた識別結果とを学習データとして、前記感覚データを識別するための識別モデルを学習する識別モデル学習手段と、
入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出された前記感覚特徴量と前記識別モデルとに基づいて、前記感覚データを識別する識別手段と、
を含む感覚データ識別装置。 When the sensory data or the related sensory data is given to the neural network learned as learning data, a combination of the sensory data and the identification result obtained in advance for the sensory data, each neuron in the intermediate layer of the neural network A kernel canonical correlation analysis is performed on the simulated brain activity data representing the observed output and the sensory data or the related sensory data to correlate the simulated brain activity data with the sensory data or the related sensory data. So that the weight in a canonical correlation variable represented by a linear sum of kernel functions is learned, and the canonical correlation variable using the learned weight is a sensory feature amount for identifying the sensory data Learning means to
Second feature amount calculating means for calculating the sensory feature value learned by the learning means from each of a plurality of sensory data prepared in advance;
An identification model for learning an identification model for identifying the sensory data using, as learning data, an identification result obtained in advance for the sensory data corresponding to the sensory feature quantity calculated by the second feature quantity calculating means. Learning means,
Feature quantity calculating means for calculating the sensory feature quantity learned by the learning means from input sensory data;
Identification means for identifying the sensory data based on the sensory feature quantity calculated by the feature quantity calculation means and the identification model ;
Sensory data identification device including
ただし、Ia (n)(x)は、前記入力された感覚データxの前記感覚特徴量であり、aT (n)φ(x)は、n番目の前記正準相関変数であり、x(j)は、カーネル正準相関分析のために予め与えられたj番目の前記感覚データ又は前記関連感覚データである。ka(x(j),x)はj番目の前記カーネル関数であり、αj (n)は前記j番目のカーネル関数に対する前記重みである。 The sensory data identification device according to claim 1, wherein the sensory feature amount is represented by the following expression.
Where I a (n) (x) is the sensory feature quantity of the input sensory data x, a T (n) φ (x) is the nth canonical correlation variable, and x (j) is the j-th sensory data or the related sensory data given in advance for kernel canonical correlation analysis. k a (x (j) , x) is the j-th kernel function, and α j (n) is the weight for the j-th kernel function.
感覚データ又は関連感覚データを与えたときに生物の脳の各計測点で計測された信号を表わす脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段、
予め用意された複数の感覚データの各々から、前記学習手段によって学習された前記感覚特徴量を算出する第2特徴量算出手段と、
前記第2特徴量算出手段によって算出された前記感覚特徴量と対応する感覚データに対して予め求められた識別結果とを学習データとして、前記感覚データを識別するための識別モデルを学習する識別モデル学習手段と、
入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段、及び
前記特徴量算出手段によって算出された前記感覚特徴量と前記識別モデルとに基づいて、前記感覚データを識別する識別手段
として機能させるためのプログラム。 Computer
Kernel canonical correlation analysis is performed on brain activity data representing the signals measured at each measurement point of the brain of the organism when sensory data or related sensory data is given, and the sensory data or the related sensory data. Learning weights in a canonical correlation variable represented by a linear sum of kernel functions so that the correlation between the brain activity data and the sensory data or the related sensory data is high, and using the learned weights A learning means that uses a quasi-correlation variable as a sensory feature amount for identifying the sensory data,
Second feature amount calculating means for calculating the sensory feature value learned by the learning means from each of a plurality of sensory data prepared in advance;
An identification model for learning an identification model for identifying the sensory data using, as learning data, an identification result obtained in advance for the sensory data corresponding to the sensory feature quantity calculated by the second feature quantity calculating means. Learning means,
Based on the input sensory data, the feature quantity calculating means for calculating the sensory feature quantity learned by the learning means, and the sensory feature quantity calculated by the feature quantity calculating means and the identification model , A program for functioning as an identification means for identifying sensory data.
感覚データと前記感覚データに対して予め求められた識別結果との組み合わせを学習データとして学習されたニューラルネットワークに前記感覚データ又は関連感覚データを与えたときに前記ニューラルネットワークの中間層の各ニューロンで観測された出力を表わす擬似脳活動データと前記感覚データ又は前記関連感覚データとに対して、カーネル正準相関分析を行って、前記擬似脳活動データと前記感覚データ又は前記関連感覚データとの相関が高くなるように、カーネル関数の線形和で表わされる正準相関変数における重みを学習し、学習された重みを用いた前記正準相関変数を、前記感覚データを識別するための感覚特徴量とする学習手段、
予め用意された複数の感覚データの各々から、前記学習手段によって学習された前記感覚特徴量を算出する第2特徴量算出手段と、
前記第2特徴量算出手段によって算出された前記感覚特徴量と対応する感覚データに対して予め求められた識別結果とを学習データとして、前記感覚データを識別するための識別モデルを学習する識別モデル学習手段と、
入力された感覚データから、前記学習手段によって学習された前記感覚特徴量を算出する特徴量算出手段、及び
前記特徴量算出手段によって算出された前記感覚特徴量と前記識別モデルとに基づいて、前記感覚データを識別する識別手段
として機能させるためのプログラム。 Computer
When the sensory data or the related sensory data is given to the neural network learned as learning data, a combination of the sensory data and the identification result obtained in advance for the sensory data, each neuron in the intermediate layer of the neural network A kernel canonical correlation analysis is performed on the simulated brain activity data representing the observed output and the sensory data or the related sensory data to correlate the pseudo brain activity data with the sensory data or the related sensory data. So that the weight in a canonical correlation variable represented by a linear sum of kernel functions is learned, and the canonical correlation variable using the learned weight is a sensory feature amount for identifying the sensory data Learning means to do,
Second feature amount calculating means for calculating the sensory feature value learned by the learning means from each of a plurality of sensory data prepared in advance;
An identification model for learning an identification model for identifying the sensory data using, as learning data, an identification result obtained in advance for the sensory data corresponding to the sensory feature quantity calculated by the second feature quantity calculating means. Learning means,
Based on the input sensory data, the feature quantity calculating means for calculating the sensory feature quantity learned by the learning means, and the sensory feature quantity calculated by the feature quantity calculating means and the identification model , A program for functioning as an identification means for identifying sensory data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011042814A JP5802916B2 (en) | 2011-02-28 | 2011-02-28 | Sensory data identification device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011042814A JP5802916B2 (en) | 2011-02-28 | 2011-02-28 | Sensory data identification device and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012181607A JP2012181607A (en) | 2012-09-20 |
JP5802916B2 true JP5802916B2 (en) | 2015-11-04 |
Family
ID=47012768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011042814A Expired - Fee Related JP5802916B2 (en) | 2011-02-28 | 2011-02-28 | Sensory data identification device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5802916B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6643771B2 (en) * | 2015-10-13 | 2020-02-12 | 株式会社国際電気通信基礎技術研究所 | Brain activity analyzer, brain activity analysis method, and brain activity analysis program |
US20210056414A1 (en) * | 2018-02-02 | 2021-02-25 | National University Corporation Hokkaido University | Learning apparatus, learning method, and program for learning apparatus, as well as information output apparatus, information ouput method, and information output program |
CN110209145B (en) * | 2019-05-16 | 2020-09-11 | 浙江大学 | Carbon dioxide absorption tower fault diagnosis method based on nuclear matrix approximation |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003058298A (en) * | 2001-08-20 | 2003-02-28 | Fuji Xerox Co Ltd | Information classifying device, information classifying method, information classifying program and computer readable recording medium |
JP2003150528A (en) * | 2001-11-12 | 2003-05-23 | Victor Co Of Japan Ltd | Message exchange system |
US8423485B2 (en) * | 2007-09-14 | 2013-04-16 | The University Of Tokyo | Correspondence learning apparatus and method and correspondence learning program, annotation apparatus and method and annotation program, and retrieval apparatus and method and retrieval program |
-
2011
- 2011-02-28 JP JP2011042814A patent/JP5802916B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012181607A (en) | 2012-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wspanialy et al. | A detection and severity estimation system for generic diseases of tomato greenhouse plants | |
Raghavendra et al. | Robust scheme for iris presentation attack detection using multiscale binarized statistical image features | |
Xu et al. | A novel ensemble of random forest for assisting diagnosis of Parkinson's disease on small handwritten dynamics dataset | |
Stahl et al. | Novel machine learning methods for ERP analysis: a validation from research on infants at risk for autism | |
Sahoo et al. | Hand gesture recognition using PCA based deep CNN reduced features and SVM classifier | |
Lin et al. | A visual-attention model using earth mover's distance-based saliency measurement and nonlinear feature combination | |
CN110414306B (en) | Baby abnormal behavior detection method based on meanshift algorithm and SVM | |
CN113887487A (en) | Facial expression recognition method and device based on CNN-Transformer | |
Pfister et al. | Robustifying independent component analysis by adjusting for group-wise stationary noise | |
CN111772629B (en) | Brain cognitive skill transplanting method | |
Mohedano et al. | Object segmentation in images using EEG signals | |
JP5802916B2 (en) | Sensory data identification device and program | |
García et al. | Supervised texture classification by integration of multiple texture methods and evaluation windows | |
CN115713246A (en) | Multi-modal man-machine interaction performance evaluation method for virtual scene | |
Liu et al. | Human attention-guided explainable AI for object detection | |
Sahoo et al. | A user independent hand gesture recognition system using deep CNN feature fusion and machine learning technique | |
Liang et al. | Fixation prediction for advertising images: Dataset and benchmark | |
CN112438741B (en) | Driving state detection method and system based on electroencephalogram feature transfer learning | |
Rosenzopf et al. | Spatial neglect in the digital age: Influence of presentation format on patients’ test behavior | |
JP6405603B2 (en) | Information processing apparatus, information processing system, and program | |
JP3848514B2 (en) | Saliency calculation apparatus and method | |
CN112807000B (en) | Method and device for generating robust electroencephalogram signals | |
Giovanini et al. | Discriminating postural control behaviors from posturography with statistical tests and machine learning models: Does time series length matter? | |
Kolla et al. | Comparative Analysis of VGG19, ResNet50, and GoogLeNet Inception Models for BCI | |
WO2020137227A1 (en) | Classification device, classification system, classification method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150623 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150722 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5802916 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |