JP6664579B2 - Learning device, learning method and learning program - Google Patents

Learning device, learning method and learning program Download PDF

Info

Publication number
JP6664579B2
JP6664579B2 JP2014127413A JP2014127413A JP6664579B2 JP 6664579 B2 JP6664579 B2 JP 6664579B2 JP 2014127413 A JP2014127413 A JP 2014127413A JP 2014127413 A JP2014127413 A JP 2014127413A JP 6664579 B2 JP6664579 B2 JP 6664579B2
Authority
JP
Japan
Prior art keywords
learning
subject
learning device
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014127413A
Other languages
Japanese (ja)
Other versions
JP2016006616A (en
Inventor
崇史 宮崎
崇史 宮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2014127413A priority Critical patent/JP6664579B2/en
Publication of JP2016006616A publication Critical patent/JP2016006616A/en
Application granted granted Critical
Publication of JP6664579B2 publication Critical patent/JP6664579B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、学習装置、学習方法及び学習プログラムに関する。   The present invention relates to a learning device, a learning method, and a learning program.

従来、ニューラルネットワークに任意の画像を入力して画像に描出された被写体や現象を学習する技術が知られている。例えば、複数の中間層を有するニューラルネットワークに学習用データを入力することで学習を行うディープラーニングの技術が知られている。   2. Description of the Related Art Conventionally, there has been known a technique of inputting an arbitrary image to a neural network and learning a subject or a phenomenon drawn in the image. For example, a deep learning technique for performing learning by inputting learning data to a neural network having a plurality of intermediate layers is known.

特開２００８−１１３０７１号公報JP 2008-113071 A

しかしながら、上記の従来技術では、学習器の学習を容易に行うことができるとは限らなかった。例えば、上記の従来技術では、所望の結果を出力する学習器を生成するために、大量のデータを用いて学習を行うことになる。このため、上記の従来技術では、学習用のデータを集める手間がかかる。このようなことから、上記の従来技術では、学習器の学習を容易に行うことができるとは限らなかった。   However, in the above-described conventional technology, learning by the learning device cannot always be easily performed. For example, in the above-described related art, learning is performed using a large amount of data in order to generate a learning device that outputs a desired result. For this reason, in the above-mentioned prior art, it takes time and effort to collect data for learning. For this reason, in the above-described related art, learning by the learning device cannot always be easily performed.

本願は、上記に鑑みてなされたものであって、学習器の学習を容易に行うことができる学習装置、学習方法及び学習プログラムを提供することを目的とする。   The present application has been made in view of the above, and an object of the present invention is to provide a learning device, a learning method, and a learning program that can easily perform learning of a learning device.

本願に係る学習装置は、被写体が描出された画像を用いて、当該被写体の３次元形状を復元し、当該復元された被写体の３次元形状に基づいて、前記被写体を所定の視点以外の視点から描出した画像を生成する生成部と、前記生成部が生成した画像を用いて、前記被写体の特徴を抽出する学習器の学習を行う学習部とを備えたことを特徴とする。   The learning device according to the present application restores a three-dimensional shape of the subject using an image in which the subject is drawn, and moves the subject from a viewpoint other than a predetermined viewpoint based on the restored three-dimensional shape of the subject. The image processing apparatus further includes a generation unit that generates the drawn image, and a learning unit that learns a learning device that extracts the feature of the subject using the image generated by the generation unit.

実施形態の一態様によれば、学習器の学習を容易に行うことができるという効果を奏する。   According to an aspect of the embodiment, there is an effect that learning by a learning device can be easily performed.

図１は、実施形態に係る学習装置による学習処理の一例を示す説明図である。FIG. 1 is an explanatory diagram illustrating an example of a learning process performed by the learning device according to the embodiment. 図２は、実施形態に係る学習装置の構成例を示す図である。FIG. 2 is a diagram illustrating a configuration example of the learning device according to the embodiment. 図３は、実施形態に係る学習用データ記憶部の一例を示す図である。FIG. 3 is a diagram illustrating an example of a learning data storage unit according to the embodiment. 図４は、実施形態に係る補完データを説明するための説明図である。FIG. 4 is an explanatory diagram for describing complementary data according to the embodiment. 図５は、実施形態に係る学習装置による学習処理手順を示すフローチャートである。FIG. 5 is a flowchart illustrating a learning processing procedure performed by the learning device according to the embodiment. 図６は、変形例に係る補完データを説明するための説明図である。FIG. 6 is an explanatory diagram for explaining complementary data according to the modification. 図７は、変形例に係る補完データを説明するための説明図である。FIG. 7 is an explanatory diagram for explaining complementary data according to the modification. 図８は、変形例に係る補完データを説明するための説明図である。FIG. 8 is an explanatory diagram for describing complementary data according to a modification. 図９は、学習装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。FIG. 9 is a hardware configuration diagram illustrating an example of a computer that implements the functions of the learning device.

以下に、本願に係る学習装置、学習方法及び学習プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る学習装置、学習方法及び学習プログラムが限定されるものではない。また、以下の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。   Hereinafter, a learning device, a learning method, and a mode for implementing a learning program according to the present application (hereinafter, referred to as “embodiments”) will be described in detail with reference to the drawings. Note that the learning device, the learning method, and the learning program according to the present application are not limited by this embodiment. In the following embodiments, the same portions are denoted by the same reference numerals, and overlapping description will be omitted.

〔１．学習処理〕
まず、図１を用いて、実施形態に係る学習処理の一例について説明する。図１は、実施形態に係る学習装置による学習処理の一例を示す説明図である。図１の例では、学習装置１００によって入力データに対する演算結果を出力する学習器の学習を行う学習処理が行われる例を示す。 [1. Learning process)
First, an example of a learning process according to the embodiment will be described with reference to FIG. FIG. 1 is an explanatory diagram illustrating an example of a learning process performed by the learning device according to the embodiment. The example of FIG. 1 illustrates an example in which the learning device 100 performs a learning process of learning a learning device that outputs a calculation result for input data.

学習装置１００は、入力データを入力した場合に所定のノードが所定の値を出力する学習器の学習を行うサーバ装置である。具体的には、学習装置１００は、入力データとして画像を入力した場合に画像に描出された被写体の特徴に対応するノードが所定の値を出力するＤＮＮ（Deep Neural Network）である学習器Ｌｅの学習を行う。この点について図１を用いて詳細に説明する。   The learning device 100 is a server device that learns a learning device in which a predetermined node outputs a predetermined value when input data is input. More specifically, the learning device 100 includes a learning device Le that is a DNN (Deep Neural Network) that outputs a predetermined value at a node corresponding to a feature of a subject depicted in the image when the image is input as input data. Do the learning. This will be described in detail with reference to FIG.

学習器Ｌｅは、入力データに対する演算結果を出力する複数のノード（例えば、ニューロン）を接続したＤＮＮであって入力データの特徴に対応するノードが所定の値を出力するＤＮＮである。具体的には、学習器Ｌｅは、入力データとして被写体が描出された画像が入力された場合に、被写体の特徴に対応するノードが所定の値を出力する。   The learning device Le is a DNN that connects a plurality of nodes (for example, neurons) that output a calculation result with respect to the input data, and a node corresponding to a feature of the input data outputs a predetermined value. Specifically, when an image in which a subject is depicted is input as input data, a node corresponding to a feature of the subject outputs a predetermined value to the learning device Le.

図１の例では、学習器Ｌｅは、入力層と、多段のノード群によって形成される中間層と、出力層とから構成される。ここで、出力層は、例えば、「猫」が描出された画像が入力された場合に出力するノードであって「猫」の特徴に対応するノードを有する。   In the example of FIG. 1, the learning device Le includes an input layer, an intermediate layer formed by a multi-stage node group, and an output layer. Here, for example, the output layer is a node that is output when an image depicting “cat” is input, and has a node corresponding to the feature of “cat”.

学習装置１００は、学習器Ｌｅに入力する学習用データとして、「猫」が正面から撮影された画像Ｐ１１〜Ｐ１５と、「猫」が横から撮影された画像Ｐ２１〜Ｐ２２とを保持しているものとする。なお、図１では、学習装置１００は、説明を簡単にするため７つの学習用データを保持する例を示すが、実際には学習器Ｌｅの学習を行う上で十分な数の学習用データを保持する。   The learning device 100 holds, as learning data to be input to the learning device Le, images P11 to P15 of “cat” photographed from the front and images P21 to P22 of “cat” photographed from the side. Shall be. Although FIG. 1 shows an example in which the learning device 100 holds seven pieces of learning data for the sake of simplicity, in practice, a sufficient number of pieces of learning data for learning the learning device Le are stored. Hold.

ここで、学習装置１００は、被写体が描出された画像を用いて、被写体の３次元形状を復元し、復元された被写体の３次元形状に基づいて、被写体を所定の視点以外の視点から描出した画像を生成する。具体的には、学習装置１００は、まず、被写体が描出された画像を用いて、被写体の３次元形状を復元する（ステップＳ１）。例えば、学習装置１００は、公知となっている各種の技術により被写体の３次元形状を復元する。そして、学習装置１００は、復元された被写体の３次元形状に基づいて、被写体を所定の視点以外の視点から描出した画像を生成する（ステップＳ２）。例えば、学習装置１００は、まず、学習器Ｌｅに入力する学習用データの偏りを検出する。一例としては、学習装置１００は、学習用データの偏りとして、画像に描出された被写体が撮影された向きの偏りを検出する。図１の例では、学習装置１００は、被写体が撮影された向きの偏りとして、被写体が横から撮影された画像が相対的に少ないことを検出する。   Here, the learning device 100 restores the three-dimensional shape of the subject using the image in which the subject is depicted, and depicts the subject from a viewpoint other than the predetermined viewpoint based on the restored three-dimensional shape of the subject. Generate an image. Specifically, the learning device 100 first restores the three-dimensional shape of the subject using the image in which the subject is drawn (step S1). For example, the learning device 100 restores the three-dimensional shape of the subject by various known techniques. Then, the learning device 100 generates an image in which the subject is drawn from a viewpoint other than the predetermined viewpoint based on the restored three-dimensional shape of the subject (Step S2). For example, the learning device 100 first detects a bias of the learning data input to the learning device Le. As an example, the learning device 100 detects, as a bias of the learning data, a bias of a direction in which the subject depicted in the image is photographed. In the example of FIG. 1, the learning device 100 detects, as the bias of the direction in which the subject is photographed, that the number of images of the subject photographed from the side is relatively small.

その後、学習装置１００は、学習用データの偏りが検出された場合に、被写体を所定の視点以外の視点から描出した画像を生成する。例えば、学習装置１００は、学習用データを用いて学習用データの偏りを補完する補完データを生成する。学習装置１００は、学習用データの偏りを補完する補完データがあれば学習器の学習をより高い精度で行うことができるからである。   Thereafter, when the bias of the learning data is detected, the learning device 100 generates an image in which the subject is drawn from a viewpoint other than the predetermined viewpoint. For example, the learning device 100 uses the learning data to generate complementary data that complements the bias of the learning data. This is because the learning device 100 can perform learning of the learning device with higher accuracy if there is complementary data that complements the bias of the learning data.

一例としては、学習装置１００は、被写体が描出された画像のうち相対的に少ない向きから被写体が撮影された画像を補完データとして生成する。図１の例では、学習装置１００は、被写体が横から撮影された画像が正面から撮影された画像と比較して少ないので、被写体が横から撮影された画像Ｐ２３〜Ｐ２４を補完データとして生成する。なお、図１では、学習装置１００は、２つの補完データを生成する例を示すが、実際には学習器Ｌｅの学習を行う上で十分な数の補完データを生成する。   As an example, the learning device 100 generates, as supplementary data, an image in which the subject is photographed from a relatively small direction in the image in which the subject is drawn. In the example of FIG. 1, the learning device 100 generates images P23 to P24 in which the subject is photographed from the side as supplementary data because the number of images of the subject photographed from the side is smaller than the image of the subject photographed from the front. . Note that FIG. 1 illustrates an example in which the learning device 100 generates two pieces of complementary data. However, actually, the learning device 100 generates a sufficient number of pieces of complementary data for learning the learning device Le.

続いて、学習装置１００は、生成した画像を用いて、被写体の特徴を抽出する学習器Ｌｅの学習を行う（ステップＳ３）。具体的には、学習装置１００は、補完データである画像Ｐ２３〜Ｐ２４と、学習用データである画像Ｐ１１〜Ｐ１５及び画像Ｐ２１〜Ｐ２２とを用いて学習器Ｌｅの学習を行う。   Subsequently, the learning device 100 performs learning of the learning device Le that extracts the feature of the subject using the generated image (step S3). Specifically, the learning device 100 performs learning of the learning device Le using the images P23 to P24, which are complementary data, and the images P11 to P15 and the images P21 to P22, which are learning data.

図１の例では、学習装置１００は、入力データとして画像Ｐ２３〜Ｐ２４と画像Ｐ１１〜Ｐ１５及び画像Ｐ２１〜Ｐ２２とを入力した場合に「猫」の特徴に対応するノードが所定の値を出力するように学習器Ｌｅの学習を行う。例えば、学習装置１００は、バックプロパゲーション法や教師有り学習法といった各種の方法を用いて「猫」の特徴に対応するノードが所定の値を出力するノード間の結合係数を算出する。そして、学習装置１００は、算出した結合係数を学習器Ｌｅのノード間に設定することで「猫」の特徴に対応するノードが所定の値を出力する学習器Ｌｅの学習を行う。   In the example of FIG. 1, when the learning device 100 receives the images P23 to P24, the images P11 to P15, and the images P21 to P22 as input data, the node corresponding to the feature of “cat” outputs a predetermined value. Learning of the learning device Le is performed as described above. For example, the learning device 100 calculates a coupling coefficient between nodes at which a node corresponding to the feature of “cat” outputs a predetermined value using various methods such as a back propagation method and a supervised learning method. Then, the learning device 100 sets the calculated coupling coefficient between the nodes of the learning device Le to perform learning of the learning device Le in which the node corresponding to the feature of “cat” outputs a predetermined value.

このように、実施形態に係る学習装置１００は、被写体が描出された画像を用いて、当該被写体の３次元形状を復元し、当該復元された被写体の３次元形状に基づいて、前記被写体を所定の視点以外の視点から描出した画像を生成する。また、学習装置１００は、生成した画像を用いて、前記被写体の特徴を抽出する学習器の学習を行う。   As described above, the learning device 100 according to the embodiment restores the three-dimensional shape of the subject using the image in which the subject is drawn, and determines the subject based on the restored three-dimensional shape of the subject. Generate an image drawn from a viewpoint other than the viewpoint. Further, the learning device 100 performs learning of a learning device that extracts the feature of the subject using the generated image.

また、実施形態に係る学習装置１００は、画像に描出された被写体または現象の偏りを検出する。また、学習装置１００は、被写体または現象の偏りが検出された場合に、被写体を所定の視点以外の視点から描出した画像を生成する。   In addition, the learning device 100 according to the embodiment detects a bias of a subject or a phenomenon depicted in an image. Further, when the bias of the subject or the phenomenon is detected, the learning device 100 generates an image in which the subject is drawn from a viewpoint other than the predetermined viewpoint.

これにより、学習装置１００は、学習用データの数が十分にない場合でも学習用データを増やすことができるので、学習器の学習を容易に行うことができる。例えば、学習装置１００は、学習用データを用いて補完用データを生成することができるので、学習用データを集める手間を減らすことができる。また、学習装置１００は、学習用データの数が十分にない場合でも学習器の学習を行うことができる。   Accordingly, the learning device 100 can increase the number of learning data even when the number of learning data is not sufficient, and thus can easily learn the learning device. For example, since the learning device 100 can generate the supplementary data using the learning data, the labor for collecting the learning data can be reduced. Further, the learning device 100 can perform learning of the learning device even when the number of learning data is not sufficient.

また、学習装置１００は、学習用データのうち偏りがあって相対的に少ないデータを増やすことができるので、学習器の入力データに対する出力の精度を高めることができる。例えば、学習装置１００は、被写体が横から撮影された画像が正面から撮影された画像と比較して少ない場合に被写体が横から撮影された画像を生成することができるので、被写体の特徴をより高い精度で捉えた学習器の学習を行うことができる。このため、学習装置１００は、学習器の認識精度を高めることができる。   In addition, the learning device 100 can increase the amount of biased and relatively small data in the learning data, so that the output accuracy of the learning device with respect to the input data can be increased. For example, the learning device 100 can generate an image in which the subject is photographed from the side when the number of images of the subject photographed from the side is smaller than that of the image photographed from the front. The learning of the learning device captured with high accuracy can be performed. For this reason, the learning device 100 can increase the recognition accuracy of the learning device.

なお、上述した例では、学習装置１００は、学習用データの偏りを補完するように画像を生成したが、実施形態は、これに限定されるものではない。例えば、学習装置１００は、学習用データの偏りを検出せずとも、被写体が描出された画像から３次元形状を復元し、復元した３次元形状から新たな学習用データを生成してもよい。   In the example described above, the learning device 100 generates an image so as to complement the bias of the learning data, but the embodiment is not limited to this. For example, the learning device 100 may restore the three-dimensional shape from the image in which the subject is drawn and generate new learning data from the restored three-dimensional shape without detecting the bias of the learning data.

また、上述した例では、学習装置１００は、画像に描出された被写体（例えば、猫）の３次元形状を復元し、復元した３次元形状に基づいて、学習器の画像を生成した。ここで、被写体とは、画像に描出されたオブジェクトのみならず、画像に描出された景色、背景、風景等を含むものであり、かかる景色、背景、風景の３次元形状を復元してもよい。すなわち、学習装置１００は、あるオブジェクトの外側を描出した画像からかかるオブジェクトの３次元形状を復元してもよく、あるオブジェクトの内側を描出した画像から係るオブジェクトの３次元形状を復元してもよい。具体例を挙げると、学習装置１００は、野球場の外側から撮影された画像を用いて野球場の３次元形状を復元してもよく、また、野球場の内側から撮影された画像を用いて、野球場の３次元形状を復元してもよい。すなわち、学習装置１００は、被写体の位置と、画像を描出する際の始点の位置との関係によらず、任意の画像を用いて、被写体の３次元形状を復元することができる。   In the example described above, the learning device 100 restores the three-dimensional shape of the subject (for example, a cat) depicted in the image, and generates an image of the learning device based on the restored three-dimensional shape. Here, the subject includes not only the object depicted in the image but also the scenery, background, scenery, and the like depicted in the image, and the three-dimensional shape of the scenery, background, and scenery may be restored. . That is, the learning device 100 may restore the three-dimensional shape of the object from the image depicting the outside of the object, or may restore the three-dimensional shape of the object from the image depicting the inside of the object. . As a specific example, the learning device 100 may restore the three-dimensional shape of the baseball stadium using an image shot from outside the baseball stadium, or use the image shot from inside the baseball stadium. Alternatively, the three-dimensional shape of the baseball field may be restored. That is, the learning apparatus 100 can restore the three-dimensional shape of the subject using an arbitrary image regardless of the relationship between the position of the subject and the position of the starting point when drawing the image.

〔２．学習装置の構成〕
次に、図２を用いて、実施形態に係る学習装置１００の構成について説明する。図２は、実施形態に係る学習装置１００の構成例を示す図である。図２に示すように、学習装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、学習装置１００は、学習装置１００を利用する管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。 [2. Configuration of learning device)
Next, the configuration of the learning device 100 according to the embodiment will be described with reference to FIG. FIG. 2 is a diagram illustrating a configuration example of the learning device 100 according to the embodiment. As illustrated in FIG. 2, the learning device 100 includes a communication unit 110, a storage unit 120, and a control unit 130. The learning device 100 includes an input unit (for example, a keyboard and a mouse) for receiving various operations from an administrator or the like who uses the learning device 100, and a display unit (for example, a liquid crystal display) for displaying various information. May have.

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ等によって実現される。通信部１１０は、ネットワークと有線又は無線で接続され、ネットワークを介して、各種のサーバ装置や端末装置との間で情報の送受信を行う。 (About the communication unit 110)
The communication unit 110 is realized by, for example, an NIC or the like. The communication unit 110 is connected to a network by wire or wirelessly, and transmits and receives information to and from various server devices and terminal devices via the network.

（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、学習用データ記憶部１２１と、学習器情報記憶部１２２とを有する。 (About the storage unit 120)
The storage unit 120 is realized by, for example, a semiconductor memory element such as a random access memory (RAM) or a flash memory, or a storage device such as a hard disk or an optical disk. The storage unit 120 includes a learning data storage unit 121 and a learning device information storage unit 122.

（学習用データ記憶部１２１について）
学習用データ記憶部１２１は、学習用データに関する情報を記憶する。例えば、学習用データ記憶部１２１は、学習用データである画像ごとに、画像に描出された被写体が撮影された方向を記憶する。ここで、図３に、実施形態に係る学習用データ記憶部１２１の一例を示す。図３に示すように、学習用データ記憶部１２１は、「データＩＤ」、「カテゴリ」といった項目を有する。 (About the learning data storage unit 121)
The learning data storage unit 121 stores information related to learning data. For example, the learning data storage unit 121 stores, for each image that is learning data, the direction in which the subject depicted in the image was captured. Here, FIG. 3 illustrates an example of the learning data storage unit 121 according to the embodiment. As shown in FIG. 3, the learning data storage unit 121 has items such as “data ID” and “category”.

「データＩＤ」は、データを識別するための識別情報を示す。「カテゴリ」は、データが属する分類を示す。例えば、「カテゴリ」には、画像に描出された被写体が撮影された方向を示す。すなわち、図３では、データＩＤ「Ｐ１１」に対応する画像は、被写体が「正面」から撮影された例を示している。   “Data ID” indicates identification information for identifying data. “Category” indicates the classification to which the data belongs. For example, the “category” indicates the direction in which the subject depicted in the image was photographed. That is, in FIG. 3, the image corresponding to the data ID “P11” shows an example in which the subject is photographed from “front”.

（学習器情報記憶部１２２について）
学習器情報記憶部１２２は、学習器（例えば、ＤＮＮ）に関する情報を記憶する。具体的には、学習器情報記憶部１２２は、ＤＮＮに含まれる入力層、中間層および出力層のノードや、ノード間の結合係数に関する情報を記憶する。例えば、学習器情報記憶部１２２は、図１に示す学習器Ｌｅを記憶する。 (About the learning device information storage unit 122)
The learning device information storage unit 122 stores information about a learning device (for example, DNN). Specifically, the learning device information storage unit 122 stores information on nodes of the input layer, the intermediate layer, and the output layer included in the DNN, and information on coupling coefficients between the nodes. For example, the learning device information storage unit 122 stores the learning device Le illustrated in FIG.

（制御部１３０について）
制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、学習装置１００内部の記憶装置に記憶されている各種プログラム（学習プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。 (About the control unit 130)
The control unit 130 stores various programs (corresponding to an example of a learning program) stored in a storage device inside the learning device 100 in a RAM by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like. It is realized by being executed as. The control unit 130 is realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

制御部１３０は、図２に示すように、受付部１３１と、検出部１３２と、生成部１３３と、学習部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図２に示した構成に限られず、後述する学習処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図２に示した接続関係に限られず、他の接続関係であってもよい。   As illustrated in FIG. 2, the control unit 130 includes a reception unit 131, a detection unit 132, a generation unit 133, and a learning unit 134, and implements or executes functions and operations of information processing described below. . Note that the internal configuration of the control unit 130 is not limited to the configuration illustrated in FIG. 2 and may be another configuration as long as the configuration performs a learning process described later. Further, the connection relationship between the processing units included in the control unit 130 is not limited to the connection relationship shown in FIG. 2 and may be another connection relationship.

（受付部１３１について）
受付部１３１は、入力データを受け付ける。具体的には、受付部１３１は、入力データとして、学習器に入力する学習用データを受け付ける。例えば、受付部１３１は、学習用データとして、被写体が描出された画像を受け付ける。 (About the reception unit 131)
The receiving unit 131 receives input data. Specifically, the receiving unit 131 receives, as input data, learning data to be input to the learning device. For example, the receiving unit 131 receives, as learning data, an image in which a subject is drawn.

（検出部１３２について）
検出部１３２は、データの偏りを検出する。具体的には、検出部１３２は、学習器に入力する学習用データの偏りを検出する。例えば、検出部１３２は、学習器の学習を行う際に、まず、学習用データ記憶部１２１に記憶された学習用データを取得する。そして、検出部１３２は、取得した学習用データの偏りを検出する。一例としては、検出部１３２は、画像に描出された被写体が撮影された向きの偏りを検出する。図３の例では、検出部１３２は、被写体が撮影された向きの偏りとして、被写体が「横」から撮影された画像が「正面」から撮影された画像と比較して相対的に少ないことを検出する。 (About the detection unit 132)
The detection unit 132 detects a data bias. Specifically, the detecting unit 132 detects a bias of the learning data input to the learning device. For example, when performing the learning of the learning device, the detecting unit 132 first acquires the learning data stored in the learning data storage unit 121. Then, the detecting unit 132 detects the bias of the acquired learning data. As an example, the detection unit 132 detects a bias in the direction in which the subject depicted in the image is photographed. In the example of FIG. 3, the detection unit 132 determines, as the bias in the direction in which the subject is photographed, that the image photographed from the side of the subject is relatively less than the image photographed from the front. To detect.

（生成部１３３について）
生成部１３３は、学習用データの偏りを補完する補完データを生成する。具体的には、生成部１３３は、被写体が描出された画像を用いて、被写体の３次元形状を復元し、復元された被写体の３次元形状に基づいて、被写体を所定の視点以外の視点から描出した画像を生成する。例えば、生成部１３３は、検出部１３２によって学習用データの偏りが検出された場合に、学習用データを用いて学習用データの偏りを補完する補完データを生成する。学習装置１００は、学習用データの偏りを補完する補完データがあれば学習器の学習を高い精度で行うことができるからである。例えば、生成部１３３は、補完データとして、被写体が全方向から撮影された複数の画像のうち被写体が撮影された方向が少ない画像を生成する。 (About the generation unit 133)
The generation unit 133 generates complementary data that complements the bias of the learning data. Specifically, the generation unit 133 restores the three-dimensional shape of the subject using the image in which the subject is drawn, and based on the restored three-dimensional shape of the subject, moves the subject from a viewpoint other than the predetermined viewpoint. Generate the rendered image. For example, when the detecting unit 132 detects the bias of the learning data, the generating unit 133 generates complementary data that complements the bias of the learning data using the learning data. This is because the learning device 100 can perform learning of the learning device with high accuracy if there is complementary data that complements the bias of the learning data. For example, the generation unit 133 generates, as supplementary data, an image in which the direction in which the subject is photographed is small among a plurality of images in which the subject is photographed from all directions.

この点について、図４を用いて説明する。図４は実施形態に係る補完データを説明するための説明図である。図４に示すように、生成部１３３は、補完データとして、被写体が撮影された複数の画像のうち被写体を撮影した方向が少ない画像を優先して生成する。例えば、生成部１３３は、被写体が３６０°全方向から撮影された画像が万遍なく揃うように補完データを生成する。そして、生成部１３３は、生成した補完データを学習用データ記憶部１２１に格納する。これにより、学習装置１００は、被写体が３６０°全方向から撮影された画像を学習用データとして万遍なく保持することができる。   This will be described with reference to FIG. FIG. 4 is an explanatory diagram for explaining complementary data according to the embodiment. As illustrated in FIG. 4, the generation unit 133 preferentially generates, as supplementary data, an image in which the direction in which the subject is photographed is smaller among a plurality of images in which the subject is photographed. For example, the generation unit 133 generates the complementary data so that the images of the subject photographed from all directions of 360 ° are uniformly arranged. Then, the generation unit 133 stores the generated complementary data in the learning data storage unit 121. Accordingly, the learning device 100 can uniformly hold images of the subject photographed from all directions of 360 ° as learning data.

図３の例では、生成部１３３は、被写体が「横」から撮影された画像Ｐ２１〜Ｐ２２が「正面」から撮影された画像Ｐ１１〜Ｐ１５と比較して少ないので、被写体が「横」から撮影された画像を補完データとして生成する。   In the example of FIG. 3, the generation unit 133 determines that the images P21 to P22 captured from the “horizontal” position are smaller than the images P11 to P15 captured from the “front”, The generated image is generated as complementary data.

（学習部１３４について）
学習部１３４は、学習器の学習を行う。具体的には、学習部１３４は、生成部１３３が生成した画像を用いて、被写体の特徴を抽出する学習器の学習を行う。例えば、学習部１３４は、生成部１３３によって生成された補完データを用いて学習器の学習を行う。一例としては、学習部１３４は、まず、学習用データ記憶部１２１に記憶された学習用データおよび補完データを取得する。続いて、学習部１３４は、取得した学習用データおよび補完データを学習器に入力する。そして、学習部１３４は、学習器が所定の分類に対応するノードが所定の値を出力するように学習を行う。 (About the learning unit 134)
The learning unit 134 performs learning of a learning device. Specifically, the learning unit 134 learns a learning device that extracts a feature of the subject using the image generated by the generation unit 133. For example, the learning unit 134 performs learning of a learning device using the complementary data generated by the generation unit 133. As an example, the learning unit 134 first acquires the learning data and the complementary data stored in the learning data storage unit 121. Subsequently, the learning unit 134 inputs the acquired learning data and complementary data to the learning device. Then, the learning unit 134 performs learning so that the node corresponding to the predetermined classification outputs a predetermined value.

一例としては、学習部１３４は、バックプロパゲーション法や教師あり学習によりＤＮＮに含まれるノード間の結合係数を算出する。そして、学習部１３４は、算出した結合係数を学習器に含まれるノード間に設定することで学習を行う。   As an example, the learning unit 134 calculates a coupling coefficient between nodes included in the DNN by a back propagation method or supervised learning. Then, the learning unit 134 performs learning by setting the calculated coupling coefficient between nodes included in the learning device.

その後、学習部１３４は、学習を行った学習器を学習器情報記憶部１２２に格納する。これにより、学習装置１００は、被写体が全方向から撮影された画像を学習することができるので、入力データとして入力された画像に描出された被写体がどの方向から撮影されていても被写体を識別可能な学習器を生成することができる。   Thereafter, the learning unit 134 stores the learned learning device in the learning device information storage unit 122. Thereby, the learning device 100 can learn an image in which the subject is photographed from all directions, so that the subject can be identified regardless of the direction in which the subject depicted in the image input as the input data is photographed from any direction. Learning device can be generated.

〔３．学習処理手順〕
次に、図５を用いて、実施形態に係る学習装置１００による学習処理の手順について説明する。図５は、実施形態に係る学習装置１００による学習処理手順を示すフローチャートである。 [3. Learning processing procedure)
Next, a procedure of a learning process performed by the learning device 100 according to the embodiment will be described with reference to FIG. FIG. 5 is a flowchart illustrating a learning processing procedure performed by the learning device 100 according to the embodiment.

図５に示すように、学習装置１００は、学習用データを取得する（ステップＳ１０１）。例えば、学習装置１００は、学習用データ記憶部１２１から学習用データとして記憶された画像を取得する。   As shown in FIG. 5, the learning device 100 acquires learning data (step S101). For example, the learning device 100 acquires an image stored as learning data from the learning data storage unit 121.

続いて、学習装置１００は、被写体が描出された画像を用いて、被写体の３次元形状を復元し、復元された被写体の３次元形状に基づいて、被写体を所定の視点以外の視点から描出した画像を生成する。例えば、学習装置１００は、まず、学習用データの偏りを検出する（ステップＳ１０２）。一例としては、学習装置１００は、画像に描出された被写体が撮影された向きの偏りを検出する。そして、学習装置１００は、学習用データの偏りを検出しなかった場合には（ステップＳ１０２；Ｎｏ）、学習用データを用いて学習器の学習を行う（ステップＳ１０５）。そして、学習装置１００は、学習を行った学習器を学習器情報記憶部１２２に格納する（ステップＳ１０６）。   Subsequently, the learning device 100 restores the three-dimensional shape of the subject using the image in which the subject is depicted, and depicts the subject from a viewpoint other than the predetermined viewpoint based on the restored three-dimensional shape of the subject. Generate an image. For example, the learning device 100 first detects a bias of the learning data (step S102). As an example, the learning device 100 detects a bias in the direction in which the subject depicted in the image is photographed. When the learning device 100 does not detect the bias of the learning data (Step S102; No), the learning device 100 learns the learning device using the learning data (Step S105). The learning device 100 stores the learned learning device in the learning device information storage unit 122 (Step S106).

一方、学習装置１００は、学習用データの偏りを検出した場合（ステップＳ１０２；Ｙｅｓ）、学習用データを用いて学習用データの偏りを補完する補完データを生成する（ステップＳ１０３）。例えば、学習装置１００は、補完データとして、被写体が全方向から撮影された複数の画像のうち被写体が撮影された方向が少ない画像を生成する。その後、学習装置１００は、生成した補完データを学習用データ記憶部１２１に格納する（ステップＳ１０４）。   On the other hand, when the learning device 100 detects the bias of the learning data (Step S102; Yes), the learning device 100 generates complementary data that complements the bias of the learning data using the learning data (Step S103). For example, the learning device 100 generates, as supplementary data, an image in which the direction in which the subject is photographed is small among a plurality of images in which the subject is photographed from all directions. After that, the learning device 100 stores the generated complementary data in the learning data storage unit 121 (Step S104).

その後、学習装置１００は、学習器の学習を行う（ステップＳ１０５）。具体的には、学習装置１００は、生成した画像を用いて、被写体の特徴を抽出する学習器の学習を行う。例えば、学習装置１００は、入力データである画像に対して被写体が属する分類の特徴に対応するノードが所定の値を出力するノード間の結合係数を算出する。一例としては、学習装置１００は、バックプロパゲーション法により結合係数を算出する。   Thereafter, the learning device 100 performs learning of the learning device (Step S105). Specifically, the learning device 100 uses the generated image to perform learning of a learning device that extracts a feature of a subject. For example, the learning device 100 calculates a coupling coefficient between nodes that output a predetermined value from a node corresponding to a classification feature to which a subject belongs to an image that is input data. As an example, the learning device 100 calculates a coupling coefficient by a back propagation method.

そして、学習装置１００は、算出した結合係数をノード間の結合係数に設定することで学習器の学習を行う。その後、学習装置１００は、学習を行った学習器を学習器情報記憶部１２２に格納する（ステップＳ１０６）。   Then, the learning device 100 performs learning of the learning device by setting the calculated coupling coefficient as a coupling coefficient between nodes. Thereafter, the learning device 100 stores the learned learning device in the learning device information storage unit 122 (Step S106).

〔４．変形例〕
上述した実施形態に係る学習装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、上記の学習装置１００の他の実施形態について説明する。 [4. Modification)
The learning device 100 according to the above-described embodiment may be implemented in various different forms other than the above-described embodiment. Therefore, hereinafter, another embodiment of the learning device 100 will be described.

〔４−１．オプティカルフロー（１）〕
上記実施形態では、学習装置１００は、検出部１３２によって学習用データの偏りが検出された場合に、学習用データを用いて学習用データの偏りを補完する補完データを生成する例を示した。ここで、学習装置１００は、各種の形態により補完データを生成してもよい。 [4-1. Optical flow (1)]
In the above-described embodiment, an example has been described in which the learning device 100 generates complementary data that complements the bias of the learning data using the learning data when the detection unit 132 detects the bias of the learning data. Here, the learning device 100 may generate complementary data in various forms.

具体的には、学習装置１００は、時間的に連続する複数の画像に描出された被写体の動きに基づいて画像に描出された被写体または現象を複数の視点から観測した画像を推定し、推定した画像を用いて被写体を所定の視点以外の視点から描出した画像を生成する。   Specifically, the learning device 100 estimates and estimates an image obtained by observing a subject or a phenomenon depicted in an image from a plurality of viewpoints based on the motion of the subject depicted in a plurality of temporally continuous images. An image in which a subject is drawn from a viewpoint other than a predetermined viewpoint using the image is generated.

例えば、学習装置１００は、まず、オプティカルフローの技術を用いて、時間的に連続する複数の画像に描出された被写体の動きをベクトルで表現する。一例としては、学習装置１００は、連続した画像に描出された猫の足から猫の足の動きをベクトルで表現する   For example, the learning device 100 first expresses, using a technique of optical flow, the motion of a subject depicted in a plurality of temporally continuous images as a vector. As an example, the learning device 100 expresses the movement of the cat's feet from the cat's feet depicted in a continuous image by a vector.

そして、学習装置１００は、ベクトルで表現された被写体の動きに基づいて被写体を複数の視点から観測した画像を推定する。そして、学習装置１００は、推定した画像を用いて補完データを生成する。具体的には、学習装置１００は、補完データとして、被写体が撮影された複数の画像のうち被写体を撮影した方向が少ない画像を優先して生成する。例えば、学習装置１００は、被写体が３６０°全方向から撮影された画像が万遍なく揃うように補完データを生成する。そして、学習装置１００は、生成した補完データを学習用データ記憶部１２１に格納する。   Then, the learning device 100 estimates an image obtained by observing the subject from a plurality of viewpoints based on the motion of the subject represented by the vector. Then, the learning device 100 generates complementary data using the estimated image. Specifically, the learning device 100 preferentially generates, as supplementary data, an image in which the direction in which the subject is photographed is smaller, among a plurality of images in which the subject is photographed. For example, the learning device 100 generates supplemental data so that images of a subject taken from all directions of 360 ° are evenly arranged. Then, the learning device 100 stores the generated complementary data in the learning data storage unit 121.

このように、学習装置１００は、時間的に連続する複数の画像に描出された被写体の動きに基づいて画像に描出された被写体または現象を複数の視点から観測した画像を推定し、推定した画像を用いて被写体を所定の視点以外の視点から描出した画像を生成する。   As described above, the learning device 100 estimates an image obtained by observing a subject or a phenomenon depicted in an image from a plurality of viewpoints based on the movement of the subject depicted in a plurality of temporally continuous images, and estimates the estimated image. Is used to generate an image in which the subject is drawn from a viewpoint other than the predetermined viewpoint.

これにより、学習装置１００は、複数の視点から観測した画像を補完データとして生成することができるので、学習器の学習を高い精度で行うことができる。このため、学習装置１００は、学習器の認識精度を高めることができる。   Accordingly, the learning device 100 can generate images observed from a plurality of viewpoints as supplementary data, so that the learning of the learning device can be performed with high accuracy. For this reason, the learning device 100 can increase the recognition accuracy of the learning device.

また、学習装置１００は、各種の画像が学習器の学習を行うのに十分な数になるように補完データを生成してもよい。この点について、図６〜図８を用いて説明する。図６〜図８は、変形例に係る補完データを説明するための説明図である。学習装置１００は、図６に示すように、カメラを移動して被写体を全方向から撮影した画像が学習を行うのに十分な数になるように補完データを生成する。学習装置１００は、全方向から撮影した画像が十分な数になれば学習器の精度を高めることができるからである。   Further, the learning device 100 may generate the complementary data such that the number of various images is sufficient to perform learning by the learning device. This will be described with reference to FIGS. 6 to 8 are explanatory diagrams for explaining complementary data according to the modified example. As shown in FIG. 6, the learning device 100 generates complementary data so that the number of images obtained by moving the camera and photographing the subject from all directions is sufficient for learning. This is because the learning device 100 can improve the accuracy of the learning device when the number of images captured from all directions becomes sufficient.

また、学習装置１００は、図７に示すように、複数のカメラを用いて被写体を全方向から撮影した画像が学習を行うのに十分な数になるように補完データを生成してもよい。また、学習装置１００は、図８に示すように、光源を全方向に移動して被写体を撮影した画像が学習を行うのに十分な数になるように補完データを生成してもよい。これにより、学習装置１００は、各方向から光が当たった画像を万遍なく保持することができる。   Further, as illustrated in FIG. 7, the learning device 100 may generate the complementary data so that images obtained by photographing the subject from all directions using a plurality of cameras are sufficient in number for learning. In addition, the learning device 100 may generate the complement data such that the number of images obtained by moving the light source in all directions and photographing the subject is sufficient for learning as shown in FIG. Thereby, the learning device 100 can uniformly hold images illuminated from each direction.

なお、被写体が描出された画像は、図６〜図８に示すカメラの配置の例に限らず、各種の配置で被写体を撮影した画像でもよい。例えば、被写体が描出された画像は、カメラを直交三眼配置や直列配置、マトリクス配置にして被写体を撮影した画像でもよい。   The image in which the subject is depicted is not limited to the examples of the camera arrangement shown in FIGS. 6 to 8, and may be images obtained by photographing the subject in various arrangements. For example, the image in which the subject is depicted may be an image obtained by photographing the subject with the cameras arranged in an orthogonal trinocular arrangement, a serial arrangement, or a matrix arrangement.

これにより、学習装置１００は、学習器の学習を行うのに必要な学習用データを万遍なく保持することができるので、学習器の精度を高めることができる。例えば、学習装置１００は、被写体がどの方向から撮影された画像でも被写体を識別する学習器を生成することができる。また、学習装置１００は、例えば、被写体が描出された画像がコントラストのばらつきがある画像でも被写体を識別する学習器を生成することができる。   Accordingly, the learning device 100 can uniformly hold the learning data necessary for learning the learning device, so that the accuracy of the learning device can be improved. For example, the learning device 100 can generate a learning device that identifies a subject even in an image in which the subject is captured from any direction. In addition, the learning device 100 can generate a learning device that identifies a subject even if the image in which the subject is depicted has an uneven contrast.

〔４−２．オプティカルフロー（２）〕
上記変形例では、学習装置１００は、オプティカルフローの技術を用いて補完データを生成する例を示した。ここで、学習装置１００は、公知の技術を用いて被写体の形状を推定し、推定した形状に基づいて補完用データを生成してもよい。 [4-2. Optical flow (2)]
In the above modification, the example in which the learning device 100 generates the supplementary data by using the optical flow technique has been described. Here, the learning device 100 may estimate the shape of the subject using a known technique, and generate the supplementary data based on the estimated shape.

具体的には、学習装置１００は、時間的に連続する複数の画像に描出された被写体の動きに基づいて画像に描出された被写体の形状を推定し、推定した被写体の形状に基づいて被写体を所定の視点以外の視点から描出した画像を生成する。   Specifically, the learning device 100 estimates the shape of the subject depicted in the image based on the motion of the subject depicted in a plurality of temporally continuous images, and determines the subject based on the estimated shape of the subject. An image drawn from a viewpoint other than a predetermined viewpoint is generated.

例えば、学習装置１００は、まず、オプティカルフローの技術を用いて、時間的に連続する複数の画像に描出された被写体の動きをベクトルで表現する。一例としては、学習装置１００は、連続した画像に描出された猫の足から猫の足の動きをベクトルで表現する。   For example, the learning device 100 first expresses, using a technique of optical flow, the motion of a subject depicted in a plurality of temporally continuous images as a vector. As an example, the learning device 100 expresses the movement of the cat's feet from the cat's feet depicted in a continuous image by a vector.

そして、学習装置１００は、ベクトルで表現された被写体の動きに基づいて被写体の形状を推定する。具体的には、学習装置１００は、被写体が撮影された画像の差分から被写体の形状を推定する。例えば、学習装置１００は、カメラを動かして被写体を撮影すると発生する被写体上の同一点の撮像位置の変化から被写体の立体形状を推定する。一例としては、学習装置１００は、因子分解法やステレオ法により被写体の形状を推定する。また、学習装置１００は、光源を動かして被写体を撮影すると発生する同一物体にできた影の濃淡の変化から被写体の立体形状を推定してもよい。   Then, the learning device 100 estimates the shape of the subject based on the motion of the subject represented by the vector. Specifically, the learning device 100 estimates the shape of the subject from the difference between the images of the captured subject. For example, the learning device 100 estimates the three-dimensional shape of the subject from a change in the imaging position of the same point on the subject that occurs when the camera is moved to photograph the subject. As an example, the learning device 100 estimates the shape of the subject by a factorization method or a stereo method. Further, the learning device 100 may estimate the three-dimensional shape of the subject from a change in the density of a shadow formed on the same object that occurs when the subject is photographed by moving the light source.

また、学習装置１００は、ベクトルで表現された猫の足の動きから猫の足の形状を推定してもよい。一例としては、学習装置１００は、猫の足の動きから猫の足を特定し、背景を除去することで猫の足の形状を推定する。なお、学習装置１００は、上述した例に限らず、公知となっている各種の技術により被写体の形状を推定してもよい。そして、学習装置１００は、推定した形状から被写体を３Ｄモデル化する。   Further, the learning device 100 may estimate the shape of the cat's feet from the movement of the cat's feet represented by the vector. As an example, the learning device 100 estimates the shape of the cat's feet by identifying the cat's feet from the movement of the cat's feet and removing the background. Note that the learning device 100 may estimate the shape of the subject by not only the above-described example but also various known technologies. Then, the learning device 100 converts the subject into a 3D model from the estimated shape.

その後、学習装置１００は、推定した形状を用いて補完データを生成する。例えば、学習装置１００は、３Ｄモデル化した被写体の形状を用いて被写体が描出された画像をレンダリングする。一例としては、学習装置１００は、補完データとして、被写体が撮影された複数の画像のうち被写体を撮影した方向が少ない画像を優先して生成する。他の例では、学習装置１００は、被写体の３Ｄモデルを用いて、被写体が撮影された複数の画像のうち被写体の部位が少ない画像を優先して補完データを生成する。   After that, the learning device 100 generates complementary data using the estimated shape. For example, the learning device 100 renders an image in which the subject is depicted using the shape of the subject that is 3D modeled. As an example, the learning device 100 preferentially generates, as supplementary data, an image in which the direction in which the subject is photographed is smaller, among a plurality of images in which the subject is photographed. In another example, the learning device 100 uses the 3D model of the subject to generate supplemental data by giving priority to an image in which the part of the subject is small among a plurality of images of the subject.

このように、学習装置１００は、時間的に連続する複数の画像に描出された被写体の動きに基づいて画像に描出された被写体の形状を推定し、推定した被写体の形状に基づいて被写体を所定の視点以外の視点から描出した画像を生成する。   As described above, the learning device 100 estimates the shape of the subject depicted in the images based on the movement of the subject depicted in a plurality of temporally continuous images, and determines the subject based on the estimated shape of the subject. Generate an image drawn from a viewpoint other than the viewpoint.

これにより、学習装置１００は、相対的に少ない画像を補完データとして生成することができるので、学習器の学習を高い精度で行うことができる。このため、学習装置１００は、学習器の認識精度を高めることができる。また、学習装置１００は、被写体の形状を３Ｄモデル化することができるので、例えば、被写体が撮影されていない方向から撮影した画像を補完データとして生成することができる。このため、学習装置１００は、学習器の認識精度を高めることができるとともに、バリエーションに富んだ学習用データの画像を用意する手間を減らすことができる。   Accordingly, the learning device 100 can generate relatively few images as supplementary data, and thus can learn the learning device with high accuracy. For this reason, the learning device 100 can increase the recognition accuracy of the learning device. Further, since the learning device 100 can make the shape of the subject into a 3D model, for example, it is possible to generate, as supplementary data, an image taken from a direction in which the subject is not taken. For this reason, the learning device 100 can improve the recognition accuracy of the learning device and can reduce the trouble of preparing an image of the learning data with various variations.

〔４−３．補完データ〕
上記実施形態では、学習装置１００は、被写体が横から撮影された画像が正面から撮影された画像と比較して少ない場合に、被写体が横から撮影された画像を生成する例を示した。ここで、学習装置１００は、各種の補完データを生成してもよい。 [4-3. Supplementary data)
In the above-described embodiment, the learning apparatus 100 has been described as an example in which the image of the subject is generated from the side when the number of images of the subject captured from the side is smaller than the image of the subject captured from the front. Here, the learning device 100 may generate various types of complementary data.

具体的には、学習装置１００は、撮影された被写体の部位のうち相対的に枚数が少ない部位の画像を生成する。例えば、学習装置１００は、被写体の「体」が撮影された画像が「顔」が撮影された画像と比較して少ない場合に、被写体の「体」が撮影された画像を生成する。   Specifically, the learning device 100 generates an image of a relatively small number of portions of the captured subject portion. For example, the learning device 100 generates an image in which the “body” of the subject is captured when the number of images of the “body” of the subject is smaller than the number of images of the “face” captured.

また、学習装置１００は、補完データとして、学習用データを反転した画像を生成してもよい。また、学習装置１００は、補完データとして、学習用データの画像の濃淡や色を変換した画像を生成してもよい。   Further, the learning device 100 may generate an image in which the learning data is inverted, as the supplementary data. Further, the learning device 100 may generate, as supplementary data, an image obtained by converting the shading or the color of the image of the learning data.

このように、学習装置１００は、各種の補完データを生成する。これにより、学習装置１００は、学習器の学習を高い精度で行うことができるので、学習器の認識精度を高めることができる。   Thus, the learning device 100 generates various types of complementary data. Accordingly, the learning device 100 can perform learning of the learning device with high accuracy, and thus can improve the recognition accuracy of the learning device.

また、図３の例では、説明を簡単にするため、被写体が撮影された方向を「正面」と「横」の２つのカテゴリに分類しているが、これに限らず、各種のカテゴリに分類してもよい。例えば、被写体が撮影された方向を「正面」、「右横」、「左横」、「背後」などといった細分化したカテゴリに分類してもよい。この場合、学習装置１００は、画像の偏りをより厳密に検出することができるので、学習用データの偏りを高い精度で減らすことができる。このため、学習装置１００は、学習器を高い精度で学習することができる。   In addition, in the example of FIG. 3, the direction in which the subject is photographed is classified into two categories of “front” and “horizontal” for the sake of simplicity. However, the present invention is not limited to this. May be. For example, the direction in which the subject was photographed may be classified into subdivided categories such as “front”, “right side”, “left side”, and “back”. In this case, since the learning device 100 can more accurately detect the bias of the image, the bias of the learning data can be reduced with high accuracy. Therefore, the learning device 100 can learn the learning device with high accuracy.

〔４−４．適用対象〕
上記実施形態では、学習装置１００は、画像に描出された被写体の偏りを検出する例を示した。ここで、学習装置１００は、画像に描出された被写体の偏りに限らず、画像に描出された現象の偏りを検出してもよい。これにより、学習装置１００は、画像に描出された現象の偏りを補完する補完データを生成することができるので、バリエーションに富んだ学習を行うことができる。 [4-4. Applicable)
In the above-described embodiment, an example has been described in which the learning device 100 detects the bias of a subject depicted in an image. Here, the learning apparatus 100 may detect not only the bias of the subject depicted in the image but also the bias of the phenomenon depicted in the image. Accordingly, the learning device 100 can generate complementary data that complements the bias of the phenomenon depicted in the image, and thus can perform a variety of learning.

〔４−５．ＤＮＮ〕
上記実施形態では、学習装置１００は、入力層、中間層および出力層によって構成される学習器を生成する例を示した。ここで、学習装置１００は、各種の層に任意の数のノード群を含む学習器を生成してもよい。例えば、学習装置１００は、中間層に複数のノード群が含まれる多段の学習器を生成する。また、学習器に含まれるノード群は、任意の数のノードによって構成されてもよい。 [4-5. DNN]
In the above embodiment, an example has been described in which the learning device 100 generates a learning device including an input layer, a middle layer, and an output layer. Here, the learning device 100 may generate a learning device including an arbitrary number of node groups in various layers. For example, the learning device 100 generates a multi-stage learning device including a plurality of node groups in an intermediate layer. Further, the node group included in the learning device may be configured by an arbitrary number of nodes.

〔４−６．装置構成〕
上記実施形態では、学習装置１００は、学習器の学習を行う学習処理は行わず、生成部１３３による生成処理のみを行う学習装置であってもよい。この場合、学習装置は、少なくとも学習部１３４を有しない。そして、学習部１３４を有する学習装置が、学習装置１００によって生成された補完データを用いて学習器の学習を行う。 [4-6. Device configuration〕
In the above embodiment, the learning device 100 may be a learning device that does not perform the learning process of learning the learning device and performs only the generation process by the generation unit 133. In this case, the learning device does not include at least the learning unit 134. Then, the learning device having the learning unit 134 performs learning of the learning device using the complementary data generated by the learning device 100.

〔４−７．その他〕
上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。 [4-7. Others)
Of the processes described in the above embodiment, all or some of the processes described as being performed automatically can be manually performed, or all or some of the processes described as being performed manually can be performed. Some of them can be performed automatically by a known method. In addition, the processing procedures, specific names, and information including various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified. For example, the various information shown in each drawing is not limited to the information shown.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図２に示した検出部１３２および生成部１３３は統合されてもよい。   Each component of each device illustrated is a functional concept, and does not necessarily need to be physically configured as illustrated. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or a part thereof may be functionally or physically distributed / arbitrarily divided into arbitrary units according to various loads and usage conditions. Can be integrated and configured. For example, the detection unit 132 and the generation unit 133 illustrated in FIG. 2 may be integrated.

〔４−８．ハードウェア構成〕
また、上述してきた実施形態に係る学習装置１００は、例えば図９に示すような構成のコンピュータ１０００によって実現される。以下、学習装置１００を例に挙げて説明する。図９は、学習装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、およびメディアインターフェイス（Ｉ／Ｆ）１７００を有する。 [4-8. Hardware configuration)
The learning device 100 according to the embodiment described above is realized by, for example, a computer 1000 having a configuration as illustrated in FIG. Hereinafter, the learning device 100 will be described as an example. FIG. 9 is a hardware configuration diagram illustrating an example of a computer 1000 that implements the functions of the learning device 100. The computer 1000 has a CPU 1100, a RAM 1200, a ROM 1300, an HDD 1400, a communication interface (I / F) 1500, an input / output interface (I / F) 1600, and a media interface (I / F) 1700.

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。   The CPU 1100 operates based on a program stored in the ROM 1300 or the HDD 1400, and controls each unit. The ROM 1300 stores a boot program executed by the CPU 1100 when the computer 1000 starts up, a program that depends on hardware of the computer 1000, and the like.

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、通信網５００を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを通信網５００を介して他の機器へ送信する。   The HDD 1400 stores a program executed by the CPU 1100, data used by the program, and the like. The communication interface 1500 receives data from another device via the communication network 500, sends the data to the CPU 1100, and transmits the data generated by the CPU 1100 to the other device via the communication network 500.

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。   The CPU 1100 controls output devices such as a display and a printer and input devices such as a keyboard and a mouse via the input / output interface 1600. The CPU 1100 obtains data from an input device via the input / output interface 1600. Further, CPU 1100 outputs the generated data to an output device via input / output interface 1600.

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。   The media interface 1700 reads a program or data stored in the recording medium 1800 and provides the program or data to the CPU 1100 via the RAM 1200. The CPU 1100 loads the program from the recording medium 1800 onto the RAM 1200 via the media interface 1700, and executes the loaded program. The recording medium 1800 is, for example, an optical recording medium such as a DVD (Digital Versatile Disc), a PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. It is.

例えば、コンピュータ１０００が実施形態に係る学習装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、記憶部１２０内のデータが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から通信網５００を介してこれらのプログラムを取得してもよい。   For example, when the computer 1000 functions as the learning device 100 according to the embodiment, the CPU 1100 of the computer 1000 implements the function of the control unit 130 by executing a program loaded on the RAM 1200. The HDD 1400 stores data in the storage unit 120. The CPU 1100 of the computer 1000 reads and executes these programs from the recording medium 1800. However, as another example, the CPU 1100 may acquire these programs from another device via the communication network 500.

〔５．効果〕
上述してきたように、実施形態に係る学習装置１００は、生成部１３３と、学習部１３４とを有する。生成部１３３は、被写体が描出された画像を用いて、被写体の３次元形状を復元し、復元された被写体の３次元形状に基づいて、被写体を所定の視点以外の視点から描出した画像を生成する。学習部１３４は、生成部１３３が生成した画像を用いて、被写体の特徴を抽出する学習器の学習を行う。 [5. effect〕
As described above, the learning device 100 according to the embodiment includes the generation unit 133 and the learning unit 134. The generation unit 133 restores the three-dimensional shape of the subject using the image in which the subject is drawn, and generates an image in which the subject is drawn from a viewpoint other than the predetermined viewpoint based on the restored three-dimensional shape of the subject. I do. The learning unit 134 learns a learning device that extracts a feature of a subject using the image generated by the generation unit 133.

また、実施形態に係る学習装置１００において、検出部１３２は、画像に描出された被写体または現象の偏りを検出する。生成部１３３は、検出部１３２によって被写体または現象の偏りが検出された場合に、被写体を所定の視点以外の視点から描出した画像を生成する。   In the learning device 100 according to the embodiment, the detection unit 132 detects a bias of a subject or a phenomenon depicted in an image. The generation unit 133 generates an image in which the subject is drawn from a viewpoint other than the predetermined viewpoint when the detection unit 132 detects the bias of the subject or the phenomenon.

これにより、実施形態に係る学習装置１００は、学習用データの数が十分にない場合でも学習用データを増やすことができるので、学習器の学習を容易に行うことができる。例えば、学習装置１００は、学習用データを用いて補完用データを生成することができるので、学習用データを集める手間を減らすことができる。また、学習装置１００は、学習用データの数が十分にない場合でも学習器の学習を行うことができる。   As a result, the learning device 100 according to the embodiment can increase the number of learning data even when the number of learning data is not sufficient, so that the learning of the learning device can be easily performed. For example, since the learning device 100 can generate the supplementary data using the learning data, the labor for collecting the learning data can be reduced. Further, the learning device 100 can perform learning of the learning device even when the number of learning data is not sufficient.

また、学習装置１００は、学習用データのうち偏りがあって相対的に少ないデータを増やすことができるので、学習器の入力データに対する出力の精度を高めることができる。例えば、学習装置１００は、被写体が横から撮影された画像が正面から撮影された画像と比較して少ない場合に被写体が横から撮影された画像を生成することができるので、被写体の特徴をより高い精度で捉えた学習器の学習を行うことができる。このため、学習装置１００は、学習器の認識精度を高めることができる。   In addition, the learning device 100 can increase the amount of biased and relatively small data in the learning data, so that the output accuracy of the learning device with respect to the input data can be increased. For example, the learning device 100 can generate an image in which the subject is photographed from the side when the number of images of the subject photographed from the side is smaller than that of the image photographed from the front. The learning of the learning device captured with high accuracy can be performed. For this reason, the learning device 100 can increase the recognition accuracy of the learning device.

また、変形例に係る学習装置１００において、生成部１３３は、被写体を所定の視点以外の視点から描出した画像として、被写体が撮影された複数の画像のうち被写体を撮影した方向が少ない画像を優先して生成する。   Further, in the learning device 100 according to the modification, the generation unit 133 gives priority to an image in which the direction in which the subject is photographed is smaller among a plurality of images in which the subject is photographed, as the image depicting the subject from a viewpoint other than the predetermined viewpoint. And generate.

これにより、変形例に係る学習装置１００は、学習用データのうち偏りがあって相対的に少ないデータを増やすことができるので、学習器の入力データに対する出力の精度を高めることができる。   As a result, the learning device 100 according to the modification can increase the biased and relatively small amount of the learning data, thereby improving the output accuracy of the learning device with respect to the input data.

また、変形例に係る学習装置１００において、生成部１３３は、時間的に連続する複数の画像に描出された被写体の動きに基づいて画像に描出された被写体または現象を複数の視点から観測した画像を推定し、推定した画像を用いて被写体を所定の視点以外の視点から描出した画像を生成する。   In the learning device 100 according to the modified example, the generation unit 133 may be configured to generate an image obtained by observing a subject or a phenomenon depicted in an image from a plurality of viewpoints based on the movement of the subject depicted in a plurality of temporally continuous images. Is estimated, and an image in which the subject is drawn from a viewpoint other than the predetermined viewpoint is generated using the estimated image.

これにより、変形例に係る学習装置１００は、学習器の学習を行うのに必要な学習用データを万遍なく保持することができるので、学習器の精度を高めることができる。例えば、学習装置１００は、被写体がどの方向から撮影された画像でも被写体を識別する学習器を生成することができる。また、学習装置１００は、例えば、被写体が描出された画像がコントラストのばらつきがある画像でも被写体を識別する学習器を生成することができる。   Thereby, the learning device 100 according to the modified example can uniformly hold learning data necessary for learning the learning device, so that the accuracy of the learning device can be improved. For example, the learning device 100 can generate a learning device that identifies a subject even in an image in which the subject is captured from any direction. In addition, the learning device 100 can generate a learning device that identifies a subject, for example, even when an image in which the subject is drawn has an uneven contrast.

また、変形例に係る学習装置１００において、生成部１３３は、時間的に連続する複数の画像に描出された被写体の動きに基づいて画像に描出された被写体の形状を推定し、推定した被写体の形状に基づいて被写体を所定の視点以外の視点から描出した画像を生成する。   Further, in the learning device 100 according to the modification, the generation unit 133 estimates the shape of the subject depicted in the image based on the movement of the subject depicted in a plurality of temporally continuous images, and An image in which the subject is drawn from a viewpoint other than a predetermined viewpoint is generated based on the shape.

これにより、変形例に係る学習装置１００は、相対的に少ない画像を補完データとして生成することができるので、学習器の学習を高い精度で行うことができる。このため、学習装置１００は、学習器の認識精度を高めることができる。また、学習装置１００は、被写体の形状を３Ｄモデル化することができるので、例えば、被写体が撮影されていない方向から撮影した画像を補完データとして生成することができる。このため、学習装置１００は、学習器の認識精度を高めることができるとともに、バリエーションに富んだ学習用データの画像を用意する手間を減らすことができる。   Accordingly, the learning device 100 according to the modified example can generate relatively few images as supplementary data, so that learning by the learning device can be performed with high accuracy. For this reason, the learning device 100 can increase the recognition accuracy of the learning device. Further, since the learning device 100 can model the shape of the subject as a 3D model, for example, it is possible to generate, as supplementary data, an image captured from a direction in which the subject is not captured. For this reason, the learning device 100 can improve the recognition accuracy of the learning device, and can reduce the trouble of preparing an image of learning data that is rich in variations.

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。   As described above, some of the embodiments of the present application have been described in detail with reference to the drawings. However, these are merely examples, and various modifications, It is possible to implement the invention in other forms with improvements.

１００ 学習装置
１２１ 学習用データ記憶部
１２２ 学習器情報記憶部
１３１ 受付部
１３２ 検出部
１３３ 生成部
１３４ 学習部 REFERENCE SIGNS LIST 100 learning device 121 learning data storage unit 122 learning device information storage unit 131 accepting unit 132 detecting unit 133 generating unit 134 learning unit

Claims (3)

時間的に連続する複数の画像に描出された被写体の動きに基づいて前記画像に描出された被写体の形状を推定し、推定した被写体の形状に基づいて、前記被写体を複数の視点から描出した画像であって、前記被写体が撮影された複数の画像のうち前記被写体を撮影した方向が相対的に少ない画像を生成する生成部と、
前記生成部が生成した画像を用いて、前記被写体の分類の特徴に対応するノードの値から画像のカテゴリ分類を行う学習器の学習を行う学習部と
を備えたことを特徴とするＤＮＮ（Deep Neural Network）の学習装置。 An image in which the shape of the subject depicted in the image is estimated based on the movement of the subject depicted in a plurality of temporally continuous images, and the subject is depicted from a plurality of viewpoints based on the estimated shape of the subject. A generation unit that generates an image in which the direction in which the subject is photographed is relatively small among a plurality of images in which the subject is photographed,
A learning unit for learning a learning device that classifies the image into categories based on node values corresponding to the characteristics of the classification of the subject using the image generated by the generation unit. Neural Network) learning device. 学習装置が実行する学習方法であって、
時間的に連続する複数の画像に描出された被写体の動きに基づいて前記画像に描出された被写体の形状を推定し、推定した被写体の形状に基づいて、前記被写体を複数の視点から描出した画像であって、前記被写体が撮影された複数の画像のうち前記被写体を撮影した方向が相対的に少ない画像を生成する生成工程と、
前記生成工程で生成した画像を用いて、前記被写体の分類の特徴に対応するノードの値から画像のカテゴリ分類を行う学習器の学習を行う学習工程と
を含んだことを特徴とするＤＮＮ（Deep Neural Network）の学習方法。 A learning method performed by the learning device,
An image in which the shape of the subject depicted in the image is estimated based on the movement of the subject depicted in a plurality of temporally continuous images, and the subject is depicted from a plurality of viewpoints based on the estimated shape of the subject. A generating step of generating an image in which the direction in which the subject is photographed is relatively small among a plurality of images in which the subject is photographed,
A learning step of learning a learning device that classifies the image into categories based on node values corresponding to the characteristics of the classification of the subject using the image generated in the generation step. Neural Network) learning method. 時間的に連続する複数の画像に描出された被写体の動きに基づいて前記画像に描出された被写体の形状を推定し、推定した被写体の形状に基づいて、前記被写体を複数の視点から描出した画像であって、前記被写体が撮影された複数の画像のうち前記被写体を撮影した方向が相対的に少ない画像を生成する生成手順と、
前記生成手順で生成した画像を用いて、前記被写体の分類の特徴に対応するノードの値から画像のカテゴリ分類を行う学習器の学習を行う学習手順と
をコンピュータに実行させるためのＤＮＮ（Deep Neural Network）の学習プログラム。 An image in which the shape of the subject depicted in the image is estimated based on the movement of the subject depicted in a plurality of temporally continuous images, and the subject is depicted from a plurality of viewpoints based on the estimated shape of the subject. A generation procedure for generating an image in which the direction in which the subject is photographed is relatively small among a plurality of images in which the subject is photographed,
(Deep Neural Network) for causing a computer to execute a learning procedure of learning a learner that performs a category classification of an image from a value of a node corresponding to the feature of the classification of the subject using the image generated in the generation procedure. Network) learning program.
JP2014127413A 2014-06-20 2014-06-20 Learning device, learning method and learning program Expired - Fee Related JP6664579B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014127413A JP6664579B2 (en) 2014-06-20 2014-06-20 Learning device, learning method and learning program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014127413A JP6664579B2 (en) 2014-06-20 2014-06-20 Learning device, learning method and learning program

Publications (2)

Publication Number Publication Date
JP2016006616A JP2016006616A (en) 2016-01-14
JP6664579B2 true JP6664579B2 (en) 2020-03-13

Family

ID=55225014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014127413A Expired - Fee Related JP6664579B2 (en) 2014-06-20 2014-06-20 Learning device, learning method and learning program

Country Status (1)

Country Link
JP (1) JP6664579B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6431495B2 (en) * 2016-03-25 2018-11-28 本田技研工業株式会社 Teacher data generation method
JP2017182129A (en) * 2016-03-28 2017-10-05 ソニー株式会社 Information processing device
WO2018020954A1 (en) * 2016-07-29 2018-02-01 株式会社日立製作所 Database construction system for machine-learning
JP6441980B2 (en) * 2017-03-29 2018-12-19 三菱電機インフォメーションシステムズ株式会社 Method, computer and program for generating teacher images
JP6487493B2 (en) 2017-05-18 2019-03-20 ファナック株式会社 Image processing system
JP7203844B2 (en) * 2017-07-25 2023-01-13 達闥機器人股▲分▼有限公司 Training data generation method, generation device, and semantic segmentation method for the image
KR101964100B1 (en) * 2017-10-23 2019-04-01 국민대학교산학협력단 Object detection apparatus based on neural network learning and method of the same

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008012636A (en) * 2006-07-07 2008-01-24 Toyota Motor Corp Personal identification system
JP5812599B2 (en) * 2010-02-25 2015-11-17 キヤノン株式会社 Information processing method and apparatus
JP5795250B2 (en) * 2011-12-08 2015-10-14 Kddi株式会社 Subject posture estimation device and video drawing device
WO2013132695A1 (en) * 2012-03-09 2013-09-12 日本電気株式会社 Information processing device, information processing method and recording medium
JP5963525B2 (en) * 2012-04-27 2016-08-03 キヤノン株式会社 Recognition device, control method thereof, control program, imaging device and display device

Also Published As

Publication number Publication date
JP2016006616A (en) 2016-01-14

Similar Documents

Publication Publication Date Title
JP6664579B2 (en) Learning device, learning method and learning program
WO2018157873A1 (en) Fine-grained object recognition in robotic systems
CN108182394B (en) Convolutional neural network training method, face recognition method and face recognition device
Dosovitskiy et al. Flownet: Learning optical flow with convolutional networks
Lu et al. Depth enhancement via low-rank matrix completion
US10225473B2 (en) Threshold determination in a RANSAC algorithm
JP6024658B2 (en) Object detection apparatus, object detection method, and program
EP3769265A1 (en) Localisation, mapping and network training
JP2015197702A5 (en)
TWI835907B (en) Electronic apparatus and operating method thereof, and image processing method
JP2017538196A (en) Product image segmentation method and apparatus
WO2017165332A1 (en) 2d video analysis for 3d modeling
JP6431404B2 (en) Attitude estimation model generation apparatus and attitude estimation apparatus
CN114556422A (en) Joint depth prediction from dual cameras and dual pixels
TW201436552A (en) Method and apparatus for increasing frame rate of an image stream using at least one higher frame rate image stream
CN106504265A (en) Estimation optimization method, equipment and system
CN110443228B (en) Pedestrian matching method and device, electronic equipment and storage medium
JP6359985B2 (en) Depth estimation model generation device and depth estimation device
JP7054603B2 (en) Judgment device, judgment method, and judgment program
CN107564045B (en) Stereo matching method based on gradient domain guided filtering
CN109978928B (en) Binocular vision stereo matching method and system based on weighted voting
JP2022012626A (en) Model generation device, regression device, model generation method, and model generation program
JP2018116672A (en) Information processing apparatus, information processing method, and program
KR20180082680A (en) Method for learning classifier and prediction classification apparatus using the same
JP2013061876A (en) Information processing apparatus, control method for information processing apparatus, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170421

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171208

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20171218

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20180112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190820

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191101

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20191107

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20191108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191107

R150 Certificate of patent or registration of utility model

Ref document number: 6664579

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees