JP2008152619A - データ処理装置およびデータ処理プログラム - Google Patents

データ処理装置およびデータ処理プログラム Download PDF

Info

Publication number
JP2008152619A
JP2008152619A JP2006341144A JP2006341144A JP2008152619A JP 2008152619 A JP2008152619 A JP 2008152619A JP 2006341144 A JP2006341144 A JP 2006341144A JP 2006341144 A JP2006341144 A JP 2006341144A JP 2008152619 A JP2008152619 A JP 2008152619A
Authority
JP
Japan
Prior art keywords
data
data group
classification
group
unsupervised learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006341144A
Other languages
English (en)
Inventor
Shinichiro Serizawa
慎一郎 芹澤
Tomoyuki Ito
朋之 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2006341144A priority Critical patent/JP2008152619A/ja
Priority to US11/819,287 priority patent/US8001061B2/en
Priority to EP07013033A priority patent/EP1939796A3/en
Priority to CN200710130576XA priority patent/CN101206727B/zh
Publication of JP2008152619A publication Critical patent/JP2008152619A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】いわゆる「教師あり学習」の学習精度向上を図る場合であっても処理負荷増大を抑制する。
【解決手段】第1データ群21に対して教師なし学習によるデータ分類を行って当該第1データ群21のデータ次元数を縮約した第1分類データ群23を得る第1の教師なし学習処理手段13と、第2データ群22に対して教師なし学習によるデータ分類を行って当該第2データ群22のデータ次元数を縮約した第2分類データ群24を得る第2の教師なし学習処理手段14と、前記第1の教師なし学習処理手段13が得た第1分類データ群23および前記第2の教師なし学習処理手段14が得た第2分類データ群24を教師にした教師あり学習により当該第1分類データ群23と当該第2分類データ群24との写像関係を特定する教師あり学習処理手段15とを備えて、データ処理装置を構成する。
【選択図】図2

Description

本発明は、データ処理装置およびデータ処理プログラムに関する。
近年、生体の神経網を模擬した工学的情報処理機構であるニューラルネットワーク(神経回路網)が、様々な分野の情報処理に利用されている。ニューラルネットワークによる情報処理には、入出力の対応関係を学習するための「学習計算」と、入力値と学習した対応関係に基づいて出力値を生成する「出力計算」という2つの動作モードがある(例えば、特許文献1参照)。そして、「学習計算」には、「教師あり学習」と「教師なし学習」があることが広く知られている。
「教師あり学習」とは、目標または正解となるデータが「教師データ」として与えられる場合の学習をいう。具体的には、図7(a)に示すように、「教師あり学習」に対応した機能部分(以下、機能部分のことを「モジュール」という)31は、「学習計算」の動作モードにて、教師データとなる第1データ群32および第2データ群33が与えられると、例えば誤差逆伝播学習法(バックプロパゲーション)を用いてこれらの写像関係を学習する。そして、学習後には、図7(b)のように、「出力計算」の動作モードにて、例えば第1データ群に属する未知データ34が与えられると、学習した写像関係に基づいて、第2データ群に属する推定データ35を導き出すのである。
一方、「教師なし学習」は、「教師データ」が与えられない点で、「教師あり学習」とは異なる。すなわち、「教師なし学習」は、「出力すべきもの」が予め決まっていないという点で「教師あり学習」とは大きく異なり、データの背後に存在する本質的な構造を抽出するために用いられる。具体的には、例えばデータの類似度を基準にして当該データの分類を行う、いわゆるクラスター解析が、「教師なし学習」の代表例として挙げられる。
このような「教師あり学習」および「教師なし学習」を利用したニューラルネットワークとしては、「教師なし学習」に対応したモジュールにより、入力データを分類し、その分類結果に応じて複数の「教師あり学習」に対応したモジュールを使い分けるように構成されたものがある(例えば、特許文献2参照)。また、その他にも、例えば図8に示すように、「教師なし学習」に対応したモジュール41が、「教師あり学習」に必要な教師データとなるデータ群42について、何らかのパターンに分類して、分類毎に異なる意味付けの分類データ43を得ることを可能にしたものがある(例えば、特許文献3参照)。
特開平6−348676号公報 特開平8−329032号公報 特開2005−293264号公報
ところで、「教師あり学習」において、その学習精度の向上を図るためには、「教師データ」の数を増大させればよい。しかしながら、「教師データ」の数を増大させると、特に当該「教師データ」が大規模データ列である場合には、「学習計算」のための処理時間が膨大になってしまう。つまり、「教師あり学習」における学習精度向上は、必ずしも実用的であるとは言えない。
そこで、本発明は、「教師あり学習」の学習精度を向上するために「教師データ」の数を増大させた場合であっても処理負荷増大を抑制することのできるデータ処理装置およびデータ処理プログラムを提供することを目的とする。
本発明は、上記目的を達成するために案出されたデータ処理装置およびデータ処理プログラムである。
請求項1に係る発明は、第1データ群に対して教師なし学習によるデータ分類を行って、当該第1データ群のデータ次元数を縮約した第1分類データ群を得る第1の教師なし学習処理手段と、第2データ群に対して教師なし学習によるデータ分類を行って、当該第2データ群のデータ次元数を縮約した第2分類データ群を得る第2の教師なし学習処理手段と、前記第1の教師なし学習処理手段が得た第1分類データ群および前記第2の教師なし学習処理手段が得た第2分類データ群を教師にした教師あり学習により、当該第1分類データ群と当該第2分類データ群との写像関係を特定する教師あり学習処理手段とを備えることを特徴とするデータ処理装置である。ここで、「縮約」とは、規模を縮小して簡潔にすることをいう。したがって、データの「縮約」であれば、多次元情報を尺度化によって整理して集約された情報として纏めることをいう。
請求項2に係る発明は、前記第1データ群に属するデータを入力するデータ入力手段と、前記第2データ群に属するデータで前記データ入力手段に入力されたデータに対応するものを出力するデータ出力手段を備え、前記第1の教師なし学習処理手段でのデータ分類、前記教師あり学習処理手段が特定する写像関係および前記第2の教師なし学習処理手段でのデータ分類を基にして、前記データ入力手段に入力されたデータから前記データ出力手段で出力するデータを導き出すことを特徴とする請求項1記載のデータ処理装置である。
請求項3に係る発明は、前記第2データ群に属するデータを入力するデータ入力手段と、前記第1データ群に属するデータで前記データ入力手段に入力されたデータに対応するものを出力するデータ出力手段を備え、前記第1の教師なし学習処理手段でのデータ分類、前記教師あり学習処理手段が特定する写像関係および前記第2の教師なし学習処理手段でのデータ分類を基にして、前記データ入力手段に入力されたデータから前記データ出力手段で出力するデータを導き出すことを特徴とする請求項1または2記載のデータ処理装置である。
請求項4に係る発明は、前記第1データ群と前記第2データ群との少なくとも一方についての特徴量抽出を行う特徴量抽出手段を備えることを特徴とする請求項1、2または3記載のデータ処理装置である。
請求項5に係る発明は、前記第1データ群と前記第2データ群とは、シミュレーション処理の入力値と出力値の関係にあることを特徴とする請求項1〜4のいずれか1項に記載のデータ処理装置である。
請求項6に係る発明は、前記第1データ群と前記第2データ群とは、理論値と実測値の関係にあることを特徴とする請求項1〜4のいずれか1項に記載のデータ処理装置である。
請求項7に係る発明は、コンピュータを、第1データ群に対して教師なし学習によるデータ分類を行って、当該第1データ群のデータ次元数を縮約した第1分類データ群を得る第1の教師なし学習処理手段と、第2データ群に対して教師なし学習によるデータ分類を行って、当該第2データ群のデータ次元数を縮約した第2分類データ群を得る第2の教師なし学習処理手段と、前記第1の教師なし学習処理手段が得た第1分類データ群および前記第2の教師なし学習処理手段が得た第2分類データ群を教師にした教師あり学習により、当該第1分類データ群と当該第2分類データ群との写像関係を特定する教師あり学習処理手段として機能させることを特徴とするデータ処理プログラムである。
請求項1または請求項7に係る発明によれば、教師あり学習にあたり、データ次元数を縮約した第1、第2分類データ群を教師とするので、当該縮約を行わない場合に比べて、学習計算のための処理負荷を軽減することができる。つまり、教師あり学習の学習精度の向上を図る場合であっても、そのための処理負荷増大の抑制を実現することが可能なデータ処理装置またはデータ処理プログラムを構築することができる。
請求項2または請求項3に係る発明によれば、教師あり学習処理手段が教師あり学習を行った後であれば、ある写像関係にあるデータ同士について、基となるデータからこれに対応するデータを導き出したり、あるいはこれとは逆に対応データからその基になるデータを導き出したりすることを、本構成を有していない場合に比較して容易かつ高精度で行うことができる。
請求項4に係る発明によれば、第1の教師なし学習処理手段でのデータ分類、または第2の教師なし学習処理手段でのデータ分類の際に、抽出した特徴量に着目したデータ分類を行うことが可能となり、当該データ分類の精度向上が図れるようになる。
請求項5に係る発明では、本構成を有さない場合と比較してシミュレーション処理における計算処理の負荷軽減を通じて、当該シミュレーション処理の迅速化(時間短縮化)が図れる。
請求項6に係る発明では、データ群の対応関係の明確化を通じて、例えば理論値から実測値(現実の値)を予測する、といったことが容易に実現可能となる。
以下、図面に基づき本発明に係るデータ処理装置およびデータ処理プログラムについて説明する。
先ず、データ処理装置のハードウエア構成について説明する。図1は、データ処理装置のハードウエア構成例を示すブロック図である。
ここで例に挙げるデータ処理装置は、コンピュータとしての機能を有したものである。具体的には、パーソナルコンピュータやシミュレーション実行に特化したシミュレーション装置等を用いることが考えられる。
コンピュータとしての機能は、図1に示すハードウエア構成によって実現される。すなわち、データ処理装置1は、CPU(Central Processing Unit)2、RAM(Random Access Memory)3、ROM(Read Only Memory)4、HDD(Hard Disk Drive、これに類する記憶装置であってもよい)5、通信インターフェース(以下、インターフェースを「I/F」と略す)6、ユーザI/F7およびこれらを互いに接続する内部バス8を備えて構成されている。このうち、通信I/F6には、通信回線9が接続される。通信回線9としては、インターネット等の広域ネットワークを構築するための回線網が挙げられるが、ローカルエリアネットワーク(LAN)を構築するためのものであっても、あるいはファクシミリ通信を行うための公衆電話回線網であってもよい。また、ユーザI/F7は、情報表示ディスプレイおよび操作スイッチ等によって構成することが考えられるが、CRT(Cathode Ray Tube)や液晶パネル等のディスプレイ装置およびキーボードやマウス等の操作装置と接続するためのものであってもよい。
であってもよい。
続いて、データ処理装置1の機能構成について説明する。図2は、データ処理装置の機能構成例を示すブロック図である。
データ処理装置1は、ニューラルネットワークによる情報処理、すなわち「学習計算」および「出力計算」という2つの動作モードの情報処理を行うものである。そのために、データ処理装置1は、図例のように、データ入出力手段11、特徴量抽出手段12、第1の教師なし学習処理手段13、第2の教師なし学習処理手段14および教師あり学習処理手段15としての機能を備えている。
データ入出力手段11は、複数のデータの集合である第1データ群21と、当該第1データ群21とは別の複数のデータの集合である第2データ群22とについて、当該データ群21、22を構成する各データの入力および出力を行うものである。第1データ群21および第2データ群22については、詳細を後述する。入力および出力は、通信I/F6またはユーザI/F7のいずれかを利用して行うことが考えられる。また、データ入出力手段11としては、第1データ群21および第2データ群22のそれぞれについての入力および出力の両方に対応した1つの機能部分を設けることが考えられるが、第1データ群21についての入力、第1データ群21についての出力、第2データ群22についての入力、第2データ群22についての出力のそれぞれの対応した各機能部分を個別に設けても構わない。
特徴量抽出手段12は、データ入出力手段11より入力されたデータ群21、22の少なくとも一方について、その特徴量抽出を行うものである。「少なくとも一方」であるから、第1データ群21と第2データ群22との両方の特徴量抽出を行うものであってもよい。特徴量およびその抽出については、詳細を後述する。
第1の教師なし学習処理手段13は、データ入出力手段11より入力された第1データ群21に対して、「教師なし学習」によるデータ分類を行って、当該第1データ群21のデータ次元数を縮約した第1分類データ群23を得るものである。
一方、第2の教師なし学習処理手段14は、データ入出力手段11より入力された第2データ群22に対して、「教師なし学習」によるデータ分類を行って、当該第2データ群22のデータ次元数を縮約した第2分類データ群24を得るものである。
すなわち、第1の教師なし学習処理手段13および第2の教師なし学習処理手段14は、いずれも、「教師なし学習」に対応したモジュールを構成するものである。なお、「データ次元数」、第1分類データ群23および第2分類データ群24については、詳細を後述する。
教師あり学習処理手段15は、第1分類データ群23および第2分類データ群24を教師にした「教師あり学習」により、当該第1分類データ群23と当該第2分類データ群24との写像関係を特定するものであり、また当該写像関係に基づいて、あるデータからこれに対応するデータを導き出すものである。すなわち、教師あり学習処理手段15は、「教師あり学習」に対応したモジュールを構成するものである。
以上のようなデータ処理装置1を構成する各手段11〜15は、当該データ処理装置1におけるコンピュータとしての機能(ハードウエア構成)が、所定プログラムを実行することによって実現されるものである。その場合に、当該所定プログラムは、データ処理装置1内へのインストールに先立ち、コンピュータ読み取り可能な記憶媒体に格納されて提供されるものであっても、または有線若しくは無線による通信手段を介して配信されるものであってもよい。つまり、上述した機能構成のデータ処理装置1は、そのデータ処理装置1にインストール可能なデータ処理プログラムによっても実現することが可能である。
次に、以上のように構成されたデータ処理装置(データ処理プログラムによって実現される場合を含む)1における処理動作例について説明する。
ここで、先ず、データ処理装置1にて処理されるデータ群の具体例について説明する。図3は、処理されるデータ群の具体例を示す説明図である。
例えば、図3(a)に示す入力とそれに対して図3(b)に示す出力とを持つ制御システムに適用した場合を考える。図3(a),(b)は、いずれも、図中の横軸パラメータ(例えば時間)の値と縦軸パラメータ(例えば電圧)の値とが所定関係にあり、かつ、一方のパラメータ値の変化に応じて他方のパラメータ値が非線形に変化するデータの集まりを示している。そして、図3(a)に示すデータの集まり(=データ群)と図3(b)に示すデータの集まり(=データ群)には、何らかの写像関係が存在している。
これらのデータ群では、当該データ群を構成する各データのそれぞれが1つの次元を構成する。したがって、例えば1000個のデータ(図中における1000個の点)が集まって構成されるデータ群であれば、当該データ群のデータ次元数は「1000」となる。
ところで、図3(a),(b)に示したデータ群を「教師データ」とし、従来技術を用いて「教師あり学習」を行うと、当該「教師あり学習」のための処理時間に5時間程度を要することが考えられる。したがって、その学習精度の向上を図るべく、図3(a),(b)に示したデータ群をそれぞれ50例用意すると、「教師あり学習」のための処理時間が(5×50)時間となってしまい、実用的であるとは言えない。
そこで、上述した構成されたデータ処理装置1では、「学習計算」の動作モードにおいて、図3(a),(b)に示したデータ群がそれぞれ第1データ群21および第2データ群22としてデータ入出力手段11より入力されると、以下に述べるような処理動作を行う。
データ処理装置1では、第1データ群21および第2データ群22が入力されると、それぞれについて、特徴量抽出手段12が特徴量抽出を行う。特徴量抽出を行えば、その後に行う「教師なし学習」によるデータ分類を、抽出した特徴量に着目して行うことができるからである。ただし、特徴量抽出手段12による特徴量抽出は、必須の処理ではない。したがって、第1データ群21および第2データ群22が入力されても特徴量抽出を行わなかったり、あるいはいずれか一方に特徴量抽出を行うようにしても構わない。
ここで、特徴量抽出手段12による特徴量抽出について、具体例を挙げて説明する。図4は、特徴量抽出の具体例を示す説明図である。
第1データ群21の特徴量を抽出する場合を例に挙げると、特徴量抽出手段12は、図4(a)に示すように、当該第1データ群21に対してFFT(高速フーリエ変換)を用いて低周波成分のみを取り出して分類に用い、その分類結果を特徴量とすることが考えられる。
また、特徴量抽出手段12は、図4(b)に示すように、ある曲線のピーク値に着目し、その着目部分を特徴量とするものであってもよい。
このように、特徴量抽出手段12は、特徴量抽出を行う場合には、公知の手法を利用しつつ当該特徴量抽出を行う。
その後、データ処理装置1では、第1データ群21(特徴量抽出手段12が特徴量抽出を行った場合は当該特徴量抽出後のもの)に対して、第1の教師なし学習処理手段13が「教師なし学習」によるデータ分類を行う。また、第2データ群22(特徴量抽出手段12が特徴量抽出を行った場合は当該特徴量抽出後のもの)に対して、第2の教師なし学習処理手段14が「教師なし学習」によるデータ分類を行う。「教師なし学習」によるデータ分類は、例えば自己組織化マップでの分類のように、公知の手法を利用して行えばよい。その結果、第1の教師なし学習処理手段13および第2の教師なし学習処理手段14は、それぞれ、第1分類データ群23および第2分類データ群24を得ることになる。
図3(c),(d)には、図3(a),(b)に示した第1データ群21および第2データ群22のそれぞれについて、自己組織化マップで分類した結果、すなわち第1分類データ群23および第2分類データ群24の具体例を示している。
例えば、図3(c)の第1分類データ群23は、仮想的なXY座標平面上にマッピングされたデータの集まりによって表現されるデータ群であり、図3(a)に示した第1データ群21を構成する各データのそれぞれが、当該XY座標平面上のいずれかの座標点にマッピングされている。そして、各座標点におけるデータのベクトル類似度が、ユークリッドノルムの差によって、例えば差が大きければ濃色で差が小さければ淡色といったように、視認し得る態様で表現されている。
このような自己組織化マップによる分類、すなわち「教師なし学習」によるデータ分類を経ることによって、第1データ群21および第2データ群22は、いずれも、例えばデータ次元数が「1000」のものが50例用意された場合であっても、これらの全てがXY座標平面上にマッピングされた態様の第1分類データ群23および第2分類データ群24に変換される。つまり、「教師なし学習」によるデータ分類を行うことで、第1データ群21および第2データ群22のそれぞれから、第1分類データ群23および第2分類データ群24が得られる。
これら第1分類データ群23および第2分類データ群24は、いずれも、XY座標平面上にマッピングされたデータ群である。したがって、当該データ群のデータ次元数は、X軸方向の座標値とY軸方向の座標値との「2」となる。換言すると、第1分類データ群23および第2分類データ群24は、第1データ群21および第2データ群22のデータ次元数(例えば、「1000次元」×「50例」=「50000次元」)を、XY座標平面上へのマッピングに対応したデータ次元数である「2」に縮約したものである。
なお、ここでは、XY座標平面上へのマッピングによってデータ次元数を「2」に縮約する場合を例に挙げたが、第1の教師なし学習処理手段13および第2の教師なし学習処理手段14は、1軸上へのマッピングによってデータ次元数を「1」に縮約するものであっても、あるいはXYZ座標空間上へのマッピングによってデータ次元数を「3」に縮約するものであってもよい。このように、第1分類データ群23および第2分類データ群24は、元のデータ次元数には全く関わりなく、そのデータ次元数が縮約されたものである。
このようにして得た第1分類データ群23および第2分類データ群24には、何らかの写像関係が存在している。これらは第1データ群21および第2データ群22から得たものであり、元になった第1データ群21および第2データ群22には何らかの写像関係が存在しているからである。
このことから、第1分類データ群23および第2分類データ群24を得た後、データ処理装置1では、教師あり学習処理手段15が、これら第1分類データ群23および第2分類データ群24を教師にした「教師あり学習」を行って、当該第1分類データ群23と当該第2分類データ群24との写像関係を特定する。具体的には、例えば、第1分類データ群23におけるXY座標と第2分類データ群24におけるXY座標との対応関係を特定する。このときの「教師あり学習」は、誤差逆伝播法等といった公知の手法を利用して行えばよい。
以上のような手順の処理動作を行うことで、データ処理装置1では、「学習計算」の動作モードにおいて、第1分類データ群23と第2分類データ群24の写像関係を介して、第1データ群21と第2データ群22の写像関係を学習することができる。そして、当該学習、特に第1分類データ群23および第2分類データ群24についての「教師あり学習」のための処理時間は、「教師なし学習」によるデータ次元数の縮約を経ているので、十数分程度である。
「学習計算」の動作モードを行った後は、データ処理装置1では、その「学習計算」の結果を利用して、「出力計算」の動作モードを実行することが可能となる。
「出力計算」には、「順問題解析」と「逆問題解析」がある。ここでは、第1データ群21から第2データ群22を導き出す「出力計算」を「順問題解析」といい、第2データ群22から第1データ群21を導き出す「出力計算」を「逆問題解析」という。
図5は、順問題解析の一具体例の示す説明図である。「順問題解析」を行う場合には、先ず、データ入出力手段11にて第1データ群21に属するデータが入力される(ステップ101、以下ステップを「S」と略す)。以下、このデータを「未知データ」という。そして、「未知データ」が入力されると、第1の教師なし学習処理手段13が当該「未知データ」についての分類を行う(S102)。これにより、第1分類データ群23のXY座標平面上にて、当該「未知データ」に対応する座標点が特定されることになる(S103)。座標点が特定されると、その後は、教師あり学習処理手段15で学習済みの写像関係を基に、当該座標点に対応する、第2分類データ群24のXY座標平面上での座標点を特定する(S104,S105)。そして、その座標点に対して、第2の教師なし学習処理手段14が、逆データ分類を行う(S106)。これにより、データ入出力手段11からは、第2データ群22に属するデータで、データ入出力手段11にて入力された「未知データ」に対応するもの(以下、このデータを「推定データ」という)が出力されることになる(S107)。つまり、教師あり学習処理手段15が教師あり学習を行った後であれば、第2データ群22に属するデータが不明であっても、第1データ群21に属する「未知データ」について、第1の教師なし学習処理手段13でのデータ分類、教師あり学習処理手段15が特定する写像関係および第2の教師なし学習処理手段14でのデータ分類を基にすることで、当該不明のデータを「推定データ」として「未知データ」から容易に導き出すことができるのである。
図6は、逆問題解析の一具体例の示す説明図である。「逆問題解析」を行う場合には、先ず、データ入出力手段11にて第2データ群22に属するデータが入力される(S201)。以下、このデータを「所望データ」という。そして、「所望データ」が入力されると、第2の教師なし学習処理手段14が当該「所望データ」についての分類を行う(S202)。これにより、第2分類データ群24のXY座標平面上にて、当該「所望データ」に対応する座標点が特定されることになる(S203)。座標点が特定されると、その後は、教師あり学習処理手段15で学習済みの写像関係を基に、当該座標点に対応する、第1分類データ群23のXY座標平面上での座標点を特定する(S204,S205)。そして、その座標点に対して、第1の教師なし学習処理手段13が、逆データ分類を行う(S206)。これにより、データ入出力手段11からは、第1データ群21に属し、データ入出力手段11にて入力された「所望データ」に対応するもの(以下、このデータを「基礎データ」という)が出力されることになる(S207)。つまり、教師あり学習処理手段15が教師あり学習を行った後であれば、第1データ群21に属するデータが不明であっても、第2データ群22に属する「所望データ」について、第1の教師なし学習処理手段13でのデータ分類、教師あり学習処理手段15が特定する写像関係および第2の教師なし学習処理手段14でのデータ分類を基にすることで、当該不明のデータを「基礎データ」として「所望データ」から容易に導き出すことができるのである。
以上のような「出力計算」の動作モードを行うデータ処理装置1では、第1データ群21と第2データ群22とが、例えばシミュレーション処理の入力値と出力値の関係にあれば、「学習計算」の動作モードでの学習結果を使って、当該シミュレーション処理において、未知の入力からこれに対応する出力を推定することができる。なお、シミュレーション処理は、特に限定されることはなく、様々な分野のシミュレーション処理に適用可能である。
また、第1データ群21と第2データ群22とが、例えば理論値と実測値の関係にあれば、「学習計算」の動作モードでの学習結果を使って、理論値からこれに対応する実測値を導き出し、これにより机上計算で得た理論値を実情に沿うように補正するといったことが実現可能となる。
なお、本実施形態では、本発明の好適な実施具体例について説明したが、本発明はその内容に限定されるものではなく、その要旨を逸脱しない範囲で適宜変更することが可能である。
例えば、本実施形態では、第1分類データ群23および第2分類データ群24が仮想的なXY座標平面上に展開され、「教師あり学習」によってそれぞれのXY座標同士の対応関係を特定する場合を例に挙げて説明したが、現実には当該XY座標平面がRAM3またはHDD5内のメモリ空間に形成されるため、XY座標同士を対応付けるのではなく、当該メモリ空間のメモリアドレス同士を対応付けるようにしても構わない。このことは、1軸上へのマッピングやXYZ座標空間へのマッピング等の場合についても当て嵌まる。
また、本実施形態では、第1データ群21と第2データ群22とが、シミュレーション処理の入力値と出力値の関係または理論値と実測値の関係にあることを例示したが、例えば実測値と実測値(いわゆる生データ同士)の関係にある場合にも、本発明を適用することが可能である。
さらに、本実施形態では、1台のデータ処理装置1を用いる場合について説明したが、例えば複数台のデータ処理装置1を組み合わせて用いることも考えられる。具体的には、例えば2台のデータ処理装置1を用意し、一方のデータ処理装置1で処理する第2データ群22を、他方のデータ処理装置1が処理する第1データ群21とし、それぞれのデータ処理装置1に本実施形態で説明した一連の処理動作を行わせる。この場合、2つのデータ処理装置1の組み合わせを1つのデータ処理システムと考えると、他方のデータ処理装置1が処理するデータ群は、システム全体から見て第2データ群と第3データ群に相当することになる。つまり、n(nは2以上の自然数)台のデータ処理装置1を用意し、それぞれのデータ処理装置1を用いて、システム全体から見て第1〜第(n+1)データ群を処理するのである。このようにすれば、例えば、第1データ群21に属する未知データから第(n+1)データ群に属する推定データを導き出したり、あるいはその逆の処理を行ったりすることが実現可能となる。
本発明に係るデータ処理装置のハードウエア構成例を示すブロック図である。 本発明に係るデータ処理装置の機能構成例を示すブロック図である。 本発明に係るデータ処理装置にて処理されるデータ群の具体例を示す説明図である。 本発明に係るデータ処理装置における特徴量抽出の具体例を示す説明図である。 本発明に係るデータ処理装置における順問題解析の一具体例の示す説明図である。 本発明に係るデータ処理装置における逆問題解析の一具体例の示す説明図である。 従来における教師あり学習の概念の一例を示す模式図である。 従来における教師なし学習の概念の一例を示す模式図である。
符号の説明
1…データ処理装置、2…CPU、3…RAM、4…ROM、5…HDD、6…通信I/F、7…ユーザI/F、8…内部バス、9…通信回線、11…データ入出力手段、12…特徴量抽出手段、13…第1の教師なし学習処理手段、14…第2の教師なし学習処理手段、15…教師あり学習処理手段、21…第1データ群、22…第2データ群、23…第1分類データ群、24…第2データ分類データ群

Claims (7)

  1. 第1データ群に対して教師なし学習によるデータ分類を行って、当該第1データ群のデータ次元数を縮約した第1分類データ群を得る第1の教師なし学習処理手段と、
    第2データ群に対して教師なし学習によるデータ分類を行って、当該第2データ群のデータ次元数を縮約した第2分類データ群を得る第2の教師なし学習処理手段と、
    前記第1の教師なし学習処理手段が得た第1分類データ群および前記第2の教師なし学習処理手段が得た第2分類データ群を教師にした教師あり学習により、当該第1分類データ群と当該第2分類データ群との写像関係を特定する教師あり学習処理手段と
    を備えることを特徴とするデータ処理装置。
  2. 前記第1データ群に属するデータを入力するデータ入力手段と、
    前記第2データ群に属するデータで前記データ入力手段に入力されたデータに対応するものを出力するデータ出力手段を備え、
    前記第1の教師なし学習処理手段でのデータ分類、前記教師あり学習処理手段が特定する写像関係および前記第2の教師なし学習処理手段でのデータ分類を基にして、前記データ入力手段に入力されたデータから前記データ出力手段で出力するデータを導き出すことを特徴とする請求項1記載のデータ処理装置。
  3. 前記第2データ群に属するデータを入力するデータ入力手段と、
    前記第1データ群に属するデータで前記データ入力手段に入力されたデータに対応するものを出力するデータ出力手段を備え、
    前記第1の教師なし学習処理手段でのデータ分類、前記教師あり学習処理手段が特定する写像関係および前記第2の教師なし学習処理手段でのデータ分類を基にして、前記データ入力手段に入力されたデータから前記データ出力手段で出力するデータを導き出すことを特徴とする請求項1または2記載のデータ処理装置。
  4. 前記第1データ群と前記第2データ群との少なくとも一方についての特徴量抽出を行う特徴量抽出手段を備えることを特徴とする請求項1、2または3記載のデータ処理装置。
  5. 前記第1データ群と前記第2データ群とは、シミュレーション処理の入力値と出力値の関係にあることを特徴とする請求項1〜4のいずれか1項に記載のデータ処理装置。
  6. 前記第1データ群と前記第2データ群とは、理論値と実測値の関係にあることを特徴とする請求項1〜4のいずれか1項に記載のデータ処理装置。
  7. コンピュータを、
    第1データ群に対して教師なし学習によるデータ分類を行って、当該第1データ群のデータ次元数を縮約した第1分類データ群を得る第1の教師なし学習処理手段と、
    第2データ群に対して教師なし学習によるデータ分類を行って、当該第2データ群のデータ次元数を縮約した第2分類データ群を得る第2の教師なし学習処理手段と、
    前記第1の教師なし学習処理手段が得た第1分類データ群および前記第2の教師なし学習処理手段が得た第2分類データ群を教師にした教師あり学習により、当該第1分類データ群と当該第2分類データ群との写像関係を特定する教師あり学習処理手段
    として機能させることを特徴とするデータ処理プログラム。
JP2006341144A 2006-12-19 2006-12-19 データ処理装置およびデータ処理プログラム Pending JP2008152619A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006341144A JP2008152619A (ja) 2006-12-19 2006-12-19 データ処理装置およびデータ処理プログラム
US11/819,287 US8001061B2 (en) 2006-12-19 2007-06-26 First and second unsupervised learning processes combined using a supervised learning apparatus
EP07013033A EP1939796A3 (en) 2006-12-19 2007-07-03 Data processing apparatus, data processing method data processing program and computer readable medium
CN200710130576XA CN101206727B (zh) 2006-12-19 2007-07-18 数据处理装置和数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006341144A JP2008152619A (ja) 2006-12-19 2006-12-19 データ処理装置およびデータ処理プログラム

Publications (1)

Publication Number Publication Date
JP2008152619A true JP2008152619A (ja) 2008-07-03

Family

ID=39267961

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006341144A Pending JP2008152619A (ja) 2006-12-19 2006-12-19 データ処理装置およびデータ処理プログラム

Country Status (4)

Country Link
US (1) US8001061B2 (ja)
EP (1) EP1939796A3 (ja)
JP (1) JP2008152619A (ja)
CN (1) CN101206727B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336786B (zh) * 2013-06-05 2017-05-24 腾讯科技(深圳)有限公司 一种数据处理的方法及装置
CN104244113B (zh) * 2014-10-08 2017-09-22 中国科学院自动化研究所 一种基于深度学习技术的视频摘要生成方法
WO2018159666A1 (en) * 2017-03-01 2018-09-07 Omron Corporation Learning apparatus, learning result using apparatus, learning method and learning program
CN107729921B (zh) * 2017-09-20 2020-08-21 厦门快商通科技股份有限公司 一种机器主动学习方法及学习***
JP7334478B2 (ja) * 2019-06-04 2023-08-29 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11785022B2 (en) * 2020-06-16 2023-10-10 Zscaler, Inc. Building a Machine Learning model without compromising data privacy

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212208A (ja) * 1996-02-06 1997-08-15 Chugoku Electric Power Co Inc:The ミル特性計測装置
JPH09280952A (ja) * 1996-04-15 1997-10-31 Toyo Ink Mfg Co Ltd 調色システム
JPH1021406A (ja) * 1996-03-29 1998-01-23 Nec Corp 物体認識方法及び装置
JPH11118617A (ja) * 1997-10-20 1999-04-30 Hitachi Ltd 温度調節器
JP2002062892A (ja) * 2000-08-11 2002-02-28 Nippon Hoso Kyokai <Nhk> 音響分類装置
JP2005054611A (ja) * 2003-08-07 2005-03-03 Toyota Motor Corp 内燃機関の制御装置
JP2006229567A (ja) * 2005-02-17 2006-08-31 Oki Data Corp 画像処理方法、画像処理装置および画像形成装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3518813B2 (ja) 1993-06-04 2004-04-12 株式会社東芝 構造化神経回路網構築装置
JPH08329032A (ja) 1995-05-31 1996-12-13 Sanyo Electric Co Ltd ニュ−ラルネット型パターン認識装置及びニュ−ラルネットの学習方法
JPH10326286A (ja) 1997-05-27 1998-12-08 Mitsubishi Electric Corp 類似検索装置及び類似検索プログラムを記録した記録媒体
DE60130742T2 (de) * 2001-05-28 2008-07-17 Honda Research Institute Europe Gmbh Mustererkennung mit hierarchischen Netzen
US6954744B2 (en) * 2001-08-29 2005-10-11 Honeywell International, Inc. Combinatorial approach for supervised neural network learning
WO2005002313A2 (en) * 2003-07-01 2005-01-13 Cardiomag Imaging, Inc. (Cmi) Machine learning for classification of magneto cardiograms
JP3834041B2 (ja) 2004-03-31 2006-10-18 オリンパス株式会社 学習型分類装置及び学習型分類方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212208A (ja) * 1996-02-06 1997-08-15 Chugoku Electric Power Co Inc:The ミル特性計測装置
JPH1021406A (ja) * 1996-03-29 1998-01-23 Nec Corp 物体認識方法及び装置
JPH09280952A (ja) * 1996-04-15 1997-10-31 Toyo Ink Mfg Co Ltd 調色システム
JPH11118617A (ja) * 1997-10-20 1999-04-30 Hitachi Ltd 温度調節器
JP2002062892A (ja) * 2000-08-11 2002-02-28 Nippon Hoso Kyokai <Nhk> 音響分類装置
JP2005054611A (ja) * 2003-08-07 2005-03-03 Toyota Motor Corp 内燃機関の制御装置
JP2006229567A (ja) * 2005-02-17 2006-08-31 Oki Data Corp 画像処理方法、画像処理装置および画像形成装置

Also Published As

Publication number Publication date
US20080147576A1 (en) 2008-06-19
CN101206727A (zh) 2008-06-25
CN101206727B (zh) 2011-08-17
US8001061B2 (en) 2011-08-16
EP1939796A3 (en) 2012-02-15
EP1939796A2 (en) 2008-07-02

Similar Documents

Publication Publication Date Title
CN111915540B (zh) 拓片甲骨文字符图像增广方法、***、计算机设备及介质
CN116051668B (zh) 文生图扩散模型的训练方法和基于文本的图像生成方法
CN108959794B (zh) 一种基于深度学习的结构频响动力学模型修正方法
CN111339695B (zh) 用于电磁场仿真的装置和方法
CN105183720A (zh) 基于rnn模型的机器翻译方法和装置
JP2008152619A (ja) データ処理装置およびデータ処理プログラム
CN114155244B (zh) 缺陷检测方法、装置、设备及存储介质
Che et al. Adversarial attack against deep saliency models powered by non-redundant priors
Zhao et al. Image quality assessment based on complementary local feature extraction and quantification
CN111144407A (zh) 一种目标检测方法、***、装置及可读存储介质
Zheng et al. Speech Emotion Recognition based on Multi-Level Residual Convolutional Neural Networks.
Bakhtiarnia et al. PromptMix: Text-to-image diffusion models enhance the performance of lightweight networks
CN112508958B (zh) 一种轻量多尺度的生物医学图像分割方法
CN113010687B (zh) 一种习题标签预测方法、装置、存储介质以及计算机设备
CN114913382A (zh) 一种基于CBAM-AlexNet卷积神经网络的航拍场景分类方法
Zhang et al. Scale-progressive multi-patch network for image dehazing
CN107578065B (zh) 一种基于基础超限学习机的高光谱图像分类方法及装置
Ji et al. Image patch prior learning based on random neighbourhood resampling for image denoising
JP7106144B2 (ja) 画像解析装置
CN112347865A (zh) 一种基于关键点检测的票据矫正方法
JP6365064B2 (ja) 母集団生成プログラム、母集団生成方法および母集団生成装置
JP7344501B1 (ja) プログラム、方法、情報処理装置、システム
Ji et al. Non-local network routing for perceptual image super-resolution
CN114882292B (zh) 基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法
CN114414065B (zh) 物体温度探测方法、装置、计算机设备和介质

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20091008

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120709

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120731