JP6760830B2 - 学習装置及び学習方法 - Google Patents

Description

本発明は、学習データを基に学習を行って未学習データを正しく認識させる学習装置及び学習方法に関する。

近年、複数の学習データを基に学習を行って、未学習データに対する正しい出力を予測可能にする学習装置が開示されている（特許文献１等参照）。学習装置には、学習データを反復的に分析して傾向を判別して、未学習データに対する正しい出力を予測させる機械学習が周知である。

特開２０１５−１８５１４９号公報

この種の学習装置においては、未学習データを認識するにあたっての学習の判別性能（汎化性能）を確保したいニーズが高い。
本発明の目的は、学習の判別性能を確保することができる学習装置及び学習方法を提供することにある。

前記問題点を解決する学習装置は、学習対象の情報データから特徴量を抽出し、当該特徴量を学習データとして学習部が学習を行うことにより、未学習データを識別可能にする構成において、前記学習で判別する１つのクラスの前記特徴量に関して分布特性を求め、当該分布特性に基づき１つのクラスに分布する前記特徴量をシフトするシフト処理部と、前記シフト処理部の処理結果を基に、学習時に使用する２乗特徴量を生成する２乗特徴量生成部とを備えた。

本構成によれば、学習で判別する１つのクラスの特徴量の分布特性を求め、この分布特性に基づきシフトした特徴量を基に、学習時に使用する２乗特徴量を生成する。ところで、例えば全クラスの特徴量の分布特性を求めて、この分布特性でシフトした特徴量を基に２乗特徴量を生成すると、クラスの情報を用いていないため、２乗特徴量を好適な分布とすることができない。そこで、本構成では、１つのクラスの特徴量のみ使用することとしたので、全クラスの特徴量を使用する場合に比べて不要な特徴量に影響を受けずに済み、２乗特徴量を好適な分布にすることが可能となる。よって、判別性能の高い判別式を得ることが可能となる。

前記学習装置において、前記分布特性は、１つのクラスに分布する前記特徴量の平均値であることが好ましい。この構成によれば、１つのクラスの特徴量に関して、平均値を算出するという簡素な処理によって特徴量の分布特性を求めることが可能となる。

前記学習装置において、前記学習は、線形式を引いてクラス判別を行う線形パターン認識であることが好ましい。この構成によれば、判別性能の高い線形式によって、パターン認識の学習を行うことが可能となる。

前記学習装置において、前記特徴量は、１次特徴量であり、前記シフト処理部は、前記１つのクラスの前記１次特徴量の分布特性を求め、当該分布特性に基づき前記１つのクラスに分布する前記１次特徴量をシフトし、前記２乗特徴量生成部は、前記分布特性でシフトした前記１次特徴量から前記２乗特徴量を生成することが好ましい。この構成によれば、１次特徴量を２乗するという簡素な処理を通じて２乗特徴量を作成することが可能となる。

前記学習装置において、前記学習部は、前記２乗特徴量のみならず、他の種類の特徴量も用いて前記学習を実行することが好ましい。この構成によれば、例えば１次特徴量のみで学習を行うときに比べて好適な判別式を求めることが可能となるので、汎化性能の確保に一層有利となる。

前記学習装置において、前記学習は、マージン最大化を通じて判別式を算出するサポートベクターマシン又はブースティングであることが好ましい。この構成によれば、サポートベクターマシン、ブースティング又はニューラルネットワークにより算出した汎化性能の高い判別式によって学習を行うことが可能となる。

前記問題点を解決する学習方法は、請求項１〜６のうちいずれか一項に記載の学習装置を用いた学習方法において、前記学習装置のシフト処理部により、前記学習で分類する１つのクラスの前記特徴量に関して分布特性を求め、当該分布特性に基づき１つのクラスに分布する前記特徴量をシフトするステップと、前記学習装置の２乗特徴量生成部により、シフト処理の結果を基に、前記学習部が学習時に使用する２乗特徴量を生成するステップとを備えた。

本発明によれば、学習の判別性能を確保することができる。

一実施形態の学習装置の構成図。 （ａ）は線形式のデータを端末に登録するときの概要図、（ｂ）は端末をモーション操作したときの概要図。 従来位置付けの学習方法における特徴量の度数分布図。 （ａ）は特徴量を全クラスのデータでシフトしたときの特徴量の度数分布図、（ｂ）はそのシフトした特徴量から作成した２乗特徴量の度数分布図。 （ａ）は特徴量を片方のクラスのデータでシフトしたときの特徴量の度数分布図、（ｂ）はそのシフトした特徴量から作成した２乗特徴量の度数分布図。 学習装置の作動の流れを示すフローチャート。

以下、学習装置及び学習方法の一実施形態を１〜図６に従って説明する。
図１に示すように、学習装置１は、学習対象の情報データＤａを入力するデータ入力部２と、集められた情報データＤａの群から特徴量ｘを抽出する特徴量抽出部３と、特徴量抽出部３により抽出された特徴量ｘを学習前に前処理を施す前処理部４と、未学習データに対して正しい出力を示せるように前処理後の特徴量ｘを基に学習（機械学習）を実行する学習部５とを備える。本例の学習装置１は、車両の電子キー等の端末６（図２参照）に付与された動きを識別することが可能な判別式Ｙ（クラス判別の境界）を学習により算出する。

情報データＤａは、例えば加速度センサ（Ｇセンサ）から出力された加速度信号であることが好ましい。特徴量ｘは、例えば加速度信号の波形に係る種々のパラメータからなる。特徴量ｘは、例えば１次特徴量ｘ１や、２次特徴量ｘ２などから構築されている。１次特徴量ｘ１は、加速度信号の波形に係る「平均値」、「最大値」、「最小値」、「時間幅」、「傾き」などのパラメータからなる。２次特徴量ｘ２は、１次特徴量から派生したパラメータである。２次特徴量ｘ２は、例えば１次特徴量ｘ１を２乗して求まる２乗特徴量ｘ’^２や、異なる種類の１次特徴量ｘ１同士を掛け合わせて求まる値などから構築されている。

学習部５（学習装置１の学習方式）は、特徴量ｘを学習データとしてサポートベクターマシン（Support Vector Machine：ＳＶＭ）によりパターン認識を実行する。サポートベクターマシンは、マージン最大化が特徴の１つであり、マージン最大化により求まった判別式Ｙを通じてパターン識別を行う。本例のサポートベクターマシンは、線形の判別式Ｙ（以降、線形式ｙと記す）により、２クラスのパターン識別を行う。学習部５は、情報データＤａから抽出される複数の特徴量ｘから、サポートベクターマシンにより２クラス判別の線形式ｙを求め、クラス判別の境界である線形式ｙにより未学習データのクラス分けを実現可能にする。

図２（ａ）に示すように、学習結果の線形式ｙは、車両の電子キー等の端末６（メモリ９等）に書き込み登録される。そして、図２（ｂ）に示すように、ユーザにより端末６がモーション操作されるなどの動きが端末６に付与されたとき、端末６に搭載された加速度センサから出力される加速度信号を基に線形式ｙから動きがクラス判別され、モーション操作がどのような操作であるのかが判定される。

図１に戻り、学習装置１は、２乗特徴量ｘ’^２を生成する前処理部４の要素としてシフト処理部１２及び２乗特徴量生成部１３を備える。シフト処理部１２は、学習で判別する１つのクラス（Ａ，Ｂの片方のクラス）の特徴量ｘに関して分布特性を求め、特徴量ｘを分布特性でシフトする。本例の分布特性は、１つのクラスに分布する特徴量ｘの平均値である。２乗特徴量生成部１３は、シフト処理部１２の処理結果（シフト後の特徴量ｘ）を基に、学習時に使用する２乗特徴量ｘ’^２を生成する。２乗特徴量生成部１３は、線形式ｙにおいて、片方のクラス（判定したい方のクラス）の１次特徴量ｘ１の平均値でシフトした１次特徴量ｘ１から２乗特徴量ｘ’^２を生成する。

次に、図３〜図６を用い、学習装置１の作用及び効果を説明する。
図３に、学習装置１の学習処理の原理を図示する。なお、ここでは、線形式ｙのサポートベクターマシンの例を示し、線形式ｙの場合、クラス判別には一般的に１次特徴量ｘ１を用いることが多い。同図に示されるように、例えばクラスＡとクラスＢとの境界（線形式ｙ）を（１）に引いた場合、学習の判定結果は以下のようになる。
クラスＡの判定条件：（１）＜ｘのとき、判定結果：｛（ｂ），（ｃ），（ｄ），（ｅ）｝
クラスＢの判定条件：（１）≧ｘのとき、判定結果：｛（ａ）｝
クラス判別の境界が（１）の場合、特徴量ｘの（ｅ）が最もクラスＡと判定され易い。すなわち、クラスＡの分布から大きく外れて、（１）よりも大きいデータほど、クラスＡと判定され易くなってしまう。

また、クラスＡとクラスＢとの境界（線形式ｙ）を（２）に引いた場合、学習の判定結果は以下のようになる。
クラスＡの判定条件：（２）＜ｘのとき、判定結果：｛（ａ），（ｂ），（ｃ），（ｄ）｝
クラスＢの判定条件：（２）≧ｘのとき、判定結果：｛（ｅ）｝
クラス判別の境界が（２）の場合、特徴量ｘの（ａ）が最もクラスＡと判定され易い。すなわち、クラスＡの分布から大きく外れて、（２）よりも大きいデータほど、クラスＡと判定され易くなってしまう。

以上のように、１次特徴量ｘ１のみで線形式ｙを構築する学習方法の場合、クラスＡの分布の中心から離れた特徴量ｘをクラスＡと判定し易い線形式になってしまう問題がある。そこで、クラスＡの分布の中心から離れた特徴量ｘをクラスＢと判定し易くすることができる線形式ｙを作成する必要がある。

続いて、図４（ａ），（ｂ）に、２乗特徴量ｘ’^２を使用した学習処理の具体例を図示する。まず、図４（ａ）に示すように、特徴量ｘの全データの平均値で特徴量ｘ（１次特徴量ｘ１）をシフトすることにより、特徴量−度数の相関図である特徴量分布図を、分布中心（特徴量「０」）が変更された特徴量ｘ’の分布図に変換する。これにより、特徴量分布中心となる特徴量「０」が、特徴量ｘ’の度数が多い箇所に移動する。図４（ｂ）に示すように、特徴量シフト後、シフトした特徴量ｘ’を２乗することにより、２乗特徴量ｘ’^２を演算する。これにより、正値のみ存在する特徴量分布図となる。

ここで、クラスＡとクラスＢとの境界（線形式ｙ）を（３）に引いた場合、学習の判定結果は以下のようになる。
クラスＡの判定条件：（３）＜ｘ’^２のとき、判定結果：｛（ｂ），（ｃ），（ｄ）｝
クラスＢの判定条件：（３）≧ｘ’^２のとき、判定結果：｛（ａ），（ｅ）｝
クラス判別の境界が（３）の場合、クラスＡの分布中心（ｃ）から距離が等しい（ｂ），（ｄ）のうち、（ｄ）の方がクラスＡと判定され易い。すなわち、分布中心である（ｃ）が最もクラスＡと判定され易くなる訳ではなく、（３）から遠い（ｄ）も（ｃ）と同程度にクラスＡと判定され易くなってしまう。

図５（ａ），（ｂ）に、本発明の学習処理の具体例を図示する。まずは、学習装置１に情報データＤａを入力する。このとき、いまから入力する情報データＤａがＡ，Ｂのどちらのクラスかを指定して情報データＤａが学習装置１に入力される。ここでは、クラスＡとして例えば端末６を振る操作を指定して情報データＤａが学習装置１に入力され、クラスＢとして例えば端末６を叩く操作を指定して情報データＤａが学習装置１に入力される。

図５（ａ）に示すように、シフト処理部１２は、特徴量ｘ（１次特徴量ｘ１）をクラスＡの平均値でシフトする。本例の場合、情報データＤａを入力するときに情報データＤａがクラスＡ，Ｂのどちらのものであるのかを指定しているので、どの特徴量ｘ（１次特徴量ｘ１）がクラスＡなのかを予め把握できている。また、シフト対象にクラスＡを使用するのは、クラス判別したい対象がクラスＡだからである。特徴量ｘ（１次特徴量ｘ１）をクラスＡの平均値でシフトすると、クラスＡの分布中心が分布基準「０」に一致した特徴量分布図に変換される。シフト処理部１２は、シフト後の特徴量ｘ’を２乗特徴量生成部１３に出力する。

図５（ｂ）に示すように、２乗特徴量生成部１３は、シフト処理部１２から取得したシフト後の特徴量ｘ’を２乗して、２乗特徴量ｘ’^２を生成する。２乗特徴量ｘ’^２は、正値のみ存在する特徴量分布図となる。本例の場合、２乗特徴量ｘ’^２の分布図においては、（ｃ）が分布基準「０」の座標に位置し、（ｂ）、（ｄ）が同じ座標上に位置する。

ここで、クラスＡとクラスＢとの境界（線形式ｙ）を（４）に引いた場合、学習の判定結果は以下のようになる。
クラスＡの判定条件：（４）＜ｘ’^２のとき、判定結果：｛（ｂ），（ｃ），（ｄ）｝
クラスＢの判定条件：（４）≧ｘ’^２のとき、判定結果：｛（ａ），（ｅ）｝
同図からも分かる通り、クラス判別の境界が（４）の場合、クラスＡの分布中心（ｃ）から距離が等しい（ｂ），（ｄ）は、クラスＡの判定され易さが等しくなる。また、分布中心である（ｃ）を、最もクラスＡと判定され易くすることも可能となる。さらに、学習データにないクラスＢのデータが入力されたときには、クラスＡの分布から離れていれば、クラスＢと判定され易くなる。

続いて、図６を用い、学習装置１の作動のまとめを説明する。
ステップ１００において、データ入力部２は、学習装置１の外部から複数の情報データＤａを取得する。このとき、情報データＤａは、属するクラスがＡ，Ｂのどちらであるのかが指定されて学習装置１に入力される。

ステップ１０１において、特徴量抽出部３は、データ入力部２が入力した情報データＤａから、種々の特徴量ｘを抽出する。特徴量抽出部３は、抽出した特徴量ｘを学習部５に出力するとともに、種々の特徴量ｘのうち１次特徴量ｘ１を前処理部４に出力する。

ステップ１０２において、シフト処理部１２は、学習で分類する１つのクラス（本例は片方のクラスＡ）の特徴量ｘ（本例は１次特徴量ｘ１）に関して平均値を求め、特徴量ｘ（本例は１次特徴量ｘ１）を平均値でシフトする。すなわち、分類したいクラスＡの１次特徴量ｘ１を平均化し、この平均値を用いてクラスＡの１次特徴量ｘ１をシフトする。

ステップ１０３において、２乗特徴量生成部１３は、シフト後の特徴量ｘ’を２乗して、所望の２乗特徴量ｘ’^２を生成する。２乗特徴量生成部１３は、生成した２乗特徴量ｘ’^２を学習部５に出力する。

ステップ１０４において、学習部５は、特徴量抽出部３から取得した特徴量ｘ（１次特徴量ｘ１、２次特徴量ｘ２）と、前処理部４から取得した２乗特徴量ｘ’^２とを基に学習を実行し、未学習データをパターン識別可能な線形式ｙを算出する。そして、この線形式ｙが端末６に登録されて、端末６におけるモーション操作判定が可能にされる。

さて、本例の場合、学習で判別する１つのクラス（本例はクラスＡ）の特徴量ｘの分布特性（本例は平均値）を求め、この分布特性に基づきシフトした特徴量ｘ’を基に、学習時に使用する２乗特徴量ｘ’^２を生成する。ところで、例えば全クラスの特徴量ｘの分布特性（具体的には平均値）を求めて、この分布特性でシフトした特徴量ｘ’を基に２乗特徴量ｘ’^２を生成すると、クラスの情報を用いていないため、２乗特徴量ｘ’^２を好適な分布とすることができない（図４参照）。そこで、本例では、１つのクラス（本例は片方のクラスＡ）の特徴量ｘ’のみ使用することとしたので、全クラスの特徴量ｘ’を使用する場合に比べて不要な特徴量ｘ’に影響を受けずに済み、２乗特徴量ｘ’^２を好適な分布にすることが可能となる（図５参照）。よって、判別性能の高い判別式Ｙ（本例は線形式ｙ）を得ることができる。

本例の分布特性は、１つのクラス（本例はクラスＡ）に分布する特徴量ｘ（本例は１次特徴量ｘ１）の平均値である。よって、１つのクラスの特徴量ｘに関して、平均値を算出するという簡素な処理によって特徴量ｘの分布特性を求めることができる。

本例の学習は、線形式を引いてクラス判別を行う線形パターン認識である。よって、判別性能の高い線形式によって、パターン認識の学習を行うことができる。
２乗特徴量生成部１３は、１つのクラスに含まれる１次特徴量ｘ１を分布特性でシフトした値により２乗特徴量ｘ’^２を生成する。よって、１次特徴量ｘ１を２乗するという簡素な処理を通じて２乗特徴量ｘ’^２を作成することができる。

学習部５は、２乗特徴量ｘ’^２のみならず、他の種類の特徴量も用いて学習を実行する。よって、例えば１次特徴量ｘ１のみで学習を行うときに比べて好適な判別式Ｙ（本例は線形式ｙ）を求めることが可能となるので、汎化性能の確保に一層有利となる。

学習は、マージン最大化を通じて判別式Ｙ（本例は線形式ｙ）を算出するサポートベクターマシンである。よって、サポートベクターマシンにより算出した汎化性能の高い判別式Ｙ（本例は線形式ｙ）によって学習を行うことができる。

なお、実施形態はこれまでに述べた構成に限らず、以下の態様に変更してもよい。
・動き判定を行うための判別式Ｙ（線形式ｙ）を算出することに限定されず、判定対象は特に限定されない。

・情報データＤａは、加速度データに限らず、種々のデータに変更してもよい。
・クラスＡで特徴量ｘをシフトすることに限定されず、クラスＢで特徴量ｘをシフトするなど、特徴量ｘを他のクラスでシフトしてもよい。

・２乗特徴量ｘ’^２は、１次特徴量ｘ１から算出されることに限定されない。例えば、２次特徴量ｘ２を２乗して求めるなど、他の形式に変更可能である。
・分布特性は、特徴量ｘの平均値に限定されず、例えば特徴量ｘの分布の中央値など、他に変更してもよい。

・サポートベクターマシンは、線形パターン認識手法をとるものに限定されず、例えば非線形であってもよい。
・端末６は、電子キーに限定されず、他の機器や装置に変更可能である。

・学習は、サポートベクターマシンに限定されず、ブースティングやニューラルネットワークなどの他の方式を採用してもよい。また、学習は、例えばパーセプトロン、線形重回帰分析などでもよい。

次に、上記実施形態及び別例から把握できる技術的思想について、以下に追記する。
（イ）学習対象の情報データから学習データとして特徴量を抽出し、当該特徴量を用いて学習部が学習を行うことにより、未学習データを識別可能にする学習プログラムにおいて、前記学習で分類する１つのクラスの前記特徴量に関して分布特性を求め、当該分布特性を基に前記特徴量をシフトするステップと、シフト処理の結果を基に、前記学習部が学習時に使用する２乗特徴量を生成するステップとをコンピュータに実行させることを特徴とする学習プログラム。

１…学習装置、２…データ入力部、３…特徴量抽出部、４…前処理部、５…学習部、１２…シフト処理部、１３…２乗特徴量生成部、Ｄａ…情報データ、ｘ…特徴量、ｘ１…１次特徴量、ｘ２…２次特徴量、ｘ’…シフト後の特徴量、ｘ’^２…２乗特徴量、Ｙ…判別式、ｙ…線形式。

Claims (7)

1. 学習対象の情報データから特徴量を抽出し、当該特徴量を学習データとして学習部が学習を行うことにより、未学習データを識別可能にする学習装置において、
   前記学習で判別する１つのクラスの前記特徴量に関して分布特性を求め、当該分布特性に基づき１つのクラスに分布する前記特徴量をシフトするシフト処理部と、
   前記シフト処理部の処理結果を基に、学習時に使用する２乗特徴量を生成する２乗特徴量生成部とを備えたことを特徴とする学習装置。
2. 前記分布特性は、１つのクラスに分布する前記特徴量の平均値である
   請求項１に記載の学習装置。
3. 前記学習は、線形式を引いてクラス判別を行う線形パターン認識である
   請求項１又は２に記載の学習装置。
4. 前記特徴量は、１次特徴量であり、
   前記シフト処理部は、前記１つのクラスの前記１次特徴量の分布特性を求め、当該分布特性に基づき前記１つのクラスに分布する前記１次特徴量をシフトし、
   前記２乗特徴量生成部は、前記分布特性でシフトした前記１次特徴量から前記２乗特徴量を生成する請求項１〜３のうちいずれか一項に記載の学習装置。
5. 前記学習部は、前記２乗特徴量のみならず、他の種類の特徴量も用いて前記学習を実行する請求項１〜４のうちいずれか一項に記載の学習装置。
6. 前記学習は、マージン最大化を通じて判別式を算出するサポートベクターマシン又はブースティングである請求項１〜５のうちいずれか一項に記載の学習装置。
7. 請求項１〜６のうちいずれか一項に記載の学習装置を用いた学習方法において、
   前記学習装置のシフト処理部により、前記学習で分類する１つのクラスの前記特徴量に関して分布特性を求め、当該分布特性に基づき１つのクラスに分布する前記特徴量をシフトするステップと、
   前記学習装置の２乗特徴量生成部により、シフト処理の結果を基に、前記学習部が学習時に使用する２乗特徴量を生成するステップとを備えたことを特徴とする学習方法。

Images