JP6794692B2 - センサデータ学習方法、センサデータ学習プログラム、及びセンサデータ学習装置 - Google Patents

センサデータ学習方法、センサデータ学習プログラム、及びセンサデータ学習装置 Download PDF

Info

Publication number
JP6794692B2
JP6794692B2 JP2016141490A JP2016141490A JP6794692B2 JP 6794692 B2 JP6794692 B2 JP 6794692B2 JP 2016141490 A JP2016141490 A JP 2016141490A JP 2016141490 A JP2016141490 A JP 2016141490A JP 6794692 B2 JP6794692 B2 JP 6794692B2
Authority
JP
Japan
Prior art keywords
sensor data
data
representative point
sound
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016141490A
Other languages
English (en)
Other versions
JP2018013857A (ja
Inventor
成幸 小田嶋
成幸 小田嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016141490A priority Critical patent/JP6794692B2/ja
Priority to US15/648,013 priority patent/US20180023236A1/en
Publication of JP2018013857A publication Critical patent/JP2018013857A/ja
Application granted granted Critical
Publication of JP6794692B2 publication Critical patent/JP6794692B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00—Details of control systems for washing machines, washer-dryers or laundry dryers
    • D06F34/14—Arrangements for detecting or measuring specific parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2103/00—Parameters monitored or detected for the control of domestic laundry washing machines, washer-dryers or laundry dryers
    • D06F2103/26—Imbalance; Noise level
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2105/00—Systems or parameters controlled or affected by the control systems of washing machines, washer-dryers or laundry dryers
    • D06F2105/58—Indications or alarms to the control system or to the user
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F33/00—Control of operations performed in washing machines or washer-dryers 
    • D06F33/30—Control of washing machines characterised by the purpose or target of the control 
    • D06F33/47—Responding to irregular working conditions, e.g. malfunctioning of pumps 
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00—Details of control systems for washing machines, washer-dryers or laundry dryers
    • D06F34/28—Arrangements for program selection, e.g. control panels therefor; Arrangements for indicating program parameters, e.g. the selected program or its progress
    • D06F34/32—Arrangements for program selection, e.g. control panels therefor; Arrangements for indicating program parameters, e.g. the selected program or its progress characterised by graphical features, e.g. touchscreens

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Textile Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Emergency Alarm Devices (AREA)

Description

本発明は、センサデータ学習方法、センサデータ学習プログラム、及びセンサデータ学習装置に関する。
近年、種々の分野において、機械学習が応用されている。ユーザ環境で学習処理を行うには、各々のユーザ環境では大量のデータを保持するための記憶容量の制限、また、学習処理の負荷等の計算機の性能に係る制約がある。
入力された類似データのまとまりに対して学習処理を行うことが考えられる。類似データを纏める観点において、類似あるいは重複する項目を手動あるいは自動で統合する技術、ハッシュ値が同一であるオブジェクトから校正される初期クラスタを生成し、類似する初期クラスタから最終クラスタを生成する技術等が知られている。
特開２０１３−０６５２７６号公報 特開２０１３−１３０９６５号公報 特開２００７−０２６１１５号公報 特開２０１４−０２６４５５号公報
ユーザ環境における学習処理では、検出されたセンサデータ（音等）に対して何のセンサデータであるかを入力するが、ユーザ自身も検出センサデータに対する正解付けの判断に迷う場合がある。正解付けがあやふやの（精度が低い）場合、結果として認識精度が低くなってしまうような学習が行わる恐れがある。
したがって、１つの側面では、本発明は、入力されたセンサデータの認識精度を改善する学習を行うことを目的とする。
一態様によれば、センサデータを取得し、取得した前記センサデータを類似するセンサデータの代表点毎にまとめ、各代表点でまとめられる複数のセンサデータそれぞれに付与されたデータ種別に基づいて、該代表点に対応付けられた該データ種別の信頼度を算出し、各代表点の、該代表点にまとめられた前記センサデータの個数と、前記信頼度とを用いて、データ種別毎の判別関数の重みを取得し、学習処理を行って各データ種別の判別関数を決定する処理をコンピュータが行うセンサデータ学習方法が提供される。

また、上記課題を解決するための手段として、センサデータ学習プログラム、及び、センサデータ学習装置とすることもできる。
入力されたセンサデータの認識精度を改善する学習を行うことができる。
逐次学習の概要を説明するための図である。 代表的な機械学習を説明するための図である。 既存のコアセット学習について説明するための図である。 重み付き学習による音認識について説明するための図である。 データ個数とラベル付けについて説明するための図である。 第１実施例におけるセンサデータ学習装置のハードウェア構成を示す図である。 見守りシステムの適用例を示す図である。 第１実施例におけるセンサデータ学習装置の機能構成例を示す図である。 代表点ＤＢの第１のデータ構成例を示す図である。 代表点ＤＢの第２のデータ構成例を示す図である。 判別関数ＤＢのデータ構成例を示す図である。 第１実施例における信頼度の算出例を示す図である。 関連技術と第１実施例とによる判別関数の違いを説明するための図である。 第１実施例におけるユーザへ警告する場合の例を示す図である。 第１実施例におけるラベル付け確認画面例を示す図である。 ラベル付けのタイミング例を示す図である。 第１実施例における信頼度取得処理を説明するためのフローチャート図である。 第１実施例における学習処理を説明するためのフローチャート図である。 第２実施例におけるセンサデータ学習装置の機能構成例を示す図である。 生活音認識処理を説明するためのフローチャート図である。
以下、本発明の実施の形態を図面に基づいて説明する。人工知能技術の高度化及び技術の進展により、例えば、スマートホームなど、個々のユーザ環境に人工知能を導入し、高齢者見守りなどの人を支援するサービスにより用いようとする動きが活発となっている。人工知能技術を用いたサービスは、機械学習処理により実現されるのが一般的である。
しかし、特にこのような「個々のユーザ環境」に人工知能技術を導入する際、工場出荷前に学習処理を完了させるのではなく、個々のユーザ環境で学習処理を行い、「その人だけ」の人工知能を実現するいわばユーザ毎にカスタマイズされた人工知能技術が重要となる。
そのような人工知能システムにより、ユーザ環境で学習された結果に関連付けられた、ユーザに合わせたサービスが可能になる。例えば、生活音による見守りシステムにおいて、毎日鳴っているトイレ音を学習し、トイレ音が検出されない場合に異常として通報するシステムが実現可能となる。これらには、ユーザ環境で学習処理を行うための逐次学習の技術が用いられている。
「学習」は、最終的に検出された生活音等のセンサデータに対応付けられたラベルを出力する認識モデルを獲得することである。ラベルとは、宅内に設けられたセンサの検出音に対して対応付ける、「ドア音」、「チャイム音」、「引出音」、「洗濯機音」、「トイレ音」、「掃除機音」、「調理音」等の音の種別を示す文字列である。
先ず、逐次学習の概要について説明する。図１は、逐次学習の概要を説明するための図である。図１では、逐次学習を、生活音による見守りシステム１０００に適用した場合で説明する。
見守りシステム１０００では、センサデータ学習装置９０を宅内に設置し、音センサ１４で洗濯機８ａ等の様々な音を収集し、発生した音の種類、長時間発生しない音の種類等の音の発生状況に基づいて、宅内の生活者の状況を、生活者の家族又は関係者に報告、又は、異常と判断した場合には通報するシステムである。
センサデータ学習装置９０は、宅内等のユーザ環境でセンサデータを収集する（ステップＳ０１）。センサデータは、音センサ１４が音圧変化等により検出した普段とは異なる音の音響特徴量を表わす多次元ベクトルに相当する。センサデータを、単に「データ」又は「音データ」という場合がある。
見守りシステム１０００でのセンサデータは、宅内の、ドア音、チャイム音、引出音等の音を対象とする。センサデータ学習装置９０は、データベース（ＤＢ）７にセンサデータを蓄積する。
次に、センサデータ学習装置９０は、ラベル付け確認画面Ｇ９５を表示し、データベース（ＤＢ）７に保持したセンサデータに対して、ユーザ３にラベル付けを促す（ステップＳ０２）。ラベル付けにより、ドア音、チャイム音、引出音等のラベルのいずれかが選択され、音の発生源が特定される。ラベル付けによりユーザ３によって選択されたラベルが、検出された音と関連付けられる。
そして、センサデータ学習装置９０は、ラベルが関連付けられたセンサデータがＤＢ７に一定量以上蓄積されたら、機械学習処理を行い、ラベルの認識モデルを生成する（ステップＳ０３）。センサデータ学習装置９０は、サポートベクターマシン（ＳＶＣ）、ブースティング、ニューラルネットワーク等、音センサ１４が検出した音からラベルを認識するモデルを獲得する判別関数ｆを取得する処理である。
機械学習処理が完了したら、新規入力されたセンサデータに対して自動的にラベル付けを行い、ユーザ３に提示する。なお、この学習処理は１回のみで完了するのではなく、ユーザ３に呈示したラベル付けが合っているか否かの判定をフィードバックによりユーザ３に行わせ、複数回の機械学習処理を行うようにしてもよい。
逐次学習の実現には、センサデータ学習装置９０が行う機械学習処理がキーとなる。先ず、機械学習処理の主な手法の概要について説明する。図２は、代表的な機械学習を説明するための図である。
図２（Ａ）は、バッチ学習の例を示している。バッチ学習では、大規模ストレージ７ｇに全学習データを保持して学習処理６ｐによって判別関数ｆを取得する。大規模ストレージ７ｇに蓄積した全てのデータを用いて学習処理６ｐを行うため、精度良い学習が行える。
一方、大量の学習データを保持するための大規模ストレージ７ｇが必要であり、また、大量の学習データに対する最適化計算を行うための大規模な計算機リソースが必要であり、宅内等でのユーザ環境でバッチ学習方式を用いた逐次学習を行うことは難しい。
図２（Ｂ）は、オンライン学習の例を示している。オンライン学習では、センサデータとラベルの組が入力される毎に、判別関数を更新する。少数の学習データが入力される度に判別関数を更新するため、大量のデータを保持することなく、即ち、大規模なストレージ７ｇを不要とし、また、高性能な計算機を備えることなく学習処理６ｐを実行できる。一方、局所的なデータのみを保存するために、学習処理６ｐで得られる結果が不安定になり易いという欠点がある。
図２（Ｃ）は、コアセット学習の例を示している。コアセット学習は、バッチ学習及びオンライン学習の利点を併せ持った方法である。全データから「コアセット」と呼ばれる代表点を重み付き点として選択する。全データに対してクラスタリング処理等を用い、特徴量空間上で近い距離にある点を代表点として抽出する。代表点に対して重み付けを行い学習処理６ｐを行う。
各データは、複数のパラメータ値による音響特徴量で表され、特徴量空間における点とみなせる。また、代表点は、類似するデータをまとめたクラスタ内において選択された代表的なデータである。
図３は、既存のコアセット学習について説明するための図である。図３に示すコアセット学習では、センサデータ学習装置９０に入力されたセンサデータとラベルとに基づいて代表点を抽出し、一定数のセンサデータが入力された後、複数の代表点を、クラスタリング手法等で、類似データをまとめる（ステップＳ１１）。各クラスタに属するデータ個数が重みとして保持される。
次に、まとめたデータに対してユーザ３にラベル付けさせる（ステップＳ１２）。その後、センサデータ学習装置９０は、クラスタのデータ個数に基づく重み付けによる学習処理６ｐを行って判別関数ｆを取得する（ステップＳ１３）。重み付けによる学習処理６ｐを、単に、「重み付き学習」という場合がある。
音認識時には、センサデータ学習装置９０は、データがいずれのクラスタに存在しない場所であっても、取得した判別関数ｆを用いて、データがドアの音領域ａ１にあるか、ドアでない音領域ａ０であるかを判定する。
学習に用いるデータを選択できる通常の学習処理とは異なり、逐次学習においてはユーザ環境での、言わばノイズの多いデータを用いて学習することになる。そのような状況下では、センサデータの一部は、ユーザにも判別がつかないものも含まれるため、結果として誤ったラベル付けが行われる可能性が高くなる。
ユーザ３による生活音に対するラベル付けの際には、「ドア音」とラベル付けする場合に、戸棚の開閉音も含めてラベル付けされる恐れがある。
図４は、重み付き学習による音認識について説明するための図である。図４（Ａ）では、データ個数が多い場合を説明する。クラスタ内のデータ個数が多い場合、重みが大きくなる。重みが大きい程、判別関数ｆからの距離が長くなる。重みを大きくすることで、誤認識し難いように学習される。
図４（Ｂ）では、データ個数が少ない場合を説明する。クラスタ内のデータ個数が少ない場合、重みが小さくなる。重みが小さい程、判別関数ｆからの距離が短くなる。データ全てを正しく識別するように判別関数の学習ができない場合、重みの小さいデータを誤るように判別関数の学習が行われる。
重み付き点は、特徴量空間上で近接した点をまとめた個数で表される。従って、出現回数の多いセンサデータのラベルが高い重み付けとなり、誤らないように学習処理６ｐが行われる。しかし、これら出現回数の高いデータに対して曖昧な状態でラベル付けがなされた場合、出現回数が少ないが確信を持ってラベル付けされたデータのラベル判定を誤り、曖昧だが出現回数が高いデータのラベルを正解するように学習処理が行われる恐れがある。
図５は、データ個数とラベル付けについて説明するための図である。図５では、特徴量空間１において、ドアの音領域ａ１内にある重み「１００」のクラスタと、ドアでない音領域ａ０にある重み「２」のクラスタを例として、ユーザ３によるラベル付けの確信度の違いを説明する。
重み「１００」のクラスタは、データ個数が多いことを示している。このクラスタの１０個のデータ（音）に対してラベル付けする際に、ユーザ３は、音の発信源を特定できず、何の音であるか判断に迷っていたとする。
ユーザ３は、確信のないまま、１１月１日には「戸棚音」と設定し、１１月１５日には「ドア音」と設定する。この場合には、データ個数が多くても、ラベルは一定せず、センサデータ学習装置９０は、音の認識を精度よく行えない場合がある。
一方、重み「２」のデータ個数が少ないクラスタに対して、ユーザ３は、各音を確信してラベル付けしたとする。ユーザ３は、確信をもって、１１月２日に「ドア音」と設定し、１１月１６日にも同様に「ドア音」と設定する。この場合、データ個数が少ないため、センサデータ学習装置９０は、重みが小さいデータを誤認識してしまう。
データ個数が少ないが、ユーザ３が確信を持ってラベル付けしたクラスタ内のデータを誤り、データ個数が多いが曖昧な状態でラベル付けが行われていたクラスタに属するデータのラベル付けを正解として学習処理６ｐが行われる場合がある。その結果、ユーザ３の直感と合わない判別関数が学習される。ユーザ３のラベル付けが確実なデータの重みが少なくなると、そのデータの認識を誤り、ユーザ３に認識精度が悪いと判断されてしまう。
従って、第１実施例では、逐次学習において、クラスタ内のデータに対して設定されたラベルの一貫性により計算されるユーザ３のラベル付けの信頼度を用いて、データに対する重み付けを決定する。信頼度の低いデータに対する重みを下げ、学習処理６ｐを行う。
ユーザ３の確信度の高いラベル付けには一貫性のあるラベルが設定されることが期待される。即ち、音センサ１４が検出したあるデータ（音）に対して、「ドア音」等の同じラベルが設定される。
一方、ユーザ３が不確かな状態でラベル付けを行う場合、設定されたラベルはまちまちとなることが期待される。即ち、音センサ１４が検出したあるデータ（音）に対して、「ドア音」、「戸棚音」等の複数のラベルが設定される。ラベル付けの曖昧さが、ユーザ３が設定したラベルに対する信頼度を反映すると考えられる。具体的には、ある代表点に対してユーザが設定したラベルの履歴を保持し、その履歴の一致度を計算することで、データに対する信頼度を計算する。
ユーザ環境で学習を行う逐次学習を例とし説明するが、学習時に曖昧にラベルが設定される状況は機械学習のシステムに共通に発生し得る問題である。従って、第１実施例に開示される手法は、逐次学習に限定されず、学習を行うシステム全てに適用可能である。
第１実施例におけるセンサデータ学習装置９０は、図６に示すようなハードウェア構成を有する。図６は、第１実施例におけるセンサデータ学習装置のハードウェア構成を示す図である。図６において、センサデータ学習装置９０は、コンピュータによって制御される情報処理装置であって、ＣＰＵ（Central Processing Unit）１１と、主記憶装置１２と、補助記憶装置１３と、音センサ１４と、ユーザＩ／Ｆ（インターフェース）１５と、スピーカー１６と、通信Ｉ／Ｆ１７と、ドライブ装置１８とを有し、バスＢに接続される。
ＣＰＵ１１は、主記憶装置１２に格納されたプログラムに従ってセンサデータ学習装置９０を制御するプロセッサに相当する。主記憶装置１２には、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等が用いられ、ＣＰＵ１１にて実行されるプログラム、ＣＰＵ１１での処理に必要なデータ、ＣＰＵ１１での処理にて得られたデータ等を記憶又は一時保存する。
補助記憶装置１３には、ＨＤＤ（Hard Disk Drive）等が用いられ、各種処理を実行するためのプログラム等のデータを格納する。補助記憶装置１３に格納されているプログラムの一部が主記憶装置１２にロードされ、ＣＰＵ１１に実行されることによって、各種処理が実現される。記憶部１３０は、主記憶装置１２及び補助記憶装置１３に相当する。
音センサ１４は、周辺音を検出するセンサである。ユーザーＩ／Ｆ１５は、ＣＰＵ１１ｂの制御のもとに必要な各種情報を表示し、また、ユーザによる操作入力を可能とするタッチパネル等である。スピーカー１６は、ＣＰＵ１１ｂの制御のもとにラベル付けされていないデータを出力する。音センサ１４とスピーカー１６とは、外付けであってもよい。
通信Ｉ／Ｆ１７は、有線又は無線などのネットワークを通じて通信を行う。通信Ｉ／Ｆ１７による通信は無線又は有線に限定されるものではない。
センサデータ学習装置９０によって行われる処理を実現するプログラムは、例えば、ＣＤ−ＲＯＭ（Compact Disc Read‐Only Memory）等の記憶媒体１９によってセンサデータ学習装置９０に提供される。
ドライブ装置１８は、ドライブ装置１８にセットされた記憶媒体１９（例えば、ＣＤ−ＲＯＭ等）とセンサデータ学習装置９０とのインターフェースを行う。
また、記憶媒体１９に、後述される本実施の形態に係る種々の処理を実現するプログラムを格納し、この記憶媒体１９に格納されたプログラムは、ドライブ装置１８を介してセンサデータ学習装置９０にインストールされる。インストールされたプログラムは、センサデータ学習装置９０により実行可能となる。
尚、プログラムを格納する記憶媒体１９はＣＤ−ＲＯＭに限定されず、コンピュータが読み取り可能な、構造（structure）を有する１つ以上の非一時的（non‐transitory）な、有形（tangible）な媒体であればよい。コンピュータ読取可能な記憶媒体として、ＣＤ−ＲＯＭの他に、ＤＶＤディスク、ＵＳＢメモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリであっても良い。
図７は、見守りシステムの適用例を示す図である。図７に示す見守りシステム１０００は、宅内４にセンサデータ学習装置９０を設置し、センサデータ学習装置９０の音センサ１４が、宅内４の洗濯機８ａ、戸棚８ｂ、ドア８ｃ、トイレ８ｄ等の生活音を検出する。
センサデータ学習装置９０は、ラベルが未設定のデータに対してラベル付けを促すため、ユーザＩ／Ｆ１５にラベル付け確認画面Ｇ９５を表示する。
ユーザ３は、音センサ１４によって検出された音データのうち代表点となるデータがスピーカー１５から出力されると、ラベル付け確認画面Ｇ９５上を操作して出力音にラベルを設定する。センサデータ学習装置９０は、代表点とユーザ３が設定したラベルとを対応付けて、記憶部１３０に蓄積する。
第１の例では、センサデータ学習装置９０の音センサ１４で、洗濯機８ａ、戸棚８ｂ、ドア８ｃ、トイレ８ｄ等の生活音を検出し、センサデータ学習装置９０のユーザＩ／Ｆ１５でラベル付けを行うため、センサデータ学習装置９０のみを宅内４に設置すればよい。また、ラベル付けは、ユーザ３の端末５で行えるようにしても良い。
図８は、第１実施例におけるセンサデータ学習装置の機能構成例を示す図である。図８において、センサデータ学習装置９０は、主に、入力部４０と、信頼度取得部５０と、機械学習部６０と、ＧＵＩ（Graphical User Interface）部７０とを有する。入力部４０と、信頼度取得部５０と、機械学習部６０と、ＧＵＩ部７０とは、センサデータ学習装置９０にインストールされたプログラムが、センサデータ学習装置９０のＣＰＵ１１に実行させる処理により実現される。また、記憶部１３０には、代表点ＤＢ３２、判別関数ＤＢ３４等が記憶される。
図８では、第１実施例に関連する処理部等を示し、他を省略している。第１実施例では、初期に所定期間蓄積した音センサ１４が検出したデータをクラスタリングして代表点を代表点ＤＢ３２に登録しておいても良いし、クラスタリング処理を省略してもよい。
入力部４０は、更に、センサデータ入力部４２と、ラベル付け部４４とを有する。センサデータ入力部４２は、音センサ１４が検知した音データを入力する。データは、記憶部１３０内の所定記憶領域（バッファ等）に一次的に蓄積される。
ラベル付け部４４は、ユーザＩ／Ｆ１５又はユーザ３の端末５にラベル付け確認画面Ｇ９５を表示してユーザ３にラベル付けを促し、ユーザ３から再生したデータに対応するラベルを取得する。ラベルはデータに対応付けられて所定記憶領域に保持される。ラベル付け部４４は、ユーザ３によるラベルの登録要求を受けると、信頼度取得部５０に通知する。
信頼度取得部５０は、入力部４０のラベル付け部４４からの登録要求に応じて、記憶部１３０の所定記憶領域に蓄積されたデータとラベルとを読み出して、ユーザ３のラベル付けの確からしさを表わす信頼度を算出する。
センサデータ入力部４２によって、音センサ１４によって新たに検出されたデータは所定記憶領域に蓄積され、ラベル付け部４４によって、所定間隔又は逐次に、ユーザ３にラベル付けを促す。ユーザ３によって付与されたラベルは、データに対応付けて一次的に所定記憶領域に保持される。
ユーザ３にラベル付けさせる方法は、一定期間の間に蓄積したデータをユーザ３にラベル付けさせる第１の方法と、音センサ１４によってデータが検出される毎に、逐次、ユーザ３にラベル付けさせる第２の方法のいずれでもよい。ラベル付け確認画面Ｇ９５をユーザＩ／Ｆ１５又はユーザ端末５に表示させることで、宅内４又は宅外であってもラベル付けを行なうことができる。
信頼度取得部５０は、所定記憶領域に蓄積されたデータ及びラベルに対して、代表点ＤＢ３２を参照して、ユーザ３によるラベル付けの信頼度を算出する。信頼度取得部５０は、更に、代表点抽出部５２と、信頼度計算部５４とを有する。
代表点抽出部５２は、代表点ＤＢ３２から音センサ１４が検出したデータに類似する代表点を抽出し、ユーザ３によって付与されたラベルを抽出した代表点のラベル付け履歴として、代表点ＤＢ３２に記憶する。記憶部１３０の所定記憶領域に保持されたデータ及びラベルは、代表点ＤＢ３２のラベル付け履歴に記録される毎に、所定記憶領域から消去してよい。
代表点抽出部５２は、音センサ１４が検出したデータが、代表点ＤＢ３２に記憶されたいずれの代表点にも類似しない場合、新たな代表点として、ユーザ３によって付与されたラベルと共に、代表点ＤＢ３２に記憶する。
第１実施例において、クラスタリングにより予め複数の代表点を求めておく場合、センサデータ学習装置９０のユーザ３の宅内４への初期導入時から所定期間、音センサ１４が検出した音データを所定記憶領域に蓄積する。その後、信頼度取得部５０によって、クラスタリングを行い、クラスタ毎に代表点を抽出して代表点ＤＢ３２に登録する。代表点の代表点ＤＢ３２への登録後は、所定記憶領域を初期化してよい。
クラスタリングにより代表点を計算する際、代表点に入力されるセンサデータから計算される分散量（例えば、分散）を保持し、その統計量を信頼度の計算や代表点にまとめる範囲の閾値（距離等）に反映させてもよい。また、代表点計算の際の履歴として、センサデータから計算される量（例えば、クラスタ中心との距離）も同時に保持しておき、その値を信頼度計算や代表点としてまとめる範囲の閾値の値に反映させてもよい。更に、代表点の抽出時には、代表点を一定範囲の中で１点のみを保持するのではなく、複数点を保持してもよい。
代表点の範囲としては、距離が一定以下の点を決定的にまとめるだけでなく、距離の値に応じて代表点に含まれる確率が変動する関数（例えば、ｅ−距離等の関数）を用い、まとめる先の代表点を確率的に選択してもよい。また、代表点としてまとめる際、最近傍の１点に対してまとめるのではなく、近傍の複数点への重み付き割り当てを行ってもよい。また、スパースコーディング等の方式を用い、まとめる先の代表点の個数を可変として代表点を選択してもよい。
また、データ間の距離を、各特徴量次元に対して等方的に計算するのではなく、
・マハラノビス距離のような異方性を持つ距離関数
・部分空間に射影した距離関数
・ＲＢＦ（Radial Basis Function）カーネル、Bhattacharyyaカーネル等のようなカーネル関数上での距離関数
・多様体学習で求めた多様体上での距離関数
・Bregmanダイバージェンス等の非ユークリッド空間上での拡張距離関数
・Ｌｐノルム等の非線形変換を行った距離関数
・距離計量学習で学習した距離関数
上記いずれかを利用してもよい。
また、距離計算時、例えば、Normalized Online Learning法を用い、音センサ１４からのデータの読み込みと共に動的に距離空間の正規化を行ってもよい。更に、距離算出時、音センサ１４からデータが入力された時間により値が変動する関数を用いて、時間が近いデータに対しては距離を近付ける、又は、遠ざける調整を行ってもよい。
第１実施例では、宅内４への導入時に、経験値に基づいて、音センサ１４が検出するデータの代表点を示す代表点ＤＢ３２及び代表点にまとめる距離を予め定めておいてもよい。この場合、上述したクラスタリングの処理を省略してもよい。代表点抽出部５２は、音センサ１４が検出したデータと最も近い代表点を代表点ＤＢ３２から選択するのみでよい。
信頼度計算部５４は、代表点ＤＢ３２を用いて、代表点毎に信頼度を求める。信頼度は、ラベルに一貫性がある代表点に対しては高くし、ラベルに一貫性のない代表点に対して低くなるように計算される。図９にて、代表点ＤＢ３２のデータ構成例の説明と共に、信頼度についても詳述する。
信頼度計算部５４は、また、ユーザ３のラベル付けにより、信頼度の値が閾値以下となった場合、再度ユーザ３にラベル付けを行わせるために、ＧＵＩ部７０にラベル付けのデータを指定した警告通知を行なってもよい。
機械学習部６０は、主に、学習処理６ｐを行う学習部６２を有する。学習部６２は、ラベル毎に、信頼度を用いて判別関数の重みを決定する。ラベル毎の判別関数の重みが判別関数ＤＢ３４に記憶される。
ＧＵＩ部７０は、ユーザ警告部７２を有する。ユーザ警告部７２は、信頼度計算部５４から警告通知を受信すると、ユーザＩ／Ｆ１５又はユーザ３の端末５に表示されているラベル付け確認画面Ｇ９５にラベルの再設定を促すメッセージを表示して、ユーザ３に、直前に設定したラベルの再設定を依頼する。ユーザ３が再度設定したラベルは、入力部４０のラベル付け部４４で取得される。
次に、代表点ＤＢ３２と判別関数ＤＢ３４について説明する。図９は、代表点ＤＢの第１のデータ構成例を示す図である。図９において、代表点ＤＢ３２は、代表点の情報を管理するデータベースであり、代表点ＩＤ、センサデータ、ラベル付け履歴、回数、代表ラベル、信頼度等の項目を有する。
代表点ＩＤは、各代表点の識別子である。代表点ＤＢ３２では、初期に所定期間蓄積したデータをクラスタリングして、初期の代表点が登録されてあればよい。代表点を求めるためのクラスタリングは前述した手法を用いればよい。
センサデータは、代表点となった音センサ１４で検出された音響特徴毎の特徴量を多次元ベクトルで表わしたデータである。
ラベル付け履歴は、代表点に対して付与されたラベルを示す。付与されたラベルを「入力ラベル」という場合がある。ラベル毎に、付与した日時を記録してもよい。可変長配列により、ユーザ３によって付与されたラベルを記録してもよい。日時は、音センサ１４が音を検出した日時、又は、ユーザ３がラベルを付与した日時であってもよい。ラベル付け履歴に記録されるラベルは、判別関数ＤＢ３４に登録された認識対象名である。
回数は、ラベル付けした回数を示し、ラベル付け履歴で記録されている入力ラベルの個数に相当する。代表ラベルは、代表点のデータに対して付与された回数の最も多いラベルを示す。信頼度は、ラベル付け履歴、回数、及び代表ラベルを参照して得られ、代表ラベルに対するユーザ３の確信度を示す。
信頼度は、
Figure 0006794692
 ラベル付けした回数に対する、ラベル付け履歴から取得した代表ラベルと一致する入力ラベルの個数の比率で表される。
この例では、代表点ＩＤ「0002」のセンサデータ(1.0,2.0.1.5, …)に対して、３回ラベル付けがなされており、ラベル付け履歴から入力ラベルが、「ドア音」、「引出音」、及び「ドア音」であったことが示されている。ラベル付け履歴において最も多い入力ラベル「ドア音」が、代表ラベルに設定されている。この代表点ＩＤ「0002」の信頼度は、
信頼度 ＝ ２／３ ＝ ０．６６
となる。
代表点ＩＤ「0003」のセンサデータ(‐0.5, 1.0, 1.2, …)に対して、１回ラベル付けがなされており、ラベル付け履歴から「チャイム音」とラベルが付与されたことが示されている。ラベル付け履歴に記録されているのは「チャイム音」のみであるため、代表ラベルに「チャイム音」が設定されている。この代表点ＩＤ「0003」の信頼度は、
信頼度 ＝ １／１ ＝ １．０
となる。
代表点ＩＤ「0004」のセンサデータ(0.8, 2.2, 1.3, …)に対して、４回ラベル付けがなされており、ラベル付け履歴から、入力ラベルは、「ドア音」、「ドア音」、「足音」、及び「ドア音」であったことが示されている。ラベル付け履歴に最も多く記録されているのは「ドア音」であるため、代表ラベルに「ドア音」が設定されている。この代表点ＩＤ「0004」の信頼度は、
信頼度 ＝ ３／４ ＝ ０．７５
となる。
信頼度は、以下に示す様々な計算方法が考えられ、いずれかを適用すればよい。数１以外の計算方法として、数２に示すように、数１の分母及び分子に定数αを加えてもよい。
Figure 0006794692
 数２では、ラベル付け履歴に含まれる代表ラベルの個数、即ち、代表点にまとめられたデータの個数が少ない場合に、信頼度の値が低下しにくい。数２は、代表点に割り振られたデータ個数が少ないとき、僅かに代表ラベルの選定がばらつくことを抑えられる。
また、数１の分子及び分母を定数βで累乗してもよい。
Figure 0006794692
 数３において、βに１寄り大きな値を与えた場合、ラベルの不一致個数が大きくなると信頼度が大きく下がるようになる。この効果により、ラベルの不一致が大きくなった場合に大きなペナルティを与えることが可能である。
また、数４のように、ラベルの不一致度が一定以下になったら、信頼度を大きく下げるような処理を行ってもよい。
Figure 0006794692
 上述した数１〜数４の２以上を組み合せてもよい。数１〜数４では、ラベル付けの一貫性が小さくなった場合にペナルティを与える、即ち、信頼度を下げる計算例である。
或いは、一定回数以上連続して同じラベルが付与された場合、一定の期間（１週間等）同じラベルが付与された場合、一定回数又は一定期間内に一定以上の割合でラベルが付与された場合のいずれかを契機として、信頼度を上昇させる処理を行ってもよい。
また、信頼度判定の際、まとめる先の代表点との距離に応じて信頼度の値を変化させてもよい。
更に、信頼度判定の際、データの時間変動を考慮するため、まとめる先の代表点でラベルが付与された時間を反映させてもよい。夜の時間帯では昼間の活動時間帯よりも、信頼度を低くしてもよい。ユーザ３の日常生活において、夜間はユーザ３が疲労している時間帯であることから、昼間の時間帯と比べて、ユーザ３の判断力が鈍く、ラベル付けの精度が劣ると考えるからである。
また、信頼度判定の際、ユーザ３がラベル付けに要した時間、ユーザ３がラベル付けを行った時間等の情報を用いて、ユーザ３のラベル付け時の状況に応じて信頼度を調整してもよい。焦電センサ等の外部センサから得た情報を用いてもよい。焦電センサの時系列出力から、その時間帯の運動量が分かるため、そのラベル付けがユーザ３の忙しい時間に行われたのか、ユーザ３が落ち着いた状況でラベル付けを行ったのかを判定し、判定結果に基づいて信頼度を調整してもよい。
図１０は、代表点ＤＢの第２のデータ構成例を示す図である。図１０において、代表点ＤＢ３２−２は、代表点の情報を管理するデータベースであり、第１のデータ構成例に更にラベル付け所要時間の項目を有する。
ラベル付け所要時間は、ユーザ３がラベル付けに要した時間が示される。ラベル付け所要時間には、ラベル付け履歴に記録されたラベルの順に所要時間が記録される。
ラベル付け履歴のラベルを設定するまでに掛った所要時間が閾値時間以上の場合は、そのラベルを採用しない。この例では、閾値時間を１０秒とした場合、代表点ＩＤ「０００２」のラベル付け履歴の１番目及び３番目のラベル「ドア音」は無視される。
また、この代表点ＤＢ３２−２を用いて、ラベル付けに掛った時間により重みが減衰する関数（例えば、ｅ−ｔ等の関数）を用いて、ラベル付け履歴のそれぞれのラベルに対して重み付けを行なってもよい。
図１１は、判別関数ＤＢのデータ構成例を示す図である。図１１において、判別関数ＤＢ３４は、認識対象ＩＤ、認識対象名、判別関数重み等の項目を有する。認識対象ＩＤは、音の種別（即ち、ラベル）の識別子を示す。認識対象名は、音の種別（即ち、ラベル）を示す。判別関数重みは、判別関数ｆの係数に相当する。
この例では、ラベル「ドア音」の識別子は、認証対象ＩＤにより「L001」であり、「ドア音」用の判別関数の重みは（0.1, 0.2, ‐1.2, 0.5, ‐0.2）であることが示されている。ラベル「チャイム音」の識別子は、認証対象ＩＤにより「L002」であり、「チャイム音」用の判別関数の重みは（‐0.2, 0.5, 12.0, ‐0.5, 0.2）であることが示されている。ラベル「足音」の識別子は、認証対象ＩＤにより「L003」であり、「足音」用の判別関数の重みは（0.3, 0.1, ‐1.4, 1, ‐0.2）であることが示されている。
このようにユーザ３によるラベル付けの信頼度と、代表点毎のラベル付けした回数とを用いて代表点に対する重みを算出することにより、精度良い判別関数ｆを得られる。重みは、
Figure 0006794692
 により得られる。
図１２は、第１実施例における信頼度の算出例を示す図である。図１２では、特徴量空間１でデータを４つのクラスタｃ１、ｃ２、ｃ３、及びｃ４に分類した例で説明する。また、数１により信頼度を計算するものとする。
クラスタｃ３のラベル付け履歴が「ドア音」、「戸棚音」、「ドア音」、及び「引出音」を示している場合、代表ラベルはラベル付け履歴の中で最も出現する「ドア音」となる。また、ラベル付け４回のうち２回が「ドア音」であったことから、０．５（＝２／４）の信頼度を得る。
また、クラスタｃ４のラベル付け履歴が「ドア音」、「ドア音」、「ドア音」、及び「ドア音」を示し、ユーザ３は一貫して同じラベルを付与している。代表ラベルは「ドア音」となる。また、信頼度は、１．０（＝４／４）を得る。
このように、同一回数のラベル付けが行われた場合であっても、即ち、データ数は同じであっても、信頼度は異なっている。信頼度に基づいて判別関数の重み付けを決定することで、ユーザ３の確信度が高いデータを間違いなく判別できる。
「ドア音」の判別関数ｆについて、第１実施例における信頼度を用いない関連技術と、第１実施例との差について図１３に示す。図１３は、関連技術と第１実施例とによる判別関数の違いを説明するための図である。
図１３（Ａ）では、データがクラスタｄ１、ｄ２、ｄ３、ｄ４、ｄ５、及びｄ６にグループ化された状態を示している。６個のクラスタのうち、クラスタｄ１は、データ個数は多いが、ラベル付けに一貫性がなくまちまちであるため、ユーザ３の確信度が低いクラスタである。クラスタｄ６は、データ個数は少ないが、ラベル付けに一貫性があり、ユーザ３の確信度が高いクラスタである。
図１３（Ｂ）では、関連技術による判別関数ｆの例を示している。データ個数による重み付けにより、クラスタｄ１には重み「１００」、そして、クラスタｄ６には重み「２」が設定される。そして、クラスタｄ１、ｄ２、及びｄ３のデータはドアの音領域ａ１に属すると判断され、クラスタｄ４、ｄ５、及びｄ６のデータはドアでない音領域ａ０に属すると判断されるように、判別関数ｆが設定される。
図１３（Ｃ）では、第１実施例による判別関数ｆの例を示している。ユーザ３によるラベル付けの信頼度により、クラスタｄ１には重み「１」、そして、クラスタｄ６には重み「２」が設定される。そして、クラスタｄ２、ｄ３、及びｄ６のデータはドアの音領域ａ１に属すると判断され、クラスタｄ１、ｄ４、及びｄ５のデータはドアでない音領域ａ０に属すると判断されるように、判別関数ｆが設定される。
関連技術ではドアの音領域ａ１に属すると判断されたクラスタｄ１が、第１実施例による判別関数ｆを用いた場合、ドアでない音領域ａ０に属すると判断される。また、関連技術ではドアでない音領域ａ０に属すると判断されたクラスタｄ６が、第１実施例による判別関数ｆを用いた場合、ドアの音領域ａ１に属すると判断される。
ユーザ３が一貫して「ドア音」とラベル付けしたクラスタｄ６は、データ個数が少なくてもドア音として認識される。
第１実施例では、過去に一貫して同一のラベルが付与されている状態で、異なるラベルが付与された場合には、ユーザ３に再度ラベル付けを促す警告を行ってもよい。図１４は、第１実施例におけるユーザへ警告する場合の例を示す図である。図１４において、ユーザ３は、ラベル付け確認画面Ｇ９５で、スピーカー１６から発せられた音に対して「戸棚音」のラベル付けを行なう。
センサデータ学習装置９０の信頼度計算部４４は、代表点ＤＢ３２において、ユーザ３がラベル付けしたデータに最も近い代表点のラベル付け履歴を参照する。この例では、全て「ドア音」がラベル付けされたことが示されている。
信頼度計算部４４は、一貫性を持って「ドア音」とラベル付けされたデータに対して、今回は異なるラベル付けがされたと判断し、ユーザ警告部７２に警告通知を通知する。警告通知を受信したユーザ警告部７２は、ユーザＩ／Ｆ１５に表示しているラベル付け確認画面Ｇ９５に「本当に“戸棚音”とラベル付けしていいですか？」等を表示し、ユーザ３に対してラベル付けの確認を促す。
図１５は、第１実施例におけるラベル付け確認画面例を示す図である。図１５（Ａ）に示すラベル付け確認画面Ｇ９５では、ラベル付けがなされていないデータに対してラベル付けを行なうときに表示される内容を示している。ラベル付け確認画面Ｇ９５には、メッセージ９５ａ、時刻９５ｂ、再生ボタン９５ｃ、ラベル設定領域９５ｄ、登録ボタン９５ｅ等が表示される。
メッセージ９５ａは、「ラベル付けして下さい。」等の、ユーザ３へラベル付けを促すメッセージを示す。時刻９５ｂは、音を検知した時刻を示す。この例では、「12:34」を示している。再生ボタン９５ｃは、時刻９５ｂで検知した音を再生するためのボタンである。
ラベル設定領域９５ｄは、ユーザ３がラベルを設定する領域である。この例では、プルダウンでラベル一覧が表示され、ユーザ３がラベル一覧から「ドア音」を選択した状態を示している。設定方法は、この例に限定されない。
登録ボタン９５ｅは、ラベル設定領域９５ｄで設定したラベルを登録するためのボタンである。この例において、ユーザ３が登録ボタン９５ｅを設定すると、代表点ＤＢ３２において、「12:34」の音データとの距離がクラスタの大きさに相当する閾値以内であって、「12:34」の音データに最も近い代表点が特定される。特定された代表点のラベル付け履歴に、ユーザ３がラベル設定領域９５ｄに設定したラベルが追加して記録される。
図１５（Ｂ）に示すラベル付け確認画面Ｇ９５では、データに対してラベル付けがなされた際に、信頼度計算部５４から警告通知を受けたユーザ警告部７２によって表示される内容を示している。ラベル付け確認画面Ｇ９５には、メッセージ９５ｆ、履歴９５ｇ、再生ボタン９５ｈ、ＯＫボタン９５ｉ、キャンセル９５ｊ等が表示される。
メッセージ９５ｆは、ユーザ３にラベル付けの確認を促すメッセージを示す。メッセージ９５ｆによって、「今、ラベル（”戸棚音”）を付与したデータは、過去”ドア音”とラベル付けされています。本当に”戸棚音”とラベル付けしていいですか？」等のメッセージが示される。
履歴９５ｇは、過去のラベル付けの履歴情報を示す。履歴９５ｇには、「
2014/12/24 13:00:12 ドア音
2015/01/12 03:58:13 ドア音」
等の履歴情報が示される。
再生ボタン９５ｈは、確認対象の音を再生するためのボタンである。再生ボタン９５ｈの選択に応じて、図１５（Ａ）に示す内容が表示されてもよい。ユーザ３は、再度、ラベル設定領域９５ｄでラベルを設定する。
ＯＫボタン９５ｉは、設定したラベルで登録するためのボタンである。この例では、ＯＫボタン９５ｉを選択すると、過去に「ドア音」とラベル付けした音に対して、「戸棚音」の設定で登録される。キャンセル９５ｊは、登録をキャンセルするためのボタンである。この例では、キャンセル９５ｊが選択されると、今回、「戸棚音」を設定した音に関する代表点に対して履歴情報は追加されない。
ユーザ３にラベル付けさせる方法は、一定期間の間に蓄積したデータをユーザ３にラベル付けさせる第１の方法と、音センサ１４によってデータが検出される毎に、逐次、ユーザ３にラベル付けさせる第２の方法のいずれでもよい。
ラベル付け部４４によって行われる、一定期間の間に蓄積したデータをユーザ３にラベル付けさせる第１の方法と、データ検出毎に、逐次、ユーザ３にラベル付けさせる第２の方法について説明する。
図１６は、ラベル付けのタイミング例を示す図である。図１６（Ａ）では、第１の方法でラベル付けを行なう例を示している。所定間隔Ｔ１の間に音センサ１４が検出して、センサデータ入力部４２によって蓄積された複数のデータにラベル付け確認画面Ｇ９５をユーザＩ／Ｆ１５又は端末５に表示して、ユーザ３にラベル付けを促す。ユーザ３は、所定間隔Ｔ１の間に蓄積された複数のデータのそれぞれにラベル付けを行なう。
図１６（Ｂ）では、第２の方法でラベル付けを行なう例を示している。音センサ１４が音を検出する毎に、センサデータ入力部４２は、ラベル付け部４４に通知することで、ラベル付け部４４は、ラベル付け確認画面Ｇ９５をユーザＩ／Ｆ１５又は端末５に表示して、ユーザ３にラベル付けを促す。ユーザ３は、１つのデータに対してラベル付けを行なう。
次に、信頼度取得部５０による信頼度取得処理について説明する。図１７は、第１実施例における信頼度取得処理を説明するためのフローチャート図である。信頼度取得部５０は、入力部４０からのラベルの登録要求の受信に応じて、信頼度取得処理を開始する。
図１７において、信頼度取得部５０では、代表点抽出部５２が、記憶部１３０の所定記憶領域から音響特徴量を示すデータとラベルとを入力し（ステップＳ１０１）、代表点ＤＢ３２から、入力したデータに最も近い距離の代表点のレコードを抽出する（ステップＳ１０２）。代表点ＤＢ３２に記憶されているセンサデータ（代表点）のうち、入力データとの距離が最も短いセンサデータのレコードが抽出される。
代表点抽出部５２は、抽出された代表点と入力データとの距離が閾値以下か否かを判断する（ステップＳ１０３）。抽出された代表点と入力データとの距離が閾値を超える場合（ステップＳ１０３のＮｏ）、代表点抽出部５２は、入力データを新たな代表点とし代表点ＩＤを設定し、入力ラベルをラベル付け履歴に記録し、回数に１を設定し、入力ラベルを代表ラベルに設定したレコードを代表点ＤＢに追加する（ステップＳ１０４）。代表点抽出部５２は、信頼度計算部５４に代表点ＩＤを通知する。
信頼度計算部５４は、代表点抽出部５２から通知された代表点ＩＤのレコードを特定し、追加した代表点に対して、ラベル付けの信頼度を１に設定する（ステップＳ１０５）。信頼度計算部５４は、回数が１であることから、新たな代表点であることを判別できる。この場合、信頼度は１に設定される。その後、信頼度取得部５０は、信頼度取得処理を終了する。信頼度取得処理の終了後、機械学習部６０による学習処理が開始される。
一方、抽出された代表点と入力データとの距離が閾値以下の場合（ステップＳ１０３のＹｅｓ）、代表点抽出部５２は、代表点のレコードの回数に１を加算し（ステップＳ１０６）、レコードのラベル付け履歴にユーザ３が設定したラベルを追加する（ステップＳ１０７）。ラベルと共に日時を追加してもよい。代表点抽出部５２は、信頼度計算部５４に代表点ＩＤを通知する。
信頼度計算部５４は、代表点抽出部５２から通知された代表点ＩＤのレコードを特定し、特定したレコードのラベル付け履歴及び回数に基づいて、代表点の代表ラベルに対する信頼度を計算する（ステップＳ１０８）。算出された信頼度は、レコードに設定される。その後、信頼度取得部５０は、信頼度取得処理を終了する。信頼度取得処理の終了後、機械学習部６０による学習処理が開始される。
次に、機械学習部６０による学習処理について説明する。図１８は、第１実施例における学習処理を説明するためのフローチャート図である。所定間隔（例えば、数時間間隔等）で、代表点ＤＢ３２がある程度更新された際に、機械学習部６０による機械学習処理を行うことが望ましい。
図１８において、機械学習部６０は、代表点ＤＢ３２を参照して、代表点毎に、信頼度と回数とから代表点の重みを計算する（ステップＳ１２１）。
機械学習部６０は、代表ラベルを１つ選択し（ステップＳ１２２）、代表点ＤＢ３２から選択した代表ラベルのレコードを抽出して、抽出した代表点を用いてモデル学習を行う（ステップＳ１２３）。
機械学習部６０は、モデル学習によって得られた判別関数を判別関数ＤＢ３４に登録する（ステップＳ１２４）。即ち、判別関数の係数が、判別関数ＤＢ３４の判別関数重みに設定される。
そして、機械学習部６０は、未処理の代表ラベルがあるか否かを判断する（ステップＳ１２５）。未処理の代表ラベルがある場合（ステップＳ１２５のＹｅｓ）、機械学習部６０は、ステップＳ１２２へと戻り、上述同様の処理を繰り返す。一方、全ての代表ラベルを処理した場合（ステップＳ１２５のＮｏ）、機械学習部６０は、学習処理を終了する。
次に、第１実施例において得られた判別関数ＤＢ３４を利用する第２実施例を説明する。センサデータ学習装置９０のハードウェア構成等は第１実施例と同様であるため、その説明を省略する。
図１９は、第２実施例におけるセンサデータ学習装置の機能構成例を示す図である。図１９において、センサデータ学習装置９０は、第１実施例の機能構成に加えて、認識部３１０と、出力部３２０とを更に有する。認識部３１０と、出力部３２０とは、センサデータ学習装置９０にインストールされたプログラムが、センサデータ学習装置９０のＣＰＵ１１に実行させる処理により実現される。第１実施例と同様の部分には同一符号を付し、その説明を省略する。また、第１実施例に係る部分を破線で示し、第２実施例に係る部分を実線で示す。
認識部３１０は、音センサ１４が検出したデータが生活音であるかを判別する。認識部３１０は、主に、生活音認識部３１２を有する。生活音認識部３１２は、入力部４０のセンサデータ入力部４２から音センサ１４が検出したデータを受信すると、判別関数ＤＢ３４を用いていずれかの生活音であるかを判別する。生活音を検出した場合、認識部３１０は、生活音を特定するラベルを指定した検出結果を出力部３２０に通知する。
出力部３２０は、検出結果をサービスを提供するサーバに通知する。出力部３２０は、主に、検出結果通知部３２２を有する。検出結果通知部３２２は、生活音認識部３１２から受信した検出結果を見守りサービス等を行うサーバへ通信Ｉ／Ｆ１７を介して送信する。
検出結果は、認識対象（即ち、音の種別を示すラベル）と、音センサ１４で検出した時刻の情報を含む。サーバは、検出結果を蓄積し、トイレ音が検出されない場合に異常として警備会社等に通報するサービス、ドア音の検出に応じて宅内４の居住者の家族に外出又は帰宅を通知するサービス等を提供する。
第１実施例における処理を、センサデータ学習装置９０の導入時から定めた一定期間行ったのち、第２実施例における処理を行ってもよい。又は、第１実施例において、学習処理の収束判定を行うようにし、第１実施例における処理の終了に応じて、第２実施例での処理を開始してもよい。また、第２実施例での処理の開始後においても第１実施例での処理を平行して行うようにしてもよい。
生活音認識部３１２による生活音認識処理について説明する。図２０は、生活音認識処理を説明するためのフローチャート図である。図２０において、生活音認識部３１２は、音響特徴量を示すデータを入力する（ステップＳ３５１）。
生活音認識部３１２は、判別関数ＤＢ３４の判別関数重みと音響特徴量のデータとを用いて、各認識対象のスコアを計算し（ステップＳ３５２）、計算された各認識対象のスコアの中で最大スコアを取得する（ステップＳ３５３）。
そして、生活音認識部３１２は、取得した最大スコアが閾値以上か否かを判定する（ステップＳ３５４）。最大スコアが閾値未満の場合（ステップＳ３５４のＮｏ）、生活音認識部３１２は、生活音認識処理を終了する。
一方、最大スコアが閾値以上の場合（ステップＳ３５４のＹｅｓ）、生活音認識部３１２は、最大スコアの認識対象を指定した検出結果を出力部３２０に通知して（ステップＳ３５５）、生活音認識処理を終了する。出力部３２０は、検出結果を受け付けると、検出結果通知部３２２により、予め定めたサーバ等の通知先へ検出結果を通知する。
図１１に示す判別関数ＤＢ３４を用いた場合で生活音認識処理について説明する。入力された音響特徴量を示すデータは（0.1, 0.1, 0.1, 0.1, 1.0）であり、閾値Ｔｈが１．０であるとする。
認識対象名「ドア音」の判別関数重みを適用するとスコア「‐0.24」を得る。また、認識対象名「チャイム音」の判別関数重みを適用するとスコア「1.38」を得る。更に、認識対象名「足音」の判別関数重みを適用するとスコア「‐0.2」を得る。
最大スコアを示すチャイム音のスコアが閾値Ｔｈ＝１．０より大きいため、入力音はチャイム音であると判定できる。
上述したように、ユーザ３によってまとめられたデータに付与された音の種類を示すラベル付けの信頼度を、データの重みに反映させて学習することで、まとめられたデータの個数に影響されず、検出したデータの認識精度を向上することができる。
本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、主々の変形や変更が可能である。
以上の第１及び第２実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
センサデータを取得し、
取得した前記センサデータを類似するセンサデータの代表点毎にまとめ、
各代表点でまとめられる複数のセンサデータそれぞれに付与されたデータ種別に基づいて、該代表点に対応付けられた該データ種別の信頼度を算出する
処理をコンピュータが行うセンサデータ学習方法。
（付記２）
前記コンピュータは、
取得した前記センサデータを所定期間蓄積し、
所定期間毎に前記データ種別を付与する画面を表示部に表示させ、所定期間内に蓄積された複数のセンサデータのそれぞれに付与されたデータ種別を取得する
処理を行う付記１記載のセンサデータ学習方法。
（付記３）
前記コンピュータは、
前記センサデータを取得する毎に、前記データ種別を付与する画面を表示部に表示させ、該センサデータに付与されたデータ種別を取得する
処理を行う付記１記載のセンサデータ学習方法。
（付記４）
前記コンピュータは、
各代表点の、該代表点にまとめられた前記センサデータの個数と、前記信頼度とを用いて、データ種別毎の判別関数の重みを取得し、学習処理を行って各データ種別の判別関数を決定する
処理を行う付記１乃至３のいずれか一項に記載のセンサデータ学習方法。
（付記５）
前記信頼度は、前記代表点毎の複数のセンサデータそれぞれに付与された前記データ種別に基づいて、該複数のセンサデータの総数に対する最多回数のデータ種別の比率を算出することで得られることを特徴とする付記１乃至４のいずれか一項に記載のセンサデータ学習方法。
（付記６）
前記コンピュータは、
取得した前記センサデータが前記一覧のいずれの代表点のセンサデータに類似しない場合、取得した該センサデータを該代表点として該一覧に追加する
処理を行う付記１乃至４のいずれか一項に記載のセンサデータ学習方法。
（付記７）
前記コンピュータは、
取得した前記センサデータを、前記重みを適用したデータ種別毎の判別関数を用いて、最も高いスコアを得たデータ種別を特定し、特定した該データ種別のスコアが閾値以上である場合に、該データ種別を指定した検出結果を出力する
処理を行う付記１乃至５のいずれか一項に記載のセンサデータ学習方法。
（付記８）
センサデータを取得し、
取得した前記センサデータを類似するセンサデータの代表点毎にまとめ、
各代表点でまとめられる複数のセンサデータそれぞれに付与されたデータ種別に基づいて、該代表点に対応付けられた該データ種別の信頼度を算出する
処理をコンピュータに行わせるセンサデータ学習プログラム。
（付記９）
センサデータを入力する入力部と、
取得した前記センサデータを類似するセンサデータの代表点毎にまとめて、各代表点でまとめられる複数のセンサデータそれぞれに付与されたデータ種別に基づいて、該代表点に対応付けられた該データ種別の信頼度を算出する信頼度取得部と
処理をコンピュータに行わせるセンサデータ学習装置。
３ ユーザ
４ 宅内
５ 端末
１１ ＣＰＵ
１２ 主記憶装置
１３ 補助記憶装置
１４ 音センサ
１５ ユーザＩ／Ｆ
１６ スピーカー
１７ 通信Ｉ／Ｆ
１８ ドライブ装置
１９ 記憶媒体
３２ 代表点ＤＢ
３４ 判別関数ＤＢ
４０ 入力部
４２ センサデータ入力部
４４ ラベル付け部
５０ 信頼度取得部
５２ 代表点抽出部
５４ 信頼度計算部
６０ 機械学習部
６２ 学習部
３１０ 認識部
３１２ 生活音認識部
３２０ 出力部
３２２ 検出結果通知部

Claims (6)

  1. センサデータを取得し、
    取得した前記センサデータを類似するセンサデータの代表点毎にまとめ、
    各代表点でまとめられる複数のセンサデータそれぞれに付与されたデータ種別に基づいて、該代表点に対応付けられた該データ種別の信頼度を算出し、
    各代表点の、該代表点にまとめられた前記センサデータの個数と、前記信頼度とを用いて、データ種別毎の判別関数の重みを取得し、学習処理を行って各データ種別の判別関数を決定する
    処理をコンピュータが行うセンサデータ学習方法。
  2. 前記コンピュータは、
    取得した前記センサデータを所定期間蓄積し、
    所定期間毎に前記データ種別を付与する画面を表示部に表示させ、所定期間内に蓄積された複数のセンサデータのそれぞれに付与されたデータ種別を取得する
    処理を行う請求項１記載のセンサデータ学習方法。
  3. 前記コンピュータは、
    前記センサデータを取得する毎に、前記データ種別を付与する画面を表示部に表示させ、該センサデータに付与されたデータ種別を取得する
    処理を行う請求項１記載のセンサデータ学習方法。
  4. 前記コンピュータは、
    取得した前記センサデータを、前記重みを適用したデータ種別毎の判別関数を用いて、最も高いスコアを得たデータ種別を特定し、特定した該データ種別のスコアが閾値以上である場合に、該データ種別を指定した検出結果を出力する
    処理を行う請求項１記載のセンサデータ学習方法。
  5. センサデータを取得し、
    取得した前記センサデータを類似するセンサデータの代表点毎にまとめ、
    各代表点でまとめられる複数のセンサデータそれぞれに付与されたデータ種別に基づいて、該代表点に対応付けられた該データ種別の信頼度を算出し、
    各代表点の、該代表点にまとめられた前記センサデータの個数と、前記信頼度とを用いて、データ種別毎の判別関数の重みを取得し、学習処理を行って各データ種別の判別関数を決定する
    処理をコンピュータに行わせるセンサデータ学習プログラム。
  6. センサデータを入力する入力部と、
    取得した前記センサデータを類似するセンサデータの代表点毎にまとめて、各代表点でまとめられる複数のセンサデータそれぞれに付与されたデータ種別に基づいて、該代表点に対応付けられた該データ種別の信頼度を算出する信頼度取得部と、
    各代表点の、該代表点にまとめられた前記センサデータの個数と、前記信頼度とを用いて、データ種別毎の判別関数の重みを取得し、学習処理を行って各データ種別の判別関数を決定する学習部と
    を有するセンサデータ学習装置。
JP2016141490A 2016-07-19 2016-07-19 センサデータ学習方法、センサデータ学習プログラム、及びセンサデータ学習装置 Active JP6794692B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016141490A JP6794692B2 (ja) 2016-07-19 2016-07-19 センサデータ学習方法、センサデータ学習プログラム、及びセンサデータ学習装置
US15/648,013 US20180023236A1 (en) 2016-07-19 2017-07-12 Sensor data learning method and sensor data learning device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016141490A JP6794692B2 (ja) 2016-07-19 2016-07-19 センサデータ学習方法、センサデータ学習プログラム、及びセンサデータ学習装置

Publications (2)

Publication Number Publication Date
JP2018013857A JP2018013857A (ja) 2018-01-25
JP6794692B2 true JP6794692B2 (ja) 2020-12-02

Family

ID=60987946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016141490A Active JP6794692B2 (ja) 2016-07-19 2016-07-19 センサデータ学習方法、センサデータ学習プログラム、及びセンサデータ学習装置

Country Status (2)

Country Link
US (1) US20180023236A1 (ja)
JP (1) JP6794692B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210279637A1 (en) * 2018-02-27 2021-09-09 Kyushu Institute Of Technology Label collection apparatus, label collection method, and label collection program
EP3620569B1 (en) 2018-09-06 2021-08-18 Lg Electronics Inc. Laundry treating apparatus
CN110849404B (zh) * 2019-11-18 2022-03-22 中国华能集团清洁能源技术研究院有限公司 一种传感器数据异常的连续判别方法
WO2021176529A1 (ja) * 2020-03-02 2021-09-10 日本電信電話株式会社 学習方法、学習システム、デバイス、学習装置、およびプログラム
JP7484223B2 (ja) 2020-03-02 2024-05-16 沖電気工業株式会社 情報処理装置および方法
US20220365746A1 (en) * 2021-05-13 2022-11-17 Ford Global Technologies, Llc Generating a visual representation of a sound clip
CN113705428A (zh) * 2021-08-26 2021-11-26 北京市商汤科技开发有限公司 活体检测方法及装置、电子设备及计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010119615A1 (ja) * 2009-04-15 2010-10-21 日本電気株式会社 学習データ生成装置、及び固有表現抽出システム
JP5520886B2 (ja) * 2011-05-27 2014-06-11 日本電信電話株式会社 行動モデル学習装置、方法、及びプログラム
JP5937829B2 (ja) * 2012-01-25 2016-06-22 日本放送協会 視聴状況認識装置及び視聴状況認識プログラム

Also Published As

Publication number Publication date
JP2018013857A (ja) 2018-01-25
US20180023236A1 (en) 2018-01-25

Similar Documents

Publication Publication Date Title
JP6794692B2 (ja) センサデータ学習方法、センサデータ学習プログラム、及びセンサデータ学習装置
US10573171B2 (en) Method of associating user input with a device
US11087167B2 (en) First-person camera based visual context aware system
US10289478B2 (en) System fault diagnosis via efficient temporal and dynamic historical fingerprint retrieval
AU2021200128B2 (en) Generating iot-based notification(s) and provisioning of command(s) to cause automatic rendering of the iot-based notification(s) by automated assistant client(s) of client device(s)
US9159021B2 (en) Performing multistep prediction using spatial and temporal memory system
US11250877B2 (en) Sound detection
WO2020207249A1 (zh) 通知消息的推送方法、装置、存储介质及电子设备
US11966831B2 (en) Feedback mechanisms in sequence learning systems with temporal processing capability
CN107644638A (zh) 语音识别方法、装置、终端和计算机可读存储介质
JP7215098B2 (ja) 学習プログラム、学習方法および学習装置
US20140129499A1 (en) Value oriented action recommendation using spatial and temporal memory system
JP6892426B2 (ja) 学習装置、検出装置、学習方法、学習プログラム、検出方法、および検出プログラム
WO2020168448A1 (zh) 睡眠预测方法、装置、存储介质及电子设备
JPWO2018087971A1 (ja) 移動体制御装置および移動体制御プログラム
KR20230015980A (ko) 여러 어시스턴트 디바이스들에서 동시 음향 이벤트 검출
JP2014145932A (ja) 話者認識装置、話者認識方法及び話者認識プログラム
US10832060B2 (en) Resident activity recognition system and method thereof
CN114402575B (zh) 行动识别服务器、行动识别***和行动识别方法
US20220272055A1 (en) Inferring assistant action(s) based on ambient sensing by assistant device(s)
JP7297712B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11887457B2 (en) Information processing device, method, and program
CN116909883A (zh) 软件路径的测试方法和装置、存储介质及电子装置
KR20180094163A (ko) 공간필터링과 기계학습을 통한 행위인식 방법 및 그 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201026

R150 Certificate of patent or registration of utility model

Ref document number: 6794692

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150