JP7082444B2 - 機械学習装置および機械学習プログラム - Google Patents

Description

本発明は、個人特定や感情認識、体調推測に用いられる特徴量を蓄積する機械学習装置および機械学習プログラムに関する。

コンピューティングパワーの増大に伴い、顔や音声から個人の特定や感情の認識ができるようになってきている。また、ウェアラブル機器（スマートウォッチ、活動量計）の普及に伴い、体の動き・体温・心拍などの人の生体状態も取得できる。これに伴い、個人を特定して当該個人の感情まで認識することで、人とロボットの対話をスムーズにしたり、健康・運動管理の面からアドバイスするサービスが提供されたりしている。

個人特定や感情認識の実現には、機械学習という技術が用いられている。機械学習には、事物のデータ（訓練データ）からパターンをコンピュータが見つけ出す学習と、学習した後に未知の事物のデータから何の事物かを判断する推測との、２つの過程がある。訓練データには事物を示すラベルが付与されており、個人特定では個人識別情報のラベル、感情認識では喜び・怒りなどのラベルが付与される。通常は、学習した後に推測するが、推測の精度を上げるために、学習を繰り返し行うこと（再学習）もある。

特許文献１に記載の技術は、機械学習の１つであり、利用者の個性を認識して個人特定や感情認識の精度を向上することを目指している。

特開２００１－８３９８４号公報

特許文献１に記載の発明においては、感情認識精度、引いては個人特定精度を向上させるために、認識した感情の正否を利用者に問い合わせていた（特許文献１の図１５と段落００６３参照）。この問い合わせを行うタイミングは、感情を認識した後であり（特許文献１の図７のステップ１０２と段落００３６参照）、繰り返し実行される。
しかしながら、人の感情は本人ですら確実に認識できるとは限らず、感情を繰り返し回答するのは、利用者にとって非常に煩わしく、できる限り問い合わせを減らすことが望ましい。また、体調の認識については記載がない。

そこで、本発明は、個人特定や感情認識、体調推測の精度を向上させることができる機械学習装置および機械学習プログラムを提供することを課題とする。

前記の課題を解決するため、本発明は、カメラとマイクが接続された機械学習装置であって、前記カメラが撮影した前記機械学習装置の利用者の顔データから顔特徴量を算出する顔特徴量算出部と、前記マイクが収音した前記利用者の音声データから音声特徴量を算出する音声特徴量算出部と、前記顔特徴量または前記音声特徴量、前記利用者の個人識別ラベル、並びに、前記利用者の個人識別情報を含むレコードを格納するラベルデータベースを記憶する記憶部と、前記ラベルデータベースを更新するキャリブレーション機能部と、前記顔特徴量算出部が算出した顔特徴量に近い顔特徴量を含むレコードを前記ラベルデータベースで検索することで前記利用者の個人識別ラベルを出力する顔個人特定部と、前記音声特徴量算出部が算出した音声特徴量に近い音声特徴量を含むレコードを前記ラベルデータベースで検索することで前記利用者の個人識別ラベルを出力する音声個人特定部とを備え、前記キャリブレーション機能部は、前記顔個人特定部が前記利用者の個人識別ラベルを出力したときの前記顔特徴量算出部が算出した顔特徴量と、前記ラベルデータベースにある前記利用者の顔特徴量との差が所定の値より大きくなった場合に、前記ラベルデータベースにある前記利用者の顔特徴量を前記顔特徴量算出部が算出した顔特徴量に更新し、前記音声個人特定部が前記利用者の個人識別ラベルを出力したときの前記音声特徴量算出部が算出した音声特徴量と、前記ラベルデータベースにある前記利用者の音声特徴量との差が所定の値より大きくなった場合に、前記ラベルデータベースにある前記利用者の音声特徴量を前記音声特徴量算出部が算出した音声特徴量に更新することを特徴とする機械学習装置とした。

本発明によれば、個人特定や感情認識、体調推測の精度を向上させることができる機械学習装置および機械学習プログラムを提供することが可能となる。

本実施形態に係る機械学習装置のソフトウェア機能の構成を示す図である。 本実施形態に係る機械学習装置の機能構成を例示する図である。 感情を快適度・覚醒度・疲労度の３つの軸を用いて表すことを示す図である。 感情を快適度・覚醒度の２軸で示した図である。 本実施形態に係るラベルＤＢのデータ構成を例示する図である。 本実施形態に係る一時ラベルＤＢのデータ構成を例示する図である。 本実施形態に係るラベル履歴ＤＢのデータ構成を例示する図である。 本実施形態に係る機械学習処理全体のフローチャートである。 本実施形態に係るラベルＤＢ更新処理の中で顔個人ラベル処理と音声個人ラベル処理と顔感情ラベル処理とのフローチャートである。 本実施形態に係るラベルＤＢ更新処理の中で音声感情ラベル処理と心拍ラベル処理、および、ラベル履歴ＤＢ更新処理のフローチャートである。

≪ソフトウェア構成≫
以下、本発明を実施するための形態を各図を参照して説明する。図１は、本実施形態に係る機械学習装置８００のソフトウェア機能の構成を示す図である。ソフトウェア機能は、コンフィグ設定８０１、結果出力機能８０３、センシングデータ受信機能８０４、信号処理機能８０５、機械学習機能８０７、特徴量算出機能８０８、個人・感情推測機能８０９、体調推測機能８１０、故障診断機能８１１、キャリブレーション機能８１２を含む。

機械学習装置８００には、カメラ、マイク、心拍センサなどのセンサ８２０がケーブルや近距離無線通信などを用いて接続されていて、設定ＤＢ（Database）８０２とラベルＤＢ５６と一時ラベルＤＢ５７とラベル履歴ＤＢ５８とを備える。
コンフィグ設定８０１は、人やモノを含めた外部環境をセンシングするセンサ８２０や機械学習装置８００であるコンピュータのハードウェア環境に関するパラメータを設定する機能である。設定ＤＢ８０２は、コンフィグ設定８０１を用いて設定されたパラメータが格納されるデータベースである。結果出力機能８０３は、後述する個人・感情推測機能８０９、体調推測機能８１０などが推測した結果を出力する機能である。

センシングデータ受信機能８０４は、センサ８２０からのデータを受信する機能である。信号処理機能８０５は、センサ８２０から受信した画像、音声などのデータを処理する機能であり、フーリエ変換、画像処理、フィルタリングなどを行う。
機械学習機能８０７は、ニューラルネットワークや遺伝的プログラミング、サポートベクタマシンなど各種機械学習モデルを用いた汎用の機械学習の機能である。特徴量算出機能８０８は、センシングデータ受信機能８０４が受信したデータを信号処理機能８０５で処理して、特徴量を算出し、機械学習機能８０７に入力させる。音声の特徴量には声のピッチ・高さなどがあり、顔の特徴量には目や口の端点の位置関係などがある。

個人・感情推測機能８０９は、人（機械学習装置８００の利用者）のセンシングデータから機械学習機能８０７を用いて個人を特定したり感情を推測したりする。体調推測機能８１０は、人のセンシングデータから機械学習機能８０７を用いて体調を推測する。故障診断機能８１１は、機器のセンシングデータから機械学習機能８０７を用いてその機器の故障原因を診断したり故障を予測したりする。個人・感情推測機能８０９、体調推測機能８１０、故障診断機能８１１が推測・診断した結果は、結果出力機能８０３を用いて出力される。

キャリブレーション機能８１２は、特徴量算出機能８０８が算出する特徴量と、個人・感情推測機能８０９、体調推測機能８１０、故障診断機能８１１が推測・診断した結果（個人識別情報のラベルや怒り・喜びなどの感情のラベルなど）との関係を更新する。
ラベルＤＢ５６には、個人特定や感情認識（推測）に用いられるラベルと特徴量の関係が含まれる。一時ラベルＤＢ５７には、推測された結果であるラベルが一時的に格納される。ラベル履歴ＤＢ５８には、感情や体調の経年変化をモニタするために、推測されたラベルの履歴が格納される。上記３つのＤＢには、個人の情報が含まれるため、安全に記憶される必要がある。
以下で説明する個人特定や感情認識、体調推測の精度を向上させることができる機械学習装置８００は、上記のソフトウェア機能を用いて実現される。

≪機械学習装置の機能構成≫
図２は、本実施形態に係る機械学習装置８００の機能構成を例示する図である。機械学習装置８００は、入出力部８２２、制御部８２３、記憶部８２４、ハイパーバイザ８２５、リアルタイムＯＳ８２６、セキュアＯＳ８２７、リッチＯＳ８２８、特徴量算出機能８０８、機械学習機能８０７、キャリブレーション機能８１２、個人・感情・体調推測部５２、ラベルＤＢ５６、一時ラベルＤＢ５７、ラベル履歴ＢＤ５８を備える。また、機械学習装置８００には、カメラ２１、マイク２２、心拍センサ２３が接続される。

入出力部８２２は、通信ネットワークカード他から構成され、カメラ２１やタッチパネル（不図示）などの装置・機器とのデータの送受信を行う。センシングデータ受信機能８０４は、入出力部８２２を経由してカメラ２１、マイク２２、心拍センサ２３からのデータを受信する。記憶部８２４は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）、ハードディスクから構成され、各種プログラムを記憶したり、ラベルＤＢ５６、一時ラベルＤＢ５７、ラベル履歴ＤＢ５８を記憶したりする。制御部８２３は、ＣＰＵ（Central Processing Unit）から構成され、記憶部８２４に記憶されている図１に記載の各種機能のプログラムやその他のプログラムを実行することで機械学習装置８００を機能させる。

ハイパーバイザ８２５は、１つのコンピュータ上で複数のコンピュータ（ＯＳ（Operating System））を仮想的に動作させるプログラムである。リアルタイムＯＳ８２６は、ハイパーバイザ８２５上で動作し、処理時間保証が求められるアプリケーションプログラムが動作するＯＳである。セキュアＯＳ８２７は、ハイパーバイザ８２５上で動作し、高いセキュリティが求められるアプリケーションプログラムが動作したり、データが格納されたりするＯＳである。リッチＯＳ８２８は、高度なＧＵＩ（Graphical User Interface）が必要なアプリケーションプログラムが動作するＯＳである。

特徴量算出機能８０８は、顔特徴量算出部３１、音声特徴量算出部３２、心拍数取得部３３を備えていて、実時間処理が求められるのでリアルタイムＯＳ８２６で動作する。機械学習機能８０７は、顔感情分析部４１、顔個人特定部４２、音声感情分析部４３、音声個人特定部４４、心拍分析部４５を備えていて、実時間処理が求められるのでリアルタイムＯＳ８２６で動作する。
個人情報を扱うために、キャリブレーション機能８１２は、セキュアＯＳ８２７上で動作し、ラベルＤＢ５６、一時ラベルＤＢ５７、ラベル履歴ＢＤ５８は、セキュアＯＳ８２７上に格納される。

顔特徴量算出部３１は、カメラ２１が撮影した映像データから、利用者の顔の特徴量を算出する。顔特徴量算出部３１が算出した特徴量は、顔感情分析部４１と顔個人特定部４２とに出力される。
音声特徴量算出部３２は、マイク２２が収音した利用者の音声の特徴量を算出する。音声特徴量算出部３２が算出した特徴量は、音声感情分析部４３と音声個人特定部４４とに出力される。
心拍数取得部３３は、心拍センサ２３が検出した利用者の心拍数を取得して、心拍分析部４５に出力する。

顔感情分析部４１は、顔特徴量算出部３１が算出した特徴量から、利用者の感情を分析（推測）して、感情ラベルを出力する。感情ラベルには、喜怒哀楽の感情ラベルの他に、後述する図３Ａでの座標を示す数値パラメータまたは図３Ｂ記載の感情ラベルがある。
図３Ａと図３Ｂは、本実施形態に係る感情種別を説明するための図である。図３Ａは、感情を快適度・覚醒度・疲労度の３つの軸を用いて表すことを示している。例えば、「感情：１，－２，０」というラベルは、快適度が１、覚醒度が－２、疲労度が０の状態を示す感情ラベルである。図３Ｂは、感情を快適度・覚醒度の２軸で示している。「感情：１，２」というラベルは、快適度が１、覚醒度が２の状態を示す感情ラベルである。２つの数値の替わりに、図３Ｂに示した興奮や警戒などのラベルを用いてもよい。

図２の説明に戻り、顔感情分析部４１は、顔特徴量算出部３１が出力した特徴量に最も近い特徴量をもつレコードをラベルＤＢ５６の中で検索して、感情を分析(推測)する。
図４は、本実施形態に係るラベルＤＢ５６のデータ構成を例示する図である。ラベルＤＢ５６はテーブル形式のデータベースであり、１つの行（レコード）は１つのラベルの関連情報を表している。ラベルＤＢ５６は、種別５６１と、特徴量５６２と、ラベル５６３と、個人ＩＤ５６４と、更新日時５６５との列（属性）から構成される。

種別５６１は、当該レコードの種別を示す。種別には、顔特徴量と感情ラベルを含む顔感情、顔特徴量と個人識別ラベルを含む顔個人、音声特徴量と感情ラベルを含む声感情、音声特徴量と個人識別ラベルを含む声個人、心拍数を含む心拍がある。
特徴量５６２は、当該レコードを代表する特徴量である。特徴量５６２の形式や内容は、種別５６１によって変わる。例えば、種別５６１が顔感情ならば、特徴量５６２は、顔特徴量算出部３１が算出した特徴量の形式をしている。例えば、種別５６１が心拍ならば、特徴量５６２は、心拍数取得部３３が取得した心拍数である。

ラベル５６３は、当該レコードのラベルを示す。ラベルの形式は、種別５６１によって変わる。例えば、種別５６１が顔感情ならば、ラベル５６３は、図３Ｂで説明した快適度と覚醒度との２つのパラメータを用いて感情を表現したラベル（感情ラベル）である。種別５６１が顔個人ならば、ラベル５６３は、「個人１６４」といった個人識別情報を示すラベル（個人識別ラベル）である。他に「体調：不良」などの体調ラベルがある。

個人ＩＤ５６４は、当該レコードが特定個人か一般かを示し、特定個人ならばその個人識別情報であって、一般ならば「０００」である。個人ＩＤ５６４が特定個人ならば、特徴量５６２は当該個人の特徴量を代表する特徴量である。個人ＩＤ５６４が「０００」（一般）ならば、特徴量５６２は個人によらない平均的な特徴量を示す。
更新日時５６５は当該レコードが作成された日時を示す。

図２の説明に戻り、顔感情分析部４１は、種別５６１が顔感情であって、顔特徴量算出部３１が出力した特徴量に最も近い特徴量５６２をもつレコードをラベルＤＢ５６の中で検索して、当該レコードのラベル５６３を出力することで、感情を推測して、感情のラベル５６３を一時ラベルＤＢ５７と個人・感情・体調推測部５２とに出力する。本処理の詳細は、図７を参照して、詳しく後述する。

図５は、本実施形態に係る一時ラベルＤＢ５７のデータ構成を例示する図である。一時ラベルＤＢ５７はテーブル形式のデータベースである。１つの行は、顔感情分析部４１、顔個人特定部４２、音声感情分析部４３、音声個人特定部４４、または、心拍分析部４５が出力したラベルを含むレコードである。一時ラベルＤＢ５７は、種別５７１と、特徴量５７２と、ラベル５７３と、確度５７４と、取得日時５７５との列から構成される。

種別５７１は、ラベルＤＢ５６の種別５６１と同様に、当該レコードの種別を示す。
特徴量５７２は、当該レコードの特徴量を示し、例えば、当該レコードが、顔感情分析部４１が出力したレコードならば、顔特徴量算出部３１が出力した特徴量である。
ラベル５７３は、ラベルＤＢ５６のラベル５６３と同様に当該レコードのラベルを示す。
確度５７４は、当該レコードのラベル５７３の確からしさを示し、特徴量５７２とラベルＤＢ５６の検索されたレコードの特徴量５６２とが近いほど大きな値になる。
取得日時５７５は、当該レコードが作成された日時である。

図２の説明に戻って、顔個人特定部４２は、顔特徴量算出部３１が算出した特徴量から、ラベルＤＢ５６を検索し、個人を特定（推測）して、個人識別ラベルを一時ラベルＤＢ５７と個人・感情・体調推測部５２とに出力する。
音声感情分析部４３は、音声特徴量算出部３２が算出した特徴量から、ラベルＤＢ５６を検索し、感情を分析（推測）して、感情ラベルを一時ラベルＤＢ５７と個人・感情・体調推測部５２とに出力する。

音声個人特定部４４は、音声特徴量算出部３２が算出した特徴量から、ラベルＤＢ５６を検索し、個人を特定（推測）して、個人識別ラベルを一時ラベルＤＢ５７と個人・感情・体調推測部５２とに出力する。
心拍分析部４５は、心拍数取得部３３が出力した心拍数から、ラベルＤＢ５６を検索し、感情や体調を分析（推測）して、感情ラベルや体調ラベルを一時ラベルＤＢ５７と個人・感情・体調推測部５２とに出力する。

キャリブレーション機能８１２は、一時ラベルＤＢ５７から、レコードを取得して、ラベルＤＢ５６やラベル履歴ＤＢ５８を更新する。個人のラベル（個人ＩＤ５６４が個人の識別情報）が追加されることで、感情分析の精度を上げることができる。キャリブレーション機能８１２の処理は、図８と図９を参照して、詳細に後述する。
図６は、本実施形態に係るラベル履歴ＤＢ５８のデータ構成を例示する図である。ラベル履歴ＤＢ５８には、検出された感情や体調が分類され、履歴として記録される。ラベル履歴ＤＢ５８はテーブル形式のデータベースであり、１つの行（レコード）は１つの感情が表れた時間を示している。ラベル履歴ＤＢ５８は、個人ＩＤ５８１と、ラベル５８２と、取得日時５８３と、出現時間５８４との列から構成される。

個人ＩＤ５８１は当該レコードの感情が推測された個人の識別情報である。ラベル５８２は当該レコードの感情ラベルである。取得日時５８３はラベル５８２の感情が推測された日時を示す。出現時間５８４は当該レコードの感情が推測された累積時間を示す。
個人・感情・体調推測部５２は、個人・感情推測機能８０９（図１参照）と体調推測機能８１０とが組み合わされて実現され、顔感情分析部４１と、顔個人特定部４２と、音声感情分析部４３と、音声個人特定部４４と、心拍分析部４５とが出力したラベルから総合的に個人を特定したり、感情や体調を分析したりする。個人・感情・体調推測部５２が特定した個人は、後述するラベルＤＢ更新処理（図８と図９参照）で参照される。

≪機械学習処理≫
図７は、本実施形態に係る機械学習処理全体のフローチャートである。図７を参照して、特徴量算出機能８０８、機械学習機能８０７、キャリブレーション機能８１２の処理を説明する。ステップＳ１１１～Ｓ１１４の一連の処理とステップＳ１２１～Ｓ１２４の一連の処理とステップＳ１３１～Ｓ１３２の一連の処理との３つの一連の処理は、それぞれ非同期的に独立して処理される。例えば、ステップＳ１３１～Ｓ１３２の一連の処理が１回実行される間にステップＳ１１１～Ｓ１１４の一連の処理が数回実行されることもある。

ステップＳ１１１において、顔特徴量算出部３１は、カメラ２１から利用者の顔画像を取得する。
ステップＳ１１２において、顔特徴量算出部３１は、顔画像から顔の特徴量を算出して、顔感情分析部４１と顔個人特定部４２とに出力する。特徴量としては、目の両端と中点と上下点、口の両端と中点と上下点、鼻の先、鼻孔、眉の両端と中点などの点の相対位置関係がある。

ステップＳ１１３において、顔感情分析部４１は、顔の特徴量から感情を分析（推測）して、感情ラベルを一時ラベルＤＢ５７と個人・感情・体調推測部５２とに出力する。詳しくは、顔感情分析部４１は、ラベルＤＢ５６（図４参照）の中で、種別５６１が顔感情であり、顔特徴量算出部３１が出力した特徴量に最も近い特徴量５６２をもつレコードを検索して、当該レコードのラベル５６３を出力することで、感情を分析する。

但し、個人・感情・体調推測部５２が利用者個人を特定済みならば、顔感情分析部４１は、以下のように感情を分析して、感情ラベルを出力する。（１）個人ＩＤ５６４が当該個人の識別情報であるレコードの中で最も近い特徴量５６２を検索し、顔特徴量算出部３１が出力した特徴量との距離を算出する。次に、（２）個人ＩＤ５６４が「０００」であるレコードの中で最も近い特徴量５６２をもつレコードを検索し、顔特徴量算出部３１が出力した特徴量との距離を算出する。（１）のレコードが存在して（１）の距離が（２）で算出した距離の所定の倍数より小さいならば、（１）のレコードのラベル５６３を出力し、そうでなければ（２）のレコードのラベル５６３を出力する。

なお、ラベルを一時ラベルＤＢ５７に出力するとは、一時ラベルＤＢ５７にレコードを追加し、種別５７１は顔感情、特徴量５７２は顔特徴量算出部３１が出力した特徴量、ラベル５７３はラベル５６３、確度５７４は特徴量の近さ、取得日時５７５は現在時刻に更新することである。

ステップＳ１１４において、顔個人特定部４２は、顔の特徴量から個人を特定（推測）して、個人識別ラベルを一時ラベルＤＢ５７と個人・感情・体調推測部５２とに出力する。詳しくは、顔個人特定部４２は、ラベルＤＢ５６の中で、種別５６１が顔個人であり、顔特徴量算出部３１が出力した特徴量に所定の近さの特徴量５６２をもつレコードを検索して、当該レコードのラベル５６３を出力することで、個人を特定する。

所定の近さの特徴量５６２をもつレコードが存在しなければ、顔個人特定部４２は、未登録の利用者としてラベルＤＢ５６に新規にレコードを追加する。当該レコードの種別５６１は顔個人、特徴量５６２は顔特徴量算出部３１が出力した特徴量、ラベル５６３は新規の個人識別ラベル、個人ＩＤ５６４は新規の個人識別情報、更新日時５６５は現在時刻である。なお、個人が特定済みであり、ラベルＤＢ５６にある当該個人のレコードの特徴量５６２と、顔特徴量算出部３１が出力した特徴量とが所定の近さであれば、個人特定済みの個人識別ラベルを出力する。
ステップＳ１１３とＳ１１４の処理は、それぞれ非同期的に独立して処理される。

ステップＳ１２１～Ｓ１２４の処理は、カメラ２１がマイク２２に替わり、顔が音声に替わったステップＳ１１１～Ｓ１１４と同様の処理である。音声の特徴量としては、ケプストラム分析によるフォルマトン周波数とピーク値、フーリエ変換しての周波数パワー分布、音素を抽出しての喋りの速度などがある。
ステップＳ１３１において、心拍数取得部３３は、心拍センサ２３から利用者の心拍数を取得する。
ステップＳ１３２において、心拍分析部４５は、ラベルＤＢ５６の中で心拍数の近いレコードを検索することで心拍数から感情や体調を分析（推測）して、感情ラベルまたは体調ラベルを一時ラベルＤＢ５７と個人・感情・体調推測部５２とに出力する。

ステップＳ１１３、Ｓ１１４、Ｓ１２３、Ｓ１２４またはＳ１３２において、一時ラベルＤＢ５７が更新されると、ステップＳ１５１以降のキャリブレーション機能８１２の処理が始まる。なお、個人・感情・体調推測部５２は、出力されたラベルを参照して利用者の個人特定、感情推測、体調推測を行う。特定された利用者の個人識別情報は、後述するステップＳ１５１やラベルＤＢ更新処理（ステップＳ１５２）で参照される。
ステップＳ１５１において、キャリブレーション機能８１２は、直近に追加された個人識別ラベルに示される特定された個人が既に特定されていた個人と同一であるか判断して、同一（Ｙ）ならステップＳ１５４に進み、同一でない（Ｎ）ならステップＳ１５２に進む。

ステップＳ１５２において、キャリブレーション機能８１２はラベルＤＢ更新処理を行う。本処理の詳細は、図８と図９を参照して、詳細に後述する。
ステップＳ１５３において、キャリブレーション機能８１２は、一時ラベルＤＢ５７にあるレコードを全て削除する。
ステップＳ１５４において、キャリブレーション機能８１２は、前回のラベルＤＢ更新処理から所定の時間が経過したか判断して、経過していないならば（Ｎ）、最初の処理であるステップＳ１１１、Ｓ１２１、Ｓ１３１に戻り、経過していれば（Ｙ）、ステップＳ１５２に進む。

≪ラベルＤＢ更新処理≫
図８は、本実施形態に係るラベルＤＢ更新処理の中で顔個人ラベル処理と音声個人ラベル処理と顔感情ラベル処理とのフローチャートである。図９は、本実施形態に係るラベルＤＢ更新処理の中で音声感情ラベル処理と心拍ラベル処理、および、ラベル履歴ＤＢ更新処理のフローチャートである。図８と図９を参照して、ステップＳ１５２に当たる、キャリブレーション機能８１２がラベルＤＢ５６を更新する処理を説明する。

≪ラベルＤＢ更新処理：顔個人と音声個人≫
ステップＳ２１２において、キャリブレーション機能８１２は、一時ラベルＤＢ５７（図５参照）のレコードの中で、顔個人の確度が低下していないかを判断する。詳しくは、キャリブレーション機能８１２は、一時ラベルＤＢ５７のレコードで種別５７１が顔個人のレコードを検索し、確度５７４の平均値が所定の値より低いか判断する。キャリブレーション機能８１２は、所定の値より低い確度５７４のレコードが所定の比率より高ければ、確度が低下したと判断してもよい。

ステップＳ２１３において、キャリブレーション機能８１２は、確度が低下した（Ｙ）と判断したらステップＳ２１４に進み、低下していない（Ｎ）と判断したらステップＳ２１５に進む。
ステップＳ２１４において、キャリブレーション機能８１２は、新しい特徴量を算出してラベルＤＢ５６の当該個人識別ラベルのレコードを更新する。ラベルＤＢ５６の当該個人識別ラベルのレコードとは、ラベル５６３が特定済みの個人に当たる個人識別ラベルであり、種別５６１が顔個人であるレコードのことである。

キャリブレーション機能８１２は、一時ラベルＤＢ５７のレコードで種別５７１が顔個人のレコードを検索し、当該レコードの特徴量５７２から新しい特徴量を算出して、ラベルＤＢ５６の当該個人識別ラベルのレコードの特徴量５６２を更新する。新しい特徴量を算出するには、一時ラベルＤＢ５７から抽出した特徴量５７２の平均的な特徴量を算出してもよいし、特徴量５７２が最も密集しているところから代表となる特徴量を選定してもよい。また、新しい特徴量でラベルＤＢ５６の特徴量５６２を更新してもよいし、新しい特徴量とラベルＤＢ５６の特徴量５６２との中間となる特徴量で更新してもよい。キャリブレーション機能８１２は、更新日時５６５を現在時刻に更新する。

ステップＳ２１５において、キャリブレーション機能８１２は、ラベルＤＢ５６の当該個人識別ラベルのレコードが前回更新から所定の期間が過ぎていないか判断する。詳しくは、キャリブレーション機能８１２は、ラベルＤＢ５６のレコードでラベル５６３が特定済みの個人に当たる個人識別ラベルであり、種別５６１が顔個人であるレコードの更新日時５６５が所定の期間より以前でないか判断する。

ステップＳ２１６において、キャリブレーション機能８１２は、所定の期間が過ぎた（Ｙ）と判断したらステップＳ２１７に進み、過ぎていない（Ｎ）と判断したらステップＳ２２２に進む。
ステップＳ２１７において、キャリブレーション機能８１２は、ラベルＤＢ５６の当該個人識別ラベルのレコードを更新する。更新の方法は、ステップＳ２１４と同様である。
ステップＳ２２２～Ｓ２２７は、ステップＳ２１２～Ｓ２１７の顔が音声に替わった同様の処理である。

≪ラベルＤＢ更新処理：顔感情と音声感情≫
ステップＳ２３１において、キャリブレーション機能８１２は、顔感情で特徴量が近いレコードであって所定の時間のあいだ連続したものがあるか、一時ラベルＤＢ５７を検索する。詳しくは、キャリブレーション機能８１２は、一時ラベルＤＢ５７のレコードで種別５７１が顔感情のレコードを検索し、特徴量５７２が近いレコードで、取得日時５７５が所定の時間のあいだ連続したレコードがあるか検索する。

ステップＳ２３２において、キャリブレーション機能８１２は、ステップＳ２３１の検索結果のレコードが存在すれば（Ｙ）、ステップＳ２３３に進み、そのようなレコードが存在しなければ、ステップＴ１（図９のステップＳ２４１）に進む。
ステップＳ２３３において、キャリブレーション機能８１２は、検索結果のレコードの特徴量５７２に近い特徴量５６２を含む顔感情のレコードをラベルＤＢ５６の中で検索する。詳しくは、キャリブレーション機能８１２は、ラベルＤＢ５６のレコードの中で、種別５６１が顔感情、特徴量５６２が検索結果の特徴量５７２に所定の値より近いレコードを検索する。

ステップＳ２３４において、キャリブレーション機能８１２は、ステップＳ２３３の検索の結果、近いレコードが存在すれば（Ｙ）、ステップＳ２３５に進み、そのようなレコードが存在しなければ、ステップＴ１（図９のステップＳ２４１）に進む。
ステップＳ２３５において、キャリブレーション機能８１２は、ステップＳ２３３の検索であるラベルＤＢ５６のレコードの個人ＩＤ５６４が特定済みの個人の識別情報であれば、ラベルＤＢ５６に登録済みとして、ステップＴ１（図９のステップＳ２４１）に進む。個人ＩＤ５６４が特定済みの個人の識別情報でなければ、キャリブレーション機能８１２は、ラベルの内容が正しいかを利用者に確認した後に、当該ラベルをラベルＤＢ５６に登録する。

詳しくは、キャリブレーション機能８１２は、ステップＳ２３３の検索結果であるレコードのラベル５７３に示される感情に、取得日時５７５の頃の感情が近かったか、近くなかったらどのような感情だったかを図３Ｂの図をタッチパネル（不図示）に表示して問い合わせる。次に、キャリブレーション機能８１２は、レコードを追加し、種別５６１を顔感情に、特徴量５６２をステップＳ２３３の検索結果のレコードにある特徴量５７２の平均値に、ラベル５６３を問い合わせの結果のラベルに、個人ＩＤ５６４を特定済み個人の識別情報に、更新日時５６５を現在時刻に更新する。特徴量５７２の平均値の替わりに、ステップＳ２１４で説明した代表となる特徴量でもよい。

ステップＳ２４１～Ｓ２４５は、ステップＳ２３１～Ｓ２３５の顔感情が音声感情に替わった同様の処理である。
≪ラベルＤＢ更新処理：心拍≫
ステップＳ２５１において、キャリブレーション機能８１２は、一時ラベルＤＢ５７のレコードで種別５７１が心拍のレコードを検索し、特徴量５７２の心拍数が所定の値より高いレコードまたは所定の値より低いレコードで、取得日時５７５が所定の時間のあいだ連続したレコードがあるか検索する。

ステップＳ２５２において、キャリブレーション機能８１２は、ステップＳ２５１の検索結果のレコードが存在すれば（Ｙ）、ステップＳ２５３に進み、存在しなければ（Ｎ）、ステップＳ２６１に進む。
ステップＳ２５３において、キャリブレーション機能８１２は、ステップＳ２５１での検索結果のレコードにある取得日時５７５当時の感情ラベルから、所定の心拍数より高くて感情が興奮状態（図３Ｂ参照）か、所定の心拍数より低くて感情が沈静状態かに分類されるか判断する。感情ラベルは、取得日時５７５がステップＳ２５１の検索結果のレコードにある取得日時５７５当時であり、種別５７１が顔感情または音声感情のレコードのラベル５７３から取得できる。

ステップＳ２５４において、キャリブレーション機能８１２は、分類される（Ｙ）のであればステップＳ２５５に進み、分類されない（Ｎ）のであればステップＳ２５６に進む。
ステップＳ２５５において、キャリブレーション機能８１２は、ステップＳ２５３の顔感情または音声感情に示される感情に、取得日時５７５の当時の感情が近かったか、近くなかったらどのような感情だったかを図３Ｂの感情の図を提示して問い合わせる。次に、キャリブレーション機能８１２は、ラベルＤＢ５６にレコードを追加し、種別５６１を心拍に、特徴量５６２をステップＳ２５１の検索結果であるレコードの特徴量５７２の平均値に、ラベル５６３を問い合わせの結果のラベルに、個人ＩＤ５６４を特定済み個人の識別情報に、更新日時５６５を現在時刻に更新する。なお、個人向けラベルとしてラベルＤＢ５６に登録済み（特徴量５６２が特徴量５７２の平均値に近く、個人ＩＤ５６４が特定済み個人の識別情報であるレコードが存在する）ならば、本処理は不要である。

ステップＳ２５６において、キャリブレーション機能８１２は、取得日時５７５の頃に体調が悪かったか利用者に問い合わせる。
ステップＳ２５７において、キャリブレーション機能８１２は、問い合わせの結果、体調が悪くなければ（Ｎ）、ステップＳ２６１に進み、悪ければ（Ｙ）、ステップＳ２５８に進む。
ステップＳ２５８において、キャリブレーション機能８１２は、体調不良ラベルのレコードをラベルＤＢ５６に追加する。詳しくは、キャリブレーション機能８１２は、ラベルＤＢ５６にレコードを追加し、種別５６１を心拍に、特徴量５６２をステップＳ２５１の検索結果のレコードに含まれる特徴量５７２の平均値に、ラベル５６３を「体調：不良」に、個人ＩＤ５６４を特定済み個人の識別情報に、更新日時５６５を現在時刻に更新する。

≪履歴ＤＢ更新処理≫
ステップＳ２６１において、キャリブレーション機能８１２は、検出された感情を分類して、検出された累積時間をラベル履歴ＤＢ５８（図６参照）に格納する。感情の分類には、図３Ｂのグラフにおいて原点から所定の近さの領域またはそれ以外の興奮／沈静と快適／不快とで区分けされる４つの象限領域のどこに位置するかで分類される。詳しくは、キャリブレーション機能８１２は、種別５７１が顔感情または音声感情であって、ラベル５７３にある感情ラベルの２つの値が所定値より小さいならば、「感情：０，０」のラベルを付け、興奮で快適な感情と分析されれば「感情：１，１」とラベルを付けて分類する。他の象限も同様である。取得日時５７５の間隔を検出された時間として、５領域の感情ごとに累積時間を算出して、レコードを追加する。レコードの個人ＩＤ５８１は特定された個人の識別情報、ラベル５８２は上記に示した感情ラベル、取得日時５８３は現在時刻、出現時間５８４は上記の累積時間である。

≪変形例≫
上記の実施形態では、キャリブレーション機能８１２のラベルＤＢ更新処理は、所定の時間が経過したときに実行される（図７のステップＳ１５４）。顔感情で所定の時間連続した近い特徴量を取得したとき（図８のステップ２３１）、音声感情で所定の時間連続した近い特徴量を取得したとき（図９のステップ２４１）、所定の心拍数より高い心拍数が連続したとき（図９のステップＳ２５１）、または、所定の心拍数より低い心拍数が連続したとき（ステップＳ２５１）に、ラベルＤＢ更新処理を開始してもよい。感情や体調に関する問い合わせが発生する場合（ステップＳ２３５、Ｓ２４５、Ｓ２５５、Ｓ２５６）に、発生を検出したときに問い合わせることでより正確な感情や体調を得ることができる。

上記の実施形態では、生体状態取得のために、カメラやマイク、心拍センサを使っている。これに限らず、体温を取得するセンサや３次元加速度センサを用いて生体状態を取得してもよい。例えば、腕または脚に装着したウェアラブル機器を使って、心拍の他に体温や血圧、体の震えを取得することができる。また、カメラで取得した顔の特徴量から顔の向きや視線の向きを検出することができ、顔の向きや視線の向きの変化量、体の震え量（震えの大きさ、周波数、時間）から発作を含めた体調不良の特徴量を得ることができて、個人・感情・体調推測部５２が体調不良を推測できる。

機械学習装置８００が自動車に搭載されれば、体調不良を推測した時点、または、体調不良の特徴量より異常な心拍や体の震え量などを取得した時点で自動車を止める、または、減速することができ、事故を予防することができる。また、ステップＳ２６１において、感情の履歴の他に、体調不良のレコードを集計してラベル履歴ＤＢ５８に格納することで、体調の経年変化を把握することができる。
なお、他の生体状態情報として、体重、体脂肪率、会話量、睡眠時間、紫外線被爆量、呼吸数、運動量、発声量などを用いてもよい。また、温度、湿度、光量、照度、紫外線量、気圧、騒音などの環境情報を用いて感情や体調を推測し、経年変化をモニタしてもよい。

キャリブレーション機能８１２は、ステップＳ１５１において特定された個人（利用者）が、それ以前に特定されていた個人と異なっていると判断すると、ラベルＤＢ更新処理を実行していた。ただ１回の一時ラベルＤＢ５７の更新で異なる個人と判断するのではなく、所定の時間のあいだ異なる個人と判定されてからラベルＤＢ更新処理を開始してもよい。こうすることで、カメラの写り具合や別人の音声混入などにより個人特定が不安定になっても、ラベルＤＢ更新処理が無駄に頻繁に実行されてしまうことを防ぐことができる。

≪効果≫
上記の実施形態では、個人を特定する特徴量が、ラベルＤＢ５６にある特徴量から変化した場合（図８のステップＳ２１２、ステップＳ２２２）や一定時間経過したとき（ステップＳ２１５、ステップＳ２２５）に、特徴量を更新している。これにより、経年変化が起きた場合でも、個人が特定できなくなることを防止することができる。また、この経年変化した個人特定の特徴量を用いて、より高精度に個人を特定することができる。

上記の実施形態では、顔の特徴量や音声の特徴量に表れた感情は、感情が表れた直後ではなく、所定の時間あいだに連続して表れたのち（図８のステップＳ２３１、図９のステップＳ２４１）に利用者に問い合わせてラベルＤＢ５６に登録している。感情が所定の時間のあいだ連続しているので、利用者は当該感情を認識しやすく、正確な感情を得てラベルＤＢ５６に登録できる。引いては、個人・感情・体調推測部５２が、感情をより正確に推測することができる。

また、問い合わせの前に、ラベルＤＢ５６に特定個人レコードとして未登録である（ステップＳ２３５、ステップＳ２４５）ことを確認している。このため、利用者への問い合わせ回数を削減することができ、回答する煩雑さを軽減することができる。
特定個人の特徴量５６２と、当該個人に問い合わせた感情のラベル５６３とを含んだレコードが登録されることで、個々の利用者の感情表現に合わせたラベルＤＢ５６を作成することができ、ついては、より精度の高い感情の推測が可能となる。
ラベル履歴ＤＢ５８（図６参照）から、長期間にわたる利用者の感情の経年変化を把握することができる。例えば、「感情：－１，－１」というラベル５８２の出現時間５８４が増加傾向にあれば、利用者が鬱状態に変化していることが分かり、メンタル面で問題が生じている可能性があることを利用者に警告することができる。

２１ カメラ
２２ マイク
２３ 心拍センサ
３１ 顔特徴量算出部
３２ 音声特徴量算出部
３３ 心拍数取得部
４１ 顔感情分析部
４２ 顔個人特定部
４３ 音声感情分析部
４４ 音声個人特定部
４５ 心拍分析部
５２ 個人・感情・体調推測部
５６ ラベルＤＢ
５７ 一時ラベルＤＢ
５８ ラベル履歴ＤＢ
８００ 機械学習装置
８０７ 機械学習機能
８０８ 特徴量算出機能
８１２ キャリブレーション機能

Claims (3)

1. カメラとマイクが接続された機械学習装置であって、
   前記カメラが撮影した前記機械学習装置の利用者の顔データから顔特徴量を算出する顔特徴量算出部と、
   前記マイクが収音した前記利用者の音声データから音声特徴量を算出する音声特徴量算出部と、
   前記顔特徴量または前記音声特徴量、前記利用者の個人識別ラベル、並びに、前記利用者の個人識別情報を含むレコードを格納するラベルデータベースを記憶する記憶部と、
   前記ラベルデータベースを更新するキャリブレーション機能部と、
   前記顔特徴量算出部が算出した顔特徴量に近い顔特徴量を含むレコードを前記ラベルデータベースで検索することで前記利用者の個人識別ラベルを出力する顔個人特定部と、
   前記音声特徴量算出部が算出した音声特徴量に近い音声特徴量を含むレコードを前記ラベルデータベースで検索することで前記利用者の個人識別ラベルを出力する音声個人特定部とを備え、
   前記キャリブレーション機能部は、
   前記顔個人特定部が前記利用者の個人識別ラベルを出力したときの前記顔特徴量算出部が算出した顔特徴量と、前記ラベルデータベースにある前記利用者の顔特徴量との差が所定の値より大きくなった場合に、前記ラベルデータベースにある前記利用者の顔特徴量を前記顔特徴量算出部が算出した顔特徴量に更新し、
   前記音声個人特定部が前記利用者の個人識別ラベルを出力したときの前記音声特徴量算出部が算出した音声特徴量と、前記ラベルデータベースにある前記利用者の音声特徴量との差が所定の値より大きくなった場合に、前記ラベルデータベースにある前記利用者の音声特徴量を前記音声特徴量算出部が算出した音声特徴量に更新し、
   前記ラベルデータベースは、前記顔特徴量または前記音声特徴量、感情ラベル、並びに、前記利用者の個人識別情報を含むレコードをさらに格納し、
   前記キャリブレーション機能部は、
   所定の時間のあいだ前記顔特徴量算出部が算出する顔特徴量が所定の近さにあって、当該顔特徴量に近い顔特徴量と前記利用者の個人識別情報とを含むレコードが前記ラベルデータベースに存在しない場合に、前記顔特徴量算出部が算出する顔特徴量と、前記利用者の個人識別情報と、前記利用者に感情を問い合わせて得られた結果の感情の感情ラベルとを含むレコードを前記ラベルデータベースに追加し、
   所定の時間のあいだ前記音声特徴量算出部が算出する音声特徴量が所定の近さにあって、当該音声特徴量に近い音声特徴量と前記利用者の個人識別情報とを含むレコードが前記ラベルデータベースに存在しない場合に、前記音声特徴量算出部が算出する音声特徴量と、前記利用者の個人識別情報と、前記利用者に感情を問い合わせて得られた結果の感情の感情ラベルとを含むレコードを前記ラベルデータベースに追加する
   ことを特徴とする機械学習装置。
2. 心拍センサ、血圧センサまたは３次元加速度センサが接続され、
   前記ラベルデータベースは、心拍数、血圧または体の震え量、感情ラベルまたは体調ラベル、並びに、前記利用者の個人識別情報を含むレコードをさらに記憶し、
   前記顔特徴量算出部が算出した顔特徴量に近い顔特徴量を含むレコードを、前記ラベルデータベースで検索することで前記利用者の感情ラベルを出力する顔感情分析部と、
   前記音声特徴量算出部が算出した音声特徴量に近い音声特徴量を含むレコードを、前記ラベルデータベースで検索することで前記利用者の感情ラベルを出力する音声感情分析部とをさらに備え、
   前記キャリブレーション機能部は、
   前記心拍センサが接続された場合には、所定の時間のあいだ心拍センサで計測された心拍数が所定の範囲外であって、前記顔感情分析部または前記音声感情分析部が出力した感情ラベルが所定の条件を満たさないときに、前記心拍数と、前記利用者の個人識別情報と、前記利用者に体調を問い合わせて得られた結果の体調を示す体調ラベルとを含むレコードを前記ラベルデータベースに追加し、
   前記血圧センサが接続された場合には、所定の時間のあいだ血圧センサで計測された血圧が所定の範囲外であって、前記顔感情分析部または前記音声感情分析部が出力した感情ラベルが所定の条件を満たさないときに、前記血圧と、前記利用者の個人識別情報と、前記利用者に体調を問い合わせて得られた結果の体調を示す体調ラベルとを含むレコードを前記ラベルデータベースに追加し、
   前記３次元加速度センサが接続された場合には、所定の時間のあいだ３次元加速度センサで計測された体の震え量が所定の範囲外であって、前記顔感情分析部または前記音声感情分析部が出力した感情ラベルが所定の条件を満たさないときに、前記体の震え量と、前記利用者の個人識別情報と、前記利用者に体調を問い合わせて得られた結果の体調を示す体調ラベルとを含むレコードを前記ラベルデータベースに追加する
   ことを特徴とする請求項１に記載の機械学習装置。
3. カメラが撮影した利用者の顔データから顔特徴量を算出する顔特徴量算出手順と、
   マイクが収音した前記利用者の音声データから音声特徴量を算出する音声特徴量算出手順と、
   前記顔特徴量または前記音声特徴量、前記利用者の個人識別ラベル、並びに、前記利用者の個人識別情報を含むレコードを格納するラベルデータベースを操作する手順と、
   前記顔特徴量算出手順で算出した顔特徴量に近い顔特徴量を含むレコードを前記ラベルデータベースで検索することで前記利用者の個人識別ラベルを出力する顔個人特定手順と、
   前記音声特徴量算出手順で算出した音声特徴量に近い音声特徴量を含むレコードを前記ラベルデータベースで検索することで前記利用者の個人識別ラベルを出力する音声個人特定手順と、
   前記顔個人特定手順で前記利用者の個人識別ラベルを出力したときの前記顔特徴量算出手順で算出した顔特徴量と、前記ラベルデータベースにある前記利用者の顔特徴量との差が所定の値より大きくなった場合に、前記ラベルデータベースにある前記利用者の顔特徴量を前記顔特徴量算出手順で算出した顔特徴量に更新する手順と、
   前記音声個人特定手順で前記利用者の個人識別ラベルを出力したときの前記音声特徴量算出手順で算出した音声特徴量と、前記ラベルデータベースにある前記利用者の音声特徴量との差が所定の値より大きくなった場合に、前記ラベルデータベースにある前記利用者の音声特徴量を前記音声特徴量算出手順で算出した音声特徴量に更新する手順と
   をコンピュータに実行させる機械学習プログラムであって、
   前記ラベルデータベースは、前記顔特徴量または前記音声特徴量、感情ラベル、並びに、前記利用者の個人識別情報を含むレコードをさらに格納し、さらに、
   所定の時間のあいだ前記顔特徴量算出手順が算出する顔特徴量が所定の近さにあって、当該顔特徴量に近い顔特徴量と前記利用者の個人識別情報とを含むレコードが前記ラベルデータベースに存在しない場合に、前記顔特徴量算出手順が算出する顔特徴量と、前記利用者の個人識別情報と、前記利用者に感情を問い合わせて得られた結果の感情の感情ラベルとを含むレコードを前記ラベルデータベースに追加する手順と、
   所定の時間のあいだ前記音声特徴量算出手順が算出する音声特徴量が所定の近さにあって、当該音声特徴量に近い音声特徴量と前記利用者の個人識別情報とを含むレコードが前記ラベルデータベースに存在しない場合に、前記音声特徴量算出手順が算出する音声特徴量と、前記利用者の個人識別情報と、前記利用者に感情を問い合わせて得られた結果の感情の感情ラベルとを含むレコードを前記ラベルデータベースに追加する手順と
   を前記コンピュータに実行させる機械学習プログラム。

Images