JP7501627B2

JP7501627B2 - 情報処理装置、制御方法及びプログラム

Info

Publication number: JP7501627B2
Application number: JP2022531203A
Authority: JP
Inventors: 旭美梅松; 剛範辻川
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2020-06-18
Filing date: 2020-06-18
Publication date: 2024-06-18
Anticipated expiration: 2040-06-18
Also published as: US11986301B2; JPWO2021255899A1; US20230148924A1; WO2021255899A1

Description

本開示は、人の内面状態を推定する情報処理装置、制御方法及び記憶媒体の技術分野に関する。

人の内面状態を推定する装置又はシステムが存在する。例えば、特許文献１には、対象者の生体情報及び環境情報を用いて、対象者のストレスレベルを推定するシステムが開示されている。

特開２０１９－０９６１１６号公報

生産性向上や事故防止など、より良い環境を目指した働きかけを行うときに、内面状態の推定結果を活用することが考えられる。この場合、対象者に対してセンサを装着させて個々の対象者の内面状態の推定を行うことは現実的ではないときがある。

本開示の目的は、上述した課題を鑑み、内面状態を好適に推定可能な情報処理装置、制御方法及び記憶媒体を提供することである。

情報処理装置の一の態様は、環境に関する情報である環境情報を取得する環境情報取得手段と、前記環境下に存在する集団の各個人の属性を推定する個人属性推定手段と、前記属性に基づき前記集団を複数のサブ集団に分類し、前記環境情報と前記複数のサブ集団の各々に対応する分類とに基づき、前記複数のサブ集団の各々の内面状態を推定する内面状態推定手段と、を有する情報処理装置である。

制御方法の一の態様は、コンピュータにより、環境に関する情報である環境情報を取得し、前記環境下に存在する集団の各個人の属性を推定し、前記属性に基づき前記集団を複数のサブ集団に分類し、前記環境情報と前記複数のサブ集団の各々に対応する分類とに基づき、前記複数のサブ集団の各々の内面状態を推定する、制御方法である。

プログラムの一の態様は、環境に関する情報である環境情報を取得する環境情報取得手段と、前記環境下に存在する集団の各個人の属性を推定する個人属性推定手段と、前記属性に基づき前記集団を複数のサブ集団に分類し、前記環境情報と前記複数のサブ集団の各々に対応する分類とに基づき、前記複数のサブ集団の各々の内面状態を推定する内面状態推定手段としてコンピュータを機能させるプログラムである。

本開示によれば、対象となる環境下に存在する集団の内面状態を好適に推定することができる。

第１実施形態における内面状態推定システムの構成を示す。情報処理装置のハードウェア構成を示す。情報処理装置の機能ブロックの一例である。（Ａ）内面状態推定部の機能ブロックの第１の例を示す。（Ｂ）内面状態推定部の機能ブロックの第２の例を示す。推論器情報を生成するシステムの概略構成図である。（Ａ）学習装置の機能ブロックの第１の例を示す。（Ｂ）学習装置の機能ブロックの第２の例を示す。（Ａ）学習装置の機能ブロックの第３の例を示す。（Ｂ）学習装置の機能ブロックの第４の例を示す。第１実施形態において情報処理装置が実行する処理の手順を示すフローチャートの一例である。変形例に係る内面状態推定システムの概略構成を示す。第２実施形態における情報処理装置の機能ブロック図を示す。第２実施形態において情報処理装置が実行する処理の手順を示すフローチャートの一例である。第３実施形態における情報処理装置の機能ブロック図を示す。第３実施形態において情報処理装置が実行する処理の手順を示すフローチャートの一例である。

以下、図面を参照しながら、情報処理装置、制御方法及び記憶媒体の実施形態について説明する。

＜第１実施形態＞
（１）システム構成
図１は、第１実施形態に係る内面状態推定システム１００の構成を示す。内面状態推定システム１００は、主に、情報処理装置１と、センサ３と、記憶装置４とを備える。

内面状態推定システム１００は、対象となる空間（「対象空間Ｓｔａｇ」とも呼ぶ。）における環境に関する情報に基づき、当該環境下に存在する集団の内面状態を好適に推定する。上記の「集団」とは、言い換えると、対象空間Ｓｔａｇに存在する全ての人を指し、１人であってもよく、複数人であってもよい。また、対象空間Ｓｔａｇは、屋内であっても屋外であってもよい。対象空間Ｓｔａｇは、例えば、屋外施設（公園、野外コンサート会場、駅前広場などを含む）が存在する空間、屋内施設（店舗、イベントホールその他の建物又は建物の一部を含む）内の空間、電車又はバスなどの乗り物内の空間、又は、行政区画等により分けられたエリアなどであってもよい。

情報処理装置１は、通信網を介し、又は、無線若しくは有線による直接通信により、センサ３及び記憶装置４とデータ通信を行う。そして、情報処理装置１は、センサ３から供給されるセンサ信号「Ｓｄ」及び記憶装置４に記憶された情報に基づいて、対象となる集団の内面状態を推定する。その後、情報処理装置１は、内面状態の推定結果に基づく所定の制御をさらに行ってもよい。情報処理装置１は、上述の制御として、内面状態の推定結果をユーザに提示する表示制御を行ったり、集団の内面状態を望ましい内面状態に移行させるための機器の動作制御などを行ったりしてもよい。このような制御は、情報処理装置１から内面状態の推定結果を受信した外部装置が行ってもよい。

センサ３は、対象空間Ｓｔａｇの環境に関する情報（「環境情報Ｉｅ」とも呼ぶ。）の生成に必要な情報の検出（センシング）を行う１又は複数のセンサであり、検出結果を示すセンサ信号「Ｓｄ」を情報処理装置１へ供給する。ここで、環境情報Ｉｅは、例えば、対象空間Ｓｔａｇにおける環境劣悪度、又は、対象空間Ｓｔａｇ内の集団の人数若しくは混雑度などを、直接的又は間接的に示す情報である。そして、センサ３は、このような環境情報Ｉｅの生成に用いられる情報を検出する。

ここで、環境劣悪度に関する環境情報Ｉｅの生成に用いられるセンサ信号Ｓｄは、例えば、温度、湿度、二酸化炭素濃度、酸素濃度、一酸化炭素濃度などの任意の気体情報を測定する測定器が出力する信号である。他の例では、環境劣悪度を示す環境情報Ｉｅの生成に用いられるセンサ信号Ｓｄは、照度を測定する照度センサが出力する信号である。また、団体の人数又は混雑度に関する環境情報Ｉｅの生成に用いられるセンサ信号Ｓｄは、例えば、対象空間Ｓｔａｇを撮影した画像を生成するカメラ（撮影部）である。この場合、情報処理装置１は、カメラが生成する画像により人を自動検出する手段を用いて、検出された人数を把握し、対象空間Ｓｔａｇ内の団体の人数又は混雑度を推定することができる。他の例では、団体の人数又は混雑度に関する環境情報Ｉｅの生成に用いられるセンサ信号Ｓｄは、対象空間Ｓｔａｇに設けられた人感センサが出力する信号である。さらに他の例では、団体の人数又は混雑度に関する環境情報Ｉｅの生成に用いられるセンサ信号Ｓｄは、社員証などのＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）カードによる入退室管理を行うＩＣカードリーダなどが出力する信号である。さらに他の例では、団体の人数又は混雑度に関する環境情報Ｉｅの生成に用いられるセンサ信号Ｓｄは、電車、バスなどの乗り物の重量を測定するセンサが出力する信号である。さらに他の例では、団体の人数又は混雑度に関する環境情報Ｉｅの生成に用いられるセンサ信号Ｓｄは、無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）又はＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）などの通信の込み具合（例えば帯域）を測定する機器が出力する信号である。上述の機器は、例えば、無線ＬＡＮ機器又はＧＰＳ受信機である。

記憶装置４は、情報処理装置１による集団の内面状態の推定処理等に必要な各種情報を記憶するメモリである。記憶装置４は、情報処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶装置４は、情報処理装置１とデータ通信を行うサーバ装置であってもよい。また、記憶装置４は、複数の装置から構成されてもよい。記憶装置４は、推論器情報Ｄ１を記憶する。

推論器情報Ｄ１は、環境情報Ｉｅに基づき対象の集団の内面状態に関する推論を行う推論器を構成するために必要なパラメータ等である。この推論器は、ニューラルネットワーク又はサポートベクターマシンなどの機械学習に基づくモデルであってもよく、回帰モデルなどの統計モデルであってもよい。例えば、上述の推論器のモデルが畳み込みニューラルネットワークなどのニューラルネットワークである場合、推論器情報Ｄ１は、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの各種パラメータを含む。また、情報処理装置１が内面状態を表す複数の指標の推論を行う場合、推論器情報Ｄ１は、内面状態を表す指標毎の推論器のパラメータを含んでもよい。

なお、図１に示す内面状態推定システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、情報処理装置１は、ユーザの入力を受け付ける入力装置とユーザに所定の情報を出力する出力装置（例えばディスプレイ、スピーカ等）との少なくとも一方を内蔵する、又はこれらと電気的に接続してもよい。また、情報処理装置１は、複数の装置から構成されてもよい。この場合、情報処理装置１を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これらの複数の装置間において行う。

（２）ハードウェア構成
図２は、情報処理装置１のハードウェア構成を示す。情報処理装置１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１９を介して接続されている。

プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、量子プロセッサなどのプロセッサである。

メモリ１２は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）などの各種の揮発性メモリ及び不揮発性メモリにより構成される。メモリ１２には、情報処理装置１が実行するプログラムが記憶される。また、メモリ１２は、作業メモリとして使用され、記憶装置４から取得した情報等を一時的に記憶する。なお、メモリ１２は、記憶装置４として機能してもよい。同様に、記憶装置４は、情報処理装置１のメモリ１２として機能してもよい。なお、情報処理装置１が実行するプログラムは、メモリ１２以外の記憶媒体に記憶されてもよい。

インターフェース１３は、情報処理装置１と他の装置とを電気的に接続するためのインターフェースである。例えば、情報処理装置１と他の装置とを接続するためのインターフェースは、プロセッサ１１の制御に基づき他の装置とデータの送受信を有線又は無線により行うためのネットワークアダプタなどの通信インターフェースであってもよい。他の例では、情報処理装置１と他の装置とはケーブル等により接続されてもよい。この場合、インターフェース１３は、他の装置とデータの授受を行うためのＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）、ＳＡＴＡ（ＳｅｒｉａｌＡＴＡｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースを含む。また、インターフェース１３は、入力装置、表示装置、音出力装置などの種々の外部装置とのインターフェース動作を行ってもよい。

なお、情報処理装置１のハードウェア構成は、図２に示す構成に限定されない。例えば、情報処理装置１は、入力部、表示部、又は音出力部の少なくともいずれかを含んでもよい。

（３）機能ブロック
図３は、対象空間Ｓｔａｇ内の集団の内面状態の推定処理に関する情報処理装置１の機能ブロックの一例である。情報処理装置１のプロセッサ１１は、機能的には、環境計測部１５と、内面状態推定部１６と、制御部１７とを有する。なお、図３では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せは図３に限定されない。後述する他の機能ブロックの図においても同様である。

環境計測部１５は、センサ３から供給されるセンサ信号Ｓｄに基づき、対象空間Ｓｔａｇの環境の計測を行い、その計測結果に相当する環境情報Ｉｅを生成する。例えば、環境計測部１５は、センサ信号Ｓｄに基づき、対象空間Ｓｔａｇにおける環境劣悪度、対象空間Ｓｔａｇ内の集団の人数、又は対象空間Ｓｔａｇ内の集団の混雑度（例えば単位領域あたりの人数）の少なくともいずれかを直接的又は間接的に示す環境情報Ｉｅを生成する。この場合、環境計測部１５は、例えば、メモリ１２に予め記憶されたルックアップテーブル又は算出器（算出式を含む）を構成するためのパラメータを参照することで、センサ信号Ｓｄから環境情報Ｉｅを算出する。上記の算出器は、例えば、対象空間Ｓｔａｇを撮影した画像又はその他のセンサ信号Ｓｄが入力された場合に環境情報Ｉｅを算出するように学習された任意の学習モデルであってもよい。環境計測部１５は、生成した環境情報Ｉｅを、内面状態推定部１６に供給する。

内面状態推定部１６は、環境計測部１５から供給される環境情報Ｉｅに基づき、対象空間Ｓｔａｇ内の集団の内面状態の推定を行い、推定した内面状態を示す情報（「内面状態情報Ｉｉ」とも呼ぶ。）を、制御部１７に供給する。この場合、内面状態推定部１６は、推論器情報Ｄ１を参照することで推論器を構成し、構成した推論器に環境情報Ｉｅを入力することで、内面状態情報Ｉｉを取得する。ここで、内面状態推定部１６は、対象空間Ｓｔａｇ内に存在する集団のストレス、快適度、（精神的な）健康度、幸福度又はその他の内面状態の指標の少なくともいずれか１つ若しくは複数の指標値を示す内面状態情報Ｉｉを生成する。内面状態推定部１６の処理の詳細については後述する。

制御部１７は、内面状態推定部１６から供給される内面状態情報Ｉｉに基づき所定の制御を行う。第１の例では、制御部１７は、内面状態情報Ｉｉを推定日時及び対象空間Ｓｔａｇの識別情報等と関連付けてメモリ１２又は記憶装置４に記憶する制御を行う。第２の例では、制御部１７は、内面状態情報Ｉｉを図示しない出力装置に出力する制御を行う。この場合、制御部１７は、内面状態情報Ｉｉに基づき、対象の集団の内面状態の良し悪しに関する評価（例えば許容範囲内であるかの評価）を行い、評価結果に応じた出力（例えば温度調整等の必要性等の表示又は音声出力）を行ってもよい。第３の例では、制御部１７は、内面状態情報Ｉｉに基づき、対象空間Ｓｔａｇでの環境を調整する機器の制御を行う。この場合、制御部１７は、第２の例と同様の評価を行い、評価結果に応じて機器の制御を行ってもよい。第４の例では、制御部１７は、第２の例に基づく出力制御又は第３の例に基づく機器制御を行う外部装置に、内面状態情報Ｉｉを送信してもよい。

なお、図３において説明した環境計測部１５、内面状態推定部１６及び制御部１７の各構成要素は、例えば、プロセッサ１１がメモリ１２又は記憶装置４に記憶されたプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、これらの各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このように、各構成要素は、プロセッサ以外のハードウェアを含む任意のコントローラにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。

（４）内面状態推定部の詳細
次に、内面状態推定部１６の処理の詳細について説明する。

図４（Ａ）は、内面状態推定部１６の機能ブロックの第１の例を示す。第１の例では、内面状態推定部１６は、第１推論部２１と、第２推論部２２とを有する。また、推論器情報Ｄ１は、第１推論器情報Ｄ１１と、第２推論器情報Ｄ１２とを含んでいる。

第１推論部２１は、環境情報Ｉｅに基づき、対象の集団に対して推定される生体情報の特徴量（「生体情報特徴量Ｆｂ」とも呼ぶ。）の推論を行う。この場合、第１推論部２１は、第１推論器情報Ｄ１１を参照し、環境情報Ｉｅが入力された場合に生体情報特徴量Ｆｂを推論するように学習された推論器（「第１推論器」とも呼ぶ。）を構成する。そして、第１推論部２１は、構成した第１推論器に環境情報Ｉｅを入力することで、生体情報特徴量Ｆｂを取得する。ここで、第１推論器は、ニューラルネットワーク又はサポートベクターマシンなどの機械学習に基づくモデルであってもよく、回帰モデルなどの統計モデルであってもよい。ここで、生体情報は、例えば、心拍数、発汗量、皮膚温度、又は動きの量などの情報である。なお、第１推論部２１は、一種類の生体情報の特徴量に相当する生体情報特徴量Ｆｂを算出してもよく、複数種類の生体情報の特徴量に相当する複数の生体情報特徴量Ｆｂを算出してもよい。後者の場合、例えば、第１推論器は、生体情報特徴量Ｆｂの数だけ設けられ、推論器情報Ｄ１には、複数の生体情報特徴量Ｆｂを算出するための複数の第１推論器のパラメータ等が含まれてもよい。他の例では、第１推論器は、環境情報Ｉｅから複数の生体情報特徴量Ｆｂを推論するように学習されてもよい。

第２推論部２２は、生体情報特徴量Ｆｂに基づき、内面状態の指標値を示す内面状態情報Ｉｉを出力する。この場合、第２推論部２２は、第２推論器情報Ｄ１２を参照し、生体情報特徴量Ｆｂが入力された場合に内面状態の指標値を示す内面状態情報Ｉｉを出力するように学習された推論器（「第２推論器」とも呼ぶ。）を構成する。そして、第２推論部２２は、構成した第２推論器に生体情報特徴量Ｆｂを入力することで、内面状態の指標値を示す内面状態情報Ｉｉを出力する。

ここで、第２推論器は、機械学習に基づくモデルであってもよく、回帰モデルなどの統計モデルであってもよい。また、第２推論器は、生体情報特徴量Ｆｂから内面状態の指標値を算出するための閾値、簡易的な式、又はルックアップテーブルなどであってもよい。また、第２推論器を構成するための第２推論器情報Ｄ１２は、人の生体情報又はその特徴量から人の内面状態を推定する種々の確立された手法又は知見（ナレッジベース）に基づき予め用意された情報であってもよい。

また、第２推論部２２は、１つの内面状態の指標値を示す内面状態情報Ｉｉを出力してもよく、複数の内面状態の指標値を示す内面状態情報Ｉｉを出力してもよい。後者の場合、例えば、第２推論器は、算出すべき内面状態の指標毎に設けられ、第２推論部２２は、算出すべき内面状態の指標毎に適切な第２推論器を用いて内面状態情報Ｉｉを生成する。この場合、内面状態の指標毎に対応付けられた第２推論器のパラメータが第２推論器情報Ｄ１２に含まれる。他の例では、第２推論部２２は、１つの第２推論器を用いて複数の内面状態の指標値を示す内面状態情報Ｉｉを出力してもよい。この場合、例えば、第２推論部２２は、第１推論部２１から複数の生体情報特徴量Ｆｂが供給され、算出すべき内面状態の指標毎に、第２推論器に入力する生体情報特徴量Ｆｂに対する重み付けを設定する。この場合、例えば、第２推論器情報Ｄ１２等には、算出すべき内面状態の指標毎に各生体情報特徴量Ｆｂに適用すべき重み付け値の情報などが含まれる。なお、第２推論器は、上述したような重み付けの情報を用いることなく、複数の生体情報特徴量Ｆｂから複数の内面状態の指標値を示す内面状態情報Ｉｉを出力するように学習されてもよい。

図４（Ｂ）は、内面状態推定部１６の機能ブロックの第２の例を示す。第２の例では、内面状態推定部１６は、推論部２３を有する。推論部２３は、推論器情報Ｄ１を参照し、環境情報Ｉｅから内面状態情報Ｉｉを直接出力するように学習された推論器（「第３推論器」とも呼ぶ。）を構成する。そして、推論部２３は、第３推論器に環境情報Ｉｅを入力することで、内面状態情報Ｉｉを取得する。ここで、第３推論器は、機械学習に基づくモデルであってもよく、回帰モデルなどの統計モデルであってもよい。この場合、推論器情報Ｄ１は、第３推論器を構成するためのパラメータ等を含んでいる。なお、算出すべき内面状態の指標が複数存在する場合には、推論器情報Ｄ１には、算出すべき内面状態の指標毎に対応付けられた第３推論器のパラメータ等が含まれてもよい。

このように、第１の例及び第２の例のいずれの構成によっても、内面状態推定部１６は、対象の集団の内面状態を示す内面状態情報Ｉｉを好適に生成することができる。

（５）推論器の学習
次に、情報処理装置１による集団の内面状態の推定に先立って実行される推論器情報Ｄ１の生成について説明する。図５は、推論器情報Ｄ１を生成するシステムの概略構成図である。上記システムは、学習データＤ２を参照可能な学習装置６を有する。

学習装置６は、例えば図２に示す情報処理装置１の構成と同一構成を有し、主に、プロセッサ２４と、メモリ２５と、インターフェース２６と、これらを電気的に接続させるデータバス２９とを有する。そして、学習装置６は、学習データＤ２を参照し、上述した第１推論器、第２推論器又は第３推論器の少なくともいずれかの学習を行うことで、推論器情報Ｄ１を生成又は更新する。学習装置６は、情報処理装置１であってもよく、情報処理装置１以外の任意の装置であってもよい。

学習データＤ２は、推論器を学習するための入力データと正解データとの組み合わせを含む学習データセットである。学習データＤ２は、上述した第１推論器、第２推論器又は第３推論器の少なくともいずれかの学習に使用される学習データセットを含んでいる。

図６（Ａ）は、学習装置６の機能ブロックの第１の例を示す。第１の例では、学習装置６は、図４（Ａ）に示す内面状態推定部１６において用いられる第１推論器と第２推論器の学習を行うものであって、第１推論器学習部６１と、第２推論器学習部６２とを含んでいる。第１推論器学習部６１及び第２推論器学習部６２は、例えば、学習装置６のプロセッサ２４により実現される。学習データＤ２は、第１学習データＤ２１と、第２学習データＤ２２とを含んでいる。ここで、第１学習データＤ２１は、環境情報Ｉｅと生体情報特徴量Ｆｂとの複数の組み合わせを含む学習データセットである。第２学習データＤ２２は、生体情報特徴量Ｆｂと内面状態の指標値を示す内面状態情報Ｉｉとの組み合わせを含む学習データセットである。

この場合、第１推論器学習部６１は、第１学習データＤ２１に含まれる環境情報Ｉｅを入力データとし、生体情報特徴量Ｆｂを正解データとして第１推論器の学習を行う。この場合、第１推論器学習部６１は、環境情報Ｉｅを入力した際の第１推論器の推論結果と、正解データである生体情報特徴量Ｆｂとの誤差（損失）が最小となるように、第１推論器のパラメータを決定する。損失を最小化するように上述のパラメータを決定するアルゴリズムは、勾配降下法や誤差逆伝播法などの機械学習において用いられる任意の学習アルゴリズムであってもよい。同様に、第２推論器学習部６２は、第２学習データＤ２２に含まれる生体情報特徴量Ｆｂを入力データとし、内面状態の指標値を示す内面状態情報Ｉｉを正解データとして第２推論器の学習を行う。

第１の例によれば、学習装置６は、図４（Ａ）に示す内面状態推定部１６において用いられる第１推論器及び第２推論器を構成するために必要な第１推論器情報Ｄ１１及び第２推論器情報Ｄ１２を好適に生成することができる。

図６（Ｂ）は、学習装置６の機能ブロックの第２の例を示す。第２の例では、学習装置６は、図４（Ａ）に示す内面状態推定部１６において用いられる第１推論器の学習を行うものであって、第１推論器学習部６１を有する。第２の例では、第２推論器を構成するためのパラメータが既に第２推論器情報Ｄ１２として得られており、学習装置６は、第２推論器の学習を行なわずに第１推論器の学習のみを行う。第２の例によっても、学習装置６は、図４（Ａ）に示す内面状態推定部１６が使用する第１推論器情報Ｄ１１を好適に生成することができる。

図７（Ａ）は、学習装置６の機能ブロックの第３の例を示す。第３の例では、学習装置６は、図４（Ｂ）に示す内面状態推定部１６において用いられる第３推論器の学習を行うものであって、第３推論器学習部６３を有する。また、第３の例では、学習データＤ２は、環境情報Ｉｅと内面状態の指標値を示す内面状態情報Ｉｉとの組み合わせを学習データセットとして含んでいる。この場合、上記の「内面状態の指標値」には、検出された生体情報だけでなく、アンケートなどの質問紙から得られた内面状態の指標値も含まれる。第３推論器学習部６３は、学習データＤ２に含まれる環境情報Ｉｅを入力データとし、内面状態の指標値を示す内面状態情報Ｉｉを正解データとして第３推論器の学習を行う。これにより、学習装置６は、図４（Ｂ）に示す内面状態推定部１６において用いられる第３推論器を構成するために必要な推論器情報Ｄ１を好適に生成することができる。

図７（Ｂ）は、学習装置６の機能ブロックの第４の例を示す。第４の例では、学習装置６は、図４（Ｂ）に示す内面状態推定部１６において用いられる第３推論器の学習を行うものであって、第２推論部２２と、第３推論器学習部６３とを有する。また、学習装置６は、学習データとして、環境情報Ｉｅと生体情報特徴量Ｆｂとの複数の組み合わせを学習データセットとして含む第１学習データＤ２１を参照する。

第２推論部２２は、第２推論器情報Ｄ１２を参照することで第２推論器を構成し、第１学習データＤ２１において正解データとして登録された生体情報特徴量Ｆｂを抽出し、当該生体情報特徴量Ｆｂから内面状態の指標値を示す内面状態情報Ｉｉを生成する。そして、第２推論部２２は、推論した内面状態の指標値を示す内面状態情報Ｉｉを、正解データとして第３推論器学習部６３に供給する。

第３推論器学習部６３は、第２推論部２２に供給された生体情報特徴量Ｆｂに対応する環境情報Ｉｅを第１学習データＤ２１から入力データとして取得すると共に、第２推論部２２が出力する内面状態情報Ｉｉを正解データとして取得する。そして、第３推論器学習部６３は、取得した環境情報Ｉｅと内面状態情報Ｉｉとの組み合わせに基づき、第３推論器の学習を行う。そして、第３推論器学習部６３は、学習により得られる第３推論器のパラメータ等を推論器情報Ｄ１として生成する。

ここで、第４の例の効果について補足説明する。第３の例において正解データとなる内面状態の指標値を示す内面状態情報Ｉｉを得るためには、入力データとなる環境情報Ｉｅが示す環境下にいた人に対してアンケート等を実施する必要があり、一般的には労力が必要となる。以上を勘案し、第４の例では、学習装置６は、内面状態の指標値を必要としない第１学習データＤ２１を用い、予め用意した第２推論器に基づき、第３推論器の正解データとなる内面状態情報Ｉｉを生成する。これにより、学習装置６は、環境情報Ｉｅから内面状態情報Ｉｉを出力する第３推論器の構成に必要な推論器情報Ｄ１を好適に生成することができる。

（６）処理フロー
図８は、第１実施形態における情報処理装置１の処理手順を示すフローチャートの一例である。情報処理装置１は、図８に示すフローチャートの処理を、ユーザが指定したタイミングにより実施してもよく、所定の時間間隔により繰り返し実行してもよい。

まず、情報処理装置１は、センサ３が生成したセンサ信号Ｓｄを取得する（ステップＳ１１）。この場合、情報処理装置１は、インターフェース１３を介し、対象空間Ｓｔａｇにおける環境に関するセンサ信号Ｓｄをセンサ３から受信する。そして、情報処理装置１の環境計測部１５は、ステップＳ１１で取得したセンサ信号Ｓｄに基づき、環境情報Ｉｅを生成する（ステップＳ１２）。この場合、環境計測部１５は、環境情報Ｉｅとして、例えば、対象空間Ｓｔａｇにおける環境劣悪度、対象空間Ｓｔａｇ内の人数又は混雑度の少なくともいずれかを直接的又は間接的に示す情報を生成する。

次に、情報処理装置１の内面状態推定部１６は、ステップＳ１２で生成された環境情報Ｉｅに基づき、対象空間Ｓｔａｇ内の集団の内面状態の推定を行う（ステップＳ１３）。この場合、内面状態推定部１６は、推論器情報Ｄ１を参照することで推論器を構成し、構成した推論器に環境情報Ｉｅを入力することで、内面状態情報Ｉｉを取得する。この場合、推論器は、第１推論器と第２推論器の組み合わせ（図４（Ａ）参照）であってもよく、第３推論器（図４（Ｂ）参照）であってもよい。そして、制御部１７は、内面状態推定部１６が生成した内面状態情報Ｉｉに関する制御を行う（ステップＳ１４）。

（７）変形例
情報処理装置１は、センサ３が生成したセンサ信号Ｓｄを実時間により処理することで現時刻での集団の内面状態の推定を行う代わりに、センサ３が生成したセンサ信号Ｓｄを蓄積した情報に基づき、過去の任意の時刻での集団の内面状態の推定を行ってもよい。

図９は、変形例に係る内面状態推定システム１００Ａの概略構成を示す。本変形例では、記憶装置４Ａは、センサ蓄積情報Ｄ３を記憶している。ここで、センサ蓄積情報Ｄ３は、図１に示すセンサ３が生成したセンサ信号Ｓｄの蓄積情報であり、各センサ信号Ｓｄには、センサ３が生成した日時情報（タイムスタンプ）等が関連付られている。情報処理装置１Ａは、図２及び図３等に示される情報処理装置１の構成と同一構成を有する。そして、情報処理装置１Ａは、例えば、ユーザ入力等により指定された時刻又は時間帯に対応するセンサ信号Ｓｄをセンサ蓄積情報Ｄ３から抽出し、指定された時刻又は時間帯に対応する対象空間Ｓｔａｇの集団の内面状態の推定を行う。

このように、変形例に係る情報処理装置１Ａは、過去に生成されたセンサ信号Ｓｄを蓄積したセンサ蓄積情報Ｄ３を参照することで、過去の任意のタイミングでの集団の内面状態の推定を行うことができる。

（８）効果
次に、第１実施形態における効果について補足説明する。

生産性向上や事故防止など、より良い環境を目指した働きかけを行うときに、集団全体の内面状態の推定が重要となる場面が存在する。人の内面状態を計測するには、生体情報を取得するセンサを装着させることが一般的であるが、その環境下の全員にセンサを装着させることは現実的ではない。以上を勘案し、本実施形態に係る情報処理装置１又は情報処理装置１Ａは、生体情報と比較して取得が容易な環境情報を用いて、集団の内面状態を高精度に推定する。

また、情報処理装置１又は情報処理装置１Ａによる集団の内面状態の推定結果を、都市交通、都市計画、公衆衛生、店内環境の変更などの種々の分野に幅広く活用することができる。例えば、電車などの乗り物内の乗客の過去の内面状態の推定結果に応じて、乗客の内面状態が望ましい状態となるように時刻表の再検討を行うことができる。他の例では、乗り物内のリアルタイムでの乗客の内面状態の推定結果に応じて、乗り物の出発時刻を変更したり、乗り物内の空調の調整を行ったりすることもできる。また、集団の内面状態が常時好ましい場所を検知し、検知した場所を観光スポットの候補として選定することもできる。また、あるお店内での店内の人の内面状態の推定結果に応じて、店内の客の内面状態が望ましい状態となるように、動線を変更したり、商品の配置を変更したり、入店を制限したりすることも考えられる。

＜第２実施形態＞
図１０は、第２実施形態における情報処理装置１Ｂの機能ブロック図を示す。第２実施形態に係る情報処理装置１Ｂは、対象空間Ｓｔａｇ内の集団の個人の属性をさらに勘案して集団の内面状態の推定を行う。以後では、第１実施形態と同一構成要素については適宜同一符号を付し、その説明を適宜省略する。

情報処理装置１Ｂは、第１実施形態と同様に図２に示すハードウェア構成を有し、情報処理装置１Ｂのインターフェース１３は、環境計測部１５と、内面状態推定部１６Ｂと、制御部１７と、個人属性推定部１８とを有する。また、記憶装置４Ｂは、推論器情報Ｄ１と、属性推定情報Ｄ４とを記憶する。

個人属性推定部１８は、センサ３から供給されるセンサ信号「Ｓｄａ」に基づき、対象空間Ｓｔａｇ内に存在する集団の各個人の属性（「個人属性」とも呼ぶ。）を推定する。ここで、個人属性は、性別、年齢（年代）、趣味、趣向、性格などの、内面状態の推定に影響がある１又は複数の属性を示す。また、センサ３から供給されるセンサ信号Ｓｄａは、個人属性の推定に利用可能な情報であればよく、環境計測部１５が取得するセンサ信号Ｓｄの一部であってもよく、センサ信号Ｓｄと異なっていてもよい。センサ信号Ｓｄａは、例えば、対象空間Ｓｔａｇを撮影するカメラが生成する画像である。そして、個人属性推定部１８は、属性推定情報Ｄ４を参照することで、センサ信号Ｓｄａに基づき、対象空間Ｓｔａｇ内の集団の個人属性を推定し、推定した個人属性を示す個人属性情報「Ｉａ」を、内面状態推定部１６Ｂへ供給する。

ここで、個人属性の推定方法について補足説明する。例えば、個人属性推定部１８は、個人属性として各個人の性別・年齢等を推定する場合、対象空間Ｓｔａｇを撮影するカメラが生成する画像に基づき、これらの個人属性の推定を行う。他の例では、個人属性推定部１８は、カメラで取得したある人の行動の様子から趣味・趣向・性格などを判定する技術を用いることで、対象空間Ｓｔａｇを撮影するカメラが生成する画像に基づき、趣味・趣向・性格などの個人属性の推定を行ってもよい。さらに別の例では、個人属性推定部１８は、カード情報などを用いて、個人属性を判定する場合、事前に取得したアンケート結果などをカード情報から読み込むことで、趣味・趣向・性格などの種々の個人属性を認識してもよい。

属性推定情報Ｄ４は、センサ信号Ｓｄａから個人属性を推定するために必要な情報である。属性推定情報Ｄ４は、例えば、画像が入力された場合に、画像内の各人物の個人属性を推論する推論器のパラメータである。この場合、上記の推論器は、例えばニューラルネットワークやサポートベクターマシンなどの機械学習に基づく学習モデルであり、属性推定情報Ｄ４には、学習により生成された上記の推論器のパラメータが含まれている。なお、複数種類の個人属性を推定する場合には、各個人属性を推論する各推論器のパラメータが属性推定情報Ｄ４に含まれてもよい。

内面状態推定部１６Ｂは、環境計測部１５から供給される環境情報Ｉｅと、個人属性推定部１８から供給される個人属性情報Ｉａとに基づき、対象空間Ｓｔａｇ内の集団の内面状態を推定し、推定結果を示す内面状態情報Ｉｉを制御部１７に供給する。この場合、内面状態推定部１６Ｂは、対象空間Ｓｔａｇ内の集団において同一分類の個人属性となるサブ集団（「同一属性集団」とも呼ぶ。）毎に内面状態を推定し、同一属性集団毎の内面状態の推定結果を示す内面状態情報Ｉｉを生成する。上述の分類は、例えば性別による分類、年齢による分類、又はこれらの組み合わせによる分類など、個人属性に基づく任意の分類であってもよい。

ここで、内面状態推定部１６Ｂの処理の具体例について説明する。第１の例では、推論器情報Ｄ１には、個人属性に基づく分類ごとに学習された推論器のパラメータを含み、内面状態推定部１６Ｂは、個人属性情報Ｉａに基づき、対象の同一属性集団に対して適用すべき推論器を選択する。そして、内面状態推定部１６Ｂは、選択した推論器に環境情報Ｉｅを入力することで、対象の同一属性集団の内面状態を示す内面状態情報Ｉｉを出力する。上述の推論器は、図４（Ａ）を参照して説明した第１推論器と第２推論器の組み合わせであってもよく、図４（Ｂ）を参照して説明した第３推論器であってもよい。

第２の例では、環境情報Ｉｅ及び個人属性情報Ｉａが入力された場合に内面状態情報Ｉｉを出力する推論器の学習を学習装置６が行い、当該推論器のパラメータを示す推論器情報Ｄ１が記憶装置４に記憶されている。そして、内面状態推定部１６Ｂは、同一属性集団毎に、環境情報Ｉｅ及び対応する個人属性情報Ｉａを推論器に入力することで、同一属性集団毎の内面状態情報Ｉｉを取得する。上述の推論器は、図４（Ａ）を参照して説明した第１推論器と第２推論器の組み合わせであってもよく、図４（Ｂ）を参照して説明した第３推論器であってもよい。

制御部１７は、内面状態推定部１６Ｂから供給された同一属性集団毎の内面状態情報Ｉｉに基づく所定の制御を行う。この場合、制御部１７は、例えば、各同一属性集団の内面状態情報Ｉｉに基づき、対象空間Ｓｔａｇ内の全体集団の内面状態の指標の代表値（平均値、重み付け平均値、中央値、最大値、最小値等を含む）を算出し、当該代表値に基づき第１実施形態で説明した任意の制御を行う。

図１１は、第２実施形態における情報処理装置１Ｂの処理手順を示すフローチャートの一例である。情報処理装置１Ｂは、図１１に示すフローチャートの処理を、ユーザが指定したタイミングにより実施してもよく、所定の時間間隔により繰り返し実行してもよい。

まず、情報処理装置１Ｂは、センサ３が生成したセンサ信号Ｓｄ及びセンサ信号Ｓｄａを取得する（ステップＳ２１）。この場合、情報処理装置１Ｂは、対象空間Ｓｔａｇにおける環境に関するセンサ信号Ｓｄと、対象空間Ｓｔａｇにおける集団の個人属性を推定するためのセンサ信号Ｓｄａとを、インターフェース１３を介してセンサ３から受信する。なお、センサ信号Ｓｄａは、センサ信号Ｓｄの一部であってもよい。

次に、情報処理装置１Ｂの環境計測部１５は、ステップＳ１１で取得したセンサ信号Ｓｄに基づき環境情報Ｉｅを生成する。また、情報処理装置１Ｂの個人属性推定部１８は、属性推定情報Ｄ４を参照し、センサ信号Ｓｄａに基づき対象空間Ｓｔａｇ内の集団の個人属性情報Ｉａを生成する（ステップＳ２２）。

そして、内面状態推定部１６Ｂは、推論器情報Ｄ１を参照し、環境情報Ｉｅと、個人属性情報Ｉａとに基づき、集団の内面状態を推定する（ステップＳ２３）。この場合、内面状態推定部１６Ｂは、個人属性が同一分類となる小集団である同一属性集団毎に内面状態を推定し、同一属性集団毎の内面状態の指標値を示す内面状態情報Ｉｉを生成する。そして、制御部１７は、内面状態推定部１６Ｂが生成した内面状態情報Ｉｉに基づく所定の制御を行う（ステップＳ２４）。

このように、第２実施形態によれば、情報処理装置１Ｂは、集団を構成する個人の属性をさらに勘案し、対象空間Ｓｔａｇ内の集団の内面状態をより的確に推定することができる。

＜第３実施形態＞
図１２は、第３実施形態における情報処理装置１Ｘの機能ブロック図である。情報処理装置１Ｘは、主に、環境情報取得手段１５Ｘと、内面状態推定手段１６Ｘとを有する。

環境情報取得手段１５Ｘは、環境に関する情報である環境情報「Ｉｅ」を取得する。例えば、環境情報取得手段１５Ｘは、第１実施形態（変形例を含む、以下同じ。）における環境計測部１５とすることができる。他の例では、環境情報取得手段１５Ｘは、第１実施形態における環境計測部１５に相当する機能を有する外部装置から環境情報Ｉｅを受信してもよい。

内面状態推定手段１６Ｘは、環境情報Ｉｅに基づき、環境情報Ｉｅが示す環境下に存在する集団の内面状態を推定する。内面状態推定手段１６Ｘは、第１実施形態における内面状態推定部１６、又は、第２実施形態における内面状態推定部１６Ｂとすることができる。

図１３は、第３実施形態において情報処理装置１Ｘが実行するフローチャートの一例である。まず、環境情報取得手段１５Ｘは、環境に関する情報である環境情報Ｉｅを取得する（ステップＳ２１）。そして、内面状態推定手段１６Ｘは、環境情報Ｉｅに基づき、環境情報Ｉｅが示す環境下に存在する集団の内面状態を推定する（ステップＳ２２）。

第３実施形態に係る情報処理装置１Ｘは、特定の環境下に存在する集団の内面状態を好適に推定することができる。

なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

その他、上記の各実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。

［付記１］
環境に関する情報である環境情報を取得する環境情報取得手段と、
前記環境情報に基づき、前記環境情報が示す環境下に存在する集団の内面状態を推定する内面状態推定手段と、
を有する情報処理装置。

［付記２］
前記内面状態推定手段は、前記環境情報に基づき、前記集団の生体情報の特徴量を示す生体情報特徴量を推定し、前記生体情報特徴量から前記内面状態を推定する、付記１に記載の情報処理装置。

［付記３］
前記集団を構成する個人の属性を推定する個人属性推定手段をさらに有し、
前記内面状態推定手段は、前記環境情報と、前記個人の属性とに基づき、前記内面状態を推定する、付記１または２に記載の情報処理装置。

［付記４］
前記個人属性推定手段は、前記集団が存在する空間を撮影する撮影部が生成した画像に基づき、前記個人属性を推定する、付記３に記載の情報処理装置。

［付記５］
前記内面状態推定手段は、前記環境情報が入力された場合に前記集団の生体情報の特徴量を示す生体情報特徴量を推論するように学習された第１推論器と、前記生体情報特徴量が入力された場合に前記内面状態を推論するように学習された第２推論器とに基づき、前記内面状態を推定する、付記１～４のいずれか一項に記載の情報処理装置。

［付記６］
前記内面状態推定手段は、前記環境情報が入力された場合に前記内面状態に関する推論を行うように学習された推論器に基づき、前記内面状態を推定する、付記１～４のいずれか一項に記載の情報処理装置。

［付記７］
前記推論器は、前記環境情報と前記集団の生体情報の特徴量を示す生体情報特徴量との組み合わせが学習データとして与えられた場合に、前記環境情報を入力データとし、前記生体情報特徴量に基づき推定された前記内面状態を正解データとして学習された推論器である、付記６に記載の情報処理装置。

［付記８］
前記環境情報取得手段は、前記環境情報として、前記集団の人数若しくは混雑度又は環境劣悪度に関する情報を取得する、付記１～７のいずれか一項に記載の情報処理装置。

［付記９］
コンピュータにより、
環境に関する情報である環境情報を取得し、
前記環境情報に基づき、前記環境情報が示す環境下に存在する集団の内面状態を推定する、制御方法。

［付記１０］
環境に関する情報である環境情報を取得する環境情報取得手段と、
前記環境情報に基づき、前記環境情報が示す環境下に存在する集団の内面状態を推定する内面状態推定手段
としてコンピュータを機能させるプログラムが格納された記憶媒体。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

１、１Ａ、１Ｂ、１Ｘ情報処理装置
３センサ
４記憶装置
６学習装置
Ｄ１推論器情報
Ｄ２学習データ
Ｄ３センサ蓄積情報
Ｄ４属性推定情報
１００、１００Ａ内面状態推定システム

Claims

環境に関する情報である環境情報を取得する環境情報取得手段と、
前記環境下に存在する集団の各個人の属性を推定する個人属性推定手段と、
前記属性に基づき前記集団を複数のサブ集団に分類し、前記環境情報と前記複数のサブ集団の各々に対応する分類とに基づき、前記複数のサブ集団の各々の内面状態を推定する内面状態推定手段と、
を有する情報処理装置。
前記内面状態推定手段は、前記環境情報と前記複数のサブ集団の各々に対応する分類とに基づき、前記複数のサブ集団の各々の生体情報の特徴量を示す生体情報特徴量を推定し、前記生体情報特徴量から前記内面状態を推定する、請求項１に記載の情報処理装置。
前記個人属性推定手段は、前記集団が存在する空間を撮影する撮影部が生成した画像に基づき、前記属性を推定する、請求項１または２に記載の情報処理装置。
前記内面状態推定手段は、前記環境情報が入力された場合に前記サブ集団の生体情報の特徴量を示す生体情報特徴量を推論するように前記複数のサブ集団の各々に対応する分類ごとに学習された第１推論器と、前記生体情報特徴量が入力された場合に前記内面状態を推論するように学習された第２推論器とに基づき、前記内面状態を推定する、請求項１～３のいずれか一項に記載の情報処理装置。
前記内面状態推定手段は、前記環境情報が入力された場合に前記内面状態に関する推論を行うように前記複数のサブ集団の各々に対応する分類ごとに学習された推論器に基づき、前記内面状態を推定する、請求項１～３のいずれか一項に記載の情報処理装置。
前記推論器は、前記環境情報と前記集団の生体情報の特徴量を示す生体情報特徴量との組み合わせが学習データとして与えられた場合に、前記環境情報を入力データとし、前記生体情報特徴量に基づき推定された前記内面状態を正解データとして前記複数のサブ集団の各々に対応する分類ごとに学習された推論器である、請求項５に記載の情報処理装置。
前記環境情報取得手段は、前記環境情報として、前記集団の人数若しくは混雑度又は環境劣悪度に関する情報を取得する、請求項１～６のいずれか一項に記載の情報処理装置。
コンピュータにより、
環境に関する情報である環境情報を取得し、
前記環境下に存在する集団の各個人の属性を推定し、
前記属性に基づき前記集団を複数のサブ集団に分類し、前記環境情報と前記複数のサブ集団の各々に対応する分類とに基づき、前記複数のサブ集団の各々の内面状態を推定する、制御方法。
環境に関する情報である環境情報を取得する環境情報取得手段と、
前記環境下に存在する集団の各個人の属性を推定する個人属性推定手段と、
前記属性に基づき前記集団を複数のサブ集団に分類し、前記環境情報と前記複数のサブ集団の各々に対応する分類とに基づき、前記複数のサブ集団の各々の内面状態を推定する内面状態推定手段
としてコンピュータを機能させるプログラム。