JP2021189573A - 情報処理システム、及び、情報処理方法 - Google Patents

Abstract

【課題】ユーザがセンシングに対して抵抗を感じてしまうことを抑制することができる情報処理システムを提供する。【解決手段】情報処理システム１０は、施設８０内の環境情報、及び、トリガ情報を取得する取得部３２ａと、トリガ情報が取得された場合に、施設８０内に設置された画像センサ３７にユーザのセンシングを開始させる制御部３２ｂと、取得された環境情報、及び、センシングによって取得されたセンシング情報に基づいて、ユーザへリコメンドを行うためのリコメンド情報を出力する出力部３２ｃとを備える。【選択図】図１

Description

本発明は、情報処理システム、及び、情報処理方法に関する。

ユーザに情報を提示するための様々な技術が提案されている。特許文献１には、ユーザの行動予定の変更に応じて当該ユーザに推薦情報を提示することができる推薦情報提示システムが開示されている。

特開２０１７−１３４６３５号公報

施設内でユーザのセンシングを行ってユーザに情報のリコメンドを行う構成が考えられる。このような構成では、ユーザは、施設内で常時センシングが行われることに抵抗を感じてしまう場合がある。

本発明は、ユーザがセンシングに対して抵抗を感じてしまうことを抑制することができる情報処理システム等を提供する。

本発明の一態様に係る情報処理システムは、施設内の環境情報、及び、前記施設に設置された設備の状態を示す設備情報の少なくとも一方の情報、並びに、トリガ情報を取得する取得部と、前記トリガ情報が取得された場合に、前記施設内に設置されたセンサにユーザのセンシングを開始させる制御部と、取得された前記少なくとも一方の情報、及び、前記センシングによって取得されたセンシング情報に基づいて、前記ユーザへリコメンドを行うためのリコメンド情報を出力する出力部とを備える。

本発明の一態様に係る情報処理方法は、コンピュータによって実行される情報処理方法であって、施設内の環境情報、及び、前記施設に設置された設備の状態を示す設備情報の少なくとも一方の情報を取得し、トリガ情報を取得し、前記トリガ情報が取得された場合に、前記施設内に設置されたセンサにユーザのセンシングを開始させ、取得された前記少なくとも一方の情報、及び、前記センシングによって取得されたセンシング情報に基づいて、前記ユーザへリコメンドを行うためのリコメンド情報を出力する。

本発明の一態様に係るプログラムは、前記情報処理方法をコンピュータに実行させるためのプログラムである。

本発明の情報処理システム等は、ユーザがセンシングに対して抵抗を感じてしまうことを抑制することができる。

図１は、実施の形態に係る情報処理システムの機能構成を示すブロック図である。 図２は、登録情報の一例を示す図である。 図３は、実施の形態に係る情報処理システムの動作例１のフローチャートである。 図４は、通知画面の一例を示す図である。 図５は、リコメンド画像の第一の例を示す図である。 図６は、リコメンド画像の第二の例を示す図である。 図７は、温冷感申告とリコメンド情報との対応関係を示す情報の一例を示す図である。 図８は、リコメンド画像の第三の例を示す図である。 図９は、実施の形態に係る情報処理システムの動作例２のフローチャートである。 図１０は、リコメンド画像の第四の例を示す図である。 図１１は、実施の形態に係る情報処理システムの動作例３のフローチャートである。 図１２は、実施の形態に係る情報処理システムの動作例４のフローチャートである。 図１３は、リコメンド画像の第五の例を示す図である。

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。

（実施の形態）
［構成］
まず、実施の形態に係る情報処理システムの構成について説明する。図１は、実施の形態に係る情報処理システムの機能構成を示すブロック図である。

図１に示されるように、情報処理システム１０は、複数のセンサ２０と、制御装置３０と、複数の機器４０と、サーバ装置５０とを備える。情報処理システム１０は、複数のセンサ２０のセンシング結果に基づいて、施設８０内のユーザへのリコメンド（リコメンド情報の出力）を行うことができるシステムである。リコメンドは、例えば、機器４０の制御に関するレコメンド、及び、ユーザが取るべき行動に関するリコメンドなどである。施設８０は、例えば、集合住宅または戸建住宅などの住宅である。施設８０内には、複数のセンサ２０、制御装置３０、及び、複数の機器４０が設置されている。サーバ装置５０は、クラウド（言い換えれば、クラウドサーバ）である。

まず、複数のセンサ２０について説明する。複数のセンサ２０には、温度センサ２１、湿度センサ２２、微粒子濃度センサ２３、開閉センサ２４、及び、熱画像センサ２５が含まれる。複数のセンサ２０は、制御装置３０とは別の装置であるが、複数のセンサ２０の少なくとも一部は、制御装置３０に内蔵されていてもよい。また、複数のセンサ２０の少なくとも一部は、制御装置３０以外の他の装置に内蔵されていてもよい。例えば、温度センサ２１、湿度センサ２２、及び、熱画像センサ２５などは、空気調和機４１に内蔵されていてもよい。

温度センサ２１は、施設８０内の温度をセンシングし、センシングした温度を示す温度情報を出力する。温度センサ２１は、例えば、サーミスタまたは熱電対などの温度計測素子によって実現される。

湿度センサ２２は、施設８０内の湿度をセンシングし、センシングした湿度を示す湿度情報を出力する。湿度センサ２２は、例えば、静電容量型の感湿素子または抵抗変化型の感湿素子などの湿度計測素子によって実現される。

微粒子濃度センサ２３は、施設８０内の微粒子（例えば、花粉またはＰＭ２．５など）の濃度をセンシングし、センシングした微粒子濃度を示す微粒子濃度情報を出力する。微粒子濃度センサ２３は、例えば、ＬＥＤ等の光源が発する光の散乱に基づいて微粒子濃度をセンシングする光学式のセンサである。なお、以下の実施の形態では、微粒子濃度センサ２３は、花粉の濃度をセンシングするセンサであるとして説明が行われる。

このような温度センサ２１、湿度センサ２２、及び、微粒子濃度センサ２３のそれぞれは、施設８０内の環境をセンシングし、センシングした環境を示す環境情報を出力する環境センサの一例である。なお、その他の環境センサとしては、施設８０内の照度をセンシングする照度センサなどが例示され、情報処理システム１０は、これらのセンサを備えてもよい。

開閉センサ２４は、施設８０に設けられた窓または扉の開閉をセンシングし、センシングした窓または扉の開閉状態を示す情報を出力する。開閉センサ２４は、施設８０に設置された設備（例えば、窓または扉などの建具）の状態をセンシングするセンサの一例である。開閉センサ２４は、例えば、窓及び窓枠の一方（または、扉及び扉枠の一方）に取り付けられた磁石と、窓及び窓枠の他方（または、扉及び扉枠の他方）に取り付けられたマグネットセンサによって実現される、磁力式のセンサである。

熱画像センサ２５は、施設８０内の熱（赤外線）の分布をセンシングし、熱画像情報として出力する。熱画像センサ２５は、施設８０内のユーザの行動（例えば、ユーザが施設８０内のどこに位置しているか）をセンシングするためのセンサの一例である。熱画像センサ２５は、例えば、アレイ状に配置された赤外線検出素子によって実現されるが、赤外線を検出できるイメージセンサによって実現されてもよい。

なお、施設８０内のユーザの行動をセンシングするセンサとしては、熱画像センサ２５の他に、電波センサなどが例示され、情報処理システム１０は、これらのセンサを備えてもよい。

次に、制御装置３０について説明する。制御装置３０は、例えば、エネルギーマネジメント機能を有するＨＥＭＳ（Ｈｏｍｅ Ｅｎｅｒｇｙ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）コントローラであり、施設８０内に設置され、施設８０内に設置された機器４０の消費電力を管理する。制御装置３０は、施設８０内に、機器４０とは別の装置として設置される（つまり、機器４０に内蔵されていない）ローカルコントローラである。また、制御装置３０は、機器４０の状態の取得及び表示、並びに、施設８０内（あるいは、施設８０の敷地内）に設置された機器４０の制御などを行う。制御装置３０は、ＨＥＭＳコントローラに限定されず、エネルギーマネジメント機能を有しない他のホームコントローラ、または、ゲートウェイ装置であってもよい。制御装置３０は、具体的には、表示部３１と、情報処理部３２と、記憶部３３と、第一通信部３４と、第二通信部３５とを備える。

表示部３１は、画像の表示機能、及び、ユーザの手動入力を受け付ける機能を有する表示デバイスである。表示部３１は、タッチパネル、及び、液晶パネルまたは有機ＥＬパネルなどの表示パネルによって実現される。タッチパネルは、例えば、静電容量方式のタッチパネルであるが、抵抗膜方式のタッチパネルであってもよい。

情報処理部３２は、表示部３１への画像の表示制御、及び、機器４０の制御などを行う。情報処理部３２は、例えば、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。情報処理部３２は、具体的には、取得部３２ａ、制御部３２ｂ、及び、出力部３２ｃを有する。取得部３２ａ、制御部３２ｂ、及び、出力部３２ｃの具体的な機能については後述する。

記憶部３３は、情報処理部３２によって実行されるコンピュータプログラムなどが記憶される記憶装置である。記憶部３３は、例えば、半導体メモリによって実現される。また、記憶部３３には、あらかじめ登録情報が記憶される。図２は、登録情報の一例を示す図である。

登録情報は、制御装置３０を使用する複数のユーザが、表示部３１への操作などにより、あらかじめ自身の情報を入力することによって記憶部３３に記憶される。図２に示されるように、登録情報は、例えば、ユーザＩＤに、顔画像、発話音声特徴量、足音音声特徴量、温冷感申告、及び、花粉症の有無などが紐づけられた情報である。なお、顔画像は、例えば、画像センサ３７によって撮影された画像に基づいて生成され、発話音声特徴量、及び、足音音声特徴量は、音声センサ３８によって取得された音声信号に基づいて生成される。

第一通信部３４は、制御装置３０が、複数のセンサ２０及び複数の機器４０と局所通信ネットワークを介して通信を行うための通信モジュール（通信回路）である。第一通信部３４によって行われる通信は、例えば、無線通信であるが、有線通信であってもよい。通信に用いられる通信規格についても、特に限定されない。なお、第一通信部３４と機器４０との間の通信は、例えば、ＥＣＨＯＮＥＴ Ｌｉｔｅ(登録商標)に準拠する。

第二通信部３５は、制御装置３０がサーバ装置５０とインターネットなどの広域通信ネットワーク７０を介して通信を行うための通信モジュール（通信回路）である。第二通信部３５によって行われる通信は、例えば、無線通信であるが、有線通信であってもよい。通信に用いられる通信規格についても特に限定されない。

人感センサ３６は、制御装置３０の周囲（つまり、施設８０内）の人の存否をセンシングし、人の存否を示す情報を情報処理部３２に出力する。人感センサ３６は、例えば、人の体から発せられる赤外線をセンシングする焦電センサである。なお、人感センサ３６は、制御装置３０とは別体であってもよい。つまり、人感センサ３６は、複数のセンサ２０に含まれてもよい。

画像センサ３７は、制御装置３０の周囲（つまり、施設８０内）の画像を撮影するセンサであり、言い換えれば、カメラである。画像センサ３７は、例えば、ＣＭＯＳイメージセンサなどによって実現される。なお、画像センサ３７は、制御装置３０とは別体であってもよい。つまり、画像センサ３７は、複数のセンサ２０に含まれてもよい。

音声センサ３８は、制御装置３０の周囲（つまり、施設８０内）の音声をセンシング（取得）するセンサであり、言い換えれば、マイクロフォンである。なお、音声センサ３８は、制御装置３０とは別体であってもよい。つまり、音声センサ３８は、複数のセンサ２０に含まれてもよい。

次に、機器４０について説明する。機器４０は、制御装置３０の制御対象の機器である。機器４０は、例えば、制御装置３０と通信を行うための通信モジュール（通信回路）を備え、制御装置３０から受信した制御信号にしたがって動作する。機器４０には、例えば、空気調和機４１、換気装置４２、及び、空気清浄機４３などが含まれる。

空気調和機４１は、施設８０内の空間の空気を取り込み、温度及び湿度の少なくとも一方を調整して当該空間に放出する機器である。温度の調整には、熱交換器などが用いられる。空気調和機４１は、例えば、一般家庭用の空気調和機であるが、産業用の空気調和機であってもよい。

換気装置４２は、施設８０内の空間の換気を行う機器である。換気装置４２は、例えば、全熱交換器（ＥＲＶ：Ｅｎｅｒｇｙ Ｒｅｃｏｖｅｒｙ Ｖｅｎｔｉｌａｔｏｒ）であるが、換気扇などの熱交換をともなわない換気装置であってもよい。また、換気装置４２は、施設８０に設けられた窓の開閉装置であってもよい。以下の実施の形態では、換気装置４２は、施設８０内から施設８０外への排気を行う換気装置であるとして説明されるが、施設８０外から施設８０内へ給気を行う換気装置であってもよい。

空気清浄機４３は、施設８０内の空間の空気を回収し、回収した空気を、ＨＥＰＡ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｐａｒｔｉｃｕｌａｔｅ Ａｉｒ）フィルタなどのエアフィルタによって濾過して当該空間に放出する機器である。空気清浄機４３は、施設８０内の空間の空気を回収し、回収した空気を次亜塩素酸によって除菌して当該空間に放出する機器であってもよい。

次に、サーバ装置５０について説明する。サーバ装置５０は、施設８０外の環境情報（温度情報、湿度情報、微粒子濃度情報、及び、天候情報（天気情報）など）を管理し、制御装置３０に提供するクラウドサーバである。

［動作例１］
次に、情報処理システム１０の動作例１について説明する。図３は、情報処理システム１０の動作例１のフローチャートである。

制御装置３０の人感センサ３６は、制御装置３０の周囲に人を検出すると（Ｓ１１）、検出結果を示す情報（つまり、施設８０内の制御装置３０の周囲に人が存在することを示す情報）を情報処理部３２（取得部３２ａ）に出力する。

取得部３２ａは、この情報をトリガ情報として取得する（Ｓ１２）。出力部３２ｃは、トリガ情報が取得されたことを契機に表示部３１に通知情報を出力する。この結果、表示部３１には、ユーザの識別処理（後述の画像センサ３７によるユーザの撮影など）を開始することを通知する通知画面が表示される（Ｓ１３）。図４は、通知画面の一例を示す図である。

図４に示されるように、通知画面においては、アバターからユーザ識別処理を開始することが会話形式で通知される。このような通知画面によれば、ユーザが、ユーザ識別処理が開始されることについての抵抗を感じてしまうことを抑制することができる。なお、図４に示されるように、通知画面には、ユーザがユーザ識別処理の開始を承認するための操作オブジェクトが含まれてもよく、ステップＳ１３以降の処理は、ユーザの承認が得られたときのみ行われてもよい。

次に、制御部３２ｂは、画像センサ３７を起動し、画像センサ３７にユーザの撮影を開始させる（Ｓ１４）。つまり、トリガ情報が取得される前は、画像センサ３７は、オフ状態（またはスリープ状態）であり、制御装置３０の周囲の画像を撮影していない。このように、トリガ情報を契機に画像センサ３７が起動される構成によれば、画像センサ３７によって制御装置３０の周囲の画像が常時撮影されている構成に比べて、ユーザが撮影に対して抵抗を感じてしまうことを抑制することができる。

次に、取得部３２ａは、画像センサ３７によって撮影されたユーザの画像からユーザの顔画像情報を取得する（Ｓ１５）。出力部３２ｃは、取得された顔画像情報と、記憶部３３に記憶された登録情報（図２）に含まれる複数の顔画像情報とを照合することにより、ユーザを識別する（Ｓ１６）。

次に、取得部３２ａは、複数のセンサ２０のうちの環境センサから第一通信部３４を介して施設８０内の環境情報を取得し（Ｓ１７）、出力部３２ｃは、取得された環境情報に基づいて、ユーザへのリコメンドが必要であるか否かを判定する（Ｓ１８）。

例えば、出力部３２ｃは、温度センサ２１から取得した温度情報が示す温度が所定の範囲内であるか否かを判定する。出力部３２ｃは、温度センサ２１から取得した温度情報が示す温度が所定の範囲内であるときには、温度調整に関するリコメンドは不要であると判定し（Ｓ１８でＮｏ）、ステップＳ１９の処理を行わない。

一方、出力部３２ｃは、温度センサ２１から取得した温度情報が示す温度が所定の範囲外であるときには、温度調整に関するリコメンドが必要であると判定し（Ｓ１８でＹｅｓ）、ステップＳ１６のユーザの識別結果に基づき、表示部３１にリコメンド情報を出力する。この結果、表示部３１にリコメンド画像が表示される（Ｓ１９）。例えば、ステップＳ１６においてユーザがユーザＡであると識別された場合、登録情報においてユーザＡの温冷感申告は「普通」であるため、表示部３１には、設定温度を規定値にして空気調和機４１を動作させることをリコメンドするリコメンド画像が表示される。図５は、リコメンド画像の第一の例を示す図である。一方、ステップＳ１６においてユーザがユーザＢであると識別された場合、登録情報においてユーザＢの温冷感申告は「暑がり」であるため、表示部３１には、設定温度を規定値よりも低くして空気調和機４１を動作させることをリコメンドするリコメンド画像が表示される。図６は、リコメンド画像の第二の例を示す図である。このように、出力部３２ｃは、リコメンド画像の内容を、ユーザの識別結果に応じて異ならせる。

なお、記憶部３３には、温冷感申告と当該温冷感申告を有するユーザへのリコメンド情報（リコメンド画像）とが対応付けられて記憶されている。図７は、このような対応関係を示す情報（以下、対応情報とも記載される）の一例を示す図である。出力部３２ｃは、ユーザの識別結果、登録情報、及び、対応関係を示す情報に基づいて、上述のようなリコメンド情報の出力を行うことができる。

また、図５及び図６に示されるように、リコメンド画像には、ユーザがリコメンド画像によって提案された機器４０の制御を実行するための操作オブジェクトが含まれてもよい。このような操作オブジェクトへ操作が行われると、制御部３２ｂは、第一通信部３４に機器４０へ制御信号を送信させることにより、機器４０（動作例１では、空気調和機４１）を制御する。

以上説明したように、情報処理システム１０は、トリガ情報が取得されたことを契機に、施設８０内に設置された画像センサ３７にユーザのセンシング（撮影）を開始させる。また、情報処理システム１０は、施設８０内の環境情報、及び、上記センシングによって取得されたユーザの識別情報（具体的には、顔画像情報）に基づいて、ユーザへリコメンドを行うためのリコメンド情報を出力する。このような情報処理システム１０は、ユーザがセンシング（撮影）に対して抵抗を感じてしまうことを抑制することができる。

なお、上記動作例１では、ユーザの識別結果に応じてリコメンド情報（リコメンド画像）の内容が変更されたが、ユーザの識別結果に応じてリコメンドが必要であるか否かの判定基準が変更されてもよい。以下、このような動作の具体例について説明する。

例えば、ステップＳ１６において、ユーザがユーザＡであると識別された場合、登録情報においてユーザＡは花粉症ではないと規定されている。そこで、ステップＳ１７において、出力部３２ｃは、微粒子濃度センサ２３から取得した微粒子濃度（＝花粉の濃度とみなす）が第一所定値以上であるか否かを判定する。出力部３２ｃは、微粒子濃度センサ２３から取得した微粒子濃度情報が示す微粒子濃度が第一所定値未満であるときには、施設８０内の空気質に関するリコメンドは不要であると判定し（Ｓ１８でＮｏ）、ステップＳ１９の処理を行わない。

出力部３２ｃは、微粒子濃度センサ２３から取得した微粒子濃度情報が示す微粒子濃度が第一所定値以上であるときには、施設８０内の空気質に関するリコメンドが必要であると判定し（Ｓ１８でＹｅｓ）、表示部３１にリコメンド情報を出力する。この結果、表示部３１にリコメンド画像が表示される（Ｓ１９）。図８は、リコメンド画像の第三の例を示す図であり、リコメンド画像においては換気装置４２及び空気清浄機４３をオンすることがリコメンドされている。

一方、ステップＳ１６において、ユーザがユーザＢであると識別された場合、登録情報においてユーザＢは花粉症であると規定されている。そこで、ステップＳ１７において、出力部３２ｃは、微粒子濃度センサ２３から取得した微粒子濃度が第一所定値よりも小さい第二所定値以上であるか否かを判定する。つまり、ステップＳ１６においてユーザが花粉症でないユーザＡであると識別された場合よりも、ユーザが花粉症であるユーザＢであると識別された場合のほうが、図８のリコメンド画像が表示されやすくなる。

［動作例２］
動作例１においては、施設８０内の環境情報が取得されたが、施設８０内の環境情報に代えて、施設８０に設置された設備の状態を示す設備情報が取得されてもよい。また、施設８０内の環境情報に加えて、施設８０外の環境情報がさらに取得されてもよい。以下、このような情報処理システム１０の動作例２について説明する。図９は、情報処理システム１０の動作例２のフローチャートである。

ステップＳ１１〜ステップＳ１６の処理は、動作例１と同様である。ステップＳ１６の後、取得部３２ａは、複数のセンサ２０のうちの設備センサから第一通信部３４を介して施設８０に設置された設備状態を示す設備状態情報を取得する（Ｓ２１）また、取得部３２ａは、サーバ装置から第二通信部３５を介して施設８０外の環境情報を取得する（Ｓ２２）。

そして、出力部３２ｃは、取得された設備状態情報、及び、取得された施設８０外の環境情報に基づいて、ユーザへのリコメンドが必要であるか否かを判定する（Ｓ２３）。

例えば、出力部３２ｃは、サーバ装置５０から取得された施設８０外の微粒子濃度が所定値よりも高く（つまり、施設８８０の外の空気質が悪く）、かつ、ステップＳ１６で識別されたユーザの部屋の窓の開閉センサ２４から取得された情報が、窓が開いていることを示している、という要件を満たすか否かを判定する。なお、窓の開閉センサ２４は、施設８０内の各ユーザの部屋のそれぞれに設置されており、制御装置３０は、どのユーザの部屋にどの開閉センサ２４が設置されているかを把握しているものとする。

出力部３２ｃは、上記要件が満たされないときには、窓の開閉に関するリコメンドは不要であると判定し（Ｓ２３でＮｏ）、ステップＳ１９の処理を行わない。

一方、出力部３２ｃは、上記要件が満たされるときには、窓の開閉に関するリコメンドが必要であると判定し（Ｓ２３でＹｅｓ）、表示部３１にリコメンド情報を出力する。この結果、表示部３１にリコメンド画像が表示される（Ｓ２４）。図１０は、リコメンド画像の第四の例を示す図である。

以上説明したように、情報処理システム１０は、施設８０の設備状態情報、施設８０外の環境情報、及び、ユーザの識別情報（具体的には、顔画像情報）に基づいて、ユーザへリコメンドを行うことができる。

なお、動作例２において、施設８０内の環境情報がさらに取得されてもよい。例えば、ステップＳ２３の判定においては、サーバ装置５０から取得された施設８０外の微粒子濃度が所定値よりも高いことが要件とされたが、施設８０外の微粒子濃度が施設８０内の微粒子濃度よりも高い（つまり、施設８０内に比べて施設８０外の空気質が悪い）ことが要件とされてもよい。

［動作例３］
動作例１及び動作例２においては、ユーザを識別するための識別情報として顔画像情報が取得されたが、ユーザを識別することは必須ではない。例えば、情報処理システム１０は、ユーザが誰であるかを問わずに顔画像情報から任意のユーザの感情を推定し、推定結果に基づいてリコメンド画像を表示してもよい。図１１は、情報処理システム１０の動作例３のフローチャートである。

ステップＳ１１〜ステップＳ１５の処理は、動作例１と同様である。ステップＳ１５の後、出力部３２ｃは、取得された顔画像情報に基づいてユーザの感情を推定する（Ｓ３１）。この場合の顔画像情報は、ユーザの感情を示す感情情報の一例である。顔画像情報に基づいてユーザの感情を推定する具体的な方法としては、既存のどのような方法が用いられてもよい。

出力部３２ｃは、ユーザの感情がリコメンドに適した感情であるか否かを判定する（Ｓ３２）。例えば、ステップＳ３１において、ユーザが怒っていると推定された場合、及び、ユーザが悲しんでいると推定された場合などには、出力部３２ｃは、ユーザの感情がリコメンドに適した感情ではないと判定し（Ｓ３２でＮｏ）、ステップＳ３３以降の処理は行われない。一方、ステップＳ３１において、ユーザがリラックスしていると推定された場合などには、出力部３２ｃは、ユーザの感情がリコメンドに適した感情であると判定し（Ｓ３２でＹｅｓ）、ステップＳ３３以降の処理が行われる。取得部３２ａは、複数のセンサ２０のうちの環境センサから第一通信部３４を介して施設８０内の環境情報を取得し（Ｓ３３）、出力部３２ｃは、取得された環境情報に基づいて、ユーザへのリコメンドが必要であるか否かを判定する（Ｓ３４）。

例えば、出力部３２ｃは、温度センサ２１から取得した温度情報が示す温度が所定の範囲内であるか否かを判定する。出力部３２ｃは、温度センサ２１から取得した温度情報が示す温度が所定の範囲内であるときには、温度調整に関するリコメンドは不要であると判定し（Ｓ３４でＮｏ）、ステップＳ３５の処理を行わない。

一方、出力部３２ｃは、温度センサ２１から取得した温度情報が示す温度が所定の範囲外であるときには、温度調整に関するリコメンドが必要であると判定し（Ｓ３４でＹｅｓ）、表示部３１にリコメンド情報を出力する。この結果、表示部３１にリコメンド画像（例えば、図５のリコメンド画像）が表示される（Ｓ３５）。

以上説明したように、情報処理システム１０は、施設８０内の環境情報、及び、上記センシングによって取得されたユーザの感情情報（具体的には、顔画像情報）に基づいて、ユーザへリコメンドを行うことができる。

なお、動作例３では、ユーザの感情の推定結果に基づいてリコメンドを行うか否かを判定したが、ユーザの感情の推定結果に基づいてリコメンド画像の内容が変更されてもよい。例えば、ユーザの感情の推定結果に基づいてリコメンド画像内のメッセージ内容（例えば、アバターの口調など）が変更されてもよいし、ユーザの感情の推定結果に基づいてリコメンド画像内のアバターが変更されてもよい。

また、動作例３では、ユーザの識別に代えてユーザの感情を推定したが、ユーザの識別に加えてユーザの感情を推定してもよい。

［動作例４］
動作例１及び動作例２においては、ユーザを識別するための識別情報として顔画像情報が取得されたが、ユーザを識別することは必須ではない。例えば、情報処理システム１０は、ユーザの行動をセンシングするための熱画像センサによって出力される熱画像情報を取得し、取得した熱画像情報に基づいてリコメンド画像を表示してもよい。図１２は、情報処理システム１０の動作例４のフローチャートである。

ステップＳ１１〜ステップＳ１３の処理は、動作例１と同様である。ステップＳ１３の後、制御部３２ｂは、第一通信部３４に熱画像センサ２５へ制御信号を送信させることにより熱画像センサ２５を起動し、熱画像センサ２５にユーザのセンシングを開始させる（Ｓ４１）。つまり、トリガ情報が取得される前は、熱画像センサ２５は、オフ状態（またはスリープ状態）であり、ユーザのセンシングをしていない。このように、トリガ情報を契機に熱画像センサ２５が起動される構成によれば、熱画像センサ２５によって施設８０内が常時センシングされている構成に比べて、ユーザがセンシングに対して抵抗を感じてしまうことを抑制することができる。

次に、取得部３２ａは、熱画像センサ２５によって出力された熱画像情報を取得する（Ｓ４２）。出力部３２ｃは、取得された熱画像情報に基づいてユーザの体温を推定する（Ｓ４３）。出力部３２ｃは、例えば、熱画像情報に対してパターンマッチング処理を行うことで熱画像におけるユーザの頭部が映っている領域を推定し、この領域の温度をユーザの体温であると推定する。

また、取得部３２ａは、複数のセンサ２０のうちの環境センサから第一通信部３４を介して施設８０内の環境情報を取得する（Ｓ４４）。出力部３２ｃは、推定されたユーザの体温、及び、取得された環境情報に基づいて、ユーザへのリコメンドが必要であるか否かを判定する（Ｓ４５）。

出力部３２ｃは、例えば、ユーザの体温が所定値以上であり（つまり、ユーザが発熱しており）、かつ、取得された環境情報によって定まる施設８０内の温度及び湿度が、ウイルス生存率が高まる所定範囲に属する（低温度かつ低湿度の状態である）という要件を満たすか否かを判定する。

出力部３２ｃは、上記要件が満たされないときには、リコメンドは不要であると判定し（Ｓ４５でＮｏ）、ステップＳ１９の処理を行わない。

一方、出力部３２ｃは、上記要件が満たされるときには、ユーザが風邪またはインフルエンザなどを患っていると推定されるので、リコメンドが必要であると判定し（Ｓ４５でＹｅｓ）、表示部３１にリコメンド情報を出力する。この結果、表示部３１にリコメンド画像が表示される（Ｓ４６）。図１３は、リコメンド画像の第五の例を示す図である。

以上説明したように、情報処理システム１０は、施設８０内の環境情報、及び、上記センシングによって取得されたユーザの行動情報（具体的には、熱画像情報）に基づいて、ユーザへリコメンドを行うことができる。

［トリガ情報の変形例］
上記動作例１〜４では、人感センサ３６によって出力される施設８０内に人が存在することを示す情報がトリガ情報として使用された。しかしながら、トリガ情報はこのような情報に限定されない。

例えば、制御装置３０が音声認識に対応しており、ユーザがトリガワード（言い換えれば、起動ワードまたはウェイクアップワード）を発話することで制御装置３０の音声認識機能がオンされるような場合が考えられる。このような場合、音声センサ３８がトリガワードをセンシングすることによって出力する、トリガワードを示す音声情報がトリガ情報として使用されてもよい。

また、例えば、ユーザにより表示部３１へ所定の操作が行われたことで表示部３１から情報処理部３２へ送信される情報がトリガ情報として用いられてもよい。

［ユーザ識別の変形例］
上記動作例１、２では、ユーザを識別するための識別情報として顔画像情報が用いられた。しかしながら、ユーザの識別方法は、顔画像情報に基づく方法に限定されない。例えば、ユーザの識別は、音声センサ３８によって取得されるユーザの発話音の音声情報に基づいて行われてもよい。つまり、音声情報が識別情報として使用されてもよい。図２に示されるように、登録情報に複数のユーザのそれぞれの発話音の音声特徴量があらかじめ登録されていれば、出力部３２ｃは、音声センサ３８によって出力される発話音の音声情報から得られる発話音の音声特徴量と、登録情報に含まれる発話音の音声特徴量とを照合することでユーザを識別することができる。

また、ユーザの識別は、音声センサ３８によって取得されるユーザの足音の音声情報に基づいて行われてもよい。図２に示されるように、登録情報に複数のユーザのそれぞれの足音の音声特徴量があらかじめ登録されていれば、出力部３２ｃは、音声センサ３８によって出力される足音の音声情報から得られる発話音の音声特徴量と、登録情報に含まれる足音の音声特徴量とを照合することでユーザを識別することができる。

このように、ユーザの識別が音声センサ３８を用いて行われる場合、制御部３２ｂは、トリガ情報が取得されたことを契機に、音声センサ３８を起動し、音声センサ３８にユーザの音声の取得を開始させる。つまり、トリガ情報が取得される前は、音声センサ３８は、オフ状態（またはスリープ状態）であり、音声を取得していない。このように、トリガ情報を契機に音声センサ３８が起動される構成によれば、音声センサ３８によって音声が常時取得されている構成に比べて、ユーザが音声の取得に対して抵抗を感じてしまうことを抑制することができる。

［ユーザの感情の推定の変形例］
上記動作例３では、顔画像情報に基づいてユーザの感情の推定が行われた。しかしながら、ユーザの感情の推定方法は、顔画像情報に基づく方法に限定されない。例えば、ユーザの感情の推定は、音声センサ３８によって取得されるユーザの発話音に基づいて行われてもよい。例えば、音声認識により特定されるユーザの発話内容に基づいてユーザの感情が推定されてもよいし、発話音の音声特徴量に基づいてユーザの感情が推定されてもよい。

［リコメンド情報の出力方法の変形例］
上記動作例１などでは、出力部３２ｃは、登録情報（図２）、及び、対応情報（図７）を組み合わせた情報（つまり、複数のユーザの識別情報とリコメンド情報とが紐づけられた参照用情報）に基づいて、リコメンド情報を出力した。しかしながら、リコメンド情報を出力するために参照用情報が使用されることは必須ではない。

例えば、出力部３２ｃは、機械学習モデルを用いてリコメンド情報を出力してもよい。機械学習モデルは、ユーザの識別情報、当該ユーザに対して提示したリコメンド画像（リコメンド情報）、リコメンド画像が提示されたときの複数のセンサ２０が出力する情報（環境情報、設備状態情報など）、及び、リコメンド画像が提示された結果（例えば、リコメンドした機器４０の制御をユーザが承認したか否か）などを紐づけたデータをあらかじめ学習することによって構築される。出力部３２ｃは、このような機械学習モデルを用いてリコメンド情報を出力することもできる。なお、機械学習モデルは、適宜更新（再学習）されてもよい。

［効果等］
以上説明したように、情報処理システム１０は、施設８０内の環境情報、及び、施設８０に設置された設備の状態を示す設備情報の少なくとも一方の情報、並びに、トリガ情報を取得する取得部３２ａと、トリガ情報が取得された場合に、施設８０内に設置されたセンサにユーザのセンシングを開始させる制御部３２ｂと、取得された上記少なくとも一方の情報、及び、センシングによって取得されたセンシング情報に基づいて、ユーザへリコメンドを行うためのリコメンド情報を出力する出力部３２ｃとを備える。

このような情報処理システム１０は、時間を制限してセンシングを行うことで、ユーザがセンシングに対して抵抗を感じてしまうことを抑制することができる。また、このように時間を制限してセンシングを行う構成により、常時センシングが行われる構成に比べて、消費電力、及び、情報処理量が抑制される。

また、例えば、上記トリガ情報は、人感センサ３６によって出力される施設８０内に人が存在することを示す情報、または、音声センサ３８によって出力される所定のトリガワードを示す音声情報である。

このような情報処理システム１０は、人感センサ３６が反応した（人を検出した）こと、または、ユーザがトリガワードを発話したことをトリガに、ユーザのセンシングを開始することができる。

また、例えば、上記センシング情報は、ユーザを他のユーザと区別するための識別情報である。

このような情報処理システム１０は、ユーザが誰であるかに応じたリコメンドを行うことができる。

また、例えば、上記センサは、画像センサ３７であり、上記識別情報は、画像センサ３７によってセンシングされた顔画像情報である。

このような情報処理システムは、顔画像情報を用いてユーザを識別することができる。

また、例えば、上記センサは、音声センサ３８であり、上記識別情報は、音声センサ３８によってセンシングされた音声情報である。

このような情報処理システムは、音声情報を用いてユーザを識別することができる。

また、例えば、情報処理システム１０は、さらに、複数のユーザの識別情報とリコメンド情報とが紐づけられた参照用情報が記憶された記憶部３３を備える。出力部３２ｃは、取得部３２ａにより取得された上記少なくとも一方の情報、上記センシング情報、及び、上記参照用情報に基づいて、上記リコメンド情報を出力する。

このような情報処理システム１０は、記憶部３３に記憶された参照用情報を用いてリコメンド情報を出力することができる。

また、例えば、上記センシング情報は、ユーザの感情を示す感情情報である。

このような情報処理システム１０は、ユーザの感情に応じたリコメンドを行うことができる。

また、例えば、上記センサは、画像センサであり、上記感情情報は、画像センサ３７によってセンシングされた顔画像情報である。

このような情報処理システム１０は、顔画像情報を用いてユーザの感情を推定することができる。

また、例えば、上記センサは、ユーザの行動をセンシングするセンサである
このような情報処理システム１０は、ユーザの行動に応じたリコメンドを行うことができる。

また、例えば、上記センサは、熱画像センサであり、熱画像情報を上記センシング情報として出力する。

このような情報処理システム１０は、熱画像情報に応じたリコメンドを行うことができる。

また、例えば、取得部３２ａは、さらに、施設８０外の環境情報を取得し、制御部３２ｂは、取得された施設８０外の環境情報をさらに用いて、リコメンド情報を出力する。

このような情報処理システム１０は、施設８０外の環境情報に応じたリコメンドを行うことができる。

また、例えば、情報処理システム１０は、さらに、トリガ情報が取得された場合に、ユーザのセンシングが開始されることを通知するための通知画面を表示する表示部３１を備える。通知画面においては、通知画面に表示されたアバターとの会話形式で通知が行われる。

このような情報処理システム１０は、通知画面に表示されたアバターとの会話形式で通知を行うことで、ユーザがセンシングに対して抵抗を感じてしまうことを抑制することができる。

また、情報処理システム１０などのコンピュータによって実行される情報処理方法は、施設８０内の環境情報、及び、施設８０に設置された設備の状態を示す設備情報の少なくとも一方の情報を取得し、トリガ情報を取得し、トリガ情報が取得された場合に、施設８０内に設置されたセンサにユーザのセンシングを開始させ、取得された上記少なくとも一方の情報、及び、上記センシングによって取得されたセンシング情報に基づいて、ユーザへリコメンドを行うためのリコメンド情報を出力する。

このような情報処理方法は、時間を制限してセンシングが行うことで、ユーザがセンシングに対して抵抗を感じてしまうことを抑制することができる。また、このように時間を制限してセンシングを行う構成により、常時センシングが行われる構成に比べて、消費電力、及び、情報処理量が抑制される。

（その他の実施の形態）
以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。

例えば、上記実施の形態で説明された動作例１〜４は任意に組み合わされてよい。例えば、動作例３におけるユーザの感情の推定、及び、リコメンドの適否の判定は、動作例１、動作例２、及び、動作例４のいずれかと組み合わされてもよい。

例えば、上記実施の形態では、施設は、集合住宅または戸建住宅などの住宅であると説明されたが、介護施設またはオフィスなどであってもよく、施設が具体的にどのような施設であるかは特に限定されない。

また、上記実施の形態では、情報処理システムは、複数の装置によって実現されたが、単一の装置として実現されてもよい。例えば、情報処理システムは、制御装置に相当する単一の装置として実現されてもよい。情報処理システムが複数の装置によって実現される場合、情報処理システムが備える構成要素は、複数の装置にどのように振り分けられてもよい。

例えば、上記実施の形態における装置間の通信方法については特に限定されるものではない。また、装置間の通信においては、図示されない中継装置（ブロードバンドルータなど含む）が介在してもよい。

また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。また、上記実施の形態において、各動作例は、任意に組み合わされてよい。

また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

例えば、本発明は、情報処理システムなどのコンピュータが実行する情報処理方法として実現されてもよいし、このような情報処理方法をコンピュータに実行させるためのプログラムとして実現されてもよい。また、本発明は、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。

その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。

１０ 情報処理システム
２５ 熱画像センサ（センサ）
３１ 表示部
３２ａ 取得部
３２ｂ 制御部
３２ｃ 出力部
３３ 記憶部
３６ 人感センサ
３７ 画像センサ（センサ）
３８ 音声センサ（センサ）

Claims (14)

1. 施設内の環境情報、及び、前記施設に設置された設備の状態を示す設備情報の少なくとも一方の情報、並びに、トリガ情報を取得する取得部と、
   前記トリガ情報が取得された場合に、前記施設内に設置されたセンサにユーザのセンシングを開始させる制御部と、
   取得された前記少なくとも一方の情報、及び、前記センシングによって取得されたセンシング情報に基づいて、前記ユーザへリコメンドを行うためのリコメンド情報を出力する出力部とを備える
   情報処理システム。
2. 前記トリガ情報は、人感センサによって出力される前記施設内に人が存在することを示す情報、または、音声センサによって出力される所定のトリガワードを示す音声情報である
   請求項１に記載の情報処理システム。
3. 前記センシング情報は、前記ユーザを他のユーザと区別するための識別情報である
   請求項１または２に記載の情報処理システム。
4. 前記センサは、画像センサであり、
   前記識別情報は、前記画像センサによってセンシングされた顔画像情報である
   請求項３に記載の情報処理システム。
5. 前記センサは、音声センサであり、
   前記識別情報は、前記音声センサによってセンシングされた音声情報である
   請求項３に記載の情報処理システム。
6. さらに、複数のユーザの識別情報とリコメンド情報とが紐づけられた参照用情報が記憶された記憶部を備え、
   前記出力部は、前記取得部により取得された前記少なくとも一方の情報、前記センシング情報、及び、前記参照用情報に基づいて、前記リコメンド情報を出力する
   請求項３〜５のいずれか１項に記載の情報処理システム。
7. 前記センシング情報は、前記ユーザの感情を示す感情情報である
   請求項１または２に記載の情報処理システム。
8. 前記センサは、画像センサであり、
   前記感情情報は、前記画像センサによってセンシングされた顔画像情報である
   請求項７に記載の情報処理システム。
9. 前記センサは、前記ユーザの行動をセンシングするセンサである
   請求項１または２に記載の情報処理システム。
10. 前記センサは、熱画像センサであり、熱画像情報を前記センシング情報として出力する
    請求項９に記載の情報処理システム。
11. 前記取得部は、さらに、前記施設外の環境情報を取得し、
    前記制御部は、取得された前記施設外の環境情報をさらに用いて、前記リコメンド情報を出力する
    請求項１〜１０のいずれか１項に記載の情報処理システム。
12. さらに、前記トリガ情報が取得された場合に、前記ユーザのセンシングが開始されることを通知するための通知画面を表示する表示部を備え、
    前記通知画面においては、前記通知画面に表示されたアバターとの会話形式で前記通知が行われる
    請求項１〜１１のいずれか１項に記載の情報処理システム。
13. コンピュータによって実行される情報処理方法であって、
    施設内の環境情報、及び、前記施設に設置された設備の状態を示す設備情報の少なくとも一方の情報を取得し、
    トリガ情報を取得し、
    前記トリガ情報が取得された場合に、前記施設内に設置されたセンサにユーザのセンシングを開始させ、
    取得された前記少なくとも一方の情報、及び、前記センシングによって取得されたセンシング情報に基づいて、前記ユーザへリコメンドを行うためのリコメンド情報を出力する
    情報処理方法。
14. 請求項１３に記載の情報処理方法をコンピュータに実行させるためのプログラム。

Images