JP2022103909A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】敷地内の各複数の空間の状態把握や設定を分かりやすくすることができる情報処理装置、情報処理方法、及びプログラムを提供することを目的とする。【解決手段】情報処理装置は、表示部と、同居・別居を問わず同じ家のメンバーの家族のうちのいずれか１人の利用者の操作結果を検出する操作部と、気象情報と時刻とに基づく画像を第１画像として生成し、家族それぞれの在宅状態を第２画像として生成し、家屋敷地内の複数の空間それぞれの制御対象機器の状態を第３画像として生成し、第１画像と、第２画像と、第３画像とを１つの画面内に表示するメイン画面を表示部に表示させる制御部と、を備える。【選択図】図２

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

近年、家などに設置されている各種の機器を、自宅内または遠隔制御によって自動的に制御する技術が利用されている。各種の機器は、例えば、照明装置、空調装置、玄関の鍵等である。家に家族が生活している場合は、機器を遠隔操作する利用者は複数であり、機器が設置されている部屋も複数である。

このようなシステムでは、利用者が所持するスマートフォン等の画面を利用者が設定を操作して、区分毎に機器をグループ化して制御を実行する（例えば特許文献１参照）。区分は、例えば、リビング、台所、寝室、玄関等である。

特開２０２０－００９２１１号公報

しかしながら、従来技術では、複数の利用者にとって、敷地内の各複数の空間（部屋、キッチン、浴室等）の状態の把握や設定が分かりづらいと課題があった。

本開示は、上記の問題点に鑑みてなされたものであって、敷地内の各複数の空間の状態把握や設定を分かりやすくすることができる情報処理装置、情報処理方法、及びプログラムを提供することを目的とする。

上記目的を達成するため、本開示の一態様に係る情報処理装置は、表示部と、同居・別居を問わず同じ家のメンバーの家族のうちのいずれか１人の利用者の操作結果を検出する操作部と、気象情報と時刻とに基づく画像を第１画像として生成し、前記家族それぞれの在宅状態を第２画像として生成し、家屋敷地内の複数の空間それぞれの制御対象機器の状態を第３画像として生成し、前記第１画像と、前記第２画像と、前記第３画像とを１つの画面内に表示するメイン画面を前記表示部に表示させる制御部と、を備える。

第１実施形態に係る情報処理システムの構成の一例を示す図である。 第１実施形態に係る端末の構成例を示す図である。 第１実施形態に係るアプリケーションの部屋別表示モード時のメイン画面の一例を示す図である。 第１実施形態に係るアプリケーションの機器一覧表示モード時とカメラ一覧表示モード時のメイン画面の一例を示す図である。 第１実施形態に係る天気情報画像例を示す図である。 第１実施形態に係る部屋の状態、設定画面例を示す図である。 第１実施形態に係る画面間遷移例を示す図である。 第１実施形態に係る操作履歴表示例を示す図である。 第１実施形態に係るシーン毎に複数の機器の動作状態をまとめて設定する一括設定画面例を示す図である。 第１実施形態に係るシーン毎に複数の機器の動作状態をまとめて設定する一括設定画面例を示す図である。 第１実施形態に係る端末の処理手順のフローチャートである。 第２実施形態に係る家屋毎の画面選択を行う場合を示す図である。

本開示の実施の形態について図面を参照しながら説明する。以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。

＜第１実施例＞
図１は、本実施形態に係る情報処理システム１の構成の一例を示す図である。情報処理システム１は、家屋機器２、端末３、およびサーバ４を備える。家屋機器２と、端末３と、サーバ４とは、ネットワークＮＷを介して接続される。ネットワークＮＷは、例えばインターネットである。

家屋機器２は、家屋敷地内の複数の空間それぞれの制御対象機器（以下、単に「機器」ともいう）、センサー等である。図１の例では、家屋内には、複数の空間、例えば、リビング、キッチン、浴室、玄関、子供部屋、書斎、および寝室がある。例えば、リビングには、空調機器、照明機器、自動開閉可能な電動窓、室内を撮影するカメラ、自動開閉可能な電動シャッター、センサー、およびゲートウェイＧＷが設置されている。センサーは、例えば、温度センサー、湿度センサー、ドアや窓等の開閉センサー、照度センサー、人感センサー等である。室内の各機器は、このゲートウェイＧＷを介して端末３、サーバ４と通信を行う。ゲートウェイＧＷと、各機器やセンサーとは、無線または有線によって接続されている。家屋内に設置されている他の機器は、例えば、電気鍵、給湯湯沸機器、空気清浄機、加湿器、除湿器、野外カメラ、ドアベル、スマートスピーカ等である。各機器は、有線または無線の通信機能を備えている。

ゲートウェイＧＷは、家屋機器２に設置されている各機器の動作状態や設定状態と、センサーの検出値（以下、「センサー情報」ともいう）等を、ネットワークＮＷを介してサーバ４へ送信する。ゲートウェイＧＷは、サーバ４が送信した各機器に対する指示を受信し、受信した情報を各機器に出力または送信する。

端末３は、同居・別居を問わず同じ家のメンバーの例えば家族である利用者Ｕｓが所持する、例えばスマートフォン、タブレット端末、専用端末等である。端末３は、利用者Ｕｓの操作結果を検出し、検出した操作結果を、ネットワークＮＷを介してサーバ４に送信する。端末３は、サーバ４が送信した家屋機器２に設置されている各機器の動作状態や設定状態と、センサーの検出値等を受信して、受信した情報を表示する。利用者Ｕｓは、この端末３上に表示されるアプリケーションの画面を操作して、例えば、家屋の状態、家屋内の各部屋の状態、家族が家屋に在宅しているか外出しているか等を把握し、各部屋の機器の動作の指示を行う。

アプリケーションは、家屋内の各機器の設定、機器の操作、機器の状態確認、機器に対する操作履歴、環境（天気）情報の提供、各種アラートの提供、家屋に住む家族が在宅しているか外出しているかを示す情報の提供等を行う。

サーバ４は、家屋機器２に設置されている各機器の動作状態や設定状態と、センサーの検出値等を取得して、取得した情報を例えば７日分保管する。サーバ４は、家族それぞれが所持する端末３から受信した位置情報に基づいて、家族が在宅しているか外出しているか判断し、判断した結果を、ネットワークＮＷを介してゲートウェイＧＷへ送信する。サーバ４は、端末３から受信した操作結果に基づいて、家屋機器２に設置されている各機器への指示を作成し、作成した指示を、ネットワークＮＷを介してゲートウェイＧＷへ送信する。サーバ４は、ネットワークＮＷを介して家屋のある地区の天気情報を取得し、取得した天気情報をネットワークＮＷを介して端末３へ送信する。

図１に示した家屋の構成、家屋機器２の機器やセンサー等は一例であり、これに限らない。

（端末の構成例）
端末３の構成例を説明する。図２は、本実施形態に係る端末３の構成例を示す図である。図２のように、端末３は、第１通信部３０１、第２通信部３０２、ＧＰＳ受信装置３０３、制御部３０４、記憶部３０５、操作部３０６、表示部３０７、収音部３０８、撮影部３０９、およびスピーカ３１０を備える。第１通信部３０１、第２通信部３０２、ＧＰＳ受信装置３０３、制御部３０４、記憶部３０５は、ＢＵＳを介して接続されている。

第１通信部３０１は、例えば第４世代通信規格や第５世代通信規格の通信ネットワークを用いて、情報の送受信を行う。第１通信部３０１は、サーバ４から受信した情報を制御部３０４に出力する。第１通信部３０１は、制御部３０４が出力する情報をサーバ４へ送信する。

第２通信部３０２は、例えば無線ＬＡＮ（Local Area Network）を用いて、情報の送受信を行う。第１通信部３０１は、サーバ４から受信した情報を制御部３０４に出力する。第１通信部３０１は、制御部３０４が出力する情報をサーバ４へ送信する。端末３は、第１通信部３０１または第２通信部３０２を用いて、サーバ４との情報の送受信を行う。

ＧＰＳ受信装置３０３は、ＧＰＳ（Global Positioning System）衛星から受信した情報を制御部３０４に出力する。なお、ＧＰＳ情報を発する機器は、スマートフォンやタブレットのみならず、例えば、スマートウォッチや携帯電話等も含まれる。１つのアカウントに対し、複数の発信機器で閲覧する場合は、どの機器を優先するか選択できる機能を有する。

制御部３０４は、アプリケーションを取得し、取得したアプリケーションを記憶部３０５に記憶させる。制御部３０４は、アプリケーション提供サイト、またはサーバ４からアプリケーションを取得する。アプリケーションは、サーバ４が提供するＷｅｂアプリケーションであってもよい。制御部３０４は、第１通信部３０１または第２通信部３０２が出力する情報を取得して、表示部３０７に表示させる。制御部３０４は、ＧＰＳ受信装置３０３が出力する情報に基づいて、端末３の現在位置を求める。制御部３０４は、第１通信部３０１と基地局との通信に基づいて、現在位置を求めるようにしてもよい。制御部３０４は、操作部３０６が出力する操作結果を第１通信部３０１を介してサーバ４へ送信する。制御部３０４は、収音部３０８が出力する音響信号に対して音声認識処理を行って利用者の指示を取得し、取得した利用者の指示を第１通信部３０１を介してサーバ４へ送信する。

記憶部３０５は、アプリケーション、利用者情報、端末３の識別情報等を記憶する。

操作部３０６は、例えば表示部３０７上に設けられているタッチパネルセンサーである。操作部３０６は、利用者が操作した操作結果を検出し、検出した操作結果を制御部３０４に出力する。

表示部３０７は、制御部３０４が出力する画像情報を表示する。画像情報は、アプリケーションの各画面の画像である。表示部３０７は、例えば、液晶表示装置、有機ＥＬ（Electro Luminescence）表示装置等である。

収音部３０８は、マイクロホンである。収音部３０８は、収音した音響信号を制御部３０４に出力する。収音される音響信号には、利用者の音声信号による指示が含まれる。

撮影部３０９は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）画像センサーまたはＣＣＤ（Charge Coupled Device）画像センサーによるカメラである。撮影部３０９は、撮影した画像を制御部３０４に出力する。

スピーカ３１０は、制御部３０４が出力する音響信号を出力する。音響信号は、例えば警告音や警告の音声信号である。

（アプリケーションの画面例）
アプリケーションの画面例を説明する。アプリケーションのメイン画面について、図３、図４を用いて説明する。図３は、本実施形態に係るアプリケーションの部屋別表示モード時のメイン画面ｇ１００の一例を示す図である。図３、図４の画面は一例であり、これに限らない。

このようなアプリケーションを利用できるのは、利用者の代表者（例えば世帯主）が、利用を許可し、アプリケーションによって追加した例えば家族である。利用者の代表者は、アプリケーション利用開始時、登録を行い、例えば家の追加、家族の追加、部屋の追加等の設定、家屋の機器の追加等を行うことができる。また、代表者は、追加した家族それぞれに対し、詳細な権利（閲覧・操作権、閲覧のみの権限・非表示）を与えることができる。これにより、見守り等でも踏み入ってほしくない領域を確保することができる。

図３のように、部屋別表示モード時のメイン画面ｇ１００は、例えば、天気情報画像ｇ１１０、家族在宅外出表示画像ｇ１２０、部屋別情報表示画像ｇ１３０、およびメイン画面の表示モード切替画像ｇ１４０を備える。天気情報画像ｇ１１０は、第１画像に対応し、家族在宅外出表示画像ｇ１２０は第２画像に対応し、部屋別情報表示画像ｇ１３０は第３画像に対応する。本実施形態では、メイン画面において、少なくとも天気情報画像ｇ１１０と、家族在宅外出表示画像ｇ１２０と、部屋別情報表示画像ｇ１３０とを、１つの画面に表示する。図３のメイン画面は、部屋別表示モード時の画面でもある。

天気情報画像ｇ１１０は、例えば、家屋がある地区の天候を表す画像ｇ１１１、家屋がある地区情報を示す画像ｇ１１２、家屋がある地区の温度を示す画像ｇ１１３、メニュー表示ボタン画像ｇ１１４、および操作履歴や家族が外出した履歴の操作履歴ボタン画像ｇ１１５を備える。

家族在宅外出表示画像ｇ１２０は、例えば、家屋に住む家族または住民毎に在宅であることを示す画像ｇ１２１と、外出であることを示す画像ｇ１２２を備える。画像ｇ１２１、ｇ１２２は家族が設定したアイコンまたは写真であってもよい。図３では、４人表示しているが、表示人数は５人以上であってもよく、横にスクロールして多人数を表示させるようにしてもよい。表示順は、予め定めた順であってもよく、在宅と外出それぞれをグループ化して表示してもよい。

部屋別情報表示画像ｇ１３０は、例えば、部屋毎に、照明状態ｇ１３２と温度状態ｇ１３３を表示する画像ｇ１３１を備える。部屋別情報表示画像ｇ１３０が備える画像は、これに限らず、空調機器の動作状態等を含んでいてもよい。

メイン画面の表示モード切替画像ｇ１４０は、例えば、部屋別表示モード選択ボタン画像ｇ１４１、機器一覧表示モード選択ボタン画像ｇ１４２、およびカメラ一覧表示モード選択ボタン画像ｇ１４３を備える。機器一覧表示モード選択ボタン画像ｇ１４２は機器一覧ボタン画像に対応し、カメラ一覧表示モード選択ボタン画像ｇ１４３はカメラ一覧ボタン画像に対応する。表示モードは、３つに限らず、２つであってもよく、４つ以上であってもよい。

本実施形態によれば、部屋別表示時のメイン画面ｇ１００を表示することで、各部屋の状態をメイン画面によって把握でき、家屋全体と家族全体の状態を把握できる。

図４は、本実施形態に係るアプリケーションの機器一覧表示モード時とカメラ一覧表示モード時のメイン画面の一例を示す図である。機器一覧表示モード時のメイン画面ｇ１００Ａについて説明する。図４のように、機器一覧表示モード時のメイン画面ｇ１００Ａは、例えば、天気情報画像ｇ１１０、家族在宅外出表示画像ｇ１２０、一括設定ボタン画像ｇ１５０、機器一覧表示画像ｇ１６０、およびメイン画面の表示モード切替画像ｇ１４０を備える。

一括設定ボタン画像ｇ１５０は、例えば、「おやすみ」操作ボタン画像ｇ１５１、「おやすみ」操作ボタン画像ｇ１５２、「いってきます」操作ボタン画像ｇ１５３、および「ただいま」操作ボタン画像ｇ１５４を備える。「おやすみ」操作ボタン画像ｇ１５１は、選択された際に、家屋内の各機器に対して、夜間用の設定をまとめて行う操作ボタンである。「おやすみ」操作ボタン画像ｇ１５２は、選択された際に、家屋の複数の機器に対して、睡眠時の設定をまとめて行う操作ボタンである。「いってきます」操作ボタン画像ｇ１５３は、選択された際に、家屋の複数の各機器に対して、外出用の設定をまとめて行う操作ボタンである。「ただいま」操作ボタン画像ｇ１５４は、選択された際に、家屋の複数の機器に対して、帰宅用の設定をまとめて行う操作ボタンである。一括設定ボタン画像ｇ１５０には、所定の複数の機器が接続された際に利用シーンに応じた複数の機器の設定を自動的に作成するボタン画像が含まれていてもよい。
これにより設定時刻やＧＰＳなどの機能をトリガーとして設定し自動的に発動するが、一括操作ボタンにより、任意のタイミングで発動させることができる。

機器一覧表示画像ｇ１６０は、例えば、家屋内の各機器と、その機器名を表示する画像ｇ１６１～ｇ１６５を備える。機器一覧表示画像ｇ１６０は、利用者の操作に応じて、例えば縦方向スクロールさせて、複数の機器を表示させることができる。機器名を表示する画像ｇ１６１～ｇ１６５は、例えば、機器状態を示す画像ｇ１６６を備える。この機器状態を示す画像ｇ１６６は、ボタン画像でもある。利用者は、このボタン画像を操作して、例えば、ＯＮ（オン状態）とＯＦＦ（オフ状態）とを反復簡易操作できる。機器名を表示する画像ｇ１６１～ｇ１６５それぞれもボタン画像である。利用者によってこのボタン画像が選択された際は、選択された機器の詳細な状態表示と、設定画面に推移する。表示される機器の表示順は、予め設定されている順であってもよく、例えば、利用者が設定した順でもよく、あるいは利用者が機器名毎にソートした順であってもよい。

カメラ一覧表示モード時のメイン画面ｇ１００Ｂについて説明する。カメラ一覧表示モード時のメイン画面ｇ１００Ｂは、例えば、天気情報画像ｇ１１０、家族在宅外出表示画像ｇ１２０、撮影画像一覧画像ｇ１７０、およびメイン画面の表示モード切替画像ｇ１４０を備える。

撮影画像一覧画像ｇ１７０は、カメラ毎の画像ｇ１７１～ｇ１７６を備える。画像ｇ１７１～ｇ１７６は、静止画であっても動画であってもよい。画像ｇ１７１～ｇ１７６は、現在撮影中のリアルタイムの画像であってもよく、録画した画像であってもよい。録画した画像の場合は、再生ボタン画像ｇ１７７の操作に応じた再生や、早送り再生等が行えるようにしてもよい。

（天気情報画像例）
メイン画面に表示される天気情報画像について説明する。アプリケーションは、制御部３０４の制御によって、取得された天気予報情報に基づいて、例えば図５のような快晴画像ｇ１１０Ａ、晴れ画像ｇ１１０Ｂ、大雨・嵐画像ｇ１１０Ｃ、および雪ｇ１１０Ｄを表示する。図５は、本実施形態に係る天気情報画像例を示す図である。アプリケーションは、夜間の時間帯に、各天候の画像を夜間用の画像（例えば暗い画像）に変更する。天気情報画像は、静止画であっても動画であっても、アニメーションであってもよい。取得される天気予報情報は、例えば、天気コードとアイコン、気温、相対湿度、風向き、風速、降水量、日の出時刻、日の入り時刻、および一週間分の天気予報それぞれの情報である。

（部屋の状態、設定画面例）
メイン画面ｇ１００の部屋別情報表示画像ｇ１３０において、部屋に対応する画像が選択された場合に表示される画面例を説明する。図６は、本実施形態に係る部屋の状態、設定画面例を示す図である。

部屋画面ｇ２００は、メイン画面ｇ１００の部屋別情報表示画像ｇ１３０において、リビングルームに対応するボタン画像が選択された場合に表示される画面例である。部屋画面ｇ２００は、部屋に設置されている機器と、部屋状態、機器状態の概略を提供する。部屋画面ｇ２００は、例えば、部屋状態画像ｇ２１０、家族在宅外出表示画像ｇ１２０、一括設定ボタン画像ｇ１５０、部屋に設置されている機器一覧画像ｇ２２０、および部屋に設置されているカメラが撮影したカメラ画像ｇ２３０を備える。

部屋状態画像ｇ２１０は、例えば、部屋に設置されている機器の画像ｇ２１１、部屋の温度と湿度と照度の画像ｇ２１２、部屋の窓の状態を示す画像ｇ２１３、前の画面に戻るボタン画像ｇ２１４、および部屋名画像ｇ２１５等を備える。

部屋に設置されている機器一覧画像ｇ２２０は、例えば、部屋に設置されている機器名画像ｇ２２１と、機器状態画像ｇ２２２を備える。機器状態画像ｇ２２２は、利用者の操作に応じて、オン状態とオフ状態とを切り替えることができる。

カメラ画像ｇ２３０は、例えば、再生ボタン画像ｇ２３１、およびメニューボタン画像ｇ２３２を備える。メニューボタン画像ｇ２３２は、例えば、再生速度や、再生する画像の選択などを選択可能に提示する。

機器設定画面ｇ２５０は、部屋画面ｇ２００において、空調機器に対応するボタン画像が選択された場合に表示される画面例である。機器設定画面ｇ２５０は、部屋名画像ｇ２５１、選択された機器名画像ｇ２５２、操作履歴（操作ログ）一覧表示ボタン画像ｇ２５３、前の画面に戻るボタン画像ｇ２５４、機器情報と機器の電源操画像ｇ２６０、節電モード設定画像ｇ２７０、運転モード設定画像ｇ２８０、風量設定画像ｇ２９０、および設定した情報を送信する送信ボタン画像ｇ２５６を備える。機器設定画面ｇ２５０は、機器の機能に応じて、機器毎に画面に含まれる画像が異なっている。

機器情報と機器の電源操画像ｇ２６０は、例えば、機器に対応するイラストまたは写真ｇ２６１、および機器の電源状態画像ｇ２６２を備える。機器の電源状態画像ｇ２６２は、利用者の操作に応じて、オン状態とオフ状態とを切り替えることができる。

節電モード設定画像ｇ２７０は、利用者の操作に応じて、オン状態とオフ状態とを切り替えることができる。

運転モード設定画像ｇ２８０は、運転モード（例えば、冷房、暖房、除湿）を切り替える例えばプルダウン式の画像ｇ２８１、設定温度をダウンさせるボタン画像ｇ２８２、および設定温度をアップさせるボタン画像ｇ２８３を備える。

風量設定画像ｇ２９０は、風速自動設定ボタン画像ｇ２９１、および風速強弱の設定画像ｇ２９２を備える。

画面間遷移例を説明する。図７は、本実施形態に係る画面間遷移例を示す図である。図７のように、メイン画面ｇ１００において部屋別表示モード選択ボタン画像ｇ１４１が選択された場合は、部屋画面ｇ２００に遷移する。部屋画面ｇ２００において戻るボタン画像が選択された場合は、前の画面、例えばメイン画面ｇ１００に戻る。部屋画面ｇ２００において空調機器ボタン画像である機器名画像ｇ２２１が選択された場合、またはメイン画面ｇ１００において部屋別表示モード選択ボタン画像ｇ１４１が選択された後に空調機器ボタン画像が選択された場合は、機器設定画面ｇ２５０に遷移する。機器設定画面ｇ２５０において戻るボタン画像が選択された場合は、メイン画面ｇ１００または部屋画面ｇ２００に戻る。

メイン画面ｇ１００において、部屋別表示モードと、機器一覧表示モードと、カメラ一覧表示モードとの間は、相互に遷移する。図７に示した遷移状態は一例であり、これに限らない。

（操作履歴表示例）
操作履歴表示例を説明する。図８は、本実施形態に係る操作履歴表示例を示す図である。図８の操作履歴画面ｇ３００は、例えばメイン画面ｇ１００で、操作履歴ボタン画像ｇ１１５が選択された際に表示される。

図８のように、操作履歴画面ｇ３００には、シーン一括処理を指示したことを示す画像ｇ３０１，シーン一括処理を実行したことを示す画像ｇ３０２、家族が外出したことを示す画像ｇ３０３～ｇ３０５、玄関の鍵が開いていることをお知らせしたことを示す画像ｇ３０６、および玄関の鍵が開いていることをお知らせした結果に対する対応を示す画像ｇ３０７が含まれている。シーン一括処理を指示したことを示す画像ｇ３０１には、指示をした人に対応する画像が紐付けられて表示される。これにより、本実施形態によれば、誰が操作したのか、他の家族が理解することができる。

図８に示した例は一例であり、これに限らない。操作履歴画面ｇ３００には、各機器を操作した結果、家族が帰宅したことを示す画像、操作履歴画面ｇ３００から前の画面委戻る（または表示を消す）ボタン画像等が含まれる。

（一括設定例）
シーン毎に複数の機器の動作状態をまとめて設定する一括設定について、図９と図１０を用いて説明する。図９と図１０は、本実施形態に係るシーン毎に複数の機器の動作状態をまとめて設定する一括設定画面例を示す図である。

図９を用いて説明する。メイン画面ｇ１００Ａにおいて、一括設定ボタン画像ｇ１５０には、既に設定されている「いってきます」操作ボタン画像ｇ１５３等と、新規にシーンを追加する際に選択される例えば「さらに見る」ボタン画像ｇ１５５をさらに備える。

利用者が、「さらに見る」ボタン画像ｇ１５５を選択した場合、制御部３０４は、新規シーン追加の第１画面ｇ４００Ａを表示させる。新規シーン追加の第１画面ｇ４００Ａは、設定の進捗状態を表示する領域ｇ４１０と、シーン追加領域ｇ４２０とを備える。設定の進捗状態を表示する領域ｇ４１０は、進捗状況画像ｇ４１１、および次の設定画面に移動する「次へ」ボタン画像ｇ４１２を備える。シーン追加領域ｇ４２０は、アプリケーションが予め機器の選択等を設定してあるシーンリストボタン画像ｇ４２１、および利用者がシーンを作成するカスタムボタン画像ｇ４２２を備える。

利用者が、新規シーン追加の第１画面ｇ４００Ａのシーン追加領域ｇ４２０において、シーンリストボタン画像ｇ４２１、およびカスタムボタン画像ｇ４２２のうちの１つを選択した後、「次へ」ボタン画像ｇ４１２を選択した場合、制御部３０４は、新規シーン追加の第２画面ｇ４００Ｂを表示させる。新規シーン追加の第２画面ｇ４００Ｂは、設定の進捗状態を表示する領域ｇ４１０と、動作タイミング設定領域ｇ４３０とを備える。動作タイミング設定領域ｇ４３０は、動作開始させる時刻設定領域ｇ４３１、および操作させる曜日選択画像ｇ４３２を備える。

利用者が、新規シーン追加の第２画面ｇ４００Ｂにおいて、時刻と曜日を設定した後、「次へ」ボタン画像ｇ４１２を選択した場合、制御部３０４は、新規シーン追加の第３画面ｇ４００Ｃ（図１０）を表示させる。図１０に移って説明を続ける。各シーンは、家屋内外の機器がゲートウェイＧＷに接続された場合、サーバ４が自動的に作成する。新規シーン追加の第３画面ｇ４００Ｃは、そのようにサーバ４によって自動的に作成されたシーンの一例でもある。新規シーン追加の第３画面ｇ４００Ｃは、設定の進捗状態を表示する領域ｇ４１０と、機器と操作内容の設定領域ｇ４４０とを備える。機器と操作内容の設定領域ｇ４４０は、例えば、機器名と設置されている空間を示す画像ｇ４４１、機器をシーンから削除するボタン画像ｇ４４２、シーン動作開始によって制御される機器の状態を表す画像ｇ４４３、危機の状態を変更するボタン画像ｇ４４４、および他の機器をシーンに追加する追加ボタン画像ｇ４４５を備える。

利用者が、新規シーン追加の第３画面ｇ４００Ｃにおいて、変更無しまたは変更後に、「次へ」ボタン画像ｇ４１２を選択した場合、制御部３０４は、新規シーン追加の第４画面ｇ４００Ｄを表示させる。新規シーン追加の第４画面ｇ４００Ｄは、設定の進捗状態を表示する領域ｇ４１０と、シーン設定画像ｇ４５０とを備える。シーン設定画像ｇ４５０は、シーンに対応する画像を選択するボタン画像ｇ４５１、およびシーンの名前を設定する領域ｇ４５２を備える。シーンに対応する画像は、アプリケーションによって予め用意されている画像を用いたり、端末３に記憶されている画像を選択することも可能である。利用者が、新規シーン追加の第４画面ｇ４００Ｄにおいて、設定後に、「完了」ボタン画像ｇ４１３を選択した場合、制御部３０４は、メイン画面ｇ１００Ｂに戻す。

（処理手順例）
端末３の処理手順例を説明する。図１１は、本実施形態に係る端末３の処理手順のフローチャートである。

（ステップＳ１）制御部３０４は、アプリケーションを起動する。

（ステップＳ２）制御部３０４は、各センサーが検出した検出値と各機器の状態情報を、ネットワークＮＷを介してサーバ４から取得する。

（ステップＳ３）制御部３０４は、家屋のある地区の天気予報情報を、ネットワークＮＷを介してサーバ４から取得する。制御部３０４は、天気予報情報を所定の周期毎に、サーバ４から取得するようにしてもよい。

（ステップＳ４）制御部３０４は、家族それぞれが在宅しているか外出しているかを示す在宅外出状態情報を、ネットワークＮＷを介してサーバ４から取得する。制御部３０４は、所定の周期、または情報が変更された際に、在宅外出状態情報をサーバ４から取得する。

（ステップＳ５）制御部３０４は、サーバ４から取得した情報に基づいて、メイン画面を表示部３０７に表示させる。

（ステップＳ６）制御部３０４は、選択ボタン画像が利用者によって選択されたか否か判別する。制御部３０４は、選択ボタン画像が選択されたと判別した場合（ステップＳ６；ＹＥＳ）、ステップＳ７の処理に進める。制御部３０４は、選択ボタン画像が選択されていないと判別した場合（ステップＳ６；ＮＯ）、ステップＳ６の処理を繰り返す。

（ステップＳ７）制御部３０４は、選択されたボタン画像に対応する画面を表示部３０７に表示させる。

（ステップＳ８）制御部３０４は、各画面における機器の設定が変更されたか否かを判別する。制御部３０４は、各画面における機器の設定が変更されたと判別した場合（ステップＳ８；ＹＥＳ）、ステップＳ９の処理に進む。制御部３０４は、各画面における機器の設定が変更されていないと判別した場合（ステップＳ８；ＮＯ）、ステップＳ１０の処理に進む。

（ステップＳ９）制御部３０４は、変更された設定と機器を示す情報とを、ネットワークＮＷを介してサーバ４へ送信する。処理後、制御部３０４は、ステップＳ１０の処理に進める。サーバ４は、変更された設定と機器を示す情報とを受信し、受信した情報に基づいて機器の動作状態変更指示を作成し、作成した動作状態変更指示を、ネットワークＮＷを介してゲートウェイＧＷへ送信する。ゲートウェイＧＷは、受信した動作状態変更指示に含まれる機器に、指示を送信する。

（ステップＳ１０）制御部３０４は、戻るボタン画像が利用者によって選択されたか否か判別する。制御部３０４は、戻るボタン画像が選択されたと判別した場合（ステップＳ１０；ＹＥＳ）、ステップＳ１１の処理に進める。制御部３０４は、戻るボタン画像が選択されていないと判別した場合（ステップＳ１０；ＮＯ）、ステップＳ８の処理を繰り返す。

（ステップＳ１１）制御部３０４は戻るボタンが選択された前の画面を、表示部３０７に表示さ、ステップＳ６の処理に戻す。

図９に示した処理手順は一例であり、これに限らない。制御部３０４は、例えば、画面内において選択された処理を行い、または、サーバ４から受信した情報を表示したり更新したりする。

本実施形態では、メイン画面の部屋別表示モードの提示によって家全体の状態と家族の在宅・帰宅状態とを把握することができ、機器一覧表示モードの提示によって設置機器の状態の把握と簡易制御指示や一括処理指示が行え、カメラ一覧表示モードの提示によって屋内屋外の殺意差画像の一覧を見ることができる。

＜第２実施例＞
第１実施形態では、家屋が１つの例を説明したが、状態を見れたり設定可能な家屋数は２つ以上であってもよい。例えば、高齢の親が住んでいる家屋の状態や別荘などの状態も、アプリケーションを用いて画面表示させるようにしてもよい。

図１２は、本実施形態に係る家屋毎の画面選択を行う場合を示す図である。図１２の例では、自宅以外に登録した家屋がある場合、メイン画面の天気情報画像ｇ１１０に別宅の表示画像ｇ１１６が表示される。このような別宅の表示画像ｇ１１６は、各メイン画面ｇ１００、ｇ１００Ａおよびｇ１００Ｂに表示される。

登録されている家屋が複数の場合、利用者が別宅の表示画像ｇ１１６を選択すると、家屋リスト画面ｇ１００ａが表示される。家屋リスト画面ｇ１００ａは、家屋リスト画像ｇ１８０を備え、天気情報画像ｇ１１０等の他の画像を例えばぼかしたりして表示する。家屋リスト画像ｇ１８０において、チェックが入っている家屋が選択された家屋である。別の家屋が選択された場合、アプリケーションは、制御部３０４の制御に応じて、メイン画面等を選択された家屋のものに切り替える。

これにより、本実施形態によれば、利用者は、自宅に加えて、例えば親の家屋や別荘などの状態を確認したり、用途に応じて操作することもできる。これにより、本実施形態によれば、利用者は、家毎にユーザ登録を変えたりログインしなおしたりすることなく、他の家屋の見守りと、制御指示も行うことができる。

本開示における制御部３０４の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより制御部３０４が行う全ての処理または一部の処理を行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。上記プログラムは、前述した機能の一部を実現するためのものであってもよい。前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

本開示を実施するための形態について実施形態を用いて説明したが、本開示はこうした実施形態に何等限定されるものではなく、本開示の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

１…情報処理システム、２…家屋機器、３…端末、４…サーバ、ＮＷ…ネットワーク、３０１…第１通信部、３０２…第２通信部、３０３…ＧＰＳ受信装置、３０４…制御部、３０５…記憶部、３０６…操作部、３０７…表示部、３０８…収音部、３０９…撮影部、３１０…スピーカ、ｇ１００，ｇ１００Ａ，ｇ１００Ｂ…メイン画面、ｇ１１０…天気情報画像、ｇ１２０…家族在宅外出表示画像、ｇ１３０…部屋別情報表示画像、ｇ１４０…メイン画面の表示モード切替画像、ｇ３００…操作履歴画面

Claims (9)

1. 表示部と、
   同居・別居を問わず同じ家のメンバーの家族のうちのいずれか１人の利用者の操作結果を検出する操作部と、
   気象情報と時刻とに基づく画像を第１画像として生成し、前記家族それぞれの在宅状態を第２画像として生成し、家屋敷地内の複数の空間それぞれの制御対象機器の状態を第３画像として生成し、前記第１画像と、前記第２画像と、前記第３画像とを１つの画面内に表示するメイン画面を前記表示部に表示させる制御部と、
   を備える情報処理装置。
2. 前記メイン画面には、前記家屋敷地内の前記制御対象機器の状態を示す機器一覧画面へ切り替える機器一覧ボタン画像と、前記家屋敷地内のカメラが撮影する画像を表示させるカメラ一覧画面へ切り替えるカメラ一覧ボタン画像と、を含み、
   前記制御部は、
   前記機器一覧ボタン画像が前記操作部によって検出された場合に、前記メイン画面から前記機器一覧画面に切り替え、
   前記カメラ一覧ボタン画像が前記操作部によって検出された場合に、前記メイン画面から前記カメラ一覧画面に切り替える、
   請求項１に記載の情報処理装置。
3. 前記メイン画面には、前記家族それぞれの前記制御対象機器に対する操作履歴画面を表示させる操作履歴一覧ボタン画像が含まれ、
   前記制御部は、
   前記操作履歴一覧ボタン画像が前記操作部によって検出された場合に、前記メイン画面から前記操作履歴画面に切り替える、
   請求項１または請求項２に記載の情報処理装置。
4. 前記メイン画面には、複数の前記制御対象機器を利用シーンに応じてまとめて設定する一括設定画面を表示させる一括設定ボタン画像を含み、
   前記家族のうちの一人の音声を取得する収音部と、
   前記家屋敷地内の状態を検出するセンサーと、を更に備え、
   前記制御部は、
   前記一括設定ボタン画像が前記操作部による操作によって検出された場合に、前記メイン画面から前記一括設定画面に切り替え、
   前記一括設定画面に含まれる前記利用シーンの選択ボタン画像が前記操作部によって検出された場合、前記収音部が取得した音響信号に対して音声認識処理によって音声指示が検出された場合、前記センサーが検出した場合、および所定の日時に成った場合のうちの少なくとも１つの場合に、前記一括設定画面において設定された複数の前記制御対象機器の制御を行う、
   請求項１から請求項３のうちのいずれか１項に記載の情報処理装置。
5. 前記制御部は、前記メイン画面において、前記第２画像の領域において１つの部屋に対応する画像が選択されたことが前記操作部によって検出された場合に、選択された前記部屋に関する部屋画面に切り替え、
   前記部屋画面には、前記部屋にある制御対象機器に対応する画像を前記部屋の画像に配置した画像、前記制御対象機器の動作状態を示す画像、前記制御対象機器から取得した前記部屋の温度と湿度、前記部屋に設置されているカメラが撮影する画像、および前記部屋にある前記制御対象機器それぞれに対する設定の組み合わせ選択画像のうち少なくとも１つが含まれる、
   請求項１から請求項４のうちのいずれか１項に記載の情報処理装置。
6. 前記制御部は、前記メイン画面に、前記家族が外出したことを示す情報を前記メイン画面に表示する、
   請求項１から請求項５のうちのいずれか１項に記載の情報処理装置。
7. 前記制御部は、前記メイン画面内に、前記利用者が管理する別の家屋に関する部宅画面を表示させる別宅選択ボタン画像を表示させ、前記別宅選択ボタン画像が選択されたことが前記操作部によって検出された場合に、前記メイン画面から部宅画面に切り替える、
   請求項１から請求項６のうちのいずれか１項に記載の情報処理装置。
8. コンピュータが、
   気象情報と時刻とに基づく画像を第１画像として生成し、同居・別居を問わず同じ家のメンバーの家族それぞれの在宅状態を第２画像として生成し、家屋敷地内の空間それぞれの制御対象機器の状態を第３画像として生成し、前記第１画像と、前記第２画像と、前記第３画像とを１つの画面内に表示するメイン画面を表示部に表示する、
   情報処理方法。
9. コンピュータに、
   気象情報と時刻とに基づく画像を第１画像として生成させ、同居・別居を問わず同じ家のメンバーの家族それぞれの在宅状態を第２画像として生成させ、家屋敷地内の複数の空間それぞれの制御対象機器の状態を第３画像として生成させ、前記第１画像と、前記第２画像と、前記第３画像とを１つの画面内に表示するメイン画面を表示部に表示させる、
   プログラム。

Images