JP2021068370A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2021068370A
JP2021068370A JP2019195188A JP2019195188A JP2021068370A JP 2021068370 A JP2021068370 A JP 2021068370A JP 2019195188 A JP2019195188 A JP 2019195188A JP 2019195188 A JP2019195188 A JP 2019195188A JP 2021068370 A JP2021068370 A JP 2021068370A
Authority
JP
Japan
Prior art keywords
user
sensor
level
output
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019195188A
Other languages
English (en)
Inventor
健太郎 井田
Kentaro Ida
健太郎 井田
保乃花 尾崎
Honoka Ozaki
保乃花 尾崎
将吾 川田
Shogo Kawada
将吾 川田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2019195188A priority Critical patent/JP2021068370A/ja
Priority to US17/770,337 priority patent/US20220390912A1/en
Priority to PCT/JP2020/038710 priority patent/WO2021085126A1/ja
Publication of JP2021068370A publication Critical patent/JP2021068370A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2613Household appliance in general
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Selective Calling Equipment (AREA)

Abstract

【課題】より適切な出力対象の機器を特定することができるようにする。【解決手段】電気機器が有するセンサの検出粒度に応じたセンサレベルに基づいて、ユーザに対して情報を出力する出力対象の電気機器を特定する制御部を備える情報処理装置が提供されることで、より適切な出力対象の機器を特定することができる。本技術は、例えば、センサを有する電気機器が複数設けられた機器制御システムに適用することができる。【選択図】図6

Description

本技術は、情報処理装置、情報処理方法、及びプログラムに関し、特に、より適切な出力対象の機器を特定することができるようにした情報処理装置、情報処理方法、及びプログラムに関する。
従来から、ユーザを検出するための人感センサを有する機器からのセンサデータを用い、ユーザがどの部屋に居るかを検知する技術が提案されている(例えば、特許文献1,2参照)。
特開2012-160295号公報 特開2012-137828号公報
ところで、任意の機器から、ユーザに対して各種の情報を出力するに際しては、人感センサを有していない機器からのデータも利用できれば、より適切な出力対象の機器を特定して、情報を出力することができる。
本技術はこのような状況に鑑みてなされたものであり、より適切な出力対象の機器を特定することができるようにするものである。
本技術の一側面の情報処理装置は、電気機器が有するセンサの検出粒度に応じたセンサレベルに基づいて、ユーザに対して情報を出力する出力対象の電気機器を特定する制御部を備える情報処理装置である。
本技術の一側面の情報処理方法は、情報処理装置が、電気機器が有するセンサの検出粒度に応じたセンサレベルに基づいて、ユーザに対して情報を出力する出力対象の電気機器を特定する情報処理方法である。
本技術の一側面のプログラムは、コンピュータを、電気機器が有するセンサの検出粒度に応じたセンサレベルに基づいて、ユーザに対して情報を出力する出力対象の電気機器を特定する制御部を備える情報処理装置として機能させるプログラムである。
本技術の一側面の情報処理装置、情報処理方法、及びプログラムにおいては、電気機器が有するセンサの検出粒度に応じたセンサレベルに基づいて、ユーザに対して情報を出力する出力対象の電気機器が特定される。
本技術の一側面の情報処理装置は、独立した装置であってもよいし、1つの装置を構成している内部ブロックであってもよい。
本技術を適用した機器制御システムの一実施の形態の構成の例を示す図である。 センサレベルを有する家電機器が設置された環境でユーザが行動している状況での統合制御の例を示す図である。 各家電機器によるユーザ位置推定の例を示す図である。 制御機器の構成の例を示すブロック図である。 家電機器の構成の例を示すブロック図である。 制御機器の処理の例を説明するフローチャートである Level3の家電機器の処理の例を説明するフローチャートである。 人感センサ以外のセンサにより検出されるセンサデータの例を示す図である。 Level1,2の家電機器の処理の例を説明するフローチャートである。 トリガ信号の構成の例を示す図である。 Operation Codeの例を示す図である。 返信信号の構成の例を示す図である。 Sensor Levelの例を示す図である。 Detectの例を示す図である。 Elapse Timeの例を示す図である。 監視機器を利用した非対応機器とユーザの認識の例を示す図である。 Operation Codeの他の例を示す図である。 制御機器の処理の例を説明するフローチャートである。 家電機器の処理の例を説明するフローチャートである。 ユーザ検出と出力対象の機器の切り替えのタイミングの例を示すタイミングチャートである。 コンピュータの構成例を示す図である。
<1.本技術の実施の形態>
近年、様々な家電機器がスマート化されてきており、IoT(Internet of Things)の流れを受けて屋内の白物家電等を含めた複数の家電機器の統合的な制御(統合制御)を行う技術が要請されている。
複数の家電機器の統合的な制御を行う技術としては、例えば、いわゆる黒物家電、特に、AV(Audio Visual)機器をネットワークで接続し、コンテンツの共有や再生等を行うDLNA(登録商標)(Digital Living Network Alliance)等の仕組みが、15年先行して開発されている。
一方、いわゆる白物家電については、複数の白物家電を統合的に制御する規格は、まだ開発・定着していない。そのため、各白物家電間の連携などに関する問題が残っている。
白物家電、特に単機能でシンプルな機器では、人や環境を検出するためのセンサ類を搭載していないものも多く存在し、ユーザの位置に応じた処理を統合的に行うことが困難である。
この分野で先行しているDLNA規格でも、コンテンツを再生する機器は、ユーザがマニュアルで操作する必要があり、ユーザから最も近い家電機器から自動再生するなどの機能を有する商品は発表されていない。
このような状況において、自宅等の所定の空間におけるユーザへの効果的な通知や、動き回るユーザのハンズフリー通話、テレビ受像機などの音声出力を、ユーザの身近なスピーカから出力するなどの環境を常に最適に保つために、ユーザから最も近い家電機器(白物家電)に、自動的に切りかわる機能などの必要性が増してきている。
そこで、本技術では、人感センサを有する家電機器のほかに、人感センサを有しない家電機器であっても、ユーザの家電機器の利用状況に応じて、ユーザに最も近いと想定される家電機器を出力対象として特定して、情報を出力できるようにする。以下、図面を参照しながら、本技術の実施の形態について説明する。
(機器制御システムの構成例)
図1は、本技術を適用した機器制御システムの一実施の形態の構成の例を示す図である。
図1において、機器制御システム1は、制御機器10、及び家電機器20から構成される。機器制御システム1において、制御機器10と家電機器20とは、ネットワーク30を介して相互に接続されている。
ネットワーク30は、無線LAN(Local Area Network)や、4G,5G等の所定の通信方式での無線通信を実現するための構成を有する。なお、ネットワーク30は、一部に有線通信が含まれていてもよい。
制御機器10は、パーソナルコンピュータやサーバ、スマートフォンなどの電子機器である。制御機器10は、ネットワーク30に接続された家電機器20を統合的に制御するための機能(ホストコンピュータの機能)を有する。
制御機器10は、ネットワーク30を介して複数の家電機器20との間で通信を行うことで、ユーザに対して各種の情報を出力する出力対象の家電機器20を特定し、特定した家電機器20から情報が出力されるように制御する。
各種の情報には、音や画像(静止画、動画)、メッセージ、スケジュールなど、ユーザに対して提示可能な様々な情報が含まれる。これらの情報は、制御機器10が記録しているものに限らず、例えば、ネットワーク30に接続された他の機器(スマートフォン等)や、インターネットに接続されたサーバ(クラウド上のサーバ)から受信したものであってもよい。
家電機器20は、冷蔵庫や電子レンジなどの白物家電である。図1では、家電機器20の一例として、冷蔵庫20−1(A)、電子レンジ20−2(B)、電気ポット20−3(C)、換気扇20−4(D)、及びコンロ20−5(E)を図示している。なお、各家電機器を特に区別する必要がない場合、家電機器20と呼んでいる。
家電機器20には、各家電機器20が有するセンサの検出粒度に応じたセンサレベルが付与される。このセンサレベルとしては、例えば、Level1乃至Level3の3段階のレベルを用いることができる。
Level1は、ユーザが電源操作をした後にあまり操作をしない、すなわち、ユーザが機器の正面にいても操作を(ほぼ)必要としない家電機器20に割り当てられる。具体的には、ユーザによる操作頻度が1時間に1回以下の機器として、例えば、電気ポット20−3や換気扇20−4、食器洗い機(不図示)などが、Level1のセンサレベルに該当する家電機器20に含まれる。
Level2は、ユーザによる機能操作など、継続操作をさせる仕様の機器、すなわち、ユーザが操作中にその場所に居るが、操作を行わない場合にはその場所には居ない家電機器20に割り当てられる。具体的には、ユーザによる操作頻度が10分間に1回程度の機器として、例えば、電子レンジ20−2やコンロ20−5などが、Level2のセンサレベルに該当する家電機器20に含まれる。
Level3は、ある範囲内にいるユーザを即座に検出可能な人感センサ等のセンサを有する家電機器20に割り当てられる。具体的には、人感センサを有する冷蔵庫20−1などが、Level1のセンサレベルに該当する家電機器20に含まれる。
図2は、Level1乃至Level3のいずれかのセンサレベルを有する家電機器20が複数設置された環境において、ユーザUが行動している状況での家電機器20の統合的な制御の例を示している。
図2においては、ユーザの自宅のキッチンK内の空間に、Level1のセンサレベルを有する電気ポット20−3と換気扇20−4、Level2のセンサレベルを有する電子レンジ20−2とコンロ20−5、及びLevel3のセンサレベルを有する冷蔵庫20−1がそれぞれ設置されている。また、キッチンK内の空間では、ユーザUが様々な行動をしている。
このとき、キッチンK内に居るユーザUに対して、音やメッセージ等の情報の出力を行う場合、当該ユーザUに最も近い位置に設置された家電機器20から、各種の情報を出力するのが好適である。この場合において、キッチンK内のユーザの位置を、例えば、次の処理により推定することができる。
まず、機器制御システム1においては、キャリブレーションによって、制御機器10が、各家電機器20の相対位置関係をあらかじめ認識しておくようにする。
この相対位置関係の認識方法としては、例えば、Bluetooth(登録商標)やビーコン等を用いた無線通信を行ったり、カメラやIR LED等の検出機構を用いたり、デプスカメラやステレオカメラを用いた物体検出を行ったり、RFIDタグや超音波を用いた測距を行ったりすることで、相対位置関係を認識することができる。
次に、制御機器10は、最初に、Level3のセンサレベルを有する冷蔵庫20−1で、ユーザUを検出可能であるかを確認する。
このとき、冷蔵庫20−1では、人感センサにより冷蔵庫を使用中のユーザUなどが検出される。冷蔵庫20−1によって、ユーザUが検出された場合、制御機器10は、冷蔵庫20−1を出力対象の機器として特定し、冷蔵庫20−1から、音やメッセージ等の情報が出力されるように制御する。
一方、Level3のセンサレベルを有する冷蔵庫20−1でユーザUを検出できない場合、制御機器10は、次に、Level1又はLevel2のセンサレベルを有する家電機器20で、ユーザUを検出可能であるかを確認する。
すなわち、制御機器10は、最後にユーザUを検出した家電機器20の位置を中心として、その家電機器20のセンサレベル(Level1,2)に応じた範囲(単位距離r×経過時間tの範囲)を、ユーザU(最後に検出した家電機器20を操作した後に移動したユーザU)が居ると想定される範囲であるとみなして、その範囲内に設置される家電機器20の全てを、出力対象の機器として特定する。制御機器10は、特定した出力対象の家電機器20から、音やメッセージ等の情報が出力されるように制御する。
換言すれば、ユーザを検出するサンプリングレート、つまり、時間分解能としてその家電機器20からどの程度の距離にユーザが居ることを保証できるかによって、センサレベルを規定しているとも言える。
図3は、キッチンK内の各家電機器20によるユーザUの位置推定の例を示している。図3では、キッチンKの空間を真上から見た様子を示している。
図3においては、Level3のセンサレベルを有する冷蔵庫20−1が「A」の位置に設置され、Level2のセンサレベルを有する電子レンジ20−2とコンロ20−5が、「B」と「E」の位置にそれぞれ設置され、Level3のセンサレベルを有する電気ポット20−3と換気扇20−4が、「C」と「D」の位置にそれぞれ設置されている。
冷蔵庫20−1は、Level3のセンサレベルを有するため、即時に、全面にユーザUが居ることを検出可能である。
コンロ20−5は、Level2のセンサレベルを有するため、一定期間内に、ユーザUに操作された可能性がある。
例えば、コンロ20−5に対する直前の操作が行われた時から、t時間経過していたことを想定した場合、位置Eを中心にした円の半径を単位距離r2として、その半径をt倍した円の範囲(図中の破線で示した円の領域A2)に含まれる家電機器20の全てが、出力対象の機器として特定される。具体的には、コンロ20−5とともに、換気扇20−4が出力対象の機器に特定され、その両方の機器から、情報が出力される。
電気ポット20−3は、Level1のセンサレベルを有するため、電源操作等の操作頻度が、Level2のセンサレベルの家電機器20よりも低くなる。そのため、電気ポット20−3の単位距離r1は、コンロ20−5の単位距離r2よりも長くなる。
例えば、電気ポット20−3に対する直前の操作が行われた時から、t時間経過していたことを想定した場合、位置Cを中心にした円の半径を単位距離r1として、その半径をt倍した円の範囲(図中の破線で示した領域A1)に含まれる家電機器20の全てが出力対象の機器として特定される。具体的には、電気ポット20−3とともに、電子レンジ20−2、及び換気扇20−4が出力対象の機器に特定され、それらの機器から情報が出力される。
なお、図示はしていないが、電子レンジ20−2にはLevel2のセンサレベルに応じた単位距離r2が設定され、換気扇20−4にはLevel1のセンサレベルに応じた単位距離r1が設定されている。
ここで、ユーザUによる最終操作が行われた時からの経過時間tを乗じる単位距離rを、単純に共通の単位距離にしていない理由は、次のようなものである。
すなわち、Level1とLevel2のセンサレベルでは、ユーザUの操作頻度が異なるため、一度操作してから立ち去る場合と、数分以内に次の操作が求められる場合とで、その場にユーザが滞留する確率が違うことを想定し、各々個別の単位距離を設定している。
例えば、Level1のセンサレベルの「一度操作してから立ち去る場合」の例としては、食器洗い機(不図示)をセットしたら1時間以上その場から離れてもよいケースなどである。また、例えば、Level2のセンサレベルの「数分以内に次の操作が求められる場合」の例としては、電子レンジ20−2をセットして、時間がきたら確認して再加熱するケースなどである。
また、制御機器10は、r1×t,r2×t等の乗算結果が、所定の閾値dを超える場合、既にユーザUがキッチンK内には居ないと判定して、キッチンK内の全ての家電機器20からの情報の出力を止めるように制御する。このように、キッチンK等の意味のある空間の外部に、ユーザUが移動した場合(部屋から退出した場合)には、それと同時に情報の出力が停止される。
このとき、制御機器10は、情報の出力の要求元の機器に対し、キッチンK内にユーザが居ない旨を示すメッセージを送信して、フィードバックしてもよい。
以上のように、機器制御システム1では、人感センサを有しない家電機器20であっても、ユーザの利用状況に応じて、当該ユーザの位置に最も近いと想定される家電機器20を特定して、情報が出力されるようにする。
その際に、各家電機器20が有するセンサの種別により、検出粒度に応じたセンサレベルを定義することで、制御機器10では、センサレベルに基づき、出力対象の家電機器20を特定することができる。また、制御機器10では、最終的なユーザの検出状態から当該ユーザが移動することも加味してユーザの現在位置を推定し、その推定結果に基づき、出力対象の家電機器20を特定することができる。
換言すれば、センサレベルは、ユーザの位置を直接的に検出可能なセンサ(例えば人感センサ)を含む第1のレベルと、ユーザの位置を間接的に検出可能なセンサ(例えばユーザの操作を検出可能なセンサ)を含む第2のレベルを有している。また、第2のレベルは、ユーザの操作頻度に応じて複数の段階に分けることができる。
例えば、上述したLevel1乃至Level3の3段階のレベルからなるセンサレベルの場合には、Level3が第1のレベルに相当し、Level1とLevel2が第2のレベルに相当している。つまり、Level1とLevel2は、ユーザの操作頻度に応じた2段階に相当している。
以上の処理を実現するための機器制御システム1の構成の例を、図4及び図5に示す。この例では、ネットワーク30に接続された家電機器20を統合的に制御する制御機器10を設ける構成を示すが、任意の家電機器20が制御機器10の機能を有するようにして、制御機器10を設けない構成としてもよい。
(制御機器の構成例)
図4は、図1の制御機器10の構成の例を示すブロック図である。
図4において、制御機器10は、制御部100、入力部101、出力部102、I/F部103、記憶部104、及びネットワーク部105を有する。
制御部100は、各部の動作の制御や各種の演算処理を行う中心的な制御装置(処理装置)である。制御部100は、CPU(Central Processing Unit)等のプロセッサから構成される。
制御部100は、パケット生成部111、パケット解析部112、及び出力制御部113を有する。
パケット生成部111は、各種のパケットを生成する。パケット生成部111により生成されるパケットとしては、例えば、トリガ信号又はトラッキング信号としてのパケットが含まれる。なお、トリガ信号の詳細は、図10,図11を参照して後述する。また、トラッキング信号の詳細は、図17等を参照して後述する。
パケット解析部112は、各種のパケットを解析する。パケット解析部112により解析されるパケットとしては、例えば、家電機器20から送信されてくる返信信号としてのパケットが含まれる。なお、返信信号の詳細は、図12乃至図15を参照して後述する。
出力制御部113は、ネットワーク部105等の各部を制御することで、出力対象の機器に特定された家電機器20から各種の情報が出力されるように制御する。
入力部101は、ユーザによって操作され、その操作に対応する操作信号を、I/F部103を介して制御部100に供給する。例えば、入力部101は、タッチパネル121及びボタン122を有する。
タッチパネル121は、ユーザの指がディスプレイの表面に接触(タッチ)したとき、その接触位置(所定の点の位置)に応じた操作信号を、制御部100に供給する。ボタン122は、所定の位置に設けられ、ユーザにより押されたとき、その操作に応じた操作信号を、制御部100に供給する。
出力部102は、I/F部103を介して制御部100からの制御に従い、各種の情報を出力する。例えば、出力部102は、ディスプレイ131及びスピーカ132を有する。
ディスプレイ131は、制御部100からの制御に従い、画像を表示する。スピーカ132は、制御部100からの制御に従い、音を出力する。ディスプレイ131は、液晶パネルやOLED(Organic Light Emitting Diode)パネル等から構成される。
I/F部103は、制御部100、入力部101、及び出力部102に対する信号(データ)の入出力のためのインターフェースである。
記憶部104は、制御部100からの制御に従い、各種のデータを記録する。制御部100は、記憶部104に記録された各種のデータを読み出して処理する。
記憶部104は、半導体メモリやHDD(Hard Disk Drive)等の補助記憶装置から構成される。記憶部104は、内部ストレージとして構成されてもよいし、メモリカード等の外部ストレージであってもよい。
ネットワーク部105は、所定の通信方式での通信を行う。例えば、ネットワーク部105は、制御部100からの制御に従い、制御信号を送信する。また、ネットワーク部105は、家電機器20から送信されてくる信号を受信し、制御部100に供給する。
本実施の形態では、通信として、例えば、アクセスポイントを介した無線LAN(Local Area Network)、及び4Gや5G等の移動通信、並びにインターネットを介したTCP/IP(Transmission Control Protocol/Internet Protocol)での通信が採用されている。
(家電機器の構成例)
図5は、図1の家電機器20の構成の例を示すブロック図である。
図5において、家電機器20は、制御部200、入力部201、出力部202、I/F部203、記憶部204、及びネットワーク部205を有する。
制御部200は、各部の動作の制御や各種の演算処理を行う中心的な制御装置(処理装置)である。制御部200は、CPU等のプロセッサから構成される。
制御部200は、パケット検出部211、パケット解析部212、パケット生成部213、センサデータ解析部214、及びプロファイル制御部215を有する。
パケット検出部211は、各種のパケットを検出する。パケット検出部211により検出されるパケットとしては、例えば、制御機器10から送信されてくるトリガ信号又はトラッキング信号としてのパケットが含まれる。なお、トリガ信号の詳細は、図10,図11を参照して後述する。また、トラッキング信号の詳細は、図17等を参照して後述する。
パケット解析部212は、各種のパケットを解析する。パケット解析部212により解析されるパケットとしては、例えば、制御機器10から送信されてくるトリガ信号又はトラッキング信号としてのパケットが含まれる。
パケット生成部213は、各種のパケットを生成する。パケット生成部213により生成されるパケットとしては、例えば、返信信号としてのパケットが含まれる。なお、返信信号の詳細は、図12乃至図15を参照して後述する。
センサデータ解析部214は、必要に応じて、センサ223から供給されるセンサデータを解析する。プロファイル制御部215は、必要に応じて、記憶部204に対するプロファイルの読み書きを制御する。このプロファイルには、家電機器20が有する入力デバイスや出力デバイスなどに関する情報が含まれる。
入力部201は、物理量の入力を受け付ける1(種類)以上の入力デバイスを有する。入力部201が有する入力デバイスが出力するデータ(センサデータ)は、I/F部203を介して制御部200に供給される。
例えば、入力部201は、入力デバイスとして、マイクロフォン221、カメラ222、及びセンサ223を有する。入力部201が有する入力デバイスが出力する電気信号を、センサデータともいう。
マイクロフォン221は、空気の振動としての音を受け付け(センシングし)、電気信号としての音を出力する。カメラ222は、イメージセンサや信号処理部などを有する。カメラ222は、光を受け付け(センシングし)、光電変換を行って、電気信号として出力する。
センサ223は、空間情報や時間情報等のセンシングを行い、そのセンシング結果に対応した電気信号を出力する。センサ223は、人感センサや、ユーザの操作を検出可能なセンサなどの各種のセンサを含む。
例えば、家電機器20が、Level3のセンサレベルを有する場合、センサ223として、人感センサを少なくとも含んでいる。また、例えば、家電機器20が、Level1又はLevel2のセンサレベルを有する場合、ユーザの操作を検出可能なセンサを少なくとも含んでいる。
出力部202は、物理量を出力する1以上の出力デバイスを有する。出力部202は、I/F部203を介して制御部200からの制御に従い、各種の情報を出力する。
例えば、出力部202は、スピーカ231、LED232、及びディスプレイ233を有する。
スピーカ231は、制御部200からの制御に従い、音を出力する。LED232は、制御部200からの制御に従い、光を出力する(発する)。ディスプレイ233は、液晶パネル等から構成され、制御部200からの制御に従い、画像を表示する。
I/F部203は、制御部200、入力部201、及び出力部202に対する信号(データ)の入出力のためのインターフェースである。
記憶部204は、制御部200からの制御に従い、各種のデータを記録する。制御部200は、記憶部204に記録された各種のデータを読み出して処理する。
記憶部204は、半導体メモリ等の補助記憶装置であって、内部ストレージ又は外部ストレージとして構成される。
ネットワーク部205は、所定の通信方式での通信を行う。例えば、ネットワーク部205は、制御部200からの制御に従い、信号を送信する。また、ネットワーク部205は、制御機器10から送信されてくる信号を受信し、制御部200に供給する。
次に、図6乃至図9を参照して、機器制御システム1の全体の処理の流れを説明する。例えば、制御機器10に接続されたスマートフォン等の機器、又はスマートフォン等の制御機器10から、リモートでの通知や音楽再生などを行う場合に、ユーザに最も近い位置に設置された家電機器20から、メッセージや音等の情報を出力するとき、制御機器10と家電機器20の処理が実行される。
(制御機器の処理例)
図6は、制御機器10の処理の例を説明するフローチャートである。
制御機器10では、機器の設置時等の所定のタイミングで、キャリブレーションが行われる(S11)。
このキャリブレーションでは、無線通信や測距等の認識方法を用い、各家電機器20の相対位置関係が認識される。また、このとき、制御機器10では、各家電機器20の出力デバイス(スピーカ231、LED232、又はディスプレイ233等)の有無に関するプロファイルを収集して、プロファイルリストを生成し、記憶部204に記録してもよい。
ステップS12において、制御部100は、制御機器10に接続された機器などから出力要求があったかどうかを判定する。
ステップS12の判定処理で、出力要求があったと判定された場合に、処理は、ステップS13に進められる。
ステップS13において、パケット生成部111は、Level3のセンサレベルを有する家電機器20に対するトリガ信号を生成する。
また、ステップS13において、ネットワーク部105は、制御部100からの制御に従い、生成されたトリガ信号を、ネットワーク30を介してブロードキャストで送信する。
すなわち、ここでは、まず、トリガ信号を用い、Level3のセンサレベルを有する家電機器20に対する確認が行われる。なお、トリガ信号の詳細は、図10,図11を参照して後述する。
このトリガ信号を受信したLevel3のセンサレベルを有する家電機器20からは、ネットワーク30を介して返信信号が送信され、ネットワーク部105により受信される。
この返信信号は、センサレベルに関する情報(以下、センサレベル情報という)や、センサを用いたユーザの検出状況に関する情報(以下、ユーザ検出状況情報という)、最後にユーザを検出した時からの経過時間tに関する情報(以下、経過時間情報という)などの情報を含んでいる。これらの情報によって、制御機器10では、ネットワーク30を介して各家電機器20のユーザ検出状況を共有することができる。なお、返信信号の詳細は、図12乃至図15を参照して後述する。
ステップS14において、パケット解析部112は、受信した返信信号に含まれるユーザ検出状況情報や経過時間情報等の情報に基づいて、経過時間tが0secでのユーザ検出があるかどうかを判定する。
ステップS14の判定処理で、経過時間tが0secでのユーザ検出があると判定された場合、処理は、ステップS15に進められる。
ステップS15において、パケット解析部112は、経過時間tが0secでのユーザ検出があった家電機器20、すなわち、人感センサで検出範囲内に存在するユーザの検出が行われた、対応するLevel3のセンサレベルを有する家電機器20を、出力対象の機器として特定する。
また、ステップS15において、出力制御部113は、ネットワーク部105等の各部を制御することで、出力対象の機器に特定された家電機器20から、制御機器10に接続された機器やインターネット上のサーバなどからのメッセージや音等の情報が出力されるように制御する。
これにより、例えば、特定された冷蔵庫20−1の近傍には、ユーザが居ることが想定されるため、冷蔵庫20−1からメッセージや音等の情報の出力が開始される。
一方で、ステップS14の判定処理で、経過時間tが0secでのユーザ検出がないと判定された場合、Level3のセンサレベルを有する家電機器20が存在しないため、処理は、ステップS16に進められる。
ステップS16において、パケット生成部111は、Level1,2のセンサレベルを有する家電機器20に対するトリガ信号を生成する。
また、ステップS16において、ネットワーク部105は、制御部100からの制御に従い、生成されたトリガ信号を、ネットワーク30を介してブロードキャストで送信する。
すなわち、Level3のセンサレベルを有する家電機器20に対するトリガ信号を送信した(S13)が、家電機器20で、人感センサによりユーザが検出できなかった場合、又は0sec以上の経過時間tとともにユーザが検出された場合には、次に、トリガ信号を用い、Level1,2のセンサレベルを有する家電機器20に対する確認が行われる。なお、トリガ信号の詳細は、図10,図11を参照して後述する。
このトリガ信号を受信したLevel1,2のセンサレベルを有する家電機器20からは、ネットワーク30を介して返信信号が送信され、ネットワーク部105により受信される。
詳細は、図12乃至図15を参照して説明するが、この返信信号には、センサレベル情報やユーザ検出状況情報、経過時間情報などの情報を含む。これらの情報によって、制御機器10では、ネットワーク30を介して各家電機器20のユーザ検出状況を共有することができる。
ステップS17において、パケット解析部112は、受信した返信信号に含まれるセンサレベル情報や経過時間情報等の情報に基づいて、センサレベルごとの単位距離r×経過時間tの乗算結果(演算結果)が、閾値d未満であるかどうかを判定する。
ステップS17の判定処理で、乗算結果が閾値d未満であると判定された場合、処理は、ステップS18に進められる。
ステップS18において、パケット解析部112は、最後にユーザを検出した家電機器20の位置を中心に、センサレベルごとの単位距離r×経過時間tの範囲内にある家電機器20の全てを、出力対象の機器として特定する。
すなわち、パケット解析部112は、Level1,2のセンサレベルを有する家電機器20からの返信信号と、Level3のセンサレベルを有する家電機器20からの返信信号(経過時間情報を含む返信信号)の全てを比較して、最も短い経過時間tが計測された家電機器20が、ユーザが最後に操作した機器であると推定する。
また、パケット解析部112は、推定された家電機器20での経過時間tと、その家電機器20のセンサレベルの単位距離rとの乗算結果が、閾値d未満であった場合、その空間内に未だユーザが居ると推定する。
また、ステップS18において、出力制御部113は、ネットワーク部105等の各部を制御することで、出力対象の機器に特定された家電機器20の全てから、制御機器10に接続された機器やインターネット上のサーバなどからのメッセージや音等の情報が出力されるように制御する。
これにより、例えば、図3に示したように、Level2の単位距離r2×経過時間tの範囲内のコンロ20−5と換気扇20−4、又はLevel1の単位距離r1×経過時間tの範囲内の電気ポット20−3と、冷蔵庫20−1、電子レンジ20−2、及び換気扇20−4から、メッセージや音等の情報の出力が開始される。
一方で、ステップS17の判定処理で、乗算結果が閾値dを超えると判定された場合、処理は、ステップS19に進められる。
ステップS19においては、最終操作から十分な時間が経過してその空間からユーザが立ち去ったと推定されるため、パケット生成部111は、ユーザが同一空間内に居ない旨を示すメッセージとしてのパケットを生成する。
また、ステップS19において、ネットワーク部105は、制御部100からの制御に従い、生成されたメッセージ(を含むパケット)を、制御機器10に接続された機器などの出力要求元の機器に送信する。
ステップS15,S18,又はS19の処理が終了すると、制御機器10の処理を終了する。
なお、ステップS15,又はS18の処理で、出力対象の家電機器20を特定するに際しては、キャリブレーション時に、記憶部204に記憶していたプロファイルリストを読み出し、出力対象の家電機器20の出力デバイスの有無を確認してから、出力対象の家電機器20を特定するようにしてもよい。
具体的には、音を出力する場合には、出力デバイスとしてスピーカ231を有する家電機器20が、出力対象として特定されるようにする。また、静止画や動画を出力する場合には、出力デバイスとしてディスプレイ233を有する家電機器20が、出力対象として特定されるようにする。
また、ステップS13,又はS16の処理では、トリガ信号を、ネットワーク30を介してブロードキャストで送信して、対応するセンサレベルを有する家電機器20のみが動作する場合を示したが、例えば、キャリブレーション時などに、制御機器10側で、ネットワーク30に接続された家電機器20のセンサレベルをあらかじめ把握しておくことで、トリガ信号が、特定のセンサレベルを有する家電機器20宛てに送信されるようにしてもよい。
以上、制御機器10の処理の流れを説明した。
(Level3の家電機器の処理例)
図7は、Level3のセンサレベルを有する家電機器20の処理の例を説明するフローチャートである。
ステップS41において、パケット検出部211は、ネットワーク30を介して制御機器10から送信されてくるトリガ信号を受信したかどうかを判定する。このトリガ信号は、図6のステップS13の処理で送信される。
ステップS41の判定処理で、トリガ信号を受信したと判定された場合に、処理は、ステップS42に進められる。
ステップS42において、センサデータ解析部214は、センサ223からのセンサデータを解析して、人感センサにより検出範囲内に存在するユーザを検出できた場合には、リアルタイムな検出であるため、経過時間tを0secとして処理を行う。
ステップS43において、センサデータ解析部214は、人感センサによりユーザの検出があったかどうかを判定する。
ステップS43の判定処理で、人感センサでユーザの検出があったと判定された場合、処理は、ステップS44に進められる。
ステップS44において、パケット生成部213は、センサデータ解析部214による解析結果等に基づいて、センサレベル情報やユーザ検出状況情報、経過時間情報などの情報を含む返信信号を生成する。
また、ステップS44において、ネットワーク部205は、制御部200からの制御に従い、生成された返信信号を、ネットワーク30を介して制御機器10に送信する。
詳細は、図12乃至図15を参照して説明するが、このとき、センサレベル情報には、"Level3"を示す値、ユーザ検出状況情報には、ユーザ検出があったことを示す値、経過時間情報には、0secを示す値が含まれる。
一方で、ステップS43の判定処理で、人感センサでユーザの検出がなかったと判定された場合、処理は、ステップS45に進められる。
ステップS45において、センサデータ解析部214は、自己が保持するプロファイルを参照して、Level1又はLevel2のセンサレベルとしてのセンサを有するセンサ223からのセンサデータに基づき、直近のユーザを検出した時からの経過時間tを算出する。
ステップS46において、パケット生成部213は、センサデータ解析部214による解析結果等に基づいて、経過時間情報等の情報を含む返信信号を生成する。この経過時間情報には、ステップS45の処理で算出した経過時間tに応じた値が含まれる。
また、ステップS46において、ネットワーク部205は、制御部200からの制御に従い、生成された返信信号を、ネットワーク30を介して制御機器10に送信する。なお、返信信号の詳細は、図12乃至図15を参照して後述する。
図8は、家電機器20において、人感センサ以外のセンサにより検出されるセンサデータの例を示している。
冷蔵庫は、ドアの開閉等の操作をセンサにより検出可能である。電子レンジは、ドアの開閉、設定変更、温め開始等の操作をセンサにより検出可能である。電気ポットは、電源や温度調整等の操作をセンサにより検出可能である。
換気扇は、電源や風力設定等の操作をセンサにより検出可能である。コンロは、電源や火力調整等の操作をセンサにより検出可能である。炊飯器は、蓋の開閉や炊飯設定変更等の操作をセンサにより検出可能である。
例えば、Level3のセンサレベルを有する冷蔵庫20−1では、人感センサによりユーザを検出できない場合に、ドアの開閉の操作をセンサにより検出することで、直近のユーザによるドアの開閉の操作を検出した時からの経過時間tが算出される。
ステップS44,又はS46の処理が終了すると、家電機器20の処理を終了する。なお、ステップS44,又はS46の処理で送信された返信信号は、制御機器10が、図6のステップS14の処理を行う前に受信される。
以上、Level3のセンサレベルを有する家電機器20の処理の流れを説明した。
(Level1,2の家電機器の処理例)
図9は、Level1,2のセンサレベルを有する家電機器20の処理の例を説明するフローチャートである。
ステップS71において、パケット検出部211は、ネットワーク30を介して制御機器10から送信されてくるトリガ信号を受信したかどうかを判定する。このトリガ信号は、図6のステップS16の処理で送信される。
ステップS71の判定処理で、トリガ信号を受信したと判定された場合に、処理は、ステップS72に進められる。
ステップS72において、センサデータ解析部214は、自己が保持するプロファイルを参照して、自己のセンサ223からのセンサデータに基づき、直近のユーザを検出した時からの経過時間tを算出する。
ステップS73において、パケット生成部213は、センサデータ解析部214による解析結果等に基づいて、経過時間情報等の情報を含む返信信号を生成する。この経過時間情報には、ステップS72の処理で算出した経過時間tに応じた値が含まれる。
また、ステップS73において、ネットワーク部205は、制御部200からの制御に従い、生成された返信信号を、ネットワーク30を介して制御機器10に送信する。なお、返信信号の詳細は、図12乃至図15を参照して後述する。
ステップS73の処理が終了すると、家電機器20の処理を終了する。なお、ステップS73の処理で送信された返信信号は、制御機器10が、図6のステップS17の処理を行う前に受信される。
以上、Level1,2のセンサレベルを有する家電機器20の処理の流れを説明した。
(トリガ信号の構成例)
図10は、トリガ信号としてのパケットのフォーマットの例を示している。
図10において、トリガ信号としてのパケットは、先頭から、8ビットのOperation Code,8ビットのOptional,48ビットのMAC Addressがその順番で配置される。
Operation Codeには、処理区分ごとの識別子が記載される。図11は、Operation Codeの例を示している。制御機器10からの通信要求となるトリガ信号(トリガパケット)の場合には、"0000 0011"で表される"TRIGGER"が記載される。
なお、"QUERY"は、ネットワーク30に接続される機器全体を認識するために、制御機器10から送信されるパケットの場合に記載される。"NOTIFY"は、自己の機器が接続されたことをネットワーク30に接続された機器に通知するパケットの場合に記載される。
"QUERY"と"NOTIFY"の2つのコードを利用することで、トリガ信号が送受信される前でも、事前にネットワーク30に接続されている機器のリストを得ることが可能である。また、"ACK"と"NAK"は、各Operation Codeのパケットが送られたことに対する回答のパケットの場合に記載される。
Optionalには、オプショナルな情報が記載される。例えば、Optionalに、センサレベルに関するセンサレベル情報を含めることができる。MAC Addressには、自己(送信元)の機器のMACアドレスが記載される。
上述した図6に示した制御機器10の処理では、ステップS13,S16の処理で、トリガ信号が生成されるが、例えば、次のようなパケットが生成される。
すなわち、ステップS13の処理で生成されるトリガ信号としてのパケットには、Operation Codeに、"TRIGGER"を示す"3",Optionalに、"Level3"を示す"3"がそれぞれセットされる。これにより、制御機器10では、"0000 0011 0000 0011 xxxx・・・(MAC Address)"であるビット列で表されるトリガ信号が生成される。
なお、ステップS16の処理で生成されるトリガ信号としてのパケットの場合には、Optionalに、"Level1"又は"Level2"を示す値がセットされる。
(返信信号の構成例)
図12は、返信信号としてのパケットのフォーマットの例を示している。
図12において、返信信号としてのパケットは、先頭から、8ビットのOperation Code,8ビットのReserved,48ビットのMAC Address,3ビットのSensor Level,1ビットのDetect,12ビットのElapse Timeがその順番で配置される。
返信信号は、トリガ信号としてのパケットに対する回答のパケットとなるため、Operation Codeには、図11に示した"ACK"が記載される。
Sensor Levelには、トリガ信号を受信した家電機器20ごとのセンサレベルに関するセンサレベル情報が記載される。図13は、Sensor Levelの例を示している。この例では、センサレベルとして3段階のレベルを用いているため、"Level1"("1"),"Level2"("2"),"Level3"("3")のいずれかが記載される。
Detectには、ユーザの検出状況に関するユーザ検出状況情報が記載される。図14は、Detectの例を示している。Detectとしては、検出状況に応じた2値、すなわち、ユーザが検出できた場合、"Detected"("1")が記載される一方で、ユーザが検出できなかった場合、"Undetected"("0")が記載される。
Elapse Timeには、経過時間に関する経過時間情報が記載される。図15は、Elapse Timeの例を示している。Elapse Timeとしては、最後にユーザを検出してからの経過時間tが0secから4095secまでの範囲の値で設定される。
上述した図7,図9に示した家電機器20の処理では、図7のステップS44,S46の処理と、図9のステップS73の処理で、返信信号が生成されるが、例えば、次のようなパケットが生成される。
すなわち、ステップS44の処理で生成される返信信号としてのパケットには、Operation Codeに、"ACK"を示す"4",Sensor Levelに、"Level3"を示す"3",Detectに、"Detected"を示す"1",Elapse Timeに、経過時間tを示す"0"がそれぞれセットされる。これにより、Level3のセンサレベルを有する家電機器20では、"0000 0100 0000 0000 xxxx・・・(MAC Address) 0111 0000 0000"であるビット列で表される返信信号が生成される。
なお、ステップS46,S73の処理で生成される返信信号としてのパケットの場合には、Sensor Levelに、"Level1"又は"Level2"を示す値、Detectに、"Undetected"を示す"0",Elapse Timeに経過時間tに応じた値がそれぞれセットされる。
以上のように、機器制御システム1では、制御機器10が、ネットワーク30を介してトリガ信号を家電機器20に送信し、トリガ信号を受信した家電機器20から送信されてくる返信信号に基づき、情報を出力する出力対象の家電機器20を特定している。
<2.変形例>
(非対応機器への対応)
ところで、機器制御システム1においては、従来の白物家電などのネットワーク接続機能を有していない家電機器(非対応機器)との混在環境も想定される。このような混在環境で、サーモカメラやRGBカメラ等のセンサを有する監視機器を、キッチン等の空間(部屋)に設置する方法がある。
サーモカメラによれば、例えば、非対応機器の電源が発する熱や、加熱調理を行う非対応機器が有する熱源の熱から、非対応機器の存在を推定することができる。RGBカメラについては、例えば、画像認識に用いる標準パターンを記憶したデータベースを用いて、RGBカメラで撮影された撮影画像と標準パターンとのマッチングを行い、撮影画像に映る被写体としての非対応機器を認識することで、非対応機器の存在を推定することができる。
図16は、機器制御システム1において、IoT化されていない非対応機器が設置された混在環境で、監視機器40を用いて非対応機器の位置認識と、ユーザの動きの認識を補う構成の例を示している。
監視機器40では、サーモカメラで撮影された画像からユーザの位置や、人感センサで検出されたユーザの位置が時間積分され、その時間積分の結果に応じて、ユーザが滞留する滞留箇所が特定される。監視機器40では、その滞留箇所に、何らかの家電機器(非対応機器)が存在すると推定する。このように、非対応機器の位置は、ユーザの動きの滞留箇所からある程度推定することができる。
なお、監視機器40では、サーモカメラで撮影された画像から温度の時間変化を検出し、その温度の時間変化に応じて温度が変化する箇所に、何らかの家電機器(非対応機器)が存在すると推定してもよい。
監視機器40では、意味のある滞留領域が認識されることで、ユーザの移動軌跡が認識されるとともに、その滞留領域に最も近い家電機器(非対応機器)が認識されることで、ユーザの移動軌跡から現在位置が推定される。監視機器40は、滞留領域に関する情報(非対応機器の推定位置やユーザの現在推定位置等)を含む監視信号を、ネットワーク30等を介して制御機器10に送信する。
制御機器10は、家電機器20からの返信信号と、監視機器40からの監視信号に基づいて、最後にユーザを検出した機器を中心に、所定の範囲内の機器を、出力対象の機器として特定する。具体的には、制御機器10では、滞留領域(非対応機器の推定位置)を起点にしてユーザの現在推定位置等から求められる経過時間tと、他の家電機器20の経過時間tとが比較され、滞留領域の経過時間tが最も小さい場合、この起点からの単位距離rと経過時間tとの乗算結果の範囲内にある家電機器20が、出力対象の機器として特定される。
以上のように、機器制御システム1では、サーモカメラ等のセンサを有する監視機器40を設置して、ユーザの動き検出を行うとともに滞留状態認識データを用いることで、IoT化されていない非対応機器を利用して、ユーザ検出の代用を行うことが可能である。
(情報出力の自動切り替え)
ところで、出力対象の機器の切り替えのトリガとなる情報が、制御機器10ではなく、ユーザの動きとなる場合がある。
例えば、メッセンジャやスケジューラ等の通知を行う場合には、制御機器10が、出力対象の機器の切り替えのトリガとなるが、リビングに設置されたテレビ受像機で、テレビ番組を視聴していたユーザが、キッチンに移動して料理をするに際して、視聴中のテレビ番組の音声出力のみを、キッチンに設置された家電機器20に転送する場合には、トリガとなる情報が異なる。
この場合において、ユーザは、キッチンに移動する際に、音声(音)を自分に追従させるか否かの設定を行い、音声を追従させる設定にした場合、ユーザの移動がトリガとなる。この設定を行う理由は、ユーザによっては、音声の追従が不要な場合も想定されるからである。
その後、キッチン内の空間で、調理中のユーザが数十cm〜数mの距離で移動することが想定される。この場合に、調理中のユーザが、現在音声を出力している家電機器20から一定距離だけ移動し、他の家電機器20に近づいたとき、ユーザの移動をトリガとして、他の家電機器20から音声が出力されるようにする。
このときの対応として、図10に示したパケットを拡張して、図17に示すように、8ビットのOperation Codeに、"TRACKING"("6")を追加する。これにより、制御機器10からトラッキング信号を受信した家電機器20は、自己のセンサ223を用い、ユーザの位置の変化を追尾することになる。
例えば、制御機器10が、トラッキング信号をブロードキャストで送信した場合、各家電機器20は、間欠的にユーザの位置情報を更新するモードに遷移し、現在音声を出力している家電機器20よりも、短い経過時間tを算出した他の家電機器20が現れたとき、出力対象の機器を、他の家電機器20に変更することができる。
次に、図18,図19のフローチャートを参照して、情報出力の自動切り替えに対応した機器制御システム1の全体の処理の流れを説明する。
(制御機器の処理例)
図18は、制御機器10の処理の例を説明するフローチャートである。
ステップS111において、制御部100は、ユーザによる移動の際に音声等を自分に追従させるか否かの設定に基づいて、トラッキングを開始するかどうかを判定する。
ステップS111の判定処理で、トラッキングを開始すると判定された場合に、処理は、ステップS112に進められる。
ステップS112において、パケット生成部111は、トラッキング信号を生成する。また、ステップS112において、ネットワーク部105は、制御部100からの制御に従い、生成されたトラッキング信号を、ネットワーク30を介してブロードキャストで送信する。
このトラッキング信号を受信した家電機器20からは、ネットワーク30を介して返信信号が送信され、ネットワーク部105により受信される。
ステップS113において、パケット解析部112は、受信した返信信号に含まれる経過時間情報等の情報に基づいて、現在音声等の情報を出力している家電機器20よりも、短い経過時間tの家電機器20が現れて、経過時間tの最も短い家電機器20の更新があったかどうかを判定する。
ステップS113の判定処理で、経過時間tの最も短い家電機器20の更新がないと判定された場合、更新があるまで、判定処理が繰り返される。
一方で、ステップS113の判定処理で、経過時間tの最も短い家電機器20の更新があると判定された場合、処理は、ステップS114に進められる。
ステップS114において、出力制御部113は、ネットワーク部105等の各部を制御することで、出力対象の機器の切り替え処理を行い、更新後に最も短い経過時間tを算出した家電機器20に、出力対象の機器を切り替える。
これにより、例えば、ユーザの移動に追従して、出力対象の機器が、コンロ20−5から、電子レンジ20−2に切り替えられるため、ユーザは、最も近い位置にある電子レンジ20−2から出力される音声を聴くことができる。
ステップS115において、制御部100は、トラッキングを終了するかどうかを判定する。ここでは、例えば、キッチン等の空間からユーザが居なくなったとき、トラッキングを終了することができる。
ステップS115の判定処理で、トラッキングを終了せずに継続すると判定された場合、処理は、ステップS113に戻り、上述したステップS113乃至S115の処理が繰り返される。
また、ステップS115の判定処理で、トラッキングを終了すると判定された場合、処理は、ステップS116に進められる。
ステップS116において、パケット生成部111は、トラッキングの終了を示す終了信号を生成する。また、ステップS116において、ネットワーク部105は、制御部100からの制御に従い、生成された終了信号を、ネットワーク30を介してブロードキャストで送信する。ステップS116の処理が終了すると、処理を終了する。
以上、制御機器10の処理の流れを説明した。
(家電機器の処理例)
図19は、家電機器20の処理の例を説明するフローチャートである。
ステップS141において、パケット検出部211は、ネットワーク30を介して制御機器10から送信されてくるトラッキング信号を受信したかどうかを判定する。このトラッキング信号は、図18のステップS112の処理で送信される。
ステップS141の判定処理で、トラッキング信号を受信したと判定された場合に、処理は、ステップS142に進められる。
ステップS142において、制御部200は、自己のセンサ223によるユーザ検出を更新する。これにより、センサデータ解析部214では、センサ223からのセンサデータの解析が行われる。なお、ここで用いられるセンサ223は、人感センサであっても、他のセンサであっても構わない。
ステップS143において、センサデータ解析部214は、解析結果に基づいて、新たにユーザの検出があったかどうかを判定する。
ステップS143の判定処理で新たにユーザの検出があったと判定された場合、処理は、ステップS144に進められる。
ステップS144において、パケット生成部213は、センサデータ解析部214による解析結果等に基づいて、ユーザ検出状況情報や経過時間情報等の情報を含む返信信号を生成する。このユーザ検出状況情報には、ユーザを間欠的に検出した検出状況に関する情報を含む。また、経過時間情報には、ユーザを間欠的に検出したときの経過時間に関する情報が含まれる。
また、ステップS144において、ネットワーク部205は、制御部200からの制御に従い、生成された返信信号を、ネットワーク30を介して制御機器10に送信する。
一方で、ステップS143の判定処理で新たにユーザの検出がなかったと判定された場合、処理は、ステップS145に進められる。
ステップS145において、パケット検出部211は、制御機器10から送信されてくる終了信号を受信したかどうかを判定する。この終了信号は、図18のステップS116の処理で送信される。
ステップS145の判定処理で、終了信号を受信していないと判定された場合、処理は、ステップS142に戻り、上述した処理が繰り返される。すなわち、家電機器20では、制御機器10からの終了信号を受信するまで、間欠的にユーザの位置を検出して、その返信信号を、制御機器10に送信し続けることになる。
なお、ステップS145の判定処理で、終了信号を受信したと判定された場合、処理を終了する。
以上、家電機器20の処理の流れを説明した。
(情報出力の切り替えタイミング制御の例)
ところで、Level3のセンサレベルを有する家電機器20の人感センサによるユーザ検出などのリアルタイム処理を行う場合に、ユーザのわずかな移動によって、出力対象の機器を切り替えてしまうと、切り替えが頻繁に発生してしまい、煩わしく感じてしまう恐れがある。そこで、以下、ユーザのわずかな移動による出力対象の機器の切り替えの頻発を避ける方法を示す。
例えば、キッチンにおいて、コンロ20−5の前で調理中のユーザが、冷蔵庫20−1に保管された食材を取りに行くケースを想定する。このケースにおいて、図3に示した配置のように、ユーザの移動経路(の近傍)に電子レンジ20−2が設置される場合に、冷蔵庫20−1と電子レンジ20−2が共にIoT化されて人感センサを有しているときには、移動中のユーザをそれぞれ検出可能である。
このとき、ユーザの移動経路(の近傍)に設置された冷蔵庫20−1や電子レンジ20−2等の家電機器20が順次反応して情報を出力してしまうと、ユーザは、煩わしく感じることが想定される。
このようケースを想定して、制御機器10では、出力対象の機器の候補となる家電機器20でユーザを検出してから経過した時間(t1,t2,・・・)を測定し、他の家電機器20からユーザ検出が通知された場合でも、測定時間が所定の時間閾値dtを経過していなければ、出力対象の機器を切り替えないようにする。なお、ここでの他の家電機器20には、Level3のセンサレベルを有する家電機器20だけでなく、Level1,2のセンサレベルを有する家電機器20も含まれる。
このような対策を施すことで、適切なチャタリング防止が実現されるため、出力対象の機器の切り替え時に、ユーザが、煩わしさを感じないようにすることができる。
図20のタイミングチャートは、ユーザ検出と、出力対象の機器の切り替えのタイミングの例を示している。なお、図20では、家電機器20ごとのタイミングを示しているが、時間の方向は、図中の左側から右側に向かう方向とされる。
最上段のタイミングチャート(A)に示すように、冷蔵庫20−1(A)では、人感センサによりユーザが検出された場合、制御機器10からの制御に従い、測定時間t1が時間閾値dtを経過したとき、出力設定が行われる。これにより、冷蔵庫20−1(A)が出力対象の機器となって、音等の情報を出力する。
その後、最上段と上から2段目のタイミングチャート(A,B)に示すように、電子レンジ20−2(B)では、人感センサ等のセンサ223によりユーザが検出されたが、測定時間t2が時間閾値dtを経過する前に、冷蔵庫20−1(A)で、人感センサによりユーザが再検出されている。
この場合、制御機器10は、電子レンジ20−2(B)を出力対象の機器とせずに、測定時間t1が時間閾値dtを経過したときに、冷蔵庫20−1(A)に対する出力設定を行う。これにより、冷蔵庫20−1(A)が継続して出力対象の機器となり、音等の情報を出力し続ける。
さらにその後に、上から2段目乃至4段目のタイミングチャート(B,D,E)に示すように、電子レンジ20−2(B)と、換気扇20−4(D)と、コンロ20−5(E)とで、センサ223により移動中のユーザが連続して検出されている。
このとき、電子レンジ20−2(B)と換気扇20−4(D)では、ユーザが検出されているが、測定時間t2,t4が時間閾値dtを経過する前に、他の家電機器20でユーザが検出されているため、出力対象の機器とはならない。つまり、冷蔵庫20−1(A)が継続して出力対象の機器となり、音等の情報を出力し続ける。
一方で、コンロ20−5(E)では、ユーザが検出された後に、測定時間t5が時間閾値dtを経過したとき、制御機器10からの制御に従い、出力設定が行われる。これにより、出力対象の機器が、冷蔵庫20−1(A)からコンロ20−5(E)に切り替えられ、コンロ20−5(E)から音等の情報が出力される。
(空間の広さに応じた対応)
例えば、制御機器10では、一定の経過時間tが過ぎて、ユーザが「キッチンから居なくなった」などの判定を行う場合、センサレベルごとの単位距離r×経過時間tを算出することでは、様々な広さを有する部屋に対応できないことも想定される。
このような部屋の広さ等に対応するために、特定の空間に応じた重み付け係数aを乗じてもよい。例えば、4m2のキッチンと、25m2のリビングでは、退出までに必要な時間が異なり、ユーザの移動パターンとしても滞留時間が異なることが想定される。
そこで、退室判定式に重み付け係数aを積算した下記の関係式(1)が成り立つときに、ユーザが退室したと判定する。
単位距離r × 経過時間t × 重み付け係数a > 閾値d ・・・(1)
なお、関係式(1)において、重み付け係数aの値は、ユーザが任意に場所ごとに設定してもよいが、ある程度の部屋の平米数の相関があるため、例えば、各部屋の中で最も狭いと想定されるトイレなどの広さを基準にして重み付け係数a=1とし、それ以外の部屋については、平米数に比例させて、重み付け係数aを小さくすればよい。
なお、上述した説明では、家電機器20として、特に冷蔵庫や電子レンジなどの白物家電を例示したが、家電機器20は、白物家電や電子機器等の機器を含む電気機器として構成されてもよい。制御装置10についても同様に、白物家電や電子機器等の機器を含む電気機器として構成されてもよい。また、本技術を適用した電気機器(制御装置10、家電機器20)は、各種の情報を処理する情報処理装置であるとも言える。
以上のように、機器制御システム1では、制御機器10が、人感センサを有する家電機器20のほかに、人感センサを有しない家電機器20であっても、ユーザの家電機器20の利用状況に応じて、ユーザに最も近いと想定される家電機器20を出力対象として特定して、情報を出力できるようにしている。これにより、より適切な出力対象の家電機器20を特定することができる。
また、ユーザの能動的な操作を受けず、また、システムとして人感センサ等の追加導入をせずに、既存の家電機器(白物家電)の利用状況から、ユーザの移動を加味した出力対象の家電機器を自動で特定することができる。これにより、例えば、コンテンツの音声(音)だけでなく、映像も合わせて最適な視聴環境を提供することが可能となる。
特に、出力対象の家電機器を特定する際に、ユーザは操作をする必要がないため、例えば手がふさがっている状況、手が汚れている状況などであっても、有効に作用することが想定される。
また、本技術は、従来のネットワークコンテンツの視聴規格であるDLNAの問題点も解決することができる。すなわち、例えば、あらかじめ録画したコンテンツを、ユーザが、リビングに設置されたテレビ受像機で視聴しているとき、食事の時間になったので、料理をはじめようとキッチンに移動した場合に、キッチンにあるタブレット端末等の機器で、コンテンツの続きを視聴することができる。また、その途中で、ユーザが自分の部屋などの他の部屋に移動した場合でも、自分の部屋にあるタブレット端末や、テレビ受像機等の機器でのコンテンツの再生に自動で切り替わるため、ユーザは、コンテンツの視聴を継続することができる。
なお、上述した特許文献1では、部屋の入り口と部屋内に人感センサを備え、2つのセンサのユーザ検出状況組み合わせにより、ユーザの在室と不在を判断するシステムを提案している。
特許文献1で提案されているものは、本技術とは異なり、専用の人感センサを屋内に接地する事が前提となっている技術であり、また、本技術と異なって、大きく在室・不在の2状態を判断することを目的としている。また、本技術では、より詳細にユーザの最も近くに存在する家電機器を特定する方法も合わせて提供している点でも相違している。
また、上述した特許文献2では、人感センサと家電コントローラを対にして管理するCPUとメモリがあり、ユーザがある部屋から別の部屋に移動したことを検知すると、元の部屋からユーザが移動した先の部屋にある機器に対して元の部屋の機器がオンになっていることを通知し、必要に応じて元の部屋の機器をオフするシステムを提案している。
特許文献2で提案されているものは、大きく部屋単位でユーザの移動を検知していたり、このために部屋に人感センサを導入していたり、目的は移動元の部屋にある機器の電源制御をすることであったりする点で、本技術と相違している。
これらの2件の特許文献のいずれの場合も、ユーザを検出するために人感センサを別体として備えていることと、在室・不在の大枠2値でしか判断できないため、リビングやキッチンなどの広い部屋内でユーザがどの位置に存在していて、ユーザに最も近い家電機器が何なのかを特定することはできない。そのため、本明細書で例示しているユーザに最も近い家電機器を特定して音等の情報を出力する目的にはあわない。
<3.コンピュータの構成>
上述した制御機器10及び家電機器20の一連の処理の一部又は全部は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。
図21は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)1001、ROM(Read Only Memory)1002、RAM(Random Access Memory)1003は、バス1004により相互に接続されている。バス1004には、さらに、入出力インターフェース1005が接続されている。入出力インターフェース1005には、入力部1006、出力部1007、記憶部1008、通信部1009、及びドライブ1010が接続されている。
入力部1006は、マイクロフォン、キーボード、マウスなどよりなる。出力部1007は、スピーカ、ディスプレイなどよりなる。記憶部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインターフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体1011を駆動する。
以上のように構成されるコンピュータでは、CPU1001が、ROM1002や記憶部1008に記録されているプログラムを、入出力インターフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記録媒体1011をドライブ1010に装着することにより、入出力インターフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
また、プログラムは、1のコンピュータ(プロセッサ)により処理されてもよいし、複数のコンピュータによって分散処理されてもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されてもよい。
さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい
なお、本技術は、以下のような構成をとることができる。
(1)
電気機器が有するセンサの検出粒度に応じたセンサレベルに基づいて、ユーザに対して情報を出力する出力対象の電気機器を特定する制御部を備える
情報処理装置。
(2)
前記制御部は、各電気機器が有するセンサで前記ユーザを検出してからの経過時間に基づいて、複数の電気機器の中から、出力対象の電気機器を特定する
前記(1)に記載の情報処理装置。
(3)
前記センサレベルは、前記ユーザの位置を直接的に検出可能なセンサを含む第1のレベルと、前記ユーザの位置を間接的に検出可能なセンサを含む第2のレベルを有し、
前記第2のレベルのセンサは、前記第1のレベルのセンサよりも、前記経過時間が長くなる
前記(2)に記載の情報処理装置。
(4)
前記制御部は、特定の空間内に、前記第1のレベルのセンサを有する電気機器が存在する場合に、前記経過時間が所定の時間内にあるとき、当該電気機器を、出力対象の電気機器として特定する
前記(3)に記載の情報処理装置。
(5)
前記制御部は、特定の空間内に、前記第1のレベルのセンサを有する電気機器が存在しない場合、又は前記第1のレベルのセンサを有する電気機器が存在するが、前記経過時間が所定の時間外となる場合、前記第2のレベルのセンサを有する電気機器を、出力対象の電気機器として特定する
前記(3)又は(4)に記載の情報処理装置。
(6)
前記制御部は、前記第2のレベルのセンサを有する電気機器が複数存在する場合、最も短い経過時間を有する電気機器を、出力対象の電気機器として特定する
前記(5)に記載の情報処理装置。
(7)
前記制御部は、最も短い経過時間を有する電気機器に応じた位置を基準に定められる範囲内に存在する1又は複数の電気機器を、出力対象の電気機器として特定する
前記(6)に記載の情報処理装置。
(8)
前記第2のレベルは、前記ユーザの操作頻度に応じて複数の段階に分けられ、
前記制御部は、最も短い経過時間を有する電気機器に応じた位置を中心に、当該経過時間と、前記第2のレベルの段階に応じた単位距離との演算により定められる範囲内に存在する1又は複数の電気機器を、出力対象の電気機器として特定する
前記(7)に記載の情報処理装置。
(9)
前記単位距離は、前記ユーザの操作頻度が低いほど、その距離が長くなる
前記(8)に記載の情報処理装置。
(10)
前記制御部は、前記経過時間と前記単位距離との演算結果が所定の閾値を超える場合、前記特定の空間内から前記ユーザが移動したものと推定する
前記(8)又は(9)に記載の情報処理装置。
(11)
前記制御部は、前記演算結果の閾値判定を行う際に、前記演算結果に対し、前記特定の空間に応じた重み付けを行う
前記(10)に記載の情報処理装置。
(12)
通信を行う通信部をさらに備え、
前記通信部は、
前記電気機器に対する通信要求であるトリガ信号を、ネットワークを介して送信し、
前記トリガ信号を受信した前記電気機器から送信されてくる返信信号を受信し、
前記制御部は、前記返信信号に基づいて、出力対象の電気機器を特定する
前記(1)乃至(11)に記載の情報処理装置。
(13)
前記返信信号は、前記センサレベルに関するセンサレベル情報と、前記ユーザの検出状況に関するユーザ検出状況情報と、各電気機器が有するセンサで前記ユーザを検出してからの経過時間に関する経過時間情報とを含む
前記(12)に記載の情報処理装置。
(14)
通信を行う通信部をさらに備え、
前記通信部は、
前記ユーザの位置変化を追尾するためのトラッキング信号を、ネットワークを介して送信し、
前記トラッキング信号を受信した前記電気機器から送信されてくる返信信号を受信し、
前記制御部は、前記返信信号に基づいて、各電気機器が有するセンサで前記ユーザを検出してからの経過時間が、現在の出力対象の電気機器よりも短い電気機器が存在する場合、当該電気機器に、出力対象の電気機器を変更する
前記(1)乃至(13)のいずれかに記載の情報処理装置。
(15)
前記返信信号は、前記ユーザを間欠的に検出した検出状況に関するユーザ検出状況情報と、前記ユーザを間欠的に検出したときの前記経過時間に関する経過時間情報とを含む
前記(14)に記載の情報処理装置。
(16)
前記制御部は、
出力対象の電気機器を特定するに際し、出力対象の電気機器の候補となる電気機器で前記ユーザを検出してから経過した時間を測定し、
測定時間が時間閾値を経過したとき、当該電気機器に、出力対象の電気機器を変更する
前記(1)乃至(15)に記載の情報処理装置。
(17)
前記第1のレベルのセンサは、人感センサを含み、
前記第2のレベルのセンサは、前記ユーザの操作を検出可能なセンサを含む
前記(3)乃至(11)のいずれかに記載の情報処理装置。
(18)
前記情報は、音、画像、メッセージ、又はスケジュールに関する情報を含む
前記(1)乃至(17)のいずれかに記載の情報処理装置。
(19)
情報処理装置が、
電気機器が有するセンサの検出粒度に応じたセンサレベルに基づいて、ユーザに対して情報を出力する出力対象の電気機器を特定する
情報処理方法。
(20)
コンピュータを、
電気機器が有するセンサの検出粒度に応じたセンサレベルに基づいて、ユーザに対して情報を出力する出力対象の電気機器を特定する制御部を備える情報処理装置として機能させる
プログラム。
(21)
センサと、
電気機器から送信されてくる通信要求であるトリガ信号を受信し、前記トリガ信号に対する応答である返信信号であって前記電気機器がユーザに対して情報を出力する出力対象の機器を特定するための前記センサに関する情報を含む前記返信信号を前記電気機器に送信する通信部と
を備え、
前記センサの検出粒度に応じたセンサレベルが割り当てられる
情報処理装置。
1 機器制御システム, 10 制御機器, 20,20−1乃至20−5 家電機器, 100 制御部, 101 入力部, 102 出力部, 103 I/F部, 104 記憶部, 105 ネットワーク部, 111 パケット生成部, 112 パケット解析部, 113 出力制御部, 121 タッチパネル, 122 ボタン, 131 ディスプレイ, 132 スピーカ, 200 制御部, 201 入力部, 202 出力部, 203 I/F部, 204 記憶部, 205 ネットワーク部, 211 パケット検出部, 212 パケット解析部, 213 パケット生成部, 214 センサデータ解析部, 215 プロファイル制御部, 1001 CPU

Claims (20)

  1. 電気機器が有するセンサの検出粒度に応じたセンサレベルに基づいて、ユーザに対して情報を出力する出力対象の電気機器を特定する制御部を備える
    情報処理装置。
  2. 前記制御部は、各電気機器が有するセンサで前記ユーザを検出してからの経過時間に基づいて、複数の電気機器の中から、出力対象の電気機器を特定する
    請求項1に記載の情報処理装置。
  3. 前記センサレベルは、前記ユーザの位置を直接的に検出可能なセンサを含む第1のレベルと、前記ユーザの位置を間接的に検出可能なセンサを含む第2のレベルを有し、
    前記第2のレベルのセンサは、前記第1のレベルのセンサよりも、前記経過時間が長くなる
    請求項2に記載の情報処理装置。
  4. 前記制御部は、特定の空間内に、前記第1のレベルのセンサを有する電気機器が存在する場合に、前記経過時間が所定の時間内にあるとき、当該電気機器を、出力対象の電気機器として特定する
    請求項3に記載の情報処理装置。
  5. 前記制御部は、特定の空間内に、前記第1のレベルのセンサを有する電気機器が存在しない場合、又は前記第1のレベルのセンサを有する電気機器が存在するが、前記経過時間が所定の時間外となる場合、前記第2のレベルのセンサを有する電気機器を、出力対象の電気機器として特定する
    請求項3に記載の情報処理装置。
  6. 前記制御部は、前記第2のレベルのセンサを有する電気機器が複数存在する場合、最も短い経過時間を有する電気機器を、出力対象の電気機器として特定する
    請求項5に記載の情報処理装置。
  7. 前記制御部は、最も短い経過時間を有する電気機器に応じた位置を基準に定められる範囲内に存在する1又は複数の電気機器を、出力対象の電気機器として特定する
    請求項6に記載の情報処理装置。
  8. 前記第2のレベルは、前記ユーザの操作頻度に応じて複数の段階に分けられ、
    前記制御部は、最も短い経過時間を有する電気機器に応じた位置を中心に、当該経過時間と、前記第2のレベルの段階に応じた単位距離との演算により定められる範囲内に存在する1又は複数の電気機器を、出力対象の電気機器として特定する
    請求項7に記載の情報処理装置。
  9. 前記単位距離は、前記ユーザの操作頻度が低いほど、その距離が長くなる
    請求項8に記載の情報処理装置。
  10. 前記制御部は、前記経過時間と前記単位距離との演算結果が所定の閾値を超える場合、前記特定の空間内から前記ユーザが移動したものと推定する
    請求項8に記載の情報処理装置。
  11. 前記制御部は、前記演算結果の閾値判定を行う際に、前記演算結果に対し、前記特定の空間に応じた重み付けを行う
    請求項10に記載の情報処理装置。
  12. 通信を行う通信部をさらに備え、
    前記通信部は、
    前記電気機器に対する通信要求であるトリガ信号を、ネットワークを介して送信し、
    前記トリガ信号を受信した前記電気機器から送信されてくる返信信号を受信し、
    前記制御部は、前記返信信号に基づいて、出力対象の電気機器を特定する
    請求項1に記載の情報処理装置。
  13. 前記返信信号は、前記センサレベルに関するセンサレベル情報と、前記ユーザの検出状況に関するユーザ検出状況情報と、各電気機器が有するセンサで前記ユーザを検出してからの経過時間に関する経過時間情報とを含む
    請求項12に記載の情報処理装置。
  14. 通信を行う通信部をさらに備え、
    前記通信部は、
    前記ユーザの位置変化を追尾するためのトラッキング信号を、ネットワークを介して送信し、
    前記トラッキング信号を受信した前記電気機器から送信されてくる返信信号を受信し、
    前記制御部は、前記返信信号に基づいて、各電気機器が有するセンサで前記ユーザを検出してからの経過時間が、現在の出力対象の電気機器よりも短い電気機器が存在する場合、当該電気機器に、出力対象の電気機器を変更する
    請求項1に記載の情報処理装置。
  15. 前記返信信号は、前記ユーザを間欠的に検出した検出状況に関するユーザ検出状況情報と、前記ユーザを間欠的に検出したときの前記経過時間に関する経過時間情報とを含む
    請求項14に記載の情報処理装置。
  16. 前記制御部は、
    出力対象の電気機器を特定するに際し、出力対象の電気機器の候補となる電気機器で前記ユーザを検出してから経過した時間を測定し、
    測定時間が時間閾値を経過したとき、当該電気機器に、出力対象の電気機器を変更する
    請求項1に記載の情報処理装置。
  17. 前記第1のレベルのセンサは、人感センサを含み、
    前記第2のレベルのセンサは、前記ユーザの操作を検出可能なセンサを含む
    請求項3に記載の情報処理装置。
  18. 前記情報は、音、画像、メッセージ、又はスケジュールに関する情報を含む
    請求項1に記載の情報処理装置。
  19. 情報処理装置が、
    電気機器が有するセンサの検出粒度に応じたセンサレベルに基づいて、ユーザに対して情報を出力する出力対象の電気機器を特定する
    情報処理方法。
  20. コンピュータを、
    電気機器が有するセンサの検出粒度に応じたセンサレベルに基づいて、ユーザに対して情報を出力する出力対象の電気機器を特定する制御部を備える情報処理装置として機能させる
    プログラム。
JP2019195188A 2019-10-28 2019-10-28 情報処理装置、情報処理方法、及びプログラム Pending JP2021068370A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019195188A JP2021068370A (ja) 2019-10-28 2019-10-28 情報処理装置、情報処理方法、及びプログラム
US17/770,337 US20220390912A1 (en) 2019-10-28 2020-10-14 Information processing device, information processing method, and program
PCT/JP2020/038710 WO2021085126A1 (ja) 2019-10-28 2020-10-14 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019195188A JP2021068370A (ja) 2019-10-28 2019-10-28 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2021068370A true JP2021068370A (ja) 2021-04-30

Family

ID=75638492

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019195188A Pending JP2021068370A (ja) 2019-10-28 2019-10-28 情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20220390912A1 (ja)
JP (1) JP2021068370A (ja)
WO (1) WO2021085126A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6016371B2 (ja) * 2012-02-03 2016-10-26 シャープ株式会社 通知システム、通知方法、及びサーバ装置
BR112015006455B1 (pt) * 2012-10-26 2022-12-20 Apple Inc Terminal móvel, servidor operável para adaptação de multimídia com base em orientação de vídeo, método para adaptação de multimídia em um servidor com base em orientação de dispositivo de um terminal móvel e meio de armazenamento legível por máquina
WO2015127059A2 (en) * 2014-02-24 2015-08-27 Sony Corporation Smart wearable devices and methods with attention level and workload sensing
JP2016076799A (ja) * 2014-10-03 2016-05-12 シャープ株式会社 家電管理システム、家電、リモコン装置、ロボット

Also Published As

Publication number Publication date
US20220390912A1 (en) 2022-12-08
WO2021085126A1 (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
US11594124B2 (en) Systems and methods for contextual intelligence using networked devices
EP3776008B1 (en) Method and electronic device for ultrasonic sensing in smart devices
US20240134462A1 (en) Confidence-based application-specific user interactions
EP3455720A1 (en) Led design language for visual affordance of voice user interfaces
WO2017197184A1 (en) Led design language for visual affordance of voice user interfaces
US11743578B2 (en) Systems and methods of power-management on smart devices
EP2846328A1 (en) Method and apparatus of detection of events
US11875659B2 (en) Privacy-preserving radar-based fall monitoring
US20200301378A1 (en) Deducing floor plans using modular wall units
CN114342357B (zh) 基于事件的记录
US20210072378A1 (en) Systems and methods of ultrasonic sensing in smart devices
US12001614B2 (en) Confidence-based application-specific user interactions
EP3839580B1 (en) Confidence-based application-specific user interactions
JP6152853B2 (ja) 制御方法及びプログラム
CN110602197A (zh) 物联网控制装置和方法、电子设备
WO2021085126A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111183478B (zh) 家电***
WO2021065558A1 (ja) 情報処理装置及び情報処理方法、並びに、電気機器及び電気機器の処理方法