JP6478242B2 - 情報提供方法 - Google Patents

情報提供方法 Download PDF

Info

Publication number
JP6478242B2
JP6478242B2 JP2015516914A JP2015516914A JP6478242B2 JP 6478242 B2 JP6478242 B2 JP 6478242B2 JP 2015516914 A JP2015516914 A JP 2015516914A JP 2015516914 A JP2015516914 A JP 2015516914A JP 6478242 B2 JP6478242 B2 JP 6478242B2
Authority
JP
Japan
Prior art keywords
display
information
home appliance
home appliances
home
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015516914A
Other languages
English (en)
Other versions
JPWO2014185056A1 (ja
Inventor
恵大 飯田
恵大 飯田
山田 和範
山田  和範
光洋 阿曽
光洋 阿曽
路子 笹川
路子 笹川
正之 廣本
正之 廣本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JPWO2014185056A1 publication Critical patent/JPWO2014185056A1/ja
Application granted granted Critical
Publication of JP6478242B2 publication Critical patent/JP6478242B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data
    • H04L43/028Capturing of monitoring data by filtering
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2807Exchanging configuration information on appliance services in a home automation network
    • H04L12/281Exchanging configuration information on appliance services in a home automation network indicating a format for calling an appliance service function in a home automation network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2807Exchanging configuration information on appliance services in a home automation network
    • H04L12/2812Exchanging configuration information on appliance services in a home automation network describing content present in a home automation network, e.g. audio video content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2823Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2825Reporting to a device located outside the home and the home network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/38Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本開示は、情報提供方法に関し、特に、ネットワークを介して接続された複数の家電機器と表示装置とサーバとにおける情報提供方法に関する。
近年、家庭内においてもネットワーク環境が整備されてきたことにともない、パソコンだけでなく、テレビやレコーダー、さらにエアコンや冷蔵庫等の家電機器も、ネットワークに接続できる機能を付加したものが販売されている。
そのため、ネットワークを介して多種多様な情報を収集し、収集した情報を活用することが求められると予想される。
例えば特許文献1では、複数プラントの監視制御システムにおける中央監視制御装置等の画面に対する情報表示方法が開示されている。特許文献1によれば、監視員が、多種多様の情報を視認するためにわざわざ個々に別画面を開くことなく、一度に視認しやすいように多種多様の情報を表示することができる。
特開2007−316813号公報
しかしながら、特許文献1に開示された情報表示方法では、ある程度の量の多種多様な情報を重畳表示することは可能であるものの、いわゆるビッグデータと呼ばれる量の多種多様な情報を視認しやすく表示することはできないという課題がある。
本開示は、かかる課題を解決するもので、膨大で多種多様な情報であっても、視認しやすい表示態様で提供することができる情報提供方法を提供するものである。
本開示の一形態に係る情報提供方法は、ネットワークを介して接続された複数の家電機器と表示装置とサーバとにおける情報提供方法であって、前記サーバにおいて、前記複数の家電機器それぞれから前記複数の家電機器それぞれに関する情報を受信する受信ステップと、前記受信ステップにおいて受信された前記複数の家電機器それぞれに関する情報をフィルタリングし、前記表示装置が特定の表示形式で表示するための表示情報を生成する処理を行う処理ステップと、前記処理ステップにおける前記表示情報を前記表示装置に送信する送信ステップとを含む。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示の情報提供方法等によれば、膨大で多種多様な情報であっても、視認しやすい表示態様で提供することができる。
図1は、実施の形態1における情報提供システムの構成の一例を示す図である。 図2は、実施の形態1における家電DB群が保持する家のIDと属性情報との一例を示す図である。 図3は、実施の形態1における家電DB群が保持する家電状態変化とユーザ操作とを含むイベントログの一例を示す図である。 図4Aは、実施の形態1における情報共有サービスの画面情報の一例を示す図である。 図4Bは、実施の形態1における表示装置の構成の一例を示す図である。 図4Cは、実施の形態1におけるサーバの構成の一例を示す図である。 図5は、実施の形態1における表示装置のUI取得の処理の一例を示すフローチャートである。 図6は、実施の形態1における家電機器がサーバにイベント通知を行うまでの処理の一例を示すフローチャートである。 図7は、実施の形態1におけるサーバが表示装置にUI更新を通知する処理の一例を示すフローチャートである。 図8は、図7のS2333、S2334およびS2335の詳細処理を示すフローチャートである。 図9は、実施の形態1におけるハウスDBに格納されている情報の一例を示す図である。 図10は、実施の形態1における大阪府の家電イベント集計表の一例を示す図である。 図11は、実施の形態1における家電イベント発生頻度一覧表の一例を示す図である。 図12は、実施の形態1における家電種別毎の稼働率の一例を示す図である。 図13は、実施の形態1における表示手段への表示変更通知の内容の一例を示す図である。 図14Aは、図8に示す処理実施前に表示手段により表示されるUIの一例を示す図である。 図14Bは、図8に示す処理実施後に表示手段により表示されるUIの一例を示す図である。 図15は、実施の形態2における情報提供システムの構成の一例を示す図である。 図16は、実施の形態2における家電カテゴリDBに格納されている情報の一例を示す図である。 図17は、実施の形態2におけるサーバがカテゴリ種別及び表示サイズを決定する処理を示すフローチャートである。 図18は、実施の形態2における表示手段により表示されるUIの一例を示す図である。 図19は、実施の形態2における家電カテゴリDBに格納される情報の一例を示す図である。 図20は、実施の形態3における表示形式判定手段の構成の一例を示す図である。 図21は、実施の形態3における家電稼働時間予測手段が家電機器の稼働時間を予測する処理の一例を示すフローチャートである。 図22は、実施の形態3における家電DB群が保持するイベントログから稼働時間を算出する方法の一例を示す図である。 図23は、実施の形態3における家電DB群が保持するイベントログから稼働時間を算出する方法の一例を示す図である。 図24は、実施の形態3における家電DB群が保持する家電操作比率の一例を示す図である。 図25は、実施の形態3における表示指標値算出部が表示指標を算出する処理の一例を示すフローチャートである。 図26は、実施の形態3における特定の表示形式で表示された表示画面の一例を示す図である。 図27は、実施の形態3における特定の表示形式で表示された表示画面の別の一例を示す図である。 図28は、図26の表示画面に応用を加えた場合の表示画面の一例を示す図である。 図29は、図27の表示画面に応用を加えた場合の表示画面の一例を示す図である。 図30は、実施の形態4における特定の表示形式で表示された表示画面の一例を示す図である。 図31は、図30に示す特定の表示形式を生成する処理の一例を示すフローチャートである。 図32は、実施の形態4におけるユーザアイコン同士が重なっている表示形式の一例を示す図である。 図33は、実施の形態4における背景地図画像の変形による表示形式の一例を示す図である。 図34は、実施の形態4における表示形式の遷移の一例を示す図である。 図35Aは、実施の形態5における無線コースターの外観の一例を示す図である。 図35Bは、実施の形態5における無線コースターの構成の一例を示す図である。 図36は、実施の形態5における無線コースターが状態を検出する処理の一例を示すフローチャートである。 図37は、実施の形態5における無線コースターが、有線接続でPCと接続された場合のシステムの構成の一例を示す図である。 図38は、実施の形態5におけるコースターが状態を検出してPCと連携する処理の一例を示すフローチャートである。 図39は、実施の形態5におけるコースターから得られる情報の一例を示す図である。 図40は、実施の形態5におけるコースターと連動して表示される画面情報の一例を示す図である。 図41は、実施の形態5における無線コースターが状態推定を行う場合の構成の一例を示す図である。 図42は、実施の形態5におけるコースターが状態を検出する処理を示すフローチャートである。 図43は、実施の形態5における重量変化のパターンの一例を示す図である。 図44は、実施の形態5におけるコースターから得られる情報の一例を示す図である。 図45は、実施の形態5における状態を推定する機能を有するサーバの構成の一例を示す図である。 図46は、実施の形態5におけるサーバの処理の一例を示すフローチャートである。 図47は、実施の形態5におけるサーバの処理の一例を示すフローチャートである。 図48は、実施の形態5におけるカップDBに保存される情報の一例を示す図である。 図49は、実施の形態5におけるカップの主に使われる時間帯を算出するための使用頻度情報の一例を示す図である。 図50は、実施の形態5におけるコーヒーメーカの利用情報とコースターの情報を同時に用いるシステムの構成の一例を示す図である。 図51は、実施の形態5における飲み物のメーカの情報を用いる場合のサーバの構成の一例を示す図である。 図52は、実施の形態5におけるコーヒーメーカなどのメーカの情報を表示した共有画面の一例を示す図である。 図53は、実施の形態5における飲み物のメーカの情報を用いる場合のサーバの処理の一例を示すフローチャートである。 図54は、実施の形態6におけるシステムの構成の一例を示す図である。 図55は、実施の形態6におけるネットワーク接続マイクデバイスが集音する音発生装置の発する音の一例を示す図である。 図56Aは、実施の形態6におけるネットワーク接続マイクデバイスの具体的な構成の一例を示す図である。 図56Bは、実施の形態6における音発生装置Aの具体的な構成の一例を示す図である。 図56Cは、実施の形態6における音発生装置Bの具体的な構成の一例を示す図である。 図57は、実施の形態6におけるネットワーク接続マイクデバイスの動作の一例を説明するためのフローチャートである。 図58は、実施の形態6におけるネットワーク接続マイクデバイスの動作の一例を説明するためのフローチャートである。 図59は、実施の形態6における音発生装置Aの動作の一例を説明するためのフローチャートである。 図60は、実施の形態6における音発生装置Aが出力する音を決定するために用いられるテーブルの一例である。 図61は、実施の形態6における母親の音声認識に関連付けられた子どもの状態の例を示す図である。 図62は、実施の形態6における表示装置に表示されるUIの一例である。 図63は、実施の形態6における表示装置に表示されるUIの一例である。 図64は、実施の形態6における表示装置に表示するUIの表示効果の一例を示す図である。 図65は、実施の形態6におけるネットワーク接続マイクデバイスと表示装置の位置関係に応じた表示効果の速度の一例を示す図である。 図66は、実施の形態6における表示装置へのイベント通知経過時間に応じた表示効果の一例を示す図である。 図67は、実施の形態6におけるサーバが表示装置1にUI更新を通知する処理の一例を示すフローチャートである。 図68は、実施の形態6における家電DB群が格納するネットワーク接続マイクデバイスにより通知されたイベントの一例を示す図である。 図69Aは、実施の形態6におけるサーバの家電DB群が蓄積するイベントの集計結果の一例を示す図である。 図69Bは、実施の形態6におけるサーバの家電DB群が蓄積するイベントの集計結果の一例を示す図である。 図70は、実施の形態6における表示装置がサーバからのUI変更通知後に表示するUIの一例を示す図である。 図71Aは、サーバを用いてサービスを提供する形態の一例を説明するための図である。 図71Bは、サーバを用いてサービスを提供する形態の一例を説明するための図である。 図71Cは、サーバを用いてサービスを提供する形態の一例を説明するための図である。 図72は、サービスの類型の一例を説明するための図である。 図73は、サービスの類型の一例を説明するための図である。 図74は、サービスの類型の一例を説明するための図である。 図75は、サービスの類型の一例を説明するための図である。
(発明の基礎となった知見)
近年、家庭内においてもネットワーク環境が整備されてきたことにともない、パソコンだけでなく、テレビやレコーダー、さらにエアコンや冷蔵庫等の家電機器にも、ネットワークに接続できる機能を付加したものが販売されている。
それによって、家庭内のネットワークに接続された家電機器を集中的に制御したり、個々の家電機器の消費電力等をモニタリングしたりするような機能も提供されている。また、モバイル環境を利用することで、家電機器を外出先からも制御できるようなサービスも紹介されている。
しかしながら、それら家電機器のネットワークは、一つの家庭内部の複数の家電機器の接続と利用にとどまり、他の家庭のネットワークに接続された家電機器まで含めたサービスにまでは至っていない。
近い将来、個々の家庭でネットワークに接続された家電機器に関する情報を、さらに、広範囲のネットワークで相互に繋ぐことで、家電ログ等の家電機器に関する多種多様な情報(いわゆるビッグデータ)を収集できるようになると予想される。発明者らは、収集した情報を活用することで、例えば第三者の家庭の家電機器の利用状況を把握して自身(ユーザ)の家電機器の利用のための参考にさせたり、別のSNS等の新たなサービス画面へ遷移させたりする新たなサービスも展開できると考えている。それにより、家電機器のユーザに対して今までにない家電機器の利用形態を創出できると考えている。
これを実現するためには、まず、広範囲のネットワークに接続された複数家庭の家電機器に関する情報を、各家庭のユーザが、各家庭の表示装置等により、集中して一覧することができるような、ポータル画面が用意されることが望ましい。それによって、ユーザは、別のSNS等の新たなサービス画面へ容易に遷移することができたり、自身の家庭も含めた各家庭での家電機器の利用状況等を、容易に把握できたりするだけでなく、それを起点にさまざまなサービスを利用できるようになるからである。
例えば特許文献1では、複数プラントの監視制御システムにおける中央監視制御装置等の画面に対する情報表示方法が開示されている。特許文献1では、プラント等で用いられる中央監視制御装置において、各プラントの地図等の固定部表示情報に、アラーム情報等の複数の可変部表示情報を、時分割で重畳させて表示させる技術が開示されている。それにより、監視員が、多種多様の情報を視認するためにわざわざ個々に別画面を開くことなく、一度に視認しやすいように多種多様の情報を表示することができる。
しかしながら、特許文献1に開示された情報表示方法では、ある程度の量の多種多様な情報を重畳表示することは可能であるものの、いわゆるビッグデータと呼ばれる量の多種多様な情報を視認しやすく表示することはできないという課題がある。
つまり、例えば日本全国の多くの家庭で、ネットワークに同時に接続された複数の家電機器に関する情報を収集した場合、収集する情報量と種類は膨大である。そのため、特許文献1に開示されるように、画面の時分割表示を利用した表示の切り替え方法だけでは、ビッグデータと呼ばれる量の多種多様な情報を視認しやすく表示することはできない。
そこで、本発明者らは、ネットワークに接続された家電機器等に関する情報のようなビッグデータを、一画面で視認しやすく表示させるために、まず、表示対象の情報を利用目的に応じて効果的に絞り込み、次いで、絞り込まれた情報を視認しやすくまた次のサービス画面に遷移しやすく表示することができる情報提供方法を実現するために本発明を創出した。
本開示は、上述の事情を鑑みてなされたもので、膨大で多種多様な情報であっても、視認しやすい表示態様で提供することができる情報提供方法を提供するものである。
本開示の一態様に係る情報提供方法は、ネットワークを介して接続された複数の家電機器と表示装置とサーバとにおける情報提供方法であって、前記サーバにおいて、前記複数の家電機器それぞれから前記複数の家電機器それぞれに関する情報を受信する受信ステップと、前記受信ステップにおいて受信された前記複数の家電機器それぞれに関する情報をフィルタリングし、前記表示装置が特定の表示形式で表示するための表示情報を生成する処理を行う処理ステップと、前記処理ステップにおける前記表示情報を前記表示装置に送信する送信ステップとを含む。
これにより、膨大で多種多様な情報であっても、視認しやすい表示態様で提供することができる情報提供方法を実現できる。
そして、この情報提供方法によれば、複数の家庭における、ネットワークに接続された家電機器等に関する膨大で多種多様な情報を、各家庭のユーザが、その後の利用目的に応じて、容易に視認しやすいポータル画面で提供することもできる。
なお、ネットワークに接続された家電機器等に関する情報、と記載する際の「家電機器等」とは、テレビやレコーダー等のAV家電機器や、エアコンや冷蔵庫等のいわゆる白物家電だけでなく、美容家電、健康機器やデジタルカメラ等、ネットワークに接続され、機器自身のデータを通信できるあらゆるハード・ソフトウエアを含み得る。よって、NFCのセンサ等、M2Mでデータを通信できるものも含み得る。
また、「ネットワーク」は、家庭内での有線や無線によるLANや、Bluetooth(登録商標)、赤外線通信、ZigBee、NFC等の近距離通信だけでなく、屋外ではモバイルネットワークも含み、機器のデータを一方向または双方向に通信できるものであれば、その形態を問わない。
さらに、「表示装置」も、個々の家電機器上に搭載された表示画面や、ネットワークに接続されたテレビ、パソコン、プロジェクタだけでなく、携帯電話、スマートフォンやタブレット等、ユーザが情報を視認できるものであれば、やはりその形態を問わない。
また、例えば、前記情報提供方法は、さらに、前記表示装置において、前記サーバにより送信された前記表示情報に基づいて、フィルタリングされた前記1以上の家電機器に関する情報を含む家電機器に対応するオブジェクトを前記表示装置の表示画面に前記特定の表示形式で表示する表示ステップを含むとしてもよい。
ここで、例えば、前記処理ステップは、前記受信ステップにおいて、一定時間毎に、または、前記複数の家電機器それぞれに関する情報を一定数受信した時を契機に、受信した前記複数の家電機器に関する情報をカテゴリ別に集計する集計ステップと、前記集計の結果を用いて、フィルタリングした前記1以上の家電機器に関する情報を含む家電機器に対応するオブジェクトの表示サイズおよび表示位置を含む特定の表示形式を示す表示形式情報を算出する算出ステップと、を含み、前記送信ステップでは、前記表示形式情報を含む前記表示情報を前記表示装置に送信するとしてもよい。
また、例えば、前記集計ステップにおいて、地域を含む地理情報、家族構成および人数、並びに住居形態を含む前記家電機器のユーザの家に関する情報に基づいて決定されるカテゴリ別に、受信した前記複数の家電機器それぞれに関する情報を集計するとしてもよい。
また、例えば、前記受信ステップでは、前記複数の家電機器それぞれが状態変化したときを契機として前記家電機器それぞれが送信した前記複数の家電機器それぞれに関する情報を受信し、前記集計ステップでは、さらに、前記受信ステップにおいて受信した前記複数の家電それぞれに関する情報の受信回数に基づき、前記複数の家電機器の種別毎の稼働率を推定し、前記算出ステップでは、前記稼働率に基づいて、前記表示形式情報を算出するとしてもよい。
また、例えば、前記算出ステップでは、前記表示装置の画面のサイズによらない特定の表示形式であって当該画面における相対的な前記表示位置および前記表示サイズを含む特定の表示形式を示す前記表示形式情報を算出するとしてもよい。
また、例えば、前記受信ステップでは、受信した前記複数の家電機器それぞれに関する情報をデータベースに蓄積し、前記処理ステップは、さらに、前記受信ステップにおいて受信された前記複数の家電機器それぞれに関する情報にカテゴリ種別を示すカテゴリIDを付与し、前記受信ステップにおいて受信された前記複数の家電機器それぞれに関する情報と、蓄積された前記家電機器それぞれに関する情報に基づいて、前記カテゴリ種別の表示優先度を示すカテゴリ表示優先度と、前記複数の家電機器それぞれの表示優先度を示す家電表示優先度を決定する決定ステップとを含み、前記処理ステップでは、付与した前記カテゴリIDと、決定した前記カテゴリ表示優先度および前記家電表示優先度とを含めて前記表示情報を生成する処理を行い、前記表示ステップでは、前記表示情報に基づいて、前記カテゴリIDを同一とする1以上の家電機器を一まとまりとして前記表示画面に表示し、前記カテゴリ表示優先度の高いカテゴリIDに属する複数の家電機器に関する情報ほど前記表示画面において大きく表示するとしてもよい。
また、例えば、前記決定ステップでは、前記カテゴリIDを同一とする1以上の家電機器の利用頻度の総和に応じて前記カテゴリ表示優先度を決定するとしてもよい。
また、例えば、前記処理ステップでは、あらかじめ定められた利用頻度以下の家電機器がユーザに利用されたとき、前記ユーザに利用された前記家電機器が属するカテゴリIDの前記カテゴリ表示優先度を予め定めた値よりも一時的に高く設定するとしてもよい。
また、例えば、前記決定ステップでは、あらかじめ設定された時間帯にあらかじめ設定された利用頻度以上利用される複数の家電機器を同一のカテゴリ種別を示すカテゴリIDを付与するとしてもよい。
また、例えば、前記表示ステップでは、前記家電表示優先度に基づいて、前記カテゴリIDを同一とする1以上の家電機器を示すアイコンを一まとまりとして前記表示画面に表示し、さらに、前記1以上の家電機器を示すアイコンのうち前記家電表示優先度の高い家電機器に対応するアイコンほど、大きく表示するとしてもよい。
また、例えば、前記処理ステップは、さらに、前記受信ステップにおいて受信された前記複数の家電機器それぞれに関する情報に基づいて、前記複数の家電機器が稼動した時間である家電稼動時間を予測する家電稼働時間予測ステップと、前記家電稼働時間を、ユーザの操作時間で重み付けすることにより、フィルタリングした前記1以上の家電機器に関する情報を含む家電機器に対応するオブジェクトである家電アイコンの表示サイズおよび表示位置を決定するための表示指標値を算出する算出ステップと、を含み、前記表示ステップでは、前記サーバにより送信された前記表示指標値に基づいて、前記家電アイコンの前記表示画面における表示サイズおよび表示位置を決定して前記表示画面に表示するとしてもよい。
また、例えば、前記表示ステップでは、前記家電アイコンのうちユーザ操作が行われた家電機器に対応する家電アイコンの近傍に、前記ユーザ操作が行われていることを示すアイコンを表示するとしてもよい。
また、例えば、前記表示ステップでは、前記特定の表示形式として、前記家電アイコンと、表示対象となる複数のユーザそれぞれ示す複数の人アイコンのうち、所定の表示優先度に従って選択された人アイコンとを背景画像に重畳して前記表示画面に表示し、前記所定の表示優先度は、前記受信ステップにおいて受信された前記複数の家電機器それぞれに関する情報であって前記複数のユーザそれぞれに属する情報を利用して決定されるとしてもよい。
また、例えば、前記表示優先度は、前記複数の家電機器それぞれに関する情報として前記複数の家電機器それぞれの動作時間を用いて決定されるとしてもよい。
また、例えば、前記優先度は、前記複数の家電機器それぞれに関する情報として前記複数の家電機器それぞれの動作時間の累積を用いて決定されるとしてもよい。
また、例えば、前記表示ステップでは、さらに、前記複数の人アイコンまたは前記複数の家電アイコンが重ならないように前記背景画像を変形させて表示するとしてもよい。
また、例えば、前記表示ステップでは、さらに、前記背景画像が変形させて表示後に、表示する家電アイコンを切り替える場合には、前記背景画像を変形前の元の形に戻し、前記元の形の前記背景画像に重畳して表示する家電アイコンが重なるときには、前記背景画像を再度変形させて表示するとしてもよい。
また、例えば、前記背景画像は、地図であるとしてもよい。
また、例えば、前記情報提供方法は、さらに、前記複数の家電機器のうち重量を計測する機能を有する第1家電機器が、物体の重量の変化を計測する計測ステップと、前記計測ステップにおいて計測された前記重量の変化を示す重量情報と前記第1家電機器を一意に識別可能な識別子を、前記ネットワークを介して前記サーバに送信する機器送信ステップとを含み、前記受信ステップでは、送信された前記家電機器の識別子と前記重量情報とを受信し、前記処理ステップでは、さらに、受信した前記重量情報の変化パターンから、前記第1家電機器が計測した物体の状態を推定する推定ステップを含み、前記処理ステップでは、前記推定ステップにおいて推定された前記物体の状態に合わせた表示内容を前記特定の表示形式で前記表示装置が表示する表示情報を生成し、前記表示ステップでは、前記表示情報に基づいて、前記表示画面に表示されているアバターのうち前記物体に関連するユーザのアバターを前記表示内容に従って変更するとしてもよい。
また、例えば、前記計測ステップでは、前記第1家電機器にカップが置かれることで、前記カップの重量を計測し、前記推定ステップでは、受信した前記重量情報の変化パターンから、前記物体の状態として、前記第1家電機器のユーザが前記第1家電機器に前記カップを置くまたは前記第1家電機器から前記カップを取り上げたかどうかを推定するとしてもよい。
また、例えば、前記推定ステップでは、受信した前記重量情報の変化パターンから、前記第1家電機器のユーザの利用する物体の重さを推測し、前記表示ステップでは、さらに、前記表示情報に基づいて、予め登録された複数の画像であって前記物体の重さに応じた複数の画像と、推測された前記物体の重さとを比較する比較ステップ、を含み、前記表示ステップでは、前記表示画面に表示されている前記アバターの前記物体に関する画像を、前記比較ステップにおいて推測された前記物体の重さに応じた画像に変更するとしてもよい。
また、例えば、前記計測ステップでは、さらに、電流量を計測する機能を有する第2家電機器が第3家電機器の電流量を計測し、前記機器送信ステップでは、さらに、前記計測ステップにおいて計測された前記第3家電機器の電流量を、前記サーバに送信し、前記表示ステップでは、さらに、前記表示情報に基づいて、前記第2家電機器が電流量を計測することで使用が特定され、前記第1家電機器と任意の時間以内の時間差で使用される前記第3家電機器を示す情報を、前記表示画面に表示されている前記アバターの側に配置する配置ステップを含み、前記配置ステップでは、前記電流量から推測された前記第3家電機器の動作時刻と、前記重量情報の変化パターンから推測された前記第1家電機器が使用された時刻との差に応じて、前記第3家電機器を示す情報を配置する距離を変更するとしてもよい。
また、例えば、前記情報提供方法は、さらに、前記複数の家電機器のうち音声を認識する機能を有する第4家電機器が音を集音して、音声認識を行う音声認識ステップと、前記音声認識ステップにおいて認識された前記音に基づいてオブジェクトの状態を判定する判定ステップとを含み、前記受信ステップでは、前記複数の家電機器それぞれに関する情報として、前記オブジェクトの状態を受信し、前記処理ステップでは、さらに、受信した前記オブジェクトの状態に応じた表示内容を前記特定の表示形式で前記表示装置が表示する表示情報を生成するとしてもよい。
また、例えば、前記音声認識ステップでは、前記オブジェクトにより使用される第5家電機器に搭載された音発生装置が発する音を集音し、前記音声認識ステップにおいて認識された前記音に基づいて、前記第5家電機器を使用するオブジェクトの状態を判定するとしてもよい。
また、例えば、前記判定ステップでは、さらに、前記音声認識ステップにおいて認識された前記音に含まれる単語に基づいてオブジェクトの状態を判定する判定ステップを含み、前記受信ステップでは、さらに、前記オブジェクトの状態を受信し、前記処理ステップでは、さらに、受信した前記オブジェクトの状態に応じた表示内容を前記特定の表示形式で前記表示装置が表示する表示情報を生成するとしてもよい。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、本開示の実施の形態の一態様に係る情報提供方法等について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
本実施の形態では、ユーザ操作などによって発生する宅内にある家電機器の操作情報および状態変化情報をイベントとして収集し、ソーシャルネットワーク上で共有するための情報表示画面を形成する方法について説明する。
[構成]
図1は、実施の形態1における情報提供システムの構成の一例を示す図である。図1に示す情報提供システムは、複数の家電機器と、表示装置と、サーバ(1100)とを備え、それらは、公衆ネットワーク(1200)を介して接続されている。
家A(1210)では、表示装置1(1510)と、GW1(1301)と、複数の家電機器である家電1(1401)、家電2(1402)、および家電3(1403)が配置されている。家A(1210)では、GW1(1301)に予め登録された家A(1210)の家電機器である家電1(1401)、家電2(1402)で発生した家電機器の状態変化と家電機器に対するユーザ操作とを含むイベント情報は、GW1(1301)と公衆ネットワーク(1200)を経由してサーバ(1100)に送信される。また、家電3(1403)で発生したイベント情報はGW1(1301)を介すことなく、公衆ネットワーク(1200)を経由してサーバ(1100)に直接送信される。
家B(1211)では、表示装置2(1520)と、GW2(1302)と、複数の家電機器である家電4(1404)、家電5(1405)、...、および家電n(1406)等が設置されている。
家B(1211)では、GW2(1302)に予め登録された家B(1202)の家電機器である家電4(1404)、家電5(1405)、...、および家電n(1406)で生じた家電機器の状態変化と家電機器に対するユーザ操作を含むイベント情報がGW1(1302)と公衆ネットワーク(1200)を経由してサーバ(1100)に送信される。
サーバ(1100)は、通信手段(1101)と、表示形式判定手段(1102)と、家電DB群(1103)とを備える。
通信手段(1101)は、複数の家電機器それぞれから当該複数の家電機器それぞれに関する情報を受信する。通信手段(1101)は、表示形式判定手段(1102)で形成(生成)される表示情報を表示装置に送信する。通信手段(1101)は、複数の家電機器それぞれが状態変化したときを契機として家電機器それぞれが送信した複数の家電機器それぞれに関する情報を受信する。
サーバ(1100)(特に通信手段(1101)、表示形式判定手段(1102))は、ハードウェア構成として、例えば第1のメモリとCPUを備える。第1のメモリには、例えば通信手段(1101)として機能させるプログラム、表示形式判定手段(1102)として機能させるプログラムが記憶されている。第1のメモリとは、例えば、読み取り可能な記録媒体、または読み取りおよび書き込みが可能な記録媒体である。記録媒体として、半導体メモリ、光ディスク、ハードディスクなどを含む。
サーバ(1100)は、例えば、上述のプログラムをそれぞれ第1のメモリから読み出してCPUで実行させることにより、通信手段(1101)、表示形式判定手段(1102)が機能するように構成されている。上述の例では、通信手段(1101)として機能させるプログラム、表示形式判定手段(1102)として機能させるプログラムをそれぞれCPUで実行させる構成であるが、これに限定をされるものではない。例えば、通信手段(1101)として機能する専用の信号処理回路、表示形式判定手段(1102)として機能する専用の信号処理回路を用いて構成してもよい。
更にサーバ(1100)は、家電DB群(1103)を記憶するメモリ(図示せず)を有する。家電DB群(1103)を記憶するメモリとは、例えば、読み取りおよび書き込みが可能な記録媒体である。読み取りおよび書き込みが可能な記録媒体として、半導体メモリ、光ディスク、ハードディスクなどを含む。
本実施の形態では、通信手段(1101)は、家A(1210)および家B(1211)からそれぞれ送信される家電機器のイベント情報を受信して、家電DB群(1103)に格納する。通信手段(1101)は、表示装置1(1510)の要求に対して、表示形式判定手段(1102)で形成(生成)された画面情報を提供する。
表示形式判定手段(1102)は、通信手段(1101)で受信された複数の家電機器それぞれに関する情報をフィルタリングし、表示装置が特定の表示形式で表示するための表示情報を生成する処理を行う。
より具体的には、表示形式判定手段(1102)は、通信手段(1101)において、一定時間毎に、または、複数の家電機器それぞれに関する情報を一定数受信した時を契機に、受信した複数の家電機器に関する情報をカテゴリ別に集計する。表示形式判定手段(1102)は、当該集計の結果を用いて、フィルタリングした1以上の家電機器に関する情報を含む家電機器に対応するオブジェクトの表示サイズおよび表示位置を含む特定の表示形式を示す表示形式情報を算出する。
ここで、表示形式判定手段(1102)は、例えば、地域を含む地理情報、家族構成および人数、並びに住居形態を含む前記家電機器のユーザの家に関する情報に基づいて決定されるカテゴリ別に、受信した複数の家電機器それぞれに関する情報を集計するとしてもよい。また、表示形式判定手段(1102)は、例えば、さらに、通信手段(1101)において受信した複数の家電それぞれに関する情報の受信回数に基づき、複数の家電機器の種別毎の稼働率を推定し、推定した稼働率に基づいて、表示形式情報を算出するとしてもよい。なお、表示形式判定手段(1102)は、表示装置の画面のサイズによらない特定の表示形式であって当該画面における相対的な表示位置および表示サイズを含む特定の表示形式を示す表示形式情報を算出する。
本実施の形態では、表示形式判定手段(1102)は、例えば表示装置1(1510)を所有するユーザの設定情報に基づいて、家電DB群(1103)からユーザが所望するイベント情報を取り出して、イベント情報の種別や頻度の情報に基づいて、それぞれの家の情報を画面情報として形成する。表示形式判定手段(1102)は、表示装置1(1510)の要求に対して、通信手段(1102)を介して形成した画面情報を提供する。表示形式判定手段(1102)は、表示装置1(1510)に対して、イベント情報の種別や頻度の情報に基づいて、定期的に画面更新情報を提供する。
表示装置1(1510)は、表示手段(1511)と、通信手段(1512)とを備える。なお、表示装置1(1510)は、テレビやスマートフォン、PCなどの画面情報を表示できる装置で有ればよい。
表示手段(1511)は、画面(表示画面)へ情報表示する。より具体的には、表示手段(1511)は、サーバ(1100)により送信された表示情報に基づいて、フィルタリングされた1以上の家電機器に関する情報を含む家電機器に対応するオブジェクトを表示装置1(1510)の表示画面に特定の表示形式で表示する。
通信手段(1512)は、画面に表示するユーザ・インターフェースの取得や表示内容の更新通知を受信する。
表示装置1(1510)は、ハードウェア構成として、例えば第2のメモリとCPUを備える。第2のメモリには、例えば表示手段(1511)として機能させるプログラム、通信手段(1512)として機能させるプログラムが記憶されている。第2のメモリとは、例えば、読み取り可能な記録媒体、または読み取りおよび書き込みが可能な記録媒体である。記録媒体として、半導体メモリ、光ディスク、ハードディスクなどを含む。
表示装置1(1510)は、上述のプログラムをそれぞれメモリから読み出してCPUに実行させることにより、表示手段(1511)、通信手段(1512)が機能するように構成している。
上述の例では、表示手段(1511)として機能させるプログラム、通信手段(1512)として機能させるプログラムをそれぞれCPUで実行させる構成であるが、これに限定をされるものではない。例えば、表示手段(1511)として機能する専用の信号処理回路、通信手段(1512)として機能する専用の信号処理回路を用いて構成してもよい。
また、表示手段(1511)、通信手段(1512)のうちの一方を機能させるプログラムを第2のメモリに記憶し、他方を専用の信号処理回路を用いて構成してもよい。
GW1(1301)およびGW2(1302)は、例えば無線LANのアクセスポイントであっても良いし、省電力無線などで各機器と接続されていて、さらにインターネットなどの公衆ネットワーク(1200)経由でサーバ(1100)と接続されているような専用のGWでもよい。
[家電DB群が保持する情報]
図2は、実施の形態1における家電DB群(1103)が保持する家のIDと属性情報との一例を示す図である。図2には、図1における家電DB群(1103)にて保持される情報の一例として、ハウスID(2001)、ニックネーム(2002)および所有家電(2003)が示されている。
ハウスID(2001)には、家A(1210)や家B(1211)を一意に特定できる識別子が保持され、ニックネーム(2002)には、それぞれの家毎に設定される名称が保持されている。所有家電(2003)には、家電1(1401)、家電4(1404)などそれぞれの家で所有する家電機器が保持されている。
図3は、実施の形態1における家電DB群が保持する家電状態変化とユーザ操作とを含むイベントログの一例を示す図である。図3には、家電DB群(1103)に格納されているイベントログの一例が示されており、図1の家A(1210)や家B(1211)から送信された家電機器のイベント情報が格納されている。
行(2010)〜行(2130)のそれぞれの行毎に1つのイベント情報が格納される。また、ハウスID(2001)には、図2と同様に、家A(1210)や家B(1211)を一意に特定するための識別子(識別ID)が格納されている。家電種別(2202)には、イベント情報として格納された、イベントを発生した家電機器の種別が格納されている。イベントキー(2203)には、家電機器に対するユーザ操作および家電機器の状態変化などのイベント情報が通知に至った事由が格納されている。イベント値(2204)には、ユーザ操作や家電機器の状態変化についての内容が格納されている。日付(2205)と時刻(2206)には、該当するイベント情報の行のイベントを発生させた年月日と時分秒ミリ秒とが格納されている。
[画面情報の一例]
図4Aは、実施の形態1における情報共有サービスの画面情報の一例を示す図である。図4Bは実施の形態1における表示装置の構成の一例を示す図であり、図4Cは実施の形態1におけるサーバの構成の一例を示す図である。
図4Aに示す画面情報は、特定の表示形式で表示される表示画面で共有される情報の一例である。図4Aに示すユーザの表示装置(表示画面)には、ユーザが見たいと思った各家の家電機器の動作状態の情報(状態情報)が、家電機器の外見を小さな画像にて表した家電アイコンを用いる等して、例えば地図である背景画像に重畳して表示されている。
例えば家アイコン(1254)での複数の家電機器のうち暖房機器がMAXである(一番利用している)場合に、図4Aの画面情報を共有するコミュニティのユーザが空調の状況を見たいと思うときには、暖房機器を使っていない家の表示をせずに暖房機器を使っている家だけを選んで表示させることもできる。また、背景画像である日本地図に例えば6ブロックなどに分けた地域を設定し、地域ごとに空調機器の使用が顕著な家を一つ選んで表示するような設定にすることもできるので、掃除機などの家電機器の利用が多いなど掃除のイベントが多い家の表示もしつつ、空調機器の使用が顕著な家の情報も表示するなどの工夫も出来る。
また、図4Aに示すメッセージ(1253)では、他のSNSサイトの投稿などと時間軸や通信APIを経由してリンクさせている。それにより、それぞれの家のメッセージなどもあわせて表示することができる。このとき、図4Bまたは図4C下部のようにユーザ側の装置(表示装置やサーバ)に情報入力装置を有する場合は、ユーザがこのサービスの中でメッセージを入力して、その情報をイベントに合わせて表示することができる。
また、ユーザ側の装置に、音声入力装置が搭載され、ユーザの音声データを入力するとしてもよい。また、ユーザ側の装置に、動画像入力装置を搭載して動画像の共有をしても良い。音声認識機能があれば音声データをテキスト化して表示することも可能である。
なお、表示装置の表示画面の表示対象である家としてどの家を選択するかは、情報公開をする送信側ユーザの情報と閲覧者側ユーザの設定情報とから選ばれる。例えば、送信側ユーザが炊事をアピールしたい場合、かつ、炊事系の家電機器のイベントが一定以上ある場合、受信側に表示される家の選択において、優先度が上がるので、炊事系の家電機器が他の家電機器よりもより大きく、又はより見えやすい位置に表示される。また、閲覧者側ユーザの嗜好や設定情報に基づいて選ぶとしてもよい。もちろん送信側ユーザと閲覧者側ユーザが同じ人である場合も考えられる。また、送信側で設定された情報が炊事系の家事を優先して表示する場合には、閲覧時の画面情報もその優先度に従って表示をすることが可能である。
[処理フロー]
図5は、実施の形態1における表示装置のUI取得の処理の一例を示すフローチャートである。図5には、表示装置1(1510)がサーバからUI取得するまでの処理が示されている。
図において、後述するS2301〜S2304およびS2308〜2310が表示装置1(1510)における処理であり、S2305〜S2307がサーバ(1100)における処理である。
まず、S2301において、表示装置1(1510)によるUI取得フローが開始される。
次に、S2302において、サーバ(1100)から表示装置1(1510)の通信手段(1512)に対してイベント通知あったか否かを判定する。ここで、イベント通知があった場合(S2302でYES)、S2304を実施し、イベント通知がなかった場合(S2302でNO)にはS2303を実施する。
次に、S2302においてイベント通知がなかった場合(S2302でNO)、S2303において、表示機器1(1510)は、UI取得のためのユーザ操作があったか否かを判定する。ここで、ユーザ操作があった場合(S2303でYES)、S2304を実施し、ユーザ操作がなかった場合(S2303でNO)はS2302の判定へ戻る。
次に、S2304において、表示機器1(1510)の通信手段(1512)は、公衆ネットワーク(1200)を経由して、サーバ(1100)にイベントやユーザ操作に応じたUIを要求する。
次に、S2305において、サーバ(1100)の通信手段1101は、表示機器1(1510)からのUI要求を受信する。
次に、S2306において、サーバ(1100)の表示形式判定手段(1102)は、受信したUI要求の内容に応じて、家電DB群(1103)より必要な情報を取得してUIを形成する。
次に、S2307において、表示形式判定手段(1102)は、サーバ(1100)の通信手段1101を介して表示装置1(1510)へ形成したUIを送信する。
次に、S2308において、表示装置1(1510)の通信手段(1512)は、サーバ(1100)からUIを受信したか否かを判定する。ここで、UIを受信した場合(S2308でYES)は、S2309を実施し、UIを受信しなかった場合(S2308でNO)は再度S2308の判定を実施する。
次に、S2309において、表示機器1(1510)の表示手段(1511)は、受信したUIを画面へ表示する。
そして、S2310にて表示装置1(1510)によるサーバ(1100)からのUI取得する処理フローを終了する。なお、サーバ(1100)は、表示装置1(1510)が表示するUIを保持するとしても良い。
図6は、実施の形態1における家電機器がサーバにイベント通知を行うまでの処理の一例を示すフローチャートである。図6には、家電1(1401)がサーバ(1100)にイベントを通知までの処理が示されている。
図において、後述するS2321〜S2324は、家電1における処理であり、S2325〜S2327は、サーバ(1100)における処理である。
まず、S2321において、家電1(1401)は、サーバ(1100)にイベント通知を行うための処理フローを開始する。
次に、S2322において家電1(1401)は、自身に搭載されたセンサの値に変化あったか否かを判定する。ここで、変化ありの場合(S2322でYES)は、S2324を実施し、変化なしの場合(S2322でNO)はS2323を実施する。
次に、S2323において、家電1(1401)は、自身の動作状態に変化があったか否かを判定する。ここで、変化ありの場合(S2323でYES)にはS2324を実施し、変化なしの場合(S2323でNO)にはS2322を実施する。
次に、S2324において、家電1(1401)は、GW1(1301)と公衆ネットワーク(1200)を経由してサーバ(1100)にセンサ値や動作状態変化に関するイベントを送信する。
次に、S2325において、サーバ(1100)の通信手段1101は、家電1(1401)からのイベントを受信する。
次に、S2326において、サーバ(1100)は、受信したイベントを家電DB群(1103)へ格納する。
そして、S2327において、家電1(1401)がサーバ(1100)にイベント通知するまでの処理フローを終了する。なお、S2324では、家電3(1403)のようにGW1(1301)を介さずにサーバ(1100)に送信しても良い。
図7は、実施の形態1におけるサーバが表示装置にUI更新を通知する処理の一例を示すフローチャートである。図7には、サーバ(1100)が表示装置1(1510)にUI更新を通知する処理が示されている。
図において、後述するS2331〜S2335がサーバ(1100)における処理であり、S2336〜S2338が表示装置1(1510)における処理である。
まず、S2331において、サーバ(1100)は、表示装置1(1510)にUI更新を通知する処理フローを開始する。
次に、S2332において、サーバ(1100)の通信手段(1101)は、家電機器からイベントを受信したか否かを判定する。ここで、受信した場合(S2332でYES)にはS2333を実施し、受信しなかった場合(S2332でNO)にはS2332を再度実施する。
次に、S2333において、サーバ(1100)は、受信したイベントを家電DB群(1103)へ格納する。ここで、図3に示すイベントログに、受信したイベントが格納される。
次に、S2334において、表示形式判定手段(1102)は、家電DB群(1103)に累積したイベントログから表示装置1(1510)での表示内容について更新が必要であるか否かを判定する。更新が必要な場合(S2334でYES)には、S2335を実施し、更新が不要な場合(S2334でNO)にはS2332を実施する。
次に、S2335において、サーバ(1100)は、送信手段(1102)を通じてUI更新通知を表示装置1(1510)に送信する。
次に、S2336において、表示装置1(1510)の通信手段(1512)は、サーバ(1100)からUI更新通知を受信したか否かを判定する。ここで、受信した場合(S2336でYES)にはS2337を実施し、受信していない場合(S2336でNO)には再度S2336の判定を実施する。
次に、S2337において、表示機器1(1510)の表示手段(1511)は、受信したUIを画面へ表示する。
そして、S2338において、サーバ(1100)が表示装置1(1510)にUI更新を通知する処理を終了する。
図8は、図7のS2333、S2334およびS2335の詳細処理の一例を示すフローチャートである。すなわち、図に8は、図7で説明したサーバ(1100)が実施する処理であるS2333、S2334およびS2335の詳細処理が示されている。すなわち、図7のS2333では、図8のS2333aおよびS2333bの処理が実施され、図7のS2334では、図8のS2334aおよびS2334bの処理が実施される。図7のS2335では、図8のS2335a、S2335b、S2335cおよびS2335dの処理が実施される。
具体的には、まず、S2333aにおいてサーバ(1100)の通信手段(1101)は、各家の家電機器からイベントを受信する。
次に、S2333bにおいて、サーバ(1100)は受信したイベントを家電DB群(1103)に格納する。
次に、S2334aにおいて、サーバ(1100)は、地域別に受信したイベントの家電種別と同じ家電機器について家電イベント集計表のイベント数をカウントアップする。イベントがどの地域にある家から送信されたかについては、例えば図3で示したように、サーバ(1100)が家電機器から受信したイベントのハウスID(2001)に基づいて、図9に示すハウスDBの住所(2004)を参照することで識別する。ここで、図9は、実施の形態1におけるハウスDBに格納されている情報の一例を示す図である。図9に示すハウスDBは、家電DB群(1103)に保持されるDBであって、家のIDであるハウスID(2001)に対して住所(2004)、世帯人数(2005)および住居形態(2006)の属性情報が格納されている。
次に、S2334bにおいて、サーバ(1100)は、処理タイミングとして定めた一定時間が経過したか否かを判定する。ここで、一定時間が経過していれば(S2334bでYES)、S2335aに進み、一定時間が経過していなければ(S2334bでNO)、処理を終了する。
次に、S2335aにおいて、サーバ(1100)は、(家電イベント集計表のイベント数)と(家電イベント発生頻度一覧表の発生頻度)を用いて家電種別稼働率を算出する。
ここで、図10〜図12を用いて具体的に説明する。
図10は、実施の形態1における大阪府の家電イベント集計表の一例を示す図である。図10に示す家電イベント集計表は、地域等の地理情報や家族構成人数、住居形態などのカテゴリ毎に集計されている。
図11は、実施の形態1における家電イベント発生頻度一覧表の一例を示す図である。図11に示す家電イベント発生頻度一覧表には、家電種別毎の家電機器が記載され、家電機器の型番(家電型番)とそのイベント発生頻度が記載されている。家電機器や家電型番毎にイベント発生頻度が異なり、イベント数の合算では家電機器が稼働状況を算出できない。そのため、図11に示す家電イベント発生頻度一覧表を用いて家電機器に応じた単位時間あたりのイベント発生頻度の特性を定義する。それにより、各家電機器から送信されるイベントの数量のみを用いてより正確な家電稼働状況の算出を可能にする。
図12は、実施の形態1における家電種別毎の稼働率の一例を示す図である。図12には、家電機器種別毎の稼働率を算出する際の計算過程として型番稼働率が示されている。
具体的には、S2335aにおいて、サーバ(1100)は、図10に示す家電イベント集計表(大阪府)のイベント数(2504)と図11に示す家電イベント発生頻度一覧表の発生頻度(2553)とを用いて、図12に示す型番(2602)毎の型番稼働率(2603)を算出する。その後、サーバ(1100)は、同一の家電種別(2601)について型番稼働率の総和を求めることで家電種別稼働率(2604)を算出する。ここで、型番稼働率(2603)は、(家電イベント集計表のイベント数)/(家電イベント発生頻度一覧表の発生頻度)で算出することができ、家電種別稼働率(2604)は、同一家電種別の型番稼働率の総和により算出することができる。
次に、S2335bにおいて、サーバ(1100)は、算出した家電種別稼働率(2604)から表示手段(1511)への表示変更通知内容を算出する。本実施の形態では、サーバ(1100)は、表示変更通知内容として、図13に示す表示サイズ比率(2652)を算出する。ここで、図13は、実施の形態1における表示手段(1511)への表示変更通知の内容の一例を示す図である。図13に示す表示サイズ比率(2652)は、(家電種別稼働率)/(家電種別稼働率の最大値)で算出される値であり、図10の家電種別稼働率(2604)を0以上1以下に正規化した数値である。この表示サイズ比率(2652)は、家電種別稼働率(2604)の最大値で各家電種別稼働率を割り算することにより算出できる。本実施の形態では、例えば図12に示すように、洗濯機の家電種別稼働率198.75が最大値である。
次に、S2335cにおいて、サーバ(1100)の通信手段(1101)は、表示手段(1511)へ表示変更通知内容を通知する。本実施の形態では、通信手段(1101)は、表示変更通知内容として図13に示す表示サイズ比率(2652)を通知する。
次に、S2335dにおいて、サーバ(1100)は、家電イベント集計表のイベント数およびイベント総数をすべて0にして、処理を終了する。本実施の形態では、サーバ(1100)は、例えば図10に示す家電イベント集計表のイベント数(2503)およびイベント総数(2504)をすべて0にした後、終了する。
なお、図10の家電イベント集計表は、地域以外に図9の世帯人数(2004)や住居形態(2006)毎に分類しても良い。
また、S2334bの判定処理では、一定時間経過したかで判定する以外に、一定数のイベントを受信したかで判定しても良い。
図8の処理が実施された後、表示装置1(1510)の表示手段(1511)は、例えば図14Aに示す表示更新通知前のUIから、図14Bに示す表示更新通知後のUIに表示を更新する。ここで、図14Aは、図8での処理実施前に表示手段(1511)により表示されるUIの一例を示す図であり、図14Bは、図8に示す処理実施後に表示手段により表示されるUIの一例を示す図である。
図14Aおよび図14Bに示すように、表示更新通知前のUIにおける家電アイコン2701、家電アイコン2702、家電アイコン2703、家電アイコン2704および家電アイコン2705のそれぞれは、図13に示す表示サイズ比率(2652)に基づき決定された表示サイズで更新される。アイコン2706は、家の表札を示しており、家を取り巻く家電アイコンの表示サイズがどのようなカテゴリでの集計情報に基づき決定されたかを意味する。
[効果]
以上のように、本実施の形態の情報提供方法によれば、膨大で多種多様な情報であっても、視認しやすい表示態様で提供することができる。
そして、この情報提供方法によれば、複数の家庭における、ネットワークに接続された家電機器等に関する膨大で多種多様な情報を、各家庭のユーザが、その後の利用目的に応じて、容易に視認しやすいポータル画面で提供することもできる。
(実施の形態2)
本実施の形態では、表示装置1(1510)や表示装置2(1520)などの表示装置に表示されるUIの表示方法の一形態について説明する。本実施の形態では、家電機器に対するユーザ操作によって家電機器から取得できる様々な情報(操作情報や状態変化情報)をイベントとして収集し、関連する家電機器の情報をカテゴリとして集約する。それにより、表示装置の限られた画面面積上にできるだけ多くの情報を表示しつつ、ユーザが視認しやすいUIの表示方法を実現する。なお、実施の形態1で説明した図においては、重複して説明しない。
[構成]
図15は、本実施の形態における情報提供システムの構成の一例を示す図である。図1と異なる点は、図15に示すサーバ(3001)は、家電DB群(1103)の一例として家電カテゴリ(DB3004)を備える点と、表示形式判定手段(1102A)の構成が異なる。
サーバ(3001)(特に通信手段(1101)、表示形式判定手段(1102A))は、ハードウェア構成として、例えば第1のメモリとCPUを備える。第1のメモリには、例えば通信手段(1101)として機能させるプログラム、表示形式判定手段(1102A)として機能させるプログラムが記憶されている。第1のメモリとは、例えば、読み取り可能な記録媒体、または読み取りおよび書き込みが可能な記録媒体である。記録媒体として、半導体メモリ、光ディスク、ハードディスクなどを含む。
サーバ(3001)は、例えば、上述のプログラムをそれぞれ第1のメモリから読み出してCPUで実行させることにより、通信手段(1101)、表示形式判定手段(1102A)が機能するように構成している。上述の例では、通信手段(1101)として機能させるプログラム、表示形式判定手段(1102A)として機能させるプログラムをそれぞれCPUで実行させる構成であるが、これに限定をされるものではない。例えば、通信手段(1101)として機能する専用の信号処理回路、表示形式判定手段(1102A)として機能する専用の信号処理回路を用いて構成してもよい。
また、通信手段(1101)、表示形式判定手段(1102A)のうちの一方を機能させるプログラムを第1のメモリに記憶し、他方を専用の信号処理回路を用いて構成してもよい。
家電カテゴリ(DB3004)は、メモリ(図示せず)に記憶されている。家電カテゴリ(DB3004)を記憶するメモリとは、例えば、読み取りおよび書き込みが可能な記録媒体である。読み取りおよび書き込みが可能な記録媒体として、半導体メモリ、光ディスク、ハードディスクなどを含む。
以下、具体的に説明する。
図16は、実施の形態2における家電カテゴリDBに格納されている情報の一例を示す図である。
家電カテゴリDB(3004)は、家電DB群(1103)の一例であって、家電アイコンをカテゴリ毎にひとまとめに表示するための情報を格納している。家電カテゴリDB(3004)は、図2に示すハウスID毎に定義される。そのため、ハウスIDを検索キーとして家電カテゴリDB(3004)に格納されている情報(データ)を取得することができる。
本実施の形態では、家電カテゴリDB(3004)は、通信手段(1101)により受信された複数の家電機器それぞれに関する情報が蓄積される。家電カテゴリDB(3004)に格納される情報は、図16に示すように、カテゴリID(3011)、カテゴリ表示優先度(3012)、家電種別(3013)、家電稼働率(3014)、稼働状況(3015)および家電アイコン表示優先度(3016)が示されている。
カテゴリID(3011)は、ユーザが所有する家電の所属するカテゴリ種別を示す。本実施の形態では、カテゴリIDとしては掃除(3017)、炊事(3018)および美容(3019)が挙げられている。
家電種別(3013)は、家電機器の種別が定義されている。なお、図3の家電種別(2022)で定義されるものと同等である。
本実施の形態では、例えばカテゴリIDが掃除(3017)の場合、掃除や洗濯で利用される家電機器が属する。図16に示す例では、家電種別(3013)で分類されるユーザの所有家電機器のうち掃除機や洗濯機が掃除(3017)のカテゴリIDに属する。同様に、カテゴリIDが炊事(3018)の場合には、炊事に関する家電機器が属し、図16に示す例ではIHクッキングヒータや炊飯器が炊事(3018)のカテゴリIDに属する。カテゴリIDが美容(3019)の場合には、美容に関する家電機器が属し、図16に示す例では美容スチーマやドライヤーなどが美容(3019)のカテゴリIDに属する。なお、上述したカテゴリIDは一例であって、事前に家電機器毎に定められたものであってもよいし、ユーザが任意に設定するとしてもよい。
カテゴリ表示優先度(3012)は、カテゴリ種別ごとの表示優先度を示している。図16に示す例では、カテゴリ表示優先度1が最優先とし、降順に優先度が低くなるように定義している。
家電稼働率(3014)は、1日あたりの家電機器の平均利用回数を示す。稼働状況(3015)は、家電機器の現在の動作状況を示す。図16に示すONは、家電機器が稼働中であることを意味し、OFFは家電機器が非稼働中であることを示す。
家電アイコン表示優先度(3016)は、カテゴリID(3011)で示されるカテゴリ内での家電アイコンの表示優先度を示す。ここでは、家電アイコン表示優先度1を最優先とし、降順に優先度が低くなるように定義している。
表示形式判定手段(1102A)は、カテゴリIDを同一とする1以上の家電機器を一まとまりとして表示装置の表示画面に表示させ、カテゴリ表示優先度の高いカテゴリIDに属する複数の家電機器に関する情報ほど当該表示画面において大きく表示する特定の表示形式で表示装置が表示するための表示情報を生成する。また、表示形式判定手段(1102A)は、カテゴリIDを同一とする1以上の家電機器を一まとまりとして表示画面に表示し、カテゴリ表示優先度の高いカテゴリIDに属する複数の家電機器に関する情報ほど前記表示画面において大きく表示する特定の表示形式で表示装置が表示するための表示情報を生成する。また、表示形式判定手段(1102A)は、家電表示優先度に基づいて、カテゴリIDを同一とする1以上の家電機器を示すアイコンを一まとまりとして表示画面に表示し、さらに、1以上の家電機器を示すアイコンのうち家電表示優先度の高い家電機器に対応するアイコンほど、大きく表示する特定の表示形式で表示装置が表示するための表示情報を生成する。
本実施の形態では、表示形式判定手段(1102A)は、カテゴリ表示サイズ決定部(3002)、家電アイコン表示サイズ決定部(3003)及び家電カテゴリDB更新部(3005)を備える。
本実施の形態では表示装置として、図15に示す表示装置1(1510)を用いて説明する。
カテゴリ表示サイズ決定部(3002)は、図16に示すカテゴリ表示優先度(3012)を取得し、各カテゴリIDで示されるカテゴリ種別の表示サイズや表示位置を決定する。
家電アイコン表示サイズ決定部(3003)は、カテゴリ表示サイズ決定部(3002)で決定されたカテゴリ種別ごとの表示サイズと家電カテゴリDB(3004)の家電アイコン表示優先度(3016)とに基づいて、カテゴリ種別毎の家電アイコンの表示サイズとカテゴリ内での表示位置とを決定する。
家電カテゴリDB更新部(3005)は、通信手段(1101)により受信された複数の家電機器それぞれに関する情報にカテゴリ種別を示すカテゴリIDを付与する。
家電カテゴリDB更新部(3005)は、通信手段(1101)により受信された複数の家電機器それぞれに関する情報と、家電カテゴリDB3004に蓄積された家電機器それぞれに関する情報に基づいて、カテゴリ種別の表示優先度を示すカテゴリ表示優先度と、複数の家電機器それぞれの表示優先度を示す家電表示優先度を決定する。家電カテゴリDB更新部(3005)は、決定したカテゴリ表示優先度と家電表示優先度とを家電カテゴリDB3004に格納する。
家電カテゴリDB更新部(3005)は、付与したカテゴリIDと、決定したカテゴリ表示優先度および家電表示優先度とを含めて表示情報を生成する処理を行う。
なお、家電カテゴリDB更新部(3005)は、カテゴリIDを同一とする1以上の家電機器の利用頻度の総和に応じてカテゴリ表示優先度を決定するとしてもよい。また、家電カテゴリDB更新部(3005)は、あらかじめ定められた利用頻度以下の家電機器がユーザに利用されたとき、当該ユーザに利用された家電機器が属するカテゴリIDのカテゴリ表示優先度を予め定めた値よりも一時的に高く設定するとしてもよい。また、家電カテゴリDB更新部(3005)は、あらかじめ設定された時間帯にあらかじめ設定された利用頻度以上利用される複数の家電機器を同一のカテゴリ種別を示すカテゴリIDを付与するとしてもよい。
本実施の形態では、家電カテゴリDB更新部(3005)は、家電カテゴリDB(3004)の情報を更新する。家電カテゴリDB更新部(3005)は、例えば家電機器の稼働状況が変化した場合または新たな家電機器がサーバ(3001)に接続された場合には、家電カテゴリDB(3004のカテゴリID(3011)をキーとして、稼働状況が変化した家電機器や新たな家電機器に関連する情報の追加や更新を行う。
家電カテゴリDB更新部3005は、カテゴリDB(3004)の情報を更新した場合には、UI更新を通知する。家電カテゴリDB更新部3005は、例えば、稼働状況が変化した表示装置1(1510)またはサーバ(3001)に接続された表示装置1(1510)にUI更新を通知する。
また、家電カテゴリDB更新部3005は、表示装置1(1510)から家電アイコンの表示サイズや表示位置を含むUIの取得要求が通知されると、カテゴリ表示サイズ決定部(3002)および家電アイコン表示サイズ決定手段(3003)から、カテゴリ種別ごとの表示サイズおよび表示位置と、各家電アイコンの表示サイズおよび表示位置とを取得し、表示装置1(1510)に返す。
なお、表示サイズは、表示装置1(1510)の有する画面(表示画面)上で当該UIが表示される座標系(例えば、2次元のXY座標系)において、幅と高さの積(画素数)で与えられる。また、表示位置は、当該画面上の座標位置として与えられる。
次に、以上のように構成された情報提供システムの処理について説明する。
[処理フロー]
以下では、図17および図18を用いて、ユーザが所有する家電機器のカテゴリ種別及び家電アイコンの表示サイズを決定する処理について説明する。
図17は、実施の形態2におけるサーバがカテゴリ種別及び表示サイズを決定する処理を示すフローチャートである。図18は、実施の形態2における表示手段により表示されるUIの一例を示す図である。
図18には、図17の処理を行った結果、表示装置1(1510)上に表示されるUIの一例が示されている。図18の(a)〜(c)に示す表示画面には、特定のハウスID(2001)が付与された家を示す家アイコン(3030)の周辺に破線矩形領域であるカテゴリ表示領域(3031)が表示されている。カテゴリ表示領域(3031)に含まれる角丸矩形領域は、カテゴリIDに対応する個別カテゴリ表示領域(3032)〜個別カテゴリ表示領域(3039)である。個別カテゴリ表示領域(3032)〜個別カテゴリ表示領域(3039)内には、カテゴリIDに対応する家電機器の家電アイコンがまとめて表示される。図18の(a)〜(b)は、図17に示す処理によって、表示形式を変化させた場合の一例を示しており、後述するためのここでの説明を省略する。
なお、カテゴリ表示領域(3031)を示す破線矩形や、個別カテゴリ表示領域(3032)〜個別カテゴリ表示領域(3039)を示す角丸矩形線は、本実施の形態の説明の都合上表示しているものであって、UI表示として必ずしも必要なものではない。本実施の形態において、重要な点はカテゴリ表示領域(3031)内における個別カテゴリ表示領域のサイズや表示位置を決定する点にある。これにより、限られた領域であるカテゴリ表示領域(3031)内に、できるだけ沢山の家電アイコンを表示するが、カテゴリ種別毎にまとめた家電アイコンを表示することでユーザにわかりやすく表示できる。
以下、家電機器のカテゴリ種別及び家電アイコンの表示サイズを決定する処理について説明する。
まず、S3020において、サーバ(3001)は、表示端末1(1510)からUIの取得要求が通知されたとする。
次に、S3021において、サーバ(3001)は、各カテゴリ種別の表示サイズ及び表示位置を算出する。
本実施の形態では、カテゴリ表示サイズ決定部(3002)は、家電カテゴリDB(3004)からカテゴリID(3011)ごとのカテゴリ表示優先度(3012)を取得し、カテゴリ表示優先度(3012)の高いものから順に、カテゴリ毎の表示サイズが大きくなるように表示サイズを決定する。
例えば、予め定められた特定のハウスID(2001)のUI表示領域におけるカテゴリ表示領域(3031)の面積(式中ではSIZEと表記)、任意の係数(カテゴリ優先度係数と呼ぶ)a、b、c、・・・(0.5≦a、b、c、・・・≦1.0)を用いた算出式を利用して表示サイズを決定することができる。
図16に示すカテゴリID(3011)のうち最優先度のカテゴリIDである炊事(3018)の表示サイズは、Sa=SIZE×aの算出式を用いて決定でき、第2優先度のカテゴリIDである掃除(3017)の表示サイズはSb=SIZE×(1−a)×bの算出式を用いて決定できる。第3優先度のカテゴリIDである美容(3019)の表示サイズは、Sc=(SIZE−Sa−Sb)×cの算出式を用いて決定できる。
なお、第3優先度のカテゴリIDの表示サイズまでを求める例について説明したが、それに限らない。カテゴリ優先度係数(a、b、c)の定義を増やせば4つ以上のカテゴリIDの表示サイズ算出も可能である。
また、同一優先度のカテゴリIDが2以上ある場合には、各カテゴリ優先度係数を同一優先度数で割ればよい。この場合の例が、図18の(a)に示されており、個別カテゴリ領域(3032)および個別カテゴリ領域(3033)は、カテゴリ優先度が均等であるので同じ大きさとなっている。
また、カテゴリ表示領域(3031)の面積(SIZE)の代替として、カテゴリ表示領域(3031)の表示幅や表示高さを利用することもできる。その場合、SaやSbなどのカテゴリ種別毎の個別カテゴリ領域(3032)等の面積を求めるのではなく、個別カテゴリ領域(3032)等の高さまたは幅を求めればよい。
また、カテゴリ表示サイズ決定部(3002)は、カテゴリ表示優先度(3032)の高いものをカテゴリ表示領域(3031)の中心に配置するように、個別カテゴリ領域の表示位置を決定する。そして、カテゴリ表示サイズ決定部(3002)は、以降、優先度順に左右交互に配置するような座標位置として決定する。
この場合の例が、図18の(b)に示されている。すなわち、カテゴリ優先度1に対応する個別カテゴリ表示領域(3034)がカテゴリ表示領域(3031)の中心かつ最も大きいサイズで表示される。次に、カテゴリ優先度2に対応する個別カテゴリ表示領域(3035)が個別カテゴリ表示領域(3034)の右側かつ次に大きいサイズで表示される。カテゴリ優先度3に対応する個別カテゴリ表示領域(3036)は、個別カテゴリ表示領域(3034)の左側かつ最も小さいサイズで表示される。なお、カテゴリの優先度順に、中心、左、右から並べて配置するような座標位置として決定してもよい。
次に、S3022において、サーバ(3001)は、以上のようにS3021において決定されたカテゴリ毎の表示サイズ及び表示位置に基づき、同一カテゴリに属する家電機器の家電アイコンの表示サイズ及び表示位置を算出する。
本実施の形態では、家電アイコン表示サイズ決定部(3003)は、カテゴリ表示サイズ決定部(3002)で決定されたカテゴリ種別ごとの表示サイズと家電カテゴリDB(3004)の家電アイコン表示優先度(3016)とに基づいて、カテゴリ種別毎の家電アイコンの表示サイズとカテゴリ内での表示位置とを決定する。
ここで、家電アイコン表示サイズ決定部(3003)は、S3021で説明した算出式と類似した算出式を用いて家電アイコンの表示サイズ及び表示位置を決定することができる。
具体的には、S3021で用いた算出式における個別カテゴリ領域の表示サイズ(Sa、Sb、Sc)を家電アイコンの表示サイズに置き換えると共に、カテゴリ優先度係数(a、b、c)を家電優先度係数a’、b’、c’・・・(0.5≦a’、b’、c’・・・≦1.0)と置き換えることによって、家電アイコンの表示サイズ及び表示位置を決定することができる。家電アイコン表示サイズ決定部(3003)は、この算出式を用いることによって、家電アイコン表示優先度(3016)の高い順に、各カテゴリ内の家電アイコンの表示サイズを算出することができる。なお、家電アイコンの表示サイズについては、算出式を用いなくてもよい。同一カテゴリでは同一サイズとし、同一カテゴリに所属する家電数で割った比例サイズとしてもよい。
また、家電アイコン表示サイズ決定部(3003)は、家電表示優先度(3016)の高いものをカテゴリ表示領域(3031)の中心に配置するように、家電アイコンの表示位置を決定する。以降、家電アイコン表示サイズ決定部(3003)は、家電表示優先度(3016)の優先度順に左右交互に配置するような座標位置として決定する。なお、優先度順に、左または、右から並べて配置するような座標位置として決定してもよい。
次に、S3023において、サーバ(3001)は、決定された各カテゴリと家電アイコンの表示サイズおよび表示位置を反映したUI生成し、表示装置1(1510)に渡し、処理を完了する。
[効果]
以上のように、本実施の形態の情報提供方法によれば、膨大で多種多様な情報であっても、視認しやすい表示態様で提供することができる。
本実施の形態の情報提供方法によれば、家電アイコンをカテゴリ毎にひとまとまりに表示するとともに、高優先度の個別カテゴリ表示領域の表示サイズや家電アイコンの表示サイズを大きく表示することができる。
それにより、ユーザの所有する家電機器が増加した場合であっても、表示装置の限られた表示画面の画面面積上にできるだけ多くの情報を表示しつつ、ユーザが視認しやすいサイズやカテゴリのまとまりで表示することができる。
また、本実施の形態の情報提供方法によれば、家電カテゴリDB更新部(3005)によって、カテゴリ表示優先度(3012)や家電アイコン表示優先度(3016)を家電の動作状況に応じて、動的に変更することもできる。
例えば、家電稼働率(3014)を利用し、カテゴリ毎の家電稼働率の平均値が高いものから高優先となるように家電カテゴリDB(3004)を更新してもよい。これにより、利用頻度の高い家電に関する家電アイコンを視認しやすく大きく表示することができる。
なお、家電カテゴリDB更新部(3005)は、家電稼働率(3014)があらかじめ定められた値以下の家電機器のうち、稼働状況(3015)がONとなった家電機器があった場合に、その家電機器の家電アイコン表示優先度と、当該家電機器が属するカテゴリ表示優先度を高くし、家電カテゴリDB(3004)に設定するとしてもよい。
図19は、実施の形態2における家電カテゴリDBに格納される情報の一例を示す図である。
例えば、図16に示すように、稼働率0.2の家電機器である美容スチーマがあるとする。家電カテゴリDB更新部(3005)は、この美容スチーマが稼働された場合に、図19に示すように、一時的に美容スチーマの家電アイコン表示優先度と、美容スチーマが属するカテゴリIDのカテゴリ表示優先度を高くするように家電カテゴリDB(3004)の情報を更新する。
この場合の例が、図18の(c)に示されている。すなわち、図18の(b)に示す画面が表示されている場合において、低稼働率家電機器である美容スチーマが稼働され高優先度が付与されたことにより、図18の(c)に示すように、画面が更新される。
より具体的には、図18の(c)では、稼動された美容スチーマが属しており更新されたカテゴリ優先度1に対応する個別カテゴリ表示領域(3037)がカテゴリ表示領域(3031)の中心かつ最も大きいサイズで表示される。次に、更新されたカテゴリ優先度2に対応する個別カテゴリ表示領域(3038)が個別カテゴリ表示領域(3037)の右側かつ次に大きいサイズで表示される。更新されたカテゴリ優先度3に対応する個別カテゴリ表示領域(3039)は、個別カテゴリ表示領域(3034)の左側かつ最も小さいサイズで表示される。また、個別カテゴリ表示領域(3037)内でも稼動された美容スチーマに対応する家電アイコンが一番大きく表示される。
このようにして、低稼働率である家電機器が稼働された際に高優先度を付与することで、珍しくユーザが利用した家電機器を視認するようにUI表示することができる。更には、図18の(c)の吹き出し(3040)のように、より当該家電機器の利用を強調するような情報をUIに付与するとしてもよい。
これにより、普段と異なる特別な家電利用状況であることがユーザにとってわかりやすく視認できるUIを実現できる。
また、家電カテゴリDB更新部(3005)は、家電稼働率(3014)が予め設定された時間帯において、あらかじめ設定された利用頻度以上利用される家電を同一カテゴリIDとして設定し、家電カテゴリDB(3004)を更新するとしてもよい。これにより、同一時間帯に稼働する家電機器を自動的にひとまとめに表示することができるため、ユーザにとって特定時間帯に稼働している家電機器の情報を視認しやすくできる。
また、本実施の形態において、カテゴリ表示サイズ決定部(3002)や家電アイコン表示サイズ決定部(3003)は、表示装置1(1510)や表示装置2(1520)などの表示装置の表示手段として備えられるとしてもよい。かかる構成の場合には、UI表示に関わるサーバの動作負荷を表示装置の処理として分散することができる。
この場合、表示装置の表示手段は、サーバ(3001)から受信した表示情報に基づいて、カテゴリIDを同一とする1以上の家電機器を一まとまりとして表示画面に表示し、カテゴリ表示優先度の高いカテゴリIDに属する複数の家電機器に関する情報ほど表示画面において大きく表示するとすればよい。
さらに、表示装置の表示手段は、家電表示優先度に基づいて、カテゴリIDを同一とする1以上の家電機器を示すアイコンを一まとまりとして表示画面に表示し、さらに、1以上の家電機器を示すアイコンのうち家電表示優先度の高い家電機器に対応するアイコンほど、大きく表示するとしてもよい。
(実施の形態3)
本実施の形態では、家電機器を稼動させるために特にユーザが行わなくてはならない操作に着目した情報提供方法について説明する。
[構成]
図20は、実施の形態3における表示形式判定手段の構成の一例を示す図である。
図20に示す表示形式判定手段(1102)は、家電稼働時間予測手段(4001)、および、ユーザ操作時間による表示指標値算出部(4002)から構成される。
家電稼働時間予測手段(4001)は、例えば、通信手段(1101)により受信された複数の家電機器それぞれに関する情報に基づいて、複数の家電機器が稼動した時間である家電稼動時間を予測する。本実施の形態では、家電稼働時間予測手段(4001)は、例えば、家電DB群(1103)に累積したイベントログを利用し、最新のイベントで受信した家電種別の家電に関する稼働時間の予測を行う。
また、ユーザ操作時間による表示指標値算出部(4002)は、家電稼働時間を、ユーザの操作時間で重み付けすることにより、フィルタリングした1以上の家電機器に関する情報を含む家電機器に対応するオブジェクトである家電アイコンの表示サイズおよび表示位置を決定するための表示指標値を算出する。
本実施の形態では、ユーザ操作時間による表示指標値算出部(4002)は、後述する家電操作比率DBを、例えば、家電DB群(1103)に保存、管理する。ユーザ操作時間による表示指標値算出部(4002)は、稼働時間予測手段(4001)及び家電操作比率DBを用いて、最新イベントの表示サイズや位置を決定する表示指標値を算出する。
[処理フロー]
図21は、実施の形態3における家電稼働時間予測手段が家電機器の稼働時間を予測する処理の一例を示すフローチャートである。
まず、S4101において、家電稼働時間予測手段(4001)は、稼動時間を予測する処理を開始する。
次に、S4102において、家電稼働時間予測手段(4001)は、最新のイベントを取得する。本実施の形態では、家電稼働時間予測手段(4001)は、家電DB群(1103)が保持する家電機器の状態変化を示す情報とユーザ操作のイベント値に最新のイベントが格納されると、その最新イベントを取得する。
次に、S4103において、家電稼働時間予測手段(4001)は、取得したイベントのイベントキーとイベント値を参照し、イベントキーが「電源」で、かつ、イベント値が「ON」と一致するか否かを確認する(S4103)。なお、取得したイベントのイベントキーが「電源」で、かつ、イベント値が「ON」の条件を満たさなければ(S4103でNO)、再び、新しいイベントの到着を待ち、最新のイベントを取得する。一方、S4013で上記条件を満たす場合(S4103でYES)には、S4104に進む。
次に、S4104において、家電稼働時間予測手段(4001)は、取得したイベントのハウスID、家電種別、イベントキーおよびイベント値が同じ過去のイベントを、家電DB群が保持するイベントログ(図3)において時間をさかのぼりながら検索を行う。
次に、S4105において、家電稼働時間予測手段(4001)は、取得したイベントと同じイベントが過去に存在したかを確認する。ここで、本条件を満たす過去のイベントが存在しない場合(S4105でNO)、S4108に進み家電種別毎の稼働時間デフォルト値を設定する。一方、本条件を満たす過去のイベントが存在する場合は(S4105でYES)、S4106に進む。
次に、S4106において、家電稼働時間予測手段(4001)は、検索した過去イベントより後ろの時刻において、取得したイベントと同じハウスID、家電種別、イベントキーで、かつ、イベント値が「OFF」の過去イベントを検索する。
次に、S4107において、家電稼働時間予測手段(4001)は、検索した過去イベントより後ろの時刻に取得したイベントと同じ過去イベントが存在したかを確認する。ここで、本条件を満たす過去のイベントが存在しないなら(S4107でNO)、S4108に進み家電種別毎の稼働時間デフォルト値を設定する。一方、本条件を満たす過去のイベントが存在する場合は(S4107でYES)、S4109に進む。
次に、S4109において、家電稼働時間予測手段(4001)は、検索した過去イベントにおいて、イベント値が「ON」と「OFF」の時刻の差分より稼働時間を算出する。
次に、S4110において、家電稼働時間予測手段(4001)は、検索した過去イベントにおいて、イベント値が「ON」の時刻よりX時間前までに、同じハウスID、家電種別およびイベントキーが同じイベントが存在するかどうかを検索する。ここで、該当するイベントが存在しない場合は(S4110でNO)、S4109で算出した稼働時間をそのまま稼働時間として設定すし、S4112に進む。一方、該当するイベントが存在する場合は(S4110でYES)、S4111に進む。
次に、S4111において、家電稼働時間予測手段(4001)は、新たに発見した過去イベントの稼働時間を算出し、加算する。
次に、S4112において、家電稼働時間予測手段(4001)は、S4111において算出した稼働時間を予測稼働時間として出力する。
そして、S4113において、本処理フローを終了する。
なお、図21で説明した処理では最も簡単な稼働時間算出方法を示したが、S4104〜S4109の処理を過去の数日において、同じ時間に稼動している過去イベントを検索し、それら数日間の平均値としてもよい。
また、S4110〜S4111で説明した処理では、過去X時間の間に電源の「ON」「OFF」を繰り返す場合は、同じ一連の作業とみなし、稼働時間を加算する方法を示したが、この方法に限らない。例えば指定時間内に複数の「ON」「OFF」が存在する場合は、その全てを加算する方法であってもよい。また指定時間Xは、単位時間を想定しているが、どのような時間であってもよい。
[稼働時間の算出例]
図22は、実施の形態3における家電DB群が保持するイベントログから稼働時間を算出する方法の一例を示す図である。
図22には、家電機器の状態変化とユーザ操作とを含む図3に示すイベントログを用いて、S4104〜S4109の処理より家電機器の稼働時間を算出する方法の一例が示されている。図22に示す例では、ハウスIDが等しく、かつ、家電種別が「洗濯機」のイベントログにおいて、イベントキーが「電源」、イベント値が「ON」から「OFF」になった時間を検索する。より具体的には、行2010と行2130とに示すイベントログが同一のハウスID「H000−0001」であり、同一の家電種別「洗濯機」であり、かつ同一のイベントキー「電源」である。そのため、イベント値が「ON」と「OFF」の時間4201〜時間4202の間を示す間4203を洗濯機の稼働時間と算出できることを示している。
一方、図23では、家電機器の状態変化とユーザ操作とを含む図3に示すイベントログを用いて、S4110〜S4111の処理より家電機器の稼働時間を算出する方法の一例が示されている。図23に示す例では、ハウスIDが等しく、かつ、家電種別が「掃除機」のイベントログにおいて、イベントキーが「電源」、イベント値が「ON」から「OFF」の時間を検索する。より具体的に、行2030〜行2040と、行2060〜行2090とに示すイベントログが、同一のハウスID「H000−0001」であり、同一の家電種別「掃除機」であり、かつ、同一のイベントキー「電源」であるイベントログである。そのため、イベント値が「ON」と「OFF」の時間4301〜時間4302の間を示す間4303とイベント値が「ON」と「OFF」の時間4304〜時間4305の間4306の合計時間が、掃除機の稼働時間と算出できることを示している。
[家電操作比率とユーザ接点表]
図24は、実施の形態3における家電DB群が保持する家電操作比率の一例を示す図である。
図24の(b)は実施の形態3における掃除機のユーザ接点表の一例を示す図であり、図24の(c)は実施の形態3における洗濯機のユーザ接点表の一例を示す図である。
図24の(a)には、家電機器を稼働する場合に、その稼動時間中にユーザが操作しなければならない時間を示す家電操作比率が示されており、家電DB群(1103)に格納されている。
本実施の形態では、表示指標値算出部(4002)は、家電DB群(1103)に保持された家電機器の状態変化あるいはユーザ操作を含むイベントが格納された際に、図24の(a)に示す家電操作比率を利用して、ポータル画面上への表示順位を決める表示指標を算出する。
具体的には、図24の(a)において、列4401は家電種別を示し、列4402はデフォルトユーザ接点比率を示す。列4402に示されるデフォルトユーザ接点比率は、列4401の家電機器を操作する際の平均的な操作時間を稼働時間で割る(平均的な操作時間/稼働時間)ことにより算出される。例えば、行4410に示す家電機器である掃除機のように稼動中においてユーザ操作を常に必要とするものは、デフォルトユーザ接点は「1」と算出され、「1」と設定される。また、例えば、行4420に示す家電機器である洗濯機のように、最初の設定とスタートボタンの押下以外は稼動中においてユーザの操作を必要としないような場合は、デフォルトユーザ接点比率は低い値となる。
また、図24の(a)において、列4403は、機能別ユーザ接点表の参照することを示している。機能別ユーザ接点表の一例として、例えば図24の(b)に示す掃除機のユーザ接点表が示されており、図24の(c)には洗濯機のユーザ接点表が示されている。
図24の(b)に示す掃除機のユーザ接点表において、列4405は掃除機に対する操作内容を示し、列4406に掃除機の稼動に対するユーザ操作の必須度を示している。列4407は、列4405の操作に対する平均操作時間を示している。
また、行4440は、掃除機稼働中の操作に、常にユーザが必須であることを示している。なお、掃除機の稼働時間は上述した方法により算出可能なため、平均操作時間は未設定である。また、行4450は、掃除機の「モード選択」のイベントが家電DB群(1103)に格納された際に、ユーザ操作が必須で、かつ、平均操作時間が10秒必要ということを定義している。同様に行4460は、掃除機の「強度選択」のイベントが家電DB群(1103)に格納された際に、ユーザ操作が必須で、かつ、平均操作時間が10秒必要ということを定義している。
図24の(b)に示す洗濯機のユーザ接点表において、列4408〜列4410は、洗濯機と同様の定義であるため説明を省略する。
また、図24の(b)において、行4470は、洗濯機稼働中の操作に、ユーザが常に必須ではないことを示している。そして、行4480では、洗濯機の「コース選択」にはユーザ操作が必須で、平均操作時間が30秒であることが示されている。
[表示指標の算出方法の一例]
図25は、実施の形態3における表示指標値算出部が表示指標を算出する処理の一例を示すフローチャートである。
まず、S4501において、表示指標値算出部(4002)は、表示指標の算出を開始する。
次に、S4502において、表示指標値算出部(4002)は、家電稼働時間予測手段(4001)より予測稼働時間を取得する。
次に、S4503において、表示指標値算出部(4002)は、例えば図24に示す表より、ユーザ接点比率を取得する。
次に、S4504において、表示指標値算出部(4002)は、受信した機器の表示指標値を算出する。
本実施の形態では、表示指標値算出部(4002)は、例えば下記の算出式を用いて表示指標値を算出する。
表示指標値=(予測稼働時間×家電種別における稼働時間中のユーザ操作比率)+(ユーザ操作イベントの平均操作時間の合計)
ここで、表示指標値の算出例を、図22〜図24を用いて説明する。
例えば、家電稼働時間予測手段(4001)は、図22を参照し、洗濯機の稼働時間4203が61分であることを算出することができる。次いで、家電稼働時間予測手段(4001)は、図24の(a)を参照し、洗濯機のデフォルトユーザ接点比率0.05を取得する。
このようにして、家電稼働時間予測手段(4001)は、図22に示す洗濯機における表示指標値を、「3.05」と算出することができる。なお、図22に示す例では、ユーザ操作イベントが存在しないが、ユーザ操作イベントが存在する場合には、図24の(c)の操作に対応する平均操作時間の合計値を加算する。
また、家電稼働時間予測手段(4001)は、図23を参照し、掃除機の稼働時間(時間4303+時間4306の合計時間)が10分であることを算出することができる。次いで、家電稼働時間予測手段(4001)は、図2の(a)を参照し、掃除機のデフォルトユーザ接点比率「1」を取得する。
このようにして、家電稼働時間予測手段(4001)は、図23に示す掃除機における表示指標値を「10」と算出することができる。
この結果、図22および図23で示される家電機器における優先度は「掃除機」「洗濯機」の順番となる。
なお、上記では、家電機器毎のユーザ操作比率による重み付けの一例を説明したがこれに限らない。例えば、家電機器の操作時におけるユーザの操作比率による重み付けを行い表示指標値に用いることができるのであればよい。
次に、図25に戻り、S4505において、表示指標値算出部(4002)は、最新のイベントとして受信したハウスIDで既にポータル上に表示されている家電機器と家電機器毎の表示指標値を取得する。
次に、S4506において、表示指標値算出部(4002)は、S4504にて算出した最新のイベントに含まれる家電種別及び、S4505で取得した同一ハウスIDを持つ表示中の家電機器の表示指標値の全てを降順にソートする。
次に、S4507において、表示形式判定手段(1102)は、上位N番目までを表示対象とするか決定し、表示指標値の最も大きいものを最も大きいアイコンで表示する旨を示す指示(表示情報)を生成する。
ここで、表示指標値と表示装置の表示画面における表示位置の関係について、図26を用いて説明する。
図26は、実施の形態3における特定の表示形式で表示された表示画面の一例を示す図である。
図26には、ハウスIDで識別される家アイコン(4601)が示されている。家アイコン(4601)の中の領域4602や下の領域4603〜領域4606には、家アイコン(4601)に対応する家の中で操作されている家電機器が表示される。
図26に示す特定の表示形式においては、例えば家アイコン(4601)の中の領域4602に最も表示指標値が高い家電機器が表示される。次に表示指標値が高い家電機器は、家アイコン(4601)の下の領域4603から右順に表示される。
本実施の形態では、S4507において、表示形式判定手段(1102)は、当該ハウスIDに属する家電機器のうち、表示指標値の上位N番目の家電機器までをポータル画面上での表示対象とするかを決定する。そして、表示形式判定手段(1102)は、表示指標値が最も大きい家電機器に対応する家電アイコンを家アイコン(4601)の中の領域4602に表示し、それ以降の表示指標値を持つ家電機器を順に領域4603〜領域4606に表示する旨を示す指示(表示情報)を生成する。
なお、図26に示すアイコン表示方法は一例であり、この場合に限らない。ユーザの操作比率が高いものから、より目立つ形態で表示できるものであればよい。
次に、S4508において、表示形式判定手段(1102)は、通信手段(1101)を介して、生成した指示(表示情報)を表示装置へ送信する。
そして、S4509において、本処理フローを終了する。
[表示画面の一例]
図27は、実施の形態3における特定の表示形式で表示された表示画面の別の一例を示す図である。
図27には、図25に示す処理を行い生成した表示情報に基づき、表示装置に表示された表示画面の一例が示されている。図27に示すポータル画面(表示画面)では、家アイコンを地図上にマッピングされており、現在、どの地域の家でどのような家電機器を操作しているのかが一目で判断できる。なお、図27に示すように、家電機器を全く操作していない家の家アイコン(4705)は、黒く表示されるとしてもよい。
なお、図26および図27の表示画面にさらに応用を加えてもよい。図28は図26の表示画面に応用を加えた場合の表示画面の一例を示す図であり、図29は図27の表示画面に応用を加えた場合の表示画面の一例を示す図である。
図28には、図26の表示画面において、ユーザ操作されて家電機器が稼動している時に、そのユーザを示す人アイコンを表示する場合の例が示されている。図29には、図27の表示画面において、ユーザ操作されて家電機器が稼動している時に、そのユーザを示す人アイコンを表示する場合の例が示されている。
具体的には、表示装置の表示手段は、家電アイコンのうちユーザ操作が行われた家電機器に対応する家電アイコンの近傍に、ユーザ操作が行われていることを示すアイコンを表示する。また、表示装置の表示手段は、特定の表示形式として、家電アイコンと、表示対象となる複数のユーザそれぞれ示す複数の人アイコンのうち、所定の表示優先度に従って選択された人アイコンとを背景画像に重畳して表示画面に表示するとしてもよい。
ここで、所定の表示優先度は、サーバ(1100)、またはサーバ(3001)において、通信手段(1101)により受信された複数の家電機器それぞれに関する情報であって複数のユーザそれぞれに属する情報を利用して決定される。
本実施の形態では、図28に示すように、家電DB群(1103)に格納された最新のイベントが、図24の(b)および図24の(c)に示す操作に含まれ、ユーザ操作必須のイベントであった場合、平均操作時間の間、当該イベントに関連する家電機器の家電アイコンの横に、例えば人アイコン(4801)および人アイコン(4802)を表示する。同様に、図29に示すように、家電DB群(1103)に格納された最新のイベントが、図24の(b)および図24の(c)に示す操作に含まれ、ユーザ操作必須のイベントであった場合、平均操作時間の間、当該イベントに関連する家電機器の家電アイコンの横に、例えば人アイコン(4901)、人アイコン(4902)および人アイコン(4903)を表示する。
これにより、図28および図29に示すポータル画面(表示画面)上で、家の中にいる人の数についても類推することができ、よりリアルタイムな家の状態を共有することができるようになる。
[効果]
以上のように、本実施の形態の情報提供方法によれば、家電機器を稼動させるために特にユーザが行わなくてはならない操作に着目した表示態様で提供することができる。
より具体的には、本実施の形態の情報提供装置によれば、受信した複数の家電機器それぞれに関する情報に基づいて、複数の家電機器が稼動した時間である家電稼動時間を予測し、家電稼働時間を、ユーザの操作時間で重み付けすることにより、フィルタリングした1以上の家電機器に関する情報を含む家電機器に対応するオブジェクトである家電アイコンの表示サイズおよび表示位置を決定するための表示指標値を算出する。これにより、サーバにより送信された表示指標値に基づき、家電アイコンの前記表示画面における表示サイズおよび表示位置を決定して表示画面に表示することができる。
また、本実施の形態の情報提供装置によれば、特定の表示形式として、家電アイコンと、表示対象となる複数のユーザそれぞれ示す複数の人アイコンのうち、所定の表示優先度に従って選択された人アイコンとを背景画像に重畳して表示装置の表示画面に表示することができる。
ここで、表示優先度は、受信された複数の家電機器それぞれに関する情報であって前記複数のユーザそれぞれに属する情報を利用して決定される。なお、表示優先度は、複数の家電機器それぞれに関する情報として複数の家電機器それぞれの動作時間を用いて決定されるとしてもよい。また、表示優先度は、複数の家電機器それぞれに関する情報として複数の家電機器それぞれの動作時間の累積を用いて決定されるとしてもよい。
このように、本実施の形態の情報提供方法によれば、家電機器の稼働状況に加えユーザの操作を必要とする家電機器の表示優先度を高くすることができる。それにより、各家庭の家電機器の稼働状況をポータル画面で一覧する場合には、ユーザが操作を行う必要のある家電機器に対応する情報(アイコン)の表示サイズを大きくしたポータル画面の表示態様を提供することができる。そのため、本ポータル画面を見ているユーザは、単純に家電機器の稼動状況を見るだけではなく、その家庭の人のリアルな動きを、ポータル画面上でリアルタイムに分かることができる。
したがって、本実施の形態の情報提供方法によれば、膨大で多種多様な情報であっても、視認しやすい表示態様で提供することができる。
(実施の形態4)
本実施の形態における表示形式判定手段(1102)が生成する、表示装置が表示画面で特定の表示形式で表示するための表示情報に関して説明する。
[構成]
表示形式判定手段(1102)は、複数の人アイコンまたは複数の家電アイコンが重ならないように背景画像を変形させて表示する特定の表示形式を生成する処理を行う。表示形式判定手段(1102)は、実施の形態1〜実施の形態3の表示形式判定手段(1102)の処理に加えて、さらに、背景画像を変形させて表示した後に、表示する家電アイコンを切り替える場合には、背景画像を変形前の元の形に戻し、元の形の背景画像に重畳して表示する家電アイコンが重なるときには、背景画像を再度変形させて表示する特定の表示形式を生成する処理を行う。ここで、背景画像は、例えば地図である。
図30は、実施の形態4における特定の表示形式で表示された表示画面の一例である。
図30には、表示形式判定手段(1102)により生成されたUIの一例が示されており、一画面上に複数のユーザを効果的に表示する場合のUIの一例が示されている。
図30の背景地図画像(5001)は、表示対象の地域を示す画像であり、提供するサービスあるいはユーザによって決定される画像である。背景地図画像(5001)は、日本地図以外に例えば、世界地図であってもよく、近畿地方の地図等であってもよい。また、背景地図画像(5001)は、実際の地図であっても良いし、ゲーム等のコンテンツ内部で使用される仮想的な地図であっても良い。
ユーザアイコン(5002)は、表示対象のユーザを示すアイコンである。ユーザアイコン(5002)は、ユーザの現在位置に応じて背景地図画像(5001)に重畳して表示される。ユーザアイコン(5002)は、例えば人、顔、家、家電等の形状を持つアイコンであってもよいし、これらは複数組み合わせられたものであってもよい。複数組み合わせる場合には、これらの大きさは異なっていても良いし、動的に変化していても良い。
[処理フロー]
図31は、図30に示す特定の表示形式を生成する処理の一例を示すフローチャートである。
まず、S5001において、表示形式判定手段(1102)は、表示対象の家電種別を決定する。これはサービス提供者により決定されても良いし、ユーザにより決定されても良い。また、家電種別に限らず、家電機器の属性やユーザの属性等、何らかのカテゴリにより表示対象を限定するものであっても良い。
次に、S5002において、表示形式判定手段(1102)は、家電DB群(1103)から表示対象に該当するユーザについて、ハウスID、家電種別、イベントキー、イベント値、日付および時刻等の情報を取得する。
次に、S5003において、表示形式判定手段(1102)は、家電DB群(1103)から取得した情報を元に、ユーザの表示優先度を決定する。本実施の形態では、表示形式判定手段(1102)は、家電DB群(1103)から取得した情報より算出される家電機器の動作時間や、その累積値を用いて表示優先度を決定する。なお、表示優先度の決定には、家電機器の動作時間の他、ユーザ同士の親密度やゲーム等のランキング、または、チャット機能を有するサービスの場合は発言数等の値を用いるとして良い。
次に、S5004において、表示形式判定手段(1102)は、決定した表示優先度を元に、表示対象のユーザを選択する。本実施の形態では、表示形式判定手段(1102)は、決定した表示優先度とある特定値とを比較し、特定値を超えた表示優先度に対応するユーザを選択する。
次に、S5005において、表示形式判定手段(1102)は、選択したユーザに応じたユーザアイコン(5002)を、背景地図画像(5001)上のユーザ位置情報に応じた場所に重畳して表示する。
次に、S5006において、表示形式判定手段(1102)は、表示装置の表示画面等に表示された複数のユーザアイコン(5002)同士が重なっているかどうかを判定する。ここで、重なっている場合(S5006でYES)はS5007の処理を行い、重なっていない場合(S5006でYES)は、S5008の処理を行う。
次に、S5007において、表示形式判定手段(1102)は、ユーザアイコン(5002)同士の重なりがなくなるように、背景地図画像(5001)の変形を行う。具体的には、地図としての形状を残しつつ、ユーザアイコン(5002)同士の距離が離れるように地図画像を局所的に伸長することによって実現する。なお、この変形によってもユーザアイコン(5002)同士の重なりが解消できない場合は、表示優先度の低いものから順に非表示にするとしてもよい。
図32は、実施の形態4におけるユーザアイコン同士が重なっている表示形式の一例を示す図である。図33は、実施の形態4における背景地図画像の変形による表示形式の一例を示す図である。
つまり、図32は、S5006の処理において、ユーザアイコン(5002)同士が重なっていると判定される場合の一例が示されており、ユーザアイコン(5002)が重なり合った表示(5003)となり、下側のアイコンが見辛くなっている。
それに対して、図33は、S5007の処理により、ユーザアイコン(5002)同士の重なりがなくなるように、背景地図画像(5001)が変形された場合の一例が示されている。変形させられた背景地図画像(5004)は、元の地図形状を維持しつつユーザアイコン(5002)が密集している部分のみ伸長されている。このようにしてユーザアイコン(5002)同士の重なりが解消され、見易い表示となる。
次に、S5008において、表示形式判定手段(1102)は、次の表示対象の家電種別を決定する。これはS5001と同じく、サービス提供者により決定されても良いし、ユーザにより決定されても良い。また、家電種別に限らず、家電機器の属性やユーザの属性等、何らかのカテゴリにより表示対象を限定するものであっても良い。
次に、S5009において、表示形式判定手段(1102)は、次の表示対象の家電種別が有効かどうかの判定を行う。ここで、有効な場合は(S5009でYES)、S5010の処理を行い、有効でない場合は(S5009でNO)、処理を終了する。
次に、S5010において、表示形式判定手段(1102)は、次の表示対象の家電種別が、現在の表示対象の家電種別と一致するかどうかの判定を行う。ここで、一致する場合(S5010でYES)、はS5002の処理を行い、一致しない場合は(S5010でNO)、S5011の処理を行う。
次に、S5011において、表示形式判定手段(1102)は、ユーザアイコン(5002)を非表示にし、背景地図画像(5001)の変形を解除し元の状態に戻す。
[効果]
以上のように、本実施の形態の情報提供方法によれば、膨大で多種多様な情報であっても、視認しやすい表示態様で提供することができる。
なお、本実施の形態の情報提供方法において、表示対象の家電種別が次々と切り替わる際に、間に元の形状の背景地図画像が挿入して遷移させるとしてもよい。
図34は、実施の形態4における表示形式の遷移の一例を示す図である。図34の(a)では、S5007で変形させられた背景地図画像(5004)が示されており、図34の(b)では、S5011でユーザアイコン(5002)が非表示となり元の形状の背景地図画像(5005)に遷移した場合の表示形式の一例が示されている。
そして、図34の(c)では、その後、次の表示対象の家電種別に応じたユーザアイコン(5002)が表示され、それに応じて変形された背景地図画像(5006)に遷移した場合の表示形式の一例が示されている。
このように、表示対象の家電種別が次々と切り替わる際に、間に元の形状の背景地図画像が挿入して遷移させることにより、ユーザに地図形状を視認させ易くなるという効果がある。
(実施の形態5)
本実施の形態では、ユーザ操作などによって発生する宅内にある家電機器の操作情報や状態変化情報をイベントとして収集し、表示装置がソーシャルネットワーク上で共有する特定の表示形式で表示するための表示情報を形成する場合について説明する。
本実施の形態では、家電機器自身または家電機器の周辺にセンサを配置することで、ユーザが家電機器を利用する際に、ユーザの生活情報を取得して、共有する特定の表示形式を生成する。
特に本実施の形態では、ユーザがコーヒーを飲むシーンを想定し、家電機器が重量センサと通信装置を有するコースターである場合について説明する。つまり、ユーザがコーヒーを飲むシーンにおいて、ユーザがコーヒーカップをコースターに置いたり、コースターからコーヒーカップを持ち上げたりすることから、ユーザの生活情報を取得する。
[無線コースターの構成]
図35Aは、実施の形態5における無線コースターの外観の一例を示す図である。図35Bは、実施の形態5における無線コースターの構成の一例を示す図である。
図35Aに示す無線コースター(6000)は、カップ(6001)を乗せる台として形成されている。無線コースター(6000)は、電池又は太陽光などの環境発電による電力供給を受けて、上部に置かれた物体の重量や温度、音などをセンシングし、その結果を、無線機能を用いて、サーバに送信する。
図35Aに示す無線コースター(6000)は、例えば重量を計測する機能を有する第1家電機器であり、図35Bに示すように、重量センサ(6002)と、無線通信部(6003)と、ID管理部(6004)とを備える。
無線コースター(6000)(特に無線通信部(6003))は、例えば、ハードウェア構成として、例えば第3のメモリとCPUを備える。第3のメモリには、例えば無線通信部(6003)として機能させるプログラムが記憶されている。第3のメモリとは、例えば、読み取り可能な記録媒体、または読み取りおよび書き込みが可能な記録媒体である。記録媒体として、半導体メモリ、光ディスク、ハードディスクなどを含む。
無線コースター(6000)は、例えば上述のプログラムを第3のメモリから読み出してCPUに実行させることにより、無線通信部(6003)が機能するように構成されている。
上述の例では、無線通信部(6003)として機能させるプログラムをCPUで実行させる構成であるが、これに限定をされるものではない。例えば、無線通信部(6003)として機能する専用の信号処理回路を用いて構成してもよい。
ID管理部(6004)は、無線コースター(6000)を一意に識別可能な識別子を管理する。すなわち、ID管理部(6004)は、自らのIDを管理する。
ID管理部(6004)が管理する識別子は、例えばメモリ(図示せず)に記憶されている。識別子を記憶するメモリとは、例えば、読み取りおよび書き込みが可能な記録媒体である。読み取りおよび書き込みが可能な記録媒体として、半導体メモリ、光ディスク、ハードディスクなどを含む。
重量センサ(6002)は、重量を計測する機能を有し、重量の変化を計測する。重量センサ(6002)は、無線コースター(6000)にカップが置かれることで、カップの重量を計測する。本実施の形態では、重量センサ(6002)は、圧力センサ、歪センサ等を用いて圧力や歪などの情報から無線コースター(6000)の上部におかれた物体の重量をセンシングする。
無線通信部(6003)は、重量センサ(6002)で計測された、物体の重量の変化を示す重量情報と無線コースター(6000)を一意に識別可能な識別子のIDを、ネットワークを介してサーバ(1100)に送信する。本実施の形態では、無線通信部(6003)は、例えばZigBeeやBluetooth(登録商標)、特定省電力無線、無線LANなどの無線手段によりGW1(1301)と通信する。なお、無線通信部(6003)は、3G無線などの無線手段を通して、直接サーバ(1100)に送るとしても良い。
[無線コースターの処理フロー]
図36は、実施の形態5における無線コースターが状態を検出する処理の一例を示すフローチャートである。
まず、S6021において、重量センサ(6002)は、圧力センサ、歪センサ等を用いて重量の増減(重量の変化)を検知し、重量を計測する。なお、重量センサ(6002)はばねなどの機構系を有しても良い。
次に、S6022において、重量センサ(6002)は、任意の時間センサの検知頻度を上げる。ここで、検知精度を上げる時間は、予めサーバ(1100)側から設定されるとしても良い。この場合、サーバ(1100)は、カウントした重量の増減が連続で行われた時間の平均を設定する。これによって、普段カップが置かれずにそのまま放置されている場合などでの省電力化が実現する。
次に、S6023において、重量センサ(6002)は、重量の増減情報(重量の変化を示す重量情報)を無線通信部(6003)に通知する。
次に、S6024において、無線通信部(6003)は、無線コースター(6000)のID情報を付加して重量の増減情報をGW1(1301)に送信する。
次に、S6025において、GW1は(1301)、サーバ(1100)に対して、ハウスID、家電種別、(必要に応じて時刻情報)を付加した上で情報を送信する。
このようにして、重量を計測する機能を有する無線コースター(6000)は、物体の重量の変化を計測し、計測した重量の変化を示す重量情報と無線コースター(6000)を一意に識別可能な識別子を、サーバ(1100)に送信することができる。それにより、無線コースター(6000)は、上部にカップが置かれたりその上にさらに液体を注がれたりした場合には、その重量変化を検知してサーバ(1100)に通知することができる。
[有線コースターの構成]
図37は、実施の形態5における有線コースターが、USBなどの有線接続でPCと接続された場合のシステムの構成の一例を示す図である。図35Bと同様の要素には同一の符号を付しており、詳細な説明は省略する。
図37に示す有線コースター(6000A)は、例えば重量を計測する機能を有する第1家電機器であり、図37に示すように、重量センサ(6002)と、ID管理部(6004)と、有線通信部(6011)と、を備える。
図37に示す有線コースター(6000A)(特に有線通信部(6011))は、例えば、例えば第3のメモリとCPUを備える。第3のメモリには、例えば有線通信部(6011)として機能させるプログラムが記憶されている。第3のメモリとは、例えば、読み取り可能な記録媒体、または読み取りおよび書き込みが可能な記録媒体である。記録媒体として、半導体メモリ、光ディスク、ハードディスクなどを含む。
図37に示す有線コースター(6000A)は、例えば、上述のプログラムを第3のメモリから読み出してCPUで実行させることにより、有線通信部(6011)が機能するように構成されている。
上述の例では、有線通信部(6011)として機能させるプログラムをCPUで実行させる構成であるが、これに限定をされるものではない。例えば、有線通信部(6011)として機能する専用の信号処理回路を用いて構成してもよい。
有線通信部(6011)は、重量センサ(6002)で計測された、物体の重量の変化を示す重量情報と有線コースター(6000A)を一意に識別可能な識別子のIDを、ネットワークを介してサーバ(1100)に送信する。本実施の形態では、有線通信部(6011)無線ではなく、例えばUSBケーブルでパーソナルコンピュータ(以後PC)と接続する。ここで、USB経由で有線コースター(6000A)に電力を供給してもよい。この場合、電池などを有線コースター(6000A)に搭載する必要性がなくなる。
図37に示すPCは、情報処理部(6020)と、USBポート(6021)と、インターネット接続部(6022)とを備え、ディスプレーなどの表示装置(6023)に接続されている。
図37に示すPC(特に情報処理部(6020)、インターネット接続部(6022))は、ハードウェア構成として、例えば第4のメモリとCPUを備える。第4のメモリには、情報処理部(6020)として機能させるプログラム、および、インターネット接続部(6022)として機能させるプログラムが記憶されている。
第4のメモリとは、例えば、読み取り可能な記録媒体、または読み取りおよび書き込みが可能な記録媒体である。記録媒体として、半導体メモリ、光ディスク、ハードディスクなどを含む。図37に示すPCは、例えば上述のプログラムをそれぞれ第4のメモリから読み出してCPUで実行させることにより、情報処理部(6020)、インターネット接続部(6022)が機能するように構成されている。
上述の例では、情報処理部(6020)として機能させるプログラム、インターネット接続部(6022)として機能させるプログラムをそれぞれCPUで実行させる構成であるが、これに限定をされるものではない。例えば、情報処理部(6020)として機能する専用の信号処理回路、インターネット接続部(6022)として機能する専用の信号処理回路を用いて構成してもよい。
また、情報処理部(6020)、インターネット接続部(6022)の一方を機能させるプログラムを第4のメモリに記憶し、他方を専用の信号処理回路を用いて構成してもよい。
情報処理部(6020)は、USBポート(6021)と有線コースター(6000A)から通知された情報をもとに処理を行う。また、情報処理部(6020)は、表示装置(6023)に画像表示を行う。
なお、本実施の形態ではPCを例に挙げて説明するが、それに限らない。タブレットやスマートフォンなどPCに相当する機能を有する家電機器であってもよい。
また、無線コースター(6000)と有線コースター(6000A)との差異は主に通信手段の違いであるため、以降の説明では、通信手段の無線か有線かの差異が構成及び方法に関連しない場合、必要に応じて分類せずコースターとして記載する。
[有線コースターの処理フロー]
図38は、実施の形態5におけるコースターが状態を検出してPCと連携する処理の一例を示すフローチャートである。
まず、S6041において、重量センサ(6002)は、重量の増減を検知する。そして、重量センサ(6002)は、上述したように圧力センサ、歪センサ等を用いて重量を計測する。
次に、S6042において、重量センサ(6002)は、任意の時間センサの検知頻度を上げる。
次に、S6043において、重量センサ(6002)は、重量の増減情報を有線通信部(6011)に通知する。
次に、S6044において、有線通信部(6011)は、有線コースター(6000A)のID情報を付加して重量の増減情報をPCに送信する。
次に、S6045において、PCがUSBポート(6021)経由で情報を取得し、情報処理部(6020)が情報を確認する。
次に、S6046において、情報処理部(6020)は、コースター、ハウスID、家電種別、(必要に応じて時刻情報)を付加した上でインターネット接続部(6022)を経由してサーバ(1100)に情報を送信する。
次にS6047において、情報処理部(6020)は、サーバ(1100)から入手したユーザに関連付けられた画面情報を、表示装置(6023)に送信し表示する。
このようにして、PCをGW1(1301)の機能と同じように情報をサーバ(1100)に送信するGWとして利用することができる。また、PC自体が画像表示装置としても動作するため。GW機器を省くこともできるし、有線コースター(6000A)の電源装置などの機構を簡素にすることもできる。
[コースターから得られる情報の例]
図39は、実施の形態5におけるコースターから得られる情報の一例を示す図である。
図39の(a)に示すように、例えばハウスIDを有し、家電種別としてコースター、イベントキーとして検出結果、イベント値として20.5gといった重量情報、日付、時刻を含む情報がコースターから得られる。
なお、日付、時刻は、コースター側に、時計機能がある場合は通信時の情報にも付与されて良い。時計機能がコースター側に無い場合はGW又はサーバ(1100)側で日付、時刻情報を付与する。このような情報のフォーマットでコースターは重量変化の情報をサーバ(1100)に通知することができる。
図39の(b)には、付加情報の例が示されている。付加情報には、例えばコースターの識別子であるコースターIDが含まれる。
なお、付加情報には、さらに、予めコースターの出荷時にグループIDが書き込まれるとしてもよい。グループIDがある場合、コースターを使ってSNSサイトにアクセスしたときに、グループIDに対応付けられたコミュニティに入ることができる。コミュニティの設定により、対象となるグループIDを持つコースターを使っていない場合は参加できないようにすることもできる。また、予め公開、非公開という情報を付加しておくことで、SNSサイト内でユーザのIDが公開されないようにすることもできる。このような形でコースターの中に予め情報を入れておくことで、明示的につながるコミュニティを決めておくことも可能であるし、コースターのID情報からサーバの中の設定としてグループと関連付けることも可能である。さらには、コースターのID情報をホームIDなどとあわせてハッシュなどにより秘匿して送信することで、偽造を防ぐことも可能である。
[画面情報の例]
図40は、実施の形態5におけるコースターと連動して表示される画面情報の一例を示す図である。
図40に示す表示画面には、ソーシャルネットワーキングサービスとしてのコミュニティの一つ一つが、テーブル(6035)として表現されている。図40に示す表示画面には4つのコミュニティが表示されている。
図40に示すそれぞれのテーブルでは、別々の話題や仲間がカテゴリとして分類されている。また、それぞれのテーブルでは、自分の分身として画面上に登場するキャラクターとそれに関連する物体を含むアバター(6030)が表示されている。
本実施の形態では、アバター(6030)は、ユーザの発言数と直近のコーヒーの消費量に関連付けられたテーブル状でのユーザを示す。このアバター(6030)の配置又はアバター(6030)の大きさは、ユーザの発言数と直近のコーヒーの消費量に応じて変更することもできる。また、テーブル自体の配置や大きさも、コミュニティ全体の発言数と直近のコーヒーの消費量から変更することができる。これによって、コミュニティの発言状況、ユーザの発言状況が直感的にわかりやすい画面の形成が可能になる。
カップの絵(6031)には、例えばユーザのお気に入りの絵など事前登録したカップの絵が表示されている。換言すると、カップの重量とそれに対応する絵を予め登録しておくと、コースターが通知する重量情報からカップを推定し、推定されたカップまたは推定されたカップとともに関連付けられた絵が表示される。
6032は、カップを持ち上げているという動作を示すアバター(画面)の例である。6033は、コーヒーを注いだ量と回数の情報を用いてカップの数を増減するアバター(画面)の例である。6034は、カップの重量と、推定容量と、から今注がれているコーヒーの量が計測できた場合に、カップにコーヒーが重畳される形で表示されるアバター(画面)の例である。6036は、コミュニティの空き人数を示す場所の画像の例である。6036では、椅子だけが置かれるなどして、まだコミュニティに入って会話に参加できることが表現される。
[無線コースターの別の構成]
図41は、実施の形態5における無線コースターが状態推定を行う場合の構成の一例を示す図である。図35Bと同様の要素には同一の符号を付しており、詳細な説明は省略する。
ここで、状態推定とはユーザのコーヒーを飲んでいるときの状態を推定することであり、コーヒーの残量やユーザがコーヒー飲むためにカップを持ち上げているかどうかなどを推定する。
図41に無線コースター(6000B)は、重量センサ(6002)と、無線通信部(6003)と、ID管理部(6004)と、状態推定部(6041)と、状態DB(6043)と、時刻管理部(6042)とを有する。
無線コースター(6000B)(特に、無線通信部(6003)、状態推定部(6041)、時刻管理部(6042))は、ハードウェア構成として、例えば第3のメモリとCPUを備える。第3のメモリには、例えば無線通信部(6003)として機能させるプログラム、状態推定部(6041)として機能させるプログラム、時刻管理部(6042)として機能させるプログラムが記憶されている。第3のメモリとは、例えば、読み取り可能な記録媒体、または読み取りおよび書き込みが可能な記録媒体である。記録媒体として、半導体メモリ、光ディスク、ハードディスクなどを含む。
無線コースター(6000B)は、例えば上述のプログラムを第3のメモリから読み出してCPUに実行させることにより、無線通信部(6003)、状態推定部(6041)、時刻管理部(6042)が機能するように構成されている。
上述の例では、無線通信部(6003)、状態推定部(6041)、時刻管理部(6042)として機能させるプログラムをCPUで実行させる構成であるが、これに限定をされるものではない。例えば、無線通信部(6003)として機能する専用の信号処理回路、状態推定部(6041)として機能する専用の信号処理回路、時刻管理部(6042)として機能する専用の信号処理回路を用いて構成してもよい。
また、無線通信部(6003)、状態推定部(6041)、時刻管理部(6042)の少なくともいずれか1つを機能させるプログラムを第3のメモリに記憶し、残りを専用の信号処理回路を用いて構成してもよい。
状態推定部(6041)は、コーヒーの残量やユーザがコーヒー飲むためにカップを持ち上げているかどうかなどを推定する。より具体的には、状態推定部(6041)は、重量センサ(6002)から受信した重量情報の変化パターンから、重量センサ(6002)が計測した物体の状態を推定する。ここで、状態推定部(6041)は、受信した重量情報の変化パターンから、物体の状態として、無線コースター(6000B)のユーザが無線コースター(6000B)にカップを置くまたは無線コースター(6000B)からカップを取り上げたかどうかを推定するとしてもよい。また、状態推定部(6041)は、受信した重量情報の変化パターンから、無線コースター(6000B)のユーザの利用する物体の重さを推測するとしてもよい。
状態DB(6043)は、状態を判定するための情報を有する。
状態DB(6043)は、メモリに記憶される。状態DB(6043)を記憶するメモリは、例えば、読み取りおよび書き込みが可能な記録媒体である。読み取りおよび書き込みが可能な記録媒体として、半導体メモリ、光ディスク、ハードディスクなどを含む。
時刻管理部(6042)は、時刻を管理する。
[コースターの処理フロー]
図42は、実施の形態5におけるコースターが状態を検出する処理を示すフローチャートである。
図42に示すとおり、まず、S6081において重量センサ(6002)が重量の増減を検知する。
次に、S6082において、状態推定部(6041)は、時刻管理部(6042)からの時刻情報と重量センサの情報を用いて、重量の増減の時系列の変化情報である、重量変化情報を生成する。この重量変化情報は、例えば図43に示されるような重量遷移を示す。
次に、S6083において、状態推定部(6041)が状態DB(6043)から時系列の重量の変化パターンである、重量変化パターンを取得する。状態DB(6043)には、例えば、図43にあるそれぞれの状態を示す変化パターンの特徴量データが保存される。
次に、S6084において、状態推定部(6041)が重量変化情報と重量変化パターンを比較して近似するものがある場合、対象となる状態を決定する。
次に、S6085において、状態推定部(6041)は無線通信部(6003)に状態変化の情報と現在の重量情報を伝達する。
次に、S6086において、無線通信部(6003)は、無線コースター(6000B)のID情報を付加して情報をGW1(1301)に送信する。
このようにして無線コースター(6000B)はユーザのコーヒーを飲むときの状態を推定してサーバ(1100)に通知することができる。
[重量変化のパターン例]
図43は、実施の形態5における重量変化のパターンの一例を示す図である。
重量センサ(6002)は、重量の変化をプロットした場合、ユーザの動作に応じて図43のような遷移を示す。横軸が時間で縦軸を重さとしたときに、ユーザがカップを置いたときは、カップの重さが検知される(6051)。その後カップにコーヒーなどの液体を注ぐ場合徐々に重量が増えていくため、6052に示す区間のような変化を示す。その後カップを持ち上げると、重量は0gになるため6053に示すような遷移となる。6054ではカップを置いたときに、6053の直前の重さから飲んだ量の重さが引かれた大きさが検出される。
このような形で、重量の変化がプロットされる。このように、コースターの検知する重量の値の変化からユーザの状態を推定することができる。
[コースターから得られる情報の例]
図44は、実施の形態5におけるコースターから得られる情報の一例を示す図である。図44に示すイベント値にあるように、カップを置いたときの状態であるカップセットや、注ぎ中、注ぎ終わりといった状態情報を検知して、サーバ(1100)に通知される。この情報はサーバ(1100)側で状態推定を行うとしても良い。
[サーバの構成]
図45は、実施の形態5における状態を推定する機能を有するサーバの構成の一例を示す図である。図45に示すサーバ(1100A)は、通信部(6061)とコースター情報取得部(6062)と表示情報通信部(6063)と、メッセージ管理部(6064)と、サーバ側状態推定部(6065)と、状態DB(6066)と、表示情報検索部(6067)と、カップDB(6068)と、表示形式判定部(6069)とを備える。
図45に示すサーバ(1100A)(特に、通信部(6061)、コースター情報取得部(6062)、表示情報通信部(6063)、メッセージ管理部(6064)、サーバ側状態推定部(6065)、表示情報検索部(6067)、表示形式判定部(6069))は、ハードウェア構成として例えば、例えば第1のメモリとCPUを備える。第1のメモリには、例えば通信部(6061)として機能させるプログラム、コースター情報取得部(6062)として機能させるプログラム、表示情報通信部(6063)として機能させるプログラム、メッセージ管理部(6064)として機能させるプログラム、サーバ側状態推定部(6065)として機能させるプログラム、表示情報検索部(6067)として機能させるプログラム、表示形式判定部(6069)として機能させるプログラムが記憶されている。
第1のメモリとは、例えば、読み取り可能な記録媒体、または読み取りおよび書き込みが可能な記録媒体である。記録媒体として、半導体メモリ、光ディスク、ハードディスクなどを含む。
図45に示すサーバ(1100A)は、例えば、上述のプログラムを第1のメモリから読み出してCPUで実行させることにより、通信部(6061)、コースター情報取得部(6062)、表示情報通信部(6063)、メッセージ管理部(6064)、サーバ側状態推定部(6065)、表示情報検索部(6067)、表示形式判定部(6069)としてそれぞれが機能するように構成されている。
上述の例では、通信部(6061)、コースター情報取得部(6062)、表示情報通信部(6063)、メッセージ管理部(6064)、サーバ側状態推定部(6065)、表示情報検索部(6067)、表示形式判定部(6069)として機能させるプログラムをCPUで実行させる構成であるが、これに限定をされるものではない。例えば、通信部(6061)として機能する専用の信号処理回路、コースター情報取得部(6062)として機能する専用の信号処理回路、表示情報通信部(6063)として機能する専用の信号処理回路、メッセージ管理部(6064)として機能する専用の信号処理回路、サーバ側状態推定部(6065)として機能する専用の信号処理回路、表示情報検索部(6067)として機能する専用の信号処理回路、表示形式判定部(6069)として機能する専用の信号処理回路を用いて構成してもよい。
また、通信部(6061)、コースター情報取得部(6062)、表示情報通信部(6063)、メッセージ管理部(6064)、サーバ側状態推定部(6065)、表示情報検索部(6067)、表示形式判定部(6069)のうちの少なくともいずれか1つとして機能させるプログラムを第1のメモリに記憶し、残りを専用の信号処理回路を用いて構成してもよい。
通信部(6061)は、複数の家電機器それぞれから当該複数の家電機器それぞれに関する情報を受信する。通信部(6061)は、表示形式判定部(6069)で形成(生成)される表示情報を表示装置に送信する。また、通信部(6061)は、コースターから送信された状態情報を受信する。また、通信部(6061)は、送信された家電機器の識別子と重量情報とを受信する。
コースター情報取得部(6062)は、コースターから送信された状態情報を選別し取得する。
サーバ側状態推定部(6065)は、受信した前記重量情報の変化パターンから、前記第1家電機器が計測した物体の状態を推定する。サーバ側状態推定部(6065)は、受信した重量情報の変化パターンから、物体の状態として、コースターのユーザがコースターにカップを置くまたはコースターからカップを取り上げたかどうかを推定する。サーバ側状態推定部(6065)は、受信した重量情報の変化パターンから、コースター機器のユーザの利用する物体の重さを推測する。
状態DB(6066)に含まれる情報、カップDB(6068)に含まれる情報は、それぞれメモリに記憶される。メモリとは、例えば、読み取りおよび書き込みが可能な記録媒体である。読み取りおよび書き込みが可能な記録媒体として、半導体メモリ、光ディスク、ハードディスクなどを含む。状態DB(6066)に含まれる情報、カップDB(6068)に含まれる情報は、例えば物理的に別々のメモリに記憶してもよいし、同一のメモリに記憶してもよい。
本実施の形態では、サーバ側状態推定部(6065)は、状態DB(6066)から時系列の重量の変化パターンである、重量変化パターンを取得する。サーバ側状態推定部(6065)は、重量変化情報と重量変化パターンを比較して近似するものがある場合、対象となる状態を決定する。また、サーバ側状態推定部(6065)は、登録された単語の中から頻出の単語がある場合、表示情報検索部(6067)に通知する。
メッセージ管理部(6064)は、対象となる状態が発生した時刻の前後で登録されたユーザのメッセージがあるかどうかを判定する。
表示形式判定部(6069)は、通信部(6061)で受信された複数の家電機器それぞれに関する情報をフィルタリングし、表示装置が特定の表示形式で表示するための表示情報を生成する処理を行う。表示形式判定部(6069)は、推定された物体の状態に合わせた表示内容を特定の表示形式で表示装置が表示する表示情報を生成する。例えば、表示形式判定部(6069)は、表示装置が表示情報に基づいて、表示画面に表示されているアバターのうち物体に関連するユーザのアバターを表示内容に従って変更する表示内容を特定の表示形式を生成する。
[サーバの処理フロー]
図46および図47は、実施の形態5におけるサーバの処理の一例を示すフローチャートである。
まず、S6121において、通信部(6061)は、コースターから送信された状態情報を受信する。
次に、S6122において、コースター情報取得部(6062)は、コースターから送信された状態情報を選別し取得する。
次に、S6123において、サーバ側状態推定部(6065)は、状態DB(6066)から時系列の重量の変化パターンである、重量変化パターンを取得する。このとき、コースター側で状態が判定されている場合、本処理は省いても良い。
次に、S6124において、サーバ側状態推定部(6065)は、重量変化情報と重量変化パターンを比較して近似するものがある場合、対象となる状態を決定する。このとき、コースター側で状態が判定されている場合、本処理は省いても良い。
次に、S6125において、メッセージ管理部(6064)は、対象となる状態が発生した時刻の前後で登録されたユーザのメッセージがあるかどうかを判定し、ある場合は、状態DBにその中の単語を登録する。
次に、S6126において、サーバ側状態推定部(6065)は、登録された単語の中から頻出の単語がある場合、表示情報検索部(6067)に通知する。
次に、S6127において、表示情報検索部(6067)は、状態情報がカップセットの場合その重量変化から、カップの推定重量情報を推定する。
次に、S6128において、表示情報検索部(6067)は、コースターIDに関連付けられたカップの重量のリストであるカップDB(6068)を検索しユーザが使用するカップを推定する。このとき、予めユーザがお気に入りカップの重量と絵柄を登録することができる。また、登録時には、一定時間このサービスをユーザが使っていた場合は、事前に計測されたカップの重量の偏りから、カップの推定リストを提示しても良い。
次に、図47のS6131において、表示形式判定部(6069)は、カップ持ち上げ動作の状態を取得した場合、アバターとして表示されているユーザの画面部品上の動作をカップ持ち上げの状態となるよう変更する。
次に、S6132において、表示形式判定部(6069)は、ユーザがコミュニティにログインしている間に、状態情報として、“カップに飲み物を注いだ状態”を検出した場合、その回数分のコーヒーカップを並べる。
次に、S6133において、表示形式判定部(6069)は、発言数や直近の時間内のコーヒーの消費量からアバター画面上の配置を中央に寄せる、又は大きめに表示するよう画面を変更する。
次に、S6134にて、表示形式判定部(6069)は、コミュニティ立ち上げユーザの設定から、コミュニティの最大数の中にあきスペースがある場合は、空きスペースである情報を表す画面に変更する。このとき椅子などの形にしても良い。
次に、S6135において、表示形式判定部(6069)は、状態情報の中に重量情報があり、カップの容量が判明している場合は、内容量を示す絵をあらわす画面に変更する。
次に、S6136において、表示形式判定部(6069)は、コミュニティ内の発言数や、参加者全員の直近の時間内のコーヒーの消費量からテーブルの大きさなど、コミュニティをあらわす単位の画像の大小または、遠近の配置を変更する。
[カップDBに保存される情報の例]
図48は、実施の形態5におけるカップDBに保存される情報の一例を示す図である。
お気に入りのカップの図柄は、予めユーザにより登録される。カップの想定注ぎ量は、カップをおいたときの重量とその後に注がれた量の最大値から推定し保存する。主に使われる時間帯は、図49の主に使われる時間帯(6071)に示すようにそれぞれの使用時間帯とその頻度から最も使われる時間帯を推定したものである。使用回数は今までに該当のカップが使われたと推定された回数である。
図49は、実施の形態5におけるカップの主に使われる時間帯を算出するための使用頻度情報の一例を示す図である。
図49に示すように、主に使われる時間帯(6071)は、ユーザの使用時間の頻度の偏りが現れ、それぞれの使用時間帯とその頻度から最も使われる時間帯を推定したものである。
[システムの構成]
図50は、実施の形態5におけるコーヒーメーカの利用情報とコースターの情報を同時に用いるシステムの構成の一例を示す図である。
図50に示すシステムは、無線コースター(6000)と、GW1(1301)に加えて、コーヒーメーカ(6081)と、電流センサ(6082)と、無線通信部(6083)とを備える。
コーヒーメーカ(6081)は、第3家電機器の一例である。
電流センサ(6082)は、電流量を計測する機能を有する第2家電機器の例であって、第3家電機器の電流量を計測する。本実施の形態では、電流センサ(6082)は、コーヒーメーカ(6081)の消費電力を計測する。例えば、電流センサ(6082)は、電源のコネクタとコンセントの間に、延長ケーブルのような形で配置され、延長された部分の電流量を検出する。これにより、電流センサ(6082)は、コーヒーメーカ(6081)に改変を加えずにその電流を計測することができる。
無線通信部(6083)は、電流センサ(6082)において計測されたコーヒーメーカ(6081)の電流量を、GW1(1301)介してサーバ(1100)に送信する。
図51は、実施の形態5における飲み物のメーカの情報を用いる場合のサーバの構成の一例を示す図である。図45と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図51に示すサーバ(1100B)は、図45に示すサーバ(1100A)の構成に加えて、電流センサ情報受信部(6091)と、メーカ状態推定部(6092)と、メーカ状態DB(6093)とを備える。
図51に示すサーバ(1100B)(特に通信部(6061)、コースター情報取得部(6062)、表示情報通信部(6063)、メッセージ管理部(6064)、サーバ側状態推定部(6065)、表示情報検索部(6067)、表示形式判定部(6069)、電流センサ情報受信部(6091)、メーカ状態推定部(6092))は、ハードウェア構成として例えば、例えば第1のメモリとCPUを備える。第1のメモリには、例えば通信部(6061)として機能させるプログラム、コースター情報取得部(6062)として機能させるプログラム、表示情報通信部(6063)として機能させるプログラム、メッセージ管理部(6064)として機能させるプログラム、サーバ側状態推定部(6065)として機能させるプログラム、表示情報検索部(6067)として機能させるプログラム、表示形式判定部(6069)として機能させるプログラム、電流センサ情報受信部(6091)として機能させるプログラム、メーカ状態推定部(6092)として機能させるプログラムが記憶されている。
第1のメモリとは、例えば、読み取り可能な記録媒体、または読み取りおよび書き込みが可能な記録媒体である。記録媒体として、半導体メモリ、光ディスク、ハードディスクなどを含む。
図51に示すサーバ(1100B)は、例えば、上述のプログラムを第1のメモリから読み出してCPUで実行させることにより、通信部(6061)、コースター情報取得部(6062)、表示情報通信部(6063)、メッセージ管理部(6064)、サーバ側状態推定部(6065)、表示情報検索部(6067)、表示形式判定部(6069)、電流センサ情報受信部(6091)、メーカ状態推定部(6092)としてそれぞれが機能するように構成されている。
上述の例では、有線通信部(6011)として機能させるプログラムをCPUで実行させる構成であるが、これに限定をされるものではない。例えば、通信部(6061)として機能する専用の信号処理回路、コースター情報取得部(6062)、として機能する専用の信号処理回路、表示情報通信部(6063)として機能する専用の信号処理回路、メッセージ管理部(6064)として機能する専用の信号処理回路、サーバ側状態推定部(6065)として機能する専用の信号処理回路、表示情報検索部(6067)として機能する専用の信号処理回路、表示形式判定部(6069)として機能する専用の信号処理回路電流センサ情報受信部(6091)として機能する専用の信号処理回路、メーカ状態推定部(6092)として機能する専用の信号処理回路を用いて構成してもよい。
また、通信部(6061)、コースター情報取得部(6062)、表示情報通信部(6063)、メッセージ管理部(6064)、サーバ側状態推定部(6065)、表示情報検索部(6067)、表示形式判定部(6069)、電流センサ情報受信部(6091)、メーカ状態推定部(6092)のうちの少なくともいずれか1つとして機能させるプログラムを第1のメモリに記憶し、残りを専用の信号処理回路を用いて構成してもよい。
メーカ状態DB(6093)は、例えばメモリに記憶される。メーカ状態DB(6093)を記憶するメモリは、例えば、読み取りおよび書き込みが可能な記録媒体である。読み取りおよび書き込みが可能な記録媒体として、半導体メモリ、光ディスク、ハードディスクなどを含む。
表示形式判定部(6069)は、推定された物体の状態に合わせた表示内容を特定の表示形式で表示装置が表示する表示情報を生成する。例えば、表示形式判定部(6069)は、表示装置が表示情報に基づいて、電流センサ(6082)が電流量を計測することで使用が特定され、第1家電機器と任意の時間以内の時間差で使用される第3家電機器を示す情報を、表示画面に表示されているアバターの側に配置する特定の表示形式を生成する。
本実施の形態では、表示形式判定部(6069)は、コーヒーメーカ(6081)の動作状態とコースターが取得した情報とが近ければ、画面上対象となるユーザのアバターに近い場所にコーヒーメーカのアイコンを表示するなどの表示画面を形成するための特定の表示形式を生成する。また、表示形式判定部(6069)は、カップに注がれる飲み物が複数有りうる場合は、時系列で動作した順に例えばコーヒーメーカ、ジューサーミキサーをカップの距離の順で画面上に並べるような特定の表示形式を含む画面情報を生成するとしてもよい。なお、上記ではコーヒーメーカ(6081)の例を挙げたがそれに限らない。ジューサーミキサーなど液状のものを製造する装置であってもよいし、ミルによる粉状上の食べ物を示すとしてもよい。いずれの場合でも同様の構成で画面情報を生成することができる。
[共有画面の例]
図52は、実施の形態5におけるコーヒーメーカなどのメーカの情報を表示した共有画面の一例を示す図である。
図52に示すようにユーザのアバターの近くにコーヒーメーカ(6111)が表示され、ジューサーミキサー(6112)がその少し遠い位置に表示される。同時に動作中や動作した後の時間などの情報も表示されて良い。
[システムの処理フロー]
図53は、実施の形態5における飲み物のメーカの情報を用いる場合のサーバの処理の一例を示すフローチャートである。
図53に示すように、まず、S6191において、電流センサ(60826083)が、コーヒーメーカ(6081)が動作中かどうかを判定して、動作中の場合、対象家電機器の情報と電流情報を、無線通信部(6083)を経由してGW1(1301)に送信する。このとき、対象家電機器がジューサーミキサーの場合は、その情報を付加しても良い。
次に、S6192において、無線コースター(6000)が、検知した情報をGW1(1301)に送信する。
次に、S6193において、GW1(1301)は無線コースター(6000)が検知した情報を送信する。
次に、S6194において、電流センサ情報受信部(6091)は電流の情報をメーカ状態推定部(6092)に通知する。また、メーカ状態推定部(6092)は、メーカ状態DB(6093)に保存された電流変化のパターンから、保温か生成中かを判定する。このとき、メーカ状態DB(6093)に予め登録されたパターン情報である特徴量の情報から判定する。このときメーカの製品の品番が事前に登録されていれば対象となる情報を用いても良いし、電力量のピークなどから学習しても良い。
次に、S6195において、表示形式判定部は、コースターからの情報が来た時刻の前に動作したメーカ(家電製品)を、時刻が近い順に距離が近くなるよう画面を生成する。
次に、S6196において、表示情報通信部(6063)は画面情報をリクエストに応じて送信する。
このようにして、共有する画面上対象となるユーザのアバターに近い場所にコーヒーメーカのアイコンを表示するなど、強調した画面として形成する。また、カップに注がれる飲み物が複数有りうる場合は、時系列で動作した順に例えばコーヒーメーカ、ジューサーミキサーをカップの距離の順で画面上に並べることが出来る。
[効果]
本実施の形態の情報提供方法によれば、家電機器自身または家電機器の周辺にセンサを配置することで、ユーザが家電機器を利用する際に、ユーザの生活情報を取得して、共有する特定の表示形式を生成することができる。
本実施の形態の情報提供方法によれば、表示情報に基づいて、表示画面に表示されているアバターのうち物体に関連するユーザのアバターを前記表示内容に従って変更することができる。また、本実施の形態の情報提供方法によれば、表示情報に基づいて、予め登録された複数の画像であって物体の重さに応じた複数の画像と、推測された前記物体の重さとを比較し、表示画面に表示されている前記アバターの前記物体に関する画像を、前記比較により推測された物体の重さに応じた画像に変更することができる。
また、本実施の形態の情報提供方法によれば、表示情報に基づいて、第2家電機器が電流量を計測することで使用が特定され、第1家電機器と任意の時間以内の時間差で使用される第3家電機器を示す情報を、表示画面に表示されている前記アバターの側に配置することができる。ここで、電流量から推測された第3家電機器の動作時刻と、重量情報の変化パターンから推測された第1家電機器が使用された時刻との差に応じて、第3家電機器を示す情報を配置する距離を変更する。
このように、本実施の形態の情報提供方法によれば、コーヒーを飲むようなシーンにおいて、センシングによって実際のユーザの状態が細かく共有されるためリアリティを持った情報共有が実現する。これにより、より臨場感のある演出がなされた画面の提供が可能となる。より具体的には、家電機器がコースターである場合に、コーヒーカップの重量を取得することで、共有する特定の表示形式の生成時にユーザがコーヒーを飲み始めたかどうか、コーヒーカップを持ち上げているかどうか、さらには想定されるカップの状態を推定する。そして、推定結果に応じて、ユーザに関連する画面情報の表示形態を変える。これにより、ユーザのコーヒーを飲むシーンの細かな状態情報に応じて自然な画面表現を用いることができるので、他のユーザと生活情報の共有をすることができる。特に、ソーシャルネットワーク上において飲み物を飲みながらのコミュニティ形成をする場合において、コーヒーを飲んでいる等の実際のユーザの状態が共有されるためリアリティのある生活情報の共有が実現する。このようにして、臨場感のある演出がなされた画面の提供が可能となる。
なお、コーヒー以外にジュースやビールなどの飲み物でもよく、さらには塩コショウや醤油などの調味料入れに応用して、その重量測定による使用状態を取得しても良い。調味料の場合は、1週間、1ヶ月といった時間軸での変化を捉えることでその使用量を取得することもできる。その場合は使用量の変化から、共有される画面上でユーザに対応するアバターの顔色や体型を変化させることができる。
また、ペン立てをコースター上部に置いた場合、ペンを取り出して戻したかどうかをその重量変化から判別することも出来る。この場合、画面上でユーザに対応するアバターに対して、仕事中や勉強中といった意味を持つアイコンや鉢巻などの演出で変更を加えても良い。
(実施の形態6)
本実施の形態では、家電機器や小型センシングデバイスとGW1(1301)との接続方法として、GW1(1301)にネットワーク接続マイクデバイス(7001)を用いた例について説明する。
図54は、実施の形態6におけるシステムの構成の一例を示す図である。なお、図54において、図1と同一の符号を付したものは、同一またはこれに相当するものであるため、ここでは詳細な説明は省略する。
図54に示すシステムでは、家A(1210)の中には、GW1(1301)と、集音装置の一例としてのネットワーク接続マイクデバイス(7001)およびネットワーク接続マイクデバイス(7001a)と、音発生装置7002および音発生装置7002aとが配置されている。
音発生装置(7002)は、家A(1210)において、ネットワーク接続マイクデバイス(7001)が集音できる範囲内に配置される。同様に、音発生装置(7002a)は、家A(1210)において、ネットワーク接続マイクデバイス(7001a)が集音できる範囲内に配置されている。
ネットワーク接続マイクデバイス(7001)およびネットワーク接続マイクデバイス(7001a)は、音を集音するマイクとしての機能と、通信機能とを有する。通信機能は有線通信の機能であっても、無線通信の機能であってもよい。
ここで、ネットワーク接続マイクデバイス(7001)が集音できる範囲というのは、例えば、ネットワーク接続マイクデバイス(7001)が設置されている部屋の中、ネットワーク接続マイクデバイス(7001)設置されている階と同じ階、ネットワーク接続マイクデバイス(7001)を設置する家の中などである。なお、ネットワーク接続マイク(7001)が集音できる範囲というのは、例えば、予め定めた特定の方向を含む領域を集音できる範囲としてもよいし、ネットワーク接続マイクデバイス(7001)を設置する位置を中心として、所定の距離内の領域を集音できる範囲としてもよい。
同様に、ネットワーク接続マイクデバイス(7001a)が集音できる範囲というのは、例えば、ネットワーク接続マイクデバイス(7001a)が設置されている部屋の中、ネットワーク接続マイク(7001a)設置されている階と同じ階、ネットワーク接続マイクデバイス(7001a)を設置する家の中などである。なお、ネットワーク接続マイクデバイス(7001a)が集音できる範囲というのは、例えば、予め定めた特定の方向を含む領域を集音できる範囲としてもよいし、ネットワーク接続マイクデバイス(7001a)を設置する位置を中心として、所定の距離内の領域を集音できる範囲としてもよい。
ネットワーク接続マイクデバイス(7001)は、GW1(1301)と接続しており、GW1(1301)および公衆ネットワーク(1200)を経由してサーバ(1100)へ集音したデータに関連するイベント情報を送信する。
また、ネットワーク接続マイクデバイス(7001a)は、GW1(1301)を介すことなく、公衆ネットワーク(1200)を経由して、集音したデータに関連するイベント情報を送信する。
ネットワーク接続マイクデバイス(7001)は、それぞれ、集音できる範囲に位置する人の声(または音声)、音発生装置(7002)が発する音を集音する。ネットワーク接続マイクデバイス(7001)は、集音した音を電子データに変換し、変換した電子データをイベント情報に含めてサーバ(1100)へGW1(1301)および公衆ネットワーク(1200)を経由して送信する。なお、ネットワーク接続マイクデバイス(7001)は、集音した音を電子データに変換し、変換した電子データを分析し、分析した結果をイベント情報に含めてサーバ(1100)へGW1(1301)および公衆ネットワーク(1200)を経由して送信してもよい。
ネットワーク接続マイクデバイス(7001a)は、それぞれ、集音できる範囲に位置する人の声(または音声)、音発生装置(7002a)が発する音を集音する。ネットワーク接続マイクデバイス(7001)は、集音した音を電子データに変換し、電子データをイベント情報に含めてサーバ(1100)へ公衆ネットワーク(1200)を経由して送信してもよい。なお、ネットワーク接続マイクデバイス(7001a)は、集音した音を分析し、分析した結果をイベント情報に含めてサーバ(1100)へ公衆ネットワーク(1200)を経由して送信してもよい。
図55は、実施の形態6におけるネットワーク接続マイクデバイスが集音する音発生装置の発する音の一例を示す図である。
図55では、家A(1210)において、ネットワーク接続マイクデバイス(7001)が集音できる範囲に位置する人の音声および音発生装置(7002)の発する音を集音する具体例が示されている。なお、ネットワーク接続マイクデバイス(7001a)が集音できる範囲に位置する人の音声および音発生装置(7002a)の発する音を集音する具体例については、図55に示すネットワーク接続マイクデバイス(7001)と音発生装置(7002)の関係と同様であるためここでは説明を省略する。
音発生装置(7002)は、例えば人または通信機能を有しない器具に取り付けられている。また、音発生装置7002は、家電機器に取り付けられるとしてもよい。
図55に示す例は、音発生装置(7002)を、子供(7102)、車のおもちゃ(7103)、哺乳瓶(7104)、家電機器の一例としての掃除機(7105)に取り付けている例を示している。なお、家電機器(7105)は通信機能を有するものであっても、有しないものであってもよい。
ネットワーク接続マイクデバイス(7001)は、例えば、家A(1210)の中にいる母親(7101)や子供(7102)の音声を集音したり、音発生装置(7002)が発する音を収音したりする。
音発生装置(7002)は、例えば、自身が動いたことを検出するセンサを備えている。センサとしては、例えば加速度センサ、角速度センサ、ジャイロセンサ、温度センサ、湿度センサ、照度センサおよび人感センサなどがある。
音発生装置(7002)が子供(7102)に取り付けられた場合、音発生装置(7002)は、子供(7102)が動いたとき、音発生装置(7002)が備えるセンサが、子供(7102)の動きを検出して音を発する。音発生装置(7002)がおもちゃ(7103)に取り付けられた場合、音発生装置(7002)は、例えば子供(7102)がおもちゃ(7103)が動かしたとき、音発生装置(7002)が備えるセンサがこのおもちゃの(7103)の動きを検出して音を発する。
また、音発生装置(7002)が哺乳瓶(7104)に取り付けたられた場合、音発生装置(7002)は、例えば子供(7102)が哺乳瓶(7104)の内容物を飲むために哺乳瓶(7104)を傾けたとき、音発生装置(7002)が備えるセンサが、哺乳瓶(7104)の傾ける動作を検出して音を発する。また、哺乳瓶(7104)に取り付けた音発生装置(7002)は、例えば子供(7102)が哺乳瓶(7104)を掴んだとき、音発生装置(7002)が備えるセンサが、哺乳瓶(7104)の温度の変化を検出して音を発するとしてもよい。
また、音発生装置(7002)が掃除機(7105)に取り付けられた場合、音発生装置(7002)は、例えば掃除機(7105)を動作させたとき、音発生装置(7002)が備えるセンサが、掃除機(7105)の動きを検出して音を発する。
以上のように、音発生装置(7002)が備えるセンサは、音発生装置(7002)を取り付けた人または物体の動きを検出する。
音発生装置(7002)は、例えばスピーカ、音叉などの音を出力する音出力部を有する。音発生装置(7002)が備えるセンサは、音発生装置(7002)を取り付けた人または物体の動きを検出すると、予め検出した動きに対応する音を出力するように音出力部を制御する。動きに対応する音というのは、例えば所定の周波数の音を出力する、所定の周波数の音を所定の時間出力する、所定の周波数の音を所定の時間繰り返し出力するなどである。例えばセンサが複数の動き(早く動かす、遅く動かす、大きく動かす、小さく動かす、など)を検出できる場合、それぞれの動きに対して異なる音を出力するように構成をしてもよい。
このように構成をすることにより、音発生装置(7002)は、音発生装置(7002)を取り付けた人または物体の動きに応じた音を出力することが可能となる。
なお、出力する音は人の耳に聞こえるような周波数の音でもよいし、人の耳に聞こえないような音でもよい。
ネットワーク接続マイクデバイス(7001)は、例えばメモリを備える。ここで、メモリとは、半導体メモリ、ハードディスクといった情報を蓄積するための記録媒体である。メモリには、音発生装置(7002)が発する音と、対応する動きとを関連付ける情報が蓄積されている。また、メモリには、ネットワーク接続マイクデバイス(7001)を特定するためのIDが蓄積されている。
ネットワーク接続マイクデバイス(7001)は、例えば集音した音に含まれる音発生装置(7002)から発せられた音の周波数、長さ、間隔などを分析し、対応する動きおよび、音を発した音発生装置(7002)を取り付けた人、ものを特定する。これにより、人の動きから人の状態、ものの動きから物を動かす人の状態を特定することができる。例えば車のおもちゃを(7103)を大きく動かしていると、子供(7102)が、はしゃいで遊んでいると、車のおもちゃ(7103)の動きから間接的に、子供(7102)の状態を推定する。
また、ネットワーク接続マイクデバイス(7001)は、例えば集音した音に含まれる人の声を分析し、分析した声の内容から周囲の状況を特定する。例えば、乳児、幼児といった子供(7102)が家A(1210)にいる場合、この子供(7102)の面倒を見る大人(例えば、母親、父親、ベビーシッター)が子供(7102)の周囲にいる場合が多い。子供(7102)の面倒を見る大人として、図55に示す母親(7101)を例に説明をすると、母親(7101)は、子供(7102)をあやすとき、子供(7102)に話しかけながらあやすことが多い。このことは父親、ベビーシッターなどの大人についても同様のことが言える。
よって、母親(7101)の声を集音し、声の内容を分析することにより、あやされている子供(7102)の状態を推定することが可能となる。具体的には、ネットワーク接続マイクデバイス(7001)は、集音できる範囲に位置する母親(7101)の声を集音すると、既存の音声認識の技術を利用して、母親(7101)の発した声の内容を分析する。
ネットワーク接続マイクデバイス(7001)のメモリには、予め定めた声の内容と、声の内容に対する子供の状態とを関連付けるテーブル情報を蓄積しておき、声の内容が分析されると、このテーブル情報を参照し、分析された内容と一致又は類似する内容を特定し、特定した内容と関連付けられた子供の状態を特定する。
また、子供(7102)の声を集音し、声の内容を分析することにより、子供(7102)の状態を推定することが可能となる。具体的には、ネットワーク接続マイクデバイス(7001)は、集音できる範囲に位置する子供(7102)の声を集音すると、既存の音声認識の技術を利用して、子供(7102)の発した声の内容を分析する。
ネットワーク接続マイクデバイス(7001)は、自身を特定するIDと、分析結果とを関連付けたイベント情報をサーバ(1100)へ送信する。
このように構成をすることにより、サーバ(1100)において、ネットワーク接続マイクデバイス(7001)が集音した音に関連する人の状態を蓄積することができる。
母親の音声に基づく子どもの状態の特定については後述する。なお、音発生装置(7002)が発する音は、人が認識できない非可聴音であっても良い。この場合、音発生装置(7002)が発する音に対する不快感を軽減することができる。
[具体的構成の一例]
図56Aは、実施の形態6におけるネットワーク接続マイクデバイスの具体的な構成の一例を示す図である。図56Bは実施の形態6における音発生装置Aの具体的な構成の一例を示す図であり、図56Cは実施の形態6における音発生装置Bの具体的な構成の一例を示す図である。なお、ネットワーク接続マイクデバイス(7001a)と音発生装置(7002a)の具体的な構成は、図56A〜図56Cに示したものと同じであるため、ここでは説明を省略する。
ネットワーク接続マイクデバイス(7001)は、例えば、複数の家電機器のうち音声を認識する機能を有する第4家電機器であり、音を集音して、音声認識を行う。また、ネットワーク接続マイクデバイス(7001)は、認識された音に基づいてオブジェクトの状態を判定する。また、ネットワーク接続マイクデバイス(7001)は、オブジェクトにより使用される第5家電機器に搭載された音発生装置が発する音を集音して、音声認識を行うとしてもよい。この場合、ネットワーク接続マイクデバイス(7001)は、認識された音に基づいて、第5家電機器を使用するオブジェクトの状態を判定する。また、ネットワーク接続マイクデバイス(7001)は、認識された音に含まれる単語に基づいてオブジェクトの状態を判定するとしてもよい。
本実施の形態では、ネットワーク接続マイクデバイス(7001)は、例えばマイクセンサ(7201)、環境センサ(7202)、音制御処理部(7203)、音声認識処理部(7204)、ネットワーク通信部(7205)、および、メモリ(7206)を備える。
ネットワーク接続マイクデバイス(7001)(特に、音制御処理部(7203)、音声認識処理部(7204)、ネットワーク通信部(7205))は、ハードウェア構成として例えば、例えば第5のメモリとCPUを備える。第5のメモリには、例えば音制御処理部(7203)として機能させるプログラム、音声認識処理部(7204)として機能させるプログラム、ネットワーク通信部(7205)として機能させるプログラムが記憶されている。
第5のメモリとは、例えば、読み取り可能な記録媒体、または読み取りおよび書き込みが可能な記録媒体である。記録媒体として、半導体メモリ、光ディスク、ハードディスクなどを含む。
図56Aに示すネットワーク接続マイクデバイス(7001)は、例えば、上述のプログラムを第5のメモリから読み出してCPUで実行させることにより、音制御処理部(7203)、音声認識処理部(7204)、ネットワーク通信部(7205)としてそれぞれが機能するように構成されている。
上述の例では、音制御処理部(7203)、音声認識処理部(7204)、ネットワーク通信部(7205)として機能させるプログラムをCPUで実行させる構成であるが、これに限定をされるものではない。例えば、音制御処理部(7203)として機能する専用の信号処理回路、音声認識処理部(7204)として機能する専用の信号処理回路、ネットワーク通信部(7205)として機能する専用の信号処理回路を用いて構成してもよい。
また、音制御処理部(7203)、音声認識処理部(7204)、ネットワーク通信部(7205)のうちの少なくともいずれか1つとして機能させるプログラムを第1のメモリに記憶し、残りを専用の信号処理回路を用いて構成してもよい。
メモリ(7206)は、例えば、読み取りおよび書き込みが可能な記録媒体である。読み取りおよび書き込みが可能な記録媒体として、半導体メモリ、光ディスク、ハードディスクなどを含む。
マイクセンサ(7201)は、集音できる範囲内の声、または音を集音し、電子データに変換する。
環境センサ(7202)は、ネットワーク接続マイクデバイス(7001)の周囲の状態を検出するものである。ネットワーク接続マイクデバイス(7001)では、例えば、環境センサ(7202)が所定の状態であることを検出すると、集音した音に含まれる人の声、音発生装置(7202)から発せられる音の分析を行う。
環境センサ(7202)は、例えば照度を検出する照度センサであり、ネットワーク接続マイクデバイス(7001)を設置する部屋の照明をオンしたときの照度と、オフしたときの照度を区別できる程度の値を閾値として有し、検出した照度と閾値とを比較し、比較した結果に基づいて部屋の照明がついているのかどうかを検出する。
環境センサ(7202)が、例えばネットワーク接続マイクデバイス(7001)を設置する部屋の照明をオンしたことを検出すると、ネットワーク接続マイクデバイス(7001)は、集音した音に含まれる人の声、音発生装置(7202)から発せられる音の分析を行う。
音制御処理部(7203)は、例えばマイクセンサ(7201)が集音した音に対応する電子データを分析する。音制御処理部(7203)は、例えば集音した音に対応する電子データの中から人の声を抽出し、後述する音声認識処理部(7204)へ出力する。また、音制御処理部(7203)は、マイクセンサ(7201)が集音した音に対応する電子データから、人の声以外の音を抽出し、抽出したデータに含まれる音発生装置(7002)から発せられた音を分析する。音声認識処理部(7204)は、音制御処理部(7203)から送られた人の声に対応するデータを分析し、結果を音制御処理部(7203)へ出力する。
音声認識処理部(7204)は、既存の音声認識の技術を用いて、人の声の内容を分析する。
音制御処理部(7203)は、音声認識処理部(7204)による集音した音に含まれる人の声の分析結果、および音制御処理部(7203)による集音した音に含まれる音発生装置(7002)から発せられた音の分析結果をサーバ(1100)へ送信する。
また、音制御処理部(7203)は、環境センサ(7202)が、所定の環境状態(例えば照明がついているなど)を検出している間は、集音した音に対応する電子データから、人の声以外の音を抽出、音発生装置(7002)から発せられた音の分析といった動作を行う。
音発生装置(7002)は、オブジェクトにより使用される第5家電機器に搭載される。音発生装置(7002)の構成は、図56Bおよび図56Cに示すように、大別すると音発生装置A(7206)、音発生装置B(7209)の2つがある。音発生装置A(7206)は、センサ(7209)が検知した値に基づき音源制御処理部(7208)で出力する音を決定した後、スピーカ(7207)から音を出力する。
図56Bにおける、音発生装置B(7209)(特に音源制御処理部(7208))は、ハードウェア構成として、例えば第6のメモリおよびCPUを備える。第6のメモリには、音源制御処理部(7208)として機能させるプログラムが記憶されている。第6のメモリとは、例えば、読み取り可能な記録媒体、または読み取りおよび書き込みが可能な記録媒体である。記録媒体として、半導体メモリ、光ディスク、ハードディスクなどを含む。
図56Bに示す音発生装置B(7209)は、例えば、上述のプログラムを第6のメモリから読み出してCPUで実行させることにより、音源制御処理部(7208)として機能するように構成されている。
上述の例では、音源制御処理部(7208)として機能させるプログラムをCPUで実行させる構成であるが、これに限定をされるものではない。例えば、音源制御処理部(7208)として機能する専用の信号処理回路を用いて構成してもよい。
なお、センサ(7209)は、加速度やジャイロ、温湿度、照度、人感等のセンサを想定している。また、スピーカ(7207)は、音源制御処理部(7208)で決定した音を発生できる機構であれば、駆動式音叉等であっても良い。
音発生装置B(7209)は、音叉(7210)から構成される。音叉(7210)は、付属した物体の動き等に応じて音を発する。例えば、家A(1210)の中のドアの開閉を検出したい場合、ドアに音発生装置B(7209)を取り付けることにより、ドアの開閉の動作を検出できる。
[ネットワーク接続マイクデバイスの処理フロー]
図57および図58は、実施の形態6におけるネットワーク接続マイクデバイスの動作の一例を説明するためのフローチャートである。
S7301において、例えば、ネットワーク接続マイクデバイス(7001)の電源の投入などにより、ネットワーク接続マイクデバイス(7001)の動作を開始する。
次に、S7302において、ネットワーク接続マイクデバイス(7001)が備えるマイクセンサ(7201)は、集音範囲に位置する人が発した音声、または、音発生装置A(7206)、音発生装置B(7209)が発した音を集音し、集音した音に対応する電子データを生成する。
次に、S7303において、音制御処理部(7203)は、集音した音の音量、または、周波数特性を算出する。
次に、S7304において、音制御処理部(7203)は、音量が閾値以上である、または、特定の周波数の値が閾値以上であるかを判定する。S7304において、音量が閾値以上である、または、特定の周波数の値が閾値以上であると判定した場合は、音制御処理部(7203)は、集音した音に人が発した声、音発生装置A(7206)、音発生装置B(7209)が発した音のいずれかが含まれていると判断し、S7305へ進む。
一方、S7304において音量が閾値より小さい、かつ、特定の周波数の値が閾値より小さいと判定した場合、音制御処理部(7203)は、集音した音に人が発した声、音発生装置A(7206)、音発生装置B(7209)が発した音は、含まれていないと判断し、S7302へ進む。
次に、S7305において、音制御処理部(7203)は、環境センサ(7202)の値を取得する。
次に、S7306において、音制御処理部(7203)は、環境センサ(7202)の値が閾値以上であるかを判定する。ここで、環境センサ(7202)の値が閾値以上である場合はS7307へ、それ以外はS7302へ戻る。
次に、S7401において、音制御処理部(7203)は、集音した音に音発生装置A(7206)または、音発生装置B(7209)から発せられた音が含まれるのかどうかを判断し、含まれると判断した場合、集音した音に含まれる音発生装置A(7206)または、音発生装置B(7209)から発せられた音を分析し、分析結果を保持する。また、集音した音に音発生装置A(7206)および音発生装置B(7209)から発せられた音が含まれないと判断した場合には、分析結果は保持されない。
次に、S7402において、音声認識処理部(7204)は、人の声に相当する周波数帯の音を分析する。具体的には、音声認識処理部(7204)は、音声認識を行い、分析結果として音声認識した文字列や音声に基づく状態を表す単語などへ変換した値を音制御処理部(7203)へ返す。音制御処理部(7203)は、音声認識処理部(7204)から出力された分析結果を保持する。
次に、S7403において音制御処理部(7203)は、S7401における分析結果、S7402における分析結果をサーバ(1100)へ送信すするようにネットワーク通信部(7205)へ依頼する。
次に、S7404において、ネットワーク通信部(7205)は、ネットワーク接続マイクデバイス(7001)のIDと分析結果を関連付けてサーバ(1100)へ送信する。
なお、音声認識結果に基づく状態を表す単語に変換する具体例については、図61にて後述する。
また、上記では、ネットワーク接続マイクデバイス(7001)が集音した音を分析する構成について説明をしたが、集音した音を分析する構成はサーバ(1100)が備えてもよい。この場合、ネットワーク接続マイクデバイス(7001)は、マイクが集音した音に対応する電子データをネットワーク接続マイクデバイス(7001)のIDと関連付けてサーバ(1100)へ送信すればよい。
[音発生装置Aの処理フロー]
図59は、実施の形態6における音発生装置Aの動作の一例を説明するためのフローチャートである。
まず、S7501において、動作を開始する。
次に、S7502において、発声装置A(7206)の音源制御処理部(7208)は、センサ(7209)から特定時間内のセンサ値を取得する。センサ(7209)は、加速度センサ、ジャイロセンサ、温湿度センサ、照度センサ、人感センサなどである。センサ値は特定時間内の平均値、または、最大値、または、最小値のいずれかとする。
次に、S7503において、音源制御処理部(7208)は、センサ値に応じて特定の周波数、リズムの音を出力するようにスピーカ(7207)へ依頼する。なお、図60を用いて3軸XYZの加速度センサ値に応じて出力する音の例を後述する。
次に、S7504において、スピーカ(7207)は依頼された音を出力する。
そして、S7505において処理を終了する。
[テーブルの一例]
図60は、実施の形態6における音発生装置Aが出力する音を決定するために用いられるテーブルの一例である。本実施の形態では、音源制御処理部(7208)は、図60に示すテーブルに基づき、3軸XYZ方向の加速度センサ値に応じて出力する音を決定する。
音源制御処理部(7208)では、X、Y、Zの各方向に応じた加速度の閾値(7601)が定義されており、それに応じて出力する音の周波数(7602)とリズム(7603)が決められている。行7604はX軸方向の加速度値が−10.0mV/g未満の場合に出力する音の周波数(7602)とリズム(7603)とを示しいる。行7605と行7606とも同様にX軸方向の加速度値に応じた音の周波数(7602)とリズム(7603)とを示している。
図61は、実施の形態6における母親の音声認識に関連付けられた子どもの状態の例を示す図である。
音声認識処理部(7204)は母親の音声認識がなされた後、母親の音声認識に基づき、図61に示す表を用いて子供の状態を特定する。具体的には、音声認識処理部(7204)は母親の音声認識がなされた後、列(7701)のいずれかに該当する単語が含まれていた場合、子どもの状態が列(7702)の同行に該当すると推定する。例えば、音声認識処理部(7204)は、母親の音声認識の結果「笑ってる」という単語を検出した場合、母親の音声認識結果が行(7703)に該当するため、子どもの状態を「笑う」と特定(判定)する。なお、図61に示す変換は、サーバ(1100)で実施されるとしてもよい。
[UIの一例]
図62および図63は、実施の形態6における表示装置に表示されるUIの一例である。図62および図63には、図58に示す処理にて生成された音声認識処理部(7204)で変換した値を、サーバ(1100)を通じて、もしくは、直接、表示装置(1510)へ送信した場合に表示されるUIの例が示されている。
図62に示す表示装置(1510)の表示画面のUI(7801)では、表示されるアイコン(7802)やメッセージ(7803)は、音声認識処理部(7204)で変換した値に基づき決定される。更に、経過時間メッセージ(7804)は、表示装置(1510)へ通知されてからの経過時間を示す。
また、図63に示す表示装置(1510)の表示画面のUI(7901)では、過去に音声認識処理部7204で変換した値を一覧できる。
[表示効果の一例]
図64は実施の形態6における表示装置に表示するUIの表示効果の一例を示す図であり、図65は実施の形態6におけるネットワーク接続マイクデバイスと表示装置の位置関係に応じた表示効果の速度の一例を示す図である。
表示装置(1510)は、GPSやWiFiを用いた屋内測位等の現在位置測位を自ら実施可能な装置であり、予め登録されるネットワーク接続マイクデバイス(7001)の設置位置と表示装置(1510)の現在位置との関係に応じて、表示装置(1510)の表示手段(1511)にて表示効果を決定する。
図64の(a)〜(c)は、図62のアイコン(7802)における表示効果の一例として、アイコン(7802)が徐々に表示画面に出現する表示効果を示している。表示開始から終了までの表示効果の速度は、ネットワーク接続マイクデバイス(7001)と表示装置(1510)の物理的な位置関係により図65のような表にて定義される。例えば、ネットワーク接続マイクデバイス(7001)と表示装置(1510)との距離が38キロメートルである場合、表示手段(1511)は図65の列(8101)の行(8103)に該当すると判定して、アイコン(7802)の表示開始から終了までの表示効果の速度は列(8102)の行(8103)に示す1.5秒間となるように表示を実施する。なお、表示効果はアイコン(7802)の透過度を段階的に下げることで徐々に明確に表示されるような効果であっても良い。
図66は、実施の形態6における表示装置(1510)へのイベント通知経過時間に応じた表示効果の一例を示す図である。図62のUI(7801)に示すようなメッセージ(7803)を含む通知が表示装置(1510)にされた後、表示手段(1511)は通知経過時間に応じて経過時間メッセージ(7804)を変更すると伴に、アイコン(7802)の透過度も変化させる。それにより、ユーザは表示装置(1510)の表示画面のUI(7801)を一瞥するだけで通知からの経過時間を直観的に把握することが可能となる。例えば、通知からの経過時間が45分の場合は図66の列(8201)の経過時間の行(8203)に該当するため、透過度は10%となり、薄らと透過している状態で表示装置(1510)へ表示される。更に、通知からの時間経過に伴い、段々と透過度が増すためアイコン(7802)は透けた状態へと変化する。
[UI更新通知の処理フロー]
図67は、実施の形態6におけるサーバが表示装置1にUI更新を通知する処理の一例を示すフローチャートである。
まず、S8301において、サーバ(1100)の通信手段(1101)は、各家のネットワーク接続マイクデバイス(7001)からイベントを受信する。
次に、S8302において、サーバ(1100)は、受信したイベントを家電DB群(1103)へ格納する。家電DB群(1103)へ格納されたイベントの例については、後述する図68で説明する。
次に、S8303において、サーバ(1100)は、一定時間経過したかを判定する。なお、判定条件として、時間以外に一定数のイベントを受信した場合等もある。
次に、S8304において、サーバ(1100)は、家電DB群(1103)に格納された各家から受信したイベントを地域毎に各宅のハウスID、および、子どもの状態別に集計する。集計結果の一例は、後述する。
次に、S8305において、サーバ(1100)は、S8304で集計した地域毎に、各宅(ハウスID)のランキングを決定する。
次に、S8306において、サーバ(1100)の通信手段(1101)は、表示手段(1511)に表示変更通知を行う。変更通知受信後に表示手段(1511)にて表示されるUIの一例は、後述する図70で説明する。
[通知されたイベントの一例]
図68は、実施の形態6における家電DB群が格納するネットワーク接続マイクデバイスにより通知されたイベントの一例を示す図である。
図68において、ハウスID(8201)は、各宅を識別するための固有値である。ハウスID(8201)は、図56Aに示すネットワーク接続マイクデバイス(7001)のID管理部(不図示)に予め格納される値である。
日時(8202)は、ネットワーク接続マイクデバイス(7001)のイベント生成時の時刻である。
子どもの状態(8203)は、ネットワーク接続マイクデバイス(7001)にて判定された子どもの状態である。
最大音量(8204)は、ネットワーク接続マイクデバイス(7001)が収音時に検知した最大音量であり、図56Aの音制御処理部(7203)にサーバ(1100)への通知イベント生成時に付与される。
時間(8205)は、子どもの状態(8203)が連続的に生じた時間を示しており、音制御処理部(7203)によるサーバ(1100)への通知イベント生成時に付与される。
居住地域(8206)は、図56Aで示すネットワーク接続マイクデバイス(7001)のID管理部(不図示)に予め格納される値であり、ユーザの居住地域を示す。例えば行8207および行8208は、同一のハウスID(8201)のH000−0001であるため、同じお宅のネットワーク接続マイクデバイス(7001)からサーバ(1100)へ送信されたイベントを示している。
[イベントの集計結果の一例]
図69Aおよび図69Bは、実施の形態6におけるサーバの家電DB群が蓄積するイベントの集計結果の一例を示す図である。図69Aは、図68に示す居住地域(8206)が大阪であるお宅における子どもの状態(8203)が泣きの場合の値を集計した表である。行8303は、図68のハウスID(8201)が同一、かつ、子どもの状態(8203)が泣きである行を集計しており、集計元のイベントは図68の行8207、行8208である。
図69Aの最大音量(8301)は、図68の行8207、行8208の最大音量(8204)の内、最も大きい値である72dBが集計結果として設定される。時間(8302)は、図68の行8207、行8208の時間(8205)の合計値である464秒が集計結果として設定される。
更に、図69Bに示す最大音量ランキング(8304)は、最大音量(8301)に基づき音量が大きなお宅から順に上位の順位とする。同様に、時間ランキング(8305)についても時間(8302)に基づき時間が長いお宅から順に上位の順位とする。
なお、集計される子どもの状態(8203)は、図61で示す各子ども状態において実施される。
[UI変更通知後のUIの一例]
図70は、実施の形態6における表示装置がサーバからのUI変更通知後に表示するUIの一例を示す図である。
図70において、表示装置(1510)の表示画面全体のUI(8401)は、ハウスID(8201)のH000−0001におけるUIであり、ユーザがランキング画面の表示等の操作を行った際に表示されるものである。図69Bに示す最大音量ランキング(8304)に基づき大泣き音量ランキングメッセージ(8403)が表示され、図69Bに示す時間ランキング(8305)に基づき大泣き時間ランキングメッセージ(8402)が表示される。
[効果]
以上のように、本実施の形態の情報提供方法によれば、複数の家電機器のうち音声を認識する機能を有する第4家電機器が音を集音して、音声認識を行い、音声認識ステップにおいて認識された前記音に基づいてオブジェクトの状態を判定する。これにより、オブジェクトの状態に応じた表示内容を特定の表示形式で表示装置が表示する表示情報を生成することができるので、表示装置の表示画面に特定の表示形式で表示させることができる。
このようにして、膨大で多種多様な情報であっても、視認しやすい表示態様で提供することができる情報提供方法を実現することができる。
(実施の形態7)
本実施の形態では、上述の実施の形態で説明をしたサーバにより提供するサービスに関する説明をする。
図71A〜図71Cは、サーバを用いてサービスを提供する形態の一例を説明するための図である。
図71Aにおいて、サーバ(1100)は、データセンタ運営会社(11001)が運営するクラウドサーバ(110011)、およびサービスプロバイダが運営するサーバ(110021)を有する構成を示している。
クラウドサーバ(110011)とはインターネットを介して様々な機器と連携する仮想化サーバである。主に通常のデータベース管理ツール等で扱うことが困難な巨大なデータ(ビッグデータ)等を管理する。データセンタ運営会社(11001)は、データ管理やクラウドサーバ(111)の管理、それらを行うデータセンタの運営等を行っている。データセンタ運営会社(110)が行っている役務については詳細を後述する。ここで、データセンタ運営会社(110)は、データ管理やクラウドサーバ(11001)の運営等のみを行っている会社に限らない。
例えば実施の形態1〜6において説明をした家電機器のうちの一つの機器を開発・製造している機器メーカが、併せてデータ管理やクラウドサーバ(11001)の管理等を行っている場合は、機器メーカがデータセンタ運営会社(110)に該当する(図71B)。
また、データセンタ運営会社(11001)は一つの会社に限らない。例えば機器メーカ及び他の管理会社が共同もしくは分担してデータ管理やクラウドサーバ(111)の運営を行っている場合は、両者もしくはいずれか一方がデータセンタ運営会社(11001)に該当するものとする(図71C)。
サービスプロバイダ(11002)は、サーバ(110021)を保有している。ここで言うサーバ(110021)とは、その規模は問わず例えば、個人用PC、またはゲートウェイ機器で動作するものも含む。また、サービスプロバイダがサーバ(110021)を保有していない場合もある。
次に、上記サービスにおける情報の流れを説明する。
例えば図に示す家A(1210)(または、図71Aでは図示していないが図1に示す家B(1211)でもよい)で発生した家電機器のイベント情報は、クラウドサーバ(110011)に送信される(図71Aの矢印(a))。
クラウドサーバ(110011)は、例えば家A(1210)、家B(1211)から送信される家電機器のイベント情報を受信して格納する。
次に、データセンタ運営会社(11001)のクラウドサーバ(110011)は、格納した家電機器のイベント情報を一定の単位でサービスプロバイダ(11002)に提供する。ここで、データセンタ運営会社が格納したイベント情報を整理してサービスプロバイダ(110021)に提供することの出来る単位でもいいし、サービスプロバイダ(11002)が要求した単位でもいい。一定の単位と記載したが一定でなくてもよく、状況に応じて提供する情報量が変化する場合もある。
データセンタ運営会社(11001)がサービスプロバイダ(11002)に提供する家電機器のイベント情報は、必要に応じてサービスプロバイダ(11002)が保有するサーバ(110021)に保存される(図71Aの矢印(b))。
そして、サービスプロバイダ(11002)は、家電機器のイベント情報の種別や頻度の情報に基づいて、ユーザに提供するサービスに適合する情報(例えば共有画面の情報)に整理し、ユーザに提供する。
提供するユーザは、1つまたは複数の家電機器を使用するユーザ(10)でもよいし、家の外にいるユーザ(20)でもよい。
ユーザへのサービス提供方法は、例えば、クラウドサーバ(11001)を再度経由することなく、サービスプロバイダ(11002)から直接ユーザへ提供されてもよい(図71Aの矢印(e)または(f))。
また、ユーザへのサービス提供方法は、例えば、データセンタ運営会社(110)のクラウドサーバ(11001)を再度経由して、ユーザに提供されてもよい(図71Aの矢印(c)、(d))。また、データセンタ運営会社(110)のクラウドサーバ(111)が家電機器のイベント情報の種別や頻度の情報に基づいて、ユーザに提供するサービスに適合する情報に整理し、サービスプロバイダ(120)に提供してもよい。
サービスの類型に関し、以下に説明をする。
(サービスの類型1:自社データセンタ型)
図72は、サービスの類型の一例を説明するための図である。
図72は、具体的にはサービスの類型1(自社データセンタ型)を示す図である。本類型は、サービスプロバイダ(11002)が図に示す家A(1210)(または、図55には示していないが図1の家B(1211)でもよい)から情報を取得し、ユーザに対してサービスを提供する類型である。
本類型では、サービスプロバイダ(11002)が、データセンタ運営会社の機能を有している。即ち、サービスプロバイダが、ビッグデータの管理をするクラウドサーバ(110011)を保有している。従って、データセンタ運営会社は存在しない。
本類型では、サービスプロバイダ(11002)は、データセンタ(クラウドサーバ(110011))を運営、管理している(1100203)。また、サービスプロバイダ(11002)は、OS(1100202)及びアプリケーション(1100201)を管理する。サービスプロバイダ(120)は、サービスプロバイダ(120)が管理するOS(1100202)及びアプリケーション(1100201)を用いてサービス提供を行う(1100204)。
(サービスの類型2:IaaS利用型)
図73は、サービスの類型の一例を説明するための図である。
図73は、具体的にはサービスの類型2(IaaS利用型)を示す図である。
ここでIaaSとはインフラストラクチャー・アズ・ア・サービスの略であり、コンピュータシステムを構築および稼動させるための基盤そのものを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社がデータセンタ(クラウドサーバ(11001))を運営、管理している(1100103)。また、サービスプロバイダ(11002)は、OS(1100202)及びアプリケーション(1100201)を管理する。サービスプロバイダ(11002)は、サービスプロバイダ(11002)が管理するOS(1100202)及びアプリケーション(1100201)を用いてサービス提供を行う(1100204)。
(サービスの類型3:PaaS利用型)
図74は、サービスの類型の一例を説明するための図である。
図74は、具体的にはサービスの類型3(PaaS利用型)を示す図である。ここでPaaSとはプラットフォーム・アズ・ア・サービスの略であり、ソフトウェアを構築および稼動させるための土台となるプラットフォームを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社(11001)は、OS(1100102)を管理し、データセンタ(クラウドサーバ(110011))を運営、管理している(1100103)。また、サービスプロバイダ(11002)は、アプリケーション(1100201)を管理する。サービスプロバイダ(11002)、データセンタ運営会社が管理するOS(1100102)及びサービスプロバイダ(11002)が管理するアプリケーション(1100201)を用いてサービス提供を行う(1100204)。
(サービスの類型4:SaaS利用型)
図75は、サービスの類型の一例を説明するための図である。
図75は、具体的にはサービスの類型4(SaaS利用型)を示す図である。ここでSaaSとはソフトウェア・アズ・ア・サービスの略である。例えばデータセンタ(クラウドサーバ)を保有しているプラットフォーム提供者が提供するアプリケーションを、データセンタ(クラウドサーバ)を保有していない会社・個人(利用者)がインターネットなどのネットワーク経由で使用できる機能を有するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社(11001)は、アプリケーション(1100101)を管理し、OS(1100102)を管理し、データセンタ(クラウドサーバ(110011))を運営、管理している(1100103)。また、サービスプロバイダ120は、データセンタ運営会社(11001が管理するOS(1100102)及びアプリケーション(1100101)を用いてサービス提供を行う(1100204)。
以上いずれの類型においても、サービスプロバイダ11002がサービス提供行為を行ったものとする。また例えば、サービスプロバイダ若しくはデータセンタ運営会社は、OS、アプリケーション若しくはビッグデータのデータベース等を自ら開発してもよいし、また、第三者に外注させてもよい。
以上のように、本開示に係る実施の形態に情報提供方法等によれば、膨大で多種多様な情報であっても、視認しやすい表示態様で提供することができる。 そして、この情報提供方法によれば、複数の家庭における、ネットワークに接続された家電機器等に関する膨大で多種多様な情報を、各家庭のユーザが、その後の利用目的に応じて、容易に視認しやすいポータル画面で提供することもできる。
なお、ネットワークに接続された家電機器等に関する情報、と記載する際の「家電機器等」とは、テレビやレコーダー等のAV家電機器や、エアコンや冷蔵庫等のいわゆる白物家電だけでなく、美容家電、健康機器やデジタルカメラ等、ネットワークに接続され、機器自身のデータを通信できるあらゆるハード・ソフトウエアを含み得る。よって、NFCのセンサ等、M2Mでデータを通信できるものも含み得る。
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
以上、本開示の一つまたは複数の態様に係る情報提供方法等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
このようにして、既存のインターネット上のSNSなどの情報共有サービスに比べて、情報のリアリティ、リアルタイム性を高めることが可能となり、より魅力的なコンテンツとして楽しめるサービスを提供することが出来る。さらには、情報発信者にとって、情報発信時により簡易に発信者のメッセージとそれを裏付けるイベントとを関連付けられるため、発信者にとっても魅力的なサービスとなる。
1100、3001 サーバ
1101、1512 通信手段
1102 表示形式判定手段
1103 家電DB群
1200 公衆ネットワーク
1201 家A
1211 家B
1251 家電アイコン
1252、1254、3030、4601 家アイコン
1253 メッセージ
1301 GW1
1302 GW2
1401 家電1
1402 家電2
1403 家電3
1404 家電4
1405 家電5
1406 家電n
1510 表示装置1
1511 表示手段
3002 カテゴリ表示サイズ決定部
3003 家電アイコン表示サイズ決定部
3004 家電カテゴリDB
3005 家電カテゴリDB更新部
3011 カテゴリID
3031 カテゴリ表示領域
3032〜3039 個別カテゴリ表示領域
3040 吹き出し
4001 家電稼働時間予測手段
4002 表示指標値算出部
4602、4603、4604、4605、4606 家電アイコン表示領域
4701 地図画像
4702、4703、4704 家電アイコン
4705 家アイコン
4801、4802、4901、4902、4903 人アイコン
5001 背景地図画像
5002、5003 ユーザアイコン
5004、5005 背景地図画像
6000、6000B 無線コースター
6000A 有線コースター
6001 カップ
6002 重量センサ
6003 無線通信部
6004 ID管理部
6011 有線通信部
6020 情報処理部
6021 USBポート
6022 インターネット接続部
6023 表示装置
6041 状態推定部
6042 時刻管理部
6043 状態DB
6081、6111 コーヒーメーカ
6082 電流センサ
6083 無線通信部
6091 電流センサ情報受信部
6092 メーカ状態推定部
6093 メーカ状態DB
6112 ジューサーミキサー
7001 ネットワーク接続マイクデバイス
7002 音発生装置
7101 母親
7102 子ども
7103 車のおもちゃ
7104 哺乳瓶
7105 掃除機
7201 マイクセンサ
7202 環境センサ
7203 音制御処理部
7204 音声認識処理部
7205 ネットワーク通信部
7206 ID管理部
7801、7901、8401 UI
7802 アイコン
7803 メッセージ
7804 経過時間メッセージ
8402 大泣き時間ランキングメッセージ
8403 大泣き音量ランキングメッセージ
110011 クラウドサーバ
110021 サーバ
1100101、1100201 アプリケーション
1100102、1100202 OS
1100103、1100203 データセンタ

Claims (18)

  1. ネットワークを介して接続された複数の家電機器と表示装置とサーバとにおける情報提供方法であって、
    前記サーバにおいて、
    前記複数の家電機器それぞれから前記複数の家電機器それぞれに関する情報を所定数毎に受信し、受信した前記複数の家電機器それぞれに関する情報をデータベースに蓄積する受信ステップと、
    前記受信ステップにおいて受信された前記複数の家電機器それぞれに関する情報を所定数受信した時を契機に、受信した前記複数の家電機器それぞれに関する情報を、利用目的に応じてフィルタリングし、フィルタリングした情報を一画面で視認可能な表示形式である特定の表示形式で前記表示装置が表示するための表示情報を生成する処理を行う処理ステップと、
    前記処理ステップにおける前記表示情報を前記表示装置に送信する送信ステップと
    前記表示装置において、前記サーバにより送信された前記表示情報に基づいて、フィルタリングされた1以上の家電機器に関する情報を含む家電機器に対応するオブジェクトを前記表示装置の表示画面に前記特定の表示形式で表示する表示ステップとを含み、
    前記受信ステップでは、受信した前記複数の家電機器それぞれに関する情報をデータベースに蓄積し、
    前記処理ステップは、さらに、
    前記受信ステップにおいて受信された前記複数の家電機器それぞれに関する情報にカテゴリ種別を示すカテゴリIDを付与し、前記受信ステップにおいて受信された前記複数の家電機器それぞれに関する情報と、蓄積された前記家電機器それぞれに関する情報に基づいて、前記カテゴリ種別の表示優先度を示すカテゴリ表示優先度と、前記複数の家電機器それぞれの表示優先度を示す家電表示優先度を決定する決定ステップとを含み、
    前記処理ステップでは、
    付与した前記カテゴリIDと、決定した前記カテゴリ表示優先度および前記家電表示優先度とを含めて前記表示情報を生成する処理を行い、
    前記表示ステップでは、
    前記表示情報に基づいて、前記カテゴリIDを同一とする1以上の家電機器を一まとまりとして前記表示画面に表示し、前記カテゴリ表示優先度の高いカテゴリIDに属する複数の家電機器に関する情報ほど前記表示画面において大きく表示する、
    情報提供方法。
  2. 前記決定ステップでは、前記カテゴリIDを同一とする1以上の家電機器の利用頻度の総和に応じて前記カテゴリ表示優先度を決定する、
    請求項1に記載の情報提供方法。
  3. 前記処理ステップでは、あらかじめ定められた利用頻度以下の家電機器がユーザに利用されたとき、前記ユーザに利用された前記家電機器が属するカテゴリIDの前記カテゴリ表示優先度を予め定めた値よりも一時的に高く設定する、
    請求項1または2に記載の情報提供方法。
  4. 前記決定ステップでは、あらかじめ設定された時間帯にあらかじめ設定された利用頻度以上利用される複数の家電機器に同一のカテゴリ種別を示すカテゴリIDを付与する、
    請求項1〜3のいずれか1項に記載の情報提供方法。
  5. 前記表示ステップでは、前記家電表示優先度に基づいて、前記カテゴリIDを同一とする1以上の家電機器を示すアイコンを一まとまりとして前記表示画面に表示し、さらに、前記1以上の家電機器を示すアイコンのうち前記家電表示優先度の高い家電機器に対応するアイコンほど、大きく表示する、
    請求項1〜4のいずれか1項に記載の情報提供方法。
  6. ネットワークを介して接続された複数の家電機器と表示装置とサーバとにおける情報提供方法であって、
    前記サーバにおいて、
    前記複数の家電機器それぞれから前記複数の家電機器それぞれに関する情報を所定数毎に受信し、受信した前記複数の家電機器それぞれに関する情報をデータベースに蓄積する受信ステップと、
    前記受信ステップにおいて受信された前記複数の家電機器それぞれに関する情報を所定数受信した時を契機に、受信した前記複数の家電機器それぞれに関する情報を、利用目的に応じてフィルタリングし、フィルタリングした情報を一画面で視認可能な表示形式である特定の表示形式で前記表示装置が表示するための表示情報を生成する処理を行う処理ステップと、
    前記処理ステップにおける前記表示情報を前記表示装置に送信する送信ステップと
    前記表示装置において、前記サーバにより送信された前記表示情報に基づいて、フィルタリングされた1以上の家電機器に関する情報を含む家電機器に対応するオブジェクトを前記表示装置の表示画面に前記特定の表示形式で表示する表示ステップとを含み、
    前記処理ステップは、さらに、
    前記受信ステップにおいて受信された前記複数の家電機器それぞれに関する情報に基づいて、前記複数の家電機器が稼した時間である家電稼時間を予測する家電稼働時間予測ステップと、
    前記家電稼働時間を、ユーザの操作時間で重み付けすることにより、フィルタリングした前記1以上の家電機器に関する情報を含む家電機器に対応するオブジェクトである家電アイコンの表示サイズおよび表示位置を決定するための表示指標値を算出する算出ステップと、を含み、
    前記表示ステップでは、
    前記サーバにより送信された前記表示指標値に基づいて、前記家電アイコンの前記表示画面における表示サイズおよび表示位置を決定して前記表示画面に表示する、
    情報提供方法。
  7. 前記表示ステップでは、
    前記家電アイコンのうちユーザ操作が行われた家電機器に対応する家電アイコンの近傍に、前記ユーザ操作が行われていることを示すアイコンを表示する、
    請求項6に記載の情報提供方法。
  8. 前記表示ステップでは、前記特定の表示形式として、前記家電アイコンと、表示対象となる複数のユーザそれぞれを示す複数の人アイコンのうち、所定の表示優先度に従って選択された人アイコンとを背景画像に重畳して前記表示画面に表示し、
    前記所定の表示優先度は、前記受信ステップにおいて受信された前記複数の家電機器それぞれに関する情報であって前記複数のユーザそれぞれに属する情報を利用して決定される、
    請求項6または7に記載の情報提供方法。
  9. 前記表示優先度は、前記複数の家電機器それぞれに関する情報として前記複数の家電機器それぞれの動作時間を用いて決定される、
    請求項8に記載の情報提供方法。
  10. 前記表示優先度は、前記複数の家電機器それぞれに関する情報として前記複数の家電機器それぞれの動作時間の累積を用いて決定される、
    請求項9に記載の情報提供方法。
  11. 前記表示ステップでは、さらに、
    前記複数の人アイコンまたは前記複数の家電アイコンが重ならないように前記背景画像を変形させて表示する、
    請求項8〜10のいずれか1項に記載の情報提供方法。
  12. 前記表示ステップでは、さらに、前記背景画像を変形させて表示後に、表示する家電アイコンを切り替える場合には、前記背景画像を変形前の元の形に戻し、
    前記元の形の前記背景画像に重畳して表示する家電アイコンが重なるときには、前記背景画像を再度変形させて表示する、
    請求項11に記載の情報提供方法。
  13. 前記背景画像は、地図である、
    請求項〜12のいずれか1項に記載の情報提供方法。
  14. ネットワークを介して接続された複数の家電機器と表示装置とサーバとにおける情報提供方法であって、
    前記サーバにおいて、
    前記複数の家電機器それぞれから前記複数の家電機器それぞれに関する情報を所定数毎に受信し、受信した前記複数の家電機器それぞれに関する情報をデータベースに蓄積する受信ステップと、
    前記受信ステップにおいて受信された前記複数の家電機器それぞれに関する情報を所定数受信した時を契機に、受信した前記複数の家電機器それぞれに関する情報を、利用目的に応じてフィルタリングし、フィルタリングした情報を一画面で視認可能な表示形式である特定の表示形式で前記表示装置が表示するための表示情報を生成する処理を行う処理ステップと、
    前記処理ステップにおける前記表示情報を前記表示装置に送信する送信ステップと
    前記表示装置において、前記サーバにより送信された前記表示情報に基づいて、フィルタリングされた1以上の家電機器に関する情報を含む家電機器に対応するオブジェクトを前記表示装置の表示画面に前記特定の表示形式で表示する表示ステップとを含み、
    前記情報提供方法は、さらに、
    前記複数の家電機器のうち重量を計測する機能を有する第1家電機器が、物体の重量の変化を計測する計測ステップと、
    前記計測ステップにおいて計測された前記重量の変化を示す重量情報と前記第1家電機器を一意に識別可能な識別子を、前記ネットワークを介して前記サーバに送信する機器送信ステップとを含み、
    前記受信ステップでは、送信された前記家電機器の識別子と前記重量情報とを受信し、
    前記処理ステップでは、さらに、受信した前記重量情報の変化パターンから、前記第1家電機器が計測した物体の状態を推定する推定ステップを含み、
    前記処理ステップでは、前記推定ステップにおいて推定された前記物体の状態に合わせた表示内容を前記特定の表示形式で前記表示装置が表示する表示情報を生成し、
    前記表示ステップでは、前記表示情報に基づいて、前記表示画面に表示されているアバターのうち前記物体に関連するユーザのアバターを前記表示内容に従って変更する、
    情報提供方法。
  15. 前記計測ステップでは、前記第1家電機器にカップが置かれることで、前記カップの重量を計測し、
    前記推定ステップでは、受信した前記重量情報の変化パターンから、前記物体の状態として、前記第1家電機器のユーザが前記第1家電機器に前記カップを置くまたは前記第1家電機器から前記カップを取り上げたかどうかを推定する、
    請求項14に記載の情報提供方法。
  16. 前記推定ステップでは、受信した前記重量情報の変化パターンから、前記第1家電機器のユーザの利用する物体の重さを推測し、
    前記表示ステップでは、さらに、前記表示情報に基づいて、予め登録された複数の画像であって前記物体の重さに応じた複数の画像と、推測された前記物体の重さとを比較する比較ステップを含み、
    前記表示ステップでは、前記表示画面に表示されている前記アバターの前記物体に関する画像を、前記比較ステップにおいて推測された前記物体の重さに応じた画像に変更する、
    請求項14または15に記載の情報提供方法。
  17. 前記計測ステップでは、さらに、電流量を計測する機能を有する第2家電機器が第3家電機器の電流量を計測し、
    前記機器送信ステップでは、さらに、前記計測ステップにおいて計測された前記第3家電機器の電流量を、前記サーバに送信し、
    前記表示ステップでは、さらに、前記表示情報に基づいて、前記第2家電機器が電流量を計測することで使用が特定され、前記第1家電機器と任意の時間以内の時間差で使用される前記第3家電機器を示す情報を、前記表示画面に表示されている前記アバターの側に配置する配置ステップを含み、
    前記配置ステップでは、前記電流量から推測された前記第3家電機器の動作時刻と、前記重量情報の変化パターンから推測された前記第1家電機器が使用された時刻との差に応じて、前記第3家電機器を示す情報を配置する距離を変更する、
    請求項14〜16のいずれか1項に記載の情報提供方法。
  18. ネットワークを介して接続された複数の家電機器と表示装置とサーバとにおける情報提供方法であって、
    前記サーバにおいて、
    前記複数の家電機器それぞれから前記複数の家電機器それぞれに関する情報を所定数毎に受信し、受信した前記複数の家電機器それぞれに関する情報をデータベースに蓄積する受信ステップと、
    前記受信ステップにおいて受信された前記複数の家電機器それぞれに関する情報を所定数受信した時を契機に、受信した前記複数の家電機器それぞれに関する情報を、利用目的に応じてフィルタリングし、フィルタリングした情報を一画面で視認可能な表示形式である特定の表示形式で前記表示装置が表示するための表示情報を生成する処理を行う処理ステップと、
    前記処理ステップにおける前記表示情報を前記表示装置に送信する送信ステップと、
    前記複数の家電機器のうち音声を認識する機能を有する第4家電機器が音を集音して、音声認識を行う音声認識ステップと、
    前記音声認識ステップにおいて認識された前記音に基づいてオブジェクトの状態を判定する判定ステップとを含み、
    前記受信ステップでは、前記複数の家電機器それぞれに関する情報として、前記オブジェクトの状態を受信し、
    前記処理ステップでは、さらに、受信した前記オブジェクトの状態に応じた表示内容を前記特定の表示形式で前記表示装置が表示する表示情報を生成し、
    前記音声認識ステップでは、前記オブジェクトにより使用される第5家電機器に搭載された音発生装置が発する音を集音し、
    前記音声認識ステップにおいて認識された前記音に基づいて、前記第5家電機器を使用するオブジェクトの状態を判定する、
    情報提供方法。
JP2015516914A 2013-05-16 2014-05-13 情報提供方法 Active JP6478242B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013104271 2013-05-16
JP2013104271 2013-05-16
PCT/JP2014/002519 WO2014185056A1 (ja) 2013-05-16 2014-05-13 情報提供方法

Publications (2)

Publication Number Publication Date
JPWO2014185056A1 JPWO2014185056A1 (ja) 2017-02-23
JP6478242B2 true JP6478242B2 (ja) 2019-03-06

Family

ID=51898046

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015516914A Active JP6478242B2 (ja) 2013-05-16 2014-05-13 情報提供方法

Country Status (5)

Country Link
US (1) US10355947B2 (ja)
JP (1) JP6478242B2 (ja)
CN (1) CN105247428B (ja)
TW (1) TW201507486A (ja)
WO (1) WO2014185056A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10085211B2 (en) * 2014-09-02 2018-09-25 Apple Inc. Communication of processor state information
KR20160088102A (ko) * 2015-01-15 2016-07-25 삼성전자주식회사 네트워크에서 연결 상태를 표시하기 위한 장치 및 방법
JP6693066B2 (ja) * 2015-08-18 2020-05-13 ヤマハ株式会社 制御装置
CN106130835B (zh) * 2016-06-22 2020-09-08 广东美的厨房电器制造有限公司 一种厨房通讯***及方法
CN106603350B (zh) * 2016-12-15 2020-06-02 北京小米移动软件有限公司 信息展示方法及装置
CN106940548B (zh) * 2017-05-05 2017-11-17 苏州普绿法环保科技有限公司 一种物联网智能化除尘设备管控***
JP6571144B2 (ja) * 2017-09-08 2019-09-04 シャープ株式会社 監視システム、監視機器、サーバ、および監視方法
JP2019066378A (ja) * 2017-10-03 2019-04-25 東芝ライフスタイル株式会社 動作音比較装置
FR3074988A1 (fr) * 2017-12-11 2019-06-14 Orange Gestion d'equipements domestiques mettant en œuvre un identifiant de foyer.
CA190760S (en) 2018-01-15 2021-02-16 Lutron Electronics Co Control device for smart building systems
USD872122S1 (en) * 2018-01-15 2020-01-07 Lutron Technology Company Llc Display screen or portion thereof with graphical user interface
USD846507S1 (en) 2018-01-15 2019-04-23 Lutron Technology Company Llc Control device
JP2019153883A (ja) * 2018-03-01 2019-09-12 パナソニックIpマネジメント株式会社 表示方法およびプログラム
CN110945877B (zh) * 2018-03-02 2022-10-25 松下知识产权经营株式会社 设备管理***以及设备管理方法
US20190278527A1 (en) * 2018-03-06 2019-09-12 Kabushiki Kaisha Toshiba System and method for machine learning optimization of human resource scheduling for device repair visits
JP6963697B2 (ja) * 2018-10-08 2021-11-10 グーグル エルエルシーGoogle LLC スマート家電のステータスの要約伝達
US11092954B2 (en) * 2019-01-10 2021-08-17 Johnson Controls Technology Company Time varying performance indication system for connected equipment
JP7389630B2 (ja) * 2019-11-29 2023-11-30 東芝ライフスタイル株式会社 家電システム、家電機器、映像機器、外部サーバ、及び、家電情報の表示方法
US11693823B2 (en) * 2020-06-09 2023-07-04 Adp, Inc. File decay property
TWI739481B (zh) * 2020-06-18 2021-09-11 國立陽明交通大學 虛擬使用者裝置訊號合成系統及其方法
EP4232925A1 (en) * 2020-10-21 2023-08-30 Verint Americas Inc. System and method of automated determination of use of sensitive information and corrective action for improper use
US11886853B2 (en) * 2021-02-09 2024-01-30 Capital One Services, Llc Software widget installation on a client device

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0224796A (ja) * 1988-07-14 1990-01-26 Matsushita Electric Ind Co Ltd 防犯装置
JPH02280296A (ja) * 1989-04-20 1990-11-16 Matsushita Electric Ind Co Ltd 警報装置
JP2734944B2 (ja) * 1993-08-27 1998-04-02 三菱化学株式会社 シクロヘキサノールの製造方法
JP4051735B2 (ja) * 1997-10-09 2008-02-27 松下電器産業株式会社 情報集計装置およびその集計方法
US7210099B2 (en) * 2000-06-12 2007-04-24 Softview Llc Resolution independent vector display of internet content
JP2007316813A (ja) 2006-05-24 2007-12-06 Toshiba Corp 監視制御システム画面上での情報表示方法
JP2008046934A (ja) * 2006-08-17 2008-02-28 Toshiba Corp 家電機器ネットワークシステム
JP4898581B2 (ja) * 2007-07-12 2012-03-14 株式会社日立製作所 ユーザインターフェース方法、表示装置、および、ユーザインターフェースシステム
US8170886B2 (en) * 2008-03-28 2012-05-01 The Nielsen Company (U.S.), Llc Systems, methods, and apparatus to generate an energy consumption index
US20090313582A1 (en) * 2008-06-11 2009-12-17 Raul Rupsingh System, Method and Computer Program for User-Friendly Social Interaction
US20100124939A1 (en) * 2008-11-19 2010-05-20 John Osborne Method and system for graphical scaling and contextual delivery to mobile devices
JP5492047B2 (ja) * 2010-10-21 2014-05-14 日本電信電話株式会社 購買行動分析装置、購買行動分析方法、購買行動分析プログラム、購買行動分析システム及び制御方法
CN103403746A (zh) * 2011-01-13 2013-11-20 塔塔咨询服务有限公司 用于有效管理家用电器的能耗的方法和***
JP2012221205A (ja) * 2011-04-08 2012-11-12 Enegate:Kk 電気機器の省エネ情報配信システム
JP2013054528A (ja) 2011-09-02 2013-03-21 Canon Inc デバイス管理装置、デバイス管理方法、およびプログラム
US20130080898A1 (en) * 2011-09-26 2013-03-28 Tal Lavian Systems and methods for electronic communications
US20130196297A1 (en) * 2012-01-31 2013-08-01 Yasir Anwar Interactive shopping - health & wellness
US20130264128A1 (en) * 2012-04-09 2013-10-10 Master Lock Company Luggage lock
US20140046675A1 (en) * 2012-08-08 2014-02-13 Jeffrey Harwood System and method for processing and displaying medical provider information
US20140108978A1 (en) * 2012-10-15 2014-04-17 At&T Mobility Ii Llc System and Method For Arranging Application Icons Of A User Interface On An Event-Triggered Basis
US20140201655A1 (en) * 2013-01-16 2014-07-17 Lookout, Inc. Method and system for managing and displaying activity icons on a mobile device
US20140214596A1 (en) * 2013-01-29 2014-07-31 Wal-Mart Stores, Inc. Shopping process including monitored shopping cart basket weight

Also Published As

Publication number Publication date
US20160057029A1 (en) 2016-02-25
TW201507486A (zh) 2015-02-16
CN105247428A (zh) 2016-01-13
JPWO2014185056A1 (ja) 2017-02-23
US10355947B2 (en) 2019-07-16
WO2014185056A1 (ja) 2014-11-20
CN105247428B (zh) 2019-02-19

Similar Documents

Publication Publication Date Title
JP6478242B2 (ja) 情報提供方法
JP6777201B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11281971B2 (en) Devices, systems, and methods that observe and classify real-world activity relating to an observed object, and track and disseminate state relating the observed object
KR102014623B1 (ko) 화상 표시장치, 화제 선택 방법, 화제 선택 프로그램, 화상 표시 방법 및 화상 표시 프로그램
US10015060B2 (en) Information sharing method that provides a graphical user interface image for sharing information relating to an application within a home among a plurality of users
CN109791762A (zh) 语音接口设备的噪声降低
CN107548474A (zh) 基于情绪和/或行为信息的用于环境背景噪声修改的方法、***和介质
US20150019553A1 (en) Data consolidation mechanisms for internet of things integration platform
CN104125511A (zh) 多媒体数据推送方法及装置
CN106464947A (zh) 提供适时媒体推荐
JP2018129004A (ja) 生成装置、生成方法、及び生成プログラム
CN105074740A (zh) 用户状况确认***、用户状况确认方法、通信终端装置、用户状况通知方法以及计算机程序
CN109243444A (zh) 语音交互方法、设备及计算机可读存储介质
CN107909399A (zh) 一种可用资源推荐方法和装置
CN108156228A (zh) 一种广告数据推送方法及装置
KR20130106029A (ko) 디스플레이장치를 구비한 스마트 테이블
CN109211259A (zh) 轨迹路线的显示方法、装置、终端及存储介质
CN107979687A (zh) 一种壁纸切换方法、移动终端
CN109388456A (zh) 一种头像选择方法及移动终端
GB2485884A (en) Device for social networking
JP2017027473A (ja) 連携システム、連携サーバ、機器制御サーバ、機器、および端末装置
CN106303701A (zh) 智能电视内容推荐方法及装置
WO2020196100A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7452524B2 (ja) 情報処理装置、及び情報処理方法
CN108696635A (zh) 用户行为检测方法、装置、***及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180529

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181115

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20181126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190130

R150 Certificate of patent or registration of utility model

Ref document number: 6478242

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150