JP6385600B1 - 行動可視化装置および行動可視化方法 - Google Patents

行動可視化装置および行動可視化方法 Download PDF

Info

Publication number
JP6385600B1
JP6385600B1 JP2017564655A JP2017564655A JP6385600B1 JP 6385600 B1 JP6385600 B1 JP 6385600B1 JP 2017564655 A JP2017564655 A JP 2017564655A JP 2017564655 A JP2017564655 A JP 2017564655A JP 6385600 B1 JP6385600 B1 JP 6385600B1
Authority
JP
Japan
Prior art keywords
information
location
unit
behavior
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017564655A
Other languages
English (en)
Other versions
JPWO2019016890A1 (ja
Inventor
優子 菅沼
優子 菅沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6385600B1 publication Critical patent/JP6385600B1/ja
Publication of JPWO2019016890A1 publication Critical patent/JPWO2019016890A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/109Time management, e.g. calendars, reminders, meetings or time accounting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06CDIGITAL COMPUTERS IN WHICH ALL THE COMPUTATION IS EFFECTED MECHANICALLY
    • G06C9/00Transfer mechanisms, e.g. for transmitting figures from the input mechanism into the computing mechanism
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311Scheduling, planning or task assignment for a person or group
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

注目する対象と関わりの深い居場所を抽出するための要約条件を設定する要約条件設定部(104)と、注目する対象の居場所を示す居場所情報、および、要約条件設定部(104)が設定した要約条件に基づき、複数の時間帯それぞれにおいて、注目する対象と関わりの深い居場所を抽出する重要居場所抽出部と、重要居場所抽出部が抽出した、注目する対象と関わりの深い居場所を表す図形の図形領域の面積、および、当該図形領域間の距離を算出し、注目する対象と関わりの深い居場所を表す図形を階層構造で表示させるための描画用図形データを生成する図形生成部(106)と、図形生成部(106)が生成した描画用図形データを表示装置(4)に表示させる描画部(109)とを備えた。

Description

この発明は、注目する対象の行動に関する情報を可視化して提供する行動可視化装置および行動可視化方法に関するものである。
従来、例えば、人の居場所を推定し、推定した人の居場所を可視化する技術が知られている。
例えば、非特許文献1には、横軸を時間軸とした横棒グラフによって、人の居場所を表示する技術が開示されている。
森,藤井,下坂,野口,佐藤:室内センサデータ蓄積による行動記述と異変検知アルゴリズム,Proceedings of the 2007 JSME Conference on Robotics and Mechatronics, Akita, Japan, May 10-12, 2007 1A1-L06.
非特許文献1に開示されているような技術では、例えば、人が長時間同じ部屋に滞留している場合は、該当部分の棒グラフの幅が大きくなり、当該棒グラフの視認性は高い。しかしながら、人が短時間しか同じ部屋に滞留しない場合には、棒グラフの幅が非常に狭くなるため、当該棒グラフの視認性が悪くなるという課題があった。
この発明は上記のような課題を解決するためになされたもので、注目する対象の行動を示す情報を、その視認が容易となるように可視化する行動可視化装置および行動可視化方法を提供することを目的とする。
この発明に係る行動可視化装置は、注目する対象と関わりの深い居場所を抽出するための要約条件を設定する要約条件設定部と、注目する対象の居場所を示す居場所情報、および、要約条件設定部が設定した要約条件に基づき、複数の時間帯それぞれにおいて、注目する対象と関わりの深い居場所を抽出する重要居場所抽出部と、重要居場所抽出部が抽出した、注目する対象と関わりの深い居場所を表す図形の図形領域の面積、および、当該図形領域間の距離を算出し、注目する対象と関わりの深い居場所を表す図形を階層構造で表示させるための描画用図形データを生成する図形生成部と、図形生成部が生成した描画用図形データを表示装置に表示させる描画部とを備え、重要居場所抽出部は、居場所情報、および、要約条件に基づき、時間帯毎に各居場所に注目する対象が存在する時間の累積値を算出し、当該時間帯毎に、当該累積値が最大の居場所を要約居場所として抽出するとともに、当該要約居場所に続いて当該累積値が大きい居場所を関連居場所として抽出する在室時間分析部と、時間帯毎に、注目する対象による要約居場所とその他の居場所との間の移動頻度を算出し、要約条件に基づき、要約居場所との間で移動頻度が高い居場所を関連居場所として抽出する移動頻度分析部とを有し、図形生成部は、時間帯毎に各居場所に注目する対象が存在する時間の累積値の情報、および、注目する対象による要約居場所とその他の居場所との間の移動頻度の情報に基づき、時間軸上に時間帯毎の要約居場所を表す図形を親ノードとして表示させ、関連居場所を表す図形を、当該要約居場所を表す図形の下位に階層構造で表示させるための描画用図形データを生成するものである。
この発明によれば、注目する対象と関わりの深い居場所を分析するとともに、当該対象と関わりの深い居場所に関する情報を、階層構造を用いて可視化させることで、注目する対象の行動を示す情報を、その視認が容易となるように可視化できる。
実施の形態1に係る行動可視化装置の構成例を示すブロック図である。 図2A,図2Bは、実施の形態1において、記憶部に記憶されている建物構造ファイルの内容の一例を説明するための図である。 実施の形態1において、記憶部に記憶されるレイアウト情報ファイルの内容の一例を説明するための図である。 実施の形態1において、記憶部の機器情報履歴記憶部に記憶される機器情報の内容の一例を説明するための図である。 実施の形態1において、記憶部のセンサ情報履歴記憶部に記憶されるセンサ情報の内容の一例を説明するための図である。 実施の形態1において、記憶部の居場所履歴記憶部に記憶される居場所情報の内容の一例を説明するための図である。 実施の形態1において、記憶部の行動履歴記憶部に記憶される行動情報の内容の一例を説明するための図である。 実施の形態1における行動可視化装置の動作を説明するフローチャートである。 実施の形態1において、検知部による、図8のステップST801の、機器情報を記憶させる動作の詳細を説明するためのフローチャートである。 実施の形態1において、検知部による、図8のステップS801の、センサ情報を記憶させる動作の詳細を説明するためのフローチャートである。 実施の形態1において、居場所推定部による、図8のステップST802の、居場所情報を記憶させる動作の詳細を説明するためのフローチャートである。 実施の形態1において、記憶部に記憶される行動定義ファイルの内容の一例を説明するための図である。 実施の形態1において、行動推定部による、図8のステップST803の、行動情報を記憶させる動作の詳細を説明するためのフローチャートである。 実施の形態1において、重要部屋抽出部の在室時間分析部による、各時間帯において、要約居場所、および、関連部屋を抽出する動作の詳細を説明するためのフローチャートである。 実施の形態1において、居場所履歴記憶部の居場所情報の一例を示す図である。 実施の形態1において、在室時間分析部が、住人Aの各時間帯における各部屋の在室時間の累積値を算出した結果の一例を説明するための図である。 実施の形態1において、在室時間分析部が、移動頻度分析部に出力する在室時間分析後情報の一例を示す図である。 実施の形態1において、重要部屋抽出部の移動頻度分析部よる、移動頻度の高い部屋を抽出する動作の詳細を説明するためのフローチャートである。 実施の形態1において、移動頻度分析部が、要約居場所から他の各部屋へ移動した回数、または、他の各部屋から要約居場所へ移動した回数を算出した結果の一例を説明するための図である。 実施の形態1において、移動頻度分析部が、図形生成部に出力する重要部屋情報の一例を示す図である。 実施の形態1において、図形生成部による、描画用図形データを生成する動作の詳細を説明するためのフローチャートである。 図22A〜図22Cは、実施の形態1において、図形生成部による描画対象とする要約居場所を表す円および関連部屋を表す円の中心座標を算出する具体的な動作の一例について説明するための図である。 実施の形態1において、図21のステップST2106における図形生成部の動作を詳細に説明するためのフローチャートである。 実施の形態1において、図形生成部が生成した描画用図形データを表示したイメージを示す図である。 実施の形態1において、図形生成部が生成する描画用図形データの内容の一例を示す図である。 実施の形態1において、ステップST808における行動情報付与部の動作を詳細に説明するためのフローチャートである。 実施の形態1において、行動情報付与部が抽出した、「キッチン」、「リビング」、「個室A」、「洗面室」、および、「ダイニング」での住人Aの行動の一例を説明するための図である。 実施の形態1において、行動情報付与部が行動に関する情報を属性情報として関連付けた描画用図形データの内容の一例を示す図である。 実施の形態1において、ステップST809における関連情報付与部の動作を詳細に説明するためのフローチャートである。 実施の形態1において、関連情報付与部108が関連情報を属性情報として関連付けた描画用図形データの内容の一例を示す図である。 実施の形態1において、描画部が、表示装置に表示させる画面の一例を示す図である。 実施の形態1において、描画部が、表示装置に表示させる画面のその他の一例を示す図である。 実施の形態1において、描画部が、表示装置に表示させる画面のその他の一例を示す図である。 実施の形態1において、描画部が、表示装置に表示させる画面のその他の一例を示す図である。 実施の形態1において、描画部が、表示装置に表示させる画面のその他の一例を示す図である。 実施の形態1において、描画部が、表示装置に表示させる画面のその他の一例を示す図である。 実施の形態1において、描画部が、表示装置に表示させる画面のその他の一例を示す図である。 実施の形態1において、描画部が、表示装置に表示させる画面のその他の一例を示す図である。 実施の形態1において、描画部が、複数人の居場所に関する情報を同一画面に表示させた場合の画面例である。 実施の形態1において、描画部が、複数人の居場所に関する情報を同一画面に表示させた場合のその他の画面例である。 実施の形態1において、行動可視化装置が、複数人からなるグループ単位で、関わりの深い居場所、行動、または、関連情報を分析した結果を表示装置に表示させた画面の画面例である。 図41A,図41Bは、発明の実施の形態1に係る行動可視化装置のハードウェア構成の一例を示す図である。 従来技術において、横軸を時間軸とした横棒グラフで行動や居場所を表現する方法を説明するための図である。 実施の形態2に係る行動可視化装置の構成例を示すブロック図である。 実施の形態3に係る行動可視化装置の構成例を示すブロック図である。 実施の形態4に係る行動可視化装置の構成例を示すブロック図である。 実施の形態5に係る行動可視化装置の構成例を示すブロック図である。 実施の形態5における行動可視化装置の動作を説明するフローチャートである。 実施の形態5において、重要部屋抽出部の行動度合推定部による、各週間において、要約居場所、および、関連部屋を抽出する動作の詳細を説明するためのフローチャートである。 実施の形態5における建物構造ファイルの内容の一例を示す図である。 実施の形態5におけるレイアウト情報ファイルの内容の一例を示す図である。 実施の形態5における建物構造ファイルの内容のその他の一例を示す図である。 実施の形態5におけるレイアウト情報ファイルの内容のその他の一例を示す図である。 実施の形態5において、センサ情報履歴記憶部に記憶されているセンサ情報の内容の一例を示す図である。 実施の形態5において、特設会場が設置された場合のフロアの構造の一例を示す図である。 実施の形態5において、重要部屋抽出部の関連度合推定部による、各週間において、店舗同士の関連度合をする動作の詳細を説明するためのフローチャートである。 実施の形態5において、図形生成部による、描画用図形データを生成する動作の詳細を説明するためのフローチャートである。 実施の形態5において、図56のステップST5506における図形生成部の動作を詳細に説明するためのフローチャートである。 実施の形態5において、描画部が表示装置に表示させる画面の一例を示す図である。 実施の形態5において、描画部が、図58に示すように、各ノード上に表示される情報を、人と関わりの深い店舗の店舗名から、関連情報へと切り替えた画面の一例を示す図である。 実施の形態5において、描画部が表示装置に表示させる画面の一例を示す図である。 実施の形態5において、行動可視化装置が、予め記憶させておいたセンサ情報または機器情報に基づき、人が多く集まる店舗等を分析するものとした場合の、行動可視化装置の構成の一例を示す構成図である。 実施の形態6に係る行動可視化装置の構成例を示すブロック図である。 実施の形態6における行動可視化装置の動作を説明するフローチャートである。 実施の形態6において、重要部屋抽出部の行動度合推定部による、各週間において、要約居場所、および、関連部屋を抽出する動作の詳細を説明するためのフローチャートである。 実施の形態6において、重要部屋抽出部の関連度合推定部による、各週間において、店舗同士の関連度合をする動作の詳細を説明するためのフローチャートである。 実施の形態1〜6において、人と関わりの深い居場所等を示す図形を矩形とした場合の表示例を説明するための図である。 図67Aは、実施の形態1〜6の行動可視化装置において、図形生成部が、時間軸を縦軸方向に設定して生成した描画用図形データを表示させた場合の表示例であり、図67Bは、実施の形態1〜6の行動可視化装置において、図形生成部が、時間軸を環状に設定して生成した描画用図形データを表示させた場合の表示例である。 実施の形態1〜6の行動可視化装置において、図形生成部が、図形同士を曲線で結ぶものとして生成した描画用図形データを表示させた場合の表示例である。
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
以下の説明において、行動可視化装置が「人の行動を要約する」とは、注目する対象期間における、時間帯毎に、注目する対象となる人が、主にどの居場所で過ごしていたか、その居場所と関わりの深い居場所はどこか、または、主にどのような行動をしていたか等の特徴を抽出することをいう。なお、以下の説明において、「行動」とは、料理または睡眠等の具体的な行動のみをいうものに限らず、人の動作全般を含む広い意味の用語として使用する。
実施の形態1.
実施の形態1に係る行動可視化装置は、注目する人の行動を要約するとともに、人と関わりの深い居場所、当該居場所で行われた主要行動、または、人と関わりの深い居場所と行動との関連性等を分析し、階層構造を用いて可視化する。
以下の説明においては、一例として、注目する人とは、特定の「人」とし、居場所とは、住宅内の部屋とする。また、人の行動とは、「人」による、住宅内の部屋における行動とする。なお、注目する「人」は、一人であってもよいし、複数人であってもよい。以下の説明では、「人」を「住人」ともいうものとする。
図1は、実施の形態1に係る行動可視化装置1の構成例を示すブロック図である。
行動可視化装置1は、ネットワークを介して、1または複数のセンサ2と接続され、センサ2が収集した情報を取得する。センサ2は、住人の居場所となる住宅内の部屋に設置されている。または、センサ2は、住宅の居場所となる住宅内の部屋に持ち込まれている(以下、センサ2が部屋に一時的に持ち込まれている場合も含めて、センサ2が部屋に「設置されている」ということとする)。センサ2は、例えば、赤外線の人感センサ、ドア開閉センサ、照度センサ、温度センサ、または、ウェアラブル端末の加速度センサ等、任意の各種センサである。
また、行動可視化装置1は、ネットワークを介して、1または複数の機器3と接続され、機器3から、機器3に関する情報を取得する。機器3は、例えば、部屋内に設置された、家電または照明等の各種機器である。
行動可視化装置1は、センサ2から取得した情報、または、機器3から取得した情報に基づき、住人の行動を要約するとともに、住人と関わりの深い居場所、当該居場所で行われた主要行動、または、住人と関わりの深い居場所と行動との関連性を、階層構造を用いて可視化し、表示装置4に表示させる。
表示装置4は、例えば、ディスプレイである。なお、図1では、表示装置4は、行動可視化装置1の外部に備えられるものとしているが、これに限らず、当該表示装置4は、行動可視化装置1に備えられていてもよい。
図1に示すように、行動可視化装置1は、制御部10と、記憶部20と、受付部30とを備える。
制御部10は、住人の行動を要約し、表示装置4に表示させる動作を制御する。
制御部10は、検知部101、居場所推定部102、行動推定部103、要約条件設定部104、重要部屋抽出部105、図形生成部106、行動情報付与部107、関連情報付与部108、および、描画部109を備える。
重要部屋抽出部105は、在室時間分析部1051と、移動頻度分析部1052とを有する。
検知部101は、部屋内の機器3、または、部屋内のセンサ2から情報を受信する。検知部101は、機器3から受信した情報に基づき、機器3の状態変化を検知して、検知情報と日時の情報とを関連付けた機器情報を生成し、記憶部20の機器情報履歴記憶部204(後述する)に記憶させる。
また、検知部101は、センサ2から受信した情報に基づき、センサ2の状態変化を検知して、検知情報と日時の情報とを関連付けたセンサ情報を生成し、記憶部20のセンサ情報履歴記憶部205(後述する)に記憶させる。
また、検知部101は、機器情報およびセンサ情報の両方を、居場所推定部102および行動推定部103に出力する。
居場所推定部102は、検知部101から取得した、機器情報およびセンサ情報に基づき、住人の居場所を推定し、推定した住人の居場所と日時の情報とを関連付けた居場所情報を生成し、居場所履歴記憶部207(後述する)に記憶させる。また、居場所推定部102は、居場所情報を、行動推定部103に出力する。
行動推定部103は、検知部101から取得した、機器情報およびセンサ情報と、居場所推定部102から取得した居場所情報と、予め定義され、記憶部20に記憶されている行動定義ファイル208の内容とに基づき、住人の行動を推定し、各住人による行動を示す行動情報として行動履歴記憶部209(後述する)に記憶させる。行動定義ファイル208には、推定される行動の種類と、当該行動が実行されたとみなすための1つ以上の検出条件と、当該検出条件を用いた推定方法とを定義づけた情報が記憶されている。行動定義ファイル208の詳細については後述する。
要約条件設定部104は、受付部30(後述する)から出力された要約条件設定指示情報、または、予め設定されている要約条件設定指示情報に基づき、要約条件を設定する。
要約条件とは、例えば、対象期間における居場所情報、対象期間における行動情報、および、対象期間における機器情報またはセンサ情報に基づき、住人と関わりの深い居場所、当該居場所で行われた主要行動、または、関連情報を抽出するための条件である。
要約条件設定部104は、設定した要約条件の情報を、重要部屋抽出部105に出力する。
重要部屋抽出部105は、記憶部20の居場所履歴記憶部207に記憶されている居場所情報を参照し、要約条件設定部104が設定した要約条件に基づき対象期間を単位時間毎に区切って設定された各時間帯において、住人と関わりの深い部屋を抽出する。
なお、詳細は後述するが、実施の形態1では、一例として、要約条件に基づく、対象期間を区切る単位時間を数時間とする。重要部屋抽出部105は、対象期間における各時間帯において、住人と関わりの深い居場所として住宅内の1または複数の部屋を抽出する。以下においても、対象期間を区切る単位時間を数時間単位としたものとして説明する。
重要部屋抽出部105の在室時間分析部1051は、記憶部20の居場所履歴記憶部207に記憶されている居場所情報を参照し、要約条件設定部104で設定された要約条件に基づき、住人が各時間帯において在室していた在室時間の度合が最大の部屋を、要約居場所として抽出する。在室時間の度合が最大の部屋とは、住人の在室時間が一番長い部屋である。
具体的には、在室時間分析部1051は、要約条件設定部104で設定された要約条件に基づく時間帯毎に、住人が各部屋に在室していた在室時間の累積値を算出する。そして、在室時間分析部1051は、時間帯毎に、算出した在室時間の累積値が最大の部屋を要約居場所として抽出する。
また、在室時間分析部1051は、居場所履歴記憶部207に記憶されている居場所情報を参照し、要約条件に基づき、要約居場所に続いて在室時間の度合が大きい部屋を、要件条件で指定された順位に従って上位から検索し、関連部屋として抽出する。
在室時間分析部1051は、時間帯毎に、要約居場所に関する情報および関連部屋に関する情報を、住人を特定する情報および各時間帯を示す情報と関連付けて、重要部屋抽出部105の移動頻度分析部1052に出力する。住人を特定する情報とは、例えば、住人毎に割り当てられた住人ID等である。
移動頻度分析部1052は、在室時間分析部1051から出力された、住人毎かつ時間帯毎の、要約居場所の情報および関連部屋の情報を受け取り、住人毎に、各時間帯における要約居場所と部屋との間の移動頻度を算出する。移動頻度分析部1052は、当該移動頻度の算出結果と、要約条件で定義された移動頻度抽出レベルに基づき、移動頻度の高い部屋を、関連部屋として抽出する。
移動頻度分析部1052は、時間帯毎に抽出した関連部屋に関する情報を、在室時間分析部1051が抽出した要約居場所および関連部屋に関する情報とあわせて、住人を特定する情報と関連付けて、図形生成部106に出力する。
図形生成部106は、重要部屋抽出部105の移動頻度分析部1052から出力された、要約居場所の情報および関連部屋の情報に基づき、当該要約居場所を表す図形および関連部屋を表す図形について、それらの図形領域の面積および図形領域間の距離を算出し、要約居場所を表す図形および関連部屋を表す図形を階層構造で表示させるための描画用図形データを生成する。
図形生成部106は、生成した描画用図形データを、行動情報付与部107に出力する。
行動情報付与部107は、行動履歴記憶部209に記憶されている行動情報と、要約条件設定部104が設定した要約条件に基づき、時間帯毎に、要約居場所および関連部屋における住人の主要行動を抽出し、抽出した主要行動に関する情報を、描画用図形データに関連付ける。行動情報付与部107は、主要行動に関する情報を関連付けた描画用図形データを、関連情報付与部108に出力する。
関連情報付与部108は、機器情報履歴記憶部204に記憶されている機器情報、センサ情報履歴記憶部205に記憶されているセンサ情報、および、その他情報履歴記憶部206(後述する)に記憶されているその他情報に基づき、時間帯毎に、要約居場所および関連部屋における、住人と関わりの深い関連情報を抽出する。関連情報付与部108は、抽出した関連情報を、行動情報付与部107から出力された描画用図形データに、さらに関連付ける。
関連情報付与部108は、主要行動に関する情報と関連情報とが関連付けられた描画用図形データを、描画部109に出力する。
描画部109は、関連情報付与部108から出力された描画用図形データに基づく情報を、表示装置4に表示させる。
具体的には、描画部109は、描画用図形データに基づき、時間軸上に時間帯毎の要約居場所および関連部屋を表す図形を、表示装置4に表示させるとともに、住人と関わりの深い居場所、その居場所で行われた住人の主要行動、および、その居場所における住人と関わりの深い関連情報を、要約居場所の下位層として表示させる。これにより、描画部109は、住人と関わりの深い居場所同士の関係性、各居場所と主要行動の関係性、主要行動と関連情報等の関係性に関する情報を可視化する。
このとき、描画部109は、要約居場所の情報および関連部屋の情報を、階層構造で表示装置4に表示させる。
記憶部20は、各種情報を記憶する。
記憶部20は、建物構造ファイル201、レイアウト情報ファイル202、住人情報ファイル203、機器情報履歴記憶部204、センサ情報履歴記憶部205、その他情報履歴記憶部206、居場所履歴記憶部207、行動定義ファイル208、および、行動履歴記憶部209を備える。
建物構造ファイル201は、部屋、フロア、エリア等、住人の居場所となる領域が定義された情報である。実施の形態1では、住人の居場所とは、住宅内の部屋としているので、建物構造ファイル201は、少なくとも、住宅内の全ての部屋が定義された情報となる。建物構造ファイル201は、住宅を構成する全ての部屋、廊下、および、階段等の領域が定義された情報としてもよい。例えば、住人の居場所を、住宅内において住人が居場所とすることが可能な全ての領域とする場合には、建物構造ファイル201は、住宅を構成する全ての部屋、廊下、および、階段等の領域が定義された情報となる。
ここで、図2は、実施の形態1において、記憶部20に記憶されている建物構造ファイル201の内容の一例を説明するための図である。図2Aは、部屋の定義を間取りの一部で示した建物構造ファイル201の一例であり、図2Bは、部屋の定義を数値化して示した建物構造ファイル201の一例である。
建物構造ファイル201では、部屋ID(図2では図示省略)、部屋名称、および、部屋と部屋との間で住人が直接移動可能かどうかの接続関係が定義されている。なお、各部屋には、当該部屋を特定できる部屋IDが、予め付与されている。
また、建物構造ファイル201では、例えば、隣接している部屋であっても、間に壁等があり、住人が直接行き来できない場合は、直接移動可能ではないと定義する。
図2Aに示した建物構造ファイル201では、壁、および、矢印を示すことで、部屋と部屋との間で直接移動可能かどうかの接続関係を示している。例えば、1Fのキッチンとリビングとは、間に壁が示され、直接移動可能ではないことになり、1Fのキッチンとダイニングとは、間に矢印が示され、直接移動可能であることになる。
図2Bに示した建物構造ファイル201では、直接移動可能な部屋同士は「1」、廊下または階段等、部屋以外の領域を介して行き来できる場合は「2」、壁等が間にあり、他の部屋等を通らないと移動できない部屋同士は「0」としている。例えば、キッチンとダイニングは直接移動可能であるが、キッチンとリビングの間には壁があって直接移動可能ではないため、接続関係が「0」とされている。また、キッチンとダイニングとの接続関係が「1」であり、リビングとダイニングの接続関係が「1」であることから、キッチンとリビングとは、直接移動可能ではない(接続関係「0」)が、ダイニングを介して間接的には移動可能であることになる。
レイアウト情報ファイル202は、人感センサ等のセンサ2、または、TV(Television)等の機器3が、住宅内のどの部屋に設置されているかが定義された情報である。
レイアウト情報ファイル202では、各センサ2の情報または各機器3の情報が、当該各センサ2または各機器3が設置されている部屋の情報と関連付けて、定義されている。
ここで、図3は、実施の形態1において、記憶部20に記憶されるレイアウト情報ファイル202の内容の一例を説明するための図である。
図3に示すように、レイアウト情報ファイル202には、部屋ID、部屋名称、機器・センサ種類ID、機器・センサ名称、機器・センサID、および、属性の情報が、関連付けて定義される。なお、各センサ2および各機器3には、当該各センサ2および各機器3を特定できるIDが、予め付与されている。
なお、図3に示した内容は一例に過ぎず、例えば、レイアウト情報ファイル202には、図3に示した内容以外の情報が定義されるようになっていてもよく、レイアウト情報ファイル202は、各センサ2および各機器3と、当該各センサ2および各機器3が設置されている部屋との関連がわかるようになっていればよい。
住人情報ファイル203には、住宅の住人数が定義され、各住人について、住人を識別するIDと、住人に関する各種の住人情報とが関連付けて定義されている。住人に関する各種の住人情報とは、例えば、各住人の寝室、または、各住人が個人で所有しているスマートフォン等のモバイル端末に関する情報である。住人に関する各種の住人情報には、当該住人情報を特定できるIDが予め付与されている。例えば、各種の住人情報に各住人の寝室に関する情報が含まれている場合、各寝室にはそれぞれ特有の寝室IDが付与されており、住人情報ファイル203では、住人IDと、寝室IDとが関連付けられて定義される。
機器情報履歴記憶部204は、検知部101から出力された機器情報を記憶する。
ここで、図4は、実施の形態1において、記憶部20の機器情報履歴記憶部204に記憶される機器情報の内容の一例を説明するための図である。
図4に示す機器情報には、各機器3が設置されている部屋、各機器3を識別する機器ID、各機器3に対する操作の内容、各機器3の属性の情報、および、各機器3の状態変化が検知された日時(日付および時刻)の情報が含まれている。
機器情報に含まれる機器3に対する操作の内容は、例えば、電源ONまたはOFF、温度の上げ下げ、風量変更、または、風向変更等である。
また、機器情報に含まれる機器3の属性の情報とは、例えば、機器3がエアコンである場合は、エアコンの設定温度の情報、換気、暖房、冷房等の運転モード変更の情報、風量の情報、または、風向きの情報等である。また、例えば、機器3がTVである場合は、視聴しているTV番組の番組名、放送局、ジャンル、出演者、または、番組照会のキーワード等である。なお、これは一例に過ぎず、機器3の属性情報は、機器3から得られる、機器3の詳細に関する任意の情報である。
図4に示すように、機器情報において、機器3に関連付けられる属性の情報は1種類に限らず、機器3の種類に応じて、属性の情報の内容と種類は異なる。すなわち、属性1〜Nには、操作された機器3の種類に応じて、機器3毎に異なる属性情報が関連付けられている。また、機器3に関連付けられる属性の情報の数も、機器3の種類に応じて異なるものであり、全ての機器3に対して同数の属性の情報が関連付けられるとは限らない。
センサ情報履歴記憶部205は、検知部101から出力されたセンサ情報を記憶する。
ここで、図5は、実施の形態1において、記憶部20のセンサ情報履歴記憶部205に記憶されるセンサ情報の内容の一例を説明するための図である。
図5に示すセンサ情報には、各センサ2が設置されている部屋、各センサ2を識別するセンサID、センサ2の名称であるセンサ名称、センサ2の状態の情報、および、各センサ2の状態変化が検知された日時(日付および時刻)の情報が含まれている。
センサ2の状態の情報は、センサ2の種類に応じて異なる。例えば、センサ2が人感センサの場合は、センサ2の状態の情報は、住人を検知(ON)した/検知しない(OFF)に関する情報、または、住人を検知した回数の情報等である。また、例えば、センサ2が温度センサの場合は、センサ2の状態の情報は、定期的に取得した室温等の情報である。
その他情報履歴記憶部206は、画像データまたは映像データ等、機器情報履歴記憶部204、または、センサ情報履歴記憶部205では記憶していない情報を日時の情報と関連付けたその他情報を記憶する。その他情報の詳細については後述する。
居場所履歴記憶部207は、各住人の居場所を日時の情報と関連付けた居場所情報を記憶する。
ここで、図6は、実施の形態1において、記憶部20の居場所履歴記憶部207に記憶される居場所情報の内容の一例を説明するための図である。
図6に示す居場所情報には、各住人の住人ID、在室している部屋IDと部屋名称、および、日時(日付および時刻)の情報が含まれている。居場所情報に含まれる日時の情報は、各住人が、該当の部屋に入室した日時の情報、または、該当の部屋から退室した日時の情報である。
なお、図6に示す居場所情報には、部屋IDの情報と部屋名称の情報とが両方含まれるものとしているが、これに限らず、居場所情報には、部屋IDまたは部屋名称のいずれか一つの情報のみが含まれるようにしてもよい。また、居場所情報には、住人IDではなく住人名称の情報のみが含まれるようにしてもよいし、住人IDと住人名称の情報とが両方含まれるようにしてもよい。
行動定義ファイル208は、行動推定部103が住人の行動を推定する際に用いられる条件が、行動定義として定義されたファイルである。具体的には、行動定義ファイル208には、推定される行動の種類と、当該行動が実行されたとみなすための1つ以上の検出条件と、当該検出条件を用いた推定方法が定義される。推定方法とは、具体的には、どの条件をANDまたはORとするか等である。詳細は後述する。
行動履歴記憶部209は、各住人の行動を表す情報を日時の情報と関連付けた行動情報を記憶する。なお、行動情報に含まれる、行動を表す情報は、例えば、住宅内の場合、「睡眠」、「料理」、「食事」等、日常生活における様々な行動の情報を含む。
ここで、図7は、実施の形態1において、記憶部20の行動履歴記憶部209に記憶される行動情報の内容の一例を説明するための図である。
図7に示す行動情報には、各住人の住人ID、当該住人が行った行動の内容を表す情報、および、日時(日付および時刻)の情報が含まれている。行動情報に含まれる日時の情報は、各住人が、該当の行動を開始した開始日時の情報、または、該当の行動を終了した終了日時の情報である。
なお、図7に示す行動情報では、行動の内容を表す情報は、行動を示す名称の情報とするものとしているが、これに限らず、行動IDの情報としてもよい。また、行動情報には、住人IDに代えて住人名称の情報が含まれるようにしてもよいし、住人IDと住人名称の情報とが両方含まれるようにしてもよい。
記憶部20は、以上で説明した建物構造ファイル201、レイアウト情報ファイル202、住人情報ファイル203、機器情報履歴記憶部204、センサ情報履歴記憶部205、その他情報履歴記憶部206、居場所履歴記憶部207、行動定義ファイル208、および、行動履歴記憶部209の他、重要部屋抽出部105で分析された結果に関する情報、または、図形生成部106が生成した描画用図形データ等を記憶する。重要部屋抽出部105、および、図形生成部106の動作の詳細については後述する。
なお、実施の形態1では、図1に示すように、記憶部20は、行動可視化装置1が備えるものとするが、これに限らず、記憶部20は、行動可視化装置1の外部の、行動可視化装置1が参照可能な場所に備えられるようにしてもよい。
図1の説明に戻る。
受付部30は、ユーザによる各種操作を受け付ける。ユーザは、例えば、マウスまたはキーボード等の入力装置(図示省略)を操作して、所望の操作を入力する。受付部30は、入力装置から、ユーザが入力した操作に関する情報を受け付け、受け付けた操作に関する情報を、制御部10に出力する。
次に、実施の形態1に係る行動可視化装置1の動作について説明する。
以下の説明においては、一例として、行動可視化装置1は、住宅における住人の居場所、または、行動に関する情報等を、階層構造を用いて可視化するものとする。住人とは、住人Aおよび住人Bの家族2人とする。なお、これは一例に過ぎず、住人は1人以上であればよい。
図8は、実施の形態1における行動可視化装置1の動作を説明するフローチャートである。
検知部101は、部屋内の各機器3、または、各センサ2から情報を受信する。検知部101は、部屋内の各機器3から受信した情報に基づき、各機器3の状態変化を検知し、検知情報を日時の情報と関連付け、機器情報として、記憶部20の機器情報履歴記憶部204に記憶させる。また、検知部101は、部屋内の各センサ2から受信した情報に基づき、各センサ2の状態変化を検知し、検知情報を日時の情報と関連付け、センサ情報として、記憶部20のセンサ情報履歴記憶部205に記憶させる(ステップST801)。また、検知部101は、機器情報およびセンサ情報の両方を、居場所推定部102および行動推定部103に出力する。
ここで、図9は、実施の形態1において、検知部101による、図8のステップST801の、機器情報を記憶させる動作の詳細を説明するためのフローチャートである。
検知部101は、部屋内の各機器3から情報を受信し、状態が変化した機器3を検知する(ステップST901)。例えば、住人が、機器3の電源をONにする、または、機器3の設定内容を変更する等の操作を行うと、機器3の状態は変化する。検知部101は、機器3から受信した情報に基づき、機器3の状態変化を検知する。
そして、検知部101は、機器3の状態の変化を検知すると、状態変化が検知された機器3に関し、操作の内容、または、機器3の設定内容等の情報を、日時の情報と関連付けた機器情報(図4参照)として、記憶部20の機器情報履歴記憶部204に記憶させる(ステップST902)。
また、図10は、実施の形態1において、検知部101による、図8のステップS801の、センサ情報を記憶させる動作の詳細を説明するためのフローチャートである。
検知部101は、センサ2から受信するセンサ情報について、2種類のタイプに応じて、情報の受信方法を変える。
検知部101は、例えば、人感センサまたはドアの開閉センサ等のように、住人の検知、または、住人の操作を検知するタイプのセンサ2(タイプAとする)からは、当該タイプAのセンサ2が検知を行う都度、情報を受信する。
すなわち、検知部101は、常時、タイプAのセンサ2から情報が送信されるかどうかを監視しており、タイプAのセンサ2が住人または住人の操作を検知した場合は、直ちに、センサ2から情報を受信する。
これに対し、検知部101は、例えば、温度センサまたは照度センサ等のように、住人の行動または操作とは関係なく、計測された物理量を収集するタイプのセンサ2(タイプB)からは、予め設定された時間間隔で定期的に情報を収集する。
検知部101は、タイプAのセンサ2から情報を受信したかどうかを判定する(ステップST1001)。
検知部101は、ステップST1001において、タイプAのセンサ2から情報を受信していないと判定した場合(ステップST1001の”NO”の場合)、ステップST1003の処理に進む。
検知部101は、ステップST1001において、タイプAのセンサ2から情報を受信したと判定した場合(ステップST1001の”YES”の場合)、受信した情報を、センサ情報(例えば、図5参照)として、記憶部20のセンサ情報履歴記憶部205に記憶させる(ステップST1002)。例えば、ある部屋で、部屋内に設置された人感センサが住人を検知すると、検知部101は、当該人感センサから住人を検知した旨の情報を受信し、センサ情報履歴記憶部205に記憶させる。
検知部101は、タイプBのセンサ2から情報を収集する定期測定時刻になったかどうかを判定する(ステップST1003)。
検知部101は、ステップST1003において、定期測定時刻になっていないと判定した場合(ステップST1003の”NO”の場合)、処理終了する。
検知部101は、ステップST1003において、定期測定時刻になったと判定した場合(ステップST1003の”YES”の場合)、タイプBのセンサ2から情報を収集し(ステップST1004)、収集した情報を、センサ情報として、記憶部20のセンサ情報履歴記憶部205に記憶させる(ステップST1005)。
このようにして、検知部101は、住人が機器3を操作する等すると、機器3から情報を受信する。また、検知部101は、センサ2が住人を検知する等すると、センサ2から情報を受信する。そして、検知部101は、機器3から受信した情報およびセンサ2から受信した情報を、それぞれ、日時の情報と関連付けて、記憶部20の機器情報履歴記憶部204、および、センサ情報履歴記憶部205に履歴として記憶させる。
図8のフローチャートに戻る。
居場所推定部102は、ステップST801において、検知部101から出力された、機器情報およびセンサ情報に基づき、住人の居場所を推定し、推定した住人の居場所と日時の情報とを関連付けた居場所情報を、居場所履歴記憶部207に記憶させる(ステップST802)。
ここで、図11は、実施の形態1において、居場所推定部102による、図8のステップST802の、居場所情報を記憶させる動作の詳細を説明するためのフローチャートである。
居場所推定部102は、検知部101から、機器情報およびセンサ情報を取得すると、センサ情報履歴記憶部205を参照し、当該センサ情報(以下「現センサ情報」という。)を取得した時刻から所定時間以内の過去のセンサ情報があるかどうかを判定する(ステップST1101)。所定時間は、予め設定されており、実施の形態1では、例えば、10分間とする。なお、これは一例であり、所定時間は、適宜設定可能である。
居場所推定部102は、ステップST1101において、現センサ情報を取得した時刻から所定時間以内の過去のセンサ情報がないと判定した場合(ステップST1101の”NO”の場合)、処理終了する。
居場所推定部102は、ステップST1101において、現センサ情報を取得した時刻から所定時間以内の過去のセンサ情報があると判定した場合(ステップST1101の”YES”の場合)、記憶部20のレイアウト情報ファイル202を参照し、所定時間以内の過去のセンサ情報により特定されるセンサ2が設置されている部屋を特定する。そして、居場所推定部102は、特定した部屋の情報に基づき、住人の移動元の部屋と移動先の部屋を推定する(ステップST1102)。
例えば、ステップST801において、検知部101が、リビングに設置されている人感センサ(1)から住人を検知したことを示す情報を受信し、当該情報に基づくセンサ情報を居場所推定部102に出力したとする。
居場所推定部102は、検知部101から、当該センサ情報(現センサ情報)を取得すると、センサ情報履歴記憶部205を参照し、現センサ情報を取得した日時からみて、過去10分以内に取得された過去のセンサ情報があるか判定する(ステップST1101参照)。その結果、過去10分以内に取得された過去のセンサ情報があると判定され、当該過去のセンサ情報により特定されるセンサが、ダイニングに設置されている人感センサ(2)であったとする。この場合、居場所推定部102は、移動元の部屋をダイニング、移動先の部屋をリビングと推定する。
続いて、居場所推定部102は、居場所履歴記憶部207を参照し、ステップST1102で推定した、移動元の部屋から、移動先の部屋まで、移動した住人を推定する(ステップST1103)。上述の例でいうと、居場所推定部102は、ダイニングからリビングへ移動した住人を推定する。
具体的には、居場所推定部102は、居場所履歴記憶部207を参照し、最新の居場所がダイニングとなっている住人を、移動した住人と推定する。最新の居場所がダイニングとなっている住人がいない場合、居場所推定部102は、記憶部20の建物構造ファイル201を参照し、移動先であるリビングに移動可能な部屋を特定し、当該部屋が最新の居場所となっている住人を、移動した住人と推定する。
そして、居場所推定部102は、移動した住人について、住人を特定する情報と、移動先の部屋に設置されているセンサ2(上述した例でいうと人感センサ(1))から受信した情報に基づくセンサ情報を取得した日時の情報と、移動先の部屋(上述した例でいうとリビング)の情報とを関連付けて、居場所情報とし、居場所履歴記憶部207に記憶させる(ステップST1104)。
また、居場所推定部102は、推定した居場所情報を、行動推定部103に出力する。
図8のフローチャートに戻る。
行動推定部103は、ステップST801において検知部101から取得した機器情報およびセンサ情報と、ステップST802において居場所推定部102から取得した居場所情報と、予め定義され、記憶部20に記憶されている行動定義ファイル208の内容に基づき、住人の行動を推定し、推定結果を行動情報として行動履歴記憶部209に記憶させる(ステップST803)。
ここで、図12は、実施の形態1において、記憶部20に記憶される行動定義ファイル208の内容の一例を説明するための図である。行動定義ファイル208は、例えば、XML形式等で記述されて定義される。
行動定義ファイル208では、例えば、図12に示すように、行動の種類と、当該行動が実行されたとみなすための条件と、当該条件の判定式とが、行動ごとに定義されている。
ユーザは、予め、図12に示すような行動定義ファイル208を定義し、記憶部20に記憶させておく。具体的には、ユーザは、入力装置から、行動定義ファイル208で定義する内容を入力し、受付部30が、当該入力された内容を受け付ける。そして、受付部30は、受け付けた内容を制御部10の定義設定部(図示省略)に出力し、定義設定部は、受付部30から出力された内容に基づき、行動定義ファイル208を作成し、記憶部20に記憶させる。
図13は、実施の形態1において、行動推定部103による、図8のステップST803の、行動情報を記憶させる動作の詳細を説明するためのフローチャートである。
行動推定部103は、検知部101から、機器情報およびセンサ情報を取得し、居場所推定部102から居場所情報を取得すると、記憶部20に記憶されている行動定義ファイル208を参照し、行動定義ファイル208で定義された条件を満たす行動があるかどうかを判定する(ステップST1301)。
行動推定部103は、ステップST1301において、行動定義ファイル208で定義された条件を満たす行動がないと判定した場合(ステップST1301の“NO”の場合)、処理終了する。
行動推定部103は、ステップST1301において、行動定義ファイル208で定義された条件を満たす行動があると判定した場合(ステップST1301の“YES”の場合)、条件を満たす行動と判定した行動を、検知部101から取得した機器情報またはセンサ情報に含まれる日時の情報と関連付けた行動情報として、行動履歴記憶部209に記憶させる(ステップST1302)。
例えば、居場所推定部102から取得した居場所情報に基づき、現在、住人Aが寝室に在室していることが分かるとする。この状態で、寝室の照明の照度が300ルクスであったところ、検知部101から取得したセンサ情報に基づき、照度が0.3ルクスに変化し、当該情報の検知時刻が23時10分であったとする。この場合、行動推定部103は、行動定義ファイル208の、「就寝開始」行動に関する条件に該当することから、住人Aの行動を、「就寝開始」と推定する。そして、行動推定部103は、「就寝開始」である旨の情報と住人Aを特定する住人IDの情報とを、日時の情報と関連付けて、行動情報として、行動履歴記憶部209に記憶させる。なお、行動定義ファイル208で定義される就寝時間帯は、例えば22時〜1時等と予め設定され、行動推定部103に記憶されている。また、行動推定部103が、行動情報として関連付ける日時の情報は、例えば、検知部101から取得した機器情報またはセンサ情報に含まれる日時としてもよいし、行動推定部103が行動を推定した日時としてもよい。
以上のようにして居場所履歴記憶部207に記憶された居場所情報と、行動履歴記憶部209に記憶された行動情報に基づき、後述のように、行動可視化装置1は、住人と関わりの深い居場所を時間帯毎に抽出し、部屋同士の関連性、または、住人の居場所と行動との関係性を分析し、可視化する。
図8のフローチャートに戻る。
要約条件設定部104は、受付部30から出力された要約条件設定指示情報、または、予め設定されている要約条件設定指示情報に基づき、要約条件を設定する。具体的には、要約条件設定部104は、予め記憶している処理プログラムを実行して、要約条件を設定する(ステップST804)。
要約条件設定指示情報は、例えば、ユーザが、その都度、入力装置を操作して要約条件の設定指示を入力し、受付部30が当該入力された設定指示を受け付け、要約条件設定指示情報として要約条件設定部104に出力する。また、要約条件設定指示情報は、行動可視化装置1の設定時等に、予め設定され記憶されているようにしてもよい。
要約条件設定部104は、例えば、以下のような要約条件を設定する。
(A) 対象とする期間の単位
(B) 開始日時、終了日時
(C) 期間または時間帯に対する特定の条件
(D) 人に関する情報を要約する際の単位時間
(E) 対象とする時間帯において人と関わりの深い部屋を抽出する条件
・在室度合抽出レベル
・移動頻度抽出レベル
(F) 行動を抽出する条件
(G) 関連情報を抽出する条件
要約条件設定部104は、(A)の対象期間の単位として、1日、1週間、1か月等、処理対象とする対象期間の単位を設定する。
要約条件設定部104は、(B)の日時として、住人と関わりの深い部屋または当該部屋で行われた主要行動等を分析し可視化することとする対象期間の、開始日時と終了日時を設定する。
要約条件設定部104は、(C)の特定の条件については、(A)の対象期間の単位に対して特定の条件を付与する場合に、当該特定の条件を設定する。特定の条件とは、例えば、特定の曜日、土日祝日のみ、平日のみ等の条件である。
要約条件設定部104は、(D)の単位時間として、(A)の対象期間の単位について、住人と関わりの深い部屋または当該部屋で行われた主要行動等を、どの程度の時間軸の粒度で分析するかの、分析単位としての単位時間を設定する。分析単位とは、例えば、(A)で設定した対象期間の単位を1日とし、行動可視化装置1において、住人の1日の居場所または当該居場所で行われた主要行動を分析して可視化する場合、2時間単位で分析するのか、5時間単位で分析するのか、といった単位時間である。例えば、(A)の対象期間の単位を1か月とした場合、要約条件設定部104は、「3日」または「1週間」等の日または週単位の条件を、(D)の単位時間として設定することもできる。例えば、(A)で設定した期間を1年とした場合、要約条件設定部104は、「2か月」等の月単位の条件を、(D)の単位時間として設定することもできる。
当該(D)の単位時間として設定された条件に基づき、住人と関わりの深い部屋または当該部屋で行われた主要行動等を分析する動作については、後述する。
要約条件設定部104は、(E)の抽出条件として、住人の行動を分析して可視化する開始日時から終了日時までの対象期間を(D)の単位時間で区切って複数の時間帯を設定した際に、各時間帯において、住人と関わりの深い部屋を抽出するための抽出条件を設定する。
要約条件設定部104は、さらに、住人と関わりの深い部屋を抽出するための抽出条件として、住人の在室時間の度合が上位何位までを抽出するかを指定した在室度合抽出レベルと、住人の在室時間の度合が最大の部屋(以下「要約居場所」という。)との間で移動頻度が高い部屋を上位何位まで抽出するかを指定した移動頻度抽出レベルを設定する。
例えば、住人の在室時間の度合が上位3位までの部屋を抽出することを指定する場合は、要約条件設定部104は、在室度合抽出レベルに「3」を設定する。また、住人の移動頻度が高い部屋を上位2位まで抽出することを指定する場合は、要約条件設定部104は、移動頻度抽出レベルに「2」を設定する。
当該(E)の抽出条件として設定された条件に基づき、要約居場所との間で移動頻度が高い部屋を抽出する具体的な処理については、後述する。
要約条件設定部104は、(F)の抽出条件として、住人の行動を分析して可視化する開始日時から終了日時までの対象期間を、(D)の単位時間で区切って複数の時間帯を設定した際に、各時間帯において、住人が行った主要行動に関する情報を抽出するための抽出条件を設定する。具体的には、要約条件設定部104は、当該(F)の抽出条件として、住人が行った主要行動の上位何件を抽出するかを指定した抽出条件を設定する。また、要約条件設定部104は、住人が行った行動が主要行動であるかどうかを判断する判断基準についても、あわせて設定する。当該判断基準は、行動情報付与部107が、住人が行った行動を上位から指定された件数抽出する際に用いられる。
住人が行った行動が主要行動であるかどうかを判断する判断基準としては、例えば、以下の(a)または(b)の判断基準があげられる。
(a)対象の時間帯において、その行動が行われた時間の合計
(b)対象の時間帯において、その行動が行われた回数の合計
上記(a)または(b)のいずれの判断基準を、(F)の抽出条件に設定するかは、要約条件設定部104が、例えば、ユーザからの指示に基づき、適宜決定する。
なお、上記(a)および(b)の判断基準は一例に過ぎず、要約条件設定部104は、上記(a)および(b)以外の判断基準を、(F)の抽出条件として設定するようにしても構わない。
なお、当該(F)の抽出条件として設定された条件に基づき、住人が行った主要行動を抽出する具体的な処理については、後述する。
要約条件設定部104は、(G)の抽出条件として、住人の行動を分析して可視化する開始日時から終了日時までの対象期間を、(D)の単位時間で区切って複数の時間帯を設定した際に、各時間帯において得られた情報のうち、主要な関連情報を抽出するための抽出条件を設定する。各時間帯において得られた情報とは、例えば、機器情報、センサ情報、あるいは、画像または映像等の、その他情報履歴記憶部206で記憶されているその他情報である。具体的には、例えば、要約条件設定部104は、当該(G)の抽出条件として、機器情報、センサ情報、または、その他情報の各種情報から、最大何件を、住人と関わりの深い関連情報として抽出するかを指定した抽出条件を設定する。
なお、当該(G)の抽出条件として設定された条件に基づき、住人と関わりの深い関連情報を抽出する具体的な処理については、後述する。
以上のような、(A)〜(G)の条件の設定値は、例えば、予め、要約条件設定指示情報として記憶部20の要約条件設定部104が参照可能な場所に記憶されており、要約条件設定部104は、当該要約条件設定指示情報を読み込んで、上述のような要約条件を設定する。また、例えば、行動可視化装置1の要約条件設定画面表示制御部(図示省略)が、表示装置4に、(A)〜(G)の条件の設定値を指定するためのGUI(Graphical User Interface)画面を表示させ、ユーザが、当該GUI画面から、入力装置を操作して、行動可視化装置1による動作を行う都度、設定値を指定してもよい。受付部30は、設定値の情報を受け付け、記憶部20の要約条件設定部104が参照可能な場所に、要約条件設定指示情報として記憶させておき、要約条件設定部104は、受付部30が記憶させた要約条件設定指示情報を読み込んで、上述のような要約条件を設定するようにしてもよい。
実施の形態1では、行動可視化装置1は、対象期間の単位を1日とし、1日を設定された単位時間で区切って複数の時間帯を設定し、当該設定された時間帯毎に住人の行動を要約するものとする。すなわち、要約条件設定部104は、要約条件として、(A)の対象期間の単位として、1日が設定され、(D)の単位時間として、ある特定の単位時間が設定されているものとする。
要約条件設定部104は、設定した要約条件の情報を、記憶部20に記憶させるとともに重要部屋抽出部105に出力する。
図8のフローチャートに戻る。
重要部屋抽出部105は、記憶部20の居場所履歴記憶部207に記憶されている居場所情報を参照し、ステップST804において要約条件設定部104が設定した要約条件に基づき、各時間帯において、住人と関わりの深い部屋を抽出する。
まず、重要部屋抽出部105の在室時間分析部1051は、記憶部20の居場所履歴記憶部207に記憶されている居場所情報を参照し、要約条件設定部104で設定された要約条件に基づき、住人が、各時間帯に在室していた在室時間の度合が最大の部屋を要約居場所として抽出する。また、在室時間分析部1051は、要約居場所に続いて在室時間の度合が大きい部屋を、要件条件で指定された順位に従って上位から検索し、関連部屋として抽出する(ステップST805)。
ここで、図14は、実施の形態1において、重要部屋抽出部105の在室時間分析部1051による、各時間帯において、要約居場所、および、関連部屋を抽出する動作の詳細を説明するためのフローチャートである。
以下の処理は、住人情報ファイル203で定義された住人毎に、住宅内の全ての部屋に対し行われる。
まず、在室時間分析部1051は、住人情報ファイル203で定義された住人のうち、未処理の住人(以下「在室時間分析対象住人」という。)を特定する(ステップST1401)。
次に、在室時間分析部1051は、建物構造ファイル201を参照し、未処理の部屋(以下「在室時間分析対象部屋」という。)を一つ特定する(ステップST1402)。
在室時間分析部1051は、居場所履歴記憶部207に記憶されている居場所情報を参照し、要約条件で設定されている、(A)の対象期間の単位、(B)の日時、および、(C)の特定の条件に該当する対象期間を、(D)の単位時間で区切って設定された時間帯毎に、在室時間分析対象部屋に、在室時間分析対象住人が在室する時間の累積値を算出する(ステップST1403)。具体的には、在室時間分析部1051は、居場所履歴記憶部207に記憶されている居場所情報を参照し、要約条件設定部104で設定された要約条件に基づき、ステップST1401で特定した在室時間分析対象住人が、ある1日における時間帯毎に、ステップST1402で特定した在室時間分析対象部屋に在室した在室時間の累積値を算出する。
在室時間分析部1051は、未処理の部屋があるか否かを判定する(ステップST1404)。
在室時間分析部1051は、ステップST1404において、未処理の部屋があると判定した場合(ステップST1404の“YES”の場合)、ステップST1402に戻り、以降の処理を繰り返す。すなわち、在室時間分析部1051は、次の未処理の部屋を、在室時間分析対象部屋と特定し、当該在室時間分析対象部屋に、在室時間分析対象住人が在室する時間の累積値を算出する。
在室時間分析部1051は、ステップST1404において、未処理の部屋がないと判定した場合(ステップST1404の“NO”の場合)、時間帯毎に、算出した在室時間累積値が最大の部屋を要約居場所として抽出する(ステップST1405)。
また、在室時間分析部1051は、居場所履歴記憶部207に記憶されている居場所情報を参照し、要約条件で設定されている、(E)の抽出条件における在室度合抽出レベルに基づき、各時間帯において、要約居場所に続いて在室時間の度合が大きい部屋の情報を、当該要件条件で指定された順位に従って上位から指定された件数分抽出する。在室時間分析部1051は、要約居場所に続いて在室時間の度合いが大きい部屋として抽出した部屋を、関連部屋とする(ステップST1406)。
在室時間分析部1051は、未処理の住人がいるか否かを判定する(ステップST1407)。
在室時間分析部1051は、ステップST1407において、未処理の住人がいると判定した場合(ステップST1407の“YES”の場合)、ステップST1401に戻り、以降の処理を繰り返す。すなわち、在室時間分析部1051は、次の住人に関する情報を取得し、在室時間分析対象住人として、当該在室時間分析対象住人に対する要約居場所、および、関連部屋の抽出を行う。
在室時間分析部1051は、以上の処理を、住人情報ファイル203で定義された全ての住人に対して行う。
在室時間分析部1051は、ステップST1407において、未処理の住人がいないと判定した場合(ステップST1704の“NO”の場合)、住人毎に、各時間帯における、要約居場所、関連部屋、および、各部屋における在室時間の累積値の情報が関連付けられた情報(以下「在室時間分析後情報」という。)を、重要部屋抽出部105の移動頻度分析部1052に出力する。
図14を用いて説明したような在室時間分析部1051の動作について、具体例をあげて説明する。
例えば、住人情報ファイル203で定義された住人が、住人A,住人Bの2人であり、居場所履歴記憶部207の内容が、図15に示すような内容であったとする。
なお、図15において、住人Aの住人IDは「1」、住人Bの住人IDは「2」としている。
また、要約条件設定部104によって設定された要約条件の内容は、以下のとおりとする。以降の説明において、具体例をあげて説明する際は、要約条件は以下のとおりであるものとする。
(A)対象とする期間の単位:1日
(B)開始日時、終了日時:2017年1月15日6時、2017年1月15日22時
(C)期間または時間帯に対する特定の条件:なし
(D)人に関する情報を要約する際の単位時間:4時間
(E)対象とする時間帯において人と関わりの深い部屋を抽出する条件
・在室度合抽出レベル:3
・移動頻度抽出レベル:2
(F)行動を抽出する条件:3
(G)関連情報を抽出する条件:2
まず、在室時間分析部1051は、未処理の住人として、住人IDが「1」の住人Aの情報を取得し、当該住人Aを在室時間分析対象住人と特定する(図14のステップST1401)。
続いて、在室時間分析部1051は、建物構造ファイル201を参照し、未処理の部屋として、部屋IDが「1」のリビングの情報を取得し、当該リビングを在室時間分析対象部屋と特定する(図14のステップST1402)。
在室時間分析部1051は、住人Aについて、居場所履歴記憶部207の居場所情報を参照し、2017年1月15日6時から4時間毎に区切って設定された時間帯(6時〜10時、10時〜14時、14時〜18時、および18時〜22時)毎にリビングに在室した在室時間の累積値を算出する(ステップST1403)。なお、説明の簡単のため、以下、適宜、対象期間となっている2017年1月15日6時〜22時について、年の記載を省略して単に月日、または、年月の記載を省略して単に時間の記載とする。
住人Aがリビングに在室した在室時間の累積値を算出した結果、在室時間分析部1051は、例えば、住人Aについて、6時〜10時にリビングに在室していた在室時間を54分と算出する。このときの居場所履歴記憶部207の居場所情報の一例を示す図が、図15である。なお、図15は、説明の簡単のため、2017年1月15日の7時55分までの記録しか図示していないが、居場所情報には2017年1月15日の7時55分以降の情報も含まれている。在室時間分析部1051は、10時〜14時、14時〜18時、および18時〜22時の時間帯についても、それぞれ、当該時間帯毎に住人Aがリビングに在室していた在室時間の累積値を算出する。
在室時間分析部1051は、未処理の部屋があるため(ステップST1404の“YES”の場合)、同様にして、建物構造ファイル201に定義されているほかの部屋に対して、それぞれ、時間帯毎の、住人Aの在室時間の累積値を算出する。このようにして、在室時間分析部1051が、住人Aの各時間帯における各部屋の在室時間の累積値を算出した結果、例えば、住人Aの6時〜10時の時間帯の、各部屋の在室時間の累積値は、図16に示すようになる。ここでは、説明の簡単のため、図16では、住人Aの6時〜10時の、各部屋の在室時間の累積値を示すが、在室時間分析部1051によって、10時〜14時、14時〜18時、および18時〜22時の時間帯についても、それぞれ、住人Aの、各部屋の在室時間の累積値が算出される。
在室時間分析部1051は、6時〜10時、10時〜14時、14時〜18時、および18時〜22時の各時間帯において、住人Aの在室時間の度合が最大の部屋を要約居場所として抽出する(図14のステップST1405)。
例えば、6時〜10時の住人Aの各部屋の在室時間の累積値が図16に示す内容であったとすると、在室時間の累積値が最大となる部屋は「キッチン」である。よって、在室時間分析部1051は、「キッチン」を、要約居場所として抽出する。
また、在室時間分析部1051は、要約条件に基づき、住人Aの関連部屋を抽出する(図14のステップST1406)。
例えば、要約条件によると、在室度合抽出レベルは「3」であるため、在室時間分析部1051は、在室時間の累積値が上位3位までの部屋を、関連部屋として抽出する。その結果、図16によると、6時〜10時の時間帯について、在室時間の累積値の上位1位は「キッチン」であり、上位2位は「リビング」であり、上位3位は「個室A」となる。
したがって、在室時間分析部1051は、要約居場所である「キッチン」に続いて在室時間の度合が大きい「リビング」と「個室A」を、関連部屋として抽出する。
在室時間分析部1051は、10時〜14時、14時〜18時、および18時〜22時の各時間帯においても、それぞれ、時間帯毎に、在室時間の累積値が最大である要約居場所に続いて在室時間の度合いが大きい上位2位,3位の部屋を関連部屋として抽出する。
在室時間分析部1051は、未処理の住人がいるかどうかを判定し、住人Bが未処理であるので(図14のステップST1407の“YES”の場合)、住人Bについても、6時〜10時、10時〜14時、14時〜18時、および18時〜22時の各時間帯において、各部屋の在室時間の累積値を算出し、要約居場所、および、関連部屋を抽出する。
このように、在室時間分析部1051は、住人と関わりの深い部屋として、要約居場所、および、関連部屋を抽出する。
そして、在室時間分析部1051は、時間帯毎に、要約居場所、および、関連部屋に関する情報を、住人を特定する情報と関連付けて、在室時間分析後情報として、移動頻度分析部1052に出力する。
ここで、図17は、実施の形態1において、在室時間分析部1051が、移動頻度分析部1052に出力する在室時間分析後情報の一例を示す図である。
図17に示すように、在室時間分析部1051は、住人毎に、各時間帯と、当該住人と関わりの深い部屋、すなわち、要約居場所および関連部屋の情報とを関連付けた情報を出力する。また、当該在室時間分析部1051が出力する在室時間分析後情報には、在室時間の度合、すなわち、在室時間の累積値の情報も関連付けられている。
図8のフローチャートに戻る。
次に、移動頻度分析部1052は、ステップST805において在室時間分析部1051から出力された在室時間分析後情報、および記憶部20の居場所履歴記憶部207に記憶されている居場所情報に基づき、住人毎に、各時間帯における、要約居場所とその他の部屋との間の移動頻度を算出し、算出した当該移動頻度と、要約条件で定義された、移動頻度抽出レベルに基づき、移動頻度の高い部屋を関連部屋として抽出する(ステップST806)。そして移動頻度分析部1052は、抽出した関連部屋の情報を、ステップST805において在室時間分析部1051から出力された在室時間分析後情報に追加し、重要部屋情報とする。
ここで、図18は、実施の形態1において、重要部屋抽出部105の移動頻度分析部1052よる、移動頻度の高い部屋を抽出する動作の詳細を説明するためのフローチャートである。
まず、重要部屋抽出部105の移動頻度分析部1052は、在室時間分析部1051から出力された在室時間分析後情報に基づき、未処理の住人(以下「移動頻度分析対象住人」という。)を特定する(ステップST1801)。例えば、移動頻度分析部1052は、移動頻度分析対象住人として、住人Aを特定する。
次に、移動頻度分析部1052は、在室時間分析部1051から出力された在室時間分析後情報に基づき、未処理の時間帯(以下「移動頻度分析対象時間帯」という。)を一つ特定する(ステップST1802)。例えば、移動頻度分析部1052は、1月15日の6時〜10時の時間帯を移動頻度分析対象時間帯と特定する。
以下の処理は、在室時間分析後情報で設定されている住人毎に、各時間帯に対して行われる。
移動頻度分析部1052は、ステップST1802で特定した移動頻度分析対象時間帯の要約居場所の情報を取得する(ステップST1803)。
例えば、住人Aに対する1月15日の6時〜10時の要約居場所は、前述したように「キッチン」であり(図17等も参照)、移動頻度分析部1052は、「キッチン」を示す情報を取得する。
移動頻度分析部1052は、記憶部20の居場所履歴記憶部207に記憶されている居場所情報を参照し、ステップST1802で特定した移動頻度分析対象時間帯に、ステップST1801で特定した移動頻度分析対象住人が、要約居場所から他の各部屋へ移動した回数、または、他の各部屋から要約居場所へ移動した回数を算出する(ステップST1804)。例えば、移動頻度分析部1052は、6時〜10時の時間帯の住人Aの居場所に基づき、6時〜10時の時間帯に、住人Aが「キッチン」から他の部屋へ移動した回数、または、住人Aが他の部屋から「キッチン」へ移動した回数を算出する。移動頻度分析部1052は、算出した移動回数を、移動頻度とする。
その結果、移動頻度分析部1052は、例えば、図19に示すような移動頻度を算出する。図19に示すように、移動頻度分析部1052は、例えば、「キッチン」から「洗面室」への移動と「洗面室」から「キッチン」への移動等、要約居場所からある部屋との行き来をまとめて、要約居場所と当該ある部屋間との移動頻度とする。
また、このとき、移動頻度分析部1052は、移動頻度分析対象住人による、移動頻度分析対象時間帯における、要約居場所以外の部屋同士の移動回数も算出しておく。また、移動頻度分析部1052は、移動頻度分析対象住人による、移動頻度分析対象時間帯における、部屋間の移動回数の総和についても算出しておく。
そして、移動頻度分析部1052は、要約居場所との間の移動頻度が、要約条件設定部104が設定した(図8のステップST804参照)要約条件のうち、(E)の抽出条件の移動頻度抽出レベルに該当する部屋を関連部屋として抽出する(ステップST1805)。
具体的には、移動頻度抽出レベルには「2」が指定されているので、移動頻度分析部1052は、算出した移動頻度の情報に基づき、移動頻度が高い上位2つの部屋を関連部屋として抽出する。
6時〜10時の時間帯における住人Aの移動頻度は、図19のとおりであるので、移動頻度分析部1052は、6時〜10時の時間帯における関連部屋として、「ダイニング」と、「洗面室」を抽出する。
移動頻度分析部1052は、未処理の時間帯があるか否かを判定する(ステップST1806)。
移動頻度分析部1052は、ステップST1806において、未処理の時間帯があると判定した場合(ステップST1806の“YES”の場合)、ステップST1802に戻り、以降の処理を繰り返す。すなわち、移動頻度分析部1052は、次の未処理の時間帯を移動頻度分析対象時間帯と特定し、当該移動頻度分析対象時間帯における、移動頻度分析対象住人の移動頻度を算出する。
移動頻度分析部1052は、未処理の時間帯(10時〜14時、14時〜18時、および18時〜22時)があるため、ステップST1802に戻り、10時〜14時の時間帯を、移動頻度分析対象時間帯として特定する。そして、上述したように、移動頻度分析部1052は、10時〜14時の時間帯の住人Aについて、要約居場所の情報を取得し、当該要約居場所とその他の各部屋への移動頻度を算出する。そして、移動頻度分析部1052は、要約条件の移動頻度抽出レベルに基づき、関連部屋を抽出する。
このようにして、移動頻度分析部1052は、住人Aについて、6時〜10時、10時〜14時、14時〜18時、および18時〜22時の時間帯毎に、要約居場所と他の部屋との間の移動回数を移動頻度として算出し、移動頻度が要約条件で指定された移動頻度抽出レベルに該当する関連部屋を抽出する。
移動頻度分析部1052は、ステップST1806において、未処理の時間帯がないと判定した場合(ステップST1806の“NO”の場合)、ステップST1807に進み、移動頻度分析部1052は、未処理の住人がいるか否かを判定する(ステップST1807)。
移動頻度分析部1052は、ステップST1807において、未処理の住人がいると判定した場合(ステップST1807の“YES”の場合)、ステップST1801に戻り、以降の処理を繰り返す。すなわち、移動頻度分析部1052は、次の住人を移動頻度分析対象住人として特定し、当該移動頻度分析対象住人に対する、時間帯毎の移動頻度の算出、および、関連部屋の抽出を行う。
移動頻度分析部1052は、以上の処理を、在室時間分析部1051から出力された在室時間分析後情報に含まれる全ての住人に対して行う。
移動頻度分析部1052は、ステップST1807において、未処理の住人がいないと判定した場合(ステップST1807の“NO”の場合)、抽出した関連部屋および移動頻度の情報を、在室時間分析後情報に追加し、重要部屋情報として、記憶部20に記憶させるとともに、図形生成部106に出力する。
ここで、図20は、実施の形態1において、移動頻度分析部1052が、図形生成部106に出力する重要部屋情報の一例を示す図である。
図20に示すように、重要部屋情報は、移動頻度分析部1052が移動頻度に基づいて抽出した関連部屋の情報が、在室時間分析後情報(図17参照)に追加された情報である。なお、説明の簡単のため、図20では、各時間帯における、要約居場所以外の部屋同士の移動回数、および、部屋間の移動回数の総和については、記載を省略している。
また、移動頻度分析部1052は、移動頻度に基づいて、在室時間分析後情報に関連部屋の情報を追加する際、追加した関連部屋における各住人の在室時間の累積値の情報を、重要部屋情報に設定するようにする。移動頻度分析部1052は、自身が抽出した関連部屋における各住人の在室時間の累積値の情報は、在室時間分析部1051から取得するようにすればよい。また、移動頻度分析部1052は、重要部屋情報において、在室時間分析後情報で設定されていた関連部屋について、要約居場所との間の移動頻度の情報を設定するようにする。
図8のフローチャートに戻る。
図8のステップST805では、図14〜図17を用いて説明したように、在室時間分析部1051が、各住人の、時間帯毎の在室時間の度合を算出し、各時間帯における要約居場所および関連部屋を抽出し、在室時間分析後情報を生成する。
また、図8のステップST806では、図18〜図20を用いて説明したように、移動頻度分析部1052が、各住人の、時間帯毎の、要約居場所とその他の部屋との間の移動頻度を算出し、各時間帯における関連部屋を抽出する。そして、移動頻度分析部1052は、在室時間分析後情報に、自身が抽出した関連部屋の情報を追加し、重要部屋情報とする。
上述した例でいうと、図8のステップST805、および、ステップST806の処理により、重要部屋抽出部105は、例えば、住人Aの6時〜10時の時間帯の要約居場所として「キッチン」を抽出し、関連部屋として「リビング」、「個室A」、「ダイニング」、および、「洗面室」を抽出する(図20参照)。
図形生成部106は、ステップST806において、移動頻度分析部1052から出力された重要部屋情報に基づき、要約居場所、および、関連部屋を表す図形の図形領域の面積、および、図形領域間の距離を決定し、要約居場所、および、関連部屋を表す図形を表示させるための描画用図形データを生成する(ステップST807)。
具体的には、図形生成部106は、時間軸上に時間帯毎の要約居場所を表す図形を親ノードとして表示させ、関連部屋を表す図形を、当該要約居場所を表す図形の下位に階層構造で表示させる描画用図形データを生成する。
実施の形態1では、図形生成部106は、各要約居場所、および、各関連部屋を表す図形を円として、描画用図形データを生成するものとする。なお、これは一例に過ぎず、要約居場所、および、関連部屋を表す図形は、例えば、円、四角等の任意の図形とすることができ、予め、ユーザによって適宜設定可能である。
ここで、図21は、実施の形態1において、図形生成部106による、描画用図形データを生成する動作の詳細を説明するためのフローチャートである。
まず、図形生成部106は、ステップST805において移動頻度分析部1052から出力された重要部屋情報に基づき、未処理の住人(以下「描画対象住人」という。)を特定する。また、図形生成部106は、横軸を時間軸とし、時間帯毎に目盛りを描画するための時間軸データを生成する(ステップST2101)。例えば、上述の例でいうと、図形生成部106は、住人Aを特定し、6時〜10時、10時〜14時、14時〜18時、および18時〜22時の4つの時間帯を示す目盛りを描画するための時間軸データを生成する。
続いて、図形生成部106は、ステップST2101で特定した描画対象住人に関する、未処理の時間帯(以下「描画対象時間帯」という。)を特定する(ステップST2102)。例えば、図形生成部106は、描画対象時間帯として、1月15日の6時〜10時の時間帯を特定する。
図形生成部106は、ステップST2102で特定した描画対象時間帯の要約居場所(以下「描画対象要約居場所」という。)に対して、在室時間の度合に基づき、当該描画対象要約居場所を表す図形の図形領域の大きさを決定する(ステップST2103)。具体的には、図形生成部106は、描画対象要約居場所を表す円の半径を、以下の(式1)に基づき算出し、描画対象要約居場所を表す円の大きさを決定する。
(描画対象要約居場所の円の半径)
=(処理対象の時間帯における描画対象要約居場所の在室時間の累積値)/(単位時間)*(定数) ・・・(式1)
例えば、住人Aについて、6時〜10時の時間帯の要約居場所は「キッチン」であり、在室時間分析部1051が算出した6時〜10時の「キッチン」の在室時間の累積値は1時間19分(=79分)である(図16,図17等参照)。よって、図形生成部106は、以下のとおり、(式1)に基づき、「キッチン」を表す円の半径を算出する。
(キッチンの円の半径)=79/240*300=98.75
なお、この場合の定数は、300としている。
そして、図形生成部106は、描画対象要約居場所に対して、ステップST2101で生成した時間軸データ上で、描画対象時間帯の中央の時刻に描画対象要約居場所の図形を配置させるための、時間軸上の座標を算出する(ステップST2104)。具体的には、図形生成部106は、描画対象要約居場所を表す円の中心座標を算出する。
ここで、図22A〜図22Cは、実施の形態1において、図形生成部106による描画対象とする要約居場所を表す円および関連部屋を表す円の中心座標を算出する具体的な動作の一例について説明するための図である。
図形生成部106は、以下に説明するような動作によって、描画対象要約居場所を表す円の中心座標を算出する。図形生成部106は、後述する、描画対象関連部屋を表す円の中心座標も、以下に説明するような動作によって、算出する。
図形生成部106は、要約居場所について、要約居場所の対象時間帯(図22Aの場合、例えば、6:00〜10:00までの目盛り)の線分上の中点を、要約居場所を表わす円の中心座標とする(図22A参照)。
図形生成部106は、関連部屋については、以下のとおり、関連部屋を表す円の中心座標を算出する。
関連部屋の個数をNとする。
i=1番目の関連居場所の中心座標を以下で算出する。
・N=1の場合 Θ=90として、要約居場所と関連部屋1を結ぶ線分1の長さと要約居場所の中心座標から、関連部屋1の中心座標を算出(図22B参照)。
・N≧2の場合は、Θ=Θ0から開始。(Θ0は初期値。例えばΘ0=50)。
関連部屋1の時はΘ=Θ0として、上記のようにして最初の関連部屋1の配置が決まる。
関連部屋2の時はΘ=Θ0+δとして、関連居場所2と要約居場所とを結ぶ円の半径と要約居場所の中心座標から関連部屋2の円の中心座標を算出。算出した中心座標で関連部屋2を配置した場合に、関連部屋2の円と関連部屋1の円と重なりがないかどうかを調べる。重なりの判定は一般的な手法(図形同士の交差判定)を用いる。
重なりがなければ中心座標を確定。
重なりがある場合はδを微小だけ増やす、あるいは減らして重ならない位置に置く。(δを増やすか減らすかは、重なっている相手の円がどちら側にあるかに依る)
関連部屋iの時はΘ=Θ0+(i−1)δ
ここでδ=(180−2Θ)/(N−1)
関連部屋2の時と同様にして、周囲の円との重なり判定を行い、重なりがある場合は微調整する。
i=Nまで繰り返す。
上記例ではΘ0=50としているが、他の値でも良い。(以上、図22Cを参照)
図21のフローチャートに戻る。
図形生成部106は、移動頻度分析部1052から出力された重要部屋情報に基づき、描画対象要約居場所に関連付けられた関連部屋のうち、未処理の関連部屋(以下「描画対象関連部屋」という。)を特定する(ステップST2105)。
例えば、図形生成部106は、描画対象関連部屋として、まず、「リビング」を取得する。
図形生成部106は、ステップST2105で取得した描画対象関連部屋を表す円の半径、当該描画対象関連部屋とその他の部屋を表す円に接続する際の線分の長さと種別、および、当該描画対象関連部屋を表す円の、ステップST2101で生成した時間軸データ上での中心座標を算出する(ステップST2106)。
ここで、図23は、実施の形態1において、図21のステップST2106における図形生成部106の動作を詳細に説明するためのフローチャートである。
まず、図形生成部106は、重要部屋抽出部105から取得した重要部屋情報(図8のステップ806参照)の、描画対象住人が描画対象関連部屋に在室した在室時間の累積値に基づき、図21のステップST2105で特定した描画対象関連部屋を表す円の半径を以下の(式2)に基づき算出する(ステップST2201)。
(描画対象関連部屋の円の半径)
=(描画対象時間帯における描画対象関連部屋の在室時間の累積値)/(単位時間)*(定数) ・・・(式2)
今、描画対象関連部屋は「リビング」であり、描画対象時間帯である6時〜10時の時間帯において、描画対象住人である住人Aが、当該「リビング」に在室した時間の累積値は、54分である(図20参照)。
したがって、図形生成部106は、以下のとおり、(式2)に基づき、「リビング」を表す円の半径を算出する。
(リビングの円の半径)=54/240*300=67.5
なお、ここでは、定数を300としている。
続いて、図形生成部106は、記憶部20に記憶されている建物構造ファイル201を参照し、描画対象関連部屋が、描画対象要約居場所と直接接続しているかどうかを判定する(ステップST2202)。具体的には、図形生成部106は、描画対象関連部屋と描画対象要約居場所とが、他の部屋を通過せずに直接行き来できるかどうかを判定する。
図形生成部106は、ステップST2202において、描画対象関連部屋が、描画対象要約居場所と直接接続していると判定した場合(ステップST2202の“YES”の場合)、ステップST2203に進む。
図形生成部106は、ステップST2202において、描画対象関連部屋が、描画対象要約居場所と直接接続していないと判定した場合(ステップST2202の“NO”の場合)、ステップST2205に進む。
例えば、建物構造ファイル201の内容が、図2に示すような内容であったとすると、描画対象関連部屋である「リビング」と、描画対象要約居場所である「キッチン」とは直接接続していないため、ステップST2205に進む。
ステップST2205において、図形生成部106は、描画対象時間帯における他の関連部屋の中に、描画対象関連部屋と直接接続している関連部屋(以下「接続関連部屋」という。)があるか否かを判定する(ステップST2205)。
図形生成部106は、ステップST2205において、接続関連部屋があると判定した場合(ステップST2205の“YES”の場合)、ステップST2207に進む。
図形生成部106は、ステップST2205において、接続関連部屋がないと判定した場合(ステップST2205の“NO”の場合)、ステップST2206に進む。
建物構造ファイル201(図2)によると、6時〜10時の時間帯において、「リビング」以外の関連部屋、すなわち、「洗面室」、「ダイニング」、または「個室A」の中で、「ダイニング」が「リビング」と直接接続しているので、ステップST2207に進む。
ステップST2207において、図形生成部106は、描画対象関連部屋を表す円と、接続関連部屋を表す円とを結ぶ線分の長さを算出し、当該線分の種別の設定を実線とする(ステップST2207)。
上述の例でいうと、図形生成部106は、ステップST2207において、描画対象関連部屋である「リビング」を表す円と、「リビング」の接続関連部屋である「ダイニング」を表す円とを結ぶ長さを算出する。
なお、図形生成部106は、描画対象関連部屋を表す円と、接続関連部屋を表す円とを結ぶ線分の長さを、部屋間の移動頻度に基づき算出する。具体的には、図形生成部106は、以下の(式3)に基づき、描画対象関連部屋を表す円と、接続関連部屋を表す円とを結ぶ線分の長さを算出する。以下の(式3)においては、「部屋1」は描画対象関連部屋を表し、「部屋2」は接続関連部屋を表している。
(部屋1を表す円と、部屋2を表す円とを結ぶ線分の長さ)
=(描画対象時間帯内の部屋間移動回数の総和)/(描画対象時間帯における部屋1と部屋2との間の移動回数)*(定数) ・・・(式3)
上述の例でいうと、例えば、6時〜10時の時間帯において、住人Aが「リビング」と「ダイニング」の間を移動した回数は1回であり、6時〜10時の時間帯における部屋間の移動回数の総和を20回とすると、図形生成部106は、「リビング」を表す円と、「ダイニング」を表す円とを結ぶ線分の長さを、以下のように、(式3)に基づき算出する。
(リビングを表す円とダイニングを表す円とを結ぶ線分の長さ)
=20/1*20=200
ここでは、定数を20としている。
また、図形生成部106は、「リビング」を表す円と「ダイニング」を表す円とを結ぶ線分を実線に設定する。
図形生成部106は、描画対象関連部屋を表す円を、接続関連部屋を表す円の下位ノードとして、当該描画対象関連部屋を表す円の中心座標を算出する(ステップST2208)。
すなわち、図形生成部106は、「リビング」を表す円を、「ダイニング」を表す円の下位ノードとして、「リビング」を表す円の中心座標を算出する。描画対象関連部屋を「リビング」とした場合の処理は、以上で終了する。
ステップST2203〜ステップST2204の処理、ステップST2215の処理については、具体例をあげて後述することとし、図21のフローチャートに戻る。
ステップST2107において、図形生成部106は、未処理の関連部屋があるか否かを判定する(ステップST2107)。
図形生成部106は、ステップST2107において、未処理の関連部屋がないと判定した場合(ステップST2107の“NO”の場合)、ステップST2108に進む。
図形生成部106は、ステップST2107において、未処理の関連部屋があると判定した場合(ステップST2107の“YES”の場合)、ステップST2105に戻り、以降の処理を繰り返す。すなわち、図形生成部106は、次の未処理の関連部屋を描画対象関連部屋と特定し、当該描画対象関連部屋を表す半径等を算出する(ステップST2106)。
上述の例では、未処理の関連部屋として、「個室A」があるので、図形生成部106は、「個室A」を描画対象関連部屋と特定して(ステップST2105)、ステップST2106の処理を行う。
当該「個室A」に対するステップST2106の処理の詳細を、再び図23を用いて説明する。なお、図23の処理について、すでに説明済みの内容については、詳細な説明を省略する。
ステップST2201において、図形生成部106は、「個室A」の在室時間の累積値に基づき、「個室A」を表す円の半径を、(式2)に基づき、以下のように算出する。
(個室Aを表す円の半径)=40/240*300=50
続いて、図形生成部106は、建物構造ファイル201(図2参照)を参照し、描画対象関連部屋である「個室A」が、描画対象要約居場所である「キッチン」と直接接続しているかどうかを判定する(ステップST2202)。
1階にある「キッチン」から2階にある「個室A」には、住人は、廊下または階段を通って移動しなければならない。よって、図形生成部106は、「キッチン」と「個室A」とは、直接接続していないと判定し(ステップST2202の“NO”の場合)、ステップST2205に進む。
図形生成部106は、描画対象時間帯における他の関連部屋の中に、描画対象関連部屋である「個室A」の接続関連部屋があるかどうかを判定する(ステップST2205)。
「個室A」の接続関連部屋はないため、ステップST2206に進む。
ステップST2206において、図形生成部106は、描画対象要約居場所を表す円と、描画対象関連部屋を表す円とを結ぶ線分の長さを算出し、当該線分の種別の設定を実線以外(例えば点線)とする(ステップST2206)。
具体的には、図形生成部106は、描画対象要約居場所である「キッチン」を表す円と、描画対象関連部屋である「個室A」を表す円とを結ぶ線分の長さを、(式3)に基づき、以下のとおり算出する。
また、図形生成部106は、「キッチン」を表す円と「個室A」を表す円とを結ぶ線分の種別を点線に設定する。
(キッチンを表す円と個室Aを表す円とを結ぶ線分の長さ)
=20/1*20=200
続いて、図形生成部106は、描画対象関連部屋を表す円を、描画対象要約居場所を表す円の下位ノードとして、当該描画対象関連部屋を表す円の中心座標を算出する(ステップST2204)。
すなわち、図形生成部106は、「個室A」を表す円を、「キッチン」を表す円の下位ノードとして、「個室A」を表す円の中心座標を算出する。
描画対象関連部屋を「個室A」とした場合の処理は、以上で終了する。
図21のフローチャートに戻り、図形生成部106は、残りの関連部屋である「ダイニング」、および、「洗面室」についても、同様の手順で処理を行う。
例えば、「ダイニング」を描画対象関連部屋とした場合、図23のステップST2201において、図形生成部106は、当該「ダイニング」を表す円の半径を、(式2)に基づき、以下のように算出する。
(ダイニングを表す円の半径)=21/240*300=26.25
また、「ダイニング」は、描画対象要約居場所である「キッチン」と直接接続しているため(図23のステップST2202の“YES”の場合)、ステップST2203に進む。
ステップST2203において、図形生成部106は、描画対象要約居場所を表す円と、描画対象関連部屋を表す円とを結ぶ線分の長さを算出し、当該線分の種別の設定を実線とする(ステップST2203)。
具体的には、図形生成部106は、描画対象要約居場所である「キッチン」を表す円と、描画対象関連部屋である「ダイニング」を表す円とを結ぶ線分の長さを、(式3)に基づき、以下のとおり算出する。
(キッチンを表す円とダイニングを表す円とを結ぶ線分の長さ)
=20/5*20=80
また、図形生成部106は、「キッチン」を表す円と「ダイニング」を表す円とを結ぶ線分の種別を実線に設定する。
ステップST2204において、図形生成部106は、「ダイニング」を表す円を、「キッチン」を表す円の下位ノードとして、「ダイニング」を表す円の中心座標を算出する。
描画対象関連部屋を「ダイニング」とした場合の処理は、以上で終了する。
「洗面室」を描画対象関連部屋とした場合も、「ダイニング」を描画対象関連部屋とした場合と同様の処理となる。すなわち、図形生成部106は、ステップST2201〜ステップST2204の処理を行う。
具体的には、図形生成部106は、6時〜10時の時間帯における「洗面室」での住人Aの在室時間の累積値に基づき、「洗面室」を表す円の半径を算出する(ステップST2201)。なお、図2に示した建物構造ファイル201では、間取りの一部を示しているため、洗面室が示されていないが、洗面室は、キッチンと直接接続しているものとする(ステップST2202の“YES”の場合)。
次に、図形生成部106は、「キッチン」と「洗面室」の間の移動頻度に基づき、「キッチン」を表す円と「関連部屋」を表す円とを結ぶ線分の長さを算出して、当該線分を実線とする(ステップST2203)。
そして、図形生成部106は、「洗面室」を表す円を、「キッチン」を表す円の下位ノードとして、「洗面室」を表す円の中心座標を算出する。
以上のようにして、図形生成部106は、住人Aの6時〜10時の時間帯における、要約居場所である「キッチン」を表す円と、関連部屋である「リビング」、「個室A」、「洗面室」、および、「ダイニング」を表す円の位置関係、および、それらを結ぶ線分の長さと種類、および、色を決める。図形生成部106は、それぞれの部屋を表す円の色については、部屋毎に変えて、適宜の色を設定する。
図24は、実施の形態1において、図形生成部106が生成した描画用図形データを表示したイメージを示す図である。
なお、図24においては、上述の例のように、図形生成部106は、6時〜10時の時間帯において、要約居場所を表す円、各関連部屋を表す円、および、各部屋を結ぶ線分の長さと種別等を決定し、当該6時〜10時の時間帯の描画用図形データを生成した場合の、当該描画用図形データを表示したイメージを示している。
図24に示すように、図形生成部106は、要約居場所、および、各関連部屋を表す円について、それぞれ、円の中に部屋名称を描画させる描画用図形データを生成することができる。
図21のフローチャートに戻る。
ステップST2102で特定した時間帯における、要約居場所、および、全ての関連部屋について、描画用図形データの生成が行われ、当該特定した時間帯における未処理の関連部屋がなくなると(ステップST2107の“NO”の場合)、図形生成部106は、未処理の時間帯があるか否かを判定する(ステップST2108)。
図形生成部106は、ステップST2108において、未処理の時間帯がないと判定した場合(ステップST2108の“NO”の場合)、ステップST2109に進む。
図形生成部106は、ステップST2108において、未処理の時間帯があると判定した場合(ステップST2108の“YES”の場合)、ステップST2102に戻り、以降の処理を繰り返す。すなわち、図形生成部106は、次の未処理の時間帯を描画対象時間帯と特定し、当該描画対象時間帯における、描画対象住人の、要約居場所、および、各関連部屋を表示させるための描画用図形データを生成する。
今、未処理の時間帯があるので、ステップST2102に戻り、図形生成部106は、次の描画対象時間帯として、10時〜14時を特定し、ステップST2103以降の処理を行う。ステップST2103以降の処理は、上記で説明した動作と同様であるため、詳細な説明は省略する。このように、図形生成部106は、6時〜10時、10時〜14時、14時〜18時、および18時〜22時の、重要部屋抽出部105から出力された重要部屋情報で示される全ての時間帯に対して、描画用図形データを生成する。
ステップST2109では、図形生成部106は、未処理の住人がいるか否かを判定する(ステップST2109)。
図形生成部106は、ステップST2109において、未処理の住人がいないと判定した場合(ステップST2109の“NO”の場合)、処理終了する。
図形生成部106は、ステップST2109において、未処理の住人がいると判定した場合(ステップST2109の“YES”の場合)、ステップST2101に戻り、以降の処理を繰り返す。すなわち、図形生成部106は、次の未処理の住人を描画対象住人と特定し、当該描画対象住人について、各時間帯における、要約居場所、および、各関連部屋を表示させるための描画用図形データを生成する。
ステップST2102以降の処理については、上記で説明した処理と同様であるため、詳細な説明を省略する。
このように、図形生成部106は、全ての住人に対して、各時間帯における、要約居場所、および、各関連部屋を表示させるための描画用図形データを生成する。
なお、上記の説明において、円の半径、または、円と円とを結ぶ線分の長さを算出する式の「定数」は、固定値ではなく、例えば、ユーザは、図形生成部106が生成した描画用図形データを表示する表示装置4の解像度、または、画面サイズに応じて、「定数」を変更することができる。描画用図形データを表示装置4に表示させる処理については後述する。
また、図形生成部106は、図21,23を用いて説明した動作の結果、作成した描画用図形データを、記憶部20に記憶させるとともに、行動情報付与部107に出力する。
ここで、図25は、実施の形態1において、図形生成部106が生成する描画用図形データの内容の一例を示す図である。
図25に示すように、描画用図形データには、住人毎に、要約居場所に関する描画用図形データ、および、各関連部屋に関する描画用図形データが対応付けられている。要約居場所に関する描画用図形データ、および、各関連部屋に関する描画用図形データには、部屋名称、部屋を表す円の半径、部屋を表す円の中心座標、当該部屋と他の部屋とを結ぶ線分の長さおよび種別、および、接続される部屋の情報が含まれる。なお、図25では図示を省略しているが、描画用図形データには、時間軸データも含まれる。
図8のフローチャートに戻る。
行動情報付与部107は、記憶部20の行動履歴記憶部209に記憶されている行動情報と、要約条件に基づき、時間帯毎に、要約居場所、および、関連部屋における、住人と関わりの深い行動を抽出し、抽出した行動に関する情報を、ステップST807で出力された描画用図形データに関連付ける。(ステップST808)。
ここで、図26は、実施の形態1において、ステップST808における行動情報付与部107の動作を詳細に説明するためのフローチャートである。
行動情報付与部107は、ステップST807において図形生成部106から出力された描画用図形データに基づき、未処理の住人(以下「行動付与対象住人」という。)を特定する(ステップST2501)。
例えば、行動情報付与部107は、住人Aを、行動付与対象住人と特定する。
続いて、行動情報付与部107は、ステップST2501で特定した行動付与対象住人に関する、未処理の時間帯(以下「行動付与対象時間帯」という。)を特定する(ステップST2502)。
例えば、行動情報付与部107は、1月15日の6時〜10時の時間帯を、行動付与対象時間帯と特定する。
行動情報付与部107は、記憶部20の行動履歴記憶部209に記憶されている行動情報を参照し、ステップST2502で特定した行動付与対象時間帯における、ステップST2501で特定した行動付与対象住人による行動のうち、要約居場所、および、各関連部屋での行動を、抽出条件に基づき、抽出する(ステップST2503)。
例えば、行動情報付与部107は、6時〜10時の時間帯における、住人Aの要約居場所である「キッチン」と、各関連部屋である「リビング」、「個室A」、「洗面室」、および、「ダイニング」での住人Aの行動を、抽出する。このとき、行動情報付与部107は、要約居場所、および、各関連部屋での行動が複数ある場合は、要約条件設定部104が設定した要約条件(ステップST804参照)における、(F)の抽出条件で指定された件数を上限として、抽出する。要約条件では、(F)の抽出条件で「3」と指定されているので、行動情報付与部107は、最大上位3件を抽出する。
なお、どのような行動を、住人の主要行動として判断するかどうかの判断基準は、予め、要約条件設定部104が要約条件における(F)の抽出条件で設定している(ステップST804参照)。
行動情報付与部107は、当該(F)の抽出条件で設定された判断基準に基づき、住人Aの主要行動と判断される行動を、(F)の抽出条件で指定された件数だけ、要約居場所および各関連部屋での行動を抽出する。
例えば、行動情報付与部107は、要約条件における(F)において、住人の主要行動として判断する判断基準として、「対象の時間帯において、その行動が行われた回数の合計」が設定されていたとすると、住人Aの、6時〜10時における、要約居場所および各関連部屋で行われた行動のうち、行われた回数の合計が多い順から3つの行動を、抽出する。
その結果、行動情報付与部107は、例えば、「キッチン」、「リビング」、「個室A」、「洗面室」、および、「ダイニング」での住人Aの行動として、図27に示すような行動を抽出したとする。以降の処理であげる具体例も、行動情報付与部107が、図27に示すような行動を抽出したものとして説明する。
行動情報付与部107は、ステップST2503において抽出した各行動に関する情報を、図形生成部106が出力した描画用図形データ(図25参照)に、属性情報として付加することで、描画用図形データとステップST2503において抽出した各行動に関する情報とを関連付ける(ステップST2504)。
図28は、実施の形態1において、行動情報付与部107が行動に関する情報を属性情報として関連付けた描画用図形データの内容の一例を示す図である。
図28では、一例として、行動情報付与部107が、図25で示したような描画用図形データに、属性情報を関連付けた場合の例を示している。
図28に示すように、例えば、要約居場所である「キッチン」に対する行動として抽出された「料理」という行動は、「キッチン」を表す円の属性情報として関連付けられる。同様に、例えば、関連部屋である「リビング」を表す円の属性情報として、「団欒」、および、「テレビ視聴」という行動が、関連付けられる。
行動情報付与部107は、未処理の時間帯があるか否かを判定する(ステップST2505)。
行動情報付与部107は、ステップST2505において、未処理の時間帯がないと判定した場合(ステップST2505の“NO”の場合)、ステップST2506に進む。
行動情報付与部107は、ステップST2505において、未処理の時間帯があると判定した場合(ステップST2505の“YES”の場合)、ステップST2502に戻り、以降の処理を繰り返す。
今、未処理の時間帯があるため、行動情報付与部107は、ステップST2502に戻り、次の時間帯として、10時〜14時の時間帯を行動付与対象時間帯として特定し、6時〜10時と同様にして、住人Aの行動のうち、要約居場所、および、各関連部屋で行われていた行動を抽出する。そして、行動情報付与部107は、抽出した行動に関する情報を、描画用図形データに、属性情報として関連付ける。
このように、住人Aについて、未処理の時間帯がなくなるまで、ステップST2502〜ステップST2505の処理を繰り返す。すなわち、行動情報付与部107は、住人Aについて、6時〜10時、10時〜14時、14時〜18時、および18時〜22時の全ての時間帯において、描画用図形データに、属性情報として、行動に関する情報を関連付ける。
ステップST2506では、行動情報付与部107は、未処理の住人がいるか否かを判定する(ステップST2506)。
行動情報付与部107は、ステップST2506において、未処理の住人がいないと判定した場合(ステップST2506の“NO”の場合)、処理終了する。
行動情報付与部107は、ステップST2506において、未処理の住人がいると判定した場合(ステップST2506の“YES”の場合)、ステップST2501に戻り、以降の処理を繰り返す。すなわち、行動情報付与部107は、住人Bを、行動付与対象住人として、ステップST2502以降の処理を繰り返す。ステップST2502以降の処理については、上記で説明した内容と同様であるため、詳細な説明を省略する。
このように、行動情報付与部107は、全ての住人について、全ての時間帯に対して、描画用図形データに、属性情報として、行動に関する情報を関連付ける。
行動情報付与部107は、行動に関する情報を関連付けた描画用図形データを、記憶部20に記憶させるとともに、関連情報付与部108に出力する。
図8のフローチャートに戻る。
関連情報付与部108は、機器情報履歴記憶部204に記憶されている機器情報、センサ情報履歴記憶部205に記憶されているセンサ情報、および、その他情報履歴記憶部206に記憶されているその他情報に基づき、時間帯毎に、要約居場所、および、関連部屋における住人と関わりの深い関連情報を抽出し、抽出した関連情報を、ステップST808で出力された、行動に関する情報が関連付けられた描画用図形データに関連付ける(ステップST809)。関連情報には、機器情報、センサ情報、および、画像または映像等の情報が含まれる。
ここで、図29は、実施の形態1において、ステップST809における関連情報付与部108の動作を詳細に説明するためのフローチャートである。
行動情報付与部107は、ステップST807において、図形生成部106から出力された描画用図形データに基づき、未処理の住人(以下「関連付与対象住人」という。)を特定する(ステップST2801)。
例えば、関連情報付与部108は、住人Aを、関連付与対象住人と特定する。
続いて、関連情報付与部108は、ステップST2801で特定した関連付与対象住人に関する、未処理の時間帯(以下「関連付与対象時間帯」という。)を特定する(ステップST2802)。
例えば、関連情報付与部108は、1月15日の6時〜10時の時間帯を、関連付与対象時間帯と特定する。
関連情報付与部108は、機器情報履歴記憶部204に記憶されている機器情報、および、センサ情報履歴記憶部205に記憶されているセンサ情報に基づき、ステップST2802で特定した関連付与対象時間帯における、要約居場所、および、各関連部屋での、機器3、または、センサ2の状態が変化した状態変化回数を算出する(ステップST2803)。
具体的には、関連情報付与部108は、6時〜10時の時間帯における住人Aの要約居場所である「キッチン」と、各関連部屋である「リビング」、「個室A」、「洗面室」、および、「ダイニング」での、機器3、または、センサ2の状態が変化した状態変化回数を算出する。
以下、関連情報付与部108によるステップST2803の動作について、詳細に説明する。
まず、関連情報付与部108が、6時〜10時の時間帯における住人Aの要約居場所である「キッチン」での、機器3、または、センサ2の状態が変化した状態変化回数を算出する動作を説明する。
関連情報付与部108は、機器情報、および、センサ情報を参照し、6時〜10時の時間帯の機器情報、および、センサ情報のうち、「キッチン」から取得された機器情報、および、センサ情報を抽出する。そして、関連情報付与部108は、抽出した機器情報、および、センサ情報に基づき、機器3、または、センサ2の状態変化回数を算出する。
関連情報付与部108は、「キッチン」から取得された機器情報、および、センサ情報であるかどうかは、記憶部20に記憶されているレイアウト情報ファイル202に基づき判定すればよい。レイアウト情報ファイル202には、機器3、または、センサ2が設置されている部屋が定義されている(図3参照)。
また、機器情報には、例えば、リビングに設置されている照明がONにされた等、機器3の状態が変化した際に取得された情報が、情報の取得日時の情報と関連付けられている(例えば、図4参照)。機器情報では、例えば、キッチンに設置されている冷蔵庫のドアが開いた等の、状態が変化した情報についても、情報の取得日時の情報と関連付けられている。
よって、関連情報付与部108は、例えば、レイアウト情報ファイル202から、冷蔵庫が「キッチン」に設置されていることを判定し、機器情報に設定されている、冷蔵庫のドアが開いたという情報は、「キッチン」から取得された情報であると判定できる。
関連情報付与部108は、6時〜10時の時間帯に、「キッチン」から取得された機器情報、および、センサ情報のレコード数をカウントすることで、「キッチン」での、機器3、または、センサ2の状態が変化した状態変化回数を算出する。
関連情報付与部108は、例えば、6時〜10時の時間帯における「キッチン」での機器情報、および、センサ情報を抽出し、機器3、または、センサ2の状態が変化した回数をカウントした結果、以下のような状態変化回数の情報を得る。
(ア)冷蔵庫開閉回数 6回
(イ)照明 ON 1回
(ウ)エアコン ON 1回
(エ)部屋内温度 20度
(オ)IHクッキングヒーター ON 2回
(カ)換気扇 ON 1回
なお、関連情報付与部108は、センサ2が住人の操作を検知するタイプのセンサ2(タイプA)である場合に、上述したような、センサ2の状態変化回数の算出を行う。
センサ2が、温度センサ等のように、物理量を計測するタイプ(タイプB)のセンサ2の場合、関連情報付与部108は、関連付与対象時間帯である6時〜10時の時間帯における最終結果を取得する。センサ2が、温度センサ等のように、物理量を計測するタイプ(タイプB)のセンサ2の場合、検知部101が、予め設定された時間間隔で定期的に情報を収集しているため、関連情報付与部108は、センサ2の状態変化回数を0回とみなす。そして、関連情報付与部108は、関連付与対象時間帯における最終結果、すなわち、10時の時点で検知部101が収集した情報を、各センサ2から取得する。
そして、関連情報付与部108は、要約条件設定部104で設定された要約条件(図8のステップST804参照)において、関連情報抽出条件には「2」が指定されているため、状態変化回数の情報のうち、回数の多い順に最大2件の状態変化回数の情報を抽出する。
すなわち、関連情報付与部108は、「(ア)冷蔵庫開閉回数 6回」、および、「(オ)IHクッキングヒーター ON 2回」の2件の状態変化回数の情報を抽出する。
なお、上述のとおり、関連情報付与部108は、タイプAのセンサ2である場合に、センサ2の状態変化回数の算出を行う。したがって、関連情報付与部108が、当該例のように、状態変化回数の情報のうち、回数の多い順に要約要件で指定されている件数分の状態変化回数の情報を抽出するのは、センサ2がタイプAのセンサである場合である。タイプAのセンサ2が存在しない部屋の場合は、関連情報付与部108は、タイプBのセンサ2から収集された情報のうち、任意の2件の情報を抽出することになる。
関連情報付与部108は、「(ア)冷蔵庫開閉回数 6回」、および、「(オ)IHクッキングヒーター ON 2回」の2件の状態変化回数の情報を、関連情報として、描画用図形データにおいて、要約居場所である「キッチン」に関連付ける。
また、関連情報付与部108は、その他の情報(イ)、(ウ)、(エ)、(カ)を参照関連情報とし、当該参照関連情報の参照先を設定する。参照関連情報の参照先とは、例えば、ダイアログボックスである。関連情報付与部108は、参照関連情報および参照先の情報を、描画用図形データにおいて、要約居場所である「キッチン」に関連付ける。ここでは、「(イ)照明 ON」、「(ウ)エアコン ON」、「(エ)部屋内温度 20度」、および、「(カ)換気扇 ON」の参照関連情報、および、当該参照関連情報を示すダイアログボックスが、描画用データに関連付けられる。なお、参照関連情報および参照先の情報は、関連情報に含まれる。
関連情報付与部108は、同様に、関連部屋である「リビング」、「個室A」、「洗面室」、および、「ダイニング」についても、機器3、または、センサ2の状態変化の回数を算出し、状態変化回数の情報を得る。そして、関連情報付与部108は、状態変化回数の情報のうち、関連情報抽出条件で指定された件数分の状態変化回数の情報を抽出し、描画用図形データにおいて、関連情報として、各関連部屋に関連付ける。
図29のフローチャートに戻る。
関連情報付与部108は、その他情報履歴記憶部206に記憶されているその他情報に基づき、ステップST2802で特定した関連付与対象時間帯における、要約居場所、および、各関連部屋に関わりの深い情報を、関連情報として抽出する(ステップST2804)。
その他情報履歴記憶部206に記憶されているその他情報は、各時間帯に取得された画像または動画、テキスト情報等である。例えば、部屋内に設置されたカメラ(図1では図示省略)において、動画が撮影されている場合、当該カメラが撮影した動画データが、時刻および部屋ID等、部屋を特定する情報と関連付けられ、その他情報として蓄積され、記憶される。また、例えば、部屋内に設置されたテレビ(図1では図示省略)において、当該テレビがONになった場合、テレビで視聴されている番組の情報が、時刻および部屋ID等の情報と関連付けられ、その他情報として、蓄積され、記憶される。なお、この場合、テレビがONになったという情報は、機器情報として、機器情報履歴記憶部204に記憶される。
このようなその他情報は、例えば、関連情報記憶制御部(図1では図示省略)が、部屋内に設置されたカメラ、または、テレビ等から情報を受信し、受信した情報に基づき作成してその他情報履歴記憶部206に記憶させるようにすればよい。
関連情報付与部108は、ステップST2803で抽出した関連情報と、ステップST2804で抽出した関連情報とを、描画用図形データに、属性情報として関連付ける(ステップST2805)。
図30は、実施の形態1において、関連情報付与部108が関連情報を属性情報として関連付けた描画用図形データの内容の一例を示す図である。
図30では、一例として、関連情報付与部108は、行動情報付与部107が行動に関する情報を付与した描画用図形データ(図28参照)に、関連情報を関連付けた場合の例を示している。
図30に示すように、例えば、「キッチン」の関連情報として、「キッチン」で撮影された動画データが関連付けられる。同様に、例えば、関連部屋である「リビング」の関連情報として、各関連部屋で取得された環境情報に基づき抽出された情報が関連付けられる。なお、関連情報付与部108が関連情報を抽出する際に参照する機器情報、センサ情報、および、その他情報を、まとめて環境情報ともいう。
関連情報付与部108は、未処理の時間帯があるか否かを判定する(ステップST2806)。
関連情報付与部108は、ステップST2806において、未処理の時間帯がないと判定した場合(ステップST2806の“NO”の場合)、ステップST2807に進む。
関連情報付与部108は、ステップST2506において、未処理の時間帯があると判定した場合(ステップST2806の“YES”の場合)、ステップST2802に戻り、以降の処理を繰り返す。
今、未処理の時間帯があるため、関連情報付与部108は、ステップST2802に戻り、次の時間帯として、10時〜14時の時間帯を関連付与対象時間帯として特定し、6時〜10時と同様にして、機器3、または、センサ2の状態変化回数の情報、あるいは、その他情報等を、関連情報として抽出し、描画用図形データに関連付ける。
このように、住人Aについて、未処理の時間帯がなくなるまで、ステップST2802〜ステップST2806の処理を繰り返す。すなわち、関連情報付与部108は、住人Aについて、6時〜10時、10時〜14時、14時〜18時、および18時〜22時の全ての時間帯に対して、描画用図形データに、属性情報として、関連情報を関連付ける。
ステップST2807では、関連情報付与部108は、未処理の住人がいるか否かを判定する(ステップST2807)。
関連情報付与部108は、ステップST2807において、未処理の住人がいないと判定した場合(ステップST2807の“NO”の場合)、処理終了する。
関連情報付与部108は、ステップST2807において、未処理の住人がいると判定した場合(ステップST2807の“YES”の場合)、ステップST2801に戻り、以降の処理を繰り返す。すなわち、関連情報付与部108は、住人Bを、関連付与対象住人として、ステップST2802以降の処理を繰り返す。ステップST2802以降の処理については、上記で説明した内容と同様であるため、詳細な説明を省略する。
このように、関連情報付与部108は、全ての住人について、全ての時間帯に対して、描画用図形データに、属性情報として、関連情報を関連付ける。
関連情報付与部108は、関連情報を関連付けた描画用図形データを、記憶部20に記憶させるとともに、描画部109に出力する。
図8のフローチャートに戻る。
描画部109は、ステップST809において関連情報付与部108から出力された描画用図形データに基づき、表示装置4に、時間軸上に時間帯毎の要約居場所を表す円を親ノードとして表示させ、さらに、当該要約居場所の関連部屋を表す円を、当該要約居場所を表す円の下位に階層構造で表示させる(ステップST810)。
図31は、実施の形態1において、描画部109が表示装置4に表示させる画面の一例を示す図である。
図31では、一例として、上述した例において、住人Aについて、2017年1月15日の6時〜22時を4時間の単位時間毎に区切って、居場所である部屋を分析した結果を示している。
図31では、要約居場所は、6時〜10時の時間帯では「キッチン」であり、10時〜14時の時間帯では「リビング」であり、14時〜18時の時間帯では「個室A」であり、18時〜22時の時間帯では「キッチン」であることを示している。
図31において、要約居場所、または、各関連部屋を表す各円の大きさには、図形生成部106の動作説明で上述したとおり(図23,24等参照)、各時間帯において、各住人Aが各部屋に在室した在室時間の大小が反映されている。また、要約居場所、または、各関連部屋を表す円と円を結ぶ線分には、図形生成部106の動作説明で上述したとおり、部屋同士の移動回数の大小が反映されている。
例えば、図31では、6時〜10時の時間帯に対しては、以下の内容を示している。
(1−1)住人Aが6時〜10時の時間帯の要約居場所は「キッチン」であり、当該「キッチン」が、住人Aが6時〜10時の時間帯に最も在室時間が長かった部屋である。
(1−2)要約居場所、および、各関連部屋を表す円の大きさに基づき、要約居場所、および、各関連部屋を、在室時間の累積値の大小関係で表すと、
キッチン>リビング>個室A>洗面室>ダイニング、である。
(1−3)住人Aによる、「キッチン」と「洗面室」との間の移動、および、「キッチン」と「ダイニング」との間の移動は、住人Aによる、「ダイニング」と「リビング」との間の移動、または、「キッチン」と「個室A」との間の移動に比べて、頻度が高い。
ユーザは、図31に示されたような画面を確認することで、上記(1−1)〜(1−3)の内容から、6時〜10時の時間帯における住人Aの過ごし方を以下のように把握することができる。
(2−1)住人Aが最も長く在室した部屋は「キッチン」であり、続いて、「リビング」、または、「個室A」に在室した時間が長い。
(2−2)住人Aが「洗面室」に在室した時間の合計、および、「ダイニング」に在室した時間の合計は、住人Aが「リビング」、または、「個室A」に在室した時間に比べると少ないが、「洗面室」と「ダイニング」は、それぞれ、「キッチン」との間で頻繁に行き来している部屋である。
また、上述したとおり、行動情報付与部107によって、描画用図形データには行動に関する情報が関連付けられ(図26,図28等参照)、関連情報付与部108によって、描画用図系データには関連情報が関連付けられている(図29,図30等参照)。
したがって、描画部109は、描画用図形データに基づき、表示装置4に表示させる画面の内容を、図31のような、居場所を表示する内容から、行動、または、関連情報を表示する内容へと切り替えることができる。
具体的には、描画部109は、受付部30から、画面切替指示情報が出力されると、当該画面切替指示情報に基づき、表示装置4に表示させる画面の内容の切替を行う。
ユーザは、例えば、入力装置を操作して、画面上の、画面切替を指示するラジオボタンをクリック等することで、所望の表示内容への画面の切替指示を入力する。このとき、ユーザは、例えば、入力装置を操作して、切替後の所望の表示内容を示す情報もあわせて入力する。なお、切替後の所望の表示内容を示す情報の入力方法はこれに限らず、ユーザは、例えば、ポップアップ表示された表示内容の一覧画面から、入力装置によって、切替後の所望の表示内容を選択するようにしてもよい。表示内容の一覧画面には、例えば、「行動を表示」、または、「関連情報を表示」等、表示装置4に表示させる画面の内容を示す情報が表示される。例えば、ユーザが、画面切替を指示するラジオボタンを入力装置によってクリック等すると、描画部109が、上述したようなポップアップ画面を表示装置4に表示させるようにすればよい。
受付部30は、ユーザから入力された切替指示を受け付けると、画面切替指示情報を、描画部109に出力する。描画部109は、当該画面切替指示情報に基づき、画面の切替を行う。
画面切替指示情報は、ユーザから指示された、切替後の所望の表示内容を示す情報を含む。
また、描画部109は、表示装置4に表示させる画面の内容の切替を、全ノード一括で行うこともできるし、ユーザが指定したノードについてのみ行うこともできる。なお、ノードとは、要約居場所、または、各関連部屋を表す図形を指す。
ユーザは、所望の表示内容への画面の切替指示を入力する際、切替を、全ノード一括で行うか、指定したノードについてのみ行うか、選択することができる。例えば、描画部109は、表示内容の一覧画面において、「全ノード一括切替ボタン」または「指定ノード切替ボタン」をあわせて表示させるようにし、ユーザは、当該一覧画面から、全ノード一括で行うか、指定したノードについてのみ行うか、選択すればよい。ユーザは、「指定ノード切替ボタン」を選択した場合は、切替を行うノードをクリック等することでノードの指定も行う。
受付部30が描画部109に出力する画面切替指示情報には、ユーザの選択に従い、画面の内容の切替を、全ノード一括で行うか、指定したノードについてのみ行うかの情報も含むようにする。
なお、上述したような、ユーザによる画面の切替指示の入力方法は、一例に過ぎず、ユーザは、その他の方法によって、画面の切替指示を入力するようにしてもよい。
例えば、ユーザは、表示装置4に表示されている画面上で、「キッチン」を表す円をマウス等で選択し、右クリックからメニューを表示させて「行動を表示」を選択する等し、「キッチン」を表す円についてのみ、行動に関する情報を表示させる切替指示を入力するようにしてもよいし、記憶部20に表示対象を設定するファイルを記憶しておき、描画部109は、設定ファイルから切り替えて表示する情報を取得するようにしてもよい。
以下、実施の形態1において、描画部109が、表示装置4に表示させる画面の内容を切り替える動作について、例をあげて詳細に説明する。
まず、描画部109が、表示装置4に表示させる画面の内容の切替を、全ノード一括で行う場合について、例をあげて説明する。
なお、切替前の画面は、図31に示したような画面であるとする。
例えば、ユーザは、表示装置4に表示された画面から、画面切替を指示するラジオボタンをクリック等する。
そして、例えば、ユーザは、表示装置4にポップアップ表示された表示内容の一覧画面から、「行動を表示」を選択したとする。なお、このとき、ユーザは、あわせて、表示内容の一覧画面において、「全ノード一括切替ボタン」を選択したとする。
そうすると、描画部109は、図31に示したような画面から、図32に示すような画面へと切り替えて、表示装置4に表示させる。
図32では、要約居場所、および、各関連部屋を表す円の中に、行動に関する情報が表示される。描画部109は、描画用図形データに基づき、当該行動に関する情報を、表示装置4に表示させるようにする。図31では、描画部109は、行動に関する情報として、行動名を表示させるようにしている。行動名は、予め、適宜設定されている。
また、例えば、ユーザは、表示装置4にポップアップ表示された表示内容の一覧画面から、「関連情報を表示」を選択したとする。なお、このときも、ユーザは、あわせて、表示内容の一覧画面において、「全ノード一括切替ボタン」を選択したとする。
そうすると、描画部109は、図31に示したような画面から、図33A示すような画面へと切り替えて、表示装置4に表示させる。
図33Aでは、要約居場所、および、各関連部屋を表す円の中に、関連情報を示す情報が表示される。描画部109は、描画用図形データに基づき、当該関連情報を、表示装置4に表示させるようにする。
なお、描画部109は、関連付けられた関連情報がない場合は、円の中には何も表示させないようにする。
また、描画用図形データにおいて、関連情報として、参照関連情報および参照先の情報が関連付けられている場合、描画部109は、図33Bに示すように、当該参照関連情報および参照先の情報を、関連情報として表示装置4に表示させるようにする。
例えば、描画用図形データにおいて、要約居場所である「キッチン」に、「照明 ON」、「エアコン ON」、「部屋内温度 20度」、および、「換気扇 ON」という参照関連情報と、当該参照関連情報の参照元であるダイアログボックスが関連付けられているとすると、描画部109は、まず、要約居場所の円の中に、関連情報を示す情報とともに、参照関連情報があることを示す「その他参照」を表示させる。ユーザは、当該表示を確認し、上位2件以外の関連情報があることを把握する。そして、ユーザは、参照関連情報の詳細を確認したい場合、例えば、入力装置を操作して、「その他参照」をクリックする等し、選択指示を入力する。受付部30は、当該選択指示を受け付け、描画部109は、参照先として、参照関連情報の詳細を表示させるダイアログボックスを表示させる。
また、上述の例では、描画部109が、円の中に居場所の名称を表示させる画面(図31参照)から、円の中に行動に関する情報を表示させる画面(図32参照)へと切替を行う例、および、円の中に居場所名称を表示させる画面(図31参照)から、円の中に関連情報を表示させる画面(図33A,図33B参照)へと切替を行う例を示したが、これは一例に過ぎない。例えば、描画部109は、円の中に行動に関する情報を表示させる画面(図32参照)から、円の中に関連情報を表示させる画面(図33A,図33B参照)へと切替を行うこともできる。
このように、描画部109は、各時間帯において、要約居場所、または、各関連部屋を表す円の中に表示させる情報について、ユーザからの指示に基づき、居場所の名称の情報、行動に関する情報、または、関連情報が表示されるよう、切り替えることができる。
また、描画部109は、要約居場所、または、各関連部屋と関連付けて表示させる、行動に関する情報、または、関連情報の個数を変えることもできる。例えば、図34に示すように、描画部109は、行動に関する情報を1つのみ表示し、残りを「その他」として表示させる(図34において左側の図)。なお、図34では、説明の簡単のため、行動に関する情報が1つのみ表示され、残りが「その他」として表示された円のみ示している。
ユーザは、「その他」として表示された円を、入力装置等を操作してクリック等することで、詳細表示指示を入力することができる。受付部30は、詳細表示指示を受け付けると、詳細表示指示情報を、描画部109に出力する。
描画部109は、詳細表示指示情報が出力されると、「その他」としてまとめて表示していた、行動に関する情報を、表示させる(図34において右側の図)。
なお、図34で示した例では、描画部109が、行動に関する情報を1つのみ表示し、残りを「その他」として表示させた場合を説明したが、描画部109は、同様の制御を行い、関連情報を示す情報を1つのみ表示し、残りを「その他」として表示させることができる。
次に、描画部109が、表示装置4に表示させる画面の内容の切替を、指定されたノードについてのみ行う場合について、例をあげて説明する。
なお、切替前の画面は、図31に示したような画面であるとする。
例えば、ユーザは、表示装置4に表示された画面から、画面切替を指示するラジオボタンをクリック等する。
そして、例えば、ユーザは、表示装置4にポップアップ表示された表示内容の一覧画面から、「行動を表示」を選択したとする。なお、このとき、ユーザは、あわせて、表示内容の一覧画面において、「指定ノード切替ボタン」を選択したとする。また、ユーザは、切替を行うノードとして、画面上で、6時〜10時の時間帯の、「キッチン」を表す円を指定したとする。
そうすると、描画部109は、図31に示したような画面から、図35に示すような画面へと切り替えて、表示装置4に表示させる。
図35では、6時〜10時の時間帯の要約居場所である「キッチン」を表す円の中に、行動に関する情報が表示される。
また、描画部109は、複数のノードについて、表示させる情報を切り替えることもできる。
例えば、ユーザが、画面上で、6時〜10時の時間帯の、「キッチン」、「個室A」、「洗面室」、「ダイニング」、および、「リビング」を表す円を指定したとする。
そうすると、描画部109は、図31に示したような画面から、図36に示すような画面へと切り替えて、表示装置4に表示させる。
また、例えば、描画部109は、ユーザから指定されたノードについて、関連情報を表示させるようにすることもできる。関連情報を表示させる具体的な動作は、表示装置4に表示させる画面の内容の切替を、全ノード一括で行う場合と同様であるため、詳細な説明を省略する。全ノード一括で切り替えを行う場合とは、描画部109が、指定されたノードについてのみ、関連情報を表示させるようにする点が異なるのみである。
このように、描画部109は、各時間帯において、要約居場所、または、各関連部屋を表す円の中に表示させる情報について、ユーザからの指示に基づき、指定された円の中に表示させる情報についてのみ、居場所の名称、行動に関する情報、または、関連情報が表示されるよう、切り替えることができる。
なお、表示装置4に表示させる画面の内容の切替を、指定されたノードについてのみ行う場合も、描画部109は、要約居場所、または、各関連部屋と関連付けて表示させる、行動に関する情報、または、関連情報の個数を変えることもできる(図34参照)。
また、以上の説明では、描画部109は、要約居場所を表す円と、各関連部屋を表す円とを、階層構造で表示させる例を説明したが、描画部109は、当該階層構造の表示または非表示を切り替えるようにすることもできる。
具体的には、例えば、ユーザが、入力装置を操作して、階層構造での表示をONとするかOFFかの階層指示を入力する。受付部30は、当該階層指示を受け付けると、階層構造での表示をONとするかOFFとするかの情報を含む階層指示情報を、描画部109に出力する。描画部109は、階層指示情報に基づき、階層構造の表示または非表示を切り替える。
例えば、図31に示すような画面から、ユーザが、階層構造での表示をOFFとする階層指示を入力したとする。この場合、描画部109は、図31に示すような画面から、階層構造での表示をOFFとした画面を、表示装置4に表示させる。実施の形態1において、階層構造での表示をOFFにするとは、関連部屋を表示せずに、時間軸上に要約居場所のみを表示することをいう。
したがって、描画部109は、図31に示すような画面から、図37に示すような画面へと切り替えて、表示装置4に表示させるようにする。
また、以上の説明では、描画部109は、一画面につき一人の住人Aについて、各時間帯における居場所に関する情報を表示させるようにする例を説明したが、描画部109は、複数人の居場所に関する情報を、同一画面に表示することもできる。
居場所に関する情報を表示させる対象とする住人は、例えば、ユーザが指定するようにすればよい。描画部109は、ユーザによって指定された住人についての、居場所に関する情報を、同一画面に表示させるようにする。
図38は、実施の形態1において、描画部109が、複数人の居場所に関する情報を同一画面に表示させた場合の画面例である。
図38では、同一日の同一時間帯における、住人Aと住人Bの居場所に関する情報を表示させている。
なお、図38は、階層構造の表示をOFFにし、時間軸上に要約居場所のみを表示する状態において、ユーザから住人Aと住人Bを指定された場合の画面例を示している。
描画部109は、例えば、図31に示したような画面から、図38に示したような画面に切り替えて表示させることができる。すなわち、描画部109は、要約居場所、および、各関連部屋を表す円の中に表示させる情報を切り替えるだけではなく、要約居場所、および、各関連部屋を表す円を表示させる対象となる住人を切り替えることができる。
また、描画部109は、例えば、図38に示したような画面から、ユーザが、住人Aについて階層構造をONに指定した場合、図39に示すような画面へと切り替えることができる。この場合、例えば、描画部109は、図38に示した画面で表示させていた、住人Bの居場所に関する情報については、平行移動させ、当該住人Bの居場所に関する情報の表示位置を、画面上、下にずらして表示させるようにする。
また、例えば、図39に示したような画面から、さらに、ユーザが、住人Bについても階層構造をONに指定する、または、住人A,Bとも階層構造をOFFに指定する等した場合、描画部109は、ユーザからの指定に基づき、住人Bについても各関連部屋を表示させる、または、住人A,Bともに要約居場所のみを表示させる(図38参照)よう、画面の切り替えを行う。
このように、描画部109は、複数の住人の居場所に関する情報、および、各関連部屋に関する情報を表示させる際、住人に応じて、表示させる階層構造の表示または非表示を切り替えることができる。
なお、以上の図38,39を用いて説明した例では、複数人の居場所に関する情報の表示について、要約居場所、および、各関連部屋を表す円の中には、居場所の名称が表示させるものとしたが、要約居場所、および、各関連部屋を表す円の中に表示させる情報は、居場所の名称に限らない。描画部109は、複数人の居場所に関する情報を表示させる場合も、要約居場所、および、各関連部屋を表す円の中に表示させる情報を、居場所の名称とすることもできるし、行動に関する情報とすることもできるし、関連情報とすることもでき、これらの情報を表示の切替を行うこともできる。
また、一画面内に複数人を並べて表示させる場合、一画面内に表示させる人数は任意である。表示装置4は、画面のスクロール、拡大・縮小を可能とし、ユーザは、画面のスクロール等によって、表示されている複数人の居場所に関する情報を確認すればよい。
また、以上の説明において、図形生成部106は、予め決められた式に基づいて、要約居場所、および、各関連部屋を表す円の半径、または、円と円とを結ぶ線分の長さを算出するようにした。
当該式における「定数」は、表示装置4の解像度、または、画面サイズに応じて、適宜変更されるようにしてもよい。
これにより、例えば、24インチのモニタと、15インチのタブレット共に、例えば、図31に示すように要約居場所、および、各関連部屋の居場所に関する情報を表示する際、横軸に全時間帯が一画面で表示される。
また、描画部109は、表示装置4に、どの階層のノードまでを表示させるか、切り替えることもできる。具体的には、ユーザが、どの階層のノードまでを表示させるかの指示を入力し、描画部109は、当該指示に応じて、表示させるノードの階層の深さを決定する。
これにより、階層が深い場合も、全階層が表示されることなく、ユーザの所望の階層のみ表示させるようにすることが可能となり、ノードの視認性を向上させることができる。
また、以上の実施の形態1では、行動可視化装置1において、6時〜10時等、対象期間である1日を単位時間で区切るようにしたが、これは一例に過ぎず、対象期間を区切る単位は時間に限らない。例えば、1か月を1週間単位、または、1年を1か月単位等、対象期間を複数日とする場合に、当該複数日を区切る単位を複数日とすることもできる。
また、以上の実施の形態1では、行動可視化装置1において、住人毎にその人と関わりの深い居場所、当該居場所で行われた主要行動、または、人と関わりの深い居場所と行動との関連性等を示す関連情報を分析した結果を表示させるようにしたが、これは一例に過ぎず、行動可視化装置1は、複数人を一つのグループとして、グループ毎にそのグループと関わりの深い居場所、当該居場所で行われた主要行動、または、関連情報を分析した結果を表示させるようにすることもできる。
この場合、以上の実施の形態1で説明した、重要部屋抽出部105、および、図形生成部106の各処理(図14,18,21,26,29等参照)において、住人毎に処理していた動作を、グループに属する全ての住人毎に処理する動作に置き換える。
例えば、重要部屋抽出部105の在室時間分析部1051は、各部屋の在室時間の累積値を算出する際に、上記の説明では、在室時間分析対象住人1人について当該累積値を算出するようにしていたが(図14参照)、当該動作を、グループに属する複数の住人の在室時間の累積値を算出する動作に置き換える。また、例えば、重要部屋抽出部105の移動頻度分析部1052における移動頻度の算出動作についても同様に、移動頻度分析部1052は、グループに属する複数の住人の移動頻度を合計する動作に置き換える。
図40は、実施の形態1において、行動可視化装置1が、複数人からなるグループ単位で、関わりの深い居場所、行動、または、関連情報を分析した結果を表示装置4に表示させた画面の画面例である。
また、以上の実施の形態1では、一例として、居場所推定部102は、検知部101が人感センサから取得したセンサ情報に基づき住人の居場所を推定する動作を説明したが(図11等参照)、居場所推定部102が住人の居場所の推定に用いるセンサ情報は、人感センサに限らない。居場所推定部102は、例えば、圧力センサ、または、ドア開閉センサ等、人感センサ以外のセンサ2から検知部101が取得したセンサ情報に基づき住人の居場所を推定するようにしてもよい。
また、以上の実施の形態1では、一例として、行動可視化装置1は、対象である住人の住宅内の各部屋における行動を要約するものとしたが、これに限らず、行動可視化装置1は、対象の任意の空間における行動を要約することができる。任意の空間とは、例えば、店舗、公共スペース、高層ビル、工場、学校、病院、オフィス、施設等である。
また、以上の実施の形態1では、機器3の例として、住宅内に設置された家電または照明等を想定していたが、上述のとおり、対象の居場所が含まれる空間は住宅に限らない。よって、機器3も、対象の居場所が含まれる空間に応じた機器となる。対象の居場所が含まれる空間に応じた機器が、レイアウト情報ファイル202等で定義される。
また、以上の実施の形態1では、一例として、行動可視化装置1は、住人の住宅内の各部屋における行動を要約するものとしたが、対象の行動を分析する居場所は「部屋」に限らない。例えば、行動可視化装置1は、建物の1階または2階等、階数毎に対象の行動を分析するようにしてもよいし、建物のフロア内の特定のエリア毎に対象の行動を分析するようにしてもよい。また、例えば、行動可視化装置1は、ショッピングモールの店舗毎に対象の行動を分析するようにしてもよいし、売り場の中のコーナー毎に対象の行動を分析するようにしてもよい。また、例えば、行動可視化装置1は、工場の作業エリア毎に、対象の行動を分析してもよい。
また、以上の実施の形態1では、行動可視化装置1において、描画部109が、表示装置4に住人毎に関わりの深い居場所、行動、または、関連情報を分析した結果を表示させるようにする際、時間軸上の、各時間帯の中央の時刻に、要約居場所を表す図形を配置するようにしたが、これは一例に過ぎない。例えば、描画部109は、要約居場所を表す図形を、各時間帯の最初の時刻に配置するようにしてもよい。
図41A,図41Bは、発明の実施の形態1に係る行動可視化装置1のハードウェア構成の一例を示す図である。
この発明の実施の形態1において、制御部10と受付部30の各機能は、処理回路4001により実現される。すなわち、行動可視化装置1は、センサ2および機器3から取得した情報と、予め記憶部20に記憶されている情報とに基づき、住人毎に関わりの深い居場所、行動、または、関連情報を分析し、分析した結果を表示装置4に表示させる処理の制御を行うための処理回路4001を備える。
処理回路4001は、図41Aに示すように専用のハードウェアであっても、図41Bに示すようにメモリ4005に格納されるプログラムを実行するCPU(Central Processing Unit)4006であってもよい。
処理回路4001が専用のハードウェアである場合、処理回路4001は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、またはこれらを組み合わせたものが該当する。
処理回路4001がCPU4006の場合、制御部10と受付部30の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、制御部10と受付部30は、HDD(Hard Disk Drive)4002、メモリ4005等に記憶されたプログラムを実行するCPU4006、またはシステムLSI(Large−Scale Integration)等の処理回路により実現される。また、HDD4002、またはメモリ4005等に記憶されたプログラムは、制御部10と受付部30の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ4005とは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはDVD(Digital Versatile Disc)等が該当する。
なお、制御部10と受付部30の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、制御部10については専用のハードウェアとしての処理回路4001でその機能を実現し、受付部30については処理回路がメモリ4005に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、メモリ4005は、センサ2から取得したセンサ情報、機器3から取得した機器情報、および、処理回路4001の処理中のデータ等を記憶する。記憶部20は、例えば、メモリ4005で構成される。
また、行動可視化装置1は、センサ2、機器3、または、表示装置4等の外部機器との通信を行う、入力インタフェース装置4003、および、出力インタフェース装置4004を有する。
以上のように、行動可視化装置1は、対象の居場所と行動、および、各居場所で得られる情報は互いに関連性があるとの考えに基づき、対象の行動を要約するとともに階層構造を用いて可視化し、対象の居場所または行動等の理解の容易化を図ることができるようにした。
例えば、従来技術のように、横軸を時間軸とした横棒グラフで行動や居場所を表現する方法では、対象が長時間同じ部屋に滞留している場合は、該当部分の棒グラフの幅が大きくなり視認性が高いが、短時間の居場所の場合、棒グラフの幅が非常に狭くなるため視認性が非常に悪くなるという問題がある。特に、面積の大きい部分に挟まれた居場所は、埋もれてしまう。また、一度の滞留時間は非常に短いが頻繁に訪れる部屋がある場合、その部屋は、その人にとって関わりの深い部屋と考えられる。しかし、横軸を時間軸とした横棒グラフで表現した場合は、頻繁に訪れる部屋であっても一度の滞留時間が短時間の場合は横幅の狭い領域となってしまい、埋もれてしまう(例えば、図42A)。
なお、居場所の他、行動を可視化した場合についても同様のことがいえる。一回に行われる行動の時間は短時間だが頻繁に行っている行動がある場合、その行動は、その人にとって関わりの深い行動と考えられるが、横棒グラフで表現した場合は、一度の行動時間が短いと、頻繁に行っていても視認性が低下する。
更に、横軸を時間軸とした横棒グラフで居場所を表現する方法では、居場所の特性を把握することが難しい。例えば、図42Bにおいて、9時〜12時の時間帯では、人がリビングに滞留した合計時間は10月1日と10月5日で等しいが、一画面内に複数日の横棒グラフを並べた場合に、このような特性を見つけることは難しい。
また、人が居る場所(居場所)、そこで行われる行動、その部屋で得られる情報は互いに関連性があると考えられるが、従来技術では、居場所は居場所、行動は行動として各々個別に可視化するため、居場所と行動の関連性を把握することが難しい。また、移動軌跡の座標や加速度センサ等で得られた数値をプロットする場合のように、測定値をそのまま表示する場合は、主に対象が滞留する居場所同士の関連性、または、対象による行動と行動の繋がり、または、関連性を把握することが難しい。
これに対し、実施の形態1に係る行動可視化装置1は、上述のとおり、注目する対象の行動を要約するとともに、対象と関わりの深い居場所、当該居場所で行われた主要行動、または、対象と関わりの深い居場所と行動との関連性等を時間軸上で分析し、時間軸上で分析した結果を、階層構造を用いて可視化するようにしたので、対象の居場所、または、行動等を表わす情報の視認性が向上し、ユーザは、対象の居場所、または、行動等の理解容易化を図ることができる。
また、実施の形態1に係る行動可視化装置1は、要約居場所、または、各関連部屋を表す円の中に表示させる情報について、居場所の名称、行動に関する情報、または、関連情報が表示されるよう、切り替えることができる。これにより、ユーザは、対象の居場所と行動の関連性を容易に把握することができるようになる。
また、実施の形態1に係る行動可視化装置1は、対象の居場所を表す図形の大きさに、対象が居場所に在室した時間の大小を反映し、対象の複数の居場所を表す複数の図形を結ぶ線分に当該複数の居場所同士の移動回数の大小を反映して可視化するようにした。これにより、ユーザは、主に対象が滞留する居場所同士の関連性等を容易に把握することができるようになる。
以上のように、実施の形態1の行動可視化装置1は、注目する対象と関わりの深い居場所を抽出するための要約条件を設定する要約条件設定部104と、注目する対象の居場所を示す居場所情報、および、要約条件設定部104が設定した要約条件に基づき、複数の時間帯それぞれにおいて、注目する対象と関わりの深い居場所を抽出する重要部屋抽出部105(重要居場所抽出部)と、重要部屋抽出部105が抽出した、注目する対象と関わりの深い居場所を表す図形の図形領域の面積、および、当該図形領域間の距離を算出し、注目する対象と関わりの深い居場所を表す図形を階層構造で表示させるための描画用図形データを生成する図形生成部106と、図形生成部106が生成した描画用図形データを表示装置4に表示させる描画部109とを備えるように構成されている。そのため、注目する対象の行動を要約するとともに、対象の行動に関する情報を、階層構造を用いて可視化させることで、注目する対象の行動を示す情報を、その視認が容易となるように可視化できる。
実施の形態2.
実施の形態1では、行動可視化装置1は、検知部101が、部屋内の各機器3から受信した情報に基づく機器情報、または、部屋内の各センサ2から受信した情報に基づくセンサ情報を記憶部20に記憶させるようにしていた。また、居場所推定部102が、住人の居場所を推定し、居場所情報を居場所履歴記憶部207に記憶するようにしていた。また、行動推定部103が、住人の行動を推定し、行動情報を行動履歴記憶部209に記憶するようにしていた。
実施の形態2は、既に取得されて記憶部20に記憶されている機器情報、センサ情報、居場所情報、行動情報、および、その他情報に基づき、対象の居場所、または、行動等を分析し、分析結果を可視化する実施の形態について説明する。
図43は、実施の形態2に係る行動可視化装置1aの構成例を示すブロック図である。
行動可視化装置1aは、センサ2または機器3の情報をリアルタイムに検知して、住人の居場所または行動を推定等しないため、実施の形態1において図1を用いて説明した行動可視化装置1と比べると、センサ2と機器3がネットワークに接続しない構成となる。
また、図43に示すように、記憶部20を行動可視化装置1aが備え、さらに、表示装置4を行動可視化装置1aが備えるようにする場合、行動可視化装置1aは、ネットワークに接続しない構成とすることができる。
図43において、実施の形態1において図1を用いて説明した行動可視化装置1と同様の構成については、同じ符号を付して重複した説明を省略する。
行動可視化装置1aは、実施の形態1の行動可視化装置1とは、検知部101、居場所推定部102、および、行動推定部103を備えない点が異なる。
記憶部20には、予め、過去に取得された機器情報、センサ情報、居場所情報、行動情報、および、その他情報が記憶されている。例えば、2017年5月20日の朝の時点では、2017年5月19日までの各種情報が履歴として記憶されている。当該各種情報の履歴は、例えば、USB(Universal Serial Bus)、または、CD−R(Compact Disc − Recordable)等の媒体を用いて記憶部20に記憶させておくことができる。また、例えば、行動可視化装置1aは、ネットワークを介して、別のコンピュータ装置等から、各種情報の履歴を取得するようにしてもよい。
行動可視化装置1aの要約条件設定部104、重要部屋抽出部105、図形生成部106、行動情報付与部107、関連情報付与部108、および、描画部109の動作は、実施の形態1で説明した、実施の形態1の行動可視化装置1の要約条件設定部104、重要部屋抽出部105、図形生成部106、行動情報付与部107、関連情報付与部108、および、描画部109の動作と同様であるため、重複した説明を省略する。
行動可視化装置1aのハードウェア構成は、実施の形態1において図41を用いて説明した構成と同様であるため、重複した説明を省略する。
以上のように、実施の形態2によれば、実施の形態1同様、注目する対象の行動を要約するとともに、対象の行動に関する情報を、階層構造を用いて可視化させることで、注目する対象の行動を示す情報を、その視認が容易となるように可視化できる。
実施の形態3.
実施の形態3では、対象の在室時間の累積値、または、移動頻度を分析して描画用図形データを生成し表示装置4に表示させた際、分析時に用いた要約条件と関連付けて当該描画用図形データを記憶しておき、複数の要約条件を切り替えて、対象の居場所に関連する情報等を表示させるようにする実施の形態について説明する。
なお、実施の形態3においても、実施の形態1同様、一例として、行動可視化装置1bは、住宅における住人の行動を要約するとともに、住人の居場所、または、行動に関する情報等を、階層構造を用いて可視化するものとする。
図44は、実施の形態3に係る行動可視化装置1bの構成例を示すブロック図である。
図44において、実施の形態1で図1を用いて説明した行動可視化装置1と同様の構成については、同じ符号を付して重複した説明を省略する。
実施の形態3の行動可視化装置1bは、実施の形態1の行動可視化装置1とは、制御部10bが要約情報生成部110を備える点が異なるのみである。
要約情報生成部110は、図形生成部106が生成し、行動情報付与部107が行動に関する情報を関連付け、関連情報付与部108が関連情報を関連付けた、描画用図形データに、要約条件を関連付けた要約情報を生成する。
行動可視化装置1bのハードウェア構成は、実施の形態1において図41を用いて説明した構成と同様であるため、重複した説明を省略する。
実施の形態3の行動可視化装置1bの動作について以下説明する。
なお、行動可視化装置1bの動作について、実施の形態1で説明した行動可視化装置1と同様の動作については、重複した説明を省略し、実施の形態1の行動可視化装置1とは異なる動作についてのみ、以下説明する。
要約情報生成部110は、図形生成部106が描画用図形データを生成し、行動情報付与部107が、当該描画用図形データに行動に関する情報を関連付け、関連情報付与部108が、当該描画用図形データに関連情報を関連付けると(図8のステップST807〜ステップST809参照)、要約情報を生成する。
要約情報生成部110が生成する要約情報の内容の一例を以下に示す。
(A) 処理対象の人を特定するID
(B) 要約条件ID
a.開始日時
b.終了日時
c.要約の単位時間
d.期間(時間)に対する特定の条件
e.要約の抽出条件
f.在室度合抽出レベル
g.移動頻度抽出レベル
h.行動抽出条件
i.関連情報抽出条件
(C) 要約情報
a.要約条件ID
b.要約時間帯ID
c.時間帯
d.要約居場所ID
e.要約居場所に対応する図形ID
f.要約居場所と関連の高い部屋のID(関連部屋のID)
g.各関連部屋に対応する図形ID
h.線分の図形ID
(D) 図形データ
a.図形ID
b.図形座標
c.属性(色、線の種別等)
要約情報において、「(A)処理対象の人を特定するID」は、住人を識別するIDである。
「(B)要約条件ID」は、要約条件を識別するIDである。特定の要約条件に対して、a〜iの詳細情報を持つ。
「(C)要約情報」は、図形生成部106が生成し、行動情報付与部107が行動に関する情報を関連付け、関連情報付与部108が関連情報を関連付けた、描画用図形データであり、全ての時間帯について、a〜hの詳細情報を有する。なお、各種IDは、例えば、図形生成部106が、描画用図形データを生成する際に、適宜付与する、または、記憶部20を参照する等して付与するようにすればよい。
「a.要約条件ID」は「(B)要約条件ID」に対応する。
「b.要約時間帯ID」は対象期間を単位時間毎に区切って設定された際の各時間帯を識別するIDである。
「c.時間帯」は、各時間帯である。例えば、特定の日を6時〜10時、10時〜14時、14時〜18時、および18時〜22時の4つの時間帯に分割した際の「6時〜10時」等の時間帯である。
「d.要約居場所ID」は、重要部屋抽出部105の在室時間分析部1051が抽出した要約居場所の部屋IDである。
「e.要約居場所に対応する図形ID」は、図形生成部106が生成した描画用図形データにおいて、要約居場所を表す図形を一意に識別するIDである。
「f.要約居場所と関連の多い部屋のID」は、重要部屋抽出部105の在室時間分析部1051、および、移動頻度分析部1052が抽出した関連部屋のIDである。複数の関連部屋が抽出されている場合は、それぞれ、IDを保有する。
「g.各関連部屋に対応する図形ID」は、図形生成部106が生成した描画用図形データおいて、関連部屋を表す図形を一意に識別するIDである。
「h.線分ID」は、要約居場所と関連部屋、あるいは、関連部屋同士を結ぶ各線分を識別するIDである。
「(D)図形データ」は、図形生成部106で生成した描画用図形データにおける各図形に関するデータである。
「a.図形ID」は、描画用図形データにおける各図形を識別するIDであり、「(C)要約情報」のe,g,hの図形IDと対応している。
「b.図形座標」は、要約居場所、または、関連部屋を表す円の中心座標等の図形座標である。
「c.属性(色、線の種別等)」は、色や線分の種別等、描画用図形データ描画時の属性情報である。
要約情報生成部110は、生成した要約情報を、クラスやXML形式等で保持することができる。
また、要約情報生成部110は、生成した要約情報を記憶部20に記憶させるとともに、描画部109に出力する。
描画部109は、要約情報生成部110が生成し、記憶部20に記憶させた要約情報に基づき、表示装置4に、要約条件ID一覧画面を表示させる。
ユーザは、当該要約条件ID一覧画面を確認し、可視化したい要約条件IDを選択する。受付部30が、ユーザからの要約条件IDの選択を受け付けると、描画部109は、選択された要約条件IDに対応する要約条件の詳細を表示させる。
ユーザは、表示された要約条件の詳細を確認し、表示させたい要約条件である場合は、表示装置4の画面上に表示された表示ボタンを押下する等して、要約情報の表示指示を入力する。
受付部30は、要約情報の表示指示の入力を受け付けると、要約情報表示指示を描画部109に出力する。
描画部109は、要約情報表示指示が出力されると、記憶部20を参照して、該当の要約情報に基づき、各時間帯における要約居場所、または、関連部屋の図形IDを取得し、各図形IDに対応した座標データ、または、属性情報を参照して、図31〜33A,33Bに示したような画面を表示装置4に表示させる。
このように、実施の形態3の行動可視化装置1bは、要約情報生成部110が描画用図形データに基づき要約情報を生成し、記憶させておく。そのため、行動可視化装置1bにおいて一度分析した住人の行動の分析結果を直ちに呼び出して表示させることができる。また、ユーザは、所望の要約条件に応じて、対象の居場所に関連する情報等を表示させるようにすることができる。
また、特定の住人、または、複数人をまとめたグループについて、一度分析に用いた要約条件を複数同時に呼び出すことで、複数日の結果を並べて表示するようにすることもできる。
例えば、行動可視化装置1bは、特定の住人Aについて、2017年7月5日と、2017年7月10日における行動の分析結果を並べて表示装置4に表示させることができる。
以上のように、実施の形態3によれば、実施の形態1,2同様、注目する対象の行動を要約するとともに、対象の行動に関する情報を、階層構造を用いて可視化させることで、注目する対象の行動を示す情報を、その視認が容易となるように可視化できる。また、実施の形態3の行動可視化装置1bは、図形生成部106が生成した描画用図形データに、要約条件を関連付けた要約情報を生成する要約情報生成部110を備えるようにした。これにより、要約した対象の行動に関する情報を再利用し、表示させることができるので、対象の行動を要約する処理の処理効率を向上させることができる。
実施の形態4.
実施の形態4では、実施の形態3で説明した行動可視化装置1bにおいて、既に取得されて記憶部20に記憶されている機器情報、センサ情報、居場所情報、行動情報、および、その他情報を用いて、対象の行動を分析し、分析結果を可視化する実施の形態について説明する。
図45は、実施の形態4に係る行動可視化装置1cの構成例を示すブロック図である。
図45において、実施の形態2において図43を用いて説明した行動可視化装置1aと同様の構成については、同じ符号を付して重複した説明を省略する。
行動可視化装置1cは、実施の形態2の行動可視化装置1aとは、要約情報生成部110を備える点が異なる。
記憶部20には、予め、過去に取得された機器情報、センサ情報、居場所情報、行動情報、および、その他情報が記憶されている。
行動可視化装置1cのハードウェア構成は、実施の形態1において図41を用いて説明した構成と同様であるため、重複した説明を省略する。
行動可視化装置1cの要約条件設定部104、重要部屋抽出部105、図形生成部106、行動情報付与部107、関連情報付与部108、および、描画部109の具体的な動作は、実施の形態3の行動可視化装置1bの要約条件設定部104、重要部屋抽出部105、図形生成部106、行動情報付与部107、関連情報付与部108、および、描画部109の具体的な動作と同様であるため、重複した説明を省略する。
以上のように、実施の形態4によれば、実施の形態1,2同様、注目する対象の行動を要約するとともに、対象の行動に関する情報を、階層構造を用いて可視化させることで、注目する対象の行動を示す情報を、その視認が容易となるように可視化できる。また、実施の形態3同様、要約した対象の行動に関する情報を再利用し、表示させることができるので、対象の行動を要約する処理の処理効率を向上させることができる。
以上説明した実施の形態1〜4に係る行動可視化装置1〜1cは、行動情報付与部107と関連情報付与部108とを備える構成としたが、行動可視化装置1〜1cは、各住人の居場所のみを表示、各住人の居場所と関連情報を表示、または、各住人の居場所と行動に関する情報を表示する構成としてもよい。
行動可視化装置1〜1cにおいて、各住人の居場所のみの表示を行う場合、記憶部20は、行動履歴記憶部209とその他情報履歴記憶部206を有しない構成となり、制御部10〜10cは、行動情報付与部107と関連情報付与部108とを有しない構成となる。その他の構成は、実施の形態1〜4で説明したとおりであるので、重複した説明を省略する。
行動可視化装置1〜1cにおいて、各住人の居場所と関連情報を表示させる場合、記憶部20は、行動履歴記憶部209を有しない構成となり、制御部10〜10cは、行動情報付与部107を有しない構成となる。その他の構成は、実施の形態1〜4で説明したとおりであるので、重複した説明を省略する。
行動可視化装置1〜1cにおいて、各住人の居場所と行動に関する情報を表示させる場合、記憶部20は、その他情報履歴記憶部206を有しない構成となり、制御部10〜10cは、関連情報付与部108を有しない構成となる。その他の構成は、実施の形態1〜4で説明したとおりであるので、重複した説明を省略する。
実施の形態5.
実施の形態1〜4では、注目する対象を特定の住人、居場所を住宅内の部屋とし、行動可視化装置1〜1cが、住宅内の部屋において住人を識別し、ある住人または複数人の住人のグループ毎に、関わりの深い部屋、その部屋で行われた主要行動、または、関わりの深い部屋と行動との関連性等を分析し、階層構造を用いて可視化する実施の形態を示した。
実施の形態5では、注目する対象を不特定多数の人とし、行動可視化装置は、不特定多数の人による空間の使われ方を分析し、可視化する実施の形態について説明する。不特定多数の人による空間の使われ方とは、例えば、どの時間帯にどの居場所に人が多いのか少ないのか、または、どの居場所とどの居場所の関連性が深いのか等をいう。
以下の説明においては、一例として、対象とは、ショッピングセンターを訪れる不特定多数の人とし、居場所とは、ショッピングセンター内の店舗とする。そして、行動可視化装置は、不特定多数の人がショッピングセンター内の店舗に存在するか否かを識別し、当該不特定多数の人の関わりの深い店舗に関する情報を、階層構造を用いて可視化するものとする。
以下の説明では、注目する対象となる不特定多数の人を単に「人」ともいうものとする。
図46は、実施の形態5に係る行動可視化装置1dの構成例を示すブロック図である。
図46において、実施の形態1で図1を用いて説明した行動可視化装置1と同様の構成については、同じ符号を付して重複した説明を省略する。また、図46において、要約情報生成部110は、実施の形態3で図44を用いて説明した行動可視化装置1bが備える要約情報生成部110と同様の構成であるため、同じ符号を付して重複した説明を省略する。
行動可視化装置1dは、実施の形態1で説明した行動可視化装置1とは、制御部10dの重要部屋抽出部105dが、在室時間分析部1051、および、移動頻度分析部1052を有しておらず、行動度合推定部1053、および、関連度合推定部1054を有する点が異なる。また、行動可視化装置1dは、実施の形態1の行動可視化装置1とは、制御部10dが、居場所推定部102、行動推定部103、および、行動情報付与部107を備えない点が異なる。また、行動可視化装置1dは、行動可視化装置1とは、記憶部20dが、住人情報ファイル203、行動定義ファイル208、居場所履歴記憶部207、および、行動履歴記憶部209を備えない点が異なる。
行動可視化装置1dのハードウェア構成は、実施の形態1において図41を用いて説明した構成と同様であるため、重複した説明を省略する。
重要部屋抽出部105dは、要約条件設定部104が設定した要約条件に基づき、対象期間を単位時間で区切って設定された時間帯毎に、人と関わりの深い店舗を抽出する。
なお、実施の形態5では、実施の形態1同様、一例として、要約条件に基づく、対象期間を区切る単位時間を、数時間単位とする。したがって、重要部屋抽出部105dは、対象期間における各時間帯において、人と関わりの深い店舗を抽出する。以下においても、対象期間を区切る単位時間を数時間単位としたものとして説明する。
重要部屋抽出部105dの行動度合推定部1053は、記憶部20dの建物構造ファイル201、レイアウト情報ファイル202、機器情報履歴記憶部204、および、センサ情報履歴記憶部205を参照し、要約条件設定部104で設定された要約条件に基づき、時間帯毎に、各店舗において、人がどの程度行動しているかを「行動度合」として推定し、「行動度合」が最大の店舗を要約居場所として抽出する。
また、行動度合推定部1053は、要約条件に基づき、要約居場所に続いて「行動度合」が大きい店舗を、要件条件で指定された順位に従って上位から検索し、関連部屋として抽出する。
行動度合推定部1053は、時間帯毎に、要約居場所、および、関連部屋に関する情報を、時間帯の情報と関連付けて、重要部屋抽出部105dの関連度合推定部1054に出力する。
関連度合推定部1054は、行動度合推定部1053から出力された、各時間帯の要約居場所、および、関連部屋の情報を受け取り、時間帯毎に、要約居場所、および、関連部屋に関する関連度合を推定する。
関連度合推定部1054は、時間帯毎に推定した関連度合の情報を、行動度合推定部1053が抽出した要約居場所および関連部屋に関する情報とあわせて、図形生成部106に出力する。
なお、図46に示す、行動可視化装置1dとネットワークを介して接続されるセンサ2および機器3は、人の居場所となる店舗内に設置されている。
行動可視化装置1dは、センサ2または機器3から取得した情報に基づき、人の行動を要約するとともに、人と関わりの深い店舗に関する情報等を、階層構造を用いて可視化し、表示装置4に表示させる。
次に、実施の形態5に係る行動可視化装置1dの動作について説明する。
図47は、実施の形態5における行動可視化装置1dの動作を説明するフローチャートである。
検知部101は、店舗内の各種機器3、および、各種センサ2から情報を受信する。検知部101は、店舗内の各種機器3、および、各種センサ2から受信した情報に基づき、機器3およびセンサ2の状態変化を検知し、それぞれ、検知情報を日時の情報と関連付けた、機器情報、または、センサ情報として、記憶部20の機器情報履歴記憶部204、および、センサ情報履歴記憶部205に記憶させる(ステップST4601)。具体的な動作は、実施の形態1で説明した図8のステップST801と同様である。
要約条件設定部104は、受付部30から出力された要約条件設定指示情報、または、予め設定されている要約条件設定指示情報に基づき、要約条件を設定する(ステップST4602)。具体的な動作は、実施の形態1で説明した図8のステップST804と同様である。
要約条件設定部104は、例えば、以下のような要約条件を設定する。
(A) 対象とする期間の単位
(B) 開始日時、終了日時
(C) 期間または時間帯に対する特定の条件
(D) 人に関する情報を要約する際の単位時間(単位日)
(E) 対象とする時間帯において人と関わりの深い店舗を抽出する条件
・行動度合抽出レベル
(F) 関連情報を抽出する条件
要約条件設定部104は、(A)の対象期間の単位として、1日、1週間、1か月等、処理対象とする対象期間の単位を設定する。
要約条件設定部104は、(B)の日時として、人と関わりの深い店舗等を分析し、可視化することとする対象期間の開始日時と終了日時を設定する。
要約条件設定部104は、(C)の特定の条件については、(A)の対象期間の単位に対して特定の条件を付与する場合に、当該特定の条件を設定する。特定の条件とは、例えば、特定の曜日、土日祝日のみ、平日のみ等の条件である。
要約条件設定部104は、(D)の単位時間として、(A)の対象期間の単位について、人と関わりの深い店舗をどの程度の時間軸の粒度で分析するかの、分析単位としての単位時間を設定する。例えば、(D)の単位時間としては、「2時間単位」、「1週間単位」、または、「1か月単位」等の分析単位が設定される。
なお、当該(D)の単位時間として設定された条件に基づき、人と関わりの深い店舗を分析する動作については後述する。
要約条件設定部104は、(E)の抽出条件として、人と関わりの深い店舗等を分析して可視化する開始日時から終了日時までの対象期間を(D)の単位時間で区切って複数の時間帯を設定した際に、各時間帯において、人と関わりの深い店舗を抽出するための抽出条件を設定する。
実施の形態5では、人と関わりが深い店舗を抽出する指標として、「行動度合」と呼ぶ指標を用いる。重要部屋抽出部105dの行動度合推定部1053は、各店舗において、人がどの程度行動しているかを「行動度合」として推定する。具体的には、関連度合推定部1054は、人が多く集まっている状態、または、人の往来が多い状態は「行動度合が高い」と推定し、人があまりいない状態は「行動度合が低い」と推定する。要約条件設定部104は、(E)の抽出条件として、行動度合を最大上位何位まで抽出するかを指定した「行動度合抽出レベル」を設定する。なお、行動度合推定部1053の動作の詳細は後述する。
要約条件設定部104は、(F)の抽出条件として、人と関わりの深い店舗等を分析して可視化する開始日時から終了日時までの対象期間を、(D)の単位時間で区切って複数の時間帯を設定した際に、設定された各時間帯における主要な情報を関連情報として抽出するための抽出条件を設定する。各時間帯において得られた情報とは、例えば、機器情報、センサ情報、あるいは、画像または映像等の、その他情報履歴記憶部206に記憶されているその他情報である。具体的には、例えば、要約条件設定部104は、当該(F)の抽出条件として、機器情報、センサ情報、または、その他情報の各種情報から、最大何件を、人に関わりの深い関連情報として抽出するかを指定した抽出条件を設定する。
以上のような、(A)〜(F)の条件の設定値は、実施の形態1〜4同様、予め、要約条件設定指示情報として記憶部20の要約条件設定部104が参照可能な場所に記憶されており、要約条件設定部104は、当該要約条件設定指示情報を読み込んで、上述のような要約条件を設定する。また、行動可視化装置1dの要約条件設定画面表示制御部(図示省略)が、表示装置4に、(A)〜(F)の条件の設定値を指定するためのGUI画面を表示させ、ユーザが、当該GUI画面から、入力装置を操作して、行動可視化装置1dによる動作を行う都度、設定値を指定してもよい。受付部30は、設定値の情報を受け付け、記憶部20dにおける、要約条件設定部104が参照可能な場所に要約条件設定指示情報として記憶させておき、要約条件設定部104は、受付部30が記憶させた要約条件設定指示情報を読み込んで、上述のような要約条件を設定するようにしてもよい。
実施の形態5では、行動可視化装置1dは、対象期間を2017年10月1日〜2017年10月31日とし、当該対象期間を、日曜〜土曜までの1週間単位で区切り、当該1週間毎に人と関わりの深い店舗を要約するものとする。すなわち、要約条件設定部104は、上述の要約条件について、(A)には2017年10月1日〜2017年10月31日、(D)には7日間が設定された要約条件を設定するものとする。なお、説明の簡単のため、以下、適宜、対象期間となっている2017年10月1日〜2017年10月31日について、年の記載を省略して単に月日の記載とする。
要約条件設定部104は、設定した要約条件の情報を、記憶部20dに記憶させるとともに重要部屋抽出部105に出力する。
図47のフローチャートに戻る。
重要部屋抽出部105dは、記憶部20の建物構造ファイル201、レイアウト情報ファイル202、機器情報履歴記憶部204、および、センサ情報履歴記憶部205を参照し、ステップST4602において要約条件設定部104が設定した要約条件に基づき、各時間帯において、人と関わりの深い店舗を抽出する。
まず、重要部屋抽出部105dの行動度合推定部1053は、記憶部20の建物構造ファイル201、レイアウト情報ファイル202、機器情報履歴記憶部204、および、センサ情報履歴記憶部205を参照し、1週間毎(2017年10月1日〜10月7日、2017年10月8日〜10月14日・・・)に、各店舗において、人がどの程度行動しているかを「行動度合」として推定する。そして、行動度合推定部1053は、「行動度合」が最大の店舗を要約居場所として抽出する。また、行動度合推定部1053は、要約居場所に続いて「行動度合」が大きい部屋を、要約条件で指定された順位に従って上位から検索し、関連部屋として抽出する(ステップST4603)。
ここで、図48は、実施の形態5において、重要部屋抽出部105dの行動度合推定部1053による、各週間において、要約居場所、および、関連部屋を抽出する動作の詳細を説明するためのフローチャートである。
一例として、要約条件設定部104が設定した要約条件は、以下のとおりとし、具体例をあげながら、図48のフローチャートに沿って、行動度合推定部1053の動作を説明する。
(A)対象とする期間の単位:1カ月
(B)開始日時、終了日時:2017年10月1日〜2017年10月31日
(C)期間(時間)に対する特定の条件:なし
(D)人に関する情報を要約する際の単位時間(単位日):7日
(E)対象とする時間帯において人と関わりの深い居場所を抽出する条件
・行動度合抽出レベル:3
(F)関連情報を抽出する条件:3
まず、行動度合推定部1053は、要約条件で設定されている、(A)の対象期間の単位、(B)の日時、および、(C)の特定の条件に該当する対象期間を、(D)の単位時間(単位日)で区切って設定された複数の時間帯のうち、未処理の時間帯(以下、「行動度合推定対象時間帯」という。)を特定する(ステップST4701)。具体的には、例えば、行動度合推定部1053は、まず、2017年10月1日〜10月31日の対象期間のうち、10月1日〜10月7日の時間帯を行動度合推定対象時間帯と特定する。
行動度合推定部1053は、記憶部20dの建物構造ファイル201、レイアウト情報ファイル202、機器情報履歴記憶部204、および、センサ情報履歴記憶部205を参照し、ステップST4701で特定した10月1日〜10月7日の時間帯において、店舗毎に行動度合を推定する(ステップST4702)。
ここで、図49は、実施の形態5における建物構造ファイル201の内容の一例を示す図である。
図49に示す建物構造ファイル201では、9階からなるショッピングモール内の150店舗がフロア毎に定義されている。なお、図49では図示を省略しているが、建物構造ファイル201では、店舗の定義の他、店舗同士が直接行き来できるかの接続情報が定義されている。
また、図50は、実施の形態5におけるレイアウト情報ファイル202の内容の一例を示す図である。
図50に示すレイアウト情報ファイル202では、建物構造ファイル201に定義された店舗に設置されているセンサ2の種類とセンサIDが定義されている。
なお、ショッピングモール内で特設会場が設けられる等して、ショッピングモール内のフロアのレイアウトが特定の期間変更される場合は、その期間に応じた建物構造ファイル201、および、レイアウト情報ファイル202が定義される(例えば、図51,図52参照)。例えば、図52に示すレイアウト情報ファイル202において、店舗ID1000は、特設会場を示すIDであり、当該特設会場にセンサID500の人感センサが設置されていることが定義されている。
また、図53は、実施の形態5において、センサ情報履歴記憶部205に記憶されているセンサ情報の内容の一例を示す図である。
センサ情報履歴記憶部205には、センサ2の状況が日時、および、店舗の情報と関連付けられたセンサ情報が記憶される。なお、センサ情報は、検知部101が、レイアウト情報ファイル202に定義されている各センサ2から取得した情報に基づき、センサ2の状態変化を検知し、検知情報を日時(日付および時刻)の情報と関連付けて生成した情報である。
実施の形態5では、一例として、ショッピングモール内には期間限定の特設会場が設置され、建物構造ファイル201、および、レイアウト情報ファイル202には、それぞれ、図51,図52に示すような内容が定義されているものとする。
図48のフローチャートに戻る。
行動度合推定部1053は、センサ情報履歴記憶部205を参照し、ステップST4701で特定した行動度合推定対象時間帯のセンサ情報を取得する。そして、行動度合推定部1053は、建物構造ファイル201に定義された店舗毎に、センサ2がONになった状態変化が検知された回数を算出し、算出した回数を行動度合と推定する(ステップST4702)。
行動度合推定部1053は、ステップST4702において行動度合を推定した店舗のうち、行動度合が最大となる店舗を要約居場所として抽出する(ステップST4703)。
例えば、行動度合推定対象時間帯である10月1日〜10月7日の時間帯は、9階に特設会場が設置されており(図54参照)、当該特設会場において推定された行動度合が最大であったとする。この場合、行動度合推定部1053は、当該特設会場を、要約居場所として抽出する。
行動度合推定部1053は、要約条件設定部104が設定した(図47のステップST4602参照)要約条件に基づき、行動度合推定対象時間帯において、要約居場所に続いて人と関わりの深い他の店舗を関連部屋として抽出する(ステップST4704)。
上述したように、要約条件設定部104は、要約条件における、(E)の抽出条件の行動度合抽出レベルを以下のように設定している。
・行動度合抽出レベル:3
行動度合が最大のエリアは特設会場であり、当該特設会場は要約居場所として抽出済みであるので、行動度合推定部1053は、行動度合が上位2位および3位となる店舗を関連部屋として抽出する。例えば、行動度合が上位2位および3位となる店舗が、店舗135(特設会場と同じ9階にある店舗)および店舗60(4階にある店舗)であったとすると、行動度合推定部1053は、当該店舗135および店舗60を関連部屋として抽出する。
行動度合推定部1053は、2017年10月1日〜10月31日の対象期間のうち、未処理の時間帯があるか否かを判定する(ステップST4705)。
行動度合推定部1053は、ステップST4705において、未処理の時間帯がないと判定した場合(ステップST4705の“NO”の場合)、処理終了する。
行動度合推定部1053は、ステップST4705において、未処理の時間帯があると判定した場合(ステップST4705の“YES”の場合)、ステップST4701に戻り、以降の処理を繰り返す。すなわち、行動度合推定部1053は、次の日曜〜土曜の7日間を行動度合推定対象時間帯として、当該行動度合推定対象時間帯に対する要約居場所、および、関連部屋の抽出を行う。
ここでは、行動度合推定部1053は、10月8日〜10月15日の7日間について、行動度合の推定を行い、要約居場所、および、関連部屋の抽出を行う処理に移る。
行動度合推定部1053は、以上の処理を、2017年10月1日〜10月31日の対象期間を7日間単位で区切った全ての時間帯に対して行う。
行動度合推定部1053は、各時間帯における要約居場所、関連部屋、および、各店舗における行動度合の情報が関連づけられた情報(行動度合推定後情報とする)を、記憶部20dに記憶するとともに、重要部屋抽出部105dの関連度合推定部1054に出力する。
図47のフローチャートに戻る。
重要部屋抽出部105dの関連度合推定部1054は、ステップST4604において行動度合推定部1053から出力された行動度合推定後情報に基づき、店舗同士の関連度合を推定する(ステップST4604)。
ここで、図55は、実施の形態5において、重要部屋抽出部105dの関連度合推定部1054による、各週間において、店舗同士の関連度合をする動作の詳細を説明するためのフローチャートである。
まず、関連度合推定部1054は、要約条件で設定されている、(A)の対象期間の単位、(B)の日時、および、(C)の特定の条件に該当する対象期間を、(D)の単位時間(単位日)で区切って設定される複数の時間帯のうち、未処理の時間帯(以下、「関連度合推定対象時間帯」という。)を特定する(ステップST5401)。具体的には、例えば、関連度合推定部1054は、2017年10月1日〜10月31日の対象期間のうち、10月1日〜10月7日の時間帯を関連度合推定対象時間帯と特定する。
関連度合推定部1054は、ステップST5401で特定した10月1日〜10月7日の時間帯において、所定時間毎に、行動度合推定部1053が抽出した全ての店舗(図48のステップST4703,4704参照)について、店舗同士の行動度合を推定する(ステップST5402)。なお、所定時間をどの程度にするかは、例えば、予めユーザが決定して記憶部20dにパラメータとして記憶させておき、関連度合推定部1054は、当該記憶させているパラメータを取得するようにすればよい。
例えば、所定時間が、予め30分と決定されていたとすると、関連度合推定部1054は、10月1日〜10月7日において、行動度合推定部1053が抽出した、特設会場、店舗135、および、店舗60の3つの店舗について、30分毎の行動度合を推定する。
具体的には、例えば、関連度合推定部1054は、センサ情報履歴記憶部205を参照し、まず、10月1日の1時間毎のセンサ情報を取得し、30分毎に、特設会場、店舗135、および、店舗60の各店舗において、センサ2がONされたという状態変化が検知された回数を、行動度合として推定する。その結果、関連度合推定部1054は、例えば、10月1日の10時〜10時30分までの30分間で、以下のような行動度合を推定したとする。
特設会場:532回
店舗135:468回
店舗60:237回
同様にして、関連度合推定部1054は、10月1日の10時30分〜11時、11時〜11時30分というように、10月1日を30分毎に区切り、30分間毎に、特設会場、店舗135、および、店舗60の各店舗における行動度合を推定する。
関連度合推定部1054は、行動度合推定部1053が抽出した店舗について、30分毎に、店舗同士の関連度合を以下の(式4)により算出する(ステップST5403)。具体的には、関連度合推定部1054は、行動度合推定部1053が抽出した複数の店舗から2つの店舗を順番に選択し、選択した2つの店舗同士の関連度合を算出する。以下の(式4)では、関連度合推定部1054が順番に選択した2つの店舗を部屋1、部屋2としている。
(部屋1と部屋2の関連度合)
=|部屋1の行動度合 − 部屋2の行動度合| ・・・(式4)
すなわち、部屋1と部屋2の関連度合は、部屋1の行動度合と部屋2の行動度合の差の絶対値である。
関連度合推定部1054は、関連度合の値が閾値以下である場合は、関連度合が高いと推定し、関連度合の値が閾値以上である場合は、関連度合が低いと推定する。なお、閾値は、例えば、ユーザが予め設定し、記憶部20dにパラメータとして記憶させておく。関連度合推定部1054は、記憶部20dを参照して、閾値の情報を取得すればよい。
例えば、閾値が100である場合、関連度合推定部1054は、以下のとおり、特設会場、店舗135、および、店舗60についての関連度合を推定する。
・特設会場と店舗135の間の関連度合:高い
・特設会場と店舗60の間の関連度合:低い
・店舗135と店舗60の間の関連度合:低い
関連度合推定部1054は、ステップST5403において30分毎に推定した店舗同士の関連度合の推定結果を総合し、関連度合推定対象時間帯に対する店舗間の関連度合を推定する(ステップST5404)。具体的には、関連度合推定部1054は、特設会場、店舗135、および、店舗60について推定した30分毎の関連度合に関し、「高い」と「低い」の各々を、10月1日〜10月7日の7日間について合計し、多かったほう(「高い」または「低い」)を数値化する。
例えば、関連度合が「高い」、「低い」の2段階の場合、関連度合推定部1054は、関連度合が「高い」は0.7、関連度合が「低い」は0.3と数値化する。どのように数値化するかは、例えば、ユーザが予め定義し、記憶部20dにパラメータとして記憶させておくようにすればよい。
上述の例では、関連度合推定部1054は、「高い」または「低い」の2段階で関連度合を推定して数値化するものとしたが、関連度合推定部1054が関連度合を数値化するレベルは2段階に限らない。例えば、関連度合推定部1054は、関連度合を、多段階で数値化してもよいし、0〜1.0の連続的な数値で数値化してもよい。
関連度合推定部1054は、2017年10月1日〜10月31日の対象期間のうち、未処理の時間帯があるか否かを判定する(ステップST5405)。
関連度合推定部1054は、ステップST5405において、未処理に時間帯がないと判定した場合(ステップST5405の“NO”の場合)、処理終了する。
関連度合推定部1054は、ステップST5405において、未処理の時間帯があると判定した場合(ステップST5405の“YES”の場合)、ステップST5401に戻り、以降の処理を繰り返す。すなわち、関連度合推定部1054は、次の日曜〜土曜の7日間を関連度合推定対象時間帯として、当該関連度合推定対象時間帯に関しての店舗同士の関連度合の推定を行う。
ここでは、関連度合推定部1054は、10月8日〜10月15日の7日間について、関連度合の推定を行う処理に移る。
関連度合推定部1054は、以上の処理を、2017年10月1日〜10月31日の対象期間を7日間単位で区切った全ての時間帯に対して行う。
関連度合推定部1054は、推定した関連度合の情報を、記憶部20dに記憶するとともに、図形生成部106に出力する。関連度合推定部1054は、行動度合推定部1053から取得した行動度合推定後情報に関連度合の情報を追加し、関連度合推定後情報として、図形生成部106に出力する。
図47のフローチャートに戻る。
図形生成部106は、ステップST4604において関連度合推定部1054から出力された関連度合推定後情報に基づき、要約居場所、および、関連部屋を表す図形の図形領域の面積、および、図形領域間の距離を算出し、描画用図形データを生成する(ステップST4605)。
具体的には、図形生成部106は、時間軸上に時間帯毎の要約居場所を表す図形を親ノードとして表示させ、関連部屋を表す図形を、当該要約居場所を表す図形の下位に階層構造で表示させる描画用図形データを生成する。
なお、実施の形態5では、実施の形態1〜4同様、図形生成部106は、各要約居場所、および、各関連部屋を表す図形を円として、描画用図形データを生成するものとする。
ここで、図56は、図形生成部106による、描画用図形データを生成する動作の詳細を説明するためのフローチャートである。
まず、図形生成部106は、横軸を時間軸とし、時間帯毎に目盛りを描画するための時間軸データを生成する(ステップST5501)。例えば、上述の例でいうと、図形生成部106は、10月1日〜10月7日、10月8日〜10月14日、10月15日〜10月21日、10月22日〜10月28日、10月29日〜10月31日の4つの時間帯を示す目盛りを描画するための時間軸データを生成する。
図形生成部106は、未処理の時間帯(以下、「描画対象時間帯」という。)を特定する(ステップST5502)。例えば、図形生成部106は、10月1日〜10月7日の時間帯を、描画対象時間帯と特定する。
図形生成部106は、重要部屋抽出部105dの関連度合推定部1054から出力された関連度合推定後情報に基づき、ステップST5502で特定した描画対象時間帯の要約居場所(以下、「描画対象要約居場所」という。)を表す図形の図形領域の大きさを決定する(ステップST5503)。具体的には、図形生成部106は、描画対象要約居場所を表す円の半径を、以下の(式5)を用いて算出し、描画対象要約居場所を表す円の大きさを決定する。
(描画対象要約居場所の円の半径)
=(処理対象の時間帯における描画対象要約居場所の行動度合)/(時間帯における全ての店舗の行動度合の合計値)*(定数) ・・・(式5)
描画用要約居場所は特設会場である。また、10月1日〜10月7日の時間帯に、特設会場でセンサ2がONとなった状態変化が検知された回数が1028605回であり、当該期間において、全ての店舗でセンサ2がONとなった状態変化が検知された回数の合計が2571512回であったとすると、図形生成部106は、特設会場を表す円の半径を、(式5)に基づき、以下のように算出する。
(特設会場を表す円の半径)
=1028605/2571512*300=120
なお、この場合の定数は300としている。
そして、図形生成部106は、描画対象要約居場所に対して、ステップST5501で生成した時間軸データ上で、描画対象時間帯の中央の時刻に描画対象要約居場所の図形を配置させる、時間軸上の座標を算出する(ステップST5504)。具体的には、図形生成部106は、特設会場を表す円の中心座標を算出する。
図形生成部106は、ステップST4604において関連度合推定部1054から出力された関連度合推定後情報に基づき、描画対象要約居場所に関連付けられた関連部屋のうち、未処理の関連部屋(以下、「描画対象関連部屋」という。)を特定する(ステップST5505)。
例えば、図形生成部106は、描画対象関連部屋として、まず、「店舗135」を特定する。
図形生成部106は、ステップST5505で特定した描画対象関連部屋を表す円の半径、当該描画対象関連部屋とその上位のノードを表す円とを結ぶ線分の長さと種別、および、当該描画対象関連部屋を表す円の、ステップST5501で生成した時間軸データ上での中心座標を算出する(ステップST5506)。
ここで、図57は、実施の形態5において、図56のステップST5506における図形生成部106の動作を詳細に説明するためのフローチャートである。
まず、図形生成部106は、描画対象関連部屋の、描画対象時間帯における行動度合に基づき、描画対象時間帯における描画対象関連部屋を表す円の半径を以下の(式6)に基づき算出する(ステップST5601)。
(描画対象関連部屋の円の半径)
=(描画対象時間帯における描画対象関連部屋の行動度合)/(時間帯における全ての店舗の行動度合の合計値)*(定数) ・・・(式6)
今、描画対象関連部屋は「店舗135」である。また、描画対象時間帯である10月1日〜10月7日の時間帯において、店舗135でセンサ2がONとなった状態変化が検知された回数が668593回であったとする。
この場合、図形生成部106は、以下のとおり、「店舗135」を表す円の半径を算出する。
(店舗135を表す円の半径)
=668593/2571512*300=78
なお、この場合の定数は300としている。
続いて、図形生成部106は、記憶部20dに記憶されている建物構造ファイル201を参照し、描画対象関連部屋が、描画対象要約居場所と直接接続しているかどうかを判定する(ステップST5602)。具体的には、図形生成部106は、店舗135が、特設会場と直接接続しているかどうかを判定する。
図形生成部106は、ステップST5602において、描画対象関連部屋が、描画対象要約居場所と直接接続していると判定した場合(ステップST5602の“YES”の場合)、ステップST5603に進む。
図形生成部106は、ステップST5602において、描画対象関連部屋が、描画対象要約居場所と直接接続していないと判定した場合(ステップST5602の“NO”の場合)、ステップST5605に進む。
建物構造ファイル201では、店舗135と特設会場とが接続しているので(図54参照)、ステップST5603に進む。
図形生成部106は、ステップST5603において、描画対象要約居場所を表す円と、描画対象関連部屋を表す円とを結ぶ線分の長さを算出し、当該線分の種別の設定を実線とする(ステップST5603)。
具体的には、図形生成部106は、描画対象要約居場所である「特設会場」を表す円と、描画対象関連部屋である「店舗135」を表す円とを結ぶ線分の長さを算出する。
また、図形生成部106は、「特設会場」を表す円と「店舗135」を表す円とを結ぶ線分の種別を実線に設定する。
実施の形態5において、図形生成部106は、2つの部屋(部屋1および部屋2とする)に対して、部屋1を表す円と部屋2を表す円とを結ぶ線分の長さを、以下の(式7)により算出する。
(部屋1を表す円と部屋2を表す円とを結ぶ線分の長さ)
=1/(描画対象時間帯における関連度合)*(定数) ・・・(式7)
上記の(式7)により、図形生成部106は、「特設会場」を表す円と「店舗135」を表す円とを結ぶ線分の長さを、以下のとおり算出する。
(特設会場を表す円と店舗135を表す円とを結ぶ線分の長さ)
=1/0.7*20=29
なお、この場合の定数は20としている。
続いて、図形生成部106は、描画対象関連部屋を表す円を、描画対象要約居場所を表す円の下位ノードとして、当該描画対象関連部屋を表す円の中心座標を算出する(ステップST5604)。
すなわち、図形生成部106は、「店舗135」を表す円を、「特設会場」を表す円の下位ノードとして、「店舗135」を表す円の中心座標を算出する。描画対象関連部屋を「店舗135」とした場合の処理は、以上で終了する。
図56のフローチャートに戻る。
ステップST5507において、図形生成部106は、未処理の関連部屋があるか否かを判定する(ステップST5507)。
図形生成部106は、ステップST5507において、未処理の関連部屋がないと判定した場合(ステップST5507の“NO”の場合)、ステップST5508に進む。
図形生成部106は、ステップST5507において、未処理の関連部屋があると判定した場合(ステップST5507の“YES”の場合)、ステップST5505に戻り、以降の処理を繰り返す。すなわち、図形生成部106は、次の未処理の関連部屋を描画対象関連部屋と特定し、当該描画対象関連部屋を表す円の半径等を算出する(ステップST5506)。
上述の例では、未処理の関連部屋として、「店舗60」があるので、図形生成部106は、「店舗60」を描画対象関連部屋として(ステップST5505)、ステップST5506の処理を行う。
当該「店舗60」に対するステップST5506の処理の詳細を、再び図57を用いて説明する。なお、図57の処理について、すでに説明済みの内容については、詳細な説明を省略する。
ステップST5601において、図形生成部106は、「店舗135」の描画対象時間帯(10月1日〜10月7日)における行動度合に基づき、「店舗135」を表す円の半径を算出する。
ステップST5602において、図形生成部106は、「店舗60」は4階のフロアにある店舗であり(図51参照)、9階にある「特設会場」とは直接接続していないため、描画対象関連部屋は描画対象要約居場所とは直接接続していないと判定し(ステップST5602の“NO”の場合)、ステップST5605に進む。
図形生成部106は、描画対象時間帯における他の関連部屋の中に、描画対象関連部屋である「店舗60」と接続している関連部屋(接続関連部屋とする)があるかどうかを判定する(ステップST5605)。
図形生成部106は、ステップST5605において、描画対象関連部屋である「店舗60」の接続関連部屋があると判定した場合(ステップST5605の“YES”の場合)、ステップST5607に進む。
図形生成部106は、ステップST5605において、描画対象関連部屋である「店舗60」の接続関連部屋がないと判定した場合(ステップST5605の“NO”の場合)、ステップST5606に進む。
他の関連部屋である「店舗135」は9階にあり、「店舗60」の接続関連部屋ではないため、ステップST5606に進む。
ステップST5606において、図形生成部106は、描画対象要約居場所を表す円と、描画対象関連部屋を表す円とを結ぶ線分の長さを、上述の(式7)を用いて算出し、当該線分の種別の設定を実線以外(例えば点線)とする(ステップST5606)。
具体的には、図形生成部106は、描画対象要約居場所である「特設会場」を表す円と、描画対象関連部屋である「店舗60」を表す円とを結ぶ線分の長さを算出し、当該線分を点線に設定する。
そして、図形生成部106は、要約居場所である「特設会場」を表す円の下位ノードとして、「店舗60」を表す円の中心座標を算出する(ステップST5604)。
描画対象関連部屋を「店舗60」とした場合の処理は、以上で終了する。
以上のようにして、図形生成部106は、10月1日〜10月7日の時間帯における、要約居場所である「特設会場」を表す円と、関連部屋である「店舗135」、および、「店舗60」を表す円の位置関係、および、それらを結ぶ線分の長さと種類、色を決める。図形生成部106は、それぞれの店舗を表す円の色については、店舗毎に変えて、適宜の色を設定する。
なお、上記の説明では、ステップST5607、および、ステップST5608の動作の詳細な説明を省略したが、ステップST5607、および、ステップST5608の動作は以下のようになる。
ステップST5607において、図形生成部106は、描画対象関連部屋を表す円と、接続関連部屋を表す円とを結ぶ線分の長さを、上述の(式7)を用いて算出し、当該線分の種別の設定を実線とする。
ステップST5608において、図形生成部106は、描画対象関連部屋を表す円を、接続関連部屋を表す円の下位ノードとして、当該描画対象関連部屋を表す円の中心座標を算出する。
図56のフローチャートに戻る。
10月1日〜10月7日の時間帯については全ての関連部屋についての処理が終了したため、ステップST5507において、図形生成部106は、未処理の関連部屋がないと判定し(ステップST5507の“NO”の場合)、ステップST5508に進む。
ステップST5508では、図形生成部106は、未処理の時間帯があるか否かを判定する(ステップST5508)。
図形生成部106は、ステップST5508において、未処理の時間帯がないと判定した場合(ステップST5508の“NO”の場合)、処理終了する。
図形生成部106は、ステップST5508において、未処理の時間帯があると判定した場合(ステップST5508の“YES”の場合)、ステップST5502に戻り、以降の処理を繰り返す。すなわち、図形生成部106は、次の未処理の時間帯を描画対象時間帯と特定し、当該描画対象時間帯における、要約居場所、および、各関連部屋を表示させるための描画用図形データを生成する。
今、未処理の時間帯があるため、図形生成部106は、例えば、10月8日〜10月14日の時間帯を描画対象時間帯と特定し、ステップST5502に戻り、以降の処理を繰り返す。
ステップST2102以降の処理については、上記で説明した処理と同様であるため、詳細な説明を省略する。
このように、図形生成部106は、店舗同士の接続関係、重要部屋抽出部105dで抽出された要約居場所および関連部屋、当該要約居場所および関連部屋における行動度合、および、2つの店舗間の関連度合の情報に基づき、時間軸上に時間帯毎の要約居場所を表す図形を親ノードとして表示させ、関連部屋を表す図形を、当該要約居場所を表す図形の下位に階層構造で表示させる描画用図形データを生成する。
図形生成部106は、生成した描画用図形データを、記憶部20dに記憶させるとともに、関連情報付与部108に出力する。
なお、上記の説明において、円の半径、または、円と円とを結ぶ線分の長さを算出する式の「定数」は、固定値ではなく、例えば、ユーザは、図形生成部106が生成した描画用図形データを表示する表示装置4の解像度、または、画面サイズに応じて変更することができる。
関連情報付与部108は、機器情報履歴記憶部204に記憶されている機器情報、センサ情報履歴記憶部205に記憶されているセンサ情報、および、その他情報履歴記憶部206に記憶されているその他情報に基づき、ステップST4605で出力された、要約居場所および関連部屋を表す描画用図形データに、機器情報、センサ情報、および、画像または映像等の関連情報を関連付ける(ステップST4606)。関連情報付与部108の具体的な動作は実施の形態1と同様である。
要約情報生成部110は、図形生成部106が生成し、関連情報付与部108が関連情報を関連付けた描画用図形データ(図47のステップST4605,4606参照)に、要約条件を関連付けて、要約情報を生成する。
要約情報生成部110の具体的な動作は実施の形態3と同様である。
描画部109は、関連情報付与部108から出力された描画用図形データに基づき、表示装置4に、時間軸上に時間帯毎の要約居場所を表す円を親ノードとして表示させ、さらに、当該要約居場所の関連部屋を表す円を、当該要約居場所を表す円の下位に階層構造で表示させる(ステップST4607)。また、描画部109は、要約居場所、および、関連部屋の関連情報についても、表示装置4に表示させることができる。
図58は、実施の形態5において、描画部109が表示装置4に表示させる画面の一例を示す図である。
図58では、一例として、上述した例において、2017年10月1日〜10月31日の対象期間を、1週間毎に区切って、不特定多数の人の居場所である店舗を分析した結果を示している。なお、図58では、10月1日〜10月21日の期間のみが表示されるようになっているが、ユーザは、マウスまたはタッチパネル等の入力装置を操作することにより、時間軸方向に、表示をスクロールすることができる。描画部109は、ユーザからの入力された指示に応じて、表示装置4に表示させる期間を変更する。また、ユーザは、例えば、入力装置を操作して縮小表示指示を入力することで、10月1日〜10月31日の全期間を一画面で表示させるようにすることもできる。描画部109は、ユーザからの入力された指示に応じて、表示装置4に表示させる期間または情報量等を変更する。
図58は、人と関わりの深い店舗の店舗名が、各ノードの中に表示された状態である。
円の半径は、行動度合に基づき算出されているため、円が大きいほど来客数が多い、または、その店舗での人の往来が頻繁であるとみなすことができる。
ここで、例えば、10月1日〜10月21日の期間に、以下のように、イベントが開催されていたとする。
・10月1日〜10月7日は、期間限定の特設会場を9階に設置
・10月8日〜10月14日は、期間限定の特設会場が終了し、平常営業
・10月15日〜10月21日は、店舗102でセールを実施
ユーザは、図58に示されたような画面を確認することで、円の大きさ、円と円を結ぶ線分の長さ、および、線分の種別から、以下のことが把握できる。
10月1日〜10月7日について
・特設会場設置期間(10月1日〜10月7日)は、平常時(10月8日〜10月14日)に比べて多数の人が来店し、特設会場に来場
・特設会場に隣接している店舗135は、特設会場設置の影響で平常時に比べて多数の人が来店
・9階以外のフロアでは、店舗60に多くの人が来店
・特設会場と店舗135は、同じ時間帯に同程度の人が検知されているが店舗60は特設会場で人が検知されている時間帯と関わりが薄い。
(特設会場と店舗135は同じフロアで直接接続しているため、互いに行き来している確率が高いと推定されるが、店舗60は特設会場とは別のフロアにあり、特設会場に行った人が店舗60に行く確率は低いと推定される。)
10月8日〜10月14日について
・平常時では、ショッピングモール全体で店舗60に来店する人が多い。
・店舗60と同じ階にある店舗61の来店客は、店舗60に次いで多い。他の階では、店舗135への来店客が多い。
・店舗60、店舗61、および、店舗135は、同じ時間帯に同じような混雑度合と推定される。
10月15日〜10月21日について
・平常時では店舗60で人を検知する度合が高いが、店舗102がセールを実施したため、店舗102がこの期間では最も人を多く検知した結果となった。
・店舗60と店舗61は、同じ時間帯で人を検知している度合が同程度であるが、店舗102と店舗60で人を検知する度合は、別の時間帯である(店舗102と店舗60の相関性は低い)。
また、描画部109は、表示装置4に表示させた各ノード上の表示内容について、店舗に関する情報を表示するか、関連情報を表示するか、切り替えることが出来る。
図59は、実施の形態5において、描画部109が、図58に示すように、各ノード上に表示される情報を、人と関わりの深い店舗の店舗名から、関連情報へと切り替えた画面の一例を示す図である。
図59では、関連情報付与部108は、描画用図形データに、購買数、購買アイテム、または、売り上げの情報を関連情報として関連付けた場合の例を示している。
なお、図59では、分かり易くするために、各ノード上には、「購買数」、「購買アイテム」、および、「売上」と、関連情報の項目名を示しているが、実際には、「購買数」の部分には、具体的な数字が表示され、「購買アイテム」の部分には、具体的な商品名が表示され、「売上」の部分には、具体的な数字が表示される。
10月1日〜10月7日の特設会場を表すノードに示される購買数、購買アイテム、または、売上は、10月1日〜10月7日の期間の特設会場での結果を示している。
描画部109は、上述したような切替動作以外にも各種切替動作を行うことができ、描画部109が、各ノード上の表示内容を切り替える具体的な動作は、実施の形態1において図31〜39等を用いて説明した動作と同様である。実施の形態5においては、描画部109は、行動に関する情報を表示させない点が異なるのと、要約居場所、および、関連部屋として表わされる居場所が、特定の住人の居場所であるか、不特定多数の人の居場所であるかが異なるのみである。
例えば、実施の形態5においても、実施の形態1の動作例で示した内容と同様に、各ノードの中には店舗名を表示している状態(図58参照)で、指定したノードのみ、関連情報を表示させるように切り替えることができる。
例えば、10月1日〜10月7日の期間のみ、各ノードの中に表示させる情報を関連情報に切り替えた画面例を、図60に示す。
なお、以上の実施の形態5では、関連度合推定部1054が、2つの店舗同士の関連度合を算出する際に、当該関連度合を、2つの店舗の行動度合の差の絶対値として算出するようにしたが、関連度合の算出式は上述した式に限らない。例えば、関連度合推定部1054は、店舗間の距離または店舗の類似度、あるいは、店舗の相関性を算出する別の一般的な手法を用いて、2つの店舗同士の関連度合を算出することができる。
このようにして、行動可視化装置1dは、不特定多数の人を対象とした場合も、対象期間を区切った時間帯毎に、人が多く集まる店舗、または、人の動きが活発な店舗を、その時間帯における人と関わりの深い店舗として抽出し、店舗間の関係性、または、各店舗から収集された関連情報と関連付けて可視化する。これにより、ユーザは、対象期間において、各時間帯での特性、または、時間帯同士の特性の比較を容易に行うことができる。
また、以上の実施の形態5では、行動可視化装置1dは、図46に示すような構成とし、行動可視化装置1dが検知部101を備え、センサ2または機器3から情報をリアルタイムに収集し、センサ情報、または、機器情報として記憶部20dに記憶させるようにしたが、行動可視化装置1dの構成はこれに限らない。例えば、行動可視化装置1dは、予め、既に取得されたセンサ情報または機器情報を記憶部20dに記憶させておき、予め記憶させておいたセンサ情報または機器情報に基づき、人が多く集まる店舗等を分析し、分析結果を表示装置4に表示させる構成としてもよい。
図61は、実施の形態5において、行動可視化装置1dが、予め記憶させておいたセンサ情報または機器情報に基づき、人が多く集まる店舗等を分析するものとした場合の、行動可視化装置1dの構成の一例を示す構成図である。
図61に示す行動可視化装置1dは、図46に示した行動可視化装置1dと比べると、検知部101を備えない点のみが異なる。その他の構成および動作については、図46に示した行動可視化装置1dと同様であるため、同じ符号を付して重複した説明を省略する。
また、以上の実施の形態5では、行動可視化装置1dは、要約情報生成部110を備えるものとしたが、行動可視化装置1dは、要約情報生成部110を備えない構成としてもよい。この場合、行動可視化装置1dの構成は、図46、および、図61で示した構成から、要約情報生成部110を除外した構成となる。
以上のように、実施の形態5の行動可視化装置1dは、注目する対象と関わりの深い居場所を抽出するための要約条件を設定する要約条件設定部104と、注目する対象の居場所となる範囲内に設置されたセンサまたは機器の状態変化を示すセンサ情報または機器情報、および、要約条件設定部104が設定した要約条件に基づき、複数の時間帯それぞれにおいて、注目する対象と関わりの深い居場所を抽出する重要部屋抽出部105d(重要居場所抽出部)と、重要部屋抽出部105dが抽出した、注目する対象と関わりの深い居場所を表す図形の図形領域の面積、および、当該図形領域間の距離を算出し、注目する対象と関わりの深い居場所を表す図形を階層構造で表示させるための描画用図形データを生成する図形生成部106と、図形生成部106が生成した描画用図形データを表示装置に表示させる描画部109とを備えるように構成されている。そのため、注目する対象を不特定多数の人とした場合であっても、注目する対象の行動を要約するとともに、対象の行動に関する情報を、階層構造を用いて可視化させることで、注目する対象の行動を示す情報を、その視認が容易となるように可視化できる。
実施の形態6.
実施の形態5では、行動度合推定部1053は、建物構造ファイル201の情報、レイアウト情報、機器情報、および、センサ情報を用いて行動度合を推定していた。
実施の形態6では、行動度合推定部1053は、居場所情報を用いて行動度合を推定する実施の形態を説明する。
図62は、実施の形態6に係る行動可視化装置1eの構成例を示すブロック図である。
図62において、実施の形態5で図61を用いて説明した行動可視化装置1dと同様の構成については、同じ符号を付して重複した説明を省略する。
図62に示す実施の形態6の行動可視化装置1eは、実施の形態5で図61を用いて説明した行動可視化装置1dの構成同様、行動可視化装置1eが、予め記憶部20dに記憶させておいた、既に取得されたセンサ情報または機器情報に基づき、不特定多数の人が多く集まる店舗等を人と関わりの深い店舗として分析し、分析結果を表示装置4に表示させる構成としている。
行動可視化装置1eは、実施の形態5で図61を用いて説明した行動可視化装置1dとは、記憶部20eが、居場所履歴記憶部207を備える点が異なる。当該居場所履歴記憶部207は、実施の形態1で図1を用いて説明した居場所履歴記憶部207と同様の構成であるため、同じ符号を付して重複した説明を省略する。
実施の形態6において、居場所履歴記憶部207には、人が、建物構造ファイル201に定義された居場所のうち、どの居場所にいるかを推定した結果が、人が携帯するスマートフォン等の端末IDの情報および日時(日付および時刻)の情報と関連付けられた居場所情報が記憶されている。人がどの居場所にいるかの推定結果は、例えば、ビーコンの電波強度に基づく方法等により取得される。図62に示すような行動可視化装置1eでは、例えば、他のPC等で取得された居場所情報が、記憶部20eの居場所履歴記憶部207に記憶されるようになっている。
行動可視化装置1eのハードウェア構成は、実施の形態1において図41を用いて説明した構成と同様であるため、重複した説明を省略する。
次に、実施の形態6に係る行動可視化装置1eの動作について説明する。
以下の説明においては、実施の形態5同様、一例として、行動可視化装置1eは、ショッピングセンターの店舗における不特定多数の人の居場所等を分析し、分析結果を、階層構造を用いて可視化するものとする。
また、実施の形態6では、実施の形態5同様、行動可視化装置1eは、対象期間を2017年10月1日〜2017年10月31日とし、当該対象期間を、日曜〜土曜までの7日間単位で区切り、当該7日間毎に人と関わりの深い店舗を要約するものとする。
図63は、実施の形態6における行動可視化装置1eの動作を説明するフローチャートである。
要約条件設定部104は、要約条件を設定する(ステップST6201)。具体的な動作は、実施の形態5で説明した図47のステップST4602と同様である。
重要部屋抽出部105dの行動度合推定部1053は、記憶部20の建物構造ファイル201、および、居場所履歴記憶部207に記憶されている居場所情報を参照し、1週間毎(2017年10月1日〜10月7日、2017年10月8日〜10月14日・・・)に、各店舗において、人がどの程度行動しているかを「行動度合」として推定する。そして、行動度合推定部1053は、「行動度合」が最大の店舗を要約居場所として抽出する。また、行動度合推定部1053は、要約居場所に続いて「行動度合」が大きい部屋を、要約条件で指定された順位に従って上位から検索し、関連部屋として抽出する(ステップST6202)。
ここで、図64は、実施の形態6において、重要部屋抽出部105dの行動度合推定部1053による、各週間において、要約居場所、および、関連部屋を抽出する動作の詳細を説明するためのフローチャートである。
一例として、要約条件設定部104が設定した要約条件は、以下のとおりとし、具体例をあげながら、図64のフローチャートに沿って、行動度合推定部1053の動作を説明する。
(A)対象とする期間の単位:1カ月
(B)開始日時、終了日時:2017年10月1日〜2017年10月31日
(C)期間(時間)に対する特定の条件:なし
(D)人に関する情報を要約する際の単位時間(単位日):7日
(E)対象とする時間帯において人と関わりの深い居場所を抽出する条件
・行動度合抽出レベル:3
(F)関連情報を抽出する条件:3
まず、行動度合推定部1053は、未処理の時間帯(以下、「行動度合推定対象時間帯」という。)を特定する(ステップST6301)。具体的な動作は、実施の形態5で説明した図48のステップST4701と同様である。行動度合推定部1053は、まず、10月1日〜10月7日を行動度合推定対象時間帯とする。
行動度合推定部1053は、記憶部20eの居場所履歴記憶部207を参照し、ステップST6301で特定した10月1日〜10月7日の期間において、店舗毎に行動度合を推定する(ステップST6302)。
なお、建物構造ファイル201の内容は、例えば、実施の形態5で図49,51を用いて説明した内容であるとする。建物構造ファイル201では、9階建てのショッピングモールについて、当該ショッピングモール内に出店している150店舗が、フロア毎に定義されている。
行動度合推定部1053は、居場所履歴記憶部207から、行動度合推定対象時間帯(10月1日〜10月7日)の居場所情報を取得し、店舗毎に、人の居場所が検知された回数を算出し、行動度合として推定する。
行動度合推定部1053は、ステップST6302において行動度合を推定した店舗のうち、行動度合が最大となる店舗を要約居場所として抽出する(ステップST6303)。具体的な動作は、図48のステップST4703と同様である。
例えば、行動度合推定部1053は、特設会場を、要約居場所として抽出する。
行動度合推定部1053は、要約条件設定部104が設定した(図63のステップST6201参照)要約条件に基づき、行動度合推定対象時間帯において人と関わりの深い他の店舗を関連部屋として抽出する(ステップST6304)。具体的な動作は、図48のステップST4704と同様である。
上述したように、要約条件設定部104は、要約条件において、(E)の抽出条件を以下のように設定している。
・行動度合抽出レベル:3
行動度合が最大のエリアは特設会場であり、当該特設会場は要約居場所として抽出済みであるので、行動度合推定部1053は、行動度合が上位2位および3位となる店舗135(特設会場と同じ9階にある店舗)および店舗60(4階にある店舗)を関連部屋として抽出する。
行動度合推定部1053は、2017年10月1日〜10月31日の対象期間のうち、未処理の時間帯がないかを判定する(ステップST6305)。具体的な動作は、図48のステップST4705と同様である。
ステップST6305において、未処理の時間帯がない場合(ステップST6305の“NO”の場合)、処理終了し、未処理の時間帯がある場合(ステップST6305の“YES”の場合)、ステップST6304に戻り、以降の処理を繰り返す。
行動度合推定部1053は、各時間帯における要約居場所、関連部屋、および、各店舗における行動度合の情報が関連づけられた情報(以下、「行動度合推定後情報」という。)を、記憶部20dに記憶するとともに、重要部屋抽出部105dの関連度合推定部1054に出力する。
図63のフローチャートに戻る。
重要部屋抽出部105dの関連度合推定部1054は、ステップST6202において行動度合推定部1053から出力された行動度合推定後情報に基づき、店舗同士の関連度合を推定する(ステップST6203)
ここで、図65は、実施の形態6において、重要部屋抽出部105dの関連度合推定部1054による、各週間において、店舗同士の関連度合をする動作の詳細を説明するためのフローチャートである。
まず、関連度合推定部1054は、未処理の時間帯(以下、「関連度合推定対象時間帯」という。)を特定する(ステップST6401)。具体的な動作は、実施の形態5で説明した図55のステップST5401と同様である。例えば、関連度合推定部1054は、まず、10月1日〜10月7日を関連度合推定対象時間帯とする。
関連度合推定部1054は、ステップST6401で特定した10月1日〜10月7日の期間において、所定時間毎に、行動度合推定部1053が抽出した全ての店舗(図64のステップST6303,6304参照)について、店舗同士の行動度合を推定する(ステップST6402)。
例えば、実施の形態5同様、所定時間が、予め30分と決定されていたとすると、関連度合推定部1054は、2017年10月1日〜10月7日において、行動度合推定部1053が抽出した、特設会場、店舗135、および、店舗60の3つの店舗について、30分毎の行動度合を推定する。
具体的には、関連度合推定部1054は、居場所履歴記憶部207から、まず、10月1日の1時間毎の居場所情報を取得し、特設会場、店舗135、および、店舗60において、人の居場所が取得された回数を行動度合として推定する。
ステップST6403〜ステップST6405の具体的な動作は、実施の形態5で説明した図55のステップST5403〜ステップST5405の具体的な動作と同様であるため、詳細な説明を省略する。
関連度合推定部1054は、推定した関連度合の情報を、記憶部20dに記憶するとともに、図形生成部106に出力する。関連度合推定部1054は、推定した関連度合の情報とともに、行動度合推定部1053から取得した、要約居場所、および、関連部屋の情報と、当該要約居場所、および、関連部屋における行動度合の情報もあわせて、図形生成部106に出力する。
図63のフローチャートに戻る。
ステップST6204〜ステップST6206の具体的な動作は、実施の形態5で説明した図47のステップST4605〜ステップST4607の具体的な動作と同様であるため、詳細な説明を省略する。
なお、以上の実施の形態6では、図62に示したように、行動可視化装置1eが、要約情報生成部110を備えた構成としたが、これに限らず、行動可視化装置1eは、要約情報生成部110を備えない構成としてもよい。
また、以上の実施の形態6では、図62に示したように、行動可視化装置1eは、検知部101を備えない構成としたが、これに限らず、行動可視化装置1eは、検知部101を備える構成としてもよい。
この場合の行動可視化装置1eの構成は、実施の形態5において、図46を用いて説明した行動可視化装置1dの構成に、居場所履歴記憶部207を追加した構成となる。
以上のように、実施の形態6によれば、注目する対象を不特定多数の人とした場合であっても、注目する対象の行動を要約するとともに、対象の行動に関する情報を、階層構造を用いて可視化させることで、注目する対象の行動を示す情報を、その視認が容易となるように可視化できる。
以上の実施の形態5、および、実施の形態6では、行動可視化装置1d,1eは、関連情報付与部108を備える構成とした。しかしながら、これに限らず、行動可視化装置1d,1eは、関連情報は表示せず、人の居場所(要約居場所、および、関連部屋)のみを表示して、不特定多数の人にとって関わりの深い店舗、および、それらの店舗同士の関係性を可視化するようにしてもよい。
この場合、行動可視化装置1d,1eの構成は、図46,図62において、記憶部20d,20eがその他情報履歴記憶部206を備えず、制御部10dが関連情報付与部108を備えない構成となる。その他の各部の構成および具体的な動作は、以上の実施の形態5、および、実施の形態6で説明した構成および具体的な動作と同様である。
また、以上の実施の形態5、および、実施の形態6では、注目する不特定多数の人の居場所が含まれる空間はショッピングモールとしたが、これは一例に過ぎない。例えば、注目する不特定多数の人の居場所が含まれる空間は、工場、オフィス、学校、または、公共施設等、任意の空間とすることができる。
また、以上の実施の形態5、および、実施の形態6では、注目する不特定多数の人の居場所は、店舗としたが、これは一例に過ぎない。例えば、注目する不特定多数の人の居場所は、建物内のフロア等、任意の場所とすることができる。
また、以上の実施の形態5、および、実施の形態6では、対象期間を区切る単位時間を1週間単位としたが、これは一例に過ぎない。例えば、対象期間、および、当該対象期間を区切る単位時間は、1日を数時間単位で区切るものであってもよいし、1年を数ヶ月単位で区切るものであってもよい。
また、以上の実施の形態6では、行動可視化装置1eは、個人を特定せずに、不特定多数の人をまとめて、人の行動度合と、店舗または関連情報との関連性を可視化する実施の形態としたが、これに限らない。例えば、行動可視化装置1eは、居場所履歴記憶部207に記憶された居場所情報の端末IDに基づき、特定の個人、または、特定の複数人をまとめて、当該特定の個人、または、特定の複数人の行動等を分析するようにしてもよい。
この場合、重要部屋抽出部105dは、居場所履歴記憶部207を参照する際に、行動度合または関連度合を推定する対象となる特定の個人、または、特定の複数人が所有する端末IDに関してのみ、居場所情報を取得する。そして、重要部屋抽出部105dは、取得した居場所情報に基づき、行動度合または関連度合を推定する対象となる特定の個人、または、特定の複数人の行動度合または関連度合を推定する。
また、以上の実施の形態1〜6では、行動可視化装置1〜1eの図形生成部106は、特定の人または特定の複数人、あるいは、不特定多数の人と関わりの深い居場所等を示す図形を生成する際に、円とするものとしたが、これは一例に過ぎず、図形生成部106は、関わりの深い居場所等を示す図形を円以外の図形としてもよい。例えば、図形生成部106は、関わりの深い居場所等を示す図形を、図66に示すように、矩形としてもよい。
図形生成部106は、関わりの深い居場所を示す図形が円であっても、矩形であっても、在室度合、または、行動度合が大きいほど、図形の領域が大きくなるように、図形を特徴づけるパラメータの値を算出する。図形を特徴づけるパラメータとは、例えば、図形が円の場合は円の半径であり、図形が矩形の場合は横幅、縦幅等である。
また、以上の実施の形態1〜6では、図形生成部106は、時間軸を横軸方向に設定するものとしたが、これは一例に過ぎない。図形生成部106は、時間軸を、縦軸方向、または、環状に設定し、描画用図形データを生成することもできる。
例えば、図67Aは、実施の形態1〜6の行動可視化装置1〜1eにおいて、図形生成部106が、時間軸を縦軸方向に設定して生成した描画用図形データを表示させた場合の表示例であり、図67Bは、実施の形態1〜6の行動可視化装置1〜1eにおいて、図形生成部106が、時間軸を環状に設定して生成した描画用図形データを表示させた場合の表示例である。
図67A、および、図67Bに示すように、時間軸に応じて、人と関わりの深い居場所等を示す図形が配置されるため、時間軸を横軸とした場合の図形の配置とは異なる配置となる。
また、以上の実施の形態1〜6では、図形生成部106は、人の居場所、主要行動、または、関連情報を表す図形同士を線分で結ぶ描画用図形データを生成するものとしたが、これは一例に過ぎない。図形生成部106は、図形同士を曲線で結ぶようにしてもよいし、図形同士を結ぶ線の種類は任意である。
例えば、図68は、実施の形態1〜6の行動可視化装置1〜1eにおいて、図形生成部106が、図形同士を曲線で結ぶものとして生成した描画用図形データを表示させた場合の表示例である。
また、以上の実施の形態1〜6では、図形生成部106は、直接接続している居場所同士を結ぶ線分を実線、直接接続していない居場所同士を実線以外とする描画用図形データを生成するものとしたが、これは一例に過ぎない。図形生成部106は、直接接続している居場所同士を結ぶ図形要素と、直接接続していない居場所同士を結ぶ図形要素とを区別できるように、描画用図形データを生成するようになっていればよい。例えば、図形生成部106は、直接接続している居場所同士を結ぶ線分と、直接接続していない居場所同士を結ぶ線分とを色で区別する描画用図形データを生成するようにしてもよい。
また、以上の実施の形態1〜6では、図形生成部106は、例えば、要約居場所を表す円の中に「リビング」と表示する等、各時間帯に配置した図形要素の中に、居場所、主要行動、または、関連情報をテキストで表示する描画用図形データを生成するものとしたが、これは一例に過ぎない。図形生成部106は、居場所、主要行動、または、関連情報をアイコン等で示す描画用図形データを生成するようにしてもよい。
また、以上の実施の形態1〜6では、図形生成部106は、各時間帯で行われていた行動、または、各時間帯で取得された関連情報が複数ある場合に、主要な行動、または、関連情報を強調表示させるため、テキストを強調した描画用図形データを生成するものとしたが、これは一例に過ぎない。図形生成部106は、強調表示させる情報と、それ以外の情報とを、別の形態で表す描画用図形データを生成するようにしてもよい。例えば、図形生成部106は、主要な関連情報をアイコンで表示し、その他をテキストで表示させる描画用図形データを生成するようにしてもよい。
以上のように、行動可視化装置1〜1eは、人と関わりの深い居場所、または、居場所同士の関係性を分析し、分析結果を、時間軸上の要約と階層構造、図形要素の面積または図形要素同士の距離に応じて可視化する。そのため、ユーザは、可視化された情報を確認することで、人がある時間帯に主にどの場所で過ごしていたか、その場所と関わりの深い場所はどこか、その場所で主にどのような行動をしていたか、その行動と繋がりの深い行動は何か、または、その場所でどのような情報が得られたか等、人の主要な行動を容易に理解することができる。また、ユーザは、人の居場所、主要行動、または、関連情報を、相互に関連付けて理解することができる。
また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
この発明に係る行動可視化装置は、注目する対象と関わりの深い居場所を分析するとともに、当該対象と関わりの深い居場所に関する情報を、階層構造を用いて可視化させることで、注目する対象の行動を示す情報を、その視認が容易となるように可視化できるように構成したため、注目する対象の行動に関する情報を可視化して提供する行動可視化装置等に適用することができる。
1,1a,1b,1c,1d,1e 行動可視化装置、2 センサ、3 機器、4 表示装置、10,10a,10b,10c,10d 制御部、20,20d,20e 記憶部、30 受付部、101 検知部、102 居場所推定部、103 行動推定部、104 要約条件設定部、105,105d 重要部屋抽出部、106 図形生成部、107 行動情報付与部、108 関連情報付与部、109 描画部、110 要約情報生成部、201 建物構造ファイル、202 レイアウト情報ファイル、203 住人情報ファイル、204 機器情報履歴記憶部、205 センサ情報履歴記憶部、206 その他情報履歴記憶部、207 居場所履歴記憶部、208 行動定義ファイル、209 行動履歴記憶部、1051 在室時間分析部、1052 移動頻度分析部、1053 行動度合推定部、1054 関連度合推定部、4001 処理回路、4002 HDD、4003 入力インタフェース装置、4004 出力インタフェース装置、4005 メモリ、4006 CPU

Claims (22)

  1. 注目する対象と関わりの深い居場所を抽出するための要約条件を設定する要約条件設定部と、
    前記注目する対象の居場所を示す居場所情報、および、前記要約条件設定部が設定した要約条件に基づき、複数の時間帯それぞれにおいて、前記注目する対象と関わりの深い居場所を抽出する重要居場所抽出部と、
    前記重要居場所抽出部が抽出した、前記注目する対象と関わりの深い居場所を表す図形の図形領域の面積、および、当該図形領域間の距離を算出し、前記注目する対象と関わりの深い居場所を表す図形を階層構造で表示させるための描画用図形データを生成する図形生成部と、
    前記図形生成部が生成した描画用図形データを表示装置に表示させる描画部
    とを備え
    前記重要居場所抽出部は、
    前記居場所情報、および、前記要約条件に基づき、前記時間帯毎に各居場所に前記注目する対象が存在する時間の累積値を算出し、当該時間帯毎に、当該累積値が最大の居場所を要約居場所として抽出するとともに、当該要約居場所に続いて当該累積値が大きい居場所を関連居場所として抽出する在室時間分析部と、
    前記時間帯毎に、前記注目する対象による前記要約居場所とその他の居場所との間の移動頻度を算出し、前記要約条件に基づき、前記要約居場所との間で移動頻度が高い居場所を前記関連居場所として抽出する移動頻度分析部とを有し、
    前記図形生成部は、前記時間帯毎に各居場所に前記注目する対象が存在する時間の累積値の情報、および、前記注目する対象による前記要約居場所とその他の居場所との間の移動頻度の情報に基づき、時間軸上に前記時間帯毎の前記要約居場所を表す図形を親ノードとして表示させ、前記関連居場所を表す図形を、当該要約居場所を表す図形の下位に階層構造で表示させるための描画用図形データを生成する行動可視化装置。
  2. 前記要約条件には前記注目する対象と関わりの深い行動を抽出するための条件が含まれ、
    前記重要居場所抽出部が抽出した、前記注目する対象と関わりの深い居場所に関する情報と、前記注目する対象による行動を示す行動情報と、前記要約条件に基づき、前記時間帯毎の各居場所における前記注目する対象と関わりの深い行動を抽出し、抽出した行動に関する情報を、前記描画用図形データと関連付ける行動情報付与部を備えた
    ことを特徴とする請求項1記載の行動可視化装置。
  3. 前記要約条件には前記注目する対象と関わりの深い関連情報を抽出するための条件が含まれ、
    前記重要居場所抽出部が抽出した、前記注目する対象と関わりの深い居場所に関する情報と、各居場所で得られた環境情報と、前記要約条件に基づき、前記時間帯毎の各居場所における前記注目する対象と関わりの深い関連情報を抽出し、抽出した関連情報を前記描画用図形データと関連付ける関連情報付与部を備えた
    ことを特徴とする請求項1記載の行動可視化装置。
  4. 前記注目する対象の居場所となる範囲内に設置されたセンサおよび機器の状態変化を検知し、検知情報と日時の情報と関連付けて、センサ情報および機器情報を生成する検知部を備えた
    ことを特徴とする請求項1記載の行動可視化装置。
  5. 前記検知部が生成したセンサ情報および機器情報に基づき、前記注目する対象の居場所を推定し、推定した居場所の情報を日時の情報と関連付けた前記居場所情報を生成する居場所推定部と、
    前記検知部が生成したセンサ情報および機器情報と、前記居場所推定部が生成した居場所情報と、前記注目する対象の行動を推定する際に用いられる条件が定義された行動定義に基づき、前記注目する対象による行動を推定する行動推定部とを備え、
    前記要約条件設定部は、前記行動推定部が推定した、前記注目する対象による行動を示す行動情報に基づき、前記要約条件を設定する
    ことを特徴とする請求項4記載の行動可視化装置。
  6. 前記図形生成部が生成した前記描画用図形データに、前記要約条件を関連付けた要約情報を生成する要約情報生成部を備えた
    ことを特徴とする請求項1記載の行動可視化装置。
  7. 前記描画部は、
    前記描画用図形データに基づき、前記表示装置に対して、前記時間軸上に前記時間帯毎の前記要約居場所を表す図形のみ表示させる
    ことを特徴とする請求項記載の行動可視化装置。
  8. 前記注目する対象は複数存在し、
    前記描画部は、
    前記描画用図形データに基づき、前記注目する対象に応じて、前記階層構造の表示または非表示を切り替えて、前記表示装置に表示させる
    ことを特徴とする請求項記載の行動可視化装置。
  9. 注目する対象と関わりの深い居場所を抽出するための要約条件を設定する要約条件設定部と、
    前記注目する対象の居場所となる範囲内に設置されたセンサまたは機器の状態変化を示すセンサ情報または機器情報、および、前記要約条件設定部が設定した要約条件に基づき、複数の時間帯それぞれにおいて、前記注目する対象と関わりの深い居場所を抽出する重要居場所抽出部と、
    前記重要居場所抽出部が抽出した、前記注目する対象と関わりの深い居場所を表す図形の図形領域の面積、および、当該図形領域間の距離を算出し、前記注目する対象と関わりの深い居場所を表す図形を階層構造で表示させるための描画用図形データを生成する図形生成部と、
    前記図形生成部が生成した描画用図形データを表示装置に表示させる描画部
    とを備え、
    前記重要居場所抽出部は、
    前記注目する対象の居場所となる領域が定義された情報、前記センサおよび前記機器の設置場所が定義された情報、前記センサ情報、前記機器情報、および、前記要約条件に基づき、前記時間帯毎に各居場所において前記注目する対象がどの程度行動しているかを示す行動度合を推定して、当該時間帯毎に、当該行動度合が最大の居場所を要約居場所として抽出するとともに、当該要約居場所に続いて当該行動度合が大きい居場所を関連居場所として抽出する行動度合推定部と、
    前記時間帯毎に、前記要約居場所および前記関連居場所に含まれる、2つの居場所の行動度合に基づき、当該2つの居場所の関連度合を推定する関連度合推定部とを有し、
    前記図形生成部は、前記行動度合、および、前記関連度合に基づき、時間軸上に前記時間帯毎の前記要約居場所を表す図形を親ノードとして表示させ、前記関連居場所を表す図形を、当該要約居場所を表す図形の下位に階層構造で表示させるための描画用図形データを生成する行動可視化装置。
  10. 前記要約条件には前記注目する対象と関わりの深い関連情報を抽出するための条件が含まれ、
    前記重要居場所抽出部が抽出した、前記注目する対象と関わりの深い居場所に関する情報と、各居場所で得られた環境情報と、前記要約条件に基づき、前記時間帯毎の各居場所における前記注目する対象と関わりの深い関連情報を、前記描画用図形データと関連付ける関連情報付与部を備えた
    ことを特徴とする請求項記載の行動可視化装置。
  11. 前記注目する対象の居場所となる範囲内に設置されたセンサおよび機器の状態変化を検知し、検知情報と日時の情報と関連付けて、前記センサ情報および前記機器情報を生成する検知部を備えた
    ことを特徴とする請求項記載の行動可視化装置。
  12. 前記図形生成部が生成した前記描画用図形データに、前記要約条件を関連付けた要約情報を生成する要約情報生成部を備えた
    ことを特徴とする請求項記載の行動可視化装置。
  13. 前記描画部は、
    前記描画用図形データに基づき、前記表示装置に対して、前記時間軸上に前記時間帯毎の前記要約居場所を表す図形のみ表示させる
    ことを特徴とする請求項記載の行動可視化装置。
  14. 前記注目する対象は複数存在し、
    前記描画部は、
    前記描画用図形データに基づき、前記注目する対象に応じて、前記階層構造の表示または非表示を切り替えて、前記表示装置に表示させる
    ことを特徴とする請求項記載の行動可視化装置。
  15. 前記図形生成部は、前記描画用図形データを表示させる画面の解像度または画面サイズに応じて、前記図形の図形領域、および、当該図形領域間の距離を算出して、前記描画用図形データを生成する
    ことを特徴とする請求項1記載の行動可視化装置。
  16. 前記図形生成部は、前記描画用図形データを表示させる画面の解像度または画面サイズに応じて、前記図形の図形領域、および、当該図形領域間の距離を算出して、前記描画用図形データを生成する
    ことを特徴とする請求項記載の行動可視化装置
  17. 前記注目する対象とは、特定の人である
    ことを特徴とする請求項1記載の行動可視化装置。
  18. 前記注目する対象とは、特定の複数人をまとめたグループである
    ことを特徴とする請求項1記載の行動可視化装置。
  19. 前記注目する対象とは、不特定多数の人である
    ことを特徴とする請求項1記載の行動可視化装置。
  20. 前記注目する対象とは、不特定多数の人である
    ことを特徴とする請求項記載の行動可視化装置。
  21. 要約条件設定部が、注目する対象と関わりの深い居場所を抽出するための要約条件を設定するステップと、
    重要居場所抽出部が、前記注目する対象の居場所を示す居場所情報、および、前記要約条件設定部が設定した要約条件に基づき、複数の時間帯それぞれにおいて、前記注目する対象と関わりの深い居場所を抽出するステップと、
    図形生成部が、前記重要居場所抽出部が抽出した、前記注目する対象と関わりの深い居場所を表す図形の図形領域の面積、および、当該図形領域間の距離を算出し、前記注目する対象と関わりの深い居場所を表す図形を階層構造で表示させるための描画用図形データを生成するステップと、
    描画部が、前記図形生成部が生成した描画用図形データを表示装置に表示させるステップとを備え、
    前記重要居場所抽出部が前記注目する対象と関わりの深い居場所を抽出するステップにおいて、
    在室時間分析部が、前記居場所情報、および、前記要約条件に基づき、前記時間帯毎に各居場所に前記注目する対象が存在する時間の累積値を算出し、当該時間帯毎に、当該累積値が最大の居場所を要約居場所として抽出するとともに、当該要約居場所に続いて当該累積値が大きい居場所を関連居場所として抽出するステップと、
    移動頻度分析部が、前記時間帯毎に、前記注目する対象による前記要約居場所とその他の居場所との間の移動頻度を算出し、前記要約条件に基づき、前記要約居場所との間で移動頻度が高い居場所を前記関連居場所として抽出するステップとを有し、
    前記図形生成部は、前記描画用図形データを生成するステップにおいて、
    前記時間帯毎に各居場所に前記注目する対象が存在する時間の累積値の情報、および、前記注目する対象による前記要約居場所とその他の居場所との間の移動頻度の情報に基づき、時間軸上に前記時間帯毎の前記要約居場所を表す図形を親ノードとして表示させ、前記関連居場所を表す図形を、当該要約居場所を表す図形の下位に階層構造で表示させるための描画用図形データを生成するステップを有する
    ことを特徴とする行動可視化方法。
  22. 要約条件設定部が、注目する対象と関わりの深い居場所を抽出するための要約条件を設定するステップと、
    重要居場所抽出部が、前記注目する対象の居場所となる範囲内に設置されたセンサまたは機器の状態変化を示すセンサ情報または機器情報、および、前記要約条件設定部が設定した要約条件に基づき、複数の時間帯それぞれにおいて、前記注目する対象と関わりの深い居場所を抽出するステップと、
    図形生成部が、前記重要居場所抽出部が抽出した、前記注目する対象と関わりの深い居場所を表す図形の図形領域の面積、および、当該図形領域間の距離を算出し、前記注目する対象と関わりの深い居場所を表す図形を階層構造で表示させるための描画用図形データを生成するステップと、
    描画部が、前記図形生成部が生成した描画用図形データを表示装置に表示させるステップとを備え、
    前記重要居場所抽出部は、前記注目する対象と関わりの深い居場所を抽出するステップにおいて、
    行動度合推定部が、前記注目する対象の居場所となる領域が定義された情報、前記センサおよび前記機器の設置場所が定義された情報、前記センサ情報、前記機器情報、および、前記要約条件に基づき、前記時間帯毎に各居場所において前記注目する対象がどの程度行動しているかを示す行動度合を推定して、当該時間帯毎に、当該行動度合が最大の居場所を要約居場所として抽出するとともに、当該要約居場所に続いて当該行動度合が大きい居場所を関連居場所として抽出するステップと、
    関連度合推定部が、前記時間帯毎に、前記要約居場所および前記関連居場所に含まれる、2つの居場所の行動度合に基づき、当該2つの居場所の関連度合を推定するステップとを有し、
    前記図形生成部は、前記描画用図形データを生成するステップにおいて、
    前記行動度合、および、前記関連度合に基づき、時間軸上に前記時間帯毎の前記要約居場所を表す図形を親ノードとして表示させ、前記関連居場所を表す図形を、当該要約居場所を表す図形の下位に階層構造で表示させるための描画用図形データを生成するステップを有する
    ことを特徴とする行動可視化方法。
JP2017564655A 2017-07-19 2017-07-19 行動可視化装置および行動可視化方法 Active JP6385600B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/026106 WO2019016890A1 (ja) 2017-07-19 2017-07-19 行動可視化装置および行動可視化方法

Publications (2)

Publication Number Publication Date
JP6385600B1 true JP6385600B1 (ja) 2018-09-05
JPWO2019016890A1 JPWO2019016890A1 (ja) 2019-07-25

Family

ID=63444253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017564655A Active JP6385600B1 (ja) 2017-07-19 2017-07-19 行動可視化装置および行動可視化方法

Country Status (7)

Country Link
US (1) US11328260B2 (ja)
JP (1) JP6385600B1 (ja)
KR (1) KR102138553B1 (ja)
CN (1) CN110892441A (ja)
DE (1) DE112017007657T5 (ja)
TW (1) TWI662427B (ja)
WO (1) WO2019016890A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020071402A1 (ja) * 2018-10-02 2020-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報提供方法
JP2020154938A (ja) * 2019-03-22 2020-09-24 Kddi株式会社 行動情報に基づいて満足度を推定可能な装置、プログラム及び方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022137535A1 (ja) * 2020-12-25 2022-06-30 三菱電機株式会社 機器間移動時間推定装置、機器間移動時間推定方法および機器
US11785012B2 (en) * 2021-06-07 2023-10-10 Bank Of America Corporation Data processing for internet of things (IoT) devices based on recorded user behavior

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007110341A (ja) * 2005-10-12 2007-04-26 Sony Ericsson Mobilecommunications Japan Inc 携帯端末装置、移動先情報提供サーバ装置、滞在場所情報収集プログラム、移動先情報表示プログラム、移動先情報提供プログラム及び移動先情報提供システム
JP2009157518A (ja) * 2007-12-25 2009-07-16 Fuji Xerox Co Ltd 行動履歴表示システム、行動履歴表示プログラム
JP2011118647A (ja) * 2009-12-03 2011-06-16 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
JP2015125555A (ja) * 2013-12-26 2015-07-06 東京瓦斯株式会社 行動予測システム、機器制御方法、行動支援方法およびプログラム
JP2016134113A (ja) * 2015-01-22 2016-07-25 コニカミノルタ株式会社 画像処理システム、画像処理装置、端末装置及びプログラム
JP2017111535A (ja) * 2015-12-15 2017-06-22 三菱重工メカトロシステムズ株式会社 交通流情報提供装置、ガイダンスシステム、交通流情報提供方法及びプログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3996428B2 (ja) * 2001-12-25 2007-10-24 松下電器産業株式会社 異常検知装置及び異常検知システム
US8589174B2 (en) 2003-12-16 2013-11-19 Adventium Enterprises Activity monitoring
JP2008000283A (ja) 2006-06-21 2008-01-10 Sharp Corp 出力装置、出力装置の制御方法、出力装置の制御プログラム、出力装置の制御プログラムを記録した記録媒体
US8295597B1 (en) 2007-03-14 2012-10-23 Videomining Corporation Method and system for segmenting people in a physical space based on automatic behavior analysis
JP2009080580A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 映像表示装置及び方法
JP2009123181A (ja) 2007-10-26 2009-06-04 Advanced Telecommunication Research Institute International 情報提示システム
JP5245495B2 (ja) 2008-03-31 2013-07-24 大日本印刷株式会社 時系列データ用グラフ表示装置
JP2009285077A (ja) 2008-05-28 2009-12-10 Sanyo Electric Co Ltd 生活機能測定装置、生活機能測定プログラム及び生活機能測定システム
WO2010044490A1 (ja) 2008-10-17 2010-04-22 株式会社日立製作所 グループ可視化システム及びセンサネットワークシステム
JP4982511B2 (ja) 2009-01-23 2012-07-25 株式会社東芝 行動時間比率計算装置及び行動時間比率計算方法
JP5440080B2 (ja) 2009-10-02 2014-03-12 ソニー株式会社 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム
TWI421787B (zh) * 2009-12-25 2014-01-01 Taiwan Sogo Shinkong Security Co Ltd 人員定位追蹤及管理系統及其方法
JP5557610B2 (ja) 2010-06-16 2014-07-23 株式会社日立製作所 行動内容可視化装置および行動内容解析装置
WO2012008264A1 (ja) * 2010-07-16 2012-01-19 株式会社日立製作所 生活可視化システム、サーバ及び生活データの処理方法
US9250759B1 (en) * 2010-07-23 2016-02-02 Amazon Technologies, Inc. Visual representation of user-node interactions
JP5302290B2 (ja) 2010-11-26 2013-10-02 東芝テック株式会社 看護支援システム
JP5841538B2 (ja) * 2011-02-04 2016-01-13 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 関心度推定装置および関心度推定方法
JP5785869B2 (ja) * 2011-12-22 2015-09-30 株式会社日立製作所 行動属性分析プログラムおよび装置
JP6027122B2 (ja) 2012-08-30 2016-11-16 株式会社日立製作所 情報分析システム、及び情報分析方法
EP3011523A1 (en) 2013-06-20 2016-04-27 Vodafone IP Licensing Limited Location analysis for analytics
TWI615798B (zh) * 2013-12-17 2018-02-21 動聯國際股份有限公司 基於物聯網的健康照護系統
US20150199698A1 (en) 2014-01-14 2015-07-16 Panasonic Intellectual Property Corporation Of America Display method, stay information display system, and display control device
WO2015129210A1 (ja) 2014-02-25 2015-09-03 日本電気株式会社 情報処理装置、データ分析方法、及び、記録媒体
JP6044937B2 (ja) 2014-03-04 2016-12-14 日本電信電話株式会社 移動軌跡解析装置及び方法
JP5907362B1 (ja) * 2014-10-08 2016-04-26 パナソニックIpマネジメント株式会社 活動状況分析装置、活動状況分析システムおよび活動状況分析方法
CN105630897B (zh) * 2015-12-18 2019-12-24 武汉大学 一种内容感知的地理视频多层次关联方法
US20170193309A1 (en) * 2016-01-06 2017-07-06 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
US10846745B1 (en) * 2016-12-30 2020-11-24 Amazon Technologies, Inc. Contextual presence

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007110341A (ja) * 2005-10-12 2007-04-26 Sony Ericsson Mobilecommunications Japan Inc 携帯端末装置、移動先情報提供サーバ装置、滞在場所情報収集プログラム、移動先情報表示プログラム、移動先情報提供プログラム及び移動先情報提供システム
JP2009157518A (ja) * 2007-12-25 2009-07-16 Fuji Xerox Co Ltd 行動履歴表示システム、行動履歴表示プログラム
JP2011118647A (ja) * 2009-12-03 2011-06-16 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
JP2015125555A (ja) * 2013-12-26 2015-07-06 東京瓦斯株式会社 行動予測システム、機器制御方法、行動支援方法およびプログラム
JP2016134113A (ja) * 2015-01-22 2016-07-25 コニカミノルタ株式会社 画像処理システム、画像処理装置、端末装置及びプログラム
JP2017111535A (ja) * 2015-12-15 2017-06-22 三菱重工メカトロシステムズ株式会社 交通流情報提供装置、ガイダンスシステム、交通流情報提供方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020071402A1 (ja) * 2018-10-02 2020-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報提供方法
JP7441790B2 (ja) 2018-10-02 2024-03-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報提供方法
JP2020154938A (ja) * 2019-03-22 2020-09-24 Kddi株式会社 行動情報に基づいて満足度を推定可能な装置、プログラム及び方法
JP7085266B2 (ja) 2019-03-22 2022-06-16 Kddi株式会社 行動情報に基づいて満足度を推定可能な装置、プログラム及び方法

Also Published As

Publication number Publication date
DE112017007657T5 (de) 2020-03-05
CN110892441A (zh) 2020-03-17
KR102138553B1 (ko) 2020-07-28
US20200118081A1 (en) 2020-04-16
KR20200013054A (ko) 2020-02-05
US11328260B2 (en) 2022-05-10
JPWO2019016890A1 (ja) 2019-07-25
TWI662427B (zh) 2019-06-11
WO2019016890A1 (ja) 2019-01-24
TW201909004A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
JP6385600B1 (ja) 行動可視化装置および行動可視化方法
US10965482B2 (en) Building management system that determines building utilization
AU2021203601A1 (en) Method and device for processing motion events
JP4898581B2 (ja) ユーザインターフェース方法、表示装置、および、ユーザインターフェースシステム
JP7014299B2 (ja) 行動最適化装置、方法およびプログラム
CN108573596B (zh) 控制方法
US11494794B1 (en) Estimating the cost of residential remodeling projects
KR101828188B1 (ko) 에너지 매니지먼트 시스템, 단말 장치, 표시 제어 방법 및 프로그램
JP2015087957A (ja) 情報提供装置およびその方法、ならびにプログラム
JP2015176477A (ja) 入居者意思決定支援システム
JP6664589B1 (ja) 表示プログラム、表示装置及び表示方法
KR102544081B1 (ko) 인테리어 시뮬레이션 및 견적 서비스 제공 시스템 및 방법
JP6844072B1 (ja) 建物管理装置、建物管理システム及びプログラム
JP2016021249A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2017076230A (ja) 情報処理装置、情報処理システム、情報提供方法、及びプログラム
JP7493155B2 (ja) 作業系列識別装置、作業系列識別システム、作業系列識別方法、及びプログラム
JP7387971B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
KR102359178B1 (ko) 건축물 구조 빅데이터 기반 가전 추천 관리 시스템
JP2019175386A (ja) 価値観評価システム、及び物件検索システム
JP7341378B2 (ja) 評価装置、評価方法及び評価プログラム
JP7407681B2 (ja) 電子装置及びシステム
WO2023139974A1 (ja) 空間情報管理システム、空間情報管理方法、及び、プログラム
JP6664597B1 (ja) 情報表示プログラム、情報表示装置及び情報表示方法
JP2023145933A (ja) センサ配置管理システムおよびセンサ配置管理方法
JP2023002649A (ja) 情報処理装置、情報処理理方法、及び情報処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171212

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171212

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180807

R150 Certificate of patent or registration of utility model

Ref document number: 6385600

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250