JP6385600B1 - 行動可視化装置および行動可視化方法 - Google Patents
行動可視化装置および行動可視化方法 Download PDFInfo
- Publication number
- JP6385600B1 JP6385600B1 JP2017564655A JP2017564655A JP6385600B1 JP 6385600 B1 JP6385600 B1 JP 6385600B1 JP 2017564655 A JP2017564655 A JP 2017564655A JP 2017564655 A JP2017564655 A JP 2017564655A JP 6385600 B1 JP6385600 B1 JP 6385600B1
- Authority
- JP
- Japan
- Prior art keywords
- information
- location
- unit
- behavior
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012800 visualization Methods 0.000 title claims description 189
- 238000007794 visualization technique Methods 0.000 title claims description 4
- 238000000605 extraction Methods 0.000 claims abstract description 144
- 239000000284 extract Substances 0.000 claims abstract description 65
- 238000004458 analytical method Methods 0.000 claims description 190
- 238000001514 detection method Methods 0.000 claims description 73
- 238000000034 method Methods 0.000 claims description 61
- 230000001186 cumulative effect Effects 0.000 claims description 21
- 230000007613 environmental effect Effects 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims 2
- 230000006399 behavior Effects 0.000 description 491
- 238000003860 storage Methods 0.000 description 218
- 238000012545 processing Methods 0.000 description 59
- 238000010586 diagram Methods 0.000 description 42
- 230000000694 effects Effects 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 8
- 238000010411 cooking Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003542 behavioural effect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000009423 ventilation Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06C—DIGITAL COMPUTERS IN WHICH ALL THE COMPUTATION IS EFFECTED MECHANICALLY
- G06C9/00—Transfer mechanisms, e.g. for transmitting figures from the input mechanism into the computing mechanism
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- General Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
例えば、非特許文献1には、横軸を時間軸とした横棒グラフによって、人の居場所を表示する技術が開示されている。
以下の説明において、行動可視化装置が「人の行動を要約する」とは、注目する対象期間における、時間帯毎に、注目する対象となる人が、主にどの居場所で過ごしていたか、その居場所と関わりの深い居場所はどこか、または、主にどのような行動をしていたか等の特徴を抽出することをいう。なお、以下の説明において、「行動」とは、料理または睡眠等の具体的な行動のみをいうものに限らず、人の動作全般を含む広い意味の用語として使用する。
実施の形態1に係る行動可視化装置は、注目する人の行動を要約するとともに、人と関わりの深い居場所、当該居場所で行われた主要行動、または、人と関わりの深い居場所と行動との関連性等を分析し、階層構造を用いて可視化する。
行動可視化装置1は、ネットワークを介して、1または複数のセンサ2と接続され、センサ2が収集した情報を取得する。センサ2は、住人の居場所となる住宅内の部屋に設置されている。または、センサ2は、住宅の居場所となる住宅内の部屋に持ち込まれている(以下、センサ2が部屋に一時的に持ち込まれている場合も含めて、センサ2が部屋に「設置されている」ということとする)。センサ2は、例えば、赤外線の人感センサ、ドア開閉センサ、照度センサ、温度センサ、または、ウェアラブル端末の加速度センサ等、任意の各種センサである。
また、行動可視化装置1は、ネットワークを介して、1または複数の機器3と接続され、機器3から、機器3に関する情報を取得する。機器3は、例えば、部屋内に設置された、家電または照明等の各種機器である。
行動可視化装置1は、センサ2から取得した情報、または、機器3から取得した情報に基づき、住人の行動を要約するとともに、住人と関わりの深い居場所、当該居場所で行われた主要行動、または、住人と関わりの深い居場所と行動との関連性を、階層構造を用いて可視化し、表示装置4に表示させる。
表示装置4は、例えば、ディスプレイである。なお、図1では、表示装置4は、行動可視化装置1の外部に備えられるものとしているが、これに限らず、当該表示装置4は、行動可視化装置1に備えられていてもよい。
制御部10は、住人の行動を要約し、表示装置4に表示させる動作を制御する。
制御部10は、検知部101、居場所推定部102、行動推定部103、要約条件設定部104、重要部屋抽出部105、図形生成部106、行動情報付与部107、関連情報付与部108、および、描画部109を備える。
重要部屋抽出部105は、在室時間分析部1051と、移動頻度分析部1052とを有する。
また、検知部101は、センサ2から受信した情報に基づき、センサ2の状態変化を検知して、検知情報と日時の情報とを関連付けたセンサ情報を生成し、記憶部20のセンサ情報履歴記憶部205(後述する)に記憶させる。
また、検知部101は、機器情報およびセンサ情報の両方を、居場所推定部102および行動推定部103に出力する。
要約条件とは、例えば、対象期間における居場所情報、対象期間における行動情報、および、対象期間における機器情報またはセンサ情報に基づき、住人と関わりの深い居場所、当該居場所で行われた主要行動、または、関連情報を抽出するための条件である。
要約条件設定部104は、設定した要約条件の情報を、重要部屋抽出部105に出力する。
なお、詳細は後述するが、実施の形態1では、一例として、要約条件に基づく、対象期間を区切る単位時間を数時間とする。重要部屋抽出部105は、対象期間における各時間帯において、住人と関わりの深い居場所として住宅内の1または複数の部屋を抽出する。以下においても、対象期間を区切る単位時間を数時間単位としたものとして説明する。
具体的には、在室時間分析部1051は、要約条件設定部104で設定された要約条件に基づく時間帯毎に、住人が各部屋に在室していた在室時間の累積値を算出する。そして、在室時間分析部1051は、時間帯毎に、算出した在室時間の累積値が最大の部屋を要約居場所として抽出する。
また、在室時間分析部1051は、居場所履歴記憶部207に記憶されている居場所情報を参照し、要約条件に基づき、要約居場所に続いて在室時間の度合が大きい部屋を、要件条件で指定された順位に従って上位から検索し、関連部屋として抽出する。
移動頻度分析部1052は、時間帯毎に抽出した関連部屋に関する情報を、在室時間分析部1051が抽出した要約居場所および関連部屋に関する情報とあわせて、住人を特定する情報と関連付けて、図形生成部106に出力する。
図形生成部106は、生成した描画用図形データを、行動情報付与部107に出力する。
関連情報付与部108は、主要行動に関する情報と関連情報とが関連付けられた描画用図形データを、描画部109に出力する。
描画部109は、関連情報付与部108から出力された描画用図形データに基づく情報を、表示装置4に表示させる。
具体的には、描画部109は、描画用図形データに基づき、時間軸上に時間帯毎の要約居場所および関連部屋を表す図形を、表示装置4に表示させるとともに、住人と関わりの深い居場所、その居場所で行われた住人の主要行動、および、その居場所における住人と関わりの深い関連情報を、要約居場所の下位層として表示させる。これにより、描画部109は、住人と関わりの深い居場所同士の関係性、各居場所と主要行動の関係性、主要行動と関連情報等の関係性に関する情報を可視化する。
このとき、描画部109は、要約居場所の情報および関連部屋の情報を、階層構造で表示装置4に表示させる。
記憶部20は、建物構造ファイル201、レイアウト情報ファイル202、住人情報ファイル203、機器情報履歴記憶部204、センサ情報履歴記憶部205、その他情報履歴記憶部206、居場所履歴記憶部207、行動定義ファイル208、および、行動履歴記憶部209を備える。
建物構造ファイル201では、部屋ID(図2では図示省略)、部屋名称、および、部屋と部屋との間で住人が直接移動可能かどうかの接続関係が定義されている。なお、各部屋には、当該部屋を特定できる部屋IDが、予め付与されている。
また、建物構造ファイル201では、例えば、隣接している部屋であっても、間に壁等があり、住人が直接行き来できない場合は、直接移動可能ではないと定義する。
レイアウト情報ファイル202では、各センサ2の情報または各機器3の情報が、当該各センサ2または各機器3が設置されている部屋の情報と関連付けて、定義されている。
図3に示すように、レイアウト情報ファイル202には、部屋ID、部屋名称、機器・センサ種類ID、機器・センサ名称、機器・センサID、および、属性の情報が、関連付けて定義される。なお、各センサ2および各機器3には、当該各センサ2および各機器3を特定できるIDが、予め付与されている。
なお、図3に示した内容は一例に過ぎず、例えば、レイアウト情報ファイル202には、図3に示した内容以外の情報が定義されるようになっていてもよく、レイアウト情報ファイル202は、各センサ2および各機器3と、当該各センサ2および各機器3が設置されている部屋との関連がわかるようになっていればよい。
ここで、図4は、実施の形態1において、記憶部20の機器情報履歴記憶部204に記憶される機器情報の内容の一例を説明するための図である。
図4に示す機器情報には、各機器3が設置されている部屋、各機器3を識別する機器ID、各機器3に対する操作の内容、各機器3の属性の情報、および、各機器3の状態変化が検知された日時(日付および時刻)の情報が含まれている。
機器情報に含まれる機器3に対する操作の内容は、例えば、電源ONまたはOFF、温度の上げ下げ、風量変更、または、風向変更等である。
また、機器情報に含まれる機器3の属性の情報とは、例えば、機器3がエアコンである場合は、エアコンの設定温度の情報、換気、暖房、冷房等の運転モード変更の情報、風量の情報、または、風向きの情報等である。また、例えば、機器3がTVである場合は、視聴しているTV番組の番組名、放送局、ジャンル、出演者、または、番組照会のキーワード等である。なお、これは一例に過ぎず、機器3の属性情報は、機器3から得られる、機器3の詳細に関する任意の情報である。
図4に示すように、機器情報において、機器3に関連付けられる属性の情報は1種類に限らず、機器3の種類に応じて、属性の情報の内容と種類は異なる。すなわち、属性1〜Nには、操作された機器3の種類に応じて、機器3毎に異なる属性情報が関連付けられている。また、機器3に関連付けられる属性の情報の数も、機器3の種類に応じて異なるものであり、全ての機器3に対して同数の属性の情報が関連付けられるとは限らない。
ここで、図5は、実施の形態1において、記憶部20のセンサ情報履歴記憶部205に記憶されるセンサ情報の内容の一例を説明するための図である。
図5に示すセンサ情報には、各センサ2が設置されている部屋、各センサ2を識別するセンサID、センサ2の名称であるセンサ名称、センサ2の状態の情報、および、各センサ2の状態変化が検知された日時(日付および時刻)の情報が含まれている。
センサ2の状態の情報は、センサ2の種類に応じて異なる。例えば、センサ2が人感センサの場合は、センサ2の状態の情報は、住人を検知(ON)した/検知しない(OFF)に関する情報、または、住人を検知した回数の情報等である。また、例えば、センサ2が温度センサの場合は、センサ2の状態の情報は、定期的に取得した室温等の情報である。
ここで、図6は、実施の形態1において、記憶部20の居場所履歴記憶部207に記憶される居場所情報の内容の一例を説明するための図である。
図6に示す居場所情報には、各住人の住人ID、在室している部屋IDと部屋名称、および、日時(日付および時刻)の情報が含まれている。居場所情報に含まれる日時の情報は、各住人が、該当の部屋に入室した日時の情報、または、該当の部屋から退室した日時の情報である。
なお、図6に示す居場所情報には、部屋IDの情報と部屋名称の情報とが両方含まれるものとしているが、これに限らず、居場所情報には、部屋IDまたは部屋名称のいずれか一つの情報のみが含まれるようにしてもよい。また、居場所情報には、住人IDではなく住人名称の情報のみが含まれるようにしてもよいし、住人IDと住人名称の情報とが両方含まれるようにしてもよい。
ここで、図7は、実施の形態1において、記憶部20の行動履歴記憶部209に記憶される行動情報の内容の一例を説明するための図である。
図7に示す行動情報には、各住人の住人ID、当該住人が行った行動の内容を表す情報、および、日時(日付および時刻)の情報が含まれている。行動情報に含まれる日時の情報は、各住人が、該当の行動を開始した開始日時の情報、または、該当の行動を終了した終了日時の情報である。
なお、図7に示す行動情報では、行動の内容を表す情報は、行動を示す名称の情報とするものとしているが、これに限らず、行動IDの情報としてもよい。また、行動情報には、住人IDに代えて住人名称の情報が含まれるようにしてもよいし、住人IDと住人名称の情報とが両方含まれるようにしてもよい。
受付部30は、ユーザによる各種操作を受け付ける。ユーザは、例えば、マウスまたはキーボード等の入力装置(図示省略)を操作して、所望の操作を入力する。受付部30は、入力装置から、ユーザが入力した操作に関する情報を受け付け、受け付けた操作に関する情報を、制御部10に出力する。
以下の説明においては、一例として、行動可視化装置1は、住宅における住人の居場所、または、行動に関する情報等を、階層構造を用いて可視化するものとする。住人とは、住人Aおよび住人Bの家族2人とする。なお、これは一例に過ぎず、住人は1人以上であればよい。
図8は、実施の形態1における行動可視化装置1の動作を説明するフローチャートである。
検知部101は、部屋内の各機器3、または、各センサ2から情報を受信する。検知部101は、部屋内の各機器3から受信した情報に基づき、各機器3の状態変化を検知し、検知情報を日時の情報と関連付け、機器情報として、記憶部20の機器情報履歴記憶部204に記憶させる。また、検知部101は、部屋内の各センサ2から受信した情報に基づき、各センサ2の状態変化を検知し、検知情報を日時の情報と関連付け、センサ情報として、記憶部20のセンサ情報履歴記憶部205に記憶させる(ステップST801)。また、検知部101は、機器情報およびセンサ情報の両方を、居場所推定部102および行動推定部103に出力する。
検知部101は、部屋内の各機器3から情報を受信し、状態が変化した機器3を検知する(ステップST901)。例えば、住人が、機器3の電源をONにする、または、機器3の設定内容を変更する等の操作を行うと、機器3の状態は変化する。検知部101は、機器3から受信した情報に基づき、機器3の状態変化を検知する。
検知部101は、センサ2から受信するセンサ情報について、2種類のタイプに応じて、情報の受信方法を変える。
検知部101は、例えば、人感センサまたはドアの開閉センサ等のように、住人の検知、または、住人の操作を検知するタイプのセンサ2(タイプAとする)からは、当該タイプAのセンサ2が検知を行う都度、情報を受信する。
すなわち、検知部101は、常時、タイプAのセンサ2から情報が送信されるかどうかを監視しており、タイプAのセンサ2が住人または住人の操作を検知した場合は、直ちに、センサ2から情報を受信する。
これに対し、検知部101は、例えば、温度センサまたは照度センサ等のように、住人の行動または操作とは関係なく、計測された物理量を収集するタイプのセンサ2(タイプB)からは、予め設定された時間間隔で定期的に情報を収集する。
検知部101は、ステップST1001において、タイプAのセンサ2から情報を受信していないと判定した場合(ステップST1001の”NO”の場合)、ステップST1003の処理に進む。
検知部101は、ステップST1001において、タイプAのセンサ2から情報を受信したと判定した場合(ステップST1001の”YES”の場合)、受信した情報を、センサ情報(例えば、図5参照)として、記憶部20のセンサ情報履歴記憶部205に記憶させる(ステップST1002)。例えば、ある部屋で、部屋内に設置された人感センサが住人を検知すると、検知部101は、当該人感センサから住人を検知した旨の情報を受信し、センサ情報履歴記憶部205に記憶させる。
検知部101は、ステップST1003において、定期測定時刻になっていないと判定した場合(ステップST1003の”NO”の場合)、処理終了する。
検知部101は、ステップST1003において、定期測定時刻になったと判定した場合(ステップST1003の”YES”の場合)、タイプBのセンサ2から情報を収集し(ステップST1004)、収集した情報を、センサ情報として、記憶部20のセンサ情報履歴記憶部205に記憶させる(ステップST1005)。
居場所推定部102は、ステップST801において、検知部101から出力された、機器情報およびセンサ情報に基づき、住人の居場所を推定し、推定した住人の居場所と日時の情報とを関連付けた居場所情報を、居場所履歴記憶部207に記憶させる(ステップST802)。
居場所推定部102は、検知部101から、機器情報およびセンサ情報を取得すると、センサ情報履歴記憶部205を参照し、当該センサ情報(以下「現センサ情報」という。)を取得した時刻から所定時間以内の過去のセンサ情報があるかどうかを判定する(ステップST1101)。所定時間は、予め設定されており、実施の形態1では、例えば、10分間とする。なお、これは一例であり、所定時間は、適宜設定可能である。
居場所推定部102は、ステップST1101において、現センサ情報を取得した時刻から所定時間以内の過去のセンサ情報がないと判定した場合(ステップST1101の”NO”の場合)、処理終了する。
例えば、ステップST801において、検知部101が、リビングに設置されている人感センサ(1)から住人を検知したことを示す情報を受信し、当該情報に基づくセンサ情報を居場所推定部102に出力したとする。
居場所推定部102は、検知部101から、当該センサ情報(現センサ情報)を取得すると、センサ情報履歴記憶部205を参照し、現センサ情報を取得した日時からみて、過去10分以内に取得された過去のセンサ情報があるか判定する(ステップST1101参照)。その結果、過去10分以内に取得された過去のセンサ情報があると判定され、当該過去のセンサ情報により特定されるセンサが、ダイニングに設置されている人感センサ(2)であったとする。この場合、居場所推定部102は、移動元の部屋をダイニング、移動先の部屋をリビングと推定する。
具体的には、居場所推定部102は、居場所履歴記憶部207を参照し、最新の居場所がダイニングとなっている住人を、移動した住人と推定する。最新の居場所がダイニングとなっている住人がいない場合、居場所推定部102は、記憶部20の建物構造ファイル201を参照し、移動先であるリビングに移動可能な部屋を特定し、当該部屋が最新の居場所となっている住人を、移動した住人と推定する。
また、居場所推定部102は、推定した居場所情報を、行動推定部103に出力する。
行動推定部103は、ステップST801において検知部101から取得した機器情報およびセンサ情報と、ステップST802において居場所推定部102から取得した居場所情報と、予め定義され、記憶部20に記憶されている行動定義ファイル208の内容に基づき、住人の行動を推定し、推定結果を行動情報として行動履歴記憶部209に記憶させる(ステップST803)。
行動定義ファイル208では、例えば、図12に示すように、行動の種類と、当該行動が実行されたとみなすための条件と、当該条件の判定式とが、行動ごとに定義されている。
ユーザは、予め、図12に示すような行動定義ファイル208を定義し、記憶部20に記憶させておく。具体的には、ユーザは、入力装置から、行動定義ファイル208で定義する内容を入力し、受付部30が、当該入力された内容を受け付ける。そして、受付部30は、受け付けた内容を制御部10の定義設定部(図示省略)に出力し、定義設定部は、受付部30から出力された内容に基づき、行動定義ファイル208を作成し、記憶部20に記憶させる。
行動推定部103は、検知部101から、機器情報およびセンサ情報を取得し、居場所推定部102から居場所情報を取得すると、記憶部20に記憶されている行動定義ファイル208を参照し、行動定義ファイル208で定義された条件を満たす行動があるかどうかを判定する(ステップST1301)。
行動推定部103は、ステップST1301において、行動定義ファイル208で定義された条件を満たす行動がないと判定した場合(ステップST1301の“NO”の場合)、処理終了する。
要約条件設定部104は、受付部30から出力された要約条件設定指示情報、または、予め設定されている要約条件設定指示情報に基づき、要約条件を設定する。具体的には、要約条件設定部104は、予め記憶している処理プログラムを実行して、要約条件を設定する(ステップST804)。
要約条件設定指示情報は、例えば、ユーザが、その都度、入力装置を操作して要約条件の設定指示を入力し、受付部30が当該入力された設定指示を受け付け、要約条件設定指示情報として要約条件設定部104に出力する。また、要約条件設定指示情報は、行動可視化装置1の設定時等に、予め設定され記憶されているようにしてもよい。
(A) 対象とする期間の単位
(B) 開始日時、終了日時
(C) 期間または時間帯に対する特定の条件
(D) 人に関する情報を要約する際の単位時間
(E) 対象とする時間帯において人と関わりの深い部屋を抽出する条件
・在室度合抽出レベル
・移動頻度抽出レベル
(F) 行動を抽出する条件
(G) 関連情報を抽出する条件
要約条件設定部104は、(B)の日時として、住人と関わりの深い部屋または当該部屋で行われた主要行動等を分析し可視化することとする対象期間の、開始日時と終了日時を設定する。
要約条件設定部104は、(C)の特定の条件については、(A)の対象期間の単位に対して特定の条件を付与する場合に、当該特定の条件を設定する。特定の条件とは、例えば、特定の曜日、土日祝日のみ、平日のみ等の条件である。
要約条件設定部104は、(D)の単位時間として、(A)の対象期間の単位について、住人と関わりの深い部屋または当該部屋で行われた主要行動等を、どの程度の時間軸の粒度で分析するかの、分析単位としての単位時間を設定する。分析単位とは、例えば、(A)で設定した対象期間の単位を1日とし、行動可視化装置1において、住人の1日の居場所または当該居場所で行われた主要行動を分析して可視化する場合、2時間単位で分析するのか、5時間単位で分析するのか、といった単位時間である。例えば、(A)の対象期間の単位を1か月とした場合、要約条件設定部104は、「3日」または「1週間」等の日または週単位の条件を、(D)の単位時間として設定することもできる。例えば、(A)で設定した期間を1年とした場合、要約条件設定部104は、「2か月」等の月単位の条件を、(D)の単位時間として設定することもできる。
当該(D)の単位時間として設定された条件に基づき、住人と関わりの深い部屋または当該部屋で行われた主要行動等を分析する動作については、後述する。
要約条件設定部104は、さらに、住人と関わりの深い部屋を抽出するための抽出条件として、住人の在室時間の度合が上位何位までを抽出するかを指定した在室度合抽出レベルと、住人の在室時間の度合が最大の部屋(以下「要約居場所」という。)との間で移動頻度が高い部屋を上位何位まで抽出するかを指定した移動頻度抽出レベルを設定する。
例えば、住人の在室時間の度合が上位3位までの部屋を抽出することを指定する場合は、要約条件設定部104は、在室度合抽出レベルに「3」を設定する。また、住人の移動頻度が高い部屋を上位2位まで抽出することを指定する場合は、要約条件設定部104は、移動頻度抽出レベルに「2」を設定する。
当該(E)の抽出条件として設定された条件に基づき、要約居場所との間で移動頻度が高い部屋を抽出する具体的な処理については、後述する。
住人が行った行動が主要行動であるかどうかを判断する判断基準としては、例えば、以下の(a)または(b)の判断基準があげられる。
(a)対象の時間帯において、その行動が行われた時間の合計
(b)対象の時間帯において、その行動が行われた回数の合計
上記(a)または(b)のいずれの判断基準を、(F)の抽出条件に設定するかは、要約条件設定部104が、例えば、ユーザからの指示に基づき、適宜決定する。
なお、上記(a)および(b)の判断基準は一例に過ぎず、要約条件設定部104は、上記(a)および(b)以外の判断基準を、(F)の抽出条件として設定するようにしても構わない。
なお、当該(F)の抽出条件として設定された条件に基づき、住人が行った主要行動を抽出する具体的な処理については、後述する。
なお、当該(G)の抽出条件として設定された条件に基づき、住人と関わりの深い関連情報を抽出する具体的な処理については、後述する。
重要部屋抽出部105は、記憶部20の居場所履歴記憶部207に記憶されている居場所情報を参照し、ステップST804において要約条件設定部104が設定した要約条件に基づき、各時間帯において、住人と関わりの深い部屋を抽出する。
まず、重要部屋抽出部105の在室時間分析部1051は、記憶部20の居場所履歴記憶部207に記憶されている居場所情報を参照し、要約条件設定部104で設定された要約条件に基づき、住人が、各時間帯に在室していた在室時間の度合が最大の部屋を要約居場所として抽出する。また、在室時間分析部1051は、要約居場所に続いて在室時間の度合が大きい部屋を、要件条件で指定された順位に従って上位から検索し、関連部屋として抽出する(ステップST805)。
以下の処理は、住人情報ファイル203で定義された住人毎に、住宅内の全ての部屋に対し行われる。
次に、在室時間分析部1051は、建物構造ファイル201を参照し、未処理の部屋(以下「在室時間分析対象部屋」という。)を一つ特定する(ステップST1402)。
在室時間分析部1051は、ステップST1404において、未処理の部屋があると判定した場合(ステップST1404の“YES”の場合)、ステップST1402に戻り、以降の処理を繰り返す。すなわち、在室時間分析部1051は、次の未処理の部屋を、在室時間分析対象部屋と特定し、当該在室時間分析対象部屋に、在室時間分析対象住人が在室する時間の累積値を算出する。
在室時間分析部1051は、ステップST1407において、未処理の住人がいると判定した場合(ステップST1407の“YES”の場合)、ステップST1401に戻り、以降の処理を繰り返す。すなわち、在室時間分析部1051は、次の住人に関する情報を取得し、在室時間分析対象住人として、当該在室時間分析対象住人に対する要約居場所、および、関連部屋の抽出を行う。
在室時間分析部1051は、以上の処理を、住人情報ファイル203で定義された全ての住人に対して行う。
例えば、住人情報ファイル203で定義された住人が、住人A,住人Bの2人であり、居場所履歴記憶部207の内容が、図15に示すような内容であったとする。
なお、図15において、住人Aの住人IDは「1」、住人Bの住人IDは「2」としている。
また、要約条件設定部104によって設定された要約条件の内容は、以下のとおりとする。以降の説明において、具体例をあげて説明する際は、要約条件は以下のとおりであるものとする。
(A)対象とする期間の単位:1日
(B)開始日時、終了日時:2017年1月15日6時、2017年1月15日22時
(C)期間または時間帯に対する特定の条件:なし
(D)人に関する情報を要約する際の単位時間:4時間
(E)対象とする時間帯において人と関わりの深い部屋を抽出する条件
・在室度合抽出レベル:3
・移動頻度抽出レベル:2
(F)行動を抽出する条件:3
(G)関連情報を抽出する条件:2
続いて、在室時間分析部1051は、建物構造ファイル201を参照し、未処理の部屋として、部屋IDが「1」のリビングの情報を取得し、当該リビングを在室時間分析対象部屋と特定する(図14のステップST1402)。
在室時間分析部1051は、住人Aについて、居場所履歴記憶部207の居場所情報を参照し、2017年1月15日6時から4時間毎に区切って設定された時間帯(6時〜10時、10時〜14時、14時〜18時、および18時〜22時)毎にリビングに在室した在室時間の累積値を算出する(ステップST1403)。なお、説明の簡単のため、以下、適宜、対象期間となっている2017年1月15日6時〜22時について、年の記載を省略して単に月日、または、年月の記載を省略して単に時間の記載とする。
例えば、6時〜10時の住人Aの各部屋の在室時間の累積値が図16に示す内容であったとすると、在室時間の累積値が最大となる部屋は「キッチン」である。よって、在室時間分析部1051は、「キッチン」を、要約居場所として抽出する。
例えば、要約条件によると、在室度合抽出レベルは「3」であるため、在室時間分析部1051は、在室時間の累積値が上位3位までの部屋を、関連部屋として抽出する。その結果、図16によると、6時〜10時の時間帯について、在室時間の累積値の上位1位は「キッチン」であり、上位2位は「リビング」であり、上位3位は「個室A」となる。
したがって、在室時間分析部1051は、要約居場所である「キッチン」に続いて在室時間の度合が大きい「リビング」と「個室A」を、関連部屋として抽出する。
在室時間分析部1051は、10時〜14時、14時〜18時、および18時〜22時の各時間帯においても、それぞれ、時間帯毎に、在室時間の累積値が最大である要約居場所に続いて在室時間の度合いが大きい上位2位,3位の部屋を関連部屋として抽出する。
そして、在室時間分析部1051は、時間帯毎に、要約居場所、および、関連部屋に関する情報を、住人を特定する情報と関連付けて、在室時間分析後情報として、移動頻度分析部1052に出力する。
図17に示すように、在室時間分析部1051は、住人毎に、各時間帯と、当該住人と関わりの深い部屋、すなわち、要約居場所および関連部屋の情報とを関連付けた情報を出力する。また、当該在室時間分析部1051が出力する在室時間分析後情報には、在室時間の度合、すなわち、在室時間の累積値の情報も関連付けられている。
次に、移動頻度分析部1052は、ステップST805において在室時間分析部1051から出力された在室時間分析後情報、および記憶部20の居場所履歴記憶部207に記憶されている居場所情報に基づき、住人毎に、各時間帯における、要約居場所とその他の部屋との間の移動頻度を算出し、算出した当該移動頻度と、要約条件で定義された、移動頻度抽出レベルに基づき、移動頻度の高い部屋を関連部屋として抽出する(ステップST806)。そして移動頻度分析部1052は、抽出した関連部屋の情報を、ステップST805において在室時間分析部1051から出力された在室時間分析後情報に追加し、重要部屋情報とする。
まず、重要部屋抽出部105の移動頻度分析部1052は、在室時間分析部1051から出力された在室時間分析後情報に基づき、未処理の住人(以下「移動頻度分析対象住人」という。)を特定する(ステップST1801)。例えば、移動頻度分析部1052は、移動頻度分析対象住人として、住人Aを特定する。
次に、移動頻度分析部1052は、在室時間分析部1051から出力された在室時間分析後情報に基づき、未処理の時間帯(以下「移動頻度分析対象時間帯」という。)を一つ特定する(ステップST1802)。例えば、移動頻度分析部1052は、1月15日の6時〜10時の時間帯を移動頻度分析対象時間帯と特定する。
以下の処理は、在室時間分析後情報で設定されている住人毎に、各時間帯に対して行われる。
例えば、住人Aに対する1月15日の6時〜10時の要約居場所は、前述したように「キッチン」であり(図17等も参照)、移動頻度分析部1052は、「キッチン」を示す情報を取得する。
その結果、移動頻度分析部1052は、例えば、図19に示すような移動頻度を算出する。図19に示すように、移動頻度分析部1052は、例えば、「キッチン」から「洗面室」への移動と「洗面室」から「キッチン」への移動等、要約居場所からある部屋との行き来をまとめて、要約居場所と当該ある部屋間との移動頻度とする。
また、このとき、移動頻度分析部1052は、移動頻度分析対象住人による、移動頻度分析対象時間帯における、要約居場所以外の部屋同士の移動回数も算出しておく。また、移動頻度分析部1052は、移動頻度分析対象住人による、移動頻度分析対象時間帯における、部屋間の移動回数の総和についても算出しておく。
具体的には、移動頻度抽出レベルには「2」が指定されているので、移動頻度分析部1052は、算出した移動頻度の情報に基づき、移動頻度が高い上位2つの部屋を関連部屋として抽出する。
6時〜10時の時間帯における住人Aの移動頻度は、図19のとおりであるので、移動頻度分析部1052は、6時〜10時の時間帯における関連部屋として、「ダイニング」と、「洗面室」を抽出する。
移動頻度分析部1052は、ステップST1806において、未処理の時間帯があると判定した場合(ステップST1806の“YES”の場合)、ステップST1802に戻り、以降の処理を繰り返す。すなわち、移動頻度分析部1052は、次の未処理の時間帯を移動頻度分析対象時間帯と特定し、当該移動頻度分析対象時間帯における、移動頻度分析対象住人の移動頻度を算出する。
移動頻度分析部1052は、未処理の時間帯(10時〜14時、14時〜18時、および18時〜22時)があるため、ステップST1802に戻り、10時〜14時の時間帯を、移動頻度分析対象時間帯として特定する。そして、上述したように、移動頻度分析部1052は、10時〜14時の時間帯の住人Aについて、要約居場所の情報を取得し、当該要約居場所とその他の各部屋への移動頻度を算出する。そして、移動頻度分析部1052は、要約条件の移動頻度抽出レベルに基づき、関連部屋を抽出する。
このようにして、移動頻度分析部1052は、住人Aについて、6時〜10時、10時〜14時、14時〜18時、および18時〜22時の時間帯毎に、要約居場所と他の部屋との間の移動回数を移動頻度として算出し、移動頻度が要約条件で指定された移動頻度抽出レベルに該当する関連部屋を抽出する。
移動頻度分析部1052は、ステップST1807において、未処理の住人がいると判定した場合(ステップST1807の“YES”の場合)、ステップST1801に戻り、以降の処理を繰り返す。すなわち、移動頻度分析部1052は、次の住人を移動頻度分析対象住人として特定し、当該移動頻度分析対象住人に対する、時間帯毎の移動頻度の算出、および、関連部屋の抽出を行う。
移動頻度分析部1052は、以上の処理を、在室時間分析部1051から出力された在室時間分析後情報に含まれる全ての住人に対して行う。
図20に示すように、重要部屋情報は、移動頻度分析部1052が移動頻度に基づいて抽出した関連部屋の情報が、在室時間分析後情報(図17参照)に追加された情報である。なお、説明の簡単のため、図20では、各時間帯における、要約居場所以外の部屋同士の移動回数、および、部屋間の移動回数の総和については、記載を省略している。
また、移動頻度分析部1052は、移動頻度に基づいて、在室時間分析後情報に関連部屋の情報を追加する際、追加した関連部屋における各住人の在室時間の累積値の情報を、重要部屋情報に設定するようにする。移動頻度分析部1052は、自身が抽出した関連部屋における各住人の在室時間の累積値の情報は、在室時間分析部1051から取得するようにすればよい。また、移動頻度分析部1052は、重要部屋情報において、在室時間分析後情報で設定されていた関連部屋について、要約居場所との間の移動頻度の情報を設定するようにする。
図8のステップST805では、図14〜図17を用いて説明したように、在室時間分析部1051が、各住人の、時間帯毎の在室時間の度合を算出し、各時間帯における要約居場所および関連部屋を抽出し、在室時間分析後情報を生成する。
また、図8のステップST806では、図18〜図20を用いて説明したように、移動頻度分析部1052が、各住人の、時間帯毎の、要約居場所とその他の部屋との間の移動頻度を算出し、各時間帯における関連部屋を抽出する。そして、移動頻度分析部1052は、在室時間分析後情報に、自身が抽出した関連部屋の情報を追加し、重要部屋情報とする。
上述した例でいうと、図8のステップST805、および、ステップST806の処理により、重要部屋抽出部105は、例えば、住人Aの6時〜10時の時間帯の要約居場所として「キッチン」を抽出し、関連部屋として「リビング」、「個室A」、「ダイニング」、および、「洗面室」を抽出する(図20参照)。
具体的には、図形生成部106は、時間軸上に時間帯毎の要約居場所を表す図形を親ノードとして表示させ、関連部屋を表す図形を、当該要約居場所を表す図形の下位に階層構造で表示させる描画用図形データを生成する。
実施の形態1では、図形生成部106は、各要約居場所、および、各関連部屋を表す図形を円として、描画用図形データを生成するものとする。なお、これは一例に過ぎず、要約居場所、および、関連部屋を表す図形は、例えば、円、四角等の任意の図形とすることができ、予め、ユーザによって適宜設定可能である。
まず、図形生成部106は、ステップST805において移動頻度分析部1052から出力された重要部屋情報に基づき、未処理の住人(以下「描画対象住人」という。)を特定する。また、図形生成部106は、横軸を時間軸とし、時間帯毎に目盛りを描画するための時間軸データを生成する(ステップST2101)。例えば、上述の例でいうと、図形生成部106は、住人Aを特定し、6時〜10時、10時〜14時、14時〜18時、および18時〜22時の4つの時間帯を示す目盛りを描画するための時間軸データを生成する。
(描画対象要約居場所の円の半径)
=(処理対象の時間帯における描画対象要約居場所の在室時間の累積値)/(単位時間)*(定数) ・・・(式1)
例えば、住人Aについて、6時〜10時の時間帯の要約居場所は「キッチン」であり、在室時間分析部1051が算出した6時〜10時の「キッチン」の在室時間の累積値は1時間19分(=79分)である(図16,図17等参照)。よって、図形生成部106は、以下のとおり、(式1)に基づき、「キッチン」を表す円の半径を算出する。
(キッチンの円の半径)=79/240*300=98.75
なお、この場合の定数は、300としている。
ここで、図22A〜図22Cは、実施の形態1において、図形生成部106による描画対象とする要約居場所を表す円および関連部屋を表す円の中心座標を算出する具体的な動作の一例について説明するための図である。
図形生成部106は、以下に説明するような動作によって、描画対象要約居場所を表す円の中心座標を算出する。図形生成部106は、後述する、描画対象関連部屋を表す円の中心座標も、以下に説明するような動作によって、算出する。
図形生成部106は、要約居場所について、要約居場所の対象時間帯(図22Aの場合、例えば、6:00〜10:00までの目盛り)の線分上の中点を、要約居場所を表わす円の中心座標とする(図22A参照)。
図形生成部106は、関連部屋については、以下のとおり、関連部屋を表す円の中心座標を算出する。
関連部屋の個数をNとする。
i=1番目の関連居場所の中心座標を以下で算出する。
・N=1の場合 Θ=90として、要約居場所と関連部屋1を結ぶ線分1の長さと要約居場所の中心座標から、関連部屋1の中心座標を算出(図22B参照)。
・N≧2の場合は、Θ=Θ0から開始。(Θ0は初期値。例えばΘ0=50)。
関連部屋1の時はΘ=Θ0として、上記のようにして最初の関連部屋1の配置が決まる。
関連部屋2の時はΘ=Θ0+δとして、関連居場所2と要約居場所とを結ぶ円の半径と要約居場所の中心座標から関連部屋2の円の中心座標を算出。算出した中心座標で関連部屋2を配置した場合に、関連部屋2の円と関連部屋1の円と重なりがないかどうかを調べる。重なりの判定は一般的な手法(図形同士の交差判定)を用いる。
重なりがなければ中心座標を確定。
重なりがある場合はδを微小だけ増やす、あるいは減らして重ならない位置に置く。(δを増やすか減らすかは、重なっている相手の円がどちら側にあるかに依る)
関連部屋iの時はΘ=Θ0+(i−1)δ
ここでδ=(180−2Θ)/(N−1)
関連部屋2の時と同様にして、周囲の円との重なり判定を行い、重なりがある場合は微調整する。
i=Nまで繰り返す。
上記例ではΘ0=50としているが、他の値でも良い。(以上、図22Cを参照)
図形生成部106は、移動頻度分析部1052から出力された重要部屋情報に基づき、描画対象要約居場所に関連付けられた関連部屋のうち、未処理の関連部屋(以下「描画対象関連部屋」という。)を特定する(ステップST2105)。
例えば、図形生成部106は、描画対象関連部屋として、まず、「リビング」を取得する。
まず、図形生成部106は、重要部屋抽出部105から取得した重要部屋情報(図8のステップ806参照)の、描画対象住人が描画対象関連部屋に在室した在室時間の累積値に基づき、図21のステップST2105で特定した描画対象関連部屋を表す円の半径を以下の(式2)に基づき算出する(ステップST2201)。
(描画対象関連部屋の円の半径)
=(描画対象時間帯における描画対象関連部屋の在室時間の累積値)/(単位時間)*(定数) ・・・(式2)
したがって、図形生成部106は、以下のとおり、(式2)に基づき、「リビング」を表す円の半径を算出する。
(リビングの円の半径)=54/240*300=67.5
なお、ここでは、定数を300としている。
図形生成部106は、ステップST2202において、描画対象関連部屋が、描画対象要約居場所と直接接続していないと判定した場合(ステップST2202の“NO”の場合)、ステップST2205に進む。
例えば、建物構造ファイル201の内容が、図2に示すような内容であったとすると、描画対象関連部屋である「リビング」と、描画対象要約居場所である「キッチン」とは直接接続していないため、ステップST2205に進む。
図形生成部106は、ステップST2205において、接続関連部屋があると判定した場合(ステップST2205の“YES”の場合)、ステップST2207に進む。
図形生成部106は、ステップST2205において、接続関連部屋がないと判定した場合(ステップST2205の“NO”の場合)、ステップST2206に進む。
建物構造ファイル201(図2)によると、6時〜10時の時間帯において、「リビング」以外の関連部屋、すなわち、「洗面室」、「ダイニング」、または「個室A」の中で、「ダイニング」が「リビング」と直接接続しているので、ステップST2207に進む。
上述の例でいうと、図形生成部106は、ステップST2207において、描画対象関連部屋である「リビング」を表す円と、「リビング」の接続関連部屋である「ダイニング」を表す円とを結ぶ長さを算出する。
(部屋1を表す円と、部屋2を表す円とを結ぶ線分の長さ)
=(描画対象時間帯内の部屋間移動回数の総和)/(描画対象時間帯における部屋1と部屋2との間の移動回数)*(定数) ・・・(式3)
(リビングを表す円とダイニングを表す円とを結ぶ線分の長さ)
=20/1*20=200
ここでは、定数を20としている。
また、図形生成部106は、「リビング」を表す円と「ダイニング」を表す円とを結ぶ線分を実線に設定する。
すなわち、図形生成部106は、「リビング」を表す円を、「ダイニング」を表す円の下位ノードとして、「リビング」を表す円の中心座標を算出する。描画対象関連部屋を「リビング」とした場合の処理は、以上で終了する。
ステップST2203〜ステップST2204の処理、ステップST2215の処理については、具体例をあげて後述することとし、図21のフローチャートに戻る。
図形生成部106は、ステップST2107において、未処理の関連部屋がないと判定した場合(ステップST2107の“NO”の場合)、ステップST2108に進む。
図形生成部106は、ステップST2107において、未処理の関連部屋があると判定した場合(ステップST2107の“YES”の場合)、ステップST2105に戻り、以降の処理を繰り返す。すなわち、図形生成部106は、次の未処理の関連部屋を描画対象関連部屋と特定し、当該描画対象関連部屋を表す半径等を算出する(ステップST2106)。
上述の例では、未処理の関連部屋として、「個室A」があるので、図形生成部106は、「個室A」を描画対象関連部屋と特定して(ステップST2105)、ステップST2106の処理を行う。
当該「個室A」に対するステップST2106の処理の詳細を、再び図23を用いて説明する。なお、図23の処理について、すでに説明済みの内容については、詳細な説明を省略する。
(個室Aを表す円の半径)=40/240*300=50
1階にある「キッチン」から2階にある「個室A」には、住人は、廊下または階段を通って移動しなければならない。よって、図形生成部106は、「キッチン」と「個室A」とは、直接接続していないと判定し(ステップST2202の“NO”の場合)、ステップST2205に進む。
図形生成部106は、描画対象時間帯における他の関連部屋の中に、描画対象関連部屋である「個室A」の接続関連部屋があるかどうかを判定する(ステップST2205)。
「個室A」の接続関連部屋はないため、ステップST2206に進む。
具体的には、図形生成部106は、描画対象要約居場所である「キッチン」を表す円と、描画対象関連部屋である「個室A」を表す円とを結ぶ線分の長さを、(式3)に基づき、以下のとおり算出する。
また、図形生成部106は、「キッチン」を表す円と「個室A」を表す円とを結ぶ線分の種別を点線に設定する。
(キッチンを表す円と個室Aを表す円とを結ぶ線分の長さ)
=20/1*20=200
すなわち、図形生成部106は、「個室A」を表す円を、「キッチン」を表す円の下位ノードとして、「個室A」を表す円の中心座標を算出する。
描画対象関連部屋を「個室A」とした場合の処理は、以上で終了する。
例えば、「ダイニング」を描画対象関連部屋とした場合、図23のステップST2201において、図形生成部106は、当該「ダイニング」を表す円の半径を、(式2)に基づき、以下のように算出する。
(ダイニングを表す円の半径)=21/240*300=26.25
ステップST2203において、図形生成部106は、描画対象要約居場所を表す円と、描画対象関連部屋を表す円とを結ぶ線分の長さを算出し、当該線分の種別の設定を実線とする(ステップST2203)。
具体的には、図形生成部106は、描画対象要約居場所である「キッチン」を表す円と、描画対象関連部屋である「ダイニング」を表す円とを結ぶ線分の長さを、(式3)に基づき、以下のとおり算出する。
(キッチンを表す円とダイニングを表す円とを結ぶ線分の長さ)
=20/5*20=80
また、図形生成部106は、「キッチン」を表す円と「ダイニング」を表す円とを結ぶ線分の種別を実線に設定する。
描画対象関連部屋を「ダイニング」とした場合の処理は、以上で終了する。
具体的には、図形生成部106は、6時〜10時の時間帯における「洗面室」での住人Aの在室時間の累積値に基づき、「洗面室」を表す円の半径を算出する(ステップST2201)。なお、図2に示した建物構造ファイル201では、間取りの一部を示しているため、洗面室が示されていないが、洗面室は、キッチンと直接接続しているものとする(ステップST2202の“YES”の場合)。
次に、図形生成部106は、「キッチン」と「洗面室」の間の移動頻度に基づき、「キッチン」を表す円と「関連部屋」を表す円とを結ぶ線分の長さを算出して、当該線分を実線とする(ステップST2203)。
そして、図形生成部106は、「洗面室」を表す円を、「キッチン」を表す円の下位ノードとして、「洗面室」を表す円の中心座標を算出する。
なお、図24においては、上述の例のように、図形生成部106は、6時〜10時の時間帯において、要約居場所を表す円、各関連部屋を表す円、および、各部屋を結ぶ線分の長さと種別等を決定し、当該6時〜10時の時間帯の描画用図形データを生成した場合の、当該描画用図形データを表示したイメージを示している。
図24に示すように、図形生成部106は、要約居場所、および、各関連部屋を表す円について、それぞれ、円の中に部屋名称を描画させる描画用図形データを生成することができる。
ステップST2102で特定した時間帯における、要約居場所、および、全ての関連部屋について、描画用図形データの生成が行われ、当該特定した時間帯における未処理の関連部屋がなくなると(ステップST2107の“NO”の場合)、図形生成部106は、未処理の時間帯があるか否かを判定する(ステップST2108)。
図形生成部106は、ステップST2108において、未処理の時間帯がないと判定した場合(ステップST2108の“NO”の場合)、ステップST2109に進む。
図形生成部106は、ステップST2108において、未処理の時間帯があると判定した場合(ステップST2108の“YES”の場合)、ステップST2102に戻り、以降の処理を繰り返す。すなわち、図形生成部106は、次の未処理の時間帯を描画対象時間帯と特定し、当該描画対象時間帯における、描画対象住人の、要約居場所、および、各関連部屋を表示させるための描画用図形データを生成する。
今、未処理の時間帯があるので、ステップST2102に戻り、図形生成部106は、次の描画対象時間帯として、10時〜14時を特定し、ステップST2103以降の処理を行う。ステップST2103以降の処理は、上記で説明した動作と同様であるため、詳細な説明は省略する。このように、図形生成部106は、6時〜10時、10時〜14時、14時〜18時、および18時〜22時の、重要部屋抽出部105から出力された重要部屋情報で示される全ての時間帯に対して、描画用図形データを生成する。
図形生成部106は、ステップST2109において、未処理の住人がいないと判定した場合(ステップST2109の“NO”の場合)、処理終了する。
図形生成部106は、ステップST2109において、未処理の住人がいると判定した場合(ステップST2109の“YES”の場合)、ステップST2101に戻り、以降の処理を繰り返す。すなわち、図形生成部106は、次の未処理の住人を描画対象住人と特定し、当該描画対象住人について、各時間帯における、要約居場所、および、各関連部屋を表示させるための描画用図形データを生成する。
ステップST2102以降の処理については、上記で説明した処理と同様であるため、詳細な説明を省略する。
このように、図形生成部106は、全ての住人に対して、各時間帯における、要約居場所、および、各関連部屋を表示させるための描画用図形データを生成する。
ここで、図25は、実施の形態1において、図形生成部106が生成する描画用図形データの内容の一例を示す図である。
図25に示すように、描画用図形データには、住人毎に、要約居場所に関する描画用図形データ、および、各関連部屋に関する描画用図形データが対応付けられている。要約居場所に関する描画用図形データ、および、各関連部屋に関する描画用図形データには、部屋名称、部屋を表す円の半径、部屋を表す円の中心座標、当該部屋と他の部屋とを結ぶ線分の長さおよび種別、および、接続される部屋の情報が含まれる。なお、図25では図示を省略しているが、描画用図形データには、時間軸データも含まれる。
行動情報付与部107は、記憶部20の行動履歴記憶部209に記憶されている行動情報と、要約条件に基づき、時間帯毎に、要約居場所、および、関連部屋における、住人と関わりの深い行動を抽出し、抽出した行動に関する情報を、ステップST807で出力された描画用図形データに関連付ける。(ステップST808)。
行動情報付与部107は、ステップST807において図形生成部106から出力された描画用図形データに基づき、未処理の住人(以下「行動付与対象住人」という。)を特定する(ステップST2501)。
例えば、行動情報付与部107は、住人Aを、行動付与対象住人と特定する。
例えば、行動情報付与部107は、1月15日の6時〜10時の時間帯を、行動付与対象時間帯と特定する。
例えば、行動情報付与部107は、6時〜10時の時間帯における、住人Aの要約居場所である「キッチン」と、各関連部屋である「リビング」、「個室A」、「洗面室」、および、「ダイニング」での住人Aの行動を、抽出する。このとき、行動情報付与部107は、要約居場所、および、各関連部屋での行動が複数ある場合は、要約条件設定部104が設定した要約条件(ステップST804参照)における、(F)の抽出条件で指定された件数を上限として、抽出する。要約条件では、(F)の抽出条件で「3」と指定されているので、行動情報付与部107は、最大上位3件を抽出する。
なお、どのような行動を、住人の主要行動として判断するかどうかの判断基準は、予め、要約条件設定部104が要約条件における(F)の抽出条件で設定している(ステップST804参照)。
行動情報付与部107は、当該(F)の抽出条件で設定された判断基準に基づき、住人Aの主要行動と判断される行動を、(F)の抽出条件で指定された件数だけ、要約居場所および各関連部屋での行動を抽出する。
例えば、行動情報付与部107は、要約条件における(F)において、住人の主要行動として判断する判断基準として、「対象の時間帯において、その行動が行われた回数の合計」が設定されていたとすると、住人Aの、6時〜10時における、要約居場所および各関連部屋で行われた行動のうち、行われた回数の合計が多い順から3つの行動を、抽出する。
行動情報付与部107は、ステップST2503において抽出した各行動に関する情報を、図形生成部106が出力した描画用図形データ(図25参照)に、属性情報として付加することで、描画用図形データとステップST2503において抽出した各行動に関する情報とを関連付ける(ステップST2504)。
図28では、一例として、行動情報付与部107が、図25で示したような描画用図形データに、属性情報を関連付けた場合の例を示している。
図28に示すように、例えば、要約居場所である「キッチン」に対する行動として抽出された「料理」という行動は、「キッチン」を表す円の属性情報として関連付けられる。同様に、例えば、関連部屋である「リビング」を表す円の属性情報として、「団欒」、および、「テレビ視聴」という行動が、関連付けられる。
行動情報付与部107は、ステップST2505において、未処理の時間帯がないと判定した場合(ステップST2505の“NO”の場合)、ステップST2506に進む。
行動情報付与部107は、ステップST2505において、未処理の時間帯があると判定した場合(ステップST2505の“YES”の場合)、ステップST2502に戻り、以降の処理を繰り返す。
今、未処理の時間帯があるため、行動情報付与部107は、ステップST2502に戻り、次の時間帯として、10時〜14時の時間帯を行動付与対象時間帯として特定し、6時〜10時と同様にして、住人Aの行動のうち、要約居場所、および、各関連部屋で行われていた行動を抽出する。そして、行動情報付与部107は、抽出した行動に関する情報を、描画用図形データに、属性情報として関連付ける。
行動情報付与部107は、ステップST2506において、未処理の住人がいないと判定した場合(ステップST2506の“NO”の場合)、処理終了する。
行動情報付与部107は、ステップST2506において、未処理の住人がいると判定した場合(ステップST2506の“YES”の場合)、ステップST2501に戻り、以降の処理を繰り返す。すなわち、行動情報付与部107は、住人Bを、行動付与対象住人として、ステップST2502以降の処理を繰り返す。ステップST2502以降の処理については、上記で説明した内容と同様であるため、詳細な説明を省略する。
このように、行動情報付与部107は、全ての住人について、全ての時間帯に対して、描画用図形データに、属性情報として、行動に関する情報を関連付ける。
行動情報付与部107は、行動に関する情報を関連付けた描画用図形データを、記憶部20に記憶させるとともに、関連情報付与部108に出力する。
関連情報付与部108は、機器情報履歴記憶部204に記憶されている機器情報、センサ情報履歴記憶部205に記憶されているセンサ情報、および、その他情報履歴記憶部206に記憶されているその他情報に基づき、時間帯毎に、要約居場所、および、関連部屋における住人と関わりの深い関連情報を抽出し、抽出した関連情報を、ステップST808で出力された、行動に関する情報が関連付けられた描画用図形データに関連付ける(ステップST809)。関連情報には、機器情報、センサ情報、および、画像または映像等の情報が含まれる。
行動情報付与部107は、ステップST807において、図形生成部106から出力された描画用図形データに基づき、未処理の住人(以下「関連付与対象住人」という。)を特定する(ステップST2801)。
例えば、関連情報付与部108は、住人Aを、関連付与対象住人と特定する。
例えば、関連情報付与部108は、1月15日の6時〜10時の時間帯を、関連付与対象時間帯と特定する。
具体的には、関連情報付与部108は、6時〜10時の時間帯における住人Aの要約居場所である「キッチン」と、各関連部屋である「リビング」、「個室A」、「洗面室」、および、「ダイニング」での、機器3、または、センサ2の状態が変化した状態変化回数を算出する。
まず、関連情報付与部108が、6時〜10時の時間帯における住人Aの要約居場所である「キッチン」での、機器3、または、センサ2の状態が変化した状態変化回数を算出する動作を説明する。
関連情報付与部108は、「キッチン」から取得された機器情報、および、センサ情報であるかどうかは、記憶部20に記憶されているレイアウト情報ファイル202に基づき判定すればよい。レイアウト情報ファイル202には、機器3、または、センサ2が設置されている部屋が定義されている(図3参照)。
また、機器情報には、例えば、リビングに設置されている照明がONにされた等、機器3の状態が変化した際に取得された情報が、情報の取得日時の情報と関連付けられている(例えば、図4参照)。機器情報では、例えば、キッチンに設置されている冷蔵庫のドアが開いた等の、状態が変化した情報についても、情報の取得日時の情報と関連付けられている。
よって、関連情報付与部108は、例えば、レイアウト情報ファイル202から、冷蔵庫が「キッチン」に設置されていることを判定し、機器情報に設定されている、冷蔵庫のドアが開いたという情報は、「キッチン」から取得された情報であると判定できる。
関連情報付与部108は、6時〜10時の時間帯に、「キッチン」から取得された機器情報、および、センサ情報のレコード数をカウントすることで、「キッチン」での、機器3、または、センサ2の状態が変化した状態変化回数を算出する。
(ア)冷蔵庫開閉回数 6回
(イ)照明 ON 1回
(ウ)エアコン ON 1回
(エ)部屋内温度 20度
(オ)IHクッキングヒーター ON 2回
(カ)換気扇 ON 1回
センサ2が、温度センサ等のように、物理量を計測するタイプ(タイプB)のセンサ2の場合、関連情報付与部108は、関連付与対象時間帯である6時〜10時の時間帯における最終結果を取得する。センサ2が、温度センサ等のように、物理量を計測するタイプ(タイプB)のセンサ2の場合、検知部101が、予め設定された時間間隔で定期的に情報を収集しているため、関連情報付与部108は、センサ2の状態変化回数を0回とみなす。そして、関連情報付与部108は、関連付与対象時間帯における最終結果、すなわち、10時の時点で検知部101が収集した情報を、各センサ2から取得する。
すなわち、関連情報付与部108は、「(ア)冷蔵庫開閉回数 6回」、および、「(オ)IHクッキングヒーター ON 2回」の2件の状態変化回数の情報を抽出する。
なお、上述のとおり、関連情報付与部108は、タイプAのセンサ2である場合に、センサ2の状態変化回数の算出を行う。したがって、関連情報付与部108が、当該例のように、状態変化回数の情報のうち、回数の多い順に要約要件で指定されている件数分の状態変化回数の情報を抽出するのは、センサ2がタイプAのセンサである場合である。タイプAのセンサ2が存在しない部屋の場合は、関連情報付与部108は、タイプBのセンサ2から収集された情報のうち、任意の2件の情報を抽出することになる。
関連情報付与部108は、「(ア)冷蔵庫開閉回数 6回」、および、「(オ)IHクッキングヒーター ON 2回」の2件の状態変化回数の情報を、関連情報として、描画用図形データにおいて、要約居場所である「キッチン」に関連付ける。
また、関連情報付与部108は、その他の情報(イ)、(ウ)、(エ)、(カ)を参照関連情報とし、当該参照関連情報の参照先を設定する。参照関連情報の参照先とは、例えば、ダイアログボックスである。関連情報付与部108は、参照関連情報および参照先の情報を、描画用図形データにおいて、要約居場所である「キッチン」に関連付ける。ここでは、「(イ)照明 ON」、「(ウ)エアコン ON」、「(エ)部屋内温度 20度」、および、「(カ)換気扇 ON」の参照関連情報、および、当該参照関連情報を示すダイアログボックスが、描画用データに関連付けられる。なお、参照関連情報および参照先の情報は、関連情報に含まれる。
関連情報付与部108は、その他情報履歴記憶部206に記憶されているその他情報に基づき、ステップST2802で特定した関連付与対象時間帯における、要約居場所、および、各関連部屋に関わりの深い情報を、関連情報として抽出する(ステップST2804)。
このようなその他情報は、例えば、関連情報記憶制御部(図1では図示省略)が、部屋内に設置されたカメラ、または、テレビ等から情報を受信し、受信した情報に基づき作成してその他情報履歴記憶部206に記憶させるようにすればよい。
図30では、一例として、関連情報付与部108は、行動情報付与部107が行動に関する情報を付与した描画用図形データ(図28参照)に、関連情報を関連付けた場合の例を示している。
図30に示すように、例えば、「キッチン」の関連情報として、「キッチン」で撮影された動画データが関連付けられる。同様に、例えば、関連部屋である「リビング」の関連情報として、各関連部屋で取得された環境情報に基づき抽出された情報が関連付けられる。なお、関連情報付与部108が関連情報を抽出する際に参照する機器情報、センサ情報、および、その他情報を、まとめて環境情報ともいう。
関連情報付与部108は、ステップST2806において、未処理の時間帯がないと判定した場合(ステップST2806の“NO”の場合)、ステップST2807に進む。
関連情報付与部108は、ステップST2506において、未処理の時間帯があると判定した場合(ステップST2806の“YES”の場合)、ステップST2802に戻り、以降の処理を繰り返す。
今、未処理の時間帯があるため、関連情報付与部108は、ステップST2802に戻り、次の時間帯として、10時〜14時の時間帯を関連付与対象時間帯として特定し、6時〜10時と同様にして、機器3、または、センサ2の状態変化回数の情報、あるいは、その他情報等を、関連情報として抽出し、描画用図形データに関連付ける。
関連情報付与部108は、ステップST2807において、未処理の住人がいないと判定した場合(ステップST2807の“NO”の場合)、処理終了する。
関連情報付与部108は、ステップST2807において、未処理の住人がいると判定した場合(ステップST2807の“YES”の場合)、ステップST2801に戻り、以降の処理を繰り返す。すなわち、関連情報付与部108は、住人Bを、関連付与対象住人として、ステップST2802以降の処理を繰り返す。ステップST2802以降の処理については、上記で説明した内容と同様であるため、詳細な説明を省略する。
このように、関連情報付与部108は、全ての住人について、全ての時間帯に対して、描画用図形データに、属性情報として、関連情報を関連付ける。
関連情報付与部108は、関連情報を関連付けた描画用図形データを、記憶部20に記憶させるとともに、描画部109に出力する。
描画部109は、ステップST809において関連情報付与部108から出力された描画用図形データに基づき、表示装置4に、時間軸上に時間帯毎の要約居場所を表す円を親ノードとして表示させ、さらに、当該要約居場所の関連部屋を表す円を、当該要約居場所を表す円の下位に階層構造で表示させる(ステップST810)。
図31では、一例として、上述した例において、住人Aについて、2017年1月15日の6時〜22時を4時間の単位時間毎に区切って、居場所である部屋を分析した結果を示している。
図31において、要約居場所、または、各関連部屋を表す各円の大きさには、図形生成部106の動作説明で上述したとおり(図23,24等参照)、各時間帯において、各住人Aが各部屋に在室した在室時間の大小が反映されている。また、要約居場所、または、各関連部屋を表す円と円を結ぶ線分には、図形生成部106の動作説明で上述したとおり、部屋同士の移動回数の大小が反映されている。
(1−1)住人Aが6時〜10時の時間帯の要約居場所は「キッチン」であり、当該「キッチン」が、住人Aが6時〜10時の時間帯に最も在室時間が長かった部屋である。
(1−2)要約居場所、および、各関連部屋を表す円の大きさに基づき、要約居場所、および、各関連部屋を、在室時間の累積値の大小関係で表すと、
キッチン>リビング>個室A>洗面室>ダイニング、である。
(1−3)住人Aによる、「キッチン」と「洗面室」との間の移動、および、「キッチン」と「ダイニング」との間の移動は、住人Aによる、「ダイニング」と「リビング」との間の移動、または、「キッチン」と「個室A」との間の移動に比べて、頻度が高い。
(2−1)住人Aが最も長く在室した部屋は「キッチン」であり、続いて、「リビング」、または、「個室A」に在室した時間が長い。
(2−2)住人Aが「洗面室」に在室した時間の合計、および、「ダイニング」に在室した時間の合計は、住人Aが「リビング」、または、「個室A」に在室した時間に比べると少ないが、「洗面室」と「ダイニング」は、それぞれ、「キッチン」との間で頻繁に行き来している部屋である。
したがって、描画部109は、描画用図形データに基づき、表示装置4に表示させる画面の内容を、図31のような、居場所を表示する内容から、行動、または、関連情報を表示する内容へと切り替えることができる。
ユーザは、例えば、入力装置を操作して、画面上の、画面切替を指示するラジオボタンをクリック等することで、所望の表示内容への画面の切替指示を入力する。このとき、ユーザは、例えば、入力装置を操作して、切替後の所望の表示内容を示す情報もあわせて入力する。なお、切替後の所望の表示内容を示す情報の入力方法はこれに限らず、ユーザは、例えば、ポップアップ表示された表示内容の一覧画面から、入力装置によって、切替後の所望の表示内容を選択するようにしてもよい。表示内容の一覧画面には、例えば、「行動を表示」、または、「関連情報を表示」等、表示装置4に表示させる画面の内容を示す情報が表示される。例えば、ユーザが、画面切替を指示するラジオボタンを入力装置によってクリック等すると、描画部109が、上述したようなポップアップ画面を表示装置4に表示させるようにすればよい。
受付部30は、ユーザから入力された切替指示を受け付けると、画面切替指示情報を、描画部109に出力する。描画部109は、当該画面切替指示情報に基づき、画面の切替を行う。
画面切替指示情報は、ユーザから指示された、切替後の所望の表示内容を示す情報を含む。
ユーザは、所望の表示内容への画面の切替指示を入力する際、切替を、全ノード一括で行うか、指定したノードについてのみ行うか、選択することができる。例えば、描画部109は、表示内容の一覧画面において、「全ノード一括切替ボタン」または「指定ノード切替ボタン」をあわせて表示させるようにし、ユーザは、当該一覧画面から、全ノード一括で行うか、指定したノードについてのみ行うか、選択すればよい。ユーザは、「指定ノード切替ボタン」を選択した場合は、切替を行うノードをクリック等することでノードの指定も行う。
受付部30が描画部109に出力する画面切替指示情報には、ユーザの選択に従い、画面の内容の切替を、全ノード一括で行うか、指定したノードについてのみ行うかの情報も含むようにする。
例えば、ユーザは、表示装置4に表示されている画面上で、「キッチン」を表す円をマウス等で選択し、右クリックからメニューを表示させて「行動を表示」を選択する等し、「キッチン」を表す円についてのみ、行動に関する情報を表示させる切替指示を入力するようにしてもよいし、記憶部20に表示対象を設定するファイルを記憶しておき、描画部109は、設定ファイルから切り替えて表示する情報を取得するようにしてもよい。
なお、切替前の画面は、図31に示したような画面であるとする。
例えば、ユーザは、表示装置4に表示された画面から、画面切替を指示するラジオボタンをクリック等する。
そして、例えば、ユーザは、表示装置4にポップアップ表示された表示内容の一覧画面から、「行動を表示」を選択したとする。なお、このとき、ユーザは、あわせて、表示内容の一覧画面において、「全ノード一括切替ボタン」を選択したとする。
そうすると、描画部109は、図31に示したような画面から、図32に示すような画面へと切り替えて、表示装置4に表示させる。
図32では、要約居場所、および、各関連部屋を表す円の中に、行動に関する情報が表示される。描画部109は、描画用図形データに基づき、当該行動に関する情報を、表示装置4に表示させるようにする。図31では、描画部109は、行動に関する情報として、行動名を表示させるようにしている。行動名は、予め、適宜設定されている。
そうすると、描画部109は、図31に示したような画面から、図33A示すような画面へと切り替えて、表示装置4に表示させる。
図33Aでは、要約居場所、および、各関連部屋を表す円の中に、関連情報を示す情報が表示される。描画部109は、描画用図形データに基づき、当該関連情報を、表示装置4に表示させるようにする。
なお、描画部109は、関連付けられた関連情報がない場合は、円の中には何も表示させないようにする。
また、描画用図形データにおいて、関連情報として、参照関連情報および参照先の情報が関連付けられている場合、描画部109は、図33Bに示すように、当該参照関連情報および参照先の情報を、関連情報として表示装置4に表示させるようにする。
例えば、描画用図形データにおいて、要約居場所である「キッチン」に、「照明 ON」、「エアコン ON」、「部屋内温度 20度」、および、「換気扇 ON」という参照関連情報と、当該参照関連情報の参照元であるダイアログボックスが関連付けられているとすると、描画部109は、まず、要約居場所の円の中に、関連情報を示す情報とともに、参照関連情報があることを示す「その他参照」を表示させる。ユーザは、当該表示を確認し、上位2件以外の関連情報があることを把握する。そして、ユーザは、参照関連情報の詳細を確認したい場合、例えば、入力装置を操作して、「その他参照」をクリックする等し、選択指示を入力する。受付部30は、当該選択指示を受け付け、描画部109は、参照先として、参照関連情報の詳細を表示させるダイアログボックスを表示させる。
ユーザは、「その他」として表示された円を、入力装置等を操作してクリック等することで、詳細表示指示を入力することができる。受付部30は、詳細表示指示を受け付けると、詳細表示指示情報を、描画部109に出力する。
描画部109は、詳細表示指示情報が出力されると、「その他」としてまとめて表示していた、行動に関する情報を、表示させる(図34において右側の図)。
なお、切替前の画面は、図31に示したような画面であるとする。
例えば、ユーザは、表示装置4に表示された画面から、画面切替を指示するラジオボタンをクリック等する。
そして、例えば、ユーザは、表示装置4にポップアップ表示された表示内容の一覧画面から、「行動を表示」を選択したとする。なお、このとき、ユーザは、あわせて、表示内容の一覧画面において、「指定ノード切替ボタン」を選択したとする。また、ユーザは、切替を行うノードとして、画面上で、6時〜10時の時間帯の、「キッチン」を表す円を指定したとする。
そうすると、描画部109は、図31に示したような画面から、図35に示すような画面へと切り替えて、表示装置4に表示させる。
図35では、6時〜10時の時間帯の要約居場所である「キッチン」を表す円の中に、行動に関する情報が表示される。
例えば、ユーザが、画面上で、6時〜10時の時間帯の、「キッチン」、「個室A」、「洗面室」、「ダイニング」、および、「リビング」を表す円を指定したとする。
そうすると、描画部109は、図31に示したような画面から、図36に示すような画面へと切り替えて、表示装置4に表示させる。
具体的には、例えば、ユーザが、入力装置を操作して、階層構造での表示をONとするかOFFかの階層指示を入力する。受付部30は、当該階層指示を受け付けると、階層構造での表示をONとするかOFFとするかの情報を含む階層指示情報を、描画部109に出力する。描画部109は、階層指示情報に基づき、階層構造の表示または非表示を切り替える。
したがって、描画部109は、図31に示すような画面から、図37に示すような画面へと切り替えて、表示装置4に表示させるようにする。
居場所に関する情報を表示させる対象とする住人は、例えば、ユーザが指定するようにすればよい。描画部109は、ユーザによって指定された住人についての、居場所に関する情報を、同一画面に表示させるようにする。
図38では、同一日の同一時間帯における、住人Aと住人Bの居場所に関する情報を表示させている。
なお、図38は、階層構造の表示をOFFにし、時間軸上に要約居場所のみを表示する状態において、ユーザから住人Aと住人Bを指定された場合の画面例を示している。
このように、描画部109は、複数の住人の居場所に関する情報、および、各関連部屋に関する情報を表示させる際、住人に応じて、表示させる階層構造の表示または非表示を切り替えることができる。
当該式における「定数」は、表示装置4の解像度、または、画面サイズに応じて、適宜変更されるようにしてもよい。
これにより、例えば、24インチのモニタと、15インチのタブレット共に、例えば、図31に示すように要約居場所、および、各関連部屋の居場所に関する情報を表示する際、横軸に全時間帯が一画面で表示される。
これにより、階層が深い場合も、全階層が表示されることなく、ユーザの所望の階層のみ表示させるようにすることが可能となり、ノードの視認性を向上させることができる。
この場合、以上の実施の形態1で説明した、重要部屋抽出部105、および、図形生成部106の各処理(図14,18,21,26,29等参照)において、住人毎に処理していた動作を、グループに属する全ての住人毎に処理する動作に置き換える。
例えば、重要部屋抽出部105の在室時間分析部1051は、各部屋の在室時間の累積値を算出する際に、上記の説明では、在室時間分析対象住人1人について当該累積値を算出するようにしていたが(図14参照)、当該動作を、グループに属する複数の住人の在室時間の累積値を算出する動作に置き換える。また、例えば、重要部屋抽出部105の移動頻度分析部1052における移動頻度の算出動作についても同様に、移動頻度分析部1052は、グループに属する複数の住人の移動頻度を合計する動作に置き換える。
図40は、実施の形態1において、行動可視化装置1が、複数人からなるグループ単位で、関わりの深い居場所、行動、または、関連情報を分析した結果を表示装置4に表示させた画面の画面例である。
この発明の実施の形態1において、制御部10と受付部30の各機能は、処理回路4001により実現される。すなわち、行動可視化装置1は、センサ2および機器3から取得した情報と、予め記憶部20に記憶されている情報とに基づき、住人毎に関わりの深い居場所、行動、または、関連情報を分析し、分析した結果を表示装置4に表示させる処理の制御を行うための処理回路4001を備える。
処理回路4001は、図41Aに示すように専用のハードウェアであっても、図41Bに示すようにメモリ4005に格納されるプログラムを実行するCPU(Central Processing Unit)4006であってもよい。
また、メモリ4005は、センサ2から取得したセンサ情報、機器3から取得した機器情報、および、処理回路4001の処理中のデータ等を記憶する。記憶部20は、例えば、メモリ4005で構成される。
また、行動可視化装置1は、センサ2、機器3、または、表示装置4等の外部機器との通信を行う、入力インタフェース装置4003、および、出力インタフェース装置4004を有する。
なお、居場所の他、行動を可視化した場合についても同様のことがいえる。一回に行われる行動の時間は短時間だが頻繁に行っている行動がある場合、その行動は、その人にとって関わりの深い行動と考えられるが、横棒グラフで表現した場合は、一度の行動時間が短いと、頻繁に行っていても視認性が低下する。
また、人が居る場所(居場所)、そこで行われる行動、その部屋で得られる情報は互いに関連性があると考えられるが、従来技術では、居場所は居場所、行動は行動として各々個別に可視化するため、居場所と行動の関連性を把握することが難しい。また、移動軌跡の座標や加速度センサ等で得られた数値をプロットする場合のように、測定値をそのまま表示する場合は、主に対象が滞留する居場所同士の関連性、または、対象による行動と行動の繋がり、または、関連性を把握することが難しい。
また、実施の形態1に係る行動可視化装置1は、要約居場所、または、各関連部屋を表す円の中に表示させる情報について、居場所の名称、行動に関する情報、または、関連情報が表示されるよう、切り替えることができる。これにより、ユーザは、対象の居場所と行動の関連性を容易に把握することができるようになる。
また、実施の形態1に係る行動可視化装置1は、対象の居場所を表す図形の大きさに、対象が居場所に在室した時間の大小を反映し、対象の複数の居場所を表す複数の図形を結ぶ線分に当該複数の居場所同士の移動回数の大小を反映して可視化するようにした。これにより、ユーザは、主に対象が滞留する居場所同士の関連性等を容易に把握することができるようになる。
実施の形態1では、行動可視化装置1は、検知部101が、部屋内の各機器3から受信した情報に基づく機器情報、または、部屋内の各センサ2から受信した情報に基づくセンサ情報を記憶部20に記憶させるようにしていた。また、居場所推定部102が、住人の居場所を推定し、居場所情報を居場所履歴記憶部207に記憶するようにしていた。また、行動推定部103が、住人の行動を推定し、行動情報を行動履歴記憶部209に記憶するようにしていた。
実施の形態2は、既に取得されて記憶部20に記憶されている機器情報、センサ情報、居場所情報、行動情報、および、その他情報に基づき、対象の居場所、または、行動等を分析し、分析結果を可視化する実施の形態について説明する。
行動可視化装置1aは、センサ2または機器3の情報をリアルタイムに検知して、住人の居場所または行動を推定等しないため、実施の形態1において図1を用いて説明した行動可視化装置1と比べると、センサ2と機器3がネットワークに接続しない構成となる。
また、図43に示すように、記憶部20を行動可視化装置1aが備え、さらに、表示装置4を行動可視化装置1aが備えるようにする場合、行動可視化装置1aは、ネットワークに接続しない構成とすることができる。
行動可視化装置1aは、実施の形態1の行動可視化装置1とは、検知部101、居場所推定部102、および、行動推定部103を備えない点が異なる。
記憶部20には、予め、過去に取得された機器情報、センサ情報、居場所情報、行動情報、および、その他情報が記憶されている。例えば、2017年5月20日の朝の時点では、2017年5月19日までの各種情報が履歴として記憶されている。当該各種情報の履歴は、例えば、USB(Universal Serial Bus)、または、CD−R(Compact Disc − Recordable)等の媒体を用いて記憶部20に記憶させておくことができる。また、例えば、行動可視化装置1aは、ネットワークを介して、別のコンピュータ装置等から、各種情報の履歴を取得するようにしてもよい。
実施の形態3では、対象の在室時間の累積値、または、移動頻度を分析して描画用図形データを生成し表示装置4に表示させた際、分析時に用いた要約条件と関連付けて当該描画用図形データを記憶しておき、複数の要約条件を切り替えて、対象の居場所に関連する情報等を表示させるようにする実施の形態について説明する。
なお、実施の形態3においても、実施の形態1同様、一例として、行動可視化装置1bは、住宅における住人の行動を要約するとともに、住人の居場所、または、行動に関する情報等を、階層構造を用いて可視化するものとする。
図44において、実施の形態1で図1を用いて説明した行動可視化装置1と同様の構成については、同じ符号を付して重複した説明を省略する。
実施の形態3の行動可視化装置1bは、実施の形態1の行動可視化装置1とは、制御部10bが要約情報生成部110を備える点が異なるのみである。
要約情報生成部110は、図形生成部106が生成し、行動情報付与部107が行動に関する情報を関連付け、関連情報付与部108が関連情報を関連付けた、描画用図形データに、要約条件を関連付けた要約情報を生成する。
なお、行動可視化装置1bの動作について、実施の形態1で説明した行動可視化装置1と同様の動作については、重複した説明を省略し、実施の形態1の行動可視化装置1とは異なる動作についてのみ、以下説明する。
要約情報生成部110が生成する要約情報の内容の一例を以下に示す。
(A) 処理対象の人を特定するID
(B) 要約条件ID
a.開始日時
b.終了日時
c.要約の単位時間
d.期間(時間)に対する特定の条件
e.要約の抽出条件
f.在室度合抽出レベル
g.移動頻度抽出レベル
h.行動抽出条件
i.関連情報抽出条件
(C) 要約情報
a.要約条件ID
b.要約時間帯ID
c.時間帯
d.要約居場所ID
e.要約居場所に対応する図形ID
f.要約居場所と関連の高い部屋のID(関連部屋のID)
g.各関連部屋に対応する図形ID
h.線分の図形ID
(D) 図形データ
a.図形ID
b.図形座標
c.属性(色、線の種別等)
「(B)要約条件ID」は、要約条件を識別するIDである。特定の要約条件に対して、a〜iの詳細情報を持つ。
「(C)要約情報」は、図形生成部106が生成し、行動情報付与部107が行動に関する情報を関連付け、関連情報付与部108が関連情報を関連付けた、描画用図形データであり、全ての時間帯について、a〜hの詳細情報を有する。なお、各種IDは、例えば、図形生成部106が、描画用図形データを生成する際に、適宜付与する、または、記憶部20を参照する等して付与するようにすればよい。
「a.要約条件ID」は「(B)要約条件ID」に対応する。
「b.要約時間帯ID」は対象期間を単位時間毎に区切って設定された際の各時間帯を識別するIDである。
「c.時間帯」は、各時間帯である。例えば、特定の日を6時〜10時、10時〜14時、14時〜18時、および18時〜22時の4つの時間帯に分割した際の「6時〜10時」等の時間帯である。
「d.要約居場所ID」は、重要部屋抽出部105の在室時間分析部1051が抽出した要約居場所の部屋IDである。
「e.要約居場所に対応する図形ID」は、図形生成部106が生成した描画用図形データにおいて、要約居場所を表す図形を一意に識別するIDである。
「f.要約居場所と関連の多い部屋のID」は、重要部屋抽出部105の在室時間分析部1051、および、移動頻度分析部1052が抽出した関連部屋のIDである。複数の関連部屋が抽出されている場合は、それぞれ、IDを保有する。
「g.各関連部屋に対応する図形ID」は、図形生成部106が生成した描画用図形データおいて、関連部屋を表す図形を一意に識別するIDである。
「h.線分ID」は、要約居場所と関連部屋、あるいは、関連部屋同士を結ぶ各線分を識別するIDである。
「a.図形ID」は、描画用図形データにおける各図形を識別するIDであり、「(C)要約情報」のe,g,hの図形IDと対応している。
「b.図形座標」は、要約居場所、または、関連部屋を表す円の中心座標等の図形座標である。
「c.属性(色、線の種別等)」は、色や線分の種別等、描画用図形データ描画時の属性情報である。
また、要約情報生成部110は、生成した要約情報を記憶部20に記憶させるとともに、描画部109に出力する。
ユーザは、当該要約条件ID一覧画面を確認し、可視化したい要約条件IDを選択する。受付部30が、ユーザからの要約条件IDの選択を受け付けると、描画部109は、選択された要約条件IDに対応する要約条件の詳細を表示させる。
ユーザは、表示された要約条件の詳細を確認し、表示させたい要約条件である場合は、表示装置4の画面上に表示された表示ボタンを押下する等して、要約情報の表示指示を入力する。
受付部30は、要約情報の表示指示の入力を受け付けると、要約情報表示指示を描画部109に出力する。
描画部109は、要約情報表示指示が出力されると、記憶部20を参照して、該当の要約情報に基づき、各時間帯における要約居場所、または、関連部屋の図形IDを取得し、各図形IDに対応した座標データ、または、属性情報を参照して、図31〜33A,33Bに示したような画面を表示装置4に表示させる。
また、特定の住人、または、複数人をまとめたグループについて、一度分析に用いた要約条件を複数同時に呼び出すことで、複数日の結果を並べて表示するようにすることもできる。
例えば、行動可視化装置1bは、特定の住人Aについて、2017年7月5日と、2017年7月10日における行動の分析結果を並べて表示装置4に表示させることができる。
実施の形態4では、実施の形態3で説明した行動可視化装置1bにおいて、既に取得されて記憶部20に記憶されている機器情報、センサ情報、居場所情報、行動情報、および、その他情報を用いて、対象の行動を分析し、分析結果を可視化する実施の形態について説明する。
図45において、実施の形態2において図43を用いて説明した行動可視化装置1aと同様の構成については、同じ符号を付して重複した説明を省略する。
行動可視化装置1cは、実施の形態2の行動可視化装置1aとは、要約情報生成部110を備える点が異なる。
記憶部20には、予め、過去に取得された機器情報、センサ情報、居場所情報、行動情報、および、その他情報が記憶されている。
実施の形態1〜4では、注目する対象を特定の住人、居場所を住宅内の部屋とし、行動可視化装置1〜1cが、住宅内の部屋において住人を識別し、ある住人または複数人の住人のグループ毎に、関わりの深い部屋、その部屋で行われた主要行動、または、関わりの深い部屋と行動との関連性等を分析し、階層構造を用いて可視化する実施の形態を示した。
実施の形態5では、注目する対象を不特定多数の人とし、行動可視化装置は、不特定多数の人による空間の使われ方を分析し、可視化する実施の形態について説明する。不特定多数の人による空間の使われ方とは、例えば、どの時間帯にどの居場所に人が多いのか少ないのか、または、どの居場所とどの居場所の関連性が深いのか等をいう。
以下の説明においては、一例として、対象とは、ショッピングセンターを訪れる不特定多数の人とし、居場所とは、ショッピングセンター内の店舗とする。そして、行動可視化装置は、不特定多数の人がショッピングセンター内の店舗に存在するか否かを識別し、当該不特定多数の人の関わりの深い店舗に関する情報を、階層構造を用いて可視化するものとする。
以下の説明では、注目する対象となる不特定多数の人を単に「人」ともいうものとする。
図46において、実施の形態1で図1を用いて説明した行動可視化装置1と同様の構成については、同じ符号を付して重複した説明を省略する。また、図46において、要約情報生成部110は、実施の形態3で図44を用いて説明した行動可視化装置1bが備える要約情報生成部110と同様の構成であるため、同じ符号を付して重複した説明を省略する。
行動可視化装置1dは、実施の形態1で説明した行動可視化装置1とは、制御部10dの重要部屋抽出部105dが、在室時間分析部1051、および、移動頻度分析部1052を有しておらず、行動度合推定部1053、および、関連度合推定部1054を有する点が異なる。また、行動可視化装置1dは、実施の形態1の行動可視化装置1とは、制御部10dが、居場所推定部102、行動推定部103、および、行動情報付与部107を備えない点が異なる。また、行動可視化装置1dは、行動可視化装置1とは、記憶部20dが、住人情報ファイル203、行動定義ファイル208、居場所履歴記憶部207、および、行動履歴記憶部209を備えない点が異なる。
行動可視化装置1dのハードウェア構成は、実施の形態1において図41を用いて説明した構成と同様であるため、重複した説明を省略する。
なお、実施の形態5では、実施の形態1同様、一例として、要約条件に基づく、対象期間を区切る単位時間を、数時間単位とする。したがって、重要部屋抽出部105dは、対象期間における各時間帯において、人と関わりの深い店舗を抽出する。以下においても、対象期間を区切る単位時間を数時間単位としたものとして説明する。
また、行動度合推定部1053は、要約条件に基づき、要約居場所に続いて「行動度合」が大きい店舗を、要件条件で指定された順位に従って上位から検索し、関連部屋として抽出する。
行動度合推定部1053は、時間帯毎に、要約居場所、および、関連部屋に関する情報を、時間帯の情報と関連付けて、重要部屋抽出部105dの関連度合推定部1054に出力する。
関連度合推定部1054は、時間帯毎に推定した関連度合の情報を、行動度合推定部1053が抽出した要約居場所および関連部屋に関する情報とあわせて、図形生成部106に出力する。
行動可視化装置1dは、センサ2または機器3から取得した情報に基づき、人の行動を要約するとともに、人と関わりの深い店舗に関する情報等を、階層構造を用いて可視化し、表示装置4に表示させる。
図47は、実施の形態5における行動可視化装置1dの動作を説明するフローチャートである。
検知部101は、店舗内の各種機器3、および、各種センサ2から情報を受信する。検知部101は、店舗内の各種機器3、および、各種センサ2から受信した情報に基づき、機器3およびセンサ2の状態変化を検知し、それぞれ、検知情報を日時の情報と関連付けた、機器情報、または、センサ情報として、記憶部20の機器情報履歴記憶部204、および、センサ情報履歴記憶部205に記憶させる(ステップST4601)。具体的な動作は、実施の形態1で説明した図8のステップST801と同様である。
要約条件設定部104は、例えば、以下のような要約条件を設定する。
(A) 対象とする期間の単位
(B) 開始日時、終了日時
(C) 期間または時間帯に対する特定の条件
(D) 人に関する情報を要約する際の単位時間(単位日)
(E) 対象とする時間帯において人と関わりの深い店舗を抽出する条件
・行動度合抽出レベル
(F) 関連情報を抽出する条件
要約条件設定部104は、(B)の日時として、人と関わりの深い店舗等を分析し、可視化することとする対象期間の開始日時と終了日時を設定する。
要約条件設定部104は、(C)の特定の条件については、(A)の対象期間の単位に対して特定の条件を付与する場合に、当該特定の条件を設定する。特定の条件とは、例えば、特定の曜日、土日祝日のみ、平日のみ等の条件である。
要約条件設定部104は、(D)の単位時間として、(A)の対象期間の単位について、人と関わりの深い店舗をどの程度の時間軸の粒度で分析するかの、分析単位としての単位時間を設定する。例えば、(D)の単位時間としては、「2時間単位」、「1週間単位」、または、「1か月単位」等の分析単位が設定される。
なお、当該(D)の単位時間として設定された条件に基づき、人と関わりの深い店舗を分析する動作については後述する。
実施の形態5では、人と関わりが深い店舗を抽出する指標として、「行動度合」と呼ぶ指標を用いる。重要部屋抽出部105dの行動度合推定部1053は、各店舗において、人がどの程度行動しているかを「行動度合」として推定する。具体的には、関連度合推定部1054は、人が多く集まっている状態、または、人の往来が多い状態は「行動度合が高い」と推定し、人があまりいない状態は「行動度合が低い」と推定する。要約条件設定部104は、(E)の抽出条件として、行動度合を最大上位何位まで抽出するかを指定した「行動度合抽出レベル」を設定する。なお、行動度合推定部1053の動作の詳細は後述する。
要約条件設定部104は、設定した要約条件の情報を、記憶部20dに記憶させるとともに重要部屋抽出部105に出力する。
重要部屋抽出部105dは、記憶部20の建物構造ファイル201、レイアウト情報ファイル202、機器情報履歴記憶部204、および、センサ情報履歴記憶部205を参照し、ステップST4602において要約条件設定部104が設定した要約条件に基づき、各時間帯において、人と関わりの深い店舗を抽出する。
まず、重要部屋抽出部105dの行動度合推定部1053は、記憶部20の建物構造ファイル201、レイアウト情報ファイル202、機器情報履歴記憶部204、および、センサ情報履歴記憶部205を参照し、1週間毎(2017年10月1日〜10月7日、2017年10月8日〜10月14日・・・)に、各店舗において、人がどの程度行動しているかを「行動度合」として推定する。そして、行動度合推定部1053は、「行動度合」が最大の店舗を要約居場所として抽出する。また、行動度合推定部1053は、要約居場所に続いて「行動度合」が大きい部屋を、要約条件で指定された順位に従って上位から検索し、関連部屋として抽出する(ステップST4603)。
一例として、要約条件設定部104が設定した要約条件は、以下のとおりとし、具体例をあげながら、図48のフローチャートに沿って、行動度合推定部1053の動作を説明する。
(A)対象とする期間の単位:1カ月
(B)開始日時、終了日時:2017年10月1日〜2017年10月31日
(C)期間(時間)に対する特定の条件:なし
(D)人に関する情報を要約する際の単位時間(単位日):7日
(E)対象とする時間帯において人と関わりの深い居場所を抽出する条件
・行動度合抽出レベル:3
(F)関連情報を抽出する条件:3
図49に示す建物構造ファイル201では、9階からなるショッピングモール内の150店舗がフロア毎に定義されている。なお、図49では図示を省略しているが、建物構造ファイル201では、店舗の定義の他、店舗同士が直接行き来できるかの接続情報が定義されている。
図50に示すレイアウト情報ファイル202では、建物構造ファイル201に定義された店舗に設置されているセンサ2の種類とセンサIDが定義されている。
センサ情報履歴記憶部205には、センサ2の状況が日時、および、店舗の情報と関連付けられたセンサ情報が記憶される。なお、センサ情報は、検知部101が、レイアウト情報ファイル202に定義されている各センサ2から取得した情報に基づき、センサ2の状態変化を検知し、検知情報を日時(日付および時刻)の情報と関連付けて生成した情報である。
行動度合推定部1053は、センサ情報履歴記憶部205を参照し、ステップST4701で特定した行動度合推定対象時間帯のセンサ情報を取得する。そして、行動度合推定部1053は、建物構造ファイル201に定義された店舗毎に、センサ2がONになった状態変化が検知された回数を算出し、算出した回数を行動度合と推定する(ステップST4702)。
例えば、行動度合推定対象時間帯である10月1日〜10月7日の時間帯は、9階に特設会場が設置されており(図54参照)、当該特設会場において推定された行動度合が最大であったとする。この場合、行動度合推定部1053は、当該特設会場を、要約居場所として抽出する。
上述したように、要約条件設定部104は、要約条件における、(E)の抽出条件の行動度合抽出レベルを以下のように設定している。
・行動度合抽出レベル:3
行動度合推定部1053は、ステップST4705において、未処理の時間帯がないと判定した場合(ステップST4705の“NO”の場合)、処理終了する。
ここでは、行動度合推定部1053は、10月8日〜10月15日の7日間について、行動度合の推定を行い、要約居場所、および、関連部屋の抽出を行う処理に移る。
行動度合推定部1053は、以上の処理を、2017年10月1日〜10月31日の対象期間を7日間単位で区切った全ての時間帯に対して行う。
重要部屋抽出部105dの関連度合推定部1054は、ステップST4604において行動度合推定部1053から出力された行動度合推定後情報に基づき、店舗同士の関連度合を推定する(ステップST4604)。
まず、関連度合推定部1054は、要約条件で設定されている、(A)の対象期間の単位、(B)の日時、および、(C)の特定の条件に該当する対象期間を、(D)の単位時間(単位日)で区切って設定される複数の時間帯のうち、未処理の時間帯(以下、「関連度合推定対象時間帯」という。)を特定する(ステップST5401)。具体的には、例えば、関連度合推定部1054は、2017年10月1日〜10月31日の対象期間のうち、10月1日〜10月7日の時間帯を関連度合推定対象時間帯と特定する。
例えば、所定時間が、予め30分と決定されていたとすると、関連度合推定部1054は、10月1日〜10月7日において、行動度合推定部1053が抽出した、特設会場、店舗135、および、店舗60の3つの店舗について、30分毎の行動度合を推定する。
特設会場:532回
店舗135:468回
店舗60:237回
(部屋1と部屋2の関連度合)
=|部屋1の行動度合 − 部屋2の行動度合| ・・・(式4)
すなわち、部屋1と部屋2の関連度合は、部屋1の行動度合と部屋2の行動度合の差の絶対値である。
例えば、閾値が100である場合、関連度合推定部1054は、以下のとおり、特設会場、店舗135、および、店舗60についての関連度合を推定する。
・特設会場と店舗135の間の関連度合:高い
・特設会場と店舗60の間の関連度合:低い
・店舗135と店舗60の間の関連度合:低い
例えば、関連度合が「高い」、「低い」の2段階の場合、関連度合推定部1054は、関連度合が「高い」は0.7、関連度合が「低い」は0.3と数値化する。どのように数値化するかは、例えば、ユーザが予め定義し、記憶部20dにパラメータとして記憶させておくようにすればよい。
上述の例では、関連度合推定部1054は、「高い」または「低い」の2段階で関連度合を推定して数値化するものとしたが、関連度合推定部1054が関連度合を数値化するレベルは2段階に限らない。例えば、関連度合推定部1054は、関連度合を、多段階で数値化してもよいし、0〜1.0の連続的な数値で数値化してもよい。
関連度合推定部1054は、ステップST5405において、未処理に時間帯がないと判定した場合(ステップST5405の“NO”の場合)、処理終了する。
ここでは、関連度合推定部1054は、10月8日〜10月15日の7日間について、関連度合の推定を行う処理に移る。
関連度合推定部1054は、以上の処理を、2017年10月1日〜10月31日の対象期間を7日間単位で区切った全ての時間帯に対して行う。
図形生成部106は、ステップST4604において関連度合推定部1054から出力された関連度合推定後情報に基づき、要約居場所、および、関連部屋を表す図形の図形領域の面積、および、図形領域間の距離を算出し、描画用図形データを生成する(ステップST4605)。
具体的には、図形生成部106は、時間軸上に時間帯毎の要約居場所を表す図形を親ノードとして表示させ、関連部屋を表す図形を、当該要約居場所を表す図形の下位に階層構造で表示させる描画用図形データを生成する。
なお、実施の形態5では、実施の形態1〜4同様、図形生成部106は、各要約居場所、および、各関連部屋を表す図形を円として、描画用図形データを生成するものとする。
まず、図形生成部106は、横軸を時間軸とし、時間帯毎に目盛りを描画するための時間軸データを生成する(ステップST5501)。例えば、上述の例でいうと、図形生成部106は、10月1日〜10月7日、10月8日〜10月14日、10月15日〜10月21日、10月22日〜10月28日、10月29日〜10月31日の4つの時間帯を示す目盛りを描画するための時間軸データを生成する。
(描画対象要約居場所の円の半径)
=(処理対象の時間帯における描画対象要約居場所の行動度合)/(時間帯における全ての店舗の行動度合の合計値)*(定数) ・・・(式5)
(特設会場を表す円の半径)
=1028605/2571512*300=120
なお、この場合の定数は300としている。
例えば、図形生成部106は、描画対象関連部屋として、まず、「店舗135」を特定する。
まず、図形生成部106は、描画対象関連部屋の、描画対象時間帯における行動度合に基づき、描画対象時間帯における描画対象関連部屋を表す円の半径を以下の(式6)に基づき算出する(ステップST5601)。
(描画対象関連部屋の円の半径)
=(描画対象時間帯における描画対象関連部屋の行動度合)/(時間帯における全ての店舗の行動度合の合計値)*(定数) ・・・(式6)
この場合、図形生成部106は、以下のとおり、「店舗135」を表す円の半径を算出する。
(店舗135を表す円の半径)
=668593/2571512*300=78
なお、この場合の定数は300としている。
図形生成部106は、ステップST5602において、描画対象関連部屋が、描画対象要約居場所と直接接続していないと判定した場合(ステップST5602の“NO”の場合)、ステップST5605に進む。
建物構造ファイル201では、店舗135と特設会場とが接続しているので(図54参照)、ステップST5603に進む。
具体的には、図形生成部106は、描画対象要約居場所である「特設会場」を表す円と、描画対象関連部屋である「店舗135」を表す円とを結ぶ線分の長さを算出する。
また、図形生成部106は、「特設会場」を表す円と「店舗135」を表す円とを結ぶ線分の種別を実線に設定する。
(部屋1を表す円と部屋2を表す円とを結ぶ線分の長さ)
=1/(描画対象時間帯における関連度合)*(定数) ・・・(式7)
上記の(式7)により、図形生成部106は、「特設会場」を表す円と「店舗135」を表す円とを結ぶ線分の長さを、以下のとおり算出する。
(特設会場を表す円と店舗135を表す円とを結ぶ線分の長さ)
=1/0.7*20=29
なお、この場合の定数は20としている。
すなわち、図形生成部106は、「店舗135」を表す円を、「特設会場」を表す円の下位ノードとして、「店舗135」を表す円の中心座標を算出する。描画対象関連部屋を「店舗135」とした場合の処理は、以上で終了する。
ステップST5507において、図形生成部106は、未処理の関連部屋があるか否かを判定する(ステップST5507)。
図形生成部106は、ステップST5507において、未処理の関連部屋がないと判定した場合(ステップST5507の“NO”の場合)、ステップST5508に進む。
図形生成部106は、ステップST5507において、未処理の関連部屋があると判定した場合(ステップST5507の“YES”の場合)、ステップST5505に戻り、以降の処理を繰り返す。すなわち、図形生成部106は、次の未処理の関連部屋を描画対象関連部屋と特定し、当該描画対象関連部屋を表す円の半径等を算出する(ステップST5506)。
上述の例では、未処理の関連部屋として、「店舗60」があるので、図形生成部106は、「店舗60」を描画対象関連部屋として(ステップST5505)、ステップST5506の処理を行う。
ステップST5601において、図形生成部106は、「店舗135」の描画対象時間帯(10月1日〜10月7日)における行動度合に基づき、「店舗135」を表す円の半径を算出する。
図形生成部106は、ステップST5605において、描画対象関連部屋である「店舗60」の接続関連部屋があると判定した場合(ステップST5605の“YES”の場合)、ステップST5607に進む。
他の関連部屋である「店舗135」は9階にあり、「店舗60」の接続関連部屋ではないため、ステップST5606に進む。
ステップST5606において、図形生成部106は、描画対象要約居場所を表す円と、描画対象関連部屋を表す円とを結ぶ線分の長さを、上述の(式7)を用いて算出し、当該線分の種別の設定を実線以外(例えば点線)とする(ステップST5606)。
具体的には、図形生成部106は、描画対象要約居場所である「特設会場」を表す円と、描画対象関連部屋である「店舗60」を表す円とを結ぶ線分の長さを算出し、当該線分を点線に設定する。
描画対象関連部屋を「店舗60」とした場合の処理は、以上で終了する。
ステップST5607において、図形生成部106は、描画対象関連部屋を表す円と、接続関連部屋を表す円とを結ぶ線分の長さを、上述の(式7)を用いて算出し、当該線分の種別の設定を実線とする。
ステップST5608において、図形生成部106は、描画対象関連部屋を表す円を、接続関連部屋を表す円の下位ノードとして、当該描画対象関連部屋を表す円の中心座標を算出する。
10月1日〜10月7日の時間帯については全ての関連部屋についての処理が終了したため、ステップST5507において、図形生成部106は、未処理の関連部屋がないと判定し(ステップST5507の“NO”の場合)、ステップST5508に進む。
図形生成部106は、ステップST5508において、未処理の時間帯がないと判定した場合(ステップST5508の“NO”の場合)、処理終了する。
図形生成部106は、ステップST5508において、未処理の時間帯があると判定した場合(ステップST5508の“YES”の場合)、ステップST5502に戻り、以降の処理を繰り返す。すなわち、図形生成部106は、次の未処理の時間帯を描画対象時間帯と特定し、当該描画対象時間帯における、要約居場所、および、各関連部屋を表示させるための描画用図形データを生成する。
ステップST2102以降の処理については、上記で説明した処理と同様であるため、詳細な説明を省略する。
このように、図形生成部106は、店舗同士の接続関係、重要部屋抽出部105dで抽出された要約居場所および関連部屋、当該要約居場所および関連部屋における行動度合、および、2つの店舗間の関連度合の情報に基づき、時間軸上に時間帯毎の要約居場所を表す図形を親ノードとして表示させ、関連部屋を表す図形を、当該要約居場所を表す図形の下位に階層構造で表示させる描画用図形データを生成する。
図形生成部106は、生成した描画用図形データを、記憶部20dに記憶させるとともに、関連情報付与部108に出力する。
要約情報生成部110の具体的な動作は実施の形態3と同様である。
図58では、一例として、上述した例において、2017年10月1日〜10月31日の対象期間を、1週間毎に区切って、不特定多数の人の居場所である店舗を分析した結果を示している。なお、図58では、10月1日〜10月21日の期間のみが表示されるようになっているが、ユーザは、マウスまたはタッチパネル等の入力装置を操作することにより、時間軸方向に、表示をスクロールすることができる。描画部109は、ユーザからの入力された指示に応じて、表示装置4に表示させる期間を変更する。また、ユーザは、例えば、入力装置を操作して縮小表示指示を入力することで、10月1日〜10月31日の全期間を一画面で表示させるようにすることもできる。描画部109は、ユーザからの入力された指示に応じて、表示装置4に表示させる期間または情報量等を変更する。
円の半径は、行動度合に基づき算出されているため、円が大きいほど来客数が多い、または、その店舗での人の往来が頻繁であるとみなすことができる。
・10月1日〜10月7日は、期間限定の特設会場を9階に設置
・10月8日〜10月14日は、期間限定の特設会場が終了し、平常営業
・10月15日〜10月21日は、店舗102でセールを実施
10月1日〜10月7日について
・特設会場設置期間(10月1日〜10月7日)は、平常時(10月8日〜10月14日)に比べて多数の人が来店し、特設会場に来場
・特設会場に隣接している店舗135は、特設会場設置の影響で平常時に比べて多数の人が来店
・9階以外のフロアでは、店舗60に多くの人が来店
・特設会場と店舗135は、同じ時間帯に同程度の人が検知されているが店舗60は特設会場で人が検知されている時間帯と関わりが薄い。
(特設会場と店舗135は同じフロアで直接接続しているため、互いに行き来している確率が高いと推定されるが、店舗60は特設会場とは別のフロアにあり、特設会場に行った人が店舗60に行く確率は低いと推定される。)
10月8日〜10月14日について
・平常時では、ショッピングモール全体で店舗60に来店する人が多い。
・店舗60と同じ階にある店舗61の来店客は、店舗60に次いで多い。他の階では、店舗135への来店客が多い。
・店舗60、店舗61、および、店舗135は、同じ時間帯に同じような混雑度合と推定される。
10月15日〜10月21日について
・平常時では店舗60で人を検知する度合が高いが、店舗102がセールを実施したため、店舗102がこの期間では最も人を多く検知した結果となった。
・店舗60と店舗61は、同じ時間帯で人を検知している度合が同程度であるが、店舗102と店舗60で人を検知する度合は、別の時間帯である(店舗102と店舗60の相関性は低い)。
図59は、実施の形態5において、描画部109が、図58に示すように、各ノード上に表示される情報を、人と関わりの深い店舗の店舗名から、関連情報へと切り替えた画面の一例を示す図である。
図59では、関連情報付与部108は、描画用図形データに、購買数、購買アイテム、または、売り上げの情報を関連情報として関連付けた場合の例を示している。
なお、図59では、分かり易くするために、各ノード上には、「購買数」、「購買アイテム」、および、「売上」と、関連情報の項目名を示しているが、実際には、「購買数」の部分には、具体的な数字が表示され、「購買アイテム」の部分には、具体的な商品名が表示され、「売上」の部分には、具体的な数字が表示される。
10月1日〜10月7日の特設会場を表すノードに示される購買数、購買アイテム、または、売上は、10月1日〜10月7日の期間の特設会場での結果を示している。
例えば、10月1日〜10月7日の期間のみ、各ノードの中に表示させる情報を関連情報に切り替えた画面例を、図60に示す。
図61は、実施の形態5において、行動可視化装置1dが、予め記憶させておいたセンサ情報または機器情報に基づき、人が多く集まる店舗等を分析するものとした場合の、行動可視化装置1dの構成の一例を示す構成図である。
図61に示す行動可視化装置1dは、図46に示した行動可視化装置1dと比べると、検知部101を備えない点のみが異なる。その他の構成および動作については、図46に示した行動可視化装置1dと同様であるため、同じ符号を付して重複した説明を省略する。
実施の形態5では、行動度合推定部1053は、建物構造ファイル201の情報、レイアウト情報、機器情報、および、センサ情報を用いて行動度合を推定していた。
実施の形態6では、行動度合推定部1053は、居場所情報を用いて行動度合を推定する実施の形態を説明する。
図62において、実施の形態5で図61を用いて説明した行動可視化装置1dと同様の構成については、同じ符号を付して重複した説明を省略する。
図62に示す実施の形態6の行動可視化装置1eは、実施の形態5で図61を用いて説明した行動可視化装置1dの構成同様、行動可視化装置1eが、予め記憶部20dに記憶させておいた、既に取得されたセンサ情報または機器情報に基づき、不特定多数の人が多く集まる店舗等を人と関わりの深い店舗として分析し、分析結果を表示装置4に表示させる構成としている。
行動可視化装置1eは、実施の形態5で図61を用いて説明した行動可視化装置1dとは、記憶部20eが、居場所履歴記憶部207を備える点が異なる。当該居場所履歴記憶部207は、実施の形態1で図1を用いて説明した居場所履歴記憶部207と同様の構成であるため、同じ符号を付して重複した説明を省略する。
実施の形態6において、居場所履歴記憶部207には、人が、建物構造ファイル201に定義された居場所のうち、どの居場所にいるかを推定した結果が、人が携帯するスマートフォン等の端末IDの情報および日時(日付および時刻)の情報と関連付けられた居場所情報が記憶されている。人がどの居場所にいるかの推定結果は、例えば、ビーコンの電波強度に基づく方法等により取得される。図62に示すような行動可視化装置1eでは、例えば、他のPC等で取得された居場所情報が、記憶部20eの居場所履歴記憶部207に記憶されるようになっている。
行動可視化装置1eのハードウェア構成は、実施の形態1において図41を用いて説明した構成と同様であるため、重複した説明を省略する。
以下の説明においては、実施の形態5同様、一例として、行動可視化装置1eは、ショッピングセンターの店舗における不特定多数の人の居場所等を分析し、分析結果を、階層構造を用いて可視化するものとする。
また、実施の形態6では、実施の形態5同様、行動可視化装置1eは、対象期間を2017年10月1日〜2017年10月31日とし、当該対象期間を、日曜〜土曜までの7日間単位で区切り、当該7日間毎に人と関わりの深い店舗を要約するものとする。
要約条件設定部104は、要約条件を設定する(ステップST6201)。具体的な動作は、実施の形態5で説明した図47のステップST4602と同様である。
重要部屋抽出部105dの行動度合推定部1053は、記憶部20の建物構造ファイル201、および、居場所履歴記憶部207に記憶されている居場所情報を参照し、1週間毎(2017年10月1日〜10月7日、2017年10月8日〜10月14日・・・)に、各店舗において、人がどの程度行動しているかを「行動度合」として推定する。そして、行動度合推定部1053は、「行動度合」が最大の店舗を要約居場所として抽出する。また、行動度合推定部1053は、要約居場所に続いて「行動度合」が大きい部屋を、要約条件で指定された順位に従って上位から検索し、関連部屋として抽出する(ステップST6202)。
一例として、要約条件設定部104が設定した要約条件は、以下のとおりとし、具体例をあげながら、図64のフローチャートに沿って、行動度合推定部1053の動作を説明する。
(A)対象とする期間の単位:1カ月
(B)開始日時、終了日時:2017年10月1日〜2017年10月31日
(C)期間(時間)に対する特定の条件:なし
(D)人に関する情報を要約する際の単位時間(単位日):7日
(E)対象とする時間帯において人と関わりの深い居場所を抽出する条件
・行動度合抽出レベル:3
(F)関連情報を抽出する条件:3
なお、建物構造ファイル201の内容は、例えば、実施の形態5で図49,51を用いて説明した内容であるとする。建物構造ファイル201では、9階建てのショッピングモールについて、当該ショッピングモール内に出店している150店舗が、フロア毎に定義されている。
行動度合推定部1053は、居場所履歴記憶部207から、行動度合推定対象時間帯(10月1日〜10月7日)の居場所情報を取得し、店舗毎に、人の居場所が検知された回数を算出し、行動度合として推定する。
例えば、行動度合推定部1053は、特設会場を、要約居場所として抽出する。
上述したように、要約条件設定部104は、要約条件において、(E)の抽出条件を以下のように設定している。
・行動度合抽出レベル:3
ステップST6305において、未処理の時間帯がない場合(ステップST6305の“NO”の場合)、処理終了し、未処理の時間帯がある場合(ステップST6305の“YES”の場合)、ステップST6304に戻り、以降の処理を繰り返す。
重要部屋抽出部105dの関連度合推定部1054は、ステップST6202において行動度合推定部1053から出力された行動度合推定後情報に基づき、店舗同士の関連度合を推定する(ステップST6203)
まず、関連度合推定部1054は、未処理の時間帯(以下、「関連度合推定対象時間帯」という。)を特定する(ステップST6401)。具体的な動作は、実施の形態5で説明した図55のステップST5401と同様である。例えば、関連度合推定部1054は、まず、10月1日〜10月7日を関連度合推定対象時間帯とする。
例えば、実施の形態5同様、所定時間が、予め30分と決定されていたとすると、関連度合推定部1054は、2017年10月1日〜10月7日において、行動度合推定部1053が抽出した、特設会場、店舗135、および、店舗60の3つの店舗について、30分毎の行動度合を推定する。
具体的には、関連度合推定部1054は、居場所履歴記憶部207から、まず、10月1日の1時間毎の居場所情報を取得し、特設会場、店舗135、および、店舗60において、人の居場所が取得された回数を行動度合として推定する。
ステップST6204〜ステップST6206の具体的な動作は、実施の形態5で説明した図47のステップST4605〜ステップST4607の具体的な動作と同様であるため、詳細な説明を省略する。
この場合の行動可視化装置1eの構成は、実施の形態5において、図46を用いて説明した行動可視化装置1dの構成に、居場所履歴記憶部207を追加した構成となる。
この場合、行動可視化装置1d,1eの構成は、図46,図62において、記憶部20d,20eがその他情報履歴記憶部206を備えず、制御部10dが関連情報付与部108を備えない構成となる。その他の各部の構成および具体的な動作は、以上の実施の形態5、および、実施の形態6で説明した構成および具体的な動作と同様である。
また、以上の実施の形態5、および、実施の形態6では、注目する不特定多数の人の居場所は、店舗としたが、これは一例に過ぎない。例えば、注目する不特定多数の人の居場所は、建物内のフロア等、任意の場所とすることができる。
また、以上の実施の形態5、および、実施の形態6では、対象期間を区切る単位時間を1週間単位としたが、これは一例に過ぎない。例えば、対象期間、および、当該対象期間を区切る単位時間は、1日を数時間単位で区切るものであってもよいし、1年を数ヶ月単位で区切るものであってもよい。
この場合、重要部屋抽出部105dは、居場所履歴記憶部207を参照する際に、行動度合または関連度合を推定する対象となる特定の個人、または、特定の複数人が所有する端末IDに関してのみ、居場所情報を取得する。そして、重要部屋抽出部105dは、取得した居場所情報に基づき、行動度合または関連度合を推定する対象となる特定の個人、または、特定の複数人の行動度合または関連度合を推定する。
図形生成部106は、関わりの深い居場所を示す図形が円であっても、矩形であっても、在室度合、または、行動度合が大きいほど、図形の領域が大きくなるように、図形を特徴づけるパラメータの値を算出する。図形を特徴づけるパラメータとは、例えば、図形が円の場合は円の半径であり、図形が矩形の場合は横幅、縦幅等である。
例えば、図67Aは、実施の形態1〜6の行動可視化装置1〜1eにおいて、図形生成部106が、時間軸を縦軸方向に設定して生成した描画用図形データを表示させた場合の表示例であり、図67Bは、実施の形態1〜6の行動可視化装置1〜1eにおいて、図形生成部106が、時間軸を環状に設定して生成した描画用図形データを表示させた場合の表示例である。
図67A、および、図67Bに示すように、時間軸に応じて、人と関わりの深い居場所等を示す図形が配置されるため、時間軸を横軸とした場合の図形の配置とは異なる配置となる。
例えば、図68は、実施の形態1〜6の行動可視化装置1〜1eにおいて、図形生成部106が、図形同士を曲線で結ぶものとして生成した描画用図形データを表示させた場合の表示例である。
Claims (22)
- 注目する対象と関わりの深い居場所を抽出するための要約条件を設定する要約条件設定部と、
前記注目する対象の居場所を示す居場所情報、および、前記要約条件設定部が設定した要約条件に基づき、複数の時間帯それぞれにおいて、前記注目する対象と関わりの深い居場所を抽出する重要居場所抽出部と、
前記重要居場所抽出部が抽出した、前記注目する対象と関わりの深い居場所を表す図形の図形領域の面積、および、当該図形領域間の距離を算出し、前記注目する対象と関わりの深い居場所を表す図形を階層構造で表示させるための描画用図形データを生成する図形生成部と、
前記図形生成部が生成した描画用図形データを表示装置に表示させる描画部
とを備え、
前記重要居場所抽出部は、
前記居場所情報、および、前記要約条件に基づき、前記時間帯毎に各居場所に前記注目する対象が存在する時間の累積値を算出し、当該時間帯毎に、当該累積値が最大の居場所を要約居場所として抽出するとともに、当該要約居場所に続いて当該累積値が大きい居場所を関連居場所として抽出する在室時間分析部と、
前記時間帯毎に、前記注目する対象による前記要約居場所とその他の居場所との間の移動頻度を算出し、前記要約条件に基づき、前記要約居場所との間で移動頻度が高い居場所を前記関連居場所として抽出する移動頻度分析部とを有し、
前記図形生成部は、前記時間帯毎に各居場所に前記注目する対象が存在する時間の累積値の情報、および、前記注目する対象による前記要約居場所とその他の居場所との間の移動頻度の情報に基づき、時間軸上に前記時間帯毎の前記要約居場所を表す図形を親ノードとして表示させ、前記関連居場所を表す図形を、当該要約居場所を表す図形の下位に階層構造で表示させるための描画用図形データを生成する行動可視化装置。 - 前記要約条件には前記注目する対象と関わりの深い行動を抽出するための条件が含まれ、
前記重要居場所抽出部が抽出した、前記注目する対象と関わりの深い居場所に関する情報と、前記注目する対象による行動を示す行動情報と、前記要約条件に基づき、前記時間帯毎の各居場所における前記注目する対象と関わりの深い行動を抽出し、抽出した行動に関する情報を、前記描画用図形データと関連付ける行動情報付与部を備えた
ことを特徴とする請求項1記載の行動可視化装置。 - 前記要約条件には前記注目する対象と関わりの深い関連情報を抽出するための条件が含まれ、
前記重要居場所抽出部が抽出した、前記注目する対象と関わりの深い居場所に関する情報と、各居場所で得られた環境情報と、前記要約条件に基づき、前記時間帯毎の各居場所における前記注目する対象と関わりの深い関連情報を抽出し、抽出した関連情報を前記描画用図形データと関連付ける関連情報付与部を備えた
ことを特徴とする請求項1記載の行動可視化装置。 - 前記注目する対象の居場所となる範囲内に設置されたセンサおよび機器の状態変化を検知し、検知情報と日時の情報と関連付けて、センサ情報および機器情報を生成する検知部を備えた
ことを特徴とする請求項1記載の行動可視化装置。 - 前記検知部が生成したセンサ情報および機器情報に基づき、前記注目する対象の居場所を推定し、推定した居場所の情報を日時の情報と関連付けた前記居場所情報を生成する居場所推定部と、
前記検知部が生成したセンサ情報および機器情報と、前記居場所推定部が生成した居場所情報と、前記注目する対象の行動を推定する際に用いられる条件が定義された行動定義に基づき、前記注目する対象による行動を推定する行動推定部とを備え、
前記要約条件設定部は、前記行動推定部が推定した、前記注目する対象による行動を示す行動情報に基づき、前記要約条件を設定する
ことを特徴とする請求項4記載の行動可視化装置。 - 前記図形生成部が生成した前記描画用図形データに、前記要約条件を関連付けた要約情報を生成する要約情報生成部を備えた
ことを特徴とする請求項1記載の行動可視化装置。 - 前記描画部は、
前記描画用図形データに基づき、前記表示装置に対して、前記時間軸上に前記時間帯毎の前記要約居場所を表す図形のみ表示させる
ことを特徴とする請求項1記載の行動可視化装置。 - 前記注目する対象は複数存在し、
前記描画部は、
前記描画用図形データに基づき、前記注目する対象に応じて、前記階層構造の表示または非表示を切り替えて、前記表示装置に表示させる
ことを特徴とする請求項1記載の行動可視化装置。 - 注目する対象と関わりの深い居場所を抽出するための要約条件を設定する要約条件設定部と、
前記注目する対象の居場所となる範囲内に設置されたセンサまたは機器の状態変化を示すセンサ情報または機器情報、および、前記要約条件設定部が設定した要約条件に基づき、複数の時間帯それぞれにおいて、前記注目する対象と関わりの深い居場所を抽出する重要居場所抽出部と、
前記重要居場所抽出部が抽出した、前記注目する対象と関わりの深い居場所を表す図形の図形領域の面積、および、当該図形領域間の距離を算出し、前記注目する対象と関わりの深い居場所を表す図形を階層構造で表示させるための描画用図形データを生成する図形生成部と、
前記図形生成部が生成した描画用図形データを表示装置に表示させる描画部
とを備え、
前記重要居場所抽出部は、
前記注目する対象の居場所となる領域が定義された情報、前記センサおよび前記機器の設置場所が定義された情報、前記センサ情報、前記機器情報、および、前記要約条件に基づき、前記時間帯毎に各居場所において前記注目する対象がどの程度行動しているかを示す行動度合を推定して、当該時間帯毎に、当該行動度合が最大の居場所を要約居場所として抽出するとともに、当該要約居場所に続いて当該行動度合が大きい居場所を関連居場所として抽出する行動度合推定部と、
前記時間帯毎に、前記要約居場所および前記関連居場所に含まれる、2つの居場所の行動度合に基づき、当該2つの居場所の関連度合を推定する関連度合推定部とを有し、
前記図形生成部は、前記行動度合、および、前記関連度合に基づき、時間軸上に前記時間帯毎の前記要約居場所を表す図形を親ノードとして表示させ、前記関連居場所を表す図形を、当該要約居場所を表す図形の下位に階層構造で表示させるための描画用図形データを生成する行動可視化装置。 - 前記要約条件には前記注目する対象と関わりの深い関連情報を抽出するための条件が含まれ、
前記重要居場所抽出部が抽出した、前記注目する対象と関わりの深い居場所に関する情報と、各居場所で得られた環境情報と、前記要約条件に基づき、前記時間帯毎の各居場所における前記注目する対象と関わりの深い関連情報を、前記描画用図形データと関連付ける関連情報付与部を備えた
ことを特徴とする請求項9記載の行動可視化装置。 - 前記注目する対象の居場所となる範囲内に設置されたセンサおよび機器の状態変化を検知し、検知情報と日時の情報と関連付けて、前記センサ情報および前記機器情報を生成する検知部を備えた
ことを特徴とする請求項9記載の行動可視化装置。 - 前記図形生成部が生成した前記描画用図形データに、前記要約条件を関連付けた要約情報を生成する要約情報生成部を備えた
ことを特徴とする請求項9記載の行動可視化装置。 - 前記描画部は、
前記描画用図形データに基づき、前記表示装置に対して、前記時間軸上に前記時間帯毎の前記要約居場所を表す図形のみ表示させる
ことを特徴とする請求項9記載の行動可視化装置。 - 前記注目する対象は複数存在し、
前記描画部は、
前記描画用図形データに基づき、前記注目する対象に応じて、前記階層構造の表示または非表示を切り替えて、前記表示装置に表示させる
ことを特徴とする請求項9記載の行動可視化装置。 - 前記図形生成部は、前記描画用図形データを表示させる画面の解像度または画面サイズに応じて、前記図形の図形領域、および、当該図形領域間の距離を算出して、前記描画用図形データを生成する
ことを特徴とする請求項1記載の行動可視化装置。 - 前記図形生成部は、前記描画用図形データを表示させる画面の解像度または画面サイズに応じて、前記図形の図形領域、および、当該図形領域間の距離を算出して、前記描画用図形データを生成する
ことを特徴とする請求項9記載の行動可視化装置 - 前記注目する対象とは、特定の人である
ことを特徴とする請求項1記載の行動可視化装置。 - 前記注目する対象とは、特定の複数人をまとめたグループである
ことを特徴とする請求項1記載の行動可視化装置。 - 前記注目する対象とは、不特定多数の人である
ことを特徴とする請求項1記載の行動可視化装置。 - 前記注目する対象とは、不特定多数の人である
ことを特徴とする請求項9記載の行動可視化装置。 - 要約条件設定部が、注目する対象と関わりの深い居場所を抽出するための要約条件を設定するステップと、
重要居場所抽出部が、前記注目する対象の居場所を示す居場所情報、および、前記要約条件設定部が設定した要約条件に基づき、複数の時間帯それぞれにおいて、前記注目する対象と関わりの深い居場所を抽出するステップと、
図形生成部が、前記重要居場所抽出部が抽出した、前記注目する対象と関わりの深い居場所を表す図形の図形領域の面積、および、当該図形領域間の距離を算出し、前記注目する対象と関わりの深い居場所を表す図形を階層構造で表示させるための描画用図形データを生成するステップと、
描画部が、前記図形生成部が生成した描画用図形データを表示装置に表示させるステップとを備え、
前記重要居場所抽出部が前記注目する対象と関わりの深い居場所を抽出するステップにおいて、
在室時間分析部が、前記居場所情報、および、前記要約条件に基づき、前記時間帯毎に各居場所に前記注目する対象が存在する時間の累積値を算出し、当該時間帯毎に、当該累積値が最大の居場所を要約居場所として抽出するとともに、当該要約居場所に続いて当該累積値が大きい居場所を関連居場所として抽出するステップと、
移動頻度分析部が、前記時間帯毎に、前記注目する対象による前記要約居場所とその他の居場所との間の移動頻度を算出し、前記要約条件に基づき、前記要約居場所との間で移動頻度が高い居場所を前記関連居場所として抽出するステップとを有し、
前記図形生成部は、前記描画用図形データを生成するステップにおいて、
前記時間帯毎に各居場所に前記注目する対象が存在する時間の累積値の情報、および、前記注目する対象による前記要約居場所とその他の居場所との間の移動頻度の情報に基づき、時間軸上に前記時間帯毎の前記要約居場所を表す図形を親ノードとして表示させ、前記関連居場所を表す図形を、当該要約居場所を表す図形の下位に階層構造で表示させるための描画用図形データを生成するステップを有する
ことを特徴とする行動可視化方法。 - 要約条件設定部が、注目する対象と関わりの深い居場所を抽出するための要約条件を設定するステップと、
重要居場所抽出部が、前記注目する対象の居場所となる範囲内に設置されたセンサまたは機器の状態変化を示すセンサ情報または機器情報、および、前記要約条件設定部が設定した要約条件に基づき、複数の時間帯それぞれにおいて、前記注目する対象と関わりの深い居場所を抽出するステップと、
図形生成部が、前記重要居場所抽出部が抽出した、前記注目する対象と関わりの深い居場所を表す図形の図形領域の面積、および、当該図形領域間の距離を算出し、前記注目する対象と関わりの深い居場所を表す図形を階層構造で表示させるための描画用図形データを生成するステップと、
描画部が、前記図形生成部が生成した描画用図形データを表示装置に表示させるステップとを備え、
前記重要居場所抽出部は、前記注目する対象と関わりの深い居場所を抽出するステップにおいて、
行動度合推定部が、前記注目する対象の居場所となる領域が定義された情報、前記センサおよび前記機器の設置場所が定義された情報、前記センサ情報、前記機器情報、および、前記要約条件に基づき、前記時間帯毎に各居場所において前記注目する対象がどの程度行動しているかを示す行動度合を推定して、当該時間帯毎に、当該行動度合が最大の居場所を要約居場所として抽出するとともに、当該要約居場所に続いて当該行動度合が大きい居場所を関連居場所として抽出するステップと、
関連度合推定部が、前記時間帯毎に、前記要約居場所および前記関連居場所に含まれる、2つの居場所の行動度合に基づき、当該2つの居場所の関連度合を推定するステップとを有し、
前記図形生成部は、前記描画用図形データを生成するステップにおいて、
前記行動度合、および、前記関連度合に基づき、時間軸上に前記時間帯毎の前記要約居場所を表す図形を親ノードとして表示させ、前記関連居場所を表す図形を、当該要約居場所を表す図形の下位に階層構造で表示させるための描画用図形データを生成するステップを有する
ことを特徴とする行動可視化方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/026106 WO2019016890A1 (ja) | 2017-07-19 | 2017-07-19 | 行動可視化装置および行動可視化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6385600B1 true JP6385600B1 (ja) | 2018-09-05 |
JPWO2019016890A1 JPWO2019016890A1 (ja) | 2019-07-25 |
Family
ID=63444253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017564655A Active JP6385600B1 (ja) | 2017-07-19 | 2017-07-19 | 行動可視化装置および行動可視化方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11328260B2 (ja) |
JP (1) | JP6385600B1 (ja) |
KR (1) | KR102138553B1 (ja) |
CN (1) | CN110892441A (ja) |
DE (1) | DE112017007657T5 (ja) |
TW (1) | TWI662427B (ja) |
WO (1) | WO2019016890A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020071402A1 (ja) * | 2018-10-02 | 2020-04-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報提供方法 |
JP2020154938A (ja) * | 2019-03-22 | 2020-09-24 | Kddi株式会社 | 行動情報に基づいて満足度を推定可能な装置、プログラム及び方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022137535A1 (ja) * | 2020-12-25 | 2022-06-30 | 三菱電機株式会社 | 機器間移動時間推定装置、機器間移動時間推定方法および機器 |
US11785012B2 (en) * | 2021-06-07 | 2023-10-10 | Bank Of America Corporation | Data processing for internet of things (IoT) devices based on recorded user behavior |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007110341A (ja) * | 2005-10-12 | 2007-04-26 | Sony Ericsson Mobilecommunications Japan Inc | 携帯端末装置、移動先情報提供サーバ装置、滞在場所情報収集プログラム、移動先情報表示プログラム、移動先情報提供プログラム及び移動先情報提供システム |
JP2009157518A (ja) * | 2007-12-25 | 2009-07-16 | Fuji Xerox Co Ltd | 行動履歴表示システム、行動履歴表示プログラム |
JP2011118647A (ja) * | 2009-12-03 | 2011-06-16 | Sony Computer Entertainment Inc | 情報処理装置および情報処理方法 |
JP2015125555A (ja) * | 2013-12-26 | 2015-07-06 | 東京瓦斯株式会社 | 行動予測システム、機器制御方法、行動支援方法およびプログラム |
JP2016134113A (ja) * | 2015-01-22 | 2016-07-25 | コニカミノルタ株式会社 | 画像処理システム、画像処理装置、端末装置及びプログラム |
JP2017111535A (ja) * | 2015-12-15 | 2017-06-22 | 三菱重工メカトロシステムズ株式会社 | 交通流情報提供装置、ガイダンスシステム、交通流情報提供方法及びプログラム |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3996428B2 (ja) * | 2001-12-25 | 2007-10-24 | 松下電器産業株式会社 | 異常検知装置及び異常検知システム |
US8589174B2 (en) | 2003-12-16 | 2013-11-19 | Adventium Enterprises | Activity monitoring |
JP2008000283A (ja) | 2006-06-21 | 2008-01-10 | Sharp Corp | 出力装置、出力装置の制御方法、出力装置の制御プログラム、出力装置の制御プログラムを記録した記録媒体 |
US8295597B1 (en) | 2007-03-14 | 2012-10-23 | Videomining Corporation | Method and system for segmenting people in a physical space based on automatic behavior analysis |
JP2009080580A (ja) * | 2007-09-25 | 2009-04-16 | Toshiba Corp | 映像表示装置及び方法 |
JP2009123181A (ja) | 2007-10-26 | 2009-06-04 | Advanced Telecommunication Research Institute International | 情報提示システム |
JP5245495B2 (ja) | 2008-03-31 | 2013-07-24 | 大日本印刷株式会社 | 時系列データ用グラフ表示装置 |
JP2009285077A (ja) | 2008-05-28 | 2009-12-10 | Sanyo Electric Co Ltd | 生活機能測定装置、生活機能測定プログラム及び生活機能測定システム |
WO2010044490A1 (ja) | 2008-10-17 | 2010-04-22 | 株式会社日立製作所 | グループ可視化システム及びセンサネットワークシステム |
JP4982511B2 (ja) | 2009-01-23 | 2012-07-25 | 株式会社東芝 | 行動時間比率計算装置及び行動時間比率計算方法 |
JP5440080B2 (ja) | 2009-10-02 | 2014-03-12 | ソニー株式会社 | 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム |
TWI421787B (zh) * | 2009-12-25 | 2014-01-01 | Taiwan Sogo Shinkong Security Co Ltd | 人員定位追蹤及管理系統及其方法 |
JP5557610B2 (ja) | 2010-06-16 | 2014-07-23 | 株式会社日立製作所 | 行動内容可視化装置および行動内容解析装置 |
WO2012008264A1 (ja) * | 2010-07-16 | 2012-01-19 | 株式会社日立製作所 | 生活可視化システム、サーバ及び生活データの処理方法 |
US9250759B1 (en) * | 2010-07-23 | 2016-02-02 | Amazon Technologies, Inc. | Visual representation of user-node interactions |
JP5302290B2 (ja) | 2010-11-26 | 2013-10-02 | 東芝テック株式会社 | 看護支援システム |
JP5841538B2 (ja) * | 2011-02-04 | 2016-01-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 関心度推定装置および関心度推定方法 |
JP5785869B2 (ja) * | 2011-12-22 | 2015-09-30 | 株式会社日立製作所 | 行動属性分析プログラムおよび装置 |
JP6027122B2 (ja) | 2012-08-30 | 2016-11-16 | 株式会社日立製作所 | 情報分析システム、及び情報分析方法 |
EP3011523A1 (en) | 2013-06-20 | 2016-04-27 | Vodafone IP Licensing Limited | Location analysis for analytics |
TWI615798B (zh) * | 2013-12-17 | 2018-02-21 | 動聯國際股份有限公司 | 基於物聯網的健康照護系統 |
US20150199698A1 (en) | 2014-01-14 | 2015-07-16 | Panasonic Intellectual Property Corporation Of America | Display method, stay information display system, and display control device |
WO2015129210A1 (ja) | 2014-02-25 | 2015-09-03 | 日本電気株式会社 | 情報処理装置、データ分析方法、及び、記録媒体 |
JP6044937B2 (ja) | 2014-03-04 | 2016-12-14 | 日本電信電話株式会社 | 移動軌跡解析装置及び方法 |
JP5907362B1 (ja) * | 2014-10-08 | 2016-04-26 | パナソニックIpマネジメント株式会社 | 活動状況分析装置、活動状況分析システムおよび活動状況分析方法 |
CN105630897B (zh) * | 2015-12-18 | 2019-12-24 | 武汉大学 | 一种内容感知的地理视频多层次关联方法 |
US20170193309A1 (en) * | 2016-01-06 | 2017-07-06 | Panasonic Intellectual Property Management Co., Ltd. | Moving information analyzing system and moving information analyzing method |
US10846745B1 (en) * | 2016-12-30 | 2020-11-24 | Amazon Technologies, Inc. | Contextual presence |
-
2017
- 2017-07-19 DE DE112017007657.9T patent/DE112017007657T5/de active Pending
- 2017-07-19 KR KR1020207001105A patent/KR102138553B1/ko active IP Right Grant
- 2017-07-19 JP JP2017564655A patent/JP6385600B1/ja active Active
- 2017-07-19 CN CN201780093110.9A patent/CN110892441A/zh active Pending
- 2017-07-19 WO PCT/JP2017/026106 patent/WO2019016890A1/ja active Application Filing
- 2017-07-19 US US16/618,657 patent/US11328260B2/en active Active
- 2017-09-06 TW TW106130423A patent/TWI662427B/zh not_active IP Right Cessation
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007110341A (ja) * | 2005-10-12 | 2007-04-26 | Sony Ericsson Mobilecommunications Japan Inc | 携帯端末装置、移動先情報提供サーバ装置、滞在場所情報収集プログラム、移動先情報表示プログラム、移動先情報提供プログラム及び移動先情報提供システム |
JP2009157518A (ja) * | 2007-12-25 | 2009-07-16 | Fuji Xerox Co Ltd | 行動履歴表示システム、行動履歴表示プログラム |
JP2011118647A (ja) * | 2009-12-03 | 2011-06-16 | Sony Computer Entertainment Inc | 情報処理装置および情報処理方法 |
JP2015125555A (ja) * | 2013-12-26 | 2015-07-06 | 東京瓦斯株式会社 | 行動予測システム、機器制御方法、行動支援方法およびプログラム |
JP2016134113A (ja) * | 2015-01-22 | 2016-07-25 | コニカミノルタ株式会社 | 画像処理システム、画像処理装置、端末装置及びプログラム |
JP2017111535A (ja) * | 2015-12-15 | 2017-06-22 | 三菱重工メカトロシステムズ株式会社 | 交通流情報提供装置、ガイダンスシステム、交通流情報提供方法及びプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020071402A1 (ja) * | 2018-10-02 | 2020-04-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報提供方法 |
JP7441790B2 (ja) | 2018-10-02 | 2024-03-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報提供方法 |
JP2020154938A (ja) * | 2019-03-22 | 2020-09-24 | Kddi株式会社 | 行動情報に基づいて満足度を推定可能な装置、プログラム及び方法 |
JP7085266B2 (ja) | 2019-03-22 | 2022-06-16 | Kddi株式会社 | 行動情報に基づいて満足度を推定可能な装置、プログラム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
DE112017007657T5 (de) | 2020-03-05 |
CN110892441A (zh) | 2020-03-17 |
KR102138553B1 (ko) | 2020-07-28 |
US20200118081A1 (en) | 2020-04-16 |
KR20200013054A (ko) | 2020-02-05 |
US11328260B2 (en) | 2022-05-10 |
JPWO2019016890A1 (ja) | 2019-07-25 |
TWI662427B (zh) | 2019-06-11 |
WO2019016890A1 (ja) | 2019-01-24 |
TW201909004A (zh) | 2019-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6385600B1 (ja) | 行動可視化装置および行動可視化方法 | |
US10965482B2 (en) | Building management system that determines building utilization | |
AU2021203601A1 (en) | Method and device for processing motion events | |
JP4898581B2 (ja) | ユーザインターフェース方法、表示装置、および、ユーザインターフェースシステム | |
JP7014299B2 (ja) | 行動最適化装置、方法およびプログラム | |
CN108573596B (zh) | 控制方法 | |
US11494794B1 (en) | Estimating the cost of residential remodeling projects | |
KR101828188B1 (ko) | 에너지 매니지먼트 시스템, 단말 장치, 표시 제어 방법 및 프로그램 | |
JP2015087957A (ja) | 情報提供装置およびその方法、ならびにプログラム | |
JP2015176477A (ja) | 入居者意思決定支援システム | |
JP6664589B1 (ja) | 表示プログラム、表示装置及び表示方法 | |
KR102544081B1 (ko) | 인테리어 시뮬레이션 및 견적 서비스 제공 시스템 및 방법 | |
JP6844072B1 (ja) | 建物管理装置、建物管理システム及びプログラム | |
JP2016021249A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2017076230A (ja) | 情報処理装置、情報処理システム、情報提供方法、及びプログラム | |
JP7493155B2 (ja) | 作業系列識別装置、作業系列識別システム、作業系列識別方法、及びプログラム | |
JP7387971B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
KR102359178B1 (ko) | 건축물 구조 빅데이터 기반 가전 추천 관리 시스템 | |
JP2019175386A (ja) | 価値観評価システム、及び物件検索システム | |
JP7341378B2 (ja) | 評価装置、評価方法及び評価プログラム | |
JP7407681B2 (ja) | 電子装置及びシステム | |
WO2023139974A1 (ja) | 空間情報管理システム、空間情報管理方法、及び、プログラム | |
JP6664597B1 (ja) | 情報表示プログラム、情報表示装置及び情報表示方法 | |
JP2023145933A (ja) | センサ配置管理システムおよびセンサ配置管理方法 | |
JP2023002649A (ja) | 情報処理装置、情報処理理方法、及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171212 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171212 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20171212 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180501 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180710 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180807 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6385600 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |