JPWO2017022306A1 - 情報処理システム、及び情報処理方法 - Google Patents

情報処理システム、及び情報処理方法 Download PDF

Info

Publication number
JPWO2017022306A1
JPWO2017022306A1 JP2017532408A JP2017532408A JPWO2017022306A1 JP WO2017022306 A1 JPWO2017022306 A1 JP WO2017022306A1 JP 2017532408 A JP2017532408 A JP 2017532408A JP 2017532408 A JP2017532408 A JP 2017532408A JP WO2017022306 A1 JPWO2017022306 A1 JP WO2017022306A1
Authority
JP
Japan
Prior art keywords
user
space
specific space
evaluation value
happiness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017532408A
Other languages
English (en)
Inventor
敦 塩野崎
敦 塩野崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017022306A1 publication Critical patent/JPWO2017022306A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)

Abstract

【課題】ユーザの感情と対応付けて特定の空間を評価することが可能な、情報処理システム、及び情報処理方法を提供する。
【解決手段】特定の空間に出入りすることによって生じたユーザの感情の変化を蓄積する蓄積部と、前記ユーザの感情の変化に基づき、前記特定の空間に対する評価値を算出する制御部と、を備える情報処理システム。
【選択図】図1

Description

本開示は、情報処理システム、及び情報処理方法に関する。
近年、ユーザの感情や心理状態を評価する技術が提案されている。例えば、下記特許文献1には、イベントに参加するユーザが携帯する通信デバイスにより、当該ユーザの感情をセンシングする技術が開示されている。また、下記特許文献2には、店内のユーザに装着されたセンサにより検出されたセンサデータの分析により、当該ユーザの心理状態を評価する技術が開示されている。また、下記特許文献3には、ユーザの視認対象に対する当該ユーザの感情の度合を顔の表情解析により判定する技術が開示されている。
特表2015−505702号公報 特表2013−537435号公報 国際公開第2011/042989号
上記の技術は個々のユーザの状態を評価することに留まっており、例えばユーザの感情と実世界の空間とが対応付けられた評価は行われていなかった。より多様なサービス等にユーザの感情情報を利用するためには、ユーザの感情と対応付けて空間を評価することが求められていた。
そこで、本開示では、ユーザの感情と対応付けて特定の空間を評価することが可能な、新規かつ改良された情報処理システム、及び情報処理方法を提案する。
本開示によれば、特定の空間に出入りすることによって生じたユーザの感情の変化を蓄積する蓄積部と、前記ユーザの感情の変化に基づき、前記特定の空間に対する評価値を算出する制御部と、備える情報処理システムが提供される。
また、本開示によれば、特定の空間を示す空間識別情報を、特定の空間に出入りすることによって生じたユーザの感情の変化に基づく、当該特定の空間に対する評価値を算出可能な外部装置に送信する通信部と、前記通信部を介して、前記外部装置より取得された、前記空間識別情報が示す前記特定の空間に対する評価値に基づき、前記特定の空間の位置に前記評価値を表す画素値をマッピングすることによってヒートマップ画像を生成する制御部と、を備える情報処理システムが提供される。
また、本開示によれば、特定の空間に出入りすることによって生じたユーザの感情の変化を蓄積することと、前記ユーザの感情の変化に基づき、前記特定の空間に対する評価値をプロセッサが算出することと、を含む、情報処理方法が提供される。
また、本開示によれば、特定の空間を示す空間識別情報を、特定の空間に出入りすることによって生じたユーザの感情の変化に基づく、当該特定の空間に対する評価値を算出可能な外部装置に送信することと、前記外部装置より取得された、前記空間識別情報が示す前記特定の空間に対する評価値に基づき、前記特定の空間の位置に前記評価値を表す画素値をマッピングすることによってヒートマップ画像をプロセッサが生成することと、を含む、情報処理方法が提供される。
以上説明したように本開示によれば、ユーザの感情と対応付けて空間を評価することが可能である。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要を示す説明図である。 同実施形態による情報処理システムの全体構成例を示す説明図である。 同実施形態に係る空間評価システムの構成例を示す説明図である。 同実施形態に係るヒートマップシステムの構成例を示す説明図である。 同実施形態により生成されるヒートマップ画像の一例を示す説明図である。 同実施形態により生成されるライフログアプリケーション用の時系列画像の一例を示す説明図である。 同実施形態に係るハピネス変化蓄積処理の動作例について説明するための説明図である。 同実施形態に係るハピネス変化蓄積処理において、蓄積部に蓄積されるデータの状態変化を示す説明図である。 同実施形態に係る平均ハピネス変化値算出処理の動作例について説明するための説明図である。 同実施形態に係る平均ハピネス変化値算出処理において、蓄積部に蓄積されているデータの状態変化を示す説明図である。 同実施形態に係るハピネスマップ生成処理の動作例について説明するための説明図である。 同実施形態に係るマイハピネスマップ生成処理の動作例について説明するための説明図である。 同実施形態に係る変形例2について説明するための説明図である。 同実施形態に係る変形例2について説明するための説明図である。 同実施形態に係る情報処理装置のハードウェア構成を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
<<1.概要>>
<<2.構成>>
<2−1.全体構成>
<2−2.空間評価システムの構成>
<2−3.ヒートマップシステムの構成>
<<3.動作>>
<3−1.空間評価の動作例>
<3−2.ヒートマップ画像生成の動作例>
<<4.変形例>>
<4−1.変形例1>
<4−2.変形例2>
<4−3.変形例3>
<<5.ハードウェア構成例>>
<<6.むすび>>
<<1.概要>>
まず、図1を参照しながら本開示の一実施形態の概要を説明する。本実施形態による情報処理システムは、人が出入りする特定の空間(以下、単に空間と呼ぶ場合もある)に対して、空間を利用する(出入りする)人(ユーザ)のハピネス度(幸福度)を測定し、測定されたハピネス度に基づいて空間の評価を行う。
図1は、本開示の一実施形態による情報処理システムの概要を示す説明図である。図1において、空間Aに入る前の状態(状態U1)のユーザのハピネス度よりも、空間Aから出た後の状態(状態U2)のユーザのハピネス度の方が高い場合、本実施形態による情報処理システムは、空間Aは幸福になれる空間であると評価することができる。一方、空間Bに入る前の状態(状態U2)のユーザのハピネス度よりも、空間Bから出た後の状態(状態U3)のユーザのハピネス度の方が低い場合、本実施形態による情報処理システムは、空間Bを幸福になれない空間であると評価することが出来る。
ユーザは幸福になれる空間を訪れたいと考えられるため、例えば本実施形態による情報処理システムが、幸福になれる空間の評価情報を提供することで、ユーザが行先を決める際に当該情報を参考にすることが可能である。また同様に、本実施形態による情報処理システムが、空間(例えば店舗等)の所有者に当該空間がどの程度幸福になれる空間であるかという評価情報を提供することで、空間を運営する際の指標や、空間の改善検討に利用可能である。
本実施形態による評価指標は、空間がユーザの感情(ハピネス度)をどのように変化させるかを測定し、空間を評価することが可能であるため、ユーザの感情に直結した評価指標として、上記に限られず多様なサービス等への応用が可能である。
なお、本実施形態に係る特定の空間は、例えば、商業施設の店舗・個店であってもよい。また、本技術に係る特定の空間は係る例に限定されず、例えば、商業施設の全体、大型施設、映画館、レジャー施設、イベント会場等の出入口を有する空間であってもよい。
また、空間が有する出入口は、当該空間に接しているとは限られない。例えば、商業施設に隣接した駐車場の出入口が、当該商業施設の出入口とみなされ、駐車場の出入口で取得されたハピネス度に基づいて、当該商業施設の評価値が算出されてもよい。
<<2.構成>>
以上、本開示の一実施形態による情報処理システムの概要を説明した。続いて、本実施形態による情報処理システムの構成について説明する。以下では、まず、本実施形態による情報処理システムの全体構成について説明した後、本実施形態による情報処理システムが有する空間評価システムとヒートマップシステムについて順次詳細に説明する。
<2−1.全体構成>
図2は、本実施形態による情報処理システム99の全体構成例を示す説明図である。図2に示すように、本実施形態による情報処理システム99は、例えば、空間評価システム1、ヒートマップシステム2、システム3、システム4、及び通信網5を備える情報処理ステムである。
図2に示すように、空間評価システム1は、コアサーバ100、出入口センサ装置120a、120b、ウェアラブルデバイス140a、140b、及び通信網160を有する情報処理システムである。コアサーバ100は、通信網160を介し、出入口センサ装置120a、120b、またはウェアラブルデバイス140a、140bから特定空間に出入りするユーザのハピネス度を受け取り、ハピネス度の変化に基づいて、当該特定空間に対する評価値を算出する。なお、空間評価システム1のより詳細な構成については、図3を参照して後述する。
ヒートマップシステム2、システム3、及びシステム4は、空間評価システム1から、特定空間に対する評価値を受け取り、当該評価値を用いた情報処理を行う情報処理システムである。例えば、ヒートマップシステム2は、空間に対する評価値に基づき、特定空間の位置に当該評価値を表す画素値(色、輝度等を示す値)をマッピングすることによってヒートマップ画像を生成する情報処理システムである。なお、ヒートマップシステム2の構成については、図4〜6を参照して後述する。また、ヒートマップ画像の生成以外の当該評価値を用いた情報処理の例(例えばシステム3、及びシステム4が行う情報処理の例)については、変形例3として後述する。
通信網5は、通信網5に接続されている装置、またはシステムから送信される情報の有線、または無線の伝送路である。例えば、通信網5は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)等を含んでもよい。また、通信網5は、IP−VPN(Internet Protocol−Virtual Private Network)等の専用回線網を含んでもよい。
<2−2.空間評価システムの構成>
以上、本実施形態による情報処理システム99の全体構成例を説明した。続いて、図3を参照して、本実施形態に係る空間評価システム1の構成例を説明する。図3は本実施形態に係る空間評価システム1の構成例を示す説明図である。図3に示すように、本実施形態に係る空間評価システム1は、コアサーバ100、出入口センサ装置120、ウェアラブルデバイス140、及び通信網160を有する情報処理システムである。
なお、図3には出入口センサ装置120、及びウェアラブルデバイス140はそれぞれ1つずつしか図示されていないが、本実施形態に係る空間評価システムは、例えば図2に示したように複数の出入口センサ装置、及びウェアラブルデバイスを有してもよい。例えば、出入口センサ装置は、空間評価システム1の評価対象である特定の空間の数(例えば商業施設の店舗数)や、特定の空間が有する出入口の合計数だけ存在してもよいし、ウェアラブルデバイスは、ユーザの数だけ存在してもよい。また、本実施形態に係る空間評価システムは、出入口センサ装置とウェラブルデバイスのうち、いずれかのみを有する情報処理システムであってもよい。
また、通信網160の構成は、図2を参照して説明した通信網5の構成と実質的に同一であるため、説明を省略する。以下、本実施形態に係る空間評価システム1が有するコアサーバ100、出入口センサ装置120、ウェアラブルデバイス140の構成について、順次説明する。
(コアサーバ)
コアサーバ100は、図3に示すように制御部102、蓄積部104、通信部106を備える情報処理装置である。コアサーバ100は、通信網160を介し、出入口センサ装置120、またはウェアラブルデバイス140から特定空間に出入りするユーザのハピネス度を受け取り、ハピネス度の変化に基づいて、当該特定空間に対する評価値を算出する。
制御部102は、コアサーバ100全体の制御を行う。例えば、制御部102は、後述する蓄積部104を制御して、データを蓄積させ、またはデータを取得する。また、例えば、制御部102は、通信部106による通信(送信、または受信)を制御する。
例えば、制御部102は、通信部106を介して特定の空間に出入りした各々のユーザの感情データを取得し、当該感情データを蓄積部104に蓄積させる。また、制御部102は、当該感情データに基づいて、当該特定の空間に出入りすることによって生じた各々のユーザの感情の変化を算出し、当該感情の変化を蓄積部104に蓄積させる。制御部102は、例えば、各々のユーザの、特定の空間から出るときの感情データと、当該特定の空間に入るときの感情データとの差に基づき、ユーザの感情の変化を算出してもよい。
なお、本実施形態において、感情データは例えばハピネス度であり、制御部102は、例えば各々のユーザが特定の空間から出るときのハピネス度と当該特定の空間に入るときのハピネス度の差に基づき、ユーザの感情の変化(ハピネス変化)を算出してもよい。なお、上記のユーザが特定空間に入るときとは、ユーザが特定空間に入る直前の時点でもよいし、入った直後の時点でもよい。また、同様にユーザが特定空間から出るときとは、ユーザが特定空間から出る直前の時点でもよいし、出た直後の時点でもよい。
ユーザが特定空間に入るときのハピネス度をHとし、当該ユーザが特定空間から出るときのハピネス度をHt+dwとする(なお、ここでdwは滞在時間dwell timeを表す)と、当該ユーザのハピネス変化Hδは、次式で求められる。
Figure 2017022306
ここで、ハピネス変化Hδが正(Hδ>0)の場合は、当該特定空間は、出入りすることでハピネス度が上昇する空間(ハッピーになれる空間)であるとみなすことが可能である。また、ハピネス変化Hδが負(Hδ<0)の場合は、当該特定空間は、出入りすることでハピネス度が低下する空間であるとみなすことが可能である。また、ハピネス変化Hδが0(Hδ=0)の場合は、当該特定空間は、出入りしてもハピネス度が変化しない(不変な)空間であるとみなすことが可能である。
また、制御部102は、蓄積部104に蓄積された特定の空間に出入りすることによって生じたユーザの感情の変化(本実施形態においてはハピネス変化)に基づき、当該特定の空間に対する評価値を算出し、蓄積部104に蓄積させる。例えば、制御部102は、所定期間(例えば一日)において当該空間に出入りしたユーザのハピネス変化の平均値を算出し、当該平均値(所定期間におけるハピネス変化のユーザ平均)を評価値としてもよい。
なお、制御部102が算出する評価値は上記に限定されない。例えば、制御部102は、ある日数(総日数)について、一日(所定期間)毎のハピネス変化のユーザ平均を合計し、合計された結果を総日数で割ることで得られる平均ハピネス変化値を評価値としてもよい。また、制御部102は、特定のユーザのハピネス変化を評価値としてもよい。
なお、評価値の算出に用いられる感情データは、特定の空間の出入口の情報を検出可能に取り付けられた出入口センサ装置120が有する入口センサ部126、及び出口センサ部128によって検出されたユーザの情報に基づいて取得されてもよい。係る構成によれば、センシングデバイス等を携帯していないユーザについても当該ユーザの感情データを取得することが可能である。なお、出入口センサ装置120、及び出入口センサ装置120が有する入口センサ部126と出口センサ部128によって検出されるユーザの情報については後述する。
また、制御部102が上記評価値の算出に用いる感情データは、ユーザに取り付けられたウェアラブルデバイス140が有するセンサ部146によって検出されたユーザの生体情報に基づいて取得されてもよい。係る構成によれば、出入口センサ装置120の設置が困難な空間についてもユーザの感情データを取得することが可能となる。なお、ウェアラブルデバイス140、及びウェアラブルデバイス140が有するセンサ部146によって検出されるユーザの生体情報については後述する。
また、制御部102は、通信部106が外部装置(空間評価システム1の外部の装置)から、特定の空間を示す空間識別情報を受信した場合、当該空間識別情報が示す特定の空間に対する評価値を、通信部106を介して当該外部装置に返信する。また、制御部102は、通信部106が外部装置から、空間識別情報と特定のユーザを示すユーザ識別情報(例えばユーザID)を受信した場合、当該空間識別情報が示す特定の空間に対する、当該ユーザ識別情報が示す特定のユーザの評価である評価値を、通信部106を介して当該外部装置に返信する。
なお、特定の空間を示す空間識別情報をコアサーバ100に送信する外部装置は、例えば、図2を参照して説明したヒートマップシステム2や、システム3,4に含まれる装置であってもよい。また、空間識別情報は、例えば特定の空間が店舗である場合には、店舗ごとに割り振られた固有のID(店舗ID)であってもよい。
係る構成により、空間評価システム1は、外部装置や外部システムとの連携が可能となり、当該外部装置や外部システムは、様々なサービスやアプリケーションを特定空間のユーザや所有者に提供することが可能となる。
蓄積部104は、制御部102の制御を受け、各種データを蓄積し、また、蓄積した各種データを制御部102に提供する。例えば、蓄積部104は、特定の空間に出入りした各々のユーザの感情データ(例えばハピネス度)、特定の空間に出入りすることによって生じたユーザの感情の変化(例えばハピネス変化)、評価値(例えば平均ハピネス変化値)を蓄積する。
通信部106は、空間評価システム1の内部の装置、及び外部の装置(外部装置)との通信を行う。例えば、通信部106は、外部装置から、特定の空間を示す空間識別情報を受信する。また、通信部106は、制御部102の制御を受け、当該空間識別情報が示す特定の空間に対する評価値を当該外部装置に送信する。また、通信部106は、出入口センサ装置120、及びウェアラブルデバイス140からハピネス度(感情データ)を受信する。
(出入口センサ装置)
以上、コアサーバ100の構成について説明した。続いて、出入口センサ装置120の構成について説明する。図3に示すように、出入口センサ装置120は、通信部122、制御部124、入口センサ部126、及び出口センサ部128を備える情報処理装置である。出入口センサ装置120は、特定の空間の出入口の情報を入口センサ部126、及び出口センサ部128が検出可能に(例えば出入口の付近)に取り付けられてもよい。
通信部122は、通信網160を介し、コアサーバ100との通信を行う。例えば、通信部122は、コアサーバ100に、空間識別情報(例えば店舗ID)、ユーザ識別情報(ユーザID)、取得日時、空間への出入りの判別結果と共に、感情データ(例えばハピネス度)を送信する。なお、空間識別情報として、出入口センサ装置ごとに固有のID(空間ID、店舗ID)が予め設定されてもよい。また、ユーザ識別情報、取得日時、空間への出入りの判別結果、及び感情データは、後述する制御部124により通信部122に提供される。
制御部124は、出入口センサ装置120全体の制御を行う。例えば、制御部124は、入口センサ部126と、出口センサ部128によって検出されるユーザの情報(ユーザ情報)に基づいて感情データを取得し、通信部122を制御して感情データをコアサーバ100に送信させる。また、制御部124は、入口センサ部126と、出口センサ部128によって検出されるユーザ情報に基づき、ユーザの識別を行う。
以下では、入口センサ部126、及び出口センサ部128が画像を取得し、画像中のユーザ(人物)の情報(例えば顔)を検出可能なカメラである場合の感情データの取得の例について説明する。なお、出入口センサ装置120が有する入口センサ部126、及び出口センサ部128はカメラに限定されず、制御部124が感情データの取得やユーザの識別を行うことが可能なユーザ情報を検出可能であれば他のセンサであってもよい。本実施形態に係る入口センサ部126、及び出口センサ部128の構成については後述する。
制御部124は、入口センサ部126と、出口センサ部128によって検出されるユーザ情報に基づき、各々のユーザの特定の空間に入るときの感情データ(ハピネス度)と、当該特定の空間から出るときの感情データ(ハピネス度)を取得する。感情データは、ユーザ情報に含まれていてもよいし、制御部124がユーザ情報に基づいて算出することで得られてもよい。
例えば、制御部124は、入口センサ部126、及び出口センサ部128が取得した画像から、人物(ユーザ)や人物の表情を認識して、感情データを取得してもよい。例えば、制御部124は、人物の笑顔を認識して、笑顔度を評価し、笑顔度をハピネス度として取得してもよい。また、制御部124は、認識された人物が他の人と一緒にいるか否かによりハピネス度を特定してもよい。例えば、認識された人物の近傍に他の人がいた場合にはハピネス度が高く特定されてもよい。また、制御部124は、認識された人物や近傍の他の人の年齢や性別を判別することで、認識された人物を含む集団の属性(例えば、カップル、家族、友達等)を判定し、属性に応じてハピネス度を特定してもよい。
また、制御部124は、入口センサ部126と、出口センサ部128によって検出されるユーザ情報に基づき、ユーザの識別を行う。制御部124は、検出されたユーザ情報が新たなユーザ(ユーザ識別情報が設定されていないユーザ)に関する情報であれば、当該ユーザに対してユーザごとに固有のユーザ識別情報(ユーザID)を設定する。例えば、本実施形態において、制御部124は、入口センサ部126と、出口センサ部128により検出された顔の情報を用いて、顔認識技術によりユーザの識別を行ってもよい。
また、制御部124は、取得した感情データ、ユーザ識別情報、及び取得日時(制御部124が入口センサ部126、または出口センサ部128からユーザ情報を取得した日時)を通信部122に提供する。
なお、制御部124は、取得した感情データ(ハピネス度)が空間に入るときの感情データであるか、または空間から出るときの感情データであるかを判別し、当該判別結果(空間への出入りの判別結果)を通信部122に提供する。例えば、制御部124は、入口センサ部126によって検出されたユーザ情報に基づき感情データを取得した場合に、当該感情データが空間に入る時の感情データであると判別してもよい。また、制御部124は、出口センサ部128によって検出されたユーザ情報に基づき、感情データを取得した場合に、当該感情データが空間から出る時の感情データであると判別してもよい。
入口センサ部126は、特定の空間の入り口の情報を取得可能に設置されるセンサである。例えば、入口センサ部126は、特定の空間の入り口から入るユーザを撮影可能な位置、及び角度で設置され、撮影により画像を取得し、画像中のユーザ(人物)の情報(例えば顔)を検出可能なカメラであってもよい。また、出口と入口が同一である場合には、入口センサ部126は、当該空間に入るユーザを撮影可能な位置、及び角度で設置されてもよい。
出口センサ部128は、特定の空間の入り口の情報を取得可能に設置されるセンサである。例えば、出口センサ部128は、特定の空間の出口から出るユーザを撮影可能な位置、及び角度で設置され、撮影により画像を取得し、画像中のユーザ(人物)の情報(例えば顔)を検出可能なカメラであってもよい。また、出口と入口が同一である場合には、出口センサ部128は、当該空間から出るユーザを撮影可能な位置、及び角度で設置されてもよい。
なお、図3では、出入口センサ装置120が入口センサ部と出口センサ部を1つずつ有する例を示したが、出入口センサ装置120は、複数の入口センサ部、及び出口センサ部を有してもよい。例えば、出入口センサ装置120は、入口の数だけ入口センサ部を有し、出口の数だけ出口センサ部を有してもよい。また、入口センサ部、及び出口センサ部がそれぞれ独立した装置であってもよく、例えば、制御部124を有する装置に検出した情報を提供(送信)するセンサ装置であってもよい。
(ウェアラブルデバイス)
以上、出入口センサ装置120の構成について説明した。続いて、出入口センサ装置120の構成について説明する。図3に示すように、ウェアラブルデバイス140は、通信部142、制御部144、及びセンサ部146を備える情報処理装置である。ウェアラブルデバイス140は、特定の空間に出入りするユーザの生体情報を取得してコアサーバ100に提供する装置であり、例えばユーザに装着されていてもよい。
通信部142は、通信網160を介し、コアサーバ100との通信を行う。例えば、通信部122は、コアサーバ100に、空間識別情報(例えば店舗ID)、ユーザ識別情報(ユーザID)、取得日時と共に、感情データ(例えばハピネス度)を送信する。なお、空間識別情報は、特定の空間ごとに当該空間内、または当該空間近傍に設置されたビーコン送信装置(不図示)から通信部142が受け取ったビーコン信号に基づいて取得されてもよい。また、ウェアラブルデバイス140が位置情報を取得可能な場合には、当該位置情報に基づいて空間識別情報が取得されてもよい。また、ユーザ識別情報として、ウェアラブルデバイスごとに固有のID(ユーザID)が予め設定されてもよい。また、取得日時、及び感情データは、後述する制御部144により通信部142に提供される。
制御部144は、ウェアラブルデバイス140全体の制御を行う。例えば、制御部144は、センサ部146によって検出されるユーザの生体情報(例えば、血流、心拍数、体温、脳波、音声等)に基づいて感情データを取得し、通信部142を制御して感情データをコアサーバ100に送信させる。
センサ部146は、ユーザの生体情報を取得するセンサである。例えば、センサ部146は、血流センサ、心拍数センサ、温度センサ、脳波センサ、マイク等を含んでもよく、ユーザの血流、心拍数、体温、脳波、音声等を取得してもよい。
<2−3.ヒートマップシステムの構成>
以上、本実施形態に係る空間評価システム1の構成例を説明した。続いて、図4を参照して、本実施形態に係るヒートマップシステム2の構成例を説明する。図4は本実施形態に係るヒートマップシステム2の構成例を示す説明図である。図4に示すように、本実施形態に係るヒートマップシステム2は、ヒートマップサーバ200、ユーザ端末220a〜220d、及び通信網260を有する情報処理システムである。
なお、図4にはヒートマップシステム2が4つのユーザ端末220a〜220dを有する例が図示されているが、ヒートマップシステム2が有する4つより多くても少なくても(1つでも)よい。また、通信網260の構成は、図2を参照して説明した通信網5の構成と実質的に同一であるため、説明を省略する。
(ヒートマップサーバ)
図4に示すように、ヒートマップサーバ200は、制御部202、通信部206を有する情報処理装置である。
制御部202は、通信部206による通信制御を行うと共に、特定の空間に対する評価値に基づき、当該特定の空間の位置に当該評価値を表す画素値をマッピングすることによってヒートマップ画像を生成する。特定の空間に対する評価値は、後述する通信部206を介して外部装置(本実施形態においては空間評価システム1のコアサーバ100)より取得される。例えば、通信部206が特定の空間を示す空間識別情報(例えば店舗ID)をコアサーバ100に送信すると、当該空間識別情報が示す特定の空間に対する評価値がコアサーバ100からヒートマップサーバ200の通信部206に返信される。当該空間識別情報が示す特定の空間に対する評価値は、例えば、所定期間におけるハピネス変化のユーザ平均であってもよい。係る場合、制御部202が生成するヒートマップ画像は、ハピネス変化のユーザ平均を空間毎に把握可能なヒートマップ画像である。以下、上記のようなヒートマップ画像をハピネスマップと呼ぶ場合がある。
制御部202は、例えば、複数の特定の空間に対する評価値に基づき、評価値の正規化を行った後に、ヒートマップ画像における当該評価値を表す画素値を決定してもよい。また、制御部202は、評価値ごとに輝度や色が異なるように画素値を決定してもよい。例えば、制御部202が生成するヒートマップ画像は、評価値が高い空間の位置に輝度の高い画素値がマッピングされ、評価値が低い空間の位置に輝度の低い画素値がマッピングされてもよい。また、制御部202が生成するヒートマップ画像は、評価値が高い空間の位置に波長が長い色(例えば赤)の画素値がマッピングされ、評価値が低い空間の位置に波長が短い色(例えば青)の画素値がマッピングされてもよい。
係る構成によれば、ユーザはヒートマップ画像を見ることで視覚的にハッピーになれそうな空間を理解することが可能となり、例えば、来店を決める際の指標としてヒートマップ画像を参考にすることが出来る。
図5は、制御部202により生成されるヒートマップ画像の一例を示す説明図である。図5に示すように、ヒートマップ画像G10は、各空間(図5に示す例では商業施設における各店舗)の位置に、当該空間に対する評価値を示す画素値がマッピングされた商業施設のフロアマップG12を含む。また、図5に示すように、ヒートマップ画像G10は、評価値と画素値の対応を示す凡例G14を含んでもよい。
なお、図5に示したような商業施設内の空間(店舗)の評価値に関するヒートマップ画像は、後述するように、ユーザが所持するユーザ端末220a〜220dに表示されてもよいし、当該商業施設の入り口等に設置された表示装置(不図示)等に表示されてもよい。
また、制御部202は、通信部206を介して、特定の空間を示す空間識別情報(例えば店舗ID)と特定のユーザを示すユーザ識別情報(例えばユーザID)をコアサーバ100(外部装置)に送信してもよい。さらに、制御部202は、通信部206を介して、コアサーバ100より空間識別情報が示す特定の空間に対する、ユーザ識別情報が示す特定のユーザの評価である評価値を取得してもよい。ここで、特定の空間に対する、ユーザ識別情報が示す特定のユーザの評価である評価値は、例えば、当該空間に対する当該特定のユーザのハピネス変化であってもよい。そして、制御部202は、コアサーバ100より取得された、上記評価値に基づき、当該特定の空間の位置に当該評価値を表す画素値をマッピングすることによって、当該特定のユーザ用のヒートマップ画像を作成してもよい。係る場合、制御部202が生成するヒートマップ画像は、当該ユーザのハピネス変化を空間毎に把握可能なヒートマップ画像である。以下、上記のような特定のユーザにパーソナライズされた、特定のユーザ用のヒートマップ画像をマイハピネスマップと呼ぶ場合がある。
上記のように、特定のユーザ用のヒートマップ画像を作成するためには、各空間で認識された人物が同一人物として(すなわち、同一のユーザIDにより)トラッキングされていればよい。例えば、空間評価システム1において、顔認識技術(顔認証技術)等により、異なる空間同士で同一人物の照合が行われてもよいし、同一のウェアラブルデバイスから得られた情報は同一人物の情報であると認識されてもよい。
また、評価値を表す画素値は、特定の施設等の地図に限定されず、任意の地図にマッピングされてもよい。特に、上記のように特定のユーザ用のヒートマップ画像は、当該ユーザに応じて、任意の地図にマッピングされて用いられ得る。上記のように任意の地図に評価値を表す画素値がマッピングされる場合には、ズームレベル(地図を表示する際の拡大率)によって、特定の空間(例えば店舗や施設等)に対して画素値を一対一でマッピングすることが困難な場合もある。係る場合には、例えば、制御部202は、所定の範囲に含まれる複数の空間(店舗や施設等)の評価値を集約(例えば当該複数の空間の評価値を平均して画素値を決定)して、ヒートマップ画像を生成してもよい。
係る構成によれば、ユーザごとにハピネス度のヒートマップ画像(マイハピネスマップ)を得ることが可能となり、例えば、ユーザは自分自身がハッピーになりやすい場所を把握し、今後の移動先の決定の参考とすることが出来る。また、マイハピネスマップに基づいて、当該ユーザの評価値(ハピネス変化)が高い空間に再度訪れることを薦めるリコメンド情報を通知するアプリケーション等も実現可能となる。また、SNS(Social Networking Service)やアプリケーション等において、自分のマイハピネスマップを家族や友人と共有することで、自分がハッピーになれる空間を家族や友人に伝えることが可能である。
また、制御部202は、特定のユーザが訪問した空間に対する当該ユーザの評価である評価値を表す画素値を時系列に並べて配列させた画像を生成する。例えば、制御部202は、一番目に訪問した空間に対応する評価値を表す画素値と、二番目に訪問した空間に対応する評価値を表す画素値とを、時系列に並べて配列させた時系列画像を生成してもよい。係る構成によれば、例えばユーザの行動等をトラッキングするライフログアプリケーションにおいて、いつどこで何をしていたかという情報(位置情報、時間、写真、センサ情報に基づく行動履歴等)に加え、ユーザの感情変化を記録・提示することが可能である。
図6は、制御部202により生成される、ライフログアプリケーション用の時系列画像の一例を示す説明図である。図6に示すように、時系列画像G20は、特定のユーザが一日に訪問した空間や移動経路等を示すアイコンG21〜G26が時系列に並べて配列されている。上記アイコンG21〜G26のうち、空間評価システム1による評価の対象である特定の空間に対応するアイコンG22、G24〜G26には、各空間に対応する評価値を表す画素値がマッピングされている。なお、図6に示す時系列画像の例において、評価値は当該空間における当該ユーザのハピネス変化であり、評価値と画素値の関係は図5に示したヒートマップ画像の例と同様である。
図6に示す例において、ユーザが子供と遊んだ田町公園ではハピネス度が比較的大きく上昇し(アイコンG22)、続いて訪れた三田動物園では、当該日において最も大きなハピネス度の上昇が記録されている(アイコンG24)。また、ユーザは芝デパートにおいてよい買い物ができたものの、田町公園や三田動物園と比較するとハピネス度の上昇は小さい(アイコンG25)。ユーザがこの日最後に訪れた大門カメラ(カメラ量販店)では、個人的な趣味の時間を作ることが出来たため、再度ハピネス度が比較的大きく上昇している(アイコンG26)。
図4に示す通信部206は、制御部202による制御を受け、通信網260を介し、ユーザ端末220a〜220dとの通信を行う。また、通信部206は、制御部202による制御を受け、図2に示した通信網5を介し、空間評価システム1のコアサーバ100との通信を行う。
例えば、通信部206は、特定の空間を示す空間識別情報を、特定の空間に出入りすることによって生じたユーザの感情の変化に基づく、当該特定の空間に対する評価値を算出可能な外部装置(本実施形態においてはコアサーバ100)に送信する。また、通信部206は、制御部202によって生成される画像(例えば上述したヒートマップ画像、及び時系列画像)をユーザ端末220a〜220dに送信する。
(ユーザ端末)
ユーザ端末220a〜220dは、ヒートマップサーバ200により生成される画像(例えば上述したヒートマップ画像、及び時系列画像)を、通信網260を介してヒートマップサーバ200から受信して、表示する装置である。例えば、ユーザ端末220a〜220dは、ユーザにより所持されていてもよく、特にヒートマップサーバ200がコアサーバ100に送信するユーザ識別情報が示すユーザにより所持されていてもよい。
<<3.動作>>
以上、本実施形態による情報処理システム99の構成について説明した。続いて、本実施形態による情報処理システム99の動作について説明する。以下では、まず、図7〜10を参照して空間評価システム1によって行われる空間評価の動作例について説明した後、図11、12を参照して、空間評価システム1とヒートマップシステム2によって行われるヒートマップ画像生成の動作例について説明する。なお、以下では、本実施形態に係る特定の空間が、商業施設等の店舗である場合の例を説明する。
<3−1.空間評価の動作例>
本実施形態に係る空間評価システム1は、ユーザ情報が検出されることで行われるハピネス変化蓄積処理と、所定期間(例えば一日)ごとに行われる平均ハピネス変化値算出処理を行うことで、空間評価を行う。以下では、図7,8を参照してハピネス変化蓄積処理について説明した後、図9,10を参照して平均ハピネス変化値算出処理について説明を行う。
(ハピネス変化蓄積処理)
図7は、本実施形態に係るハピネス変化蓄積処理の動作例について説明するための説明図である。また、図8は、本実施形態に係るハピネス変化蓄積処理において、蓄積部104に蓄積されるデータの状態変化を示す説明図である。なお、図8では、各処理ステップにおいて追加された情報に下線が付されている。
なお、以下では出入口センサ装置120により情報(ハピネス度)の取得とコアサーバ100への提供が行われる例について説明するが、ウェアラブルデバイス140により情報の取得と提供が行われる場合も同様にして空間評価を行うことが可能である。
まず、図7に示すように、出入口センサ装置120は、センシングによりユーザが検出されると、検出されたユーザのユーザ情報に基づき、ユーザの識別を行う(S102)と共に、ハピネス度の測定(取得)を行う(S104)。続いて、出入口センサ装置120は、取得されたハピネス度が、店舗に入るとき(入店時)のハピネス度であるか、または店舗から出るとき(退店時)のハピネス度であるかを判別する(S106)。
取得されたハピネス度が入店時のハピネス度であった場合(S106において入店)、出入口センサ装置120は、コアサーバ100に店舗ID(空間識別情報)、ユーザID(ユーザ識別情報)、入店日時(取得日時)、及びハピネス度を送信する(S108)。なお、入店日時には、同時に送信されるハピネス度が入店時のハピネス度であるという判別結果の情報が含まれていてもよい。出入口センサ装置120から店舗ID、ユーザID、入店日時、及び入店時のハピネス度を受信したコアサーバ100は、上記情報に基づいて、図8の処理ステップS110の行に示すような新規エントリを追加し、蓄積部104に蓄積させる(S110)。
一方、取得されたハピネス度が退店時のハピネス度であった場合(S106において退店)、出入口センサ装置120は、コアサーバ100に店舗ID(空間識別情報)、ユーザID(ユーザ識別情報)、退店日時(取得日時)、及びハピネス度を送信する(S112)。なお、退店日時には、同時に送信されるハピネス度が退店時のハピネス度であるという判別結果の情報が含まれていてもよい。出入口センサ装置120から店舗ID、ユーザID、退店日時、及びハピネス度を受信したコアサーバ100は、既に蓄積済みの情報から店舗ID、及びユーザIDを用いて、該当するユーザの検索を行う(S114)。
続いて、コアサーバ100は、図8の処理ステップS116の行に示すように、ユーザ検索により得られたエントリ(当該ユーザの入店時にステップS110において追加されたエントリ)に、退店日時、及び退店時のハピネス度の情報を追加する(S116)。
続いて、コアサーバ100は、該当エントリにおいて、特定の空間に出入りすることによって生じたユーザの感情の変化として、ハピネス変化を算出し、コアサーバ100の蓄積部104は、ハピネス変化を蓄積(記録)する(S118)。例えば、図8に示す例では、入店時のハピネス度が40であり、退店時のハピネス度が60であったため、処理ステップS118の行に示すように、ハピネス変化は+20として記録される。
(平均ハピネス変化値算出処理)
以上、ハピネス変化蓄積処理の動作例について説明した。続いて、本実施形態に係る平均ハピネス変化値算出処理の動作例について説明を行う。本実施形態に係る平均ハピネス変化値算出処理は、コアサーバ100により、所定期間(本動作例では一日)ごとに行われる。図9は、本実施形態に係る平均ハピネス変化値算出処理の動作例について説明するための説明図である。また、図10は、本実施形態に係る平均ハピネス変化値算出処理において、蓄積部104に蓄積されている、ある店舗の平均ハピネス変化値(評価値の一例)に係るデータの状態変化を示す説明図である。なお、図10において、処理ステップが処理前の行は、当該店舗のデータに対して、当日に平均ハピネス変化値算出処理を行う前の状態(前日に平均ハピネス変化値算出処理を行った後の状態)を示している。また、図10では、各処理ステップにおいて更新された情報に下線が付されている。
まず、図9に示すように、制御部102は、処理対象店舗を決定する(S202)。処理対象店舗の決定は、例えば蓄積部104に蓄積された店舗のうち、店舗IDの昇順または降順に、未処理の店舗を順番に処理対象と決定することで行われてもよい。
続いて、制御部102は、処理対象店舗の店舗IDを用いて、当該店舗IDに該当する当該期間(当日)のエントリを蓄積部104から抽出する(S204)。続いて、制御部102は、抽出されたエントリの情報を用いて、ハピネス変化の平均値(ユーザ平均)を算出する(S206)。さらに、制御部102は、図10の処理ステップS208の行に示すように、当該店舗の平均ハピネス変化値に係るデータにおいて、総日数に1を加算し、総ハピネス変化値に上記のユーザ平均を加算する(S208)。
続いて、制御部102は、総ハピネス変化値を総日数で除算することで平均ハピネス変化値を算出し、図10の処理ステップS210の行に示すように、当該店舗の平均ハピネス変化値に係るデータにおいて、平均ハピネス変化値を更新する(S210)。
蓄積部104が蓄積するすべての店舗について上記の処理が完了した場合(S212においてYES)、平均ハピネス変化値算出処理は終了する。一方、上記の処理が完了していない店舗が存在する場合には、ステップS202に戻って処理が続行される。
<3−2.ヒートマップ画像生成の動作例>
以上、空間評価システム1によって行われる空間評価の動作例について説明した。続いて、空間評価システム1とヒートマップシステム2によって行われるヒートマップ画像生成の動作例について説明する。以下では、ヒートマップ画像生成の動作例として、図11を参照して、ハピネスマップ生成処理の動作例を説明した後、図12を参照してマイハピネスマップ生成処理の動作例を説明する。
(ハピネスマップ生成処理)
図11は、本実施形態に係るハピネスマップ生成処理の動作例について説明するための説明図である。まず、図11に示すように、ヒートマップサーバ200は、生成されるハピネスマップに含まれる店舗のID群を決定する(S302)。例えば、ハピネスマップに含まれる店舗は、予め設定されてもよいし、ユーザによって選択されてもよく、また当該店舗の店舗名や店舗住所、店舗位置(座標)に基づいて店舗IDが決定されてもよい。
続いて、ヒートマップサーバ200は、ステップS302で決定された店舗ID群のうち、一つの店舗ID(空間識別情報)をコアサーバ100(外部装置)に送信する(S304)。店舗IDを受信したコアサーバ100は、当該店舗IDが示す特定の空間に対する平均ハピネス変化値(評価値の一例)を、ヒートマップサーバ200に送信(返信)する(S306)。
ステップS302で決定された店舗ID群のうち、全ての店舗IDが示す特定の空間に対する平均ハピネス変化値が取得されていなければ(S308においてNO)、取得されていない店舗IDについてステップS304、S306の処理が繰り返される。一方、当該全ての店舗IDが示す特定の空間に対する平均ハピネス変化値が取得されていれば(S308においてYES)、ヒートマップサーバ200は、上記平均ハピネス変化値に基づいて、ヒートマップ画像における画素値を決定する(S310)。
続いて、ヒートマップサーバ200は、決定された画素値を用いて、ハピネスマップ(ヒートマップ画像)を生成する(S312)。
(マイハピネスマップ生成処理)
以上、ハピネスマップ生成処理の動作例について説明した。続いて、本実施形態に係るマイハピネスマップ生成処理の動作例について説明を行う。図12は、本実施形態に係るマイハピネスマップ生成処理の動作例について説明するための説明図である。
まず、図12に示すように、ユーザ端末220は、生成されるマイハピネマップに含まれる店舗の店舗ID群と、ユーザ端末220に対応付けられたユーザIDをヒートマップサーバ200に送信する(S402)。生成されるマイハピネマップに含まれる店舗の店舗ID群の決定方法については限定されないが、例えばユーザが現在画面上で参照しているマップに含まれる店舗の店舗名や店舗住所、店舗位置(座標)に基づいて店舗ID群が決定されてもよい。
続いて、店舗ID群とユーザIDを受信したヒートマップサーバ200は、店舗ID群のうち一つの店舗ID(空間識別情報)と、ユーザID(ユーザ識別情報)をコアサーバ100(外部装置)に送信する(S404)。店舗IDとユーザIDを受信したコアサーバ100は、当該店舗IDが示す特定の空間に対する、当該ユーザIDが示す特定のユーザのハピネス変化(評価値の一例)を、ヒートマップサーバ200に送信する(S406)。
店舗ID群のうち、全ての店舗IDが示す特定の空間に対する、当該ユーザのハピネス変化が取得されていなければ(S408においてNO)、取得されていない店舗IDについてステップS404、S406の処理が繰り返される。一方、当該全ての店舗IDが示す特定の空間に対する、当該ユーザのハピネス変化が取得されていれば(S408においてYES)、ヒートマップサーバ200は、上記ハピネス変化に基づいて、ヒートマップ画像における画素値を決定する(S410)。
続いて、ヒートマップサーバ200は、決定された画素値を用いて、マイハピネスマップ(ヒートマップ画像)を生成する(S412)。生成されたマイハピネスマップは、ヒートマップサーバ200からユーザ端末220に送信され(S414)、ユーザ端末220に表示される(S416)。
<<4.変形例>>
以上、本開示の一実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
<4−1.変形例1>
上記実施形態では、ユーザが特定の空間に出入りする度にハピネス変化(評価値)の算出と蓄積が行われる例を説明したが、本技術は上記の例に限定されない。
例えば、コアサーバ100の制御部102は、ユーザの、特定の空間における滞在時間が所定時間よりも短い場合は、ハピネス変化(評価値)の算出と蓄積を行わなくてもよい。
また、コアサーバ100の制御部102は、各々のユーザの、特定の空間における滞在時間にさらに基づいて、評価値を算出してもよい。例えば、制御部102は、滞在時間に基づいて、重み付けを行って評価値を算出してもよい。特に、滞在時間の短いユーザに係る重みが小さく、滞在時間の長いユーザに係る重みが大きく設定されて、評価値が算出されてもよい。
係る構成によれば、特定の空間における滞在時間が短すぎるために当該空間に対する十分な評価(感情変化)が行われていないユーザのハピネス変化が算出・蓄積されることによる評価値の精度低下を防ぐことが可能である。また、係る構成によれば、短い時間だけ特定の空間に出入りし、当該空間の評価を意図的に操作する行為を抑制することが可能である。
<4−2.変形例2>
上記実施形態では、特定のユーザのハピネス変化の情報は、対象となるユーザのユーザ端末にマイハピネスマップとして表示(通知)される例を説明したが、本技術は上記の例に限定されない。例えば、ハピネス変化のような特定のユーザの評価値の情報は、当該ユーザだけでなく、第三者に通知され、第三者によって利用されてもよい。特に、ユーザの評価値、及び当該ユーザの情報は、特定の空間(店舗等)の所有者に通知されてもよい。
例えば、ヒートマップサーバ200の制御部202は、空間識別情報が示す特定の空間を出入りしたユーザのうち、所定の条件を満たす評価値に対応するユーザの識別情報を、通信部206を介して、当該特定の空間の所有者に通知してもよい。係る構成によれば、当該所有者は、当該空間に対する評価値が所定の条件(例えばハピネス度が所定値以上上昇)を満たすようなユーザに対して、例えば、再来店をリコメンドする等の効率的な情報配信を行うことが可能である。また、当該所有者は、店舗の定員の態度、空調管理、サービスレベル、商品提示のわかりやすさ、空間づくり等、抽象的にしか評価できないユーザ体験を、ハピネス度に基づく指標により評価した上で、情報配信を行うことが可能である。
以下では、マイハピネスマップの情報が店舗(特定の空間)の所有者に提供され、当該所有者から情報配信が行われる例として、ヒートマップシステム2がSNSと連携する例と、ヒートマップシステム2が単独サービスを提供する例について説明する。
(SNS連携による情報配信)
図13は、ヒートマップシステム2が外部サーバ(SNSサーバ)により提供されるSNSと連携することで、マイハピネスマップの情報が特定の空間の所有者に提供され、当該所有者から情報配信が行われる場合の動作例を示す説明図である。本動作例においては、SNSに既にアカウントを所有しているユーザや空間の所有者は、新たにアカウントを作成する必要がないという利点がある。
図13に示すように、まずユーザのSNSにおけるアカウント(SNSアカウント)に、当該ユーザのマイハピネスマップが登録(連携)される(S502)。例えば、ユーザがユーザ端末を操作して、図12を参照して説明したようにマイハピネスマップを生成した後、当該マイハピネスマップをユーザのSNSアカウントに登録してもよい。また、ヒートマップサーバ200がAPI(Application Programming Interface)を提供し、SNSサーバがOAuth等のAPI認可手段によりアクセス権限を得てマイハピネスマップを自動取得してもよい。
続いて、店舗所有者のSNSアカウントに、当該店舗に出入りすることで所定値以上ハピネス度が上昇したユーザ(ハピネス上昇ユーザ)の識別情報が対応付けられ、店舗所有者に通知される(S504)。例えば、SNSサーバは、当該ユーザのマイハピネスマップに含まれる店舗IDと、予め対応付けられた店舗所有者のSNSアカウントに、当該ユーザを対応付けてもよい。
続いて、店舗所有者のSNSアカウントから、ハピネス上昇ユーザに対して情報配信(特別なお知らせ、クーポン等の情報の配信)が行われる。上記情報配信は、例えばSNSにより提供されるメッセージ機能等を利用して行われてもよい。また、上記情報配信は、店舗所有者の手動操作により行われてもよいし、SNSサーバにより自動的に行われてもよい。
(単独サービスによる情報配信)
図14は、ヒートマップシステム2がSNSと連携せず、単独サービスとして、情報配信サービスを提供する場合の動作例について説明するための説明図である。本動作例においては、ユーザはマイハピネスマップをSNSアカウントに登録させる必要がないため、SNSを利用したくないユーザや、マイハピネスマップの情報をSNSに提供したくないユーザも利用可能であるという利点がある。
図14に示すように、まず、店舗IDごとにリコメンド(情報配信)機能を利用するための設定(機能ONの設定)が行われる(S602)。当該設定は、店舗所有者の手動操作により行われてもよいし、店舗所有者の連絡先(メールアドレス等)が対応付けされている店舗IDに対して自動的に行われてもよい。
続いて、ヒートマップサーバ200は、コアサーバ100に当該店舗IDに係るハピネス情報(ユーザのハピネス変化)を要求する(S604)。ここで、ヒートマップサーバ200は、当該店舗IDに係るハピネスの情報を全ユーザについて要求してもよいし、期間を限定して要求してもよい。
続いて、コアサーバ100は、各ユーザが当該ユーザのハピネス情報を第三者に提供するためのアクセス許可を設定しているか否かを判定し、アクセス許可済のユーザのハピネス情報をヒートマップサーバ200に送信する(S606)。
ハピネス情報を取得したヒートマップサーバ200は、当該店舗に出入りすることで所定値以上ハピネス度が上昇したユーザ(ハピネス上昇ユーザ)の識別情報を店舗所有者に通知する(S608)。ここで、ヒートマップサーバ200は、予めユーザIDに対応付けられた、ユーザに情報配信するための識別情報(メールアドレス等の個人情報)を店舗所有者に通知してもよい。
<4−3.変形例3>
上記実施形態では、特定の空間に対する評価値を用いた情報処理の例として、ヒートマップ画像の生成処理を説明したが、本技術は係る例に限定されない。例えば、特定の空間に対する評価値は、上記変形例2で説明したようにリコメンド(情報配信)サービスに用いられてもよいし、ランキングサービスや位置情報を用いたゲーム等のアプリケーションに用いられてもよい。
例えば、本技術によれば、同一レベル、同業種の施設をランク付けするために評価値が用いられてもよく、例えば商業施設内のレストラン・洋服店・雑貨店などのランク付けが可能である。また、映画館の出入口で評価値を取得し、公開中の映画の時間と照合することで、動員数や評判でのランキングに加え、評価値を用いた映画の新たなランキングを提供することが可能である。
また、本技術によれば、グルメランキングにおいても、評価値を用いることで新たな評価指標を導入することが可能である。さらに、ハピネスに係る評価値のみを用いたグルメランキングサービスを提供することが可能である。グルメランキングサービスは、通常様々な評価方法によりランキングが行われているため、ランク付けが消費者の直接的な評価と乖離している場合がある。ハピネス度は顧客の満足度と直結していると考えられるため、ハピネスに係る評価値のみを用いることで、より消費者の直接的な評価と近いランキングを提供することが可能となる。
また、本技術によれば、ランキングが行われ難かったサービスについてランキングすることも可能である。例えば、洋服店など、消費者の独自な主観で評価される空間に対してのランキングは困難であったが、同一のチェーン店でも各店舗の接客態度・在庫状況などはハピネスによる評価に直接的に影響すると考えられる。したがって、洋服店等に対して、ハピネスに係る評価値を用いてランキングを行うことで、新たなランキングを消費者に提供することが可能となる。また、同一商品を販売しているスーパーマーケットやコンビニエンスストア等の小売店に対しても、ハピネスに係る評価値を用いてランキングを行うことが可能である。小売店は、各店舗における店員のサービス、買い物しやすい店舗レイアウト、商品が目立つ照明を効果的に利用した展示等についてのアンケート等を用いて主観的にしか評価されなかったが、本技術によれば小売店を客観的にランキングすることが可能である。
また、本技術によれば、ヒートマップ画像生成やリコメンド、ランキング等のBtoC(business to consumer)サービスに限定されず、BtoB(business
to business)サービスへの応用も可能である。例えば、店舗所有者にハピネスに係る評価値の情報が提供されてもよい。お客様のハピネスは各店舗の評価につながるため、店舗運営を評価する所有者にとっても事業を行う上での重要な指標となる。係る場合、上記実施形態で説明したような日単位でのハピネス変化等の評価値も重要であるが、店員の態度等の時間変化が激しい評価を考慮すると、評価値算出の時間的粒度も細かくする必要がある。例えば、評価値は、半日単位、店員のシフト単位、一時間単位等、より細かい単位で算出されてもよい。また、コンビニエンスストア等の店舗の運営においては、例えば平均ハピネス変化値を店舗ごとに比較し、より平均ハピネス変化値の高い店舗における当該時間帯の状況を分析(例えば、優秀な店員がいたのか、店舗独自の施策による影響等)することで、店舗改善の参考とすることも可能であろう。
また、本技術によれば、実空間の位置情報を用いたゲーム等のアプリケーションにおいても、ハピネスに係る評価値の概念を導入することも可能である。例えば、特定の空間に対する評価値に応じて、当該空間に対応するゲーム内のランクが決定されてもよい。
上述したサービスやアプリケーション等を提供するための情報処理は、例えば図2を参照して説明したシステム3、システム4により行われてもよい。
<<5.ハードウェア構成例>>
以上、本開示の一実施形態と各変形例を説明した。上述したハピネス変化蓄積処理、平均ハピネス変化算出処理、ヒートマップ画像生成処理などの情報処理は、ソフトウェアと、コアサーバ100、またはヒートマップサーバ200のハードウェアとの協働により実現される。以下では、本実施形態に係る情報処理装置であるコアサーバ100、ヒートマップサーバ200のハードウェア構成例として、情報処理装置1000のハードウェア構成例について説明する。
図15は、本実施形態に係る情報処理装置1000のハードウェア構成を示す説明図である。図15に示したように、情報処理装置1000は、CPU(Central Processing Unit)1001と、ROM(Read Only Memory)1002と、RAM(Random Access Memory)1003と、入力装置1004と、出力装置1005と、ストレージ装置1006と、通信装置1007とを備える。
CPU1001は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置1000内の動作全般を制御する。また、CPU1001は、マイクロプロセッサであってもよい。ROM1002は、CPU1001が使用するプログラムや演算パラメータなどを記憶する。RAM1003は、CPU1001の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。これらはCPUバスなどから構成されるホストバスにより相互に接続されている。主に、CPU1001、ROM1002及びRAM1003とソフトウェアとの協働により、制御部102、制御部202、の機能が実現される。
入力装置1004は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU1001に出力する入力制御回路などから構成されている。情報処理装置1000のユーザは、該入力装置1004を操作することにより、情報処理装置1000に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置1005は、例えば、液晶ディスプレイ(LCD)装置、OLED装置及びランプなどの表示装置を含む。さらに、出力装置1005は、スピーカ及びヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データなどを音声に変換して出力する。
ストレージ装置1006は、データ格納用の装置である。ストレージ装置1006は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置1006は、CPU1001が実行するプログラムや各種データを格納する。ストレージ装置1006は、図3を参照して説明した蓄積部104に対応する。
通信装置1007は、例えば、通信網に接続するための通信デバイスなどで構成された通信インタフェースである。また、通信装置1007は、無線LAN(Local Area Network)対応通信装置、LTE(Long Term Evolution)対応通信装置、有線による通信を行うワイヤー通信装置、またはブルートゥース(登録商標)通信装置を含んでもよい。通信装置1007は、図3を参照して説明した通信部106、図4を参照して説明した通信部206に対応する。
なお、出入口センサ装置120、ウェアラブルデバイス140、ユーザ端末220a〜220dも、情報処理装置1000と同様に、CPU1001、ROM1002及びRAM1003などに相当するハードウェアを有する。
<<6.むすび>>
以上、説明したように、本開示の実施形態によれば、ユーザの感情と対応付けて空間を評価することが可能である。また、ユーザの感情と対応付けて空間を評価することで得られた評価値を用いて、ヒートマップ画像の生成等、よりユーザの感情に結び付いた空間評価に基づくサービスを提供することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、感情データは幸福度を示すハピネス度である例を説明したが、本技術は係る例に限定されない。例えば、感情データは悲しさや寂しさ等、他の感情の度合いを示すデータであってもよい。また、他の感情の度合を示すデータに基づいて得られた評価値を利用して、上述したサービスを提供することも可能である。
また、上記実施形態において、空間評価システム1の各装置が有する制御部で行われる処理は、当該処理に必要な情報が他の装置に提供され、当該他の装置が有する制御部により行われてもよい。例えば、上記実施形態では、出入口センサ装置120の制御部124が感情データの取得を行う例を説明したが、出入口センサ装置120からコアサーバ100に画像が提供され、コアサーバ100の制御部102により感情データが取得されてもよい。また、同様に、ヒートマップシステム2の各装置で行われる処理が、他の装置により行われてもよい。
また、上記実施形態では、コアサーバ100が、ユーザごとに空間に入るときのハピネス度と空間から出るときのハピネス度を対応付けて、ハピネス変化を算出し、ハピネス変化に基づいて評価値を算出する例を説明したが、本技術は係る例に限定されない。例えば、ユーザの対応付けを行うことなく、空間に入ったユーザのハピネス度の合計と、空間から出たユーザのハピネス度の合計に基づいて、評価値を算出することも可能である。
また、上記実施形態によれば、CPU1001、ROM1002、及びRAM1003などのハードウェアを、上述した空間評価システム1、及びヒートマップシステム2の各構成と同様の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
また、上記実施形態における各ステップは、必ずしもシーケンス図、またはフローチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、シーケンス図、またはフローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
特定の空間に出入りすることによって生じたユーザの感情の変化を蓄積する蓄積部と、
前記ユーザの感情の変化に基づき、前記特定の空間に対する評価値を算出する制御部と、
を備える情報処理システム。
(2)
前記制御部は、各々のユーザの、特定の空間から出るときの感情データと、当該特定の空間に入るときの感情データとの差に基づき、前記評価値を算出する、前記(1)に記載の情報処理システム。
(3)
前記制御部は、各々のユーザの、特定の空間から出るときのハピネス度と、当該特定の空間に入るときのハピネス度との差に基づき、前記評価値を算出する、前記(1)または(2)に記載の情報処理システム。
(4)
前記制御部は、前記ユーザの、特定の空間における滞在時間が所定時間よりも短い場合は、前記評価値の算出を行わない、前記(1)〜(3)のいずれか一項に記載の情報処理システム。
(5)
前記制御部は、各々のユーザの、特定の空間における滞在時間にさらに基づいて、前記評価値を算出する、前記(1)〜(4)のいずれか一項に記載の情報処理システム。
(6)
前記制御部は、前記特定の空間の出入口の情報を検出可能に取り付けられたセンサによって検出された前記ユーザの情報に基づく、各々のユーザの、特定の空間に入るときの感情データと、当該特定の空間から出るときの感情データとから、前記評価値を算出する、前記(1)〜(5)のいずれか一項に記載の情報処理システム。
(7)
前記制御部は、前記ユーザに取り付けられたセンサによって検出された、前記特定の空間を出入りするときの前記ユーザの生体情報に基づく、各々のユーザの、特定の空間に入るときの感情データと、当該特定の空間から出るときの感情データとから、前記評価値を算出する、前記(1)〜(6)のいずれか一項に記載の情報処理システム。
(8)
外部装置から、前記特定の空間を示す空間識別情報を受信する通信部を有し、
前記制御部は、前記空間識別情報が示す特定の空間に対する評価値を、前記通信部を介して、前記外部装置に返信する、前記(1)〜(7)のいずれか一項に記載の情報処理システム。
(9)
特定の空間を示す空間識別情報を、特定の空間に出入りすることによって生じたユーザの感情の変化に基づく、当該特定の空間に対する評価値を算出可能な外部装置に送信する通信部と、
前記通信部を介して、前記外部装置より取得された、前記空間識別情報が示す前記特定の空間に対する評価値に基づき、前記特定の空間の位置に前記評価値を表す画素値をマッピングすることによってヒートマップ画像を生成する制御部と、
を備える情報処理システム。
(10)
前記制御部は、
前記通信部を介して、前記特定の空間を示す空間識別情報と特定のユーザを示すユーザ識別情報を送信し、
前記通信部を介して、前記外部装置より取得された、前記空間識別情報が示す前記特定の空間に対する、前記ユーザ識別情報が示す特定のユーザの評価である評価値に基づき、前記特定の空間の位置に前記評価値を表す画素値をマッピングすることによって前記特定のユーザ用のヒートマップ画像を生成する、前記(9)に記載の情報処理システム。
(11)
前記制御部は、
一番目に訪問した空間に対応する評価値を表す画素値と、二番目に訪問した空間に対応する評価値を表す画素値とを、時系列に並べて配列させた画像を生成する、前記(9)または(10)に記載の情報処理システム。
(12)
前記制御部は、前記空間識別情報が示す特定の空間を出入りしたユーザのうち所定の条件を満たす評価値に対応するユーザの識別情報を、前記通信部を介して、前記特定の空間の所有者に通知する、前記(9)〜(11)のいずれか一項に記載の情報処理システム。
(13)
特定の空間に出入りすることによって生じたユーザの感情の変化を蓄積することと、
前記ユーザの感情の変化に基づき、前記特定の空間に対する評価値をプロセッサが算出することと、
を含む、情報処理方法。
(14)
特定の空間を示す空間識別情報を、特定の空間に出入りすることによって生じたユーザの感情の変化に基づく、当該特定の空間に対する評価値を算出可能な外部装置に送信することと、
前記外部装置より取得された、前記空間識別情報が示す前記特定の空間に対する評価値に基づき、前記特定の空間の位置に前記評価値を表す画素値をマッピングすることによってヒートマップ画像をプロセッサが生成することと、
を含む、情報処理方法。
1 空間評価システム
2 ヒートマップシステム
5 通信網
99 情報処理システム
100 コアサーバ
102 制御部
104 蓄積部
106 通信部
120 出入口センサ装置
122 通信部
124 制御部
126 入口センサ部
128 出口センサ部
140 ウェアラブルデバイス
142 通信部
144 制御部
146 センサ部
160 通信網
200 ヒートマップサーバ
202 制御部
206 通信部
220 ユーザ端末
260 通信網

Claims (14)

  1. 特定の空間に出入りすることによって生じたユーザの感情の変化を蓄積する蓄積部と、
    前記ユーザの感情の変化に基づき、前記特定の空間に対する評価値を算出する制御部と、
    を備える情報処理システム。
  2. 前記制御部は、各々のユーザの、特定の空間から出るときの感情データと、当該特定の空間に入るときの感情データとの差に基づき、前記評価値を算出する、請求項1に記載の情報処理システム。
  3. 前記制御部は、各々のユーザの、特定の空間から出るときのハピネス度と、当該特定の空間に入るときのハピネス度との差に基づき、前記評価値を算出する、請求項1に記載の情報処理システム。
  4. 前記制御部は、前記ユーザの、特定の空間における滞在時間が所定時間よりも短い場合は、前記評価値の算出を行わない、請求項1に記載の情報処理システム。
  5. 前記制御部は、各々のユーザの、特定の空間における滞在時間にさらに基づいて、前記評価値を算出する、請求項1に記載の情報処理システム。
  6. 前記制御部は、前記特定の空間の出入口の情報を検出可能に取り付けられたセンサによって検出された前記ユーザの情報に基づく、各々のユーザの、特定の空間に入るときの感情データと、当該特定の空間から出るときの感情データとから、前記評価値を算出する、請求項1に記載の情報処理システム。
  7. 前記制御部は、前記ユーザに取り付けられたセンサによって検出された、前記特定の空間を出入りするときの前記ユーザの生体情報に基づく、各々のユーザの、特定の空間に入るときの感情データと、当該特定の空間から出るときの感情データとから、前記評価値を算出する、請求項1に記載の情報処理システム。
  8. 外部装置から、前記特定の空間を示す空間識別情報を受信する通信部を有し、
    前記制御部は、前記空間識別情報が示す特定の空間に対する評価値を、前記通信部を介して、前記外部装置に返信する、請求項1に記載の情報処理システム。
  9. 特定の空間を示す空間識別情報を、特定の空間に出入りすることによって生じたユーザの感情の変化に基づく、当該特定の空間に対する評価値を算出可能な外部装置に送信する通信部と、
    前記通信部を介して、前記外部装置より取得された、前記空間識別情報が示す前記特定の空間に対する評価値に基づき、前記特定の空間の位置に前記評価値を表す画素値をマッピングすることによってヒートマップ画像を生成する制御部と、
    を備える情報処理システム。
  10. 前記制御部は、
    前記通信部を介して、前記特定の空間を示す空間識別情報と特定のユーザを示すユーザ識別情報を送信し、
    前記通信部を介して、前記外部装置より取得された、前記空間識別情報が示す前記特定の空間に対する、前記ユーザ識別情報が示す特定のユーザの評価である評価値に基づき、前記特定の空間の位置に前記評価値を表す画素値をマッピングすることによって前記特定のユーザ用のヒートマップ画像を生成する、請求項9に記載の情報処理システム。
  11. 前記制御部は、
    一番目に訪問した空間に対応する評価値を表す画素値と、二番目に訪問した空間に対応する評価値を表す画素値とを、時系列に並べて配列させた画像を生成する、請求項9に記載の情報処理システム。
  12. 前記制御部は、前記空間識別情報が示す特定の空間を出入りしたユーザのうち所定の条件を満たす評価値に対応するユーザの識別情報を、前記通信部を介して、前記特定の空間の所有者に通知する、請求項9に記載の情報処理システム。
  13. 特定の空間に出入りすることによって生じたユーザの感情の変化を蓄積することと、
    前記ユーザの感情の変化に基づき、前記特定の空間に対する評価値をプロセッサが算出することと、
    を含む、情報処理方法。
  14. 特定の空間を示す空間識別情報を、特定の空間に出入りすることによって生じたユーザの感情の変化に基づく、当該特定の空間に対する評価値を算出可能な外部装置に送信することと、
    前記外部装置より取得された、前記空間識別情報が示す前記特定の空間に対する評価値に基づき、前記特定の空間の位置に前記評価値を表す画素値をマッピングすることによってヒートマップ画像をプロセッサが生成することと、
    を含む、情報処理方法。
JP2017532408A 2015-08-05 2016-05-27 情報処理システム、及び情報処理方法 Pending JPWO2017022306A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015155300 2015-08-05
JP2015155300 2015-08-05
PCT/JP2016/065711 WO2017022306A1 (ja) 2015-08-05 2016-05-27 情報処理システム、及び情報処理方法

Publications (1)

Publication Number Publication Date
JPWO2017022306A1 true JPWO2017022306A1 (ja) 2018-06-07

Family

ID=57944199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017532408A Pending JPWO2017022306A1 (ja) 2015-08-05 2016-05-27 情報処理システム、及び情報処理方法

Country Status (4)

Country Link
US (2) US20180160960A1 (ja)
JP (1) JPWO2017022306A1 (ja)
CN (1) CN107924544B (ja)
WO (1) WO2017022306A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7139894B2 (ja) * 2018-11-06 2022-09-21 トヨタ自動車株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP7258283B2 (ja) * 2019-04-16 2023-04-17 マツダ株式会社 仮想通貨管理装置及び仮想通貨管理方法
CN116601655A (zh) 2020-12-14 2023-08-15 三菱电机株式会社 设施评价装置以及设施评价方法
JP7372283B2 (ja) 2021-05-20 2023-10-31 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
WO2023242986A1 (ja) * 2022-06-15 2023-12-21 株式会社Fuji 行動記録表示装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209728A (ja) * 1999-11-15 2001-08-03 Power To The People:Kk 商品等評価データ集計装置、商品等評価データ集計方法、商品等評価装置、商品等評価方法および記録媒体
JP2004280673A (ja) * 2003-03-18 2004-10-07 Takenaka Komuten Co Ltd 情報提供装置
JP2007133461A (ja) * 2005-11-08 2007-05-31 Fujitsu Ltd 販売支援システム,販売支援装置,販売支援方法および販売支援プログラム
JP2014134922A (ja) * 2013-01-09 2014-07-24 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2014529778A (ja) * 2011-07-29 2014-11-13 パナソニック株式会社 異常検出による現場業務を向上させるためのシステム及び方法
JP2015505702A (ja) * 2011-12-16 2015-02-26 コーニンクレッカ フィリップス エヌ ヴェ ユーザの行動及び関連する感情状態の履歴記録

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101438145B1 (ko) * 2010-04-30 2014-09-04 이마테크 인크. 사람을 센서로 이용하는 리스크 평가 시스템
US9077458B2 (en) * 2011-06-17 2015-07-07 Microsoft Technology Licensing, Llc Selection of advertisements via viewer feedback
US20140335490A1 (en) * 2011-12-07 2014-11-13 Access Business Group International Llc Behavior tracking and modification system
US20150070516A1 (en) * 2012-12-14 2015-03-12 Biscotti Inc. Automatic Content Filtering
US20140363059A1 (en) * 2013-06-07 2014-12-11 Bby Solutions, Inc. Retail customer service interaction system and method
US20140365336A1 (en) * 2013-06-07 2014-12-11 Bby Solutions, Inc. Virtual interactive product display with mobile device interaction
US20140365272A1 (en) * 2013-06-07 2014-12-11 Bby Solutions, Inc. Product display with emotion prediction analytics
US20140365333A1 (en) * 2013-06-07 2014-12-11 Bby Solutions, Inc. Retail store customer natural-gesture interaction with animated 3d images using sensor array
US20140365334A1 (en) * 2013-06-07 2014-12-11 Bby Solutions, Inc. Retail customer service interaction system and method
WO2015087164A1 (en) * 2013-12-10 2015-06-18 4Iiii Innovations Inc. Signature based monitoring systems and methods
US11010726B2 (en) * 2014-11-07 2021-05-18 Sony Corporation Information processing apparatus, control method, and storage medium
CN107148636B (zh) * 2015-01-14 2020-08-14 索尼公司 导航***、客户终端装置、控制方法和存储介质
US10542380B2 (en) * 2015-01-30 2020-01-21 Bby Solutions, Inc. Beacon-based media network
US20160328987A1 (en) * 2015-05-08 2016-11-10 International Business Machines Corporation Detecting the mood of a group

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209728A (ja) * 1999-11-15 2001-08-03 Power To The People:Kk 商品等評価データ集計装置、商品等評価データ集計方法、商品等評価装置、商品等評価方法および記録媒体
JP2004280673A (ja) * 2003-03-18 2004-10-07 Takenaka Komuten Co Ltd 情報提供装置
JP2007133461A (ja) * 2005-11-08 2007-05-31 Fujitsu Ltd 販売支援システム,販売支援装置,販売支援方法および販売支援プログラム
JP2014529778A (ja) * 2011-07-29 2014-11-13 パナソニック株式会社 異常検出による現場業務を向上させるためのシステム及び方法
JP2015505702A (ja) * 2011-12-16 2015-02-26 コーニンクレッカ フィリップス エヌ ヴェ ユーザの行動及び関連する感情状態の履歴記録
JP2014134922A (ja) * 2013-01-09 2014-07-24 Sony Corp 情報処理装置、情報処理方法およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
""頭脳"を持つカメラが、防犯も店舗改善も可能にする アクシスコミュニケーションズ", 月刊コンビニ, vol. 第16巻 第5号, JPN6020025735, 24 May 2013 (2013-05-24), pages 70 - 71, ISSN: 0004629495 *
地口 将雄 ほか: "商業施設における快適度推定および可視化システムの開発", 電子情報通信学会技術研究報告 ASN2014−156−ASN2014−172 知的環境とセンサネット, vol. 第114巻 第480号, JPN6021012187, 23 February 2015 (2015-02-23), JP, pages 221 - 227, ISSN: 0004629494 *

Also Published As

Publication number Publication date
CN107924544A (zh) 2018-04-17
US20180160960A1 (en) 2018-06-14
WO2017022306A1 (ja) 2017-02-09
CN107924544B (zh) 2022-04-15
US20220346683A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
US20220346683A1 (en) Information processing system and information processing method
US10395262B2 (en) Systems and methods for sensor data analysis through machine learning
US10706446B2 (en) Method, system, and computer-readable medium for using facial recognition to analyze in-store activity of a user
JP6831053B2 (ja) 電気自動車のための充電ステーションに標的広告を提供するためのシステムおよび方法
US10726465B2 (en) System, method and computer program product providing eye tracking based cognitive filtering and product recommendations
US8438127B2 (en) Behaviour pattern analysis system, mobile terminal, behaviour pattern analysis method, and program
JP6089157B1 (ja) 服装情報提供システム、服装情報提供方法、およびプログラム
US11138420B2 (en) People stream analysis method, people stream analysis apparatus, and people stream analysis system
KR101761999B1 (ko) 관계 유형을 고려한 코칭 방법 및 시스템
WO2016189908A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6441509B2 (ja) コンピュータシステム、店舗情報提供方法及びプログラム
JP2009042956A (ja) 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム
US20160189546A1 (en) Information processing device, information processing method, and storage medium
CN110706014A (zh) 一种商场店铺推荐方法、装置及***
KR20160000849A (ko) 사용자 단말로부터 수집된 데이터를 이용한 유형 정보 및 평가 정보 제공 방법 및 시스템
KR101693429B1 (ko) 대인 관계 유형 파악을 통한 코칭 정보 제공 시스템
JP2017049750A (ja) 情報提供装置、端末装置、情報提供方法、プログラム
JP6801920B1 (ja) Snsシステム、snsサーバ、情報処理方法、sns提供方法、プログラム
CN110287422B (zh) 信息提供装置及其控制方法
CN110285824B (zh) 信息提供装置及其控制方法
JP7102856B2 (ja) コンテンツ出力システム、コンテンツ出力装置及びプログラム
CN111159575A (zh) 一种基于手机银行的交友方法及装置
WO2023021590A1 (ja) 表示制御装置、表示制御方法、及びプログラム
JP6399948B2 (ja) 情報処理装置及び情報処理方法
JP2006350983A (ja) 端末装置で用いられる情報を配信する個人診断システム、プログラムおよび情報記憶媒体。

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190517

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210521

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211102