JP7266984B2 - Server equipment - Google Patents
Server equipment Download PDFInfo
- Publication number
- JP7266984B2 JP7266984B2 JP2018181667A JP2018181667A JP7266984B2 JP 7266984 B2 JP7266984 B2 JP 7266984B2 JP 2018181667 A JP2018181667 A JP 2018181667A JP 2018181667 A JP2018181667 A JP 2018181667A JP 7266984 B2 JP7266984 B2 JP 7266984B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- emotion
- user
- time
- spatio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、サーバ装置に関する。
The present invention relates to a server device .
特許文献１及び２には、オフィスや駅等において、構内カメラで撮像される実空間と３次元仮想空間データとを対応づけ、ユーザーが該実空間上の「位置」と該位置に存在するオブジェクトを容易に指定することを可能にする情報処理装置が提案されている。
In
ところで、遠隔地の全体的な感情分布状況や雰囲気を知りたい場合、他者がいまどこにいるかという位置の情報だけではなく、他者がどういう状況や心理状態にあるかの情報を加えて知ることができれば、より優れた遠隔コミュニケーション支援が実現できると考えられる。 By the way, if you want to know the overall emotional distribution and atmosphere of a remote location, you need to know not only the information on where the other person is now, but also the information on what kind of situation and psychological state the other person is in. It is thought that better remote communication support can be achieved if this is possible.
遠隔コミュニケーション支援システムとしては、たとえばテレビ電話やテレビ会議システムなどが既存にある。しかし、それらを用いても相手と同じ部屋に共にいるときのような感覚にはいたらず、相手と同室にいるときと比べテレビ電話ごしでは他者の状況や状態がわかりづらく感じる、という課題がこれまで遠隔コミュニケーション支援システム全般に対して指摘されており、解決が望まれている。特に、オフィスにおけるチームの雰囲気（チーム全体がギスギスしているか和やかか等）や、駅において多くの他者が楽しそうにしている場所（もしかしたら何か特別なイベントが開催されているのかもしれない場所）が遠隔からも把握できれば、オフィスマネジメントや移動環境をより良好なものにできるであろう。 As remote communication support systems, there are, for example, videophone and videoconference systems. However, even if you use them, you will not feel like you are in the same room as the other person, and you will find it difficult to understand the other person's situation and condition through the videophone compared to when you are in the same room with the other person. has been pointed out for remote communication support systems in general, and a solution is desired. In particular, the atmosphere of the team in the office (whether the whole team is tense or friendly, etc.), or the place where many other people are having fun at the station (perhaps there is some special event being held). If it is possible to ascertain from a remote location where there is no office, it will be possible to improve office management and the mobile environment.
上述の課題を解決するシステム・機能は、構内カメラ等から収集した人物のセンシングデータから感情（心理状態）を推定処理し得られた感情情報を、該人物の位置情報、時刻情報及び人物同一性情報に紐づけ感情時空間情報を生成する感情情報管理サーバと、該感情時空間情報を時刻フィルタリング処理や時系列データ処理を加えて情報提示できる端末装置と、を備えることを特徴とし、ユーザーが遠隔地の全体的な状況や雰囲気に係る情報を得ることができる、情報通信システムによって実現され得る。 The systems and functions that solve the above-mentioned problems are based on the emotional information obtained by estimating and processing a person's emotions (psychological state) from the sensing data of a person collected from cameras in the premises, etc. An emotional information management server that generates spatio-temporal emotional information linked to information, and a terminal device that can present information by applying time filtering processing and time-series data processing to the spatio-temporal emotional information, and a user can It can be implemented by an information communication system that can obtain information about the overall situation and atmosphere of a remote location.
上記のように実現されたシステム・機能は、人々の感情の時空間分布の情報をユーザーに提供し、該ユーザーはある時点の感情の時空間分布情報を見て遠隔地の状況や雰囲気に係る情報を得ることができるため、次にどの場所に行くかを決める判断を行いやすくなる。 The systems/functions realized as described above provide users with information on the spatio-temporal distribution of people's emotions, and the user can see the information on the spatio-temporal distribution of emotions at a certain point in time and can relate to the situation and atmosphere of a remote location. Being informed can help you make better decisions about where to go next.
ここでさらに「あるユーザーにとって次にどの場所に行くのが良いか」といった情報をレコメンド（推薦）する機能があれば、前記次にどの場所に行くかを決める判断を支援する情報提供機能が向上し、上記システムはより高い有用性をユーザーに与え得る。あるいは、「次にどのような雰囲気を体感できそうか」といった情報をレコメンド（推薦）する機能があれば、どのような雰囲気を体感できそうかをユーザーに把握させる情報提供機能の品質が向上し、上記システムはさらに高い有用性をユーザーに与え得る。 Here, if there is a function to recommend information such as "where is the best place to go next for a certain user?" However, the system can provide users with greater usability. Alternatively, if there is a function that recommends information such as "What kind of atmosphere are you likely to experience next?" , the system can provide users with even greater usability.
そこで本発明は、あるユーザーにとって次にどの場所に行くのが良いか、あるいは次にどのような雰囲気を体感できそうかといった情報が、ユーザーに把握されることを支援する技術を提供することを目的とする。 Accordingly, the present invention aims to provide a technique for assisting a user in grasping information such as which place the user should visit next or what kind of atmosphere the user is likely to experience next. aim.
上記問題を解決するために、本発明のある観点によれば、ユーザーの計測データに基づいて生成された感情情報を含む第１の時系列情報と、過去の感情情報を含む１または複数の時系列情報それぞれとの類似度をパターン照合により得る時系列情報パターン照合部と、前記類似度に応じて選択された第２の時系列情報から前記パターン照合によって前記第１の時系列情報との対応箇所が特定されると、前記第２の時系列情報のうち前記対応箇所よりも後の時間の時系列情報に基づいて前記ユーザーに提示される推薦情報を生成する推薦情報生成部と、を備える、サーバ装置が提供される。
また、本発明の他の観点によれば、ユーザーの位置情報を含む第１の時系列情報と、過去の位置情報を含む１または複数の時系列情報それぞれとの類似度をパターン照合により得る時系列情報パターン照合部と、前記類似度に応じて選択された第２の時系列情報から前記パターン照合によって前記第１の時系列情報との対応箇所が特定されると、前記第２の時系列情報のうち前記対応箇所よりも後の時間の時系列情報に基づいて前記ユーザーに提示される推薦情報を生成する推薦情報生成部と、を備える、サーバ装置が提供される。
In order to solve the above problem, according to one aspect of the present invention, first time- series information including emotion information generated based on user measurement data, and one or more pieces of past emotion information a time -series information pattern matching unit that obtains a degree of similarity with each of the time -series information by pattern matching ; a recommendation information generation unit configured to generate recommendation information to be presented to the user based on the time-series information of the second time-series information that is later than the corresponding location when the corresponding location is identified; A server device is provided, comprising:
In addition, according to another aspect of the present invention, when the degree of similarity between first time-series information including user location information and each of one or a plurality of time-series information including past location information is obtained by pattern matching When a corresponding portion with the first time-series information is specified by the pattern matching from the second time-series information selected according to the similarity, the second time-series information is identified by the sequence information pattern matching unit. A recommended information generator that generates recommended information to be presented to the user based on time-series information of time after the corresponding portion of the information.
前記第１の時系列情報および前記第２の時系列情報それぞれは位置情報をさらに含み、前記推薦情報生成部は、複数の第２の時系列情報が選択された場合、かつ、前記複数の第２の時系列情報のうち前記後の時間の時系列情報に含まれる対応する位置情報同士が同じエリアに該当する場合、前記後の時間の時系列情報に含まれる対応する感情情報の代表値に基づいて、前記推薦情報を生成してもよい。
Each of the first time -series information and the second time -series information further includes position information, and the recommendation information generation unit generates the plurality of second time-series information when a plurality of pieces of the second time- series information is selected and the plurality of pieces of the second time-series information If the corresponding location information included in the time -series information of the subsequent time among the time -series information of 2 correspond to the same area, the representative value of the corresponding emotion information included in the time -series information of the subsequent time. Based on this, the recommendation information may be generated.
前記サーバ装置は、前記代表値の確度情報を前記ユーザーに提示される関連情報として生成する関連情報生成部を備えてもよい。 The server device may include a related information generation unit that generates the accuracy information of the representative value as related information to be presented to the user.
前記サーバ装置は、前記第１の時系列情報と前記第２の時系列情報とのパターンの類似度または前記類似度に関連する情報を前記ユーザーに提示される関連情報として生成する関連情報生成部を備えてもよい。
The server device generates a related information generation unit that generates a degree of similarity between patterns of the first time -series information and the second time -series information or information related to the similarity as related information to be presented to the user. may be provided.
前記サーバ装置は、ユーザー群の位置ごとの滞留時間の情報に基づいて、前記滞留時間の変化の度合いが所定の度合いよりも大きい位置群を前記位置情報に対応するエリアの境界として設定するエリア分割部を備えてもよい。 The server device divides the area by setting a group of positions where the degree of change in the stay time is greater than a predetermined degree as a boundary of the area corresponding to the position information, based on the stay time information for each position of the user group. You may have a part.
前記サーバ装置は、ユーザー群の位置ごとの感情情報の絶対量または変化量の情報に基づいて、前記絶対量または前記変化量の変化の度合いが所定の度合いよりも大きい位置群を前記位置情報に対応するエリアの境界として設定するエリア分割部を備えてもよい。 Based on the information of the absolute amount or the change amount of the emotion information for each position of the user group, the server device stores a position group in which the degree of change in the absolute amount or the change amount is greater than a predetermined degree as the position information. An area dividing unit may be provided for setting the boundaries of the corresponding areas.
以上説明したように本発明によれば、あるユーザーにとって次にどの場所に行くのが良いか、あるいは次にどのような雰囲気を体感できそうかといった情報が、ユーザーに把握されることを支援することが可能な技術が提供される。 As described above, according to the present invention, it is possible for a user to grasp information such as which place to visit next or what kind of atmosphere the user is likely to experience next. technology is provided.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Preferred embodiments of the present invention will be described in detail below with reference to the accompanying drawings. In the present specification and drawings, constituent elements having substantially the same functional configuration are denoted by the same reference numerals, thereby omitting redundant description.
また、本明細書及び図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。 In addition, in the present specification and drawings, a plurality of constituent elements having substantially the same or similar functional configurations are distinguished by attaching different alphabets after the same reference numerals. However, when there is no particular need to distinguish between a plurality of components having substantially the same or similar functional configurations, only the same reference numerals are used.
（０．概要）
まず、本発明の実施形態の概要について説明する。既に説明したように、「あるユーザーにとって次にどの場所に行くのが良いか」といった情報をレコメンド（推薦）する機能があれば、前記次にどの場所に行くかを決める判断を支援する情報提供機能が向上し、上記システムはさらに高い有用性をユーザーに与え得る。あるいは、「次にどのような雰囲気を体感できそうか」といった情報をレコメンド（推薦）する機能があれば、どのような雰囲気を体感できそうかをユーザーに把握させる情報提供機能が向上し、上記システムはさらに高い有用性をユーザーに与え得る。
(0. Overview)
First, an outline of an embodiment of the present invention will be described. As already explained, if there is a function that recommends information such as "where is the best place to go next for a certain user?" With increased functionality, the system can provide greater usability to the user. Alternatively, if there is a function that recommends information such as "What kind of atmosphere are you likely to experience next?" The system can provide users with even greater usability.
そこで、本発明の実施形態では、あるユーザーにとって次にどの場所に行くのが良いか、あるいは次にどのような雰囲気を体感できそうかといった情報が、ユーザーに把握されることを支援する技術について主に説明する。 Therefore, in an embodiment of the present invention, a technique for assisting a user to grasp information such as which place the user should visit next or what kind of atmosphere the user is likely to experience next. Mainly explained.
より具体的な例として、「次にどの場所に行くとユーザーにとってより良い状況や雰囲気になるか」をレコメンド（推薦）する機能（たとえば「あなたはいまからこの店に行けばポジティブ感情が高まりますよ」という通知情報の配信等）があれば、前記次にどの場所に行くかを決める判断を支援する情報提供機能が向上し、上記システムはさらに高い有用性をユーザーに与え得る。 As a more specific example, a function that recommends ``where to go next will create a better situation and atmosphere for the user?'' If there is a delivery of notification information such as "Yo", the information provision function that supports the decision to decide which place to go next will be improved, and the above system can provide even higher usability to the user.
そこで、本発明の実施形態では、複数の前記感情時空間情報を時系列に組み合わせた情報（以下、感情時空間系列情報）をさらに生成する感情情報管理サーバと、該感情時空間系列情報を提示できる端末装置と、を備えることを特徴とし、遠隔地のどの場所に行けばより良い状況や雰囲気になれるかという推薦情報をユーザーが得ることができる、情報通信システムについても説明する。 Therefore, in the embodiment of the present invention, an emotion information management server further generates information obtained by combining a plurality of the emotion spatio-temporal information in time series (hereinafter referred to as emotion spatio-temporal series information), and presents the emotion spatio-temporal series information. An information communication system will also be described, which is characterized by being equipped with a terminal device capable of communicating with the user, and which allows the user to obtain recommendation information indicating which remote place to go to for a better situation and atmosphere.
（１．第１の実施形態）
続いて、図１を参照して、本発明の実施形態に係る情報通信システムの概略的な構成を説明する。
(1. First embodiment)
Next, a schematic configuration of an information communication system according to an embodiment of the present invention will be described with reference to FIG.
図１は、本実施形態に係る情報通信システムの概略的な構成の一例を示す説明図である。図１を参照すると、本情報通信システムは、感情情報管理サーバ１００、複数のユーザー９００、構内カメラ２００、端末装置３００、ＬＡＮ５０を含む。
FIG. 1 is an explanatory diagram showing an example of a schematic configuration of an information communication system according to this embodiment. Referring to FIG. 1, this information communication system includes an emotion
本情報通信システムは遠隔地間の情報通信機能を有するため、複数のユーザー９００は互いに空間的に離れて存在してもよく、図１では、拠点ｂＡにユーザー９００Ａ、構内カメラ２００Ａ、端末装置３００Ａ、拠点ｂＢＣに、ユーザー９００Ｂ、９００Ｃ及び９００Ｄ、構内カメラ２００Ｂ、２００Ｃ及び２００Ｚ、端末装置３００Ｂが存在するケースを一例として図示している。構内カメラ２００Ｃはユーザー９００Ｃ及び９００Ｄを共に撮像範囲内に含み、構内カメラ２００Ｂ及び２００Ｚは異なる方向からユーザー９００Ｂを撮像している。ユーザー９００Ａ、９００Ｂ、９００Ｃ及び９００Ｄは、たとえば互いに遠隔協働（テレワーク）を行っていてもよく、拠点ｂＡと拠点ｂＢＣはリモートオフィスの関係であってもよい。
Since this information communication system has an information communication function between remote locations, a plurality of users 900 may exist spatially apart from each other. ,
なお、構内カメラ２００Ａと端末装置３００Ａはユーザー９００Ａの個別使用端末であってもよく、その場合、ユーザー９００Ａと構内カメラ２００Ａと端末装置３００Ａとは、それぞれと対応づけられた通信用の識別情報（以下「通信用ＩＤ」；たとえば電話番号やＩＰ（Internet Protocol）アドレス）のデータ同士を相互に紐づける設定処理を予め行われ、該設定のデータは感情情報管理サーバ１００に記憶されていてもよい（ユーザー９００Ｂ、９００Ｃ、９００Ｄの場合も同様）。
In addition, the
図２は、本実施形態に係る感情情報管理サーバ１００、構内カメラ２００、端末装置３００（以下、感情情報管理サーバ１００、構内カメラ２００及び端末装置３００それぞれを区別せずに「本実施形態に係る装置」と言う場合がある。）のハードウェア構成の一例を示すブロック図である。なお、上記の各装置のすべてに下記のハードウェア構成のすべてが備えられている必要はなく（たとえば感情情報管理サーバ１００に直接的にセンサが備えられている必要はない）、後述する各装置の機能構成を実現できるハードウェアモジュールが適宜限定して備えられてもよい。
FIG. 2 shows the emotion
図２を参照すると、本実施形態に係る装置は、バス８０１、ＣＰＵ（Central Processing Unit）８０３、ＲＯＭ（Read Only Memory）８０５、ＲＡＭ（Random Access Memory）８０７、記憶装置８０９、通信インタフェース８１１、センサ８１３、入力装置８１５、表示装置８１７、スピーカ８１９を備える。
Referring to FIG. 2, the device according to this embodiment includes a
ＣＰＵ８０３は、本実施形態に係る装置における様々な処理を実行する。また、ＲＯＭ８０５は、本実施形態に係る装置における処理をＣＰＵ８０３に実行させるためのプログラム及びデータを記憶する。また、ＲＡＭ８０７は、ＣＰＵ８０３の処理の実行時に、プログラム及びデータを一時的に記憶する。
A
バス８０１は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７を相互に接続する。バス８０１には、さらに、記憶装置８０９、通信インタフェース８１１、センサ８１３、入力装置８１５、表示装置８１７及びスピーカ８１９が接続される。バス８０１は、例えば、複数の種類のバスを含む。一例として、バス８０１は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７を接続する高速バスと、該高速バスよりも低速の１つ以上の別のバスを含む。
A
記憶装置８０９は、本実施形態に係る装置内で一時的または恒久的に保存すべきデータを記憶する。記憶装置８０９は、例えば、ハードディスク（Hard Disk）等の磁気記憶装置であってもよく、または、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash
memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access
Memory）及びＰＲＡＭ（Phase change Random Access Memory）等の不揮発性メモリ（nonvolatile memory）であってもよい。
A
memory), MRAM (Magnetoresistive Random Access Memory), FeRAM (Ferroelectric Random Access Memory)
Memory) and PRAM (Phase change Random Access Memory) or other nonvolatile memory.
通信インタフェース８１１は、本実施形態に係る装置が備える通信手段であり、ネットワークを介して（あるいは直接的に）外部装置と通信する。通信インタフェース８１１は、無線通信用のインタフェースであってもよく、この場合に、例えば、通信アンテナ、ＲＦ回路及びその他の通信処理用の回路を含んでもよい。また、通信インタフェース８１１は、有線通信用のインタフェースであってもよく、この場合に、例えば、ＬＡＮ端子、伝送回路及びその他の通信処理用の回路を含んでもよい。
A
センサ８１３は、たとえばカメラ、マイクロフォン、生体センサ、その他のセンサまたはそれらの複合である。カメラは、被写体を撮像するもので、例えば光学系、撮像素子及び画像処理回路を含む。マイクロフォンは、周囲の音を収音するもので、該音を電気信号へ変換し該電気信号をデジタルデータに変換する。
入力装置８１５は、タッチパネル、マウス、視線検出装置等である。表示装置８１７は、本実施形態に係る装置からの出力画像（すなわち表示画面）を表示するもので、例えば液晶、有機ＥＬ（Organic Light-Emitting Diode）、ＣＲＴ（Cathode Ray Tube）等を用いて実現され得る。スピーカ８１９は、音声を出力するもので、デジタルデータを電気信号に変換し該電気信号を音声に変換する。
The
次に、図３を参照して、本実施形態に係る「構内カメラ２００」の機能構成の一例を説明する。構内カメラ２００は、実世界の計測データを生成する機能を有し、ユーザー９００の行動（表情、身振り、音声等を含む）や生理反応等を外的に計測して取得したデータを後述する感情情報管理サーバ１００へ送信する。
Next, an example of the functional configuration of the "
図３は、本実施形態に係る構内カメラ２００の機能構成の一例を示すブロック図である。図３を参照すると、構内カメラ２００は、通信部２１０、計測部２２０及び制御部２３０を備える。なお、図３には図示していないが、構内カメラ２００は、計測データを保存するための記憶部や、内部動作状況をユーザーに示すための表示部等をさらに備えていてもよい。
FIG. 3 is a block diagram showing an example of the functional configuration of the
通信部２１０は、他の装置と通信する。たとえば、通信部２１０は、ＬＡＮ５０に直接的に接続され、感情情報管理サーバ１００と通信する。また、他の構内カメラ２００と通信してもよい。なお、通信部２１０は、通信インタフェース８１１により実装され得る。
計測部２２０は、実世界の計測データ（たとえばオフィスや駅構内の俯瞰的画角の撮映像）や、ユーザー９００の行動や生理反応を外的に計測してデータを取得する。
The
前記行動や生体反応のデータは、たとえば、カメラにより計測される顔表情や身体姿勢の状態内容を含む画像データ、マイクロフォンにより計測される音声データである。さらには、人体の撮像データにおける肌の色の微細な変化から推定する脈拍データ、眼の撮像データから推定する視線運動データや瞳孔径データ、該カメラに赤外線サーモグラフィ機能が備えられていれば計測できる皮膚温分布データ等、ユーザーの自律神経系活動情報を反映する高次の生理指標データであってもよい。 The data of behavior and biological reaction are, for example, image data including facial expression and body posture state content measured by a camera, and voice data measured by a microphone. Furthermore, pulse data estimated from minute changes in skin color in imaged data of the human body, gaze movement data and pupil diameter data estimated from eye imaged data, and infrared thermography function can be measured if the camera is equipped with it. High-level physiological index data that reflects the user's autonomic nervous system activity information, such as skin temperature distribution data, may also be used.
前記推定の処理は、後述する制御部２３０により構内カメラ２００内で行われてもよいし、構内カメラ２００から後述する感情情報管理サーバ１００へ生の測定データを送信し感情情報管理サーバ１００内で行われてもよい。また、後述するように、前記行動や生体反応のデータは、端末装置３００が備えるセンサ部によって取得されてもよい。なお、計測部２２０は、センサ８１３により実装され得る。
The estimation processing may be performed in the
構内カメラ２００は、図１の２００Ａのように１名のユーザー９００に対応して１台存在してもよいし、協働空間における環境埋め込み型のセンサを想定して図１の２００Ｃのように１台の構内カメラ２００が複数のユーザー９００のセンサデータを取得しても構わない。その場合、構内カメラ２００は複数のユーザー９００それぞれについてセンサデータと計測対象人物の識別データとの１対１対応の紐づけ処理を行って、センサデータと計測対象人物の識別データとの各組み合わせを記憶または送信する。前記計測対象人物の識別データは、どのようにして得られてもよく、一例として、カメラによる撮像画像から顔認識によって特定される人物の識別データであってもよい。
The
制御部２３０は、構内カメラ２００の様々な機能を提供する。制御部２３０は、前記計測データを、後述する計測対象のユーザー９００の位置情報のデータや、計測データを計測した時刻情報のデータと紐づけ、通信部２１０を介して感情情報管理サーバ１００へ送信してもよい。構内カメラ２００は、計測だけでなく、前処理、特徴抽出処理、推定を含む解析処理までを実施してもよく、その場合の各種演算処理を制御部２３０が行ってもよい。なお、制御部２３０は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７により実装され得る。
The
構内カメラ２００は、撮像範囲内に含まれるユーザー９００の位置を推定する機能を有していてもよい。たとえば、構内カメラ２００にレーザレンジファインダの機能も搭載されており、撮像範囲の３次元計測機能を有していてもよい。また、構内カメラ２００が汎用的な単眼カメラであっても、撮像対象物の３次元実空間における存在位置を推定する方法は既存に複数あり、公知の方法である（たとえば、前述の特許文献１や、非特許文献１：大澤達哉ほか、映像モニタリングのための人物追跡技術、ＮＴＴ技術ジャーナル、１９（８）、２００７、など）。
The
本発明の実施形態では、構内カメラ２００は、たとえば駅構内の監視カメラのような固定設置利用であってもよく、その場合、カメラの内部または外部パラメータの情報（カメラの３次元空間内位置、姿勢、撮像方向、画角、撮像範囲等の情報を含む）に係るデータは既知として、該カメラパラメータのデータを構内カメラ２００や感情情報管理サーバ１００が予め記憶部に有しており、該データを撮像対象物の位置推定に利用してもよい（すなわち、該データ及び構内カメラ２００からの取得データに基づいて撮像対象物の位置が推定されてもよい）。構内カメラ２００が撮像範囲内に含まれるユーザー９００の位置を推定する機能を有している場合、後述する端末装置３００とその位置情報取得部は、本情報通信システムに含まれなくてもよい。
In an embodiment of the present invention, the
次に、図４を参照して、本実施形態に係る「感情情報管理サーバ１００」の機能構成の一例を説明する。図４は、本実施形態に係る感情情報管理サーバ１００の機能構成の一例を示すブロック図である。図４を参照すると、感情情報管理サーバ１００は、通信部１１０、記憶部１２０及び制御部１３０を備える。
Next, an example of the functional configuration of the "emotion
通信部１１０は、他の装置と通信する。たとえば、通信部１１０は、ＬＡＮ５０に直接的に接続され、構内カメラ２００や端末装置３００と通信する。なお、通信部１１０は、通信インタフェース８１１により実装され得る。
The
記憶部１２０は、感情情報管理サーバ１００の動作のためのプログラム及びデータを記憶する。前記データには、後述する時刻情報、位置情報、感情情報、それらを紐づけた感情時空間情報が含まれる。前記感情時空間情報のデータは、図５に図示した後述する感情時空間情報ＤＢ１２１のデータを含んでいてもよい。なお、記憶部１２０は、記憶装置８０９により実装され得る。
The
制御部１３０は、感情情報管理サーバ１００の様々な機能を提供する。制御部１３０は、感情推定部１３１、感情時空間情報管理部１３３、感情変化情報生成部１３２及び感情時空間系列情報管理部１４０を含む。さらに、感情時空間情報管理部１３３は、時刻情報管理部１３５、位置情報管理部１３６、感情情報管理部１３７及び人物同一性情報管理部１３８を含み、感情時空間系列情報管理部１４０は、系列情報パターン照合部１４１及び推薦情報生成部１４２を含む。なお、制御部１３０は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７により実装され得る。
The
感情推定部１３１は、ユーザー９００から構内カメラ２００や端末装置３００及び通信部１１０を介して取得した行動や生体反応の計測データ（センシングデータ）に基づいて、ユーザー９００毎の個人感情の推定モデルデータ及びそれにより推定（識別）された感情推定データを生成する。また、感情推定部１３１は、該生成した推定モデルデータと感情推定データを記憶部１２０に記憶させる機能を有する。
The
なお、前記計測データは構内カメラ２００と端末装置３００の両方から得られる場合もあるが、両者の対応付けを行いそのいずれか一方のデータを用いてもよいし、両方のデータを併用することで（アンサンブル学習等により）より精度が高い感情推定データを生成できる可能性がある。
Although the measurement data may be obtained from both the
また、前記感情推定データの生成処理は構内カメラ２００や端末装置３００で行われてもよく、感情情報管理サーバ１００は構内カメラ２００や端末装置３００から前記計測データではなく感情推定データを受信しても構わない。
The process of generating the emotion estimation data may be performed by the
ここで、個人感情とその推定方法について説明を補足する。個人感情は、一例として「人が心的過程の中で行うさまざまな情報処理のうちで、人、物、出来事、環境についてする評価的な反応」（Ｏｒｔｏｎｙ ｅｔ ａｌ．，１９８８；大平，２０１０）と定義される。感情の具体的な種類としては、心理学者Ｐａｕｌ Ｅｋｍａｎによる表情に対応する基本感情ベースの離散型モデル上での幸福、驚き、恐れ、怒り、嫌悪、悲しみや、心理学者Ｊａｍｅｓ Ａ． Ｒｕｓｓｅｌｌによる快度及び覚醒度の感情次元ベースの連続型モデルにおける喜怒哀楽の象限などが知られている。他の連続型モデルとしては、Ｗａｔｓｏｎによるポジティブまたはネガティブ感情、Ｗｕｎｄｔによる３軸モデル（快度、興奮度、緊張度）、Ｐｌｕｔｃｈｉｋによる４軸のモデルなどもある。その他、応用的・複合的な感情としては、困惑度、関心度、メンタルストレス、集中度、疲労感、多忙度、創造性、リラックス／緊張度、モチベーション、共感度、信頼度などが挙げられる。さらに、業務活動において集団の雰囲気として体感されるイキイキ感なども高次な感情の一種といえる。本発明の実施形態における感情の定義の有効範囲は、前述の基本感情よりも広く、ユーザーのあらゆる内部「状態」やユーザーの周囲環境や文脈等の影響も加味した「状況」も含むものである。一例として、ポジティブ感情やその度合いは、快度そのものや、快度と覚醒度を合わせたもの、基本感情における幸福の強度の大きさ、もしくは恐れ、怒り、嫌悪、悲しみ等の強度の小ささ等を指標としてあらわされてもよい。 Here, a supplementary description of personal emotions and methods of estimating them will be provided. As an example, personal emotions are ``evaluative responses to people, objects, events, and environments among the various information processes people perform in their mental processes'' (Ortony et al., 1988; Ohira, 2010). is defined as Specific types of emotions include happiness, surprise, fear, anger, disgust, and sadness on a basic emotion-based discrete model for facial expressions by psychologist Paul Ekman; Russell's emotion-dimension-based continuous model of pleasure and arousal is known. Other continuous models include Watson's positive or negative affect, Wundt's 3-axis model (pleasure, excitement, tension), and Plutchik's 4-axis model. Other applied/complex emotions include confusion, interest, mental stress, concentration, fatigue, busyness, creativity, relaxation/tension, motivation, empathy, and trust. Furthermore, the lively feeling experienced as a group atmosphere in business activities can be said to be a kind of high-order emotion. The effective range of the definition of emotion in the embodiment of the present invention is wider than the basic emotion described above, and includes all internal "states" of the user and "situations" that take into account the influence of the user's surrounding environment and context. For example, positive emotions and their degrees are the pleasure itself, the sum of pleasure and arousal, the intensity of happiness in basic emotions, or the intensity of fear, anger, disgust, sadness, etc. may be expressed as an index.
ある人物がどのような感情とその程度にあるかは、たとえば質問紙法を用いることで、該人物の文字、文章、記号による言語的報告によって求めることができる。該質問紙としては“Ａｆｆｅｃｔ Ｇｒｉｄ”などがよく知られている。しかしながら、質問紙を用いた計測方法では回答作業が必要になるため、業務など何か別の作業を行っている日常生活においては計測それ自体が本来の目的作業に支障を及ぼしてしまう可能性がある。 What kind of feeling and degree of feeling a certain person has can be obtained from the person's linguistic report using letters, sentences, and symbols, for example, by using a questionnaire method. As the questionnaire, "Affect Grid" is well known. However, since the measurement method using questionnaires requires answering work, there is a possibility that the measurement itself will interfere with the original purpose work in daily life when doing other work such as work. be.
そこで、本情報通信システムにおいて、感情推定部１３１は、前述の構内カメラ２００や端末装置３００により計測される行動や生体反応のデータに基づいて（質問紙法等で求めた）感情を機械的に推定処理する。該推定処理を行うためには、予め学習処理によって生成された感情推定モデルのデータが必要となる。感情推定モデルは、たとえば、ある時点・状況における前記行動や生体反応のデータと前記質問紙の回答データからなる訓練データとを対応づけたデータの群から生成される。たとえば、オフィスに埋め込まれた無数のカメラやマイクロフォン、ウェアラブル活動量計から計測されたユーザーの顔表情、音声、心拍活動、皮膚電気活動等の行動・生体データと、該ユーザーの主観的感情を質問紙回答した正解データとが対応づけられて訓練データとされる。前記行動・生体データは、センサからの計測値が変換された学習処理用の特徴量データであってもよい。
Therefore, in this information communication system, the
特徴量データは、顔の代表的特徴点の位置や各２点間を結ぶ直線の距離や成す角度であってもよい。あるいは、特徴量データは、音声の基本周波数、パワー、平均発話速度、一次ケプストラム係数の最高値と標準偏差であってもよい。あるいは、特徴量データは、心拍数や拍動間隔の平均値や標準偏差、心拍変動性であってもよい。あるいは、特徴量データは、皮膚コンダクタンス水準の平均値や標準偏差や増減低下率などであってもよい。これらの特徴量データはどのように使用されてもよく、ある時点における絶対値として使用されてもよいし、２時点間の相対的な変化率として使用されてもよい。 The feature amount data may be the position of a representative feature point of the face, the distance of a straight line connecting each two points, or the angle formed. Alternatively, the feature amount data may be the fundamental frequency, power, average speech rate, maximum value and standard deviation of first-order cepstrum coefficients of speech. Alternatively, the feature amount data may be heart rate, average value and standard deviation of beat intervals, and heart rate variability. Alternatively, the feature amount data may be the average value, standard deviation, increase/decrease rate, etc. of the skin conductance level. These feature amount data may be used in any manner, and may be used as an absolute value at a certain point in time, or as a relative rate of change between two points in time.
前記訓練データを用いた感情推定モデルの生成には、学習の手法として、たとえば既知のＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）や深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）法が用いられてもよいし、単純に回帰分析法が利用されてもよい。また、学習モデルはユーザー個人毎に生成されてもよいし、複数のユーザーの訓練データを用いて人間に共通的なモデルが生成されてもよい。感情推定部１３１は、得られた感情推定モデルのデータを用いることで、ある人物の行動・生体データから個人感情を推定できるようになる。
For the generation of the emotion estimation model using the training data, as a learning method, for example, a known SVM (Support Vector Machine) or deep learning method may be used, or a simple regression analysis method may be used. may be used. A learning model may be generated for each individual user, or a model common to humans may be generated using training data of a plurality of users. By using the obtained emotion estimation model data, the
感情情報管理サーバ１００や感情推定部１３１は、上述の個人感情推定処理のための訓練データや感情の推定モデル自体を生成する機能を有していてもよい。さらに、訓練データのための前述の特徴量データの生成は、感情情報管理サーバ１００ではなく構内カメラ２００や端末装置３００の方で行い、構内カメラ２００や端末装置３００が、該特徴量データを感情情報管理サーバ１００へ送信するようにしてもよい。
The emotion
感情時空間情報管理部１３３は、ある時刻、ある位置に存在するユーザー９００から取得された行動や生体反応の計測データから感情推定部１３１により生成された感情の推定情報（感情情報）のデータの管理を行う。すなわち、感情時空間情報管理部１３３は、ユーザー９００の後述する時刻情報、位置情報、感情情報、ユーザーＩＤ情報のデータ（人物同一性情報の例）を互いに紐づけた「感情時空間情報」のデータを生成し、生成した「感情時空間情報」のデータを記憶部１２０の感情時空間情報ＤＢ１２１に記録する。
The emotion spatio-temporal
なお、本実施形態では、感情時空間情報管理部１３３が、時刻情報、位置情報、感情情報、ユーザーＩＤ情報のデータのすべてを紐づける例について主に説明する。しかし、感情時空間情報管理部１３３は、これらの一部のみを紐づけることによって感情時空間情報を生成してもよい。たとえば、感情時空間情報管理部１３３は、感情情報と、時刻情報及び位置情報の少なくともいずれか一方とを紐づけることによって感情時空間情報を生成してもよい（感情情報と時刻情報とを紐づけてもよいし、感情情報と位置情報とを紐づけてもよいし、感情情報と時刻情報及び位置情報の双方とを紐づけてもよい）。あるいは、感情時空間情報管理部１３３は、感情情報と、時刻情報及び位置情報の少なくともいずれか一方と、ユーザーＩＤ情報のデータとを紐づけることによって感情時空間情報を生成してもよい。
In the present embodiment, an example in which the emotion spatio-temporal
ここで、図５を参照して、前述した感情時空間情報ＤＢ１２１について説明する。図５は、感情時空間情報管理部１３３によって紐づけ処理され記憶部１２０に記憶される感情時空間情報ＤＢ１２１のデータテーブルの一例を説明するための説明図である。図５のデータテーブルには、感情情報、位置情報、時刻情報、ユーザーＩＤのデータが記憶されている。
Here, the emotion spatio-temporal information DB 121 described above will be described with reference to FIG. FIG. 5 is an explanatory diagram for explaining an example of a data table of the emotion spatio-temporal information DB 121 that is linked by the emotion spatio-temporal
感情情報は、前述のように感情推定部１３１により生成される。図５ではポジティブ感情の強度を感情情報の一例として記しており、行１のデータではポジティブ度が高く、行３のデータでは低い。
Emotion information is generated by
位置情報は、前記感情情報の推定基となった計測データを取得されたユーザー９００が存在すると推定される位置（実空間内の３次元位置、もしくは実空間を水平面に射影した面上の２次元位置、エリアレベルでのプレゼンス等）であり、前述のように構内カメラ２００が撮像範囲内に含むユーザー９００の位置を推定した情報を用いてもよいし、後述する端末装置３００が有する位置情報取得部により取得された位置情報を用いてもよい。
The position information is a position (three-dimensional position in real space, or two-dimensional position, presence at the area level, etc.), and as described above, information obtained by estimating the position of the user 900 included in the imaging range of the
時刻情報は、前記感情情報の推定基となった計測データを取得された時刻である。感情情報を推定するのに瞬時ではなく一定以上の時間幅の計測データが必要な感情情報（たとえば、音声の韻律や心拍数の上下など経時変化情報に基づく推定情報）の場合、該時間幅の最終時刻（時間幅の中で最も現在に近い時刻）を代表値として扱い時刻情報としてもよい。なお、本情報通信システムにおける感情情報管理サーバ１００、構内カメラ２００、端末装置３００それぞれの装置内の基準時刻にズレがある場合、感情情報管理サーバ１００は構内カメラ２００や端末装置３００からデータを受信した時点の感情情報管理サーバ１００のシステム時刻を代表値として時刻情報としてもよい。また、感情情報管理サーバ１００自体が構内カメラ２００や端末装置３００の時刻を校正する（感情情報管理サーバ１００のシステム時刻にそれらのシステム時刻を同期させる）機能を有していてもよい。
The time information is the time when the measurement data used as the basis for estimating the emotion information was acquired. In the case of emotional information that requires measured data over a certain period of time rather than instantaneously to estimate the emotional information (for example, estimated information based on information that changes over time, such as the prosody of voice or the ups and downs of the heart rate), the time period The final time (the time closest to the current time within the time span) may be treated as a representative value and used as time information. If there is a discrepancy in the reference time in each of the emotion
ユーザーＩＤは、紐づけられた時刻データ、位置データ、感情情報データの基になった計測データを取得されたユーザー９００をそれぞれ一定期間識別するためのデータである。たとえば、図５のデータテーブルには例として７行の紐づけデータが図示されているが、ユーザーＩＤは「０００１」「０００２」「０００３」の３種しかないため、図示されているのは３名分のデータであることがわかる。ユーザーＩＤは、感情情報データの基になった計測データが端末装置３００から取得され該感情情報データの基になった端末装置３００が個人利用端末でその固有の識別情報を感情情報管理サーバ１００が取得できる場合や、予め個人情報と顔画像や音声や生体データとを紐づけた顔・音声・生体認識辞書データベースが存在し、該データベースと計測データとを照合処理できる場合にはそれを用いてもよい。しかし、駅などの不特定多数のユーザーが利用する公共空間ではそのような方法は必ずしも実施可能ではない。また、そのような方法がたとえ実施可能であっても、個人情報のデータを安全に保管・運用するコストが必要となる。
The user ID is data for identifying the user 900 from whom the measurement data on which the linked time data, position data, and emotion information data are based is respectively identified for a certain period of time. For example, the data table in FIG. 5 shows 7 rows of linked data as an example, but since there are only 3 types of user IDs, "0001", "0002", and "0003", only 3 rows are shown. It can be seen that the data is nominal. The user ID is obtained from the
本発明の実施形態では、不特定多数の感情情報、位置情報、時刻情報が集合されれば最低限の感情時空間情報を生成することは可能であるため、必ずしも各ユーザー９００の感情情報が個人情報と紐づけられる必要はなく、その場合は実施にあたり当ユーザーＩＤ情報のデータは必須ではない。しかしながら、当ユーザーＩＤは一定期間、感情情報の基になった各ユーザー９００同士を識別できるだけでも効果を示し、予め照合するための個人情報を用意しなくても、後述のように実施可能である。前記効果とは、感情情報の時系列変化の情報を利用できるようになることで、感情時空間情報の利用品質が向上することである。 In the embodiment of the present invention, since it is possible to generate the minimum emotional spatio-temporal information by collecting an unspecified number of emotional information, location information, and time information, the emotional information of each user 900 is not necessarily personal. It does not need to be linked with information, and in that case, the data of this user ID information is not essential for implementation. However, this user ID is effective for a certain period of time even if it can identify each user 900 who is the basis of the emotional information, and can be implemented as described later without preparing personal information for collation in advance. . The effect is that the use quality of emotion spatio-temporal information is improved by making it possible to use information on time-series changes in emotion information.
たとえば、図５のデータテーブルでは、行１、行１１、行１２にはユーザーＩＤ０００１の、行２、行１３、行１４にはユーザーＩＤ０００２のユーザーの紐づけデータ（それぞれ１５秒間隔のデータ３点）が記憶されている。また、図５のデータテーブルでは、行３にはユーザーＩＤ０００３のユーザーの紐づけデータが記憶されている。
For example, in the data table shown in FIG. 5,
対応する時刻情報を見ると、ユーザーＩＤ０００１のユーザーとユーザーＩＤ０００２のユーザーは、同日のほぼ同じ時間帯（１分違い）の３０秒間の内に同じように位置「Ｘ１、Ｙ１、Ｚ１」から位置「Ｘ３、Ｙ３、Ｚ３」を経て位置「Ｘ４、Ｙ４、Ｚ４」へと移動している。しかしながら、ユーザーＩＤ０００１のユーザーは該３０秒間の間感情情報は「ポジティブ度８０％」で変わらない一方、ユーザーＩＤ０００２のユーザーは「Ｘ４、Ｙ４、Ｚ４」で感情情報がそれまでの「ポジティブ度５０％」から「８０％」へ上昇している。
Looking at the corresponding time information, the user with the
たとえば、駅構内において「Ｘ４、Ｙ４、Ｚ４」にある広告ポスターが掲示されていた場合、ユーザーＩＤ０００２のユーザーはそれを見てポジティブ度が上昇した可能性が考えられる。一方で、ユーザーＩＤ０００１のユーザーはポジティブ度が高いが、そもそも該広告ポスターの位置（Ｘ４、Ｙ４、Ｚ４）にたどり着く前からそもそもポジティブ度が高く、該広告ポスターの位置（Ｘ４、Ｙ４、Ｚ４）に到ってもポジティブ度は変わっていないため、該広告ポスターによる影響はほとんどなかったと考えられる。この場合、該広告ポスターの位置（Ｘ４、Ｙ４、Ｚ４）での瞬時的な感情情報だけを見るのではなく、その経時的変化、たとえば前の時刻のデータとの差分量（ユーザーＩＤ０００１のユーザー：＋０％、ユーザーＩＤ０００２のユーザー：＋３０％）を見れば、その位置の環境がユーザーの感情にどれだけの影響を与えるのかをより正確に把握でき、感情時空間情報の利用品質が向上する。しかし、当ユーザーＩＤの情報が得られず、感情情報、位置情報、時刻情報だけしか無かった場合、前述の行１、行１１、行１２、行３、行１３、行１４の各データはすべて関連のない個別データとなり、前述の経時的変化の情報（差分量等）を算出することもできなくなってしまう。ユーザーＩＤ情報により、各行の感情時空間情報のデータ間の関連性（人物同一性）を確認できる。
For example, if an advertising poster at "X4, Y4, Z4" was posted in a station, the user with
予め照合するための個人情報を用意せずにユーザーＩＤの情報を生成するには、前記計測データと計測されたユーザー９００の紐づけ維持状態の情報を、本情報通信システムでデータ化できればよい。たとえば、前記計測データが端末装置３００から取得されている場合、端末装置３００は前記計測データと共に端末装置３００の通信用ＩＤの情報を含むデータを感情情報管理サーバ１００へ送信してもよい。
In order to generate user ID information without preparing personal information for collation in advance, the measurement data and the measured information on the link maintenance state of the user 900 should be converted into data by this information communication system. For example, when the measurement data has been obtained from the
また、前記計測データが構内カメラ２００から取得されている場合、一例として構内カメラ２００は公知の人物追跡技術（たとえば前述の非特許文献１参照）を用い、該構内カメラ２００の撮像範囲内にあるユーザーが映って人物追跡処理できている間は、該計測データに一意のユーザーＩＤを紐づけて付与することが可能である。
In addition, when the measurement data is acquired from the
さらに、複数のカメラにまたがり人物追跡処理する技術も公知で存在する（非特許文献２：福司謙一郎ほか、複数カメラを用いた人物追跡手法の研究例、映像情報メディア学会誌、６２（７）、２００８）ことから、大型駅のような広い空間であっても、複数のカメラが設置され人物追跡処理が成功すれば、移動中のユーザーに対してある程度の時間幅で継続して一意のユーザーＩＤの紐づけ付与が可能である。映像ではなく音声の場合でも、教師データを用いずに個人性を識別する技術が公知で存在する（非特許文献３：峯松信明、音声に含まれる様々な個人性の自動推定、日本音響学会誌、７１（９）、２０１５）ことから、同様に一意のユーザーＩＤの紐づけ付与が可能といえる。 Furthermore, there is a known technique for tracking a person across multiple cameras (Non-Patent Document 2: Kenichiro Fukutsukasa et al., Research Example of a Person Tracking Method Using Multiple Cameras, Journal of the Institute of Image Information and Television Engineers, 62 (7), 2008), even in a large space such as a large train station, if multiple cameras are installed and the person tracking process is successful, a unique user ID can be obtained continuously for a certain amount of time for a moving user. is possible. Even in the case of audio rather than video, there are publicly known techniques for identifying individuality without using teacher data (Non-Patent Document 3: Nobuaki Minematsu, Automatic Estimation of Various Personalities Included in Audio, Journal of the Acoustical Society of Japan , 71(9), 2015), it can be said that a unique user ID can be similarly associated with each other.
以上のように、感情時空間情報管理部１３３は、時刻情報、位置情報、感情情報、ユーザーＩＤ情報のデータを用いて、感情時空間情報のデータを生成し、保管する。
As described above, the emotion spatio-temporal
時刻情報管理部１３５は、感情時空間情報における前述の時刻情報を管理する。特に、時刻情報管理部１３５は、後述する端末装置３００から時刻によるフィルタリング指定（時刻情報の条件）と情報の取得要求を含むメッセージを受信した場合、後述のように時刻によるフィルタリング指定に基づいて、感情時空間情報から部分的に情報（時刻情報の条件に合致する情報）を抽出することによってフィルタ済の感情時空間情報を生成し、時刻によるフィルタリング済の感情時空間情報のデータを該端末装置３００へ送信する。なお、フィルタリング指定される時刻情報の単位は限定されない。すなわち、時刻情報の単位は、時単位であってもよいし、日単位（たとえば、日付けの他、平日、祝日といった種別など）であってもよいし、月単位であってもよい。
The time
位置情報管理部１３６は、感情時空間情報における前述の位置情報を管理する。特に、位置情報管理部１３６は、後述する端末装置３００から位置によるフィルタリング指定（位置情報の条件）と情報の取得要求を含むメッセージを受信した場合、後述のように位置によるフィルタリング指定に基づいて、感情時空間情報から部分的に情報（位置情報の条件に合致する情報）を抽出することによってフィルタ済の感情時空間情報を生成し、位置によるフィルタリング済の感情時空間情報のデータを該端末装置３００へ送信する。
The position
感情情報管理部１３７は、感情時空間情報における前述の感情情報を管理する。特に、感情情報管理部１３７は、後述する端末装置３００から感情によるフィルタリング指定（感情情報の条件）と情報の取得要求を含むメッセージを受信した場合、後述のように感情によるフィルタリング指定に基づいて、感情時空間情報から部分的に情報（感情の種別や強度などといった感情情報の条件に合致する情報）を抽出することによって、フィルタ済の感情時空間情報を生成し、生成されたフィルタリング済の感情時空間情報のデータを該端末装置３００へ送信する。
The emotion
人物同一性情報管理部１３８は、感情時空間情報における前述のユーザーＩＤ情報を管理する。特に、人物同一性情報管理部１３８は、後述する端末装置３００から人物同一性によるフィルタリング指定（人物同一性情報の条件）と情報の取得要求を含むメッセージを受信した場合、後述のように人物同一性によるフィルタリング指定に基づいて、感情時空間情報から部分的に情報（人物同一性が確認された情報）を抽出することによってフィルタ済の感情時空間情報を生成し、人物同一性が確認された情報によるフィルタリング済の感情時空間情報のデータを該端末装置３００へ送信する。
The person identity
感情変化情報生成部１３２は、感情時空間情報のデータを基に前述の経時的変化（同一のユーザーＩＤ情報に紐づけられた感情情報の経時的変化）の情報を算出し生成する。前記経時的変化の情報は、予め生成して記憶部１２０に記憶される必要はなく、たとえば後述する端末装置３００からの情報の取得要求や後述するフィルタリング指定を含むメッセージの受信を契機に生成されてもよい。
The emotion change
前述では、経時的変化の情報の例として任意の２時点間の感情強度の差分量を挙げたが、該情報の指標はそれに限定されない。たとえば、２時点間の感情強度の増加率や、単位時間あたりの感情強度の増減量（微分値）、所定の時間幅における感情強度の代表値（平均値、中央値、最頻値等）、所定の時間幅における感情強度の変動量（分散値）、感情に変化がない状態の継続時間長、所定の時間幅における感情のカテゴリの変化回数等を経時的変化の情報の指標としてもよい。なお、感情変化情報生成部１３２は、同一のユーザーＩＤ情報に紐づけられた感情情報及び位置情報の経時的変化の情報を算出してもよい。
In the above description, the amount of difference in emotional intensity between arbitrary two points in time was given as an example of information on changes over time, but the index of the information is not limited to this. For example, the rate of increase in emotional intensity between two time points, the amount of increase or decrease in emotional intensity per unit time (differential value), the representative value of emotional intensity in a predetermined time span (average value, median value, mode value, etc.), The amount of change in emotion intensity (variance value) in a predetermined time span, the length of time during which no change in emotion lasts, the number of times the emotion category changes in a predetermined time span, etc. may be used as indexes of information on changes over time. Note that the emotion change
感情時空間系列情報管理部１４０は、前述の感情時空間情報から後述する「感情時空間系列情報」を生成し、生成した感情時空間系列情報のデータを記憶部１２０の感情時空間情報ＤＢ１２１に記録する。
The emotion spatio-temporal series
感情時空間系列情報は、前述の感情時空間情報を、前述のユーザーＩＤ情報毎に時間的前後関係を有する順序を持ったデータの組とした系列構造の情報である。具体的な例としては、感情時空間系列情報は、ユーザーＩＤ情報毎に時系列にされた位置情報および感情情報の系列情報である。なお、感情時空間系列情報と前述の経時的変化の情報との違いは、経時的変化の情報は複数の感情時空間情報から演算により求められた単一的情報であるのに対し、感情時空間系列情報は複数の情報の組であることであり、その各情報間の時間的前後関係の情報が構造として含まれることである。感情時空間系列情報は、典型的にはユーザーＩＤ情報毎に時系列にされた位置情報および感情情報の系列情報であってよいが、ユーザーＩＤ情報毎に時系列にされた位置情報のみの系列情報であってもよいし、ユーザーＩＤ情報毎に時系列にされた感情情報のみの系列情報であってもよい。 The emotion spatio-temporal series information is information of a series structure in which the above-mentioned emotion spatio-temporal information is a set of ordered data having a temporal anteroposterior relationship for each of the above-mentioned user ID information. As a specific example, the emotion spatio-temporal series information is sequence information of position information and emotion information arranged in time series for each user ID information. The difference between the emotion spatiotemporal series information and the above-mentioned temporal change information is that the temporal change information is a single piece of information obtained by calculation from a plurality of emotional spatiotemporal information. Spatial sequence information is a set of a plurality of pieces of information, and includes information on the temporal context between each piece of information as a structure. The emotion spatio-temporal series information may typically be position information and emotion information series information chronologically arranged for each user ID information. It may be information, or it may be series information of only emotion information arranged in time series for each user ID information.
系列情報パターン照合部１４１は、感情時空間系列情報およびそれに基づく推薦情報が提供されるユーザーの感情時空間系列情報（第１の系列情報）に類似した当該ユーザーとはＩＤが異なるユーザー９００の過去の感情時空間系列情報（第２の系列情報）を検索（パターン照合）し、取得する。以下では、「第１の系列情報」を「対象ユーザーの系列情報」とも言い、「第２の系列情報」を「高類似度の系列情報」とも言う。なお、ＩＤが異なるユーザー同士は、ＩＤが異なる別のユーザーであってもよいし、ＩＤが異なる同一のユーザーであってもよい。
The series information
ここで、系列情報パターン照合部１４１は、記憶部１２０の感情時空間情報ＤＢ１２１に記録された感情時空間系列情報から対象ユーザーの系列情報とパターンの類似度が最も高い感情時空間系列情報を高類似度の系列情報として選択してもよい。あるいは、系列情報パターン照合部１４１は、記憶部１２０の感情時空間情報ＤＢ１２１に記録された感情時空間系列情報から対象ユーザーの系列情報とパターンの類似度が閾値よりも高い感情時空間系列情報を高類似度の系列情報として選択してもよい。
Here, the series information
あるいは、系列情報パターン照合部１４１は、対象ユーザーの系列情報とパターンの類似度が最も高い感情時空間系列情報またはパターンの類似度が閾値よりも高い感情時空間系列情報から所定の条件に適合する系列情報を高類似度の第２の系列情報として選択してもよい。たとえば、前記所定の条件は、ユーザーのポジティブ度（ポジティブ感情の高さ）が現在のポジティブ度よりも高くなるという条件であってもよいし、ユーザーがそのエリアに訪れた場合にできるだけユーザーのポジティブ度が高くなるという条件であってもよい。
Alternatively, the series information
また、所定の条件は、かかる例に限定されない。たとえば、所定の条件は、かかる感情に関する条件の代わりに、または、感情に関する条件に追加して、対象ユーザーの現在の位置から最も近いという条件を含んでもよいし、対象ユーザーの現在位置から最も近いという条件を含んでもよい。あるいは、所定の条件は、感情に関する条件の代わりに、または、感情に関する条件に追加して、対象ユーザーの現在位置を起点とした移動経路に障害となる物体（たとえば、階段など）がないという条件を含んでもよい。 Also, the predetermined condition is not limited to this example. For example, the predetermined condition may include, instead of or in addition to the emotion-related condition, the condition of being closest to the current location of the target user, or the condition of being closest to the current location of the target user. may include the condition Alternatively, the predetermined condition is, instead of or in addition to the emotion-related condition, the condition that there are no obstacles (such as stairs) in the movement route starting from the current position of the target user. may include
ここで、図６、図７、図８、図９を参照して、感情時空間系列情報について具体的に説明する。 Here, the emotion spatio-temporal series information will be specifically described with reference to FIGS.
図６は、感情時空間系列情報の基になるユーザー９００の行動（位置情報）の変化の例を説明するための説明図である。図７は、図６に応じた感情時空間系列情報が感情時空間情報ＤＢ１２１に記憶されたデータテーブルの一例を示す説明図である。図８は、感情時空間系列情報の基になるユーザー９００の感情の変化の例を説明するための説明図である。図９は、図８に応じた感情時空間系列情報が感情時空間情報ＤＢ１２１に記憶されたデータテーブルの一例を示す説明図である。 FIG. 6 is an explanatory diagram for explaining an example of changes in behavior (positional information) of the user 900 on which emotion spatio-temporal series information is based. FIG. 7 is an explanatory diagram showing an example of a data table in which the emotion spatio-temporal series information corresponding to FIG. 6 is stored in the emotion spatio-temporal information DB 121. As shown in FIG. FIG. 8 is an explanatory diagram for explaining an example of changes in the emotions of the user 900 on which the emotion spatio-temporal series information is based. FIG. 9 is an explanatory diagram showing an example of a data table in which the emotion spatio-temporal series information corresponding to FIG. 8 is stored in the emotion spatio-temporal information DB 121. As shown in FIG.
図６には、あるショッピングモール（やエキナカ）の一部を示す平面図が例として示されている。前記ショッピングモールには、Ａ～Ｆまでの６つの店舗と、その間を通る通路が例として示されている。店舗Ａ～Ｆ間は互いに自由に行き来することができる。ここで、前記ショッピングモールを訪れた過去のユーザー９００Ｘについて、その感情時空間系列情報をＸｔで表す。ｔは時間的前後関係の順序を示し、Ｘ１、Ｘ２、Ｘ３…はその時系列順序でユーザー９００Ｘの位置情報および感情情報が生成されたことを表す。同様に、過去のユーザー９００Ｙの感情時空間系列情報は、Ｙ１、Ｙ２、Ｙ３…と表され、過去のユーザー９００Ｚの感情時空間系列情報は、Ｚ１、Ｚ２、Ｚ３…と表される。さらに、感情時空間系列情報および推薦情報が提供されるユーザー９００Ｓの現在（感情時空間系列情報が提供される時点）の感情時空間系列情報をＳ０と表す。この時、Ｓ０のひとつ前の系列データはＳ－１、ふたつ前の系列データはＳ－2、と表される。
FIG. 6 shows, as an example, a plan view showing a part of a certain shopping mall (or station). In the shopping mall, six stores A to F and passages between them are shown as an example. Stores A to F are freely accessible to each other. Here, regarding the user 900X who has visited the shopping mall in the past, the emotion spatio-temporal series information is represented by Xt . t indicates the order of temporal context, and X 1 , X 2 , X 3 . Similarly, past user 900Y's emotional spatio -temporal series information is expressed as Y 1 , Y 2 , Y 3 . expressed. Furthermore, the present (at the time of providing the emotion spatio-temporal series information) emotion spatio-temporal series information of the user 900S to whom the emotion spatio-temporal series information and recommended information are provided is denoted by S0 . At this time, the series data one before S 0 is expressed as S −1 , and the series data two before
図６は、位置情報の変化を主とした場合の感情時空間系列情報の例である。ユーザー９００Ｓは現在店舗Ｃにいる（Ｓ０＝エリアＣ）。ユーザー９００Ｓはその直前には店舗Ｂにおり（Ｓ－１＝エリアＢ）、さらにその前には店舗Ａにいた（Ｓ－２＝エリアＡ）。 FIG. 6 is an example of emotion spatio-temporal series information when mainly changes in position information. User 900S is currently at store C (S 0 = area C). User 900S was at store B immediately before (S −1 =area B) and before that at store A (S −2 =area A).
ここで、系列情報パターン照合部１４１は、ユーザー９００Ｓに推薦情報を提供するために、ユーザー９００Ｓの感情時空間系列情報と類似した当該ユーザーとはＩＤが異なるユーザー９００の過去の感情時空間系列情報を検索する。まず、系列情報パターン照合部１４１は、ユーザー９００Ｓが現在いる店舗Ｃ（エリアＣ）をデータの一部に含む感情時空間系列情報を感情時空間情報ＤＢ１２１から検索する。ここでは例として、ユーザー９００Ｘ、９００Ｙ、９００Ｚの感情時空間系列情報が該当する候補となった。ユーザー９００Ｓの情報形式に合わせ、ユーザー９００Ｘ、９００Ｙ、９００Ｚのデータも、店舗Ｃにいた時点をそれぞれＸ０、Ｙ０、Ｚ０（＝エリアＣ）と表す。
Here, in order to provide recommended information to user 900S, series information
図６より、たとえばユーザー９００Ｙは過去に店舗Ｄ→店舗Ｂ→店舗Ｃの順で移動したため、それに対応してＹ－２＝エリアＤ、Ｙ－１＝エリアＢ、Ｙ０＝エリアＣ、という感情時空間系列情報が生成される。また、ユーザー９００Ｚの感情時空間系列情報としては、Ｚ－２＝エリアＥ、Ｚ－１＝エリアＦ、Ｚ０＝エリアＣ、という感情時空間系列情報が生成される。さらに、ユーザー９００Ｘ、９００Ｙ、９００Ｚそれぞれの感情時空間系列情報は過去のデータであるため、ユーザー９００Ｘ、９００Ｙ、９００Ｚが店舗Ｃの後にそれぞれ訪れた店舗の情報も、たとえば、Ｘ＋１＝エリア…、Ｘ＋２＝エリア…、のように感情時空間系列情報のデータとして感情時空間情報ＤＢ１２１に記憶されている（なお、ユーザー９００Ｓは現在のユーザーであるため、Ｘ＋１以降のデータはまだ存在しない：(No Data)）。 From FIG. 6, for example, user 900Y moved in the order of store D→store B→store C in the past, so correspondingly, Y −2 = area D, Y −1 = area B, Y 0 = area C. Spatio-temporal series information is generated. Also, as the emotion spatio-temporal series information of user 900Z, emotion spatio-temporal series information of Z −2 =area E, Z −1 =area F, and Z 0 =area C is generated. Furthermore, since the emotional spatio-temporal series information of each of users 900X, 900Y, and 900Z is past data, the information of the stores visited by users 900X, 900Y, and 900Z after store C is also available, for example, X +1 = area . . . is stored in the emotional spatio-temporal information DB 121 as data of emotional spatio-temporal series information such as X +2 = area (because user 900S is the current user, data after X +1 does not yet exist: (No Data)).
図７は、上記で説明した図６のユーザー９００Ｘ、９００Ｙ、９００Ｚ、９００Ｓの行動（位置情報の変化）に対応した感情時空間系列情報のデータテーブルの例である。ここで、例示したｔ＝－２～０の範囲を見ると、ユーザー９００Ｓの感情時空間系列情報と比較して、ユーザー９００Ｘはｔ＝－２、－１、０の３個、ユーザー９００Ｙはｔ＝－１、０の２個、ユーザー９００Ｚはｔ＝０の１個、同一のデータ値を有している。すなわち、この範囲でユーザー９００Ｓに最も類似度が高い感情時空間系列情報を持つ過去のユーザーは、３名の中で最も同一のデータ値の数が多かったユーザー９００Ｘである。ユーザー９００Ｓの推薦情報を生成する際は、３名の中ではユーザー９００Ｘのデータ（特にｔ＝＋１以上の範囲のユーザー９００Ｘの感情時空間系列情報のデータ）を利用すると最も推定精度（適合性）の高い推薦情報を提供し得る。 FIG. 7 is an example of a data table of emotion spatio-temporal series information corresponding to the actions (changes in position information) of users 900X, 900Y, 900Z, and 900S in FIG. 6 described above. Here, looking at the exemplified range of t = -2 to 0, compared with the emotion spatio-temporal series information of user 900S, user 900X has three t = -2, -1, and 0, and user 900Y has t =-1, 0, and user 900Z has one at t=0, the same data value. That is, the past user having the emotion spatio-temporal series information with the highest degree of similarity to the user 900S in this range is the user 900X with the largest number of identical data values among the three users. When generating recommendation information for user 900S, the data for user 900X (especially data for user 900X's emotional spatio-temporal series within the range of t = +1 or more) among the three users is the best estimation accuracy (adaptability). can provide highly recommended information.
図８、図９には、上述の図６、図７の位置情報の例を、感情情報で説明した場合の例が示されている。なお、人物アイコン額部のＰ（Positive）はポジティブ度：高、Ｎ（Negative）はポジティブ度：低、Ｔ（neuTral）はポジティブ度：中、の感情状態であることを示している。こちらの例では、ｔ＝－２～０の範囲で主に感情情報が変化しており、位置情報時と同様に、ユーザー９００Ｓの感情時空間系列情報と比較して、ユーザー９００Ｘはｔ＝－２、－１、０の３個、ユーザー９００Ｙはｔ＝－１、０の２個、ユーザー９００Ｚはｔ＝０の１個、同一のデータ値を有している。この場合も、３名の中ではユーザー９００Ｘのデータを利用すると最も推定精度の高い推薦情報を提供し得る。 FIGS. 8 and 9 show examples of the position information shown in FIGS. 6 and 7 described above in terms of emotion information. It should be noted that P (Positive) in the forehead portion of the person icon indicates an emotional state of high positivity, N (Negative) indicates low positivity, and T (neuTral) indicates medium positivity. In this example, the emotion information mainly changes in the range of t = -2 to 0. Similar to the time of location information, compared with user 900S's emotion spatio-temporal series information, user 900X has t = - The user 900Y has two data values of t=-1 and 0, and the user 900Z has one data value of t=0. In this case as well, among the three users, using the data of user 900X can provide recommendation information with the highest estimation accuracy.
上記では、説明のため位置情報または感情情報それぞれを主にした場合の感情時空間系列情報の例で説明したが、同様の情報処理は位置情報及び感情情報の組み合わせに対しても可能である。たとえば、図８では、ユーザー９００Ｘ、９００Ｙ、９００Ｚ、９００Ｓとも、ｔ＝－２～０の範囲では位置情報は同じパターン（エリアＡ→Ｂ→Ｃ）を示しておりその部分では類似度の高さに差は見られないが、感情情報を加味することで、ユーザー９００Ｘがユーザー９００Ｓに最もパターンの類似度が高いユーザーであると判定することができる。 In the above description, an example of emotion spatio-temporal series information in the case of mainly position information or emotion information was explained for the sake of explanation, but similar information processing is also possible for a combination of position information and emotion information. For example, in FIG. 8, users 900X, 900Y, 900Z, and 900S show the same pattern of location information (area A→B→C) in the range of t=-2 to 0, and the similarity is high in that portion. Although there is no difference in , it can be determined that the user 900X has the highest pattern similarity to the user 900S by adding emotional information.
なお、前記組み合わせの場合に、パターンの類似度の高さの算出処理において、位置情報と感情情報のそれぞれに異なる重み係数が感情時空間系列情報管理部１４０により予め設定され、重み係数に基づく処理後のデータが感情時空間情報ＤＢ１２１に記録されてもよい。このデータにより、位置情報もしくは感情情報ベースでそれぞれ異なるパターンに対し同程度の類似度の高さが算出された場合も、最終的にどちらのパターンの類似度が高いかを系列情報パターン照合部１４１が決定できる。
In the case of the combination, different weighting coefficients are set in advance for the position information and the emotion information by the emotion spatio-temporal series
さらに、系列情報パターン照合部１４１は、類似度が高いパターンを持つ過去のユーザーの感情時空間系列情報群の中から、所定の条件に適合した感情時空間系列情報を選択してもよい。たとえば、同程度のパターン類似度の高さを有したふたつの過去の感情時空間系列情報Ｍｔ、Ｎｔがあるとする。ＭｔはＭ＋１で感情のポジティブ度が高くなる傾向があり、ＮｔはＮ＋１で感情のポジティブ度が低くなる傾向があって、本システムの目的が情報提供する対象のユーザー９００の感情のポジティブ度を高めることであった場合、系列情報パターン照合部１４１は、ＮｔよりもＭｔの方の感情時空間系列情報に高い優先度をつけて取得し、推薦情報生成部１４２に送信してもよい。
Furthermore, the series information
以上により、感情時空間系列情報管理部１４０は、前記ショッピングモールの過去のユーザー９００群の感情時空間系列情報を生成してそのデータを管理し、また、系列情報パターン照合部１４１は、あるユーザー９００の感情時空間系列情報とパターンの類似度が高く所定の条件に適合した感情時空間系列情報を検索し、該情報のデータを後述する推薦情報生成部１４２に送信することができる。
As described above, the emotion spatio-temporal series
なお、系列情報パターン照合部１４１が行う系列情報のパターン照合処理は、上記の方法に限定されない。パターン間の類似度の高さの算出方法として、ＤＰマッチング（Dynamic Programming Matching）、隠れマルコフモデル（Hidden Markov Models）、相互相関、条件付き確率場（Conditional Random Field）、等の既存の方法を用いても構わない（それぞれ公知の方法であるため内容説明は省略する）。また、系列データの間隔・距離は系列内／間で均一である必要はなく、パターン照合処理の際にその調整のため動的時間伸縮法（Dynamic Time Wrapping）等の処理を行っても構わない。
The sequence information pattern matching process performed by the sequence information
推薦情報生成部１４２は、系列情報パターン照合部１４１から、あるユーザー９００の感情時空間系列情報と類似度の高い過去のユーザーの感情時空間系列情報を受信し、受信した感情時空間系列情報に基づいて推薦情報を生成して、通信部１１０を介して該ユーザー９００に紐づいた後述する端末装置３００へ送信する。推薦情報は、たとえば、前記ユーザー９００が次に訪れた場合に、該ユーザー９００のポジティブ感情が高くなると推定される（すなわち、類似度が高い過去のユーザーが現在位置の次に訪れてポジティブ感情が高くなった）場所（位置）の情報でもよい。
The recommendation
具体的に、推薦情報生成部１４２は、高類似度の系列情報に基づいてユーザーに提示される推薦情報を生成する。たとえば、推薦情報生成部１４２は、パターン照合によって高類似度の系列情報から対象ユーザーの系列情報との対応箇所が特定されると、高類似度の系列情報のうち対応箇所よりも後段の系列情報に基づいて推薦情報を生成する。
Specifically, the recommendation
図７および図９に示した例において、「対象ユーザーの系列情報」がユーザー９００Ｓの感情時空間系列情報であるとし、「高類似度の系列情報」がユーザー９００Ｘ、ユーザー９００Ｙ、ユーザー９００Ｚそれぞれの感情時空間系列情報であるとすると、対応箇所は少なくともｔ＝－２～０の範囲を含み、ｔ＝＋１、＋２の範囲はその後段に当たる。すなわち、推薦情報生成部１４２は、ユーザー９００Ｘ、ユーザー９００Ｙ、ユーザー９００Ｚそれぞれの感情時空間系列情報のうち、後段に当たるｔ＝＋１、＋２の少なくともいずれかの感情時空間系列情報に基づいて推薦情報を生成すればよい。
In the examples shown in FIGS. 7 and 9, it is assumed that the "target user's series information" is the emotion spatio-temporal series information of the user 900S, and the "high similarity series information" is the user 900X, the user 900Y, and the user 900Z. Assuming that it is emotional spatio-temporal series information, the corresponding part includes at least the range of t=-2 to 0, and the range of t=+1, +2 corresponds to the subsequent stage. That is, the recommendation
たとえば、対象ユーザーの系列情報および高類似度の系列情報それぞれが位置情報を含む場合には、推薦情報生成部１４２は、高類似度の系列情報のうち後段の系列情報に含まれる位置情報に基づいて推薦情報を生成すればよい。図７に示した例において推薦情報生成部１４２は、ユーザー９００Ｘ、ユーザー９００Ｙ、ユーザー９００Ｚそれぞれの感情時空間系列情報のうち、後段に当たるｔ＝＋１、＋２の少なくともいずれかの感情時空間系列情報に含まれる位置情報（エリア）に基づいて推薦情報を生成すればよい。
For example, when each of the series information of the target user and the high-similarity series information includes location information, the recommended
また、対象ユーザーの系列情報および高類似度の系列情報それぞれが感情情報を含む場合には、推薦情報生成部１４２は、高類似度の系列情報のうち後段の系列情報に含まれる感情情報に基づいて推薦情報を生成すればよい。図８に示した例において推薦情報生成部１４２は、ユーザー９００Ｘ、ユーザー９００Ｙ、ユーザー９００Ｚそれぞれの感情時空間系列情報のうち、後段に当たるｔ＝＋１、＋２の少なくともいずれかの感情時空間系列情報に含まれる感情情報に基づいて推薦情報を生成すればよい。
Further, when each of the target user's series information and the high-similarity series information includes emotion information, the recommendation
次に、図１０を参照して、本実施形態に係る「端末装置３００」の機能構成の一例を説明する。端末装置３００は、ユーザー９００からの入力に応じて他のユーザー９００へ通信要求処理を行ったり、他のユーザー９００の感情情報を取得して該ユーザー９００へ情報提示したりすることができる。さらに、端末装置３００は、ユーザー９００から後述する行動や生体反応の計測データを取得してもよい。一例として、端末装置３００は汎用的なスマートフォンやタブレット端末であってもよい。また、図１では端末装置３００は１名のユーザー９００に対応して１台存在するように図示されているが、複数のユーザー９００に共用される共有型端末であってもよい。さらに別の一例として、端末装置３００は映像通信機能付の駅自動券売機、現金自動預け払い機ＶＴＭ（Video Teller Machine）、ビジュアルコールセンターシステム等の表示部付の筐体装置であってもよい。
Next, an example of the functional configuration of the "
図１０は、本実施形態に係る端末装置３００の機能構成の一例を示すブロック図である。図１０を参照すると、端末装置３００は、通信部３１０、記憶部３２０、制御部３３０、入力部３４０、表示部３５０、センサ部３６０及び位置情報取得部３７０を備える。
FIG. 10 is a block diagram showing an example of the functional configuration of the
通信部３１０は、他の装置と通信する。たとえば、通信部３１０は、ＬＡＮ５０に直接的に接続され、感情情報管理サーバ１００と通信する。なお、通信部３１０は、通信インタフェース８１１により実装され得る。
記憶部３２０は、端末装置３００の動作のためのプログラム及びデータを記憶する。
なお、記憶部３２０は、記憶装置８０９により実装され得る。
The
Note that the
制御部３３０は、端末装置３００の様々な機能を提供する。なお、制御部３３０は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７により実装され得る。
The
入力部３４０は、ユーザー９００からの入力を受け付ける。そして、入力部３４０は、入力結果を制御部３３０へ提供する。前記ユーザー９００からの入力とは、たとえば、前述の感情時空間情報を感情情報管理サーバ１００に要求する指示を行うものである。また、前記ユーザー９００からの入力とは、たとえば、前記感情時空間情報を要求する際に、時刻、位置、感情、またはユーザーＩＤの情報による後述のフィルタリング指定を行うものである。なお、入力部３４０は、入力装置８１５により実装され得る。
表示部３５０は、多様な表示画面を表示する。たとえば、表示部３５０は、感情情報管理サーバ１００から受信した感情時空間情報のデータを所定の空間（オフィスや駅構内等）の情報に対応させた様態で情報提示する。また、表示部３５０は、時刻、位置、感情、またはユーザーＩＤの情報による後述のフィルタリング指定を行った感情時空間情報を情報提示してもよい。なお、表示部３５０は、例えば表示装置８２３により実現され得る。
The
センサ部３６０は、ユーザー９００の行動や生理反応を外的に計測してデータを取得する。前記行動や生体反応のデータは、たとえば、カメラにより計測される顔表情や身体姿勢の状態内容を含む画像データ、マイクロフォンにより計測される音声データ、加速度センサにより計測される身体動作の加速度データ、キーボード・マウス・タッチパネル等の入力装置により計測される機器操作データ、各種生体センサにより計測される自律神経系活動（心拍活動、皮膚電気活動、血圧、発汗、呼吸、皮膚・深部体温等）のデータ、中枢神経系活動（脳波、脳血流等）のデータ、視線計測装置により計測される視線運動・瞳孔径・瞬目数等のデータ、唾液または血中の免疫成分のデータ等を含む。これらの計測指標の算出処理は、制御部３３０により端末装置３００内で行われてもよいし、端末装置３００から感情情報管理サーバ１００へ生の測定データを送信し感情情報管理サーバ１００内で行われてもよい。なお、センサ部３６０は、センサ８１３により実装され得る。
The
センサ部３６０のセンサ８１３は、ユーザーへの非接触式でも接触式でもよい。接触式の場合、たとえば端末装置３００は腕時計等の形状をしたウェアラブル端末であっても構わない。あるいは、端末装置３００は、ＨＭＤ（Head Mounted Display）であっても構わない。ＨＭＤのタイプは、ゴーグル型であっても構わないし、グラス型であっても構わない。また、端末装置３００は、カメラ、マイクロフォン、加速度センサ、通信部等を備えたスマートフォンやタブレット端末であっても構わない。
The
位置情報取得部３７０は、外部からの取得信号に基づいて端末装置３００の現在位置を検知する。具体的には、たとえば位置情報取得部３７０は、ＧＰＳ（Global Positioning System）測位部により実現され、ＧＰＳ衛星からの電波を受信して、端末装置３００が存在している位置を検知し、検知した位置情報を制御部３３０に出力する。また、位置情報取得部３７０は、ＧＰＳの他、例えばＷｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。なお、ユーザー９００が端末装置３００を感情時空間情報の入手のみに利用し前記計測データの取得には利用しない場合、端末装置３００はセンサ部３６０や位置情報取得部３７０を備えなくても構わない。
The positional
ここで、端末装置３００を用いた、時刻、位置、感情、またはユーザーＩＤの情報によるフィルタリング指定について説明する。前述のように、ユーザー９００は、端末装置３００を用いて、感情情報管理サーバ１００に前記感情時空間情報のデータを要求し、感情情報管理サーバ１００から送信される感情時空間情報のデータを受信して、表示部３５０に情報提示することができる。その際、ユーザー９００が、対象となる空間（オフィスや駅構内等）に関わるすべての感情時空間情報を得たいわけではなく、限られた条件に適合する情報だけを得たい場合、該すべての感情時空間情報を感情情報管理サーバ１００から端末装置３００に受信するのは通信帯域やシステムの演算処理リソースの無駄な使用につながる。そこで、ユーザー９００は、端末装置３００から感情情報管理サーバ１００に前記感情時空間情報のデータを要求する際に、前記限られた条件に適合する情報のデータだけを送信するように感情情報管理サーバ１００に要求することができ、それをフィルタリング指定と呼ぶ。
Here, filtering specification based on time, location, emotion, or user ID information using the
時刻、位置、感情、またはユーザーＩＤの情報によるフィルタリング指定の例として、たとえば、（時間情報によるフィルタリング指定の例）Ａ駅の平日午前７時～９時の間の感情時空間情報による通勤時間帯の状況を強く反映した感情時空間情報、（位置情報によるフィルタリング指定の例）Ｂ駅のＷ線ホームのエリアの感情時空間情報による自身が利用する車線に限定した感情時空間情報、（感情情報によるフィルタリング指定の例）Ｃ駅の怒り感情度が高いユーザーのデータに限定した感情時空間情報、（ユーザーＩＤ情報によるフィルタリング指定の例）Ｄ駅の人物同一性が高い（たとえば人物追跡処理が多くの時間で成功した）ユーザーのデータに限定した感情時空間情報、などが挙げられる。 As an example of specifying filtering based on time, location, emotion, or user ID information, for example, (example of specifying filtering based on time information) Commuting hours based on emotional spatio-temporal information between 7:00 and 9:00 a.m. on weekdays at Station A Emotional spatio-temporal information that strongly reflects the (filtering designation by position information) Emotional spatio-temporal information limited to the lane used by himself based on the emotional spatio-temporal information of the W line platform area of B station (Filtering by emotional information Designation example) Emotion spatio-temporal information limited to data of users with a high degree of anger and emotion at C station (Example of filtering designation by user ID information) Person identity at D station is high (e.g. (succeeded in )) Emotional spatio-temporal information limited to user data.
さらに、前述の感情変化情報生成部１３２が生成する経時的変化の情報によるフィルタリング指定を行っても構わない。たとえば、単位時間あたりの感情強度の差分量（微分値）が所定の値以上であったデータに限定した感情時空間情報や、逆に感情に変化がない状態の継続時間長が所定の長さ以上であったデータを除いた感情時空間情報を得られるようにフィルタリング指定を行ってもよい。これにより、ユーザーは、大きな感情変化を起こす突発的なイベント（たとえば、電車の遅延や事故発生の影響等により混雑率が平常よりも大きくなった電車の到着とユーザーの一斉降車等）の発生を感情時空間情報から推測・判断したり、逆にそのような突発的なイベントの影響をノイズ要因として除いた安定性の高い感情時空間情報を得たりすることができる。
Furthermore, it is also possible to specify filtering based on the information on changes over time generated by the emotion change
感情情報管理サーバ１００は、前記フィルタリング指定の情報を含むデータ要求メッセージを端末装置３００から受信すると、フィルタリング指定がたとえば時刻情報による場合は感情時空間情報管理部１３３が、位置情報による場合は位置情報管理部１３６が、感情情報による場合は感情情報管理部１３７が、ユーザーＩＤ情報による場合は人物同一性情報管理部１３８が、記憶部１２０の感情時空間情報ＤＢ１２１等からフィルタリング指定の条件に適合した感情時空間情報の部分的なデータを抽出し、該端末装置３００へ送信する。また、フィルタリング指定が経時的変化（感情情報の経時的変化、または、感情情報及び位置情報の経時的変化）の情報による場合は、感情変化情報生成部１３２がフィルタリング指定の条件に適合した感情時空間情報の部分的なデータを抽出しても構わない。
When the emotion
前記フィルタリング指定より、ユーザー９００は、前記感情時空間情報のデータを、所望の情報の含有率が多く不要な情報が削減されたより少ない通信データ量で、端末装置３００に受信できるようになる。
By specifying the filtering, the user 900 can receive the data of the emotional spatio-temporal information in the
特に、時間情報によるフィルタリング指定は本情報通信システムの実運用を考慮しても重要である。多くの場合、建築物は時間経過に伴い部分的な改修工事が各所で発生する。駅でいえば、ホームや通路の位置が改修工事によって変わったり、構内店舗が入れ替わったりする。そのような場合、同じ位置であっても改修工事以前とはその場の環境条件が変わったり、場合によってはその位置自体が駅の構外に変わったりしてしまう。この場合、感情情報の質も変わってしまう可能性が高いため、ユーザーはたとえば改修工事以前と以後とで感情時空間情報を分けて得たいであろう。本情報通信システムは、時刻情報のデータを管理する仕組み（時刻情報管理部１３５や時間情報によるフィルタリング指定機能等）を有することにより、時間とともに必然的に生じる建築物や環境の変化にも対応できる感情時空間情報をユーザーに提供できる。
In particular, specifying filtering based on time information is important even when considering the actual operation of this information communication system. In many cases, partial renovation work occurs in various places in buildings over time. In the case of a station, the positions of platforms and aisles change due to renovation work, and the shops on the premises are replaced. In such a case, even if the location is the same, the environmental conditions of the spot may change from before the repair work, and depending on the situation, the location itself may change outside the station premises. In this case, there is a high possibility that the quality of the emotion information will also change, so the user would like to obtain the emotion spatio-temporal information separately before and after the repair work, for example. This information communication system has a mechanism for managing time information data (time
端末装置３００において、制御部３３０は、感情情報管理サーバ１００から通信部３１０を介して感情時空間情報の全部または一部を取得し、表示部３５０は、感情時空間情報の全部または一部を表示する。例えば、通信部３１０が、フィルタリング指定と情報の取得要求とを含むメッセージを感情情報管理サーバ１００からに送信した場合、制御部３３０は、感情情報管理サーバ１００からフィルタ済の感情時空間情報を取得し、フィルタ済の感情時空間情報を表示する。一例として、制御部３３０は、時刻情報の条件及び位置情報の条件の少なくともいずれか一方に基づいて感情時空間情報から部分的に抽出された情報を取得し、表示部３５０は、部分的に抽出された情報を表示する。
In the
図１１は、端末装置３００の表示部３５０に情報提示された表示画面の一例を説明するための説明図である。図１１には、図１の拠点ｂＢＣ（たとえばサテライトオフィス）に対応する感情時空間情報の提示例が示されている。拠点ｂＢＣの時刻情報と位置情報に対応して感情情報が位置情報に応じて配置表示されており、当拠点の南側方面にネガティブな感情のユーザーが集まっており雰囲気が悪くなっていることが提示情報から伺える。
FIG. 11 is an explanatory diagram for explaining an example of a display screen on which information is presented on the
図１２は、端末装置３００の表示部３５０に情報提示された表示画面の別の一例を説明するための説明図である。図１２には、ある駅の構内空間の一部に対応する、フィルタリング指定のない感情時空間情報の提示例が示されている。図の中央上部に通路Ａ、中央下部に通路Ｂの空間射影図が示され、当該通路を通過したユーザーの感情情報が位置情報に応じて配置表示されている。通路Ａの方が通路Ｂよりもユーザー数（感情情報のデータ数）がやや多そうなことはわかるが、全体として感情情報の数が多すぎ、雰囲気の差はよくわからない。
FIG. 12 is an explanatory diagram for explaining another example of the display screen on which information is presented on the
なお、前記空間射影図を生成するために必要な建築物（たとえば駅）の空間構造データ（たとえば該建築物設定の際につくられた3D-CADデータ）は、感情情報管理サーバ１００の記憶部１２０に予め記憶されており、該空間構造データの一部が、感情情報管理サーバ１００から端末装置３００に送信されても構わない。また、該空間構造データのワールド座標と、端末装置３００から収集した該端末装置の位置のワールド座標の、互いの原点や軸方向が異なっていた場合、感情情報管理サーバ１００は複数の位置情報のワールド座標の原点や軸方向を合わせる位置情報データの変換処理を行ってもよい。
Spatial structure data (eg, 3D-CAD data created when setting up the building) of a building (eg, a station) necessary for generating the spatial projection diagram is stored in the storage unit of the emotion
ただし、本発明の実施形態の実施にあたって、前記空間構造データが予め用意されていることは必須ではない。前記建築物を利用したユーザー９００群の過去の位置情報データを用いて、該建築物の空間構造データを感情情報管理サーバ１００が生成してもよい。該構建築物の構造物（壁や柱等）内に人間は存在できず、通常は該構造物を避けて移動するため、該構造物の内部空間にユーザー９００が位置するということはあり得ない。すると、これまで前記建築物を利用してきた過去の多数のユーザー９００群の位置情報を合わせると、ユーザー９００の位置情報が存在しない空間領域には該建築物の構造物が存在する可能性が高い（逆に、ユーザー９００の位置情報が存在した空間領域は、該構造物が存在しない空間である可能性が高い）。このように、前記ユーザー９００群の位置情報が多数あれば、その存在の有無のデータを用いて該建築物の構造（どこに該構造物が存在するかの空間分布）を当情報管理システム内で新たに生成することができる。
However, in carrying out the embodiment of the present invention, it is not essential that the spatial structure data be prepared in advance. The emotion
また、前述した感情時空間情報ＤＢ１２１には、駅の改修箇所や時期などの情報を含む「環境変化情報」が併せて記憶されていてもよい。前記環境変化情報は、図１３のように、端末装置３００の表示部３５０に情報提示されてもよい。
In addition, "environmental change information" including information such as the repair location and time of the station may also be stored in the emotion spatio-temporal information DB 121 described above. The environmental change information may be presented on the
図１４は、端末装置３００の表示部３５０に情報提示された表示画面のさらに別の一例を説明するための説明図である。図１４には、図１２と同じ駅構内空間に対応する、第１の時刻情報によるフィルタリング指定がなされた感情時空間情報の提示例が示されている。ここでは、第１の時刻情報によるフィルタリング指定によって、通勤時間帯を想定した平日午前７時～９時の間の感情時空間情報の例が示されている。通路Ａと通路Ｂではユーザー数に大きな差はないが、この時間帯は全体的にネガティブな感情のユーザーが多いことが伺える。
FIG. 14 is an explanatory diagram for explaining still another example of the display screen on which information is presented on the
図１５は、端末装置３００の表示部３５０に情報提示された表示画面のさらに別の一例を説明するための説明図である。図１５には、図１２と同じ駅構内空間に対応する、第２の時刻情報によるフィルタリング指定がなされた感情時空間情報の提示例が示されている。
FIG. 15 is an explanatory diagram for explaining still another example of the display screen on which information is presented on the
ここでは、第２の時刻情報によるフィルタリング指定によって、平日昼過ぎの１４時～１５時の間の感情時空間情報の例が示されている。通路Ｂよりも通路Ａの方がユーザー数が多く、ポジティブな感情のユーザーが多いことが見てとれる。もしかしたら、この時間帯には通路Ａの方にのみ何か特別なイベントや展示が開かれているのかもしれない。ユーザーは本提示情報を見て、平日昼過ぎに当駅を利用するのであれば通路Ａの方を利用した方が良い雰囲気のなか移動ができるかもしれない、と判断を行うことができる。以上の図１２から図１５の例示により、本発明の実施形態に係るフィルタリング指定機能を利用することによって、遠隔地の全体的な感情分布状況や雰囲気をより詳細に把握できる可能性を示した。 Here, an example of emotion spatio-temporal information from 14:00 to 15:00 in the afternoon on weekdays is shown by specifying filtering based on the second time information. It can be seen that there are more users in passage A than in passage B, and there are many users with positive emotions. Perhaps there is some kind of special event or exhibition being held only in Passage A during this time. The user can look at this presented information and judge that if he uses this station in the early afternoon on weekdays, he may be able to move in a better atmosphere if he uses passage A. The above examples of FIGS. 12 to 15 show the possibility of grasping the overall emotional distribution and atmosphere of a remote location in more detail by using the filtering designation function according to the embodiment of the present invention.
図１６は、端末装置３００の表示部３５０に情報提示された表示画面のさらに別の一例を説明するための説明図である。図１６には、端末装置３００が感情情報管理サーバ１００の推薦情報生成部１４２から受信した推薦情報（データ）の提示例が示されている。図の例では、ショッピングモール（やエキナカ）のマップ（平面図）が示されており、本システムから推薦情報が提供されるユーザー９００の現在の位置情報と感情情報が示されている。
FIG. 16 is an explanatory diagram for explaining still another example of the display screen on which information is presented on the
たとえば、ユーザー９００の感情時空間系列情報と比較して、行動変化パターン（位置情報の変化パターン）の類似度が高く、かつ、感情のポジティブ度が高くなるという条件が満たされる感情時空間系列情報として、ユーザー９００Ｘ、ユーザー９００Ｙ、ユーザー９００Ｚそれぞれの感情時空間系列情報が選択されたとする。このとき、上記したように、ユーザー９００Ｘ、ユーザー９００Ｙ、ユーザー９００Ｚそれぞれの感情時空間系列情報のうち、後段に当たるｔ＝＋１、＋２の少なくともいずれかの感情時空間系列情報に基づいて推薦情報が生成されればよい。 For example, the emotion spatio-temporal series information that satisfies the conditions that the behavior change pattern (location information change pattern) has a higher similarity and the emotion has a higher degree of positivity than the user 900's emotion spatio-temporal series information. , the emotion spatio-temporal series information of each of user 900X, user 900Y, and user 900Z is selected. At this time, as described above, among the emotion spatio-temporal series information of each of the users 900X, 900Y, and 900Z, recommendation information is generated based on at least one of the emotion spatio-temporal series information of t=+1 or +2 corresponding to the latter stage. I wish I could.
図１６を参照すると、ユーザー９００Ｘのｔ＝＋１における位置情報および感情情報が表示されている（推薦エリア１＝飲食店）。また、図１６には、ユーザー９００Ｙのｔ＝＋１における位置情報および感情情報が表示され、ユーザー９００Ｙのｔ＝＋２における位置情報および感情情報が表示されている（推薦エリア２＝洋服店）。ユーザー９００Ｙは、ｔ＝＋１からｔ＝＋２に掛けて同じエリア内を移動するとともに、感情のポジティブ度が高くなっている。さらに、図１６には、ユーザー９００Ｚのｔ＝＋１における位置情報および感情情報が表示され（推薦エリア３＝書店）、ユーザー９００Ｚのｔ＝＋２における位置情報および感情情報が表示されている（エリア＝ゲームセンター）。
Referring to FIG. 16, position information and emotion information of user 900X at t=+1 are displayed (recommended
端末装置３００は、前記検索結果の感情時空間系列情報や推薦情報を感情情報管理サーバ１００から受信し、３つ検索結果の位置（エリア）や移動後に変化されると予測される感情情報を示す情報を、前記ショッピングモールのマップ上に図１６のように重畳表示させても構わない。
The
続いて、図１７及び図１８を参照して、本実施形態に係る情報処理動作の例を説明する。図１７及び図１８は、本実施形態に係る情報通信システムの動作シーケンスの一例を示す説明図である。図１７は、システムのユーザー９００からの計測データの収集と感情時空間情報の生成処理を説明し、図１８は、システムのユーザー９００への感情時空間情報の提示処理を説明している。 Next, an example of an information processing operation according to this embodiment will be described with reference to FIGS. 17 and 18. FIG. 17 and 18 are explanatory diagrams showing an example of an operation sequence of the information communication system according to this embodiment. FIG. 17 explains the process of collecting measurement data from the user 900 of the system and generating spatio-temporal emotion information, and FIG. 18 explains the process of presenting the spatio-temporal emotion information to the user 900 of the system.
図１７に示したように、ステップＳ１１０１で、感情情報管理サーバ１００は、実世界やユーザー９００の行動や生理反応等の計測データの収集処理を開始する。
As shown in FIG. 17, in step S1101, the emotion
ステップＳ１１０３で、感情情報管理サーバ１００は構内カメラ２００へ、ステップＳ１１０５で、感情情報管理サーバ１００は端末装置３００へ、データ要求メッセージを送信する。なお、データ要求メッセージの送信タイミングは限定されない。
The emotion
たとえば、感情情報管理サーバ１００は、端末装置３００が駅構内に入ったことが検知された場合、端末装置３００へ、データ要求メッセージを送信してもよい。たとえば、端末装置３００が駅構内に入ったことは、ユーザーが駅の改札口を通るときや、駅の店舗での買い物をするときに 該ユーザーの端末装置３００に含まれるＩＣチップを利用する場合には、該ＩＣチップが読み取られたことによって検知されてもよいし、駅に設置されている通信基地局に端末装置３００が無線接続されたことによって検知されてもよい。さらに、前記買い物や改札口の通過は、前記ＩＣチップの使用に限定されず、端末装置３００で駅構内に存在するバーコードや二次元コードを読み取ることにより実施されてもよい。なお、感情情報管理サーバ１００は、端末装置３００が構内に入ったことが検知される前から、端末装置３００へ、データ要求メッセージを送信してもよい。
For example, emotion
また、たとえば、感情情報管理サーバ１００は、構内カメラ２００からのデータに基づいて人（または人の感情）が検知された場合、構内カメラ２００へ、データ要求メッセージを送信してもよい。感情情報管理サーバ１００は、構内カメラ２００からのデータに基づいて人（または人の感情）が検知されなくなった場合、構内カメラ２００へ、データ要求メッセージの送信を停止してもよい。
Further, for example, emotion
ステップＳ１１０７で、構内カメラ２００は、ステップＳ１１０９で、端末装置３００は、前記ユーザー９００の行動や生理反応等の計測データの取得を行う。
In step S1107, the
ステップＳ１１１１で、構内カメラ２００は、ステップＳ１１１３で、端末装置３００は、感情情報管理サーバ１００へ前記ユーザー９００の行動や生理反応等の計測データを送信する。
In step S1111, the
ステップＳ１１１５で、感情情報管理サーバ１００は、構内カメラ２００や端末装置３００から受信したユーザー９００の行動や生理反応等の計測データを受信し、感情時空間情報管理部１３３の処理により該計測データから感情時空間情報のデータを生成する。
In step S1115, the emotion
また、ステップＳ１１１７で、ユーザー９００は端末装置３００を使用して、ある実空間に対応する感情時空間情報を要求する入力を行う。
In step S1117, user 900 uses
ステップＳ１１１９で、端末装置３００は、感情時空間情報のデータ要求メッセージを生成し、感情情報管理サーバ１００へ送信する。前記データ要求メッセージには、前記時刻、位置、感情、またはユーザーＩＤの情報によるフィルタリング指定に係る情報のデータが含まれていてもよい。
In step S<b>1119 ,
ステップＳ１１２１で、感情情報管理サーバ１００は、端末装置３００から受信した感情時空間情報のデータ要求メッセージを受信し、もし前記フィルタリング指定に係る情報のデータが含まれていた場合は、該フィルタリング指定の条件に適合した感情時空間情報の部分的なデータを抽出する処理を行う。
In step S1121, the emotion
ステップＳ１１２３で、感情情報管理サーバ１００は、端末装置３００へ感情時空間情報のデータを送信する。
In step S<b>1123 , emotion
ステップＳ１１２５で、端末装置３００は、感情情報管理サーバ１００から感情時空間情報のデータを受信し、表示部３５０からユーザー９００へ情報提示する。
In step S 1125 ,
なお、ステップＳ１１１９からＳ１１２５で示したような、感情情報管理サーバ１００から端末装置３００への感情時空間情報のデータの送信は必ずしもユーザー９００の操作入力を契機として発生する必要はなく、感情情報管理サーバ１００と通信可能な状態にある端末装置３００へ感情情報管理サーバ１００からプッシュ型で感情時空間情報のデータを配信してもよい。
The transmission of the emotion spatio-temporal information data from the emotion
（２．第２の実施形態）
次に、本発明の第２の実施形態に係る情報通信システムについて説明する。
(2. Second embodiment)
Next, an information communication system according to a second embodiment of the present invention will be described.
本発明の第２の実施形態では、感情情報管理サーバ１００が、制御部１３０に確度情報生成部１３９および関連情報生成部１４３をさらに含む（図１９）。確度情報生成部１３９は、感情時空間情報管理部１３３が生成する感情時空間情報の確度情報を生成する。確度情報とは、情報の確からしさに対応する情報であり、たとえば情報のデータ数と関連する。より具体的に、確度情報生成部１３９は、単位空間あたりの感情時空間情報のデータ数に基づいて、該単位空間における感情情報の代表値の確度情報を生成してもよい。
In the second embodiment of the present invention, emotion
感情時空間情報が端末装置３００の表示部３５０上で情報提示される際、表示スペースの関係から、感情時空間情報は必ずしも個々の単位ですべて表示されなくてもよく、互いに近い位置情報である（すなわち、単位空間に存在する）複数の感情情報の代表値（平均値、中央値、最頻値等）が表示されても良い。その際に、確度情報生成部１３９は、前記代表値の基になった感情時空間情報のデータ数を確度情報として算出し、端末装置３００において、制御部３３０は、前記代表値と前記確度情報とを対応づけ、表示部３５０は、対応づけられた前記代表値と前記確度情報とを情報提示してもよい。
When the emotional spatio-temporal information is presented on the
図２０は、端末装置３００の表示部３５０に情報提示された表示画面の一例を説明するための説明図である。図２０には、ある駅の構内空間の一部に対応する、代表値を用いない個々の感情時空間情報の提示例が示されている。
FIG. 20 is an explanatory diagram for explaining an example of a display screen on which information is presented on the
通路Ａの感情情報のデータ数は５、通路Ｂの感情情報のデータ数は１である。一方、図２１は、端末装置３００の表示部３５０に情報提示された表示画面の別の一例を説明するための説明図である。図２１には、図２０と同じ駅構内空間に対応する、代表値を用いた個々の感情時空間情報の提示例が示されている。
The number of emotional information data in path A is five, and the number of emotional information data in path B is one. On the other hand, FIG. 21 is an explanatory diagram for explaining another example of the display screen on which information is presented on the
通路Ａに対応して提示されている感情時空間情報の数は代表値の１つにまとめられ、その近傍に感情時空間情報のデータ数である「５」が提示されている。一方、通路Ｂに対応して提示されている感情時空間情報にはその近傍にデータ数の「１」が提示されている（１つの感情時空間情報がそのまま代表値になっている）。 The number of emotional spatio-temporal information presented corresponding to path A is grouped into one representative value, and "5", which is the number of data of emotional spatio-temporal information, is presented near it. On the other hand, in the emotional spatio-temporal information presented corresponding to the path B, the number of data "1" is presented near it (one emotional spatio-temporal information is the representative value as it is).
通路Ａと通路Ｂの感情時空間情報の代表値は同じポジティブ感情と強度を示す表示を行っているが、通路Ａの感情時空間情報の代表値の方が多くのデータ数に基づき算出されていることから、確からしさは高いといえる（データ数が多くなるほど確からしさが上がる）。一方で、通路Ｂの感情時空間情報の代表値は１つであるため、該感情時空間情報に対応する１人のユーザーが偶然にその感情を示しただけかもしれず、感情喚起の個人差も考慮すると、通路Ａの感情時空間情報の代表値と比較しても確からしさは低い。 The representative values of the spatio-temporal emotion information for path A and path B are displayed to indicate the same positive emotion and intensity, but the representative value for the spatio-temporal emotion information for path A is calculated based on a larger number of data. Therefore, it can be said that the probability is high (the higher the number of data, the higher the probability). On the other hand, since there is only one representative value of the spatio-temporal emotion information in passage B, it is possible that one user corresponding to the spatio-temporal emotion information simply showed that emotion by chance. Considering this, the probability is low even when compared with the representative value of the emotion spatio-temporal information of the passage A.
図２１の場合、通路Ａと通路Ｂの感情時空間情報の代表値と確度情報を端末装置３００から提示されたユーザーは、通路Ａを選んで行った方が、より確実に感情時空間情報と同様のポジティブ感情の雰囲気を感じられる可能性が高い。なお、図２１では、感情時空間情報を通路単位でまとめる例が示されている。しかし、感情時空間情報をまとめる単位は、通路単位に限定されない。たとえば、感情時空間情報をまとめる単位は、他のエリア単位であってもよい。
In the case of FIG. 21, the user presented with the representative value and the accuracy information of the emotional spatio-temporal information of the path A and the path B from the
このように、確度情報生成部１３９が生成する確度情報を得られることで、ユーザー９００は、感情時空間情報の代表値を表示する情報提示モードであっても、遠隔地の全体的な感情分布状況や雰囲気をより高い確からしさで知ることができる。なお、ここでは確度情報の指標例としてデータ数を挙げたが、それに限定されず、前記複数の感情時空間情報のデータ特性をあらわす基本統計量（たとえば範囲（たとえば最大値と最小値との差分）、標準偏差、尖度、歪度等）を確度情報の別の指標としてさらに算出し、情報提示してもよい。さらに、感情情報管理サーバ１００は、前述のフィルタリング指定処理を前記確度情報により行っても構わない。
By obtaining the accuracy information generated by the accuracy
本発明の実施形態においては、端末装置３００の表示部３５０に情報提示される前記空間射影図の表示範囲を変更する拡大・縮小表示処理を、端末装置３００が行ってもよい。さらに、前記拡大・縮小表示処理に応じて、前記感情時空間情報の代表値や確度情報の基とする前記個々の感情時空間情報の選択対象を変更してもよい。前記縮小表示処理の縮小度を大きくしていくと、表示部３５０に情報提示される前記ユーザーの感情情報の数も増えていき、端末装置３００の表示部３５０のハードウェアの表示解像度（表示画素の素子数）は有限であるので、該ユーザーの感情情報の表示画素数や表示サイズも小さくなっていき、前記端末装置３００のユーザーから表示される感情情報が視認しにくくなる。
In the embodiment of the present invention, the
そこで、本発明の実施形態に係るシステム（端末装置３００や感情情報管理サーバ１００）は、前記縮小表示処理の縮小度の大きさに応じて、前記代表値を算出する際に基にする前記個々の感情時空間情報が存在する対象空間範囲を変更してもよい。たとえば、前記空間射影図を解像度２分の１の表示サイズに縮小表示処理した場合には、前記代表値の基にする前記感情時空間情報の対象空間範囲も２倍の広さとしてもよい。すなわち、２倍の広さの領域内に存在する前記感情時空間情報の代表値や確度情報を求め、表示部３５０に情報提示させてもよい。
Therefore, the system (the
また、複数の感情情報の代表値（平均値、中央値、最頻値等）は、推薦情報が生成される際にも利用され得る。たとえば、上記した高類似度の系列情報が複数選択される場合も想定される。このとき、複数の高類似度の系列情報のうち対象ユーザーの系列情報との対応箇所よりも後段の系列情報に含まれる対応する位置情報同士が同じエリアに該当する場合も想定される。かかる場合には、推薦情報生成部１４２は、当該後段の系列情報に含まれる対応する感情情報の代表値に基づいて、推薦情報を生成してもよい。
Also, representative values (average value, median value, mode value, etc.) of a plurality of pieces of emotion information can be used when recommendation information is generated. For example, it is conceivable that a plurality of pieces of series information with high similarity as described above are selected. At this time, it is conceivable that the corresponding location information contained in the series information in the latter stage of the series information corresponding to the target user's series information among the plurality of pieces of series information with high similarity may correspond to the same area. In such a case, the recommendation
図２２は、端末装置３００の表示部３５０に情報提示された表示画面のさらに別の一例を説明するための説明図である。図２２を参照すると、図１６に示した例と同様に、推薦情報（位置情報および感情情報）が提示されている。さらに、ここでは５つの高類似度の系列情報に含まれるｔ＝＋１における位置情報同士が「推薦エリア１」に該当し、そのうちの３つの系列情報に含まれるｔ＝＋１における感情のポジティブ度が高くなり、残りの２つの系列情報に含まれるｔ＝＋１における感情のポジティブ度が低くなった場合を想定する。
FIG. 22 is an explanatory diagram for explaining still another example of the display screen on which information is presented on the
このとき、たとえば、推薦情報生成部１４２は、「推薦エリア１」のｔ＝＋１における感情情報の代表値（たとえば、最頻値＝ポジティブ度：高）を推薦情報として生成してもよく、図２２の「推薦エリア１」に示されるように、当該代表値（ポジティブ度：高）に対応する人物アイコンが提示されてもよい。また、関連情報生成部１４３は、当該代表値の推定精度（６０％）を関連情報として生成してもよく、図２２の「推薦エリア１」に示されるように、当該代表値の推定精度（６０％）が提示されてもよい。
At this time, for example, the recommendation
なお、推定精度の代わりに、または、推定精度とともに、他の情報が関連情報生成部１４３によって生成されて端末装置３００によって提示されてもよい。たとえば、関連情報生成部１４３によって代表値の尤度が生成され、端末装置３００によって提示されてもよい。あるいは、関連情報生成部１４３によって代表値の基になった高類似度の系列情報のデータ数（ここでは５つ）が確度情報として生成され、端末装置３００によって提示されてもよい。あるいは、関連情報生成部１４３によって対象ユーザーの系列情報と高類似度の系列情報との類似度または類似度に関連する情報（類似度の高いほうから何番目に該当するかを示す順位など）が生成され、端末装置３００によって提示されてもよい。
Note that other information may be generated by the relevant
図２２を参照すると、「推薦エリア２」および「推薦エリア３」それぞれにおける感情に対応する人物アイコンおよび当該感情の推定精度も提示されている。「推薦エリア２」では、ｔ＝＋１における感情（ポジティブ度：高）が推定精度（９０％）にて推定され、ｔ＝＋２における感情（ポジティブ度：超高）が推定精度（８０％）にて推定されている。一方、「推薦エリア３」では、ｔ＝＋１において感情（ポジティブ度：高）が推定精度（４０％）にて推定されている。
Referring to FIG. 22, person icons corresponding to emotions in “recommended
（３．第３の実施形態）
次に、本発明の第３の実施形態に係る情報通信システムについて説明する。
(3. Third Embodiment)
Next, an information communication system according to a third embodiment of the present invention will be described.
本発明の第３の実施形態では、感情情報管理サーバ１００が、制御部１３０にエリア分割部１４４をさらに含む（図２３）。エリア分割部１４４は前記感情時空間系列情報における位置情報の分解能を規定するエリアの分割処理を行う。
In the third embodiment of the present invention, emotion
前述の位置情報について、その分解能については説明しなかった。前記分解能は低すぎると本システムの機能の有効性を損なう恐れがある（たとえば、複数種類の店舗がひとつのエリアとしてまとめて扱われてしまう等）が、一方で、分解能を高くしすぎる（たとえば１ｍｍ単位等）と、前述の類似度の算出演算処理量が大きくなったり、感情情報管理サーバ１００に記憶される感情時空間系列情報のデータ量が大きくなりすぎたりしてしまう恐れがある。その解決策として、本第３の実施形態では、前記位置情報の分解能やエリア毎の境界設定を好適に設定することができるエリア分割部１４４を、感情情報管理サーバ１００が含む。
The resolution of the aforementioned position information has not been explained. If the resolution is too low, the effectiveness of the functions of this system may be impaired (for example, multiple types of shops are treated as one area), but on the other hand, if the resolution is too high (for example, 1 mm unit, etc.), there is a risk that the above-mentioned similarity calculation calculation processing amount will become large, or the data amount of the emotion spatio-temporal series information stored in the emotion
前記エリア毎の境界設定の方法として、１つ目の方法は、手動設定である。本システムの管理者等により、予め境界設定が定められたり、ショッピングモールの店舗毎にエリアの境界が設定され、エリア分割部１４４は該設定情報を管理する。
As a method of setting boundaries for each area, the first method is manual setting. An administrator or the like of this system predetermines boundary settings, or sets an area boundary for each store in the shopping mall, and the
２つ目の方法は、ユーザーの「滞留時間」のデータを利用することである。ここで、計測対象のユーザーは特定のユーザーであってもよいが、ＩＤを持つすべてのユーザーであってよい。また、「滞留時間」は、その位置に存在した時間の個人ごとの合計時間を計測対象のユーザーすべてについて平均した量であってよい。図６の例でいえば、店舗Ａ～Ｆと比較して、移動用の通路へのユーザーの滞留時間は平均して短くなると考えられる。また、店舗の種類によっても、たとえば立ち食い蕎麦店と高級フレンチ料理店では、ユーザーのその場所への滞留時間に平均的に大きな差が生じるであろう。そのように滞留時間の差が大きい位置群を境界線に設定すると、自動で好適なエリア境界設定の情報を生成し得る。エリア分割部１４４は、前述の位置情報管理部１３６や時刻情報管理部１３５から情報を収集し、ユーザー９００の滞留時間の情報を求めて、エリア境界設定の情報を生成する。
The second method is to use the user's "dwell time" data. Here, the user to be measured may be a specific user, or may be all users having an ID. In addition, the "residence time" may be an amount obtained by averaging the total time for each individual that existed at that location for all the users to be measured. In the example of FIG. 6, compared to stores A to F, it is conceivable that the user's residence time in the aisle for movement will be shorter on average. Also, depending on the type of store, for example, between a stand-up soba restaurant and a high-end French restaurant, there will be a large difference in the average amount of time users spend at that location. By setting a group of positions with such a large difference in residence time as a boundary, it is possible to automatically generate suitable area boundary setting information. The
図２４は、エリア分割の方法について具体的に説明するための図である。ここでは、図２４に示すように、空間における水平方向の位置をｘｙ座標として表現し、各位置（ｘｙ座標）における計測対象のユーザーの滞留時間の平均をｚ座標として表現する。エリア分割部１４４は、ユーザー群（計測対象のユーザー）の位置（ｘｙ座標）ごとの滞留時間の情報に基づいて、滞留時間が所定の度合いよりも急激に変化する位置群をエリアの境界として設定する。
FIG. 24 is a diagram for specifically explaining the area division method. Here, as shown in FIG. 24, the horizontal position in space is expressed as xy coordinates, and the average dwell time of the user to be measured at each position (xy coordinates) is expressed as z coordinate. The
たとえば、水平方向（ｘｙ平面方向）の変化量ΔＡに対する滞留時間の平均（ｚ軸方向）の変化量Δｚの割合（変化率）が所定の割合よりも大きい位置（たとえば、ΔＡに相当する幅の中点Ａ１）の集合がエリアの境界として設定されてよい。このとき、滞留時間の平均が相対的に高い領域Ｒ１が施設（たとえば、店舗など）が存在する領域になり、滞留時間の平均が相対的に低い領域Ｒ２が通路が存在する領域になることが主に想定される。 For example, a position where the ratio (rate of change) of the change amount Δz of the average (z-axis direction) of the dwell time to the change amount ΔA in the horizontal direction (xy plane direction) is larger than a predetermined ratio (for example, the width corresponding to ΔA) A set of midpoints A1) may be set as the boundary of the area. At this time, a region R1 with a relatively high average dwell time may be a region where facilities (for example, stores) exist, and a region R2 with a relatively low average dwell time may be a region where aisles exist. mainly assumed.
３つ目の方法は、ユーザーの「感情情報の絶対量や変化量」のデータを利用することである。ショッピングモールの例でいえば、玩具店や飲食店等にいる場合と比較し、通路やトイレ等にいる時には平均的にユーザーの感情情報の変化が乏しい（たとえば中性感情付近で停滞する）可能性が高い。また、店舗の種類毎にも対応する感情情報の量に違いが生じるであろう。そのように感情情報の絶対量や変化量の差が大きい位置群を境界線に設定すると、自動で好適なエリア境界設定の情報を生成し得る。エリア分割部１４４は、前述の位置情報管理部１３６や時刻情報管理部１３５に加えて感情推定部１３１や感情変化情報生成部１３２から情報を収集し、ユーザー９００の絶対量や変化量を求めて、エリア境界設定の情報を生成する。
The third method is to use the data of the user's "absolute amount and change amount of emotional information". In the example of a shopping mall, compared to when you are in a toy store, restaurant, etc., it is possible that the user's emotional information does not change on average when you are in the aisles or toilets (for example, it stagnate around neutral emotions). highly sexual. Also, the amount of emotional information corresponding to each type of store will be different. By setting a group of positions with such large differences in the absolute amount of emotional information and the amount of change as the boundary line, it is possible to automatically generate suitable area boundary setting information. The
具体的には、図２４に示した説明図におけるｚ軸を「計測対象のユーザーの滞留時間の平均」の代わりに、「計測対象のユーザーの感情情報（たとえば、ポジティブ度の高さ等）の絶対量または変化量の平均」とすれば、図２４を参照しながら説明した方法と同様の方法によって３つ目の方法も実現され得る。すなわち、エリア分割部１４４は、ユーザー群（計測対象のユーザー）の位置（ｘｙ座標）ごとの感情情報の絶対量または変化量の情報に基づいて、感情情報の絶対量または変化量が所定の度合いよりも急激に変化する位置群をエリアの境界として設定すればよい。
Specifically, the z-axis in the explanatory diagram shown in FIG. Absolute amount or average of variation", the third method can also be realized by a method similar to the method described with reference to FIG. That is, the
上記のようにして、本発明の第３の実施形態では、本システムは、感情時空間系列情報におけるエリア分割処理を好適に行う機能をさらに有することができる。 As described above, in the third embodiment of the present invention, the present system can further have a function of suitably performing area division processing on emotion spatio-temporal series information.
なお、本発明の実施形態では、ユーザーの位置情報や感情情報の系列情報を主な処理対象情報として説明したが、本発明の実施形態が扱う情報の種類はそれ限定されない。たとえば、感情のネガティブ度の情報に加えて（たとえば、バイタルセンサによってセンシングされた）ユーザーの身体的状況（傷病等）に係る情報を収集できれば、本システムは「災害時の避難支援」用途にも利用できるであろう（推薦情報により、被災地において、心理的・肉体的に安全な状況のエリアに関する情報をユーザーが本システムから得ることができる）。 In the embodiment of the present invention, the user's location information and series information of emotion information have been described as main information to be processed, but the type of information handled by the embodiment of the present invention is not limited to this. For example, if it is possible to collect information on the user's physical condition (such as injury or illness) in addition to information on the degree of emotional negativity (for example, sensed by a vital sensor), this system can also be used for "evacuation support in times of disaster." (Recommendation information allows the user to obtain information from the system regarding areas with psychological and physical safety conditions in the disaster area).
（４．まとめ）
以上のように、本発明の実施形態によれば、ユーザーが端末装置を用いて、遠隔地（オフィスや駅構内等）の全体的な感情分布状況や雰囲気を、システムからのレコメンド（推薦）情報によって、知ることができる。さらに、時刻情報等によるフィルタリング指定機能を用いて、前記感情分布状況や雰囲気の情報を、所望の情報の含有率が多く不要な情報が削減されたより少ない通信データ量で得ることができる。また、本発明の実施形態は、感情情報と個人情報とを紐づけることなく動作可能であるため、駅など不特定多数のユーザーが利用する公共空間においても、個人情報の安全管理のためのコストをかけずに実施できる。
(4. Summary)
As described above, according to the embodiment of the present invention, a user uses a terminal device to obtain information about the overall emotional distribution and atmosphere of a remote location (office, station premises, etc.) based on recommendation information from the system. can be known by Furthermore, by using a filtering specification function based on time information, etc., it is possible to obtain the information on the emotional distribution situation and atmosphere with a smaller amount of communication data in which the content rate of desired information is high and unnecessary information is reduced. In addition, since the embodiment of the present invention can operate without linking emotional information and personal information, even in a public space such as a station used by an unspecified number of users, the cost for safe management of personal information can be reduced. can be implemented without
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 Although the preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention belongs can conceive of various modifications or modifications within the scope of the technical idea described in the claims. It is understood that these also naturally belong to the technical scope of the present invention.
１００ 感情情報管理サーバ
１１０ 通信部
１２０ 記憶部
１２１ 感情時空間情報ＤＢ
１３０ 制御部
１３１ 感情推定部
１３２ 感情変化情報生成部
１３３ 感情時空間情報管理部
１３５ 時刻情報管理部
１３６ 位置情報管理部
１３７ 感情情報管理部
１３８ 人物同一性情報管理部
１３９ 確度情報生成部
１４０ 感情時空間系列情報管理部
１４１ 系列情報パターン照合部
１４２ 推薦情報生成部
１４３ 関連情報生成部
１４４ エリア分割部
２００ 構内カメラ
２１０ 通信部
２２０ 計測部
２３０ 制御部
３００ 端末装置
３１０ 通信部
３２０ 記憶部
３３０ 制御部
３４０ 入力部
３５０ 表示部
３６０ センサ部
３７０ 位置情報取得部
100 emotion
130
Claims (3)
前記類似度に応じて選択された第２の時系列情報から前記パターン照合によって前記第１の時系列情報との対応箇所が特定されると、前記第２の時系列情報のうち前記対応箇所よりも後の時間の時系列情報に基づいて前記ユーザーに提示される推薦情報を生成する推薦情報生成部と、
を備え、
前記第１の時系列情報および前記第２の時系列情報それぞれは位置情報をさらに含み、
前記推薦情報生成部は、複数の第２の時系列情報が選択された場合、かつ、前記複数の第２の時系列情報のうち前記後の時間の時系列情報に含まれる対応する位置情報同士が同じエリアに該当する場合、前記後の時間の時系列情報に含まれる対応する感情情報の代表値に基づいて、前記推薦情報を生成する、
サーバ装置。 Time-series information pattern matching for obtaining similarity between first time-series information including emotion information generated based on user measurement data and one or more pieces of time-series information including past emotion information by pattern matching Department and
When a corresponding portion with the first time-series information is specified by the pattern matching from the second time-series information selected according to the similarity, from the corresponding portion in the second time-series information a recommendation information generation unit that generates recommendation information to be presented to the user based on time-series information of a later time;
with
Each of the first time-series information and the second time-series information further includes location information,
When a plurality of pieces of second time-series information are selected, the recommendation information generation unit generates corresponding position information included in the time-series information of the later time among the plurality of pieces of second time-series information. corresponds to the same area, the recommended information is generated based on the representative value of the corresponding emotional information included in the time-series information of the later time.
Server device.
請求項１に記載のサーバ装置。 The server device includes a related information generation unit that generates the accuracy information of the representative value as related information to be presented to the user,
The server device according to claim 1 .
前記類似度に応じて選択された第２の時系列情報から前記パターン照合によって前記第１の時系列情報との対応箇所が特定されると、前記第２の時系列情報のうち前記対応箇所よりも後の時間の時系列情報に基づいて前記ユーザーに提示される推薦情報を生成する推薦情報生成部と、
ユーザー群の位置ごとの感情情報の絶対量または変化量の情報に基づいて、前記絶対量または前記変化量の変化の度合いが所定の度合いよりも大きい位置群を前記位置情報に対応するエリアの境界として設定するエリア分割部と、
を備える、サーバ装置。
a time-series information pattern matching unit for obtaining, by pattern matching, a degree of similarity between first time-series information including user location information and one or more pieces of time-series information including past location information;
When a corresponding portion with the first time-series information is specified by the pattern matching from the second time-series information selected according to the similarity, from the corresponding portion in the second time-series information a recommendation information generation unit that generates recommendation information to be presented to the user based on time-series information of a later time;
Based on the information of the absolute amount or the change amount of the emotional information for each position of the user group, a group of positions where the degree of change in the absolute amount or the change amount is larger than a predetermined degree is defined as the boundary of the area corresponding to the position information. an area division part set as
A server device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018181667A JP7266984B2 (en) | 2018-09-27 | 2018-09-27 | Server equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018181667A JP7266984B2 (en) | 2018-09-27 | 2018-09-27 | Server equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020052748A JP2020052748A (en) | 2020-04-02 |
| JP7266984B2 true JP7266984B2 (en) | 2023-05-01 |
Family
ID=69997249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018181667A Active JP7266984B2 (en) | 2018-09-27 | 2018-09-27 | Server equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7266984B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021189471A (en) * | 2020-05-25 | 2021-12-13 | パナソニックＩｐマネジメント株式会社 | Event information evaluation device, biological information extraction system, event information evaluation system, and biological information extraction device |
| JP7359095B2 (en) | 2020-07-27 | 2023-10-11 | トヨタ紡織株式会社 | Mobile space provision system |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002073634A (en) | 2000-09-05 | 2002-03-12 | Alpine Electronics Inc | Device for processing behavioral pattern |
| JP2002140362A (en) | 2000-10-31 | 2002-05-17 | Toshiba Corp | System and method for providing information to moving body |
| JP2009116541A (en) | 2007-11-05 | 2009-05-28 | Ntt Docomo Inc | Positional information analyzer, information distribution system and positional information analyzing method |
| JP2016066389A (en) | 2014-09-22 | 2016-04-28 | ヤマハ株式会社 | Reproduction control device and program |
| JP2016194614A (en) | 2015-03-31 | 2016-11-17 | 株式会社エクシング | Music recommendation system, program, and music recommendation method |
| JP2017041136A (en) | 2015-08-20 | 2017-02-23 | ヤフー株式会社 | Determination device, determination method, determination program, terminal device, and music piece reproduction program |
| WO2018037446A1 (en) | 2016-08-22 | 2018-03-01 | 三菱電機株式会社 | Information presentation device, information presentation system, and information presentation method |
-
2018
- 2018-09-27 JP JP2018181667A patent/JP7266984B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002073634A (en) | 2000-09-05 | 2002-03-12 | Alpine Electronics Inc | Device for processing behavioral pattern |
| JP2002140362A (en) | 2000-10-31 | 2002-05-17 | Toshiba Corp | System and method for providing information to moving body |
| JP2009116541A (en) | 2007-11-05 | 2009-05-28 | Ntt Docomo Inc | Positional information analyzer, information distribution system and positional information analyzing method |
| JP2016066389A (en) | 2014-09-22 | 2016-04-28 | ヤマハ株式会社 | Reproduction control device and program |
| JP2016194614A (en) | 2015-03-31 | 2016-11-17 | 株式会社エクシング | Music recommendation system, program, and music recommendation method |
| JP2017041136A (en) | 2015-08-20 | 2017-02-23 | ヤフー株式会社 | Determination device, determination method, determination program, terminal device, and music piece reproduction program |
| WO2018037446A1 (en) | 2016-08-22 | 2018-03-01 | 三菱電機株式会社 | Information presentation device, information presentation system, and information presentation method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020052748A (en) | 2020-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10209516B2 (en) | Display control method for prioritizing information | |
| JP6898165B2 (en) | People flow analysis method, people flow analyzer and people flow analysis system | |
| JP2021082310A (en) | Systems and methods for augmented reality and virtual reality | |
| US20180032126A1 (en) | Method and system for measuring emotional state | |
| JP7438653B2 (en) | Emotional information management server device, emotional information management method, program and information communication system | |
| US20130245396A1 (en) | Mental state analysis using wearable-camera devices | |
| JP2019532532A (en) | Systems and methods for identifying and / or identifying and quantifying pain, fatigue, mood, and intent of persons with privacy protection | |
| US20140250200A1 (en) | Using biosensors for sharing emotions via a data network service | |
| CN112034977A (en) | Method for MR intelligent glasses content interaction, information input and recommendation technology application | |
| US20210161482A1 (en) | Information processing device, information processing method, and computer program | |
| US10754864B2 (en) | Information processing system and information processing method to specify persons with good affinity toward each other | |
| US20220301002A1 (en) | Information processing system, communication device, control method, and storage medium | |
| JP6930277B2 (en) | Presentation device, presentation method, communication control device, communication control method and communication control system | |
| CN107148636A (en) | Navigation system, client terminal apparatus, control method and storage medium | |
| US20220346683A1 (en) | Information processing system and information processing method | |
| US11687849B2 (en) | Information processing apparatus, information processing method, and program | |
| JP7266984B2 (en) | Server equipment | |
| CN111465949A (en) | Information processing apparatus, information processing method, and program | |
| JP7306152B2 (en) | Emotion estimation device, emotion estimation method, program, information presentation device, information presentation method, and emotion estimation system | |
| JP7479735B2 (en) | Information output device, design support system, information output method, and information output program | |
| KR101766438B1 (en) | A mobile device for detecting abnormal activity and system including the same for supporting management of members in a group | |
| WO2020058942A1 (en) | System and method to integrate emotion data into social network platform and share the emotion data over social network platform | |
| Burns et al. | Design and evaluation of a smartphone based wearable life-logging and social interaction system | |
| Fedotov et al. | Towards estimating emotions and satisfaction level of tourist based on eye gaze and head movement | |
| JP2020024117A (en) | Information management server, information management method, program, information presentation terminal, and information communication system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190327 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190328 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210507 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220324 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220412 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220525 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221012 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221012 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221021 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221025 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20221104 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20221108 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20221213 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230110 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20230314 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20230418 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20230418 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230419 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7266984 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |