JP2014035594A - Gsr値と生体情報に基づく通信者の感情評価システム - Google Patents
Gsr値と生体情報に基づく通信者の感情評価システム Download PDFInfo
- Publication number
- JP2014035594A JP2014035594A JP2012175308A JP2012175308A JP2014035594A JP 2014035594 A JP2014035594 A JP 2014035594A JP 2012175308 A JP2012175308 A JP 2012175308A JP 2012175308 A JP2012175308 A JP 2012175308A JP 2014035594 A JP2014035594 A JP 2014035594A
- Authority
- JP
- Japan
- Prior art keywords
- gsr
- communicator
- emotion
- communication
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 138
- 238000011156 evaluation Methods 0.000 title claims abstract description 60
- 238000004891 communication Methods 0.000 claims abstract description 113
- 230000002996 emotional effect Effects 0.000 claims description 24
- 230000000474 nursing effect Effects 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 description 27
- 230000036760 body temperature Effects 0.000 description 21
- 238000005259 measurement Methods 0.000 description 19
- 238000000034 method Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000003058 natural language processing Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003340 mental effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 239000000700 radioactive tracer Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 231100000430 skin reaction Toxicity 0.000 description 2
- 230000035900 sweating Effects 0.000 description 2
- 230000003442 weekly effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 210000000467 autonomic pathway Anatomy 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035485 pulse pressure Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000035882 stress Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】費用的に負担が少なく、使用場所を選ばず、使用方法が簡単であり、GSR値と生体情報を基づき時々刻々と変化する感情をよりきめ細かく、正確に反映可能な通信者の感情評価システムを実現する。
【解決手段】インターネットの相互通信において、予め登録された送信側の通信者のGSR値と生体情報を計測して、該計測したGSR値と生体情報のデータを通信者端末2から受信側の通信者端末3に送信し、受信側の通信者端末の感情評価手段によって、送信側の通信者のGSR値と生体情報の履歴との関係から類推して、現状の送信側の通信者の感情を判定する。
【選択図】図1
【解決手段】インターネットの相互通信において、予め登録された送信側の通信者のGSR値と生体情報を計測して、該計測したGSR値と生体情報のデータを通信者端末2から受信側の通信者端末3に送信し、受信側の通信者端末の感情評価手段によって、送信側の通信者のGSR値と生体情報の履歴との関係から類推して、現状の送信側の通信者の感情を判定する。
【選択図】図1
Description
本発明は、GSR値と生体情報に基づく通信者の感情評価システムに関し、特に、インターネットを使用した相互間での情報通信システムにおいて、互いの通信者の感情を、GSRセンサと体温、脈拍数等の生体情報とを継続的に測定し、その傾向と個人の示す生体情報数値を定型的に関連付けて判定し、通信者の感情を推論して表示する通信者の感情評価システムに関する。
従来のインターネット通信は、1990年半ば頃から存在するWeb1.0(ブラウズ)では、インターネット上の情報を閲覧することを可能にした。そして、閲覧者が、インターネットのWebサイト上で提供される商品やサービス等を閲覧し、閲覧者が自ら希望し、その商品やサービスの情報を得ることができた。
最近のインターネット通信では、単に、Webサイトへアクセスしたユーザーの閲覧と言う行為を前提としたWebサービスから、通信者自ら情報を発信して通信相手もしくは、Webサイトとの双方通信を通して、意思疎通させるサービスがSNS(Social Networking Service)やBlogといった形で実現しており、このようなサービスをWeb2.0と言われている。
このような最近のインターネット通信では、通信者は、情報の相互通信を行うことが出来、それによってインターネット上での電子商取引も活発化している。
しかしながら、実店舗のような、人と人の気持ち、感情のつながりをこの通信で表現することが出来ないために、無味乾燥なコミュニケーション上のミスマッチを引き起こし、誤解や紛争の原因を招いている。
そこで、近年は、インターネット上で通信者(販売人と顧客)が互いに画像を送受信して、画面上で対面しながらコミュニケーションをするシステムが採用され普及している。
ところで、従来、生体情報の観測は、被験者のベットサイドに設置された心電図等の大がかりな装置によって、物理的身体情報の測定を行っていた。
また、従来、呼吸、脈拍、血圧等複数の生理現象を、電気的または物理的なシグナルとして同時に計測、記録するポリグラフという装置が知られており、この測定によって、被験者の返答が真実かうそかを判定することを目的とする、いわゆる「嘘発見器」として利用されている。
さらに、従来、脈拍センサ及び体動センサにより脈拍数を検出し、脈拍数に基づいて平均脈拍数及び脈拍数の平均脈拍数に対するばらつきである脈拍数ばらつきを求め、平均脈拍数及び脈拍数ばらつきに基づいて生体情報を解析するとともに、脈拍数ばらつきが予め定めた基準脈拍数ばらつきよりも高く、感情評価指数があらかじめ定めた基準感情評価指数よりも高い場合にリラックスしている状態であると判別し、低い場合には、集中している状態であると判別し、手軽に人の感情状態を評価する技術が知られている(特許文献1参照)。
なお、被験者宅内に配設された検知センサや被験者が携帯した検知センサで検知した検知データを、通信手段で解析評価センターに送り、解析評価センターで解析した評価結果を介護機関等に送り、介護等のために活用される技術は知られている(特許文献2参照)。
上記のとおり、インターネット上で通信者(販売人と顧客)が互いに画像を送受信して、画面上で対面しながらコミュニケーションをするシステムが普及しているが、近年、インターネットでは、情報量は、画像を中心に年々増加しており、その上、更に通信者の感情を画像を通して知るために、カメラや映像のフィルム等の画像データで送るのは、データ量が増大し、通信速度に大きな負荷を与えてしまうので、好ましくない。
そこで、本発明者は、通信者の心電図、体温、脈拍、及び血圧等の各種の生体情報を計測し、これら比較的低容量データな計測データから、通信者の感情データを推定して取得し、この感情データを、インターネットで相手側に送信し、表示するという、新規な技術思想を想到し、鋭意、研究開発を行ってきた。
しかし、従来、感情を推定するための機器として知られているポリグラフや、心電図等は、大掛かりな設備、装置となってしまい、費用が高すぎる、多くの人手も必要であり、特別の施設における特別な場所でしかできない、複雑な機器を使用するために使用方法の困難で使用時間がかかりすぎる等、一般の通信者にとっては、ごく日常的、簡単に使用するには、あまりにも制限が多すぎて、現実的ではなく、不可能である。
そこで、本発明者は、GSRに着目し、感情を推定するための機器として使用し、それで得られたデータを感情データとして、相手側に送信するという、画期的な技術思想を想到するに至った。
すでに特許文献1に示すように、GSRによる計測によって、感情評価指数を取得し、あらかじめ定めた基準感情評価指数よりも高い場合にリラックスしている状態であると判別する、という感情評価に関する技術は知られている。
また、特許文献2記載の技術に示すように、コンテクストアウエアネスという非測定者の情報を計測しその位置情報の移動時間、移動回数から非試験者の存在(病気による衰退、生死に関わる安否確認など)で使用されている。しかしながら、このような技術では、感情を感知することで、非試験者に対し、高い対応能力をもったサービスとして提供することはできない。
即ち、インターネット上では、通信者同士は、直に会って販売、介護、ビジネス、その他の交渉等を行うのではないから、参照とすべき相手側の感情データは、相手側の時々刻々と変化する感情がより正確に反映されたデータであることが必要である。要するに、予め単一的に決められた基準感情評価指数だけに基づく、感情データを頼りにすることは、十分とは言えない。
また、さらにその情報は、そのときの情報としてその都度、判定される。しかし、この方法では、被測定者によっては、個々のデータ量にばらつきがあるので、計測値の絶対数値だけでは正しい判断を行うことは難しい。
なお、予め個人認証と性格等をデータとして入手しておき、通信者の音声や指紋から固体の個人認証を行えたとしても、感情は時々刻々と変化するものであり、規格化された一辺倒な対応では、会員上の状態の確からしさを高めることが出来ない。
本発明は、上記従来の色々な問題を解決することを目的とするものであり、一般の通信者にとって、通信データ量が肥大せず、費用的に負担がなく、使用場所を選ばず、使用方法が簡単であり、GSR値と生体情報を基づき時々刻々と変化する感情をよりきめ細かく、正確に反映可能な通信者の感情評価システムを実現することを課題とする。
このような課題を達成することは、インターネットを介して行う電子商取引、遠隔医療、遠隔介護、遠隔地間で行われるコミュニケーション等において、時々刻々と変化する感情をよりきめ細かく、正確に把握し、より密なコミュニケーションを可能とし、サービスの品質を高め、サービス自体を確かなものとするためにきわめて重要なことと考えられる。
本発明は上記課題を解決するために、インターネットに接続された複数の通信者の端末を備え、送信側の通信者のGSR値と生体情報のデータに基づいて、受信側において送信側の通信者の感情を評価するGSR値と生体情報に基づく通信者の感情評価システムであって、送信側の通信者の端末は、予め登録された送信側の通信者について計測されて得られたGSR値と生体情報のデータを受信者側の端末にインターネットを介して送信し、受信者側の通信者の端末は、受信したGSR値と生体情報のデータに基づき、すでに取得している送信側の通信者のGSR値と生体情報の履歴から推論して、現状の送信側の通信者の感情を判定する構成であることを特徴とするGSR値と生体情報に基づく通信者の感情評価システムを提供する。
通信者のGSR値と生体情報のデータは重み付けされ、経歴のデータとともに、オントロジー言語で記述され、その記述されたオントロジーに基づいてルール生成と推論を行い、通信者の感情が判定される構成であることが好ましい。
通信者のGSR値は、手の形をしたGSRセンサに、通信者が通信時に手若しくは指を接触又は指を挿入して皮膚抵抗を測定することで計測される構成であることが好ましい。
判定された感情に係るデータは、受信側通信者又は第三者に、リアルタイムに送信側通信者の感情表現として、色と顔を形どって表示画面で表示される構成であることが好ましい。
通信者は、店舗、介護施設、診療所、事務所若しくは企業、又は店舗、介護施設、診療所、事務所若しくは企業のイーコマースサービスを利用する者であり、インターネット通信を使ったWebサービスに適用できることが好ましい。
通信者の端末は、使用者が携帯するモバイルデバイスであってもよい。
本発明によれば、一般の通信者にとって、費用的に負担が少なく、使用場所を選ばず、使用方法が簡単であり、GSR値と生体情報を基づき時々刻々と変化する感情をよりきめ細かく、正確に反映可能な通信者の感情評価システムを実現することができる。
また、本発明によれば、インターネットを介して行う電子商取引、遠隔医療、遠隔介護、遠隔地間で行われるコミュニケーション等において、時々刻々と変化する感情をよりきめ細かく、正確に把握し、より密なコミュニケーションを可能とし、サービスの品質を高め、サービス自体を確かなものとすることができる。
さらに、本発明は、事前に登録された特定の個人を対象とすることで、今までの測定履歴を参照し、現在の通信者の感情状態をリアルタイムで判定することができ、従来の一時的な生体情報の測定結果から推測するものと比較して高い確率での判定を行えることが可能となる。
本発明に係るGSR値と生体情報に基づく通信者の感情評価システムを実施するための形態を実施例に基づき図面を参照して、以下説明する。
本発明に係るGSR値と生体情報に基づく通信者の感情評価システム(以下、単に「感情評価システム」という。)の実施例を説明する。
図1及び図2に示すように、本発明の感情評価システム1は、複数の通信者端末(利用者端末)2と感情評価手段を備えている。複数の通信者端末2について、それぞれ通信者は、感情評価システム1を利用するための登録が必要である。
本発明の感情評価システム1の適用の態様によって、通信者端末2と感情評価手段の配置の態様がいろいろと考えられる。
即ち、感情評価手段は、図1に示すように、複数の通信者端末2の一つの端末3に配置され、この感情評価手段を備えた通信者端末3が、他の複数の通信者端末2の全てに対して、感情評価サービスを提供するサーバとして機能するような構成としてもよい。
或いは、感情評価手段は、複数の通信者端末2のうち、所望する複数の通信者端末2に配置してもよい。
例えば、図2に示すように、複数の通信者端末2のうち、介護施設に設置された通信者端末6に、介護サービスの補助手段として、感情評価手段を配置し、被介護者側の通信者端末7と相互通信を行うような構成とするとともに、店舗(又は仮想店舗)に設置された通信者端末8に、ネット販売の補助手段として、感情評価手段を配置し、購入者側の通信者端末9と相互通信を行うような構成としてもよい。
なお、感情評価手段を備えた端末側には、感情評価手段に加えて、コールセンター4が設けられ、そこにはオペレータとして介護者、店員等を配置することで、被介護者、購入者等の相手側の通信者と、インターネット、電話等を利用して相手側の感情を考慮しながら対話を可能とし、心の介護、購入者の要望を考慮したきめ細かいサービスを行うことも可能となる。
コールセンターのオペレータのディスプレイには、通信相手の感情を反映した、例えば、ニコニコマークとか困っている顔のアニメに色を加えた絵を表示される。このように、オペレータは、通信相手の感情が、絵と色でわかりやすく表現された表示を見ることで、通信相手の感情を通信時にリアルタイム判断可能となる。
本発明の感情評価システム1では、通信者は、店舗、介護施設、診療所、事務所若しくは企業、又は店舗、介護施設、診療所、事務所若しくは企業のイーコマースサービスを利用する者であり、後記する産業上の利用分野の項において説明するとおり、遠隔地の通信者の感情を判定し、介護、ビジネス、安全管理等のいろいろな目的で適用可能であるが、本実施例では、介護に利用される場合において説明する。
即ち、図3に示すように、複数の被介護者側の通信者端末7に対して、介護施設に設置された通信者端末6に感情評価手段が配置される構成について説明する。
(通信者端末)
通信者端末2は、コンピュータを備えており、コンピュータは、インターネットに接続され、通常のコンピュータでよい。介護施設に設置されるコンピュータについては後記する。
通信者端末2は、コンピュータを備えており、コンピュータは、インターネットに接続され、通常のコンピュータでよい。介護施設に設置されるコンピュータについては後記する。
コンピュータには、通常、ディスプレイ5が接続されるが、ディスプレイ5として、大型スタンドディスプレイが使用されることが好ましい。大型スタンドディスプレイは、コンピュータに接続され、介護施設側の介護者として活動するオペレータ等の全身画像が投影される透過型有機ELフィルムディスプレイであることが好ましい。
被介護者側の通信端者末7には、図3に示すように、計測装置12が接続されている。計測装置12は、被介護者のGSR値を計測するGSRセンサ13と、被介護者の生体情報として体温及び心拍数を計測する体温センサ(体温計)14及び心拍センサ(心拍計)15である。
これらの計測装置12は、被介護者側の通信者端末7のコンピュータに接続されており、計測値をコンピュータに入力して、コンピュータから計測データが介護施設の通信者端末6に送信される。
GSRセンサ13は、被介護者の手等に装着してGSR(galvanic skin response 皮膚電気反射)値を計測可能とする。GSRは、精神的刺激による発汗活動と皮膚の電気抵抗の変化である。
人は、緊張状態となると、自律神経の機能で発汗が多くなり、皮膚抵抗が小さくなり、GSR値が下がるが、このようなGSR値の状態を継続的に取得することで、感情の変化、起伏等が把握できる。
しかし、GSR値は、人や年齢によって様々であるので、均一的な標準値に基づき通信者の感情を推定することは適切ではない。詳細は後記するが、本発明では、通信者それぞれについて、GSR値と、その際の感情状態を取得し、このような計測を積み重ねて、通信者毎にGSR値の標準値を取得し、更新して、この標準値に対して、通信の際に計測したGSR値で感情状態を推論する。
体温センサ14及び心拍センサ15は、被介護者が動いても計測が可能な携帯用の体温計及び携帯用の心拍計を使用することが好ましい。
なお、体温、心拍数についても、GSR値と同様に、それぞれ計測を積み重ねて、通信者毎に標準値を取得し、さらに計測毎に標準値を更新して、このような標準値に対して、通信の際に計測した体温、心拍数で感情状態を推論する。
被介護者側の通信者端末7及び介護施設の通信者端末6は、それぞれ通常のコンピュータが使用される。具体的には、図4に示すようなコンピュータ20を備えている。このコンピュータ20は、CPU21、ローカルメモリ22、ノースブリッジ(N/B)23、サウスブリッジ(S/B)24、バス(BUS)25、入出力部(I/O)26等を備えている。CPU21とローカルメモリ22の間で、データはノースブリッジ23を介して互いにやりとりされる。
CPU21とローカルメモリ22は、サウスブリッジ24及びバス25を介してデータベースとして使用される記憶装置27に接続され、また、さらに入出力部26を介してインターネットに接続されている。ローカルメモリ22には、OS、アプリケーションソフト等が記憶されているとともに、その一部はキャッシュメモリとして使用される。
介護施設の通信者端末6として使用されるコンピュータ20には、感情評価手段が設けられる。この感情評価手段は、コンピュータ20が、GSR値及び生体情報のデータに基づき、通信者の感情を分析して推論し、また評価する機能を行わせる手段である。
具体的には、感情評価手段31は、図5に示すように、感情分析オントロジーエンジン(Emotion Analyze Ontology Engine)32及びそのためのデータベース33を有する。
(感情分析オントロジーエンジン)
感情分析オントロジーエンジン32は、コンピュータ20が、GSR値及び生体情報のデータに基づき、通信者の感情を分析し、評価する機能を行わせる手段であり、具体的には、コンピュータ記憶装置等に記憶(搭載)されるプログラムから成り、このプログラムの機能を発揮させるために、感情評価手段31は、データベース33を有する。
感情分析オントロジーエンジン32は、コンピュータ20が、GSR値及び生体情報のデータに基づき、通信者の感情を分析し、評価する機能を行わせる手段であり、具体的には、コンピュータ記憶装置等に記憶(搭載)されるプログラムから成り、このプログラムの機能を発揮させるために、感情評価手段31は、データベース33を有する。
ここで、「オントロジー」(Ontology)とは、一言で表現すると、「存在論」、「概念体系」、或いは「概念化の明示的仕様」である。より詳しくは、「オントロジー」は、知識を共有するために、物事を体系的に分類したり、物事の間の関係性を定義することであり、要するに、異なる語彙間の関係性を定義し整理することである。
感情評価手段31は、感情分析オントロジーエンジン32とデータのやりとり(受けたり供給したりするやりとり)をするデータベース33として、図5に示すように、オントロジーデータベース(Ontology Store DB)36及びカテゴリーデータベース(Category DB)37を有し、いずれもコンピュータの記憶装置27内に構築されている。オントロジーデータベース36は、オントロジー(概念体系)のデータベースである。
ここで、カテゴリーデータベース37は、被介護者側がどの分野、どのような属性を持った人かを分類したデータベースであり、過去から現在までの蓄積されたデータベースである。例えば、属性として、GSR値が通常時は“低いまたは高い”とか、使用頻度、年齢、性別などの個人のメタ情報までを含んで分類されている。
なお、ここで、使用頻度とは、被介護者が本サービスを使用する回数である。また、メタ情報とは、データを情報として整理、加工する前の生データのことである。これらの生データを加工可能な情報としたものをパーサーデータベース(Parser DB)として格納する。
感情分析オントロジーエンジン32は、主に、GSRデータ抽出手段41と、自然語言語処理手段(Natural Language Processing)42と、推論エンジン(Inference Engine)43とを備えている。
なお、GSRデータ抽出手段41は、実際はGSR値のデータ(以下、「GSRデータ」という。)だけでなく、生体情報(体温及び心拍数)のデータも抽出して、感情判定のデータとして使用する。
即ち、感情分析オントロジーエンジン32は、GSRデータだけでなく、生体情報(体温及び心拍数)のデータも処理し、感情判定のデータとして使用するが、感情分析オントロジーエンジン32の説明では、GSRを中心に説明する。
コンピュータに入力されたGSRデータは、キャッシュ制御部46を介してクローラ48(Crawler:抽出部)に送られる。クローラ48は、GSRデータに関連する情報を、カテゴリーデータベース37、オントロジーデータベース36、及び必要に応じて外部のインターネットを通じて得た分析可能な関連情報から、取得、抽出して、GSRパーサー51に引き渡す。
GSRパーサー51は、上記GSRデータに関連する情報を、パーサーメモリ52にキャッシュし、その後の測定で再利用ことされる場合に備える(再利用可能な情報の列に揃える)。
その後、自然言語処理手段42では、トレーサー(入力のトレースソフト)53が、パーサーデータベース(パーサーメモリ52)に一旦記憶されたGSRデータに関連する情報を呼び出し、タグ生成部56によって、クローラ48で得られたGSRデータに関連する情報の意味から、GSRデータに関連するタグ(Tag)を生成する。
このGSRデータに関連するタグは、パーサー(Purser:構文解析を行う手段)57を介して、オントロジーの推論エンジンの意味解析部(Semantic Analyzer)61に引き渡される。なお、なお、パーサー57は、関連するタグが、どの程度含まれているか、頻度と時間軸に関する情報も抽出できる。
推論エンジン43における意味解析部61は、オントロジーデータベース36とオントロジーのタグとの関連(Attribute)を比較解析して、感情の状態を判断し、その結果を、表示生成部62において、分かり易い色や形状から成るアニメ画像等のデータとして生成し、報告生成部63を介して通信者端末6の表示部(ディスプレイ5)に送られる。
さらに、上記結果は、報告生成部63を介してカテゴリーデータベース37へ格納する。また、上記結果は、そのままキャッシュメモリ47に転送され、新たなGSR入力にキャッシュ制御部46の参照データとして使用される。
なお、新たに入力されるGSRデータは、オントロジーデータベース36に随時送られ、オントロジーデータベース36には、逐次、新しいデータが蓄積され、古いデータの修正が行われる。
ところで、入力されたGSRデータによって感情分析オントロジーエンジン32が解析して得られた値が、当該通信者(被介護者)に固有な所定の標準値より高い場合は、通常のリラックス状態にあり、逆に標準値より低い場合は、何か精神的なストレスを抱えていると判定される。
このように、感情の判定の基準となる所定の標準値は、各通信者によって異なり、各通信者のこれまでのGSRデータとその際の感情との関連の積み重ねによって定められる値であり、これまで累積されたGSRデータの平均値を参照して、実際に感情分析オントロジーエンジン32を動作させる時点において所定の標準値が決められる。
上記の説明においては、前記のとおりGSRを中心に、GSRデータによる感情の判定を説明したが、GSRデータに加えて、体温データ及び心拍数データも、感情分析オントロジーエンジン32に入力され、GSRデータと同様に感情との関連に関するデータが、オントロジーデータベース36に蓄積され、感情判定に供せられる。
実際は、GSR値、体温及び心拍数のデータは、それぞれ通信者(被介護者)の生体情報の計測結果(被介護の体調)等に応じて重み付けされて利用される。
例えば、体温が週平均値より1℃超えているような場合は、GSR、体温及び心拍数の重みを0.8、0.2、0とし、心拍数が通常平均の120%を超えている場合は、体温及び心拍数の重みを0.8、0、0.2とし、体温が週平均値より2℃超えかつ心拍数が通常平均の200%を超えている場合は、体温及び心拍数の重みを0.2、0.4、0.2とする等である。
感情の状態を表すデータは、撤回(問題から逃げたい状態)、関与(積極的に取り組む状態)、覚醒(ぼんやりしている)、分離(自由な状態)、心配、抑制(抑鬱の状態)、洞察・意識(積極的に意識し観察しようとしている状態)、調子(リラックス又は緊張している状態)、目的状態(何か目的を達成しようとしている状態)、並列の目的状態(複数の目的を達成しようとしている状態)等があり、しかもこれらの感情には、強弱もあり、そのような諸感情の相関的な分布は、図6(引用文献:「The Galvanic Skin Response(GSR) Meter by Peter Shepherd」、http://www.hackcanada.com/ice3/wetware/gsr.html 参照)に示される。
感情の状態を表すデータは、表示生成部62において、感情の安定状態、喜怒哀楽等の感情表示データに、連続的に変換される。そして、感情表示データによって、通信者のGSRと、体温及び心拍数の生体情報とに応じた感情が、刻々とディスプレイ5に表示される。例えば、色と顔を形どってディスプレイ5の表示画面に、通信者の感情表現として表示される。
介護施設のコールセンター4に配置された介護者は、このようにディスプレイ5に表示される感情の変化を考慮して、通信者と、通信者端末6及び電話等のモバイルデバイスを使用してコミュニケーションを図り、そのコミュニケーションを通して、効果的、質の高い介護を行うことができる。
表示生成部62において作成された感情の感情表示データは、報告生成部63に送られ、さらに報告データとして、カテゴリーデータベース37に送信され、蓄積される。なお、表示生成部62報告動作を示す動作データを、逐次、キャッシュメモリ47に送り、このような動作データに基づき、キャッシュ制御部46はキャッシュ動作を円滑に進める。
(使用の一例)
図7は、本発明の感情評価システム1を介護に使用した一例を説明するフロー図である。スタートに際しては、送信側通信者である被介護者について、GSRセンサ13でGSR値の計測が開始されるとともに、生体情報として、体温センサ13による体温の計測、心拍センサ15による心拍数の計測がそれぞれ開始される(図7(ア)参照)。
図7は、本発明の感情評価システム1を介護に使用した一例を説明するフロー図である。スタートに際しては、送信側通信者である被介護者について、GSRセンサ13でGSR値の計測が開始されるとともに、生体情報として、体温センサ13による体温の計測、心拍センサ15による心拍数の計測がそれぞれ開始される(図7(ア)参照)。
これらの計測データは、通信者端末のコンピュータによって、インターネットを介して、受信側通信者である介護施設の通信者端末に送信される。介護施設のサーバ端末では、受信したGSRデータと、生体情報である体温及び心拍数のデータが、感情分析ントロジーエンジンに入力される(図7(イ)参照)。
感情分析オントロジーエンジン32では、GSRデータと、生体情報である体温及び心拍数のデータが、解析され被介護者の感情の度合いが出力される。この判定では、例えば、積極的感情の度合いが数値で出力される(図7(ウ)参照)。
その数値が、当該被介護者の標準値より大である場合(図7中では、例えば、出力値>0として示した)は、積極的な感情状態にあると判定され、介護者は積極的感情の場合に要する介護対応(積極的感情対応A)へ進む(図7(エ)、(オ)、(カ)参照)。また、標準値より小である場合は、消極的な感情状態にあると判定され、介護者は積極的感情の場合に要する介護対応(積極的感情対応B)へ進む(図7(エ)、(キ)、(ク)参照)。
介護施設のオペレータである介護者(受信側の通信者)は、この判定結果である感情状態を観察しながら、その状態に応じて、被介護者の計測進行中に、介護対応としてリアルタイムで被介護者と電話等で対話を進めながら、被介護者の感情状態と関連しそうないろいろな情報を引き出す(図7(ケ)、(コ)参照)。
例えば、積極的感情状態の場合は、介護者は、例えば、当日の気分等の状態を被介護者からヒアリングして、得られた回答を、報告データとして、端末コンピュータによってオントロジーデータベース36に入力し蓄積する(図7(サ)参照)。
場合によっては、あまり積極的感情状態(昂揚しすぎる状態)の場合は、介護者は、被介護者に対して、昂揚を抑えるプログラムを施す。例えば、話相手となって気分を落ち着かせる。(図7(シ)参照)。
また、例えば、消極的感情状態の場合は、介護者は、当日の気分等の状態を被介護者からヒアリングして、得られた回答を、報告データとして、受信者側のコンピュータによってオントロジーデータベース36に入力し蓄積する(図7(ス)参照)。
被介護者の気分がすぐれず、抑鬱状態にある場合は、介護者は、被介護者に対して、昂揚させて元気を出すプログラムを施す。例えば、話相手となって心配事を聞いてやる(図7(セ)参照)。
(オントロジーエンジンによる判定するための構成)
感情分析オントロジーエンジン32で、GSRデータと生体情報データ(温度、心拍数)等に基づいて判定するための構成(アーキテクチャー)は、推論層(inference layer)、ルール層(規則層)、オントロジー層(存在論層)及び領域の概念化層の4層構造となっている。
図8は、これら4層(図8中の楕円内参照)と、それぞれの具体的手段(図8中の矩形内参照)と、これら4層の具体的手段がそれぞれオントロジーデータベース36と協働している点(図8中の白抜き矢印参照)を示す図である。
これら4層の4つのファクタによって、オントロジーデータベース36を利用して、GSRデータと生体情報データ(温度、心拍数)等に基づき、被介護者のより正確な感情データの判定を行う。ここで、4層の4つのファクタを説明する。
推論層(inference layer)は、 これまでの蓄積データによって、GSR等のデータの一致、分類、推論を行うための層である。
ルール層(規則層)は、JENAのSWRLで記述されている。このルール層(規則層)は、オントロジールールのルールを生成する層であり、そのためにルールの構築のための解析及び推論を行う。オントロジールール(存在論規則)は、オントロジーウェブ言語(存在論ウェブ言語:OWL)によって記述されている。
ここで、JENAは、セマンティックWebアプリケーションを構築(開発)するためのJava(登録商標)フレームワークである。JENAは、セマンティックウェブとリンクしたデータアプリケーション、ツール、およびサーバを開発するために役立つツール及びJava(登録商標)ライブラリのコレクションを提供する。
SWRLは、ソフトウエアのルールレイヤのことである。JENAで使用されるオントロジー言語には、OWLなどのオントロジーウェブ言語(存在論ウェブ言語:Ontology Web Language)がある。このOWLを使用する場合のルール生成層を、JENA SWRLと言っている。
オントロジー層(存在論層)はOWL API及びOWL GUIによって構成される。ここで、OWL APIは、OWLで記述されたアプリケーションプログラミングインターフェース(Application Programming Interface)であり、アプリケーションから各機能を呼び出すためのインターフェース(OSとその上で稼働するアプリケーションとの間のインターフェース規定)である。この発明においては、OWL APIは、GRSデータから推論して得られた論理的な結果から関連するオントロジー定義をキャッシュして運用する。
また、OWL GUIは、OWLで記述されたグラフィカルユーザーインターフェース(Graphical User Interface)であり、画面上に表示されたアイコン等のグラフィカルな要素を、マウス等で操作することによって、コンピュータを操作するインターフェースである。この発明においては、OWL GUIは、データとウィジット(Widget:デスクトップ上で特定の機能を実行するための簡易的なアプリケーション)の修正を編集する。
領域の概念化層は、プロジェイAPI及びプロジェイGUIによって構成される。プロジェイGUIは、テーブル、クラス及びウィジットにより構成されるグラフィカルユーザーインターフェースであるプロジェイAPIは、オントロジーにおける、クラス、特性及び個々のモデルを生成するときにコールされるアプリケーションインターフェースである。なお、「プロジェイ」はフランス語でProtege(eの上には´が付されている)と記述されたソフトの日本発音であり、プロジェイAPIとは、オントロジー編集のために広く使われているインターフェースツールである。
図9は、GSRデータ(GSR計測データ)について、オントロジーを構成するクラス(事柄や事実)の関係を示す図である。なお、オントロジーを記述しその関係を示すには、事実としての事柄(Entities)とそれらの関係図(Attributes)を記述する。この図9はそれらの関係を示したオントロジーの関連図である。また、図中の→は、その方向にしか現象、事象が進行しない場合の関連を示している。従って、矢印以外の方向ではこの関係は成り立たないことも同時に意味する。
即ち、事柄(エンティティ:Entities)とは、事実として生じた全ての事柄の事であり、GSRの測定値もエンティティである。その測定されたシステム、通信手段、被介護者、通信を受けたオペレータ、生体データ、環境データなど様々な条件として挙げられるものを言う。
これらの事実と事実の間係を示すのが、Attributesである。この事実の関係は、方向性と多重性を持ち、矢印と複数のオントロジー関連図が組み合わされて一つの事実のオントロジーシステムを構成する。
本発明は、GSR値という被介護者の皮膚抵抗値を、オントロジーとして情報整理して人の感情というものとして判断する構成である。その感情は、さらにオントロジーデータベースを基にして感情判断の正確さを高め、通信中にリアルタイムに被介護者の感情感知と言う形で使用することに意味がある。
推論エンジンは、入力されるGSR値とそのときの状況を関係図として表現する。即ち、GSR値を測定した環境、時刻、継続通信時間、その他の生体情報や、被介護者の通信した場所(施設、自宅、他)などのメタデータを一つの条件として関連つける。例えば、夏の暑い午後の時間、介護施設、定期が良い、などである。
システムとは、使用者の通信環境、通信するデバイスを示す。また、インプット(Input)とは、全ての入力情報を意味し、測定される生体データ値、周辺環境条件、アプリケーションモデルおよび各種データベースなどを含むすべての情報である。意味(Means)は、元のオントロジーデータベース、もしくは外部からクローラ(Crawler)によって取得した文書などの情報を自然言語処理手段42による自然言語処理(NLP)によって意味を判別したものを表している。
図9において、GSRデータのクラスは、特性、システム上の構成や使用条件での特徴(特徴あるシステム)、使用したシステムの通信時のポリシー、その通信による結果、計測要素(GSRセンサ、体温計、心拍計)、インプットを含む。これらのクラスは、さらに、必要に応じて、その配下にサブクラスとして新たなクラス分類が生成される。このような配下のサブクラスには、条件によって様々な項目が生成される。
図9に示すように、インプット(Input)された情報から、オントロジーによる意味を生成している。環境ファクタは、測定時の詳細な項目を示す。
その他、図9には示していないが、入力のデバイスタイプ、その個人生体情報を暗号化する場合の手段(エンコードするスキーム)、通信プロトコル及び通信するシステム情報ポート番号(80、8080番等のISOの第7階層の通信なのか、下位の階層での通信ポートを用いて通信されたのかといった通信時の環境設定情報など)を含む。
入力された数値からの結果は、下位のクラスである非有効的なデータ数値(Input Validation Error)及び悪用論理(Logical Exploit)などの分類の定義を参照し、必要に応じて必要なクラスにその結果がその定義に属する事を判断され通知される。入力値が有効ではない範囲が測定された場合には、無効として、非有効的なデータ数値に分類される。
下位クラスである悪用論理(Logical Exploit)は、さらに、例外条件(Exception Condition)、人種条件、微細なエラー(Atomicity Error)及び連続エラー(Serialization Error)のサブクラスに分類される。
属性(年齢、性別等)、各々のエンティティ(事実としての事柄)、GSRデータ(GSRの実測値)は、それぞれオントロジーデータベースを共有(構築)する。リアルタイムでのオントロジー(Ontology)の生成は、計測されたGSRデータを基に、被介護者ごとの過去のデータを比較して現実的な価値を推論するためオントロジーデータベースを加味して、最終的な判断とするためのGSRオントロジーとして形成される。
図10は、動的なルール生成プロセスを示している。全てのルールは、ユーザーリクエスト及び対応する工程から成り、特定のGSR数値を検知する基準値を含む。ここで、ユーザーリクエストとは、ユーザーからの通信要求であり、対応する工程とは、その被介護者への応答者(介護者)のプロセス工程であり、特定のGSR数値とは、被介護者固有のGSR値の標準値とその標準値から見込める感情の良し悪しの範囲である。
オントロジールールに基づいた推論(Rule Reasoning)は、オントロジーデータベース36に保存された過去の情報から生成された意味を持ったルール(Semantic rules)及びオントロジーモデルを使用して、推論エンジン43(Inference Engine 図5参照)によって実行される(図10(ア)参照)。ここで、オントロジーモデルとは、過去の事実に基づいて生成されたオントロジーデータベースのことである。
推論エンジン43によって生成した推論知識モデル(推論した結果を基に作成されたデータベース)は、推論知識ベースに一旦蓄積され(図10(イ)、(ウ)参照)、その情報は、GSR数値のルール生成部(Rule Generator)の要求に応じて、使用される(図10(エ)、(オ)参照)。
ルール生成部は、オントロジーデータベース36のルールテンプレートとルール文法を使用してルールを生成する(図10(ソ)、(タ)参照)。なお、ルールとは、オントロジーのデータベースを生成するためのルールであり、順番、矢印からなる事実の起こる順番などがある。
GSR数値からクローラによって得られた情報を基に生成された意味的なクエリー(Semantic Query、ここではGSRの数値に意味を反映したクエリー)は、オントロジーデータベース36の中に保存されたルールテンプレートを適用して、これと比較し(図10(カ)参照)、新たなクエリーとしてクエリー生成部(Query Builder)によって生成され(図10(キ)参照)、ルール生成のためにルール生成部(Rule Generator)に送られ必要に応じて新ルールとして登録される(図10(ク)参照)。
なお、ここで、クエリーとは、データベース管理システムに対する処理要求(問い合わせ)を文字列として表したものであり、データの検索や更新、削除などの命令をシステムに発行するのに使われる。
そして、ルール生成部(Rule Generator)は、この意味的なクエリー(Semantic Query)を、推論知識ベースに送り(図10(エ)参照)、それをルールテンプレート(Rule Template)に保存する(図10(ウ)参照)。また、検知ルールは、オントロジーデータベース36がアップデートされるまで、ルールキャッシュ(Rule Cash)に格納され、過去のGSR値と今の計測しているGSRの数値の比較における性能向上に貢献する仕掛けとなる(図10(ケ)、(コ)参照)。
意味解析部61は、ルールキャッシュ(Rule Cache)にキャッシュされている検知ルール(Detection Rules)を参照して使用する(図10(サ)、(シ)参照)。また、意味解析部61は、検知ルール(Detection Rules)の解析のために、ルール文法(Rule Grammar)を使用する(図10(ス)参照)。意味解析部61は、入力されてくるGSRデータを基にして得られた情報を基に検知ルール等を利用し分析作業を実行する(図10(セ)参照)。
(変形例)
上記実施例では、被介護者側の通信者端末は、コンピュータであることを前提として説明したが、実質コンピュータの機能を備えていれば、他の端末機器でもよい。例えば、被介護者側の通信者端末として、モバイルデバイス(例えば、スマートフォンのような携帯電話、PDA(Personal Digital Assistants)等の機器等の携帯情報端末)としてもよい。このような構成を、本発明の実施例の変形例として、以下説明する。
上記実施例では、被介護者側の通信者端末は、コンピュータであることを前提として説明したが、実質コンピュータの機能を備えていれば、他の端末機器でもよい。例えば、被介護者側の通信者端末として、モバイルデバイス(例えば、スマートフォンのような携帯電話、PDA(Personal Digital Assistants)等の機器等の携帯情報端末)としてもよい。このような構成を、本発明の実施例の変形例として、以下説明する。
携帯電話の場合は、携帯電話の画面を正面から見て左右の側面に、それぞれステッカータイプのGSR電極パッドを貼り付けた構成とし、被介護者(又は介護用でなければ携帯電話の一般の使用者)が、携帯電話を把持する際に、上記左右の側面にそれぞれ貼り付けられたGSR電極パッドを手に接触させて、GSR値を計測する構成とする。
このようなGSR電極パッドによって計測されたGSR値は、通話の際にUSBI/F(USBインターフェース)を介して携帯電話に取り込まれ、GSRデータとして、携帯電話から通信回線(インターネット等)を介して、接続先の例えば介護センターのコンピュータに送信されるような構成とする。
このような構成とすれば、被介護者(又は携帯電話の一般の使用者)は、自宅からでなくてもその出先から、GSRデータを簡単に送信でき、受信側の端末に配置された感情評価手段によって、受信側の通信者は、リアルタイムで送信者の感情を判断できる。
従って、送信者が被介護者の場合は、介護センターのオペレータでもある介護者は、被介護者の感情を考慮しながら、効果的な介護をすることが可能となる。また、携帯電話による送信者が顧客の場合は、店舗のオペレータでもある販売員は販売に際して、顧客の感情まで考慮しながら、きめ細かいサービスを提供することが可能となる。
本発明の感情評価システムは以上のとおりの構成であるが、その利用に際しては、通信者の登録を事前に行い、通信者のうち被介護者の生体情報の履歴をクラスに分けて分類する。そのクラスの関係を過去に起こった事実としてオントロジー言語であるOWLで記述し、それぞれの関係と繋がりをデータベースに格納することで、現在の測定数値が過去との関連でどのような感情にあるかを類推して判定する。
このオントロジー判定には、前記したとおり4層の4つのファクタを利用して行う。この結果、感情という刻一刻と変化する数値パラメーターを過去からの関連付けから推論することで、リアルタイムにその時々の感情を判定することが可能となる。
このことで、通信者は、インターネットという開かれた通信網においても、特定の通信者とお互いの感情を確かめ合いながら相互通信することで、従来、インターネットを通して物理的な面談でしか行えなかった様々なサービスを、感情を交えた相互通信の実装が可能となる。
さらにこのことは、電子商取引での特定顧客へのサービス向上に効果を発揮するほか、高齢か社会における高齢者と介護者とのコミュニケーションを介護されるものの体調、感情を鑑みながら介護作業が可能となる。
また、本発明の感情評価システムは、自宅、外出先の施設、店舗、介護施設等様々な場所においても利用可能である。ディスプレイは、場所を取らない態様にし、さらに個人認証として、声紋等の態様も可能である。
以上、本発明に係る感情評価システムを実施するための形態を実施例に基づいて説明したが、本発明はこのような実施例に限定されるものではなく、特許請求の範囲に記載された技術的事項の範囲内でいろいろな実施例があることは言うまでもない。
本発明に係る感情評価システムは上記のような構成であるから、介護、電子商取引等、インターネットを介してコミュニケーションが必要な様々な分野へ適用可能である。このような適用について、その効果とともに説明する。
電子商取引で、特定顧客の継続的な個人の感情や嗜好性を保持し、その都度リアルタイムにGSR値を計測することで、個人の感情を判定することが出来るので、顧客への感情の鑑みたサービスの提供を実現できる。
高齢化社会における高齢者と介護者とのコミュニケーションを介護施設や場所に制限されること無く実施できるので、高齢者の現状の体調や、感情を鑑みながら精神面での介護作業を効果5に実施で出来る。
工業分野における本発明の応用は、人の作業によるあらゆる場面で感情による個人の作用適応性を、遠隔地から判定可能とし、作業を監視し、安全性を高めることにも適用可能である。
例えば、飛行機、電車、自動車等乗り物を運転する場合の運転者は、その操作ミスは大変大きな損害を被るだけでなく人命に関わる重要な作業である。このときの作業者の心理的状態や、突発的な発作等を、本発明によれば、遠隔地からリアルタイムで感知し判断できる。これによって人為的操作ミスの自己を事前に防ぐことが可能となる。
情報システムにおける突発的なシステム停止や故障は、単に工学的な見地から情報システムを多重化してシステムの冗長化をとることでシステム停止を防いでいる現状であるが、本発明では、その作業者の運用時の感情を常に、遠隔地から監視、判断出来るので、人為的なシステム停止を防ぐことが可能となる。
また、情報システムにおける重要なデータの消去、情報漏洩等は、その原因の85%は、人為的なミスによるものとされる。例えば、顧客の全メールの消去は、ソフトウエアのアップデートによるバッチプログラムのバグによるとされるが、人為的ミスである。この様な操作ミスによる情報消去、内部関係者による故意的な情報漏洩を操作するオペレータの感情で判断して避けることが可能となる。
医療機器の取り扱い作業者についても同様の個人の感情判断で操作ミスを事前に判断できる。
本発明は、システムや機械を使用する側の視点から判断してその操作の可否を決定し安全な運用を実現することができる。例えば、介護ロボットが普及する近未来社会では、ロボットの不必要、不適切な動作によって、被介護者を傷つけることが考えられる。本発明は、被介護者の感情によって痛みを伴い作業を強制的に介護ロボットにフィールドバックして動作を中断させることも出来る。
音声や映像を提供する劇場から一般家庭における映像装置においても映像視聴者が不快な大音量や映像のコンテンツを感知、判断した場合には、映像装置の出力、発信するコンテンツの内容を変更することで視聴者の不快感を除くことが出来る。
食堂等、飲食者の感情を遠隔感知することで現在の提供するメニューや食事がどのように評価されているかをリアルタイムに判断できるので、その地域の飲食する顧客の嗜好に合った食品の提供が可能となる。
1 感情評価システム
2 通信者端末
3 感情評価手段を備えた通信者端末
4 コールセンター
5 ディスプレイ
6 介護施設に設置された通信者端末
7 被介護者側の通信者端末
8 店舗(又は仮想店舗)に設置された通信者端末
9 購入者側の通信者端末
12 計測装置
13 GSRセンサ
14 体温センサ(体温計)
15 心拍センサ(心拍計)
20 コンピュータ
21 CPU
22 ローカルメモリ
23 ノースブリッジ
24 サウスブリッジ
25 バス
26 入出力部
27 記憶装置
31 感情評価手段
32 感情分析オントロジーエンジン
33 データベース
36 オントロジーデータベース
37 カテゴリーデータベース
41 GSRデータ抽出手段
42 自然語言語処理手段
43 推論エンジン
46 キャッシュ制御部
47 キャッシュメモリ
48 クローラ
51 GSRパーサー
52 パーサーメモリ
53 トレーサー
56 タグ生成部
57 パーサー
61 意味解析部
62 表示生成部
63 報告生成部
2 通信者端末
3 感情評価手段を備えた通信者端末
4 コールセンター
5 ディスプレイ
6 介護施設に設置された通信者端末
7 被介護者側の通信者端末
8 店舗(又は仮想店舗)に設置された通信者端末
9 購入者側の通信者端末
12 計測装置
13 GSRセンサ
14 体温センサ(体温計)
15 心拍センサ(心拍計)
20 コンピュータ
21 CPU
22 ローカルメモリ
23 ノースブリッジ
24 サウスブリッジ
25 バス
26 入出力部
27 記憶装置
31 感情評価手段
32 感情分析オントロジーエンジン
33 データベース
36 オントロジーデータベース
37 カテゴリーデータベース
41 GSRデータ抽出手段
42 自然語言語処理手段
43 推論エンジン
46 キャッシュ制御部
47 キャッシュメモリ
48 クローラ
51 GSRパーサー
52 パーサーメモリ
53 トレーサー
56 タグ生成部
57 パーサー
61 意味解析部
62 表示生成部
63 報告生成部
Claims (6)
- インターネットに接続された複数の通信者の端末を備え、送信側の通信者のGSR値と生体情報のデータに基づいて、受信側において送信側の通信者の感情を評価するGSR値と生体情報に基づく通信者の感情評価システムであって、
送信側の通信者の端末は、予め登録された送信側の通信者について計測されて得られたGSR値と生体情報のデータを受信者側の端末にインターネットを介して送信し、
受信者側の通信者の端末は、受信したGSR値と生体情報のデータに基づき、すでに取得している送信側の通信者のGSR値と生体情報の履歴から推論して、現状の送信側の通信者の感情を判定する構成であることを特徴とするGSR値と生体情報に基づく通信者の感情評価システム。 - 通信者のGSR値と生体情報のデータは重み付けされ、経歴のデータとともに、オントロジー言語で記述され、その記述されたオントロジーに基づいてルール生成と推論を行い、通信者の感情が判定される構成であることを特徴とする請求項1に記載のGSR値と生体情報を基づく通信者の感情評価システム。
- 通信者のGSR値は、GSRセンサに、通信者が通信時に手若しくは指を接触又は指を挿入して皮膚抵抗を測定することで計測される構成であることを特徴とする請求項1又は2に記載のGSR値と生体情報を基づく通信者の感情評価システム。
- 判定された感情に係るデータは、受信側通信者又は第三者に、リアルタイムに送信側通信者の感情表現として、色と顔を形どって表示画面で表示される構成であることを特徴とする請求項1〜3のいずれかに記載のGSR値と生体情報を基づく通信者の感情評価システム。
- 通信者は、店舗、介護施設、診療所、事務所若しくは企業、又は店舗、介護施設、診療所、事務所若しくは企業のイーコマースサービスを利用する者であり、インターネット通信を使ったWebサービスに適用できることを特徴とする請求項1〜4のいずれかに記載のGSR値と生体情報を基づく通信者の感情評価システム。
- 通信者の端末は、使用者が携帯するモバイルデバイスであることを特徴とする請求項1〜5のいずれかに記載の感情評価システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012175308A JP2014035594A (ja) | 2012-08-07 | 2012-08-07 | Gsr値と生体情報に基づく通信者の感情評価システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012175308A JP2014035594A (ja) | 2012-08-07 | 2012-08-07 | Gsr値と生体情報に基づく通信者の感情評価システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014035594A true JP2014035594A (ja) | 2014-02-24 |
Family
ID=50284574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012175308A Pending JP2014035594A (ja) | 2012-08-07 | 2012-08-07 | Gsr値と生体情報に基づく通信者の感情評価システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014035594A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109077739A (zh) * | 2017-06-13 | 2018-12-25 | 深圳欧德蒙科技有限公司 | 用于vr/ar设备的用户数据检测方法及vr/ar设备 |
JP2019105882A (ja) * | 2017-12-08 | 2019-06-27 | 日本電信電話株式会社 | 評価装置、方法およびプログラム |
JP2019106567A (ja) * | 2017-12-08 | 2019-06-27 | 富士ゼロックス株式会社 | 情報伝達装置及びプログラム |
JP2019527394A (ja) * | 2016-06-02 | 2019-09-26 | コンヴィーダ ワイヤレス, エルエルシー | M2m/iotサービス層におけるセマンティクス推論サービス有効化 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005242499A (ja) * | 2004-02-25 | 2005-09-08 | Sanyo Electric Co Ltd | 通信システムおよび情報処理方法 |
JP2005309585A (ja) * | 2004-04-19 | 2005-11-04 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2006005945A (ja) * | 2004-06-18 | 2006-01-05 | Lg Electronics Inc | 移動端末機使用者の感情伝達および表出方法、並びにその通信システム |
-
2012
- 2012-08-07 JP JP2012175308A patent/JP2014035594A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005242499A (ja) * | 2004-02-25 | 2005-09-08 | Sanyo Electric Co Ltd | 通信システムおよび情報処理方法 |
JP2005309585A (ja) * | 2004-04-19 | 2005-11-04 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2006005945A (ja) * | 2004-06-18 | 2006-01-05 | Lg Electronics Inc | 移動端末機使用者の感情伝達および表出方法、並びにその通信システム |
Non-Patent Citations (1)
Title |
---|
JPN6016014483; 和泉 諭: 'オントロジを利用した健康支援システムの設計と実装' 電子情報通信学会技術研究報告 Vol.106 No.523 , 20070126, 19〜24 ページ, 社団法人電子情報通信学会 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019527394A (ja) * | 2016-06-02 | 2019-09-26 | コンヴィーダ ワイヤレス, エルエルシー | M2m/iotサービス層におけるセマンティクス推論サービス有効化 |
CN109077739A (zh) * | 2017-06-13 | 2018-12-25 | 深圳欧德蒙科技有限公司 | 用于vr/ar设备的用户数据检测方法及vr/ar设备 |
JP2019105882A (ja) * | 2017-12-08 | 2019-06-27 | 日本電信電話株式会社 | 評価装置、方法およびプログラム |
JP2019106567A (ja) * | 2017-12-08 | 2019-06-27 | 富士ゼロックス株式会社 | 情報伝達装置及びプログラム |
JP7031268B2 (ja) | 2017-12-08 | 2022-03-08 | 富士フイルムビジネスイノベーション株式会社 | 情報伝達装置及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cicceri et al. | A deep learning approach for pressure ulcer prevention using wearable computing | |
Mulcahy et al. | Are households ready to engage with smart home technology? | |
US10592503B2 (en) | Empathy injection for question-answering systems | |
CA2910621C (en) | Systems and methods for facilitating integrated behavioral support | |
Chen | Assessing factors critical to smart technology applications to mobile health care− the fgm-fahp approach | |
JP2019036350A (ja) | ヘルスケアシステムを運営するシステム及び方法 | |
Villarreal et al. | Mobile and ubiquitous architecture for the medical control of chronic diseases through the use of intelligent devices: Using the architecture for patients with diabetes | |
US11914784B1 (en) | Detecting emotions from micro-expressive free-form movements | |
Hervás et al. | Achieving adaptive augmented reality through ontological context-awareness applied to aal scenarios | |
EP3079569B1 (en) | Combining information from multiple formats | |
CN110753514A (zh) | 基于隐式采集的计算机交互的睡眠监测 | |
JP2023504398A (ja) | 連続血糖モニタリングに基づく提案 | |
Chen et al. | Context-awareness based personalized recommendation of anti-hypertension drugs | |
Khowaja et al. | VIRFIM: an AI and Internet of Medical Things-driven framework for healthcare using smart sensors | |
JP2018114232A (ja) | 診断装置、プログラム及び診断システム | |
JP2014035594A (ja) | Gsr値と生体情報に基づく通信者の感情評価システム | |
Zhao et al. | Defining the concepts of a smart nursing home and its potential technology utilities that integrate medical services and are acceptable to stakeholders: a scoping review | |
Aranda et al. | Collection and analysis of physiological data in smart environments: a systematic mapping | |
Alrizq et al. | An Architecture Supporting Intelligent Mobile Healthcare Using Human-Computer Interaction HCI Principles. | |
Al Hemairy et al. | A comprehensive framework for elderly healthcare monitoring in smart environment | |
Vargiu et al. | Context-aware based quality of life telemonitoring | |
Polonetsky et al. | The internet of things as a tool for inclusion and equality | |
Echeverría et al. | A semantic framework for continuous u-health services provisioning | |
Xu et al. | A qualitative exploration of a user-centered model for smartwatch comfort using grounded theory | |
Paganelli et al. | A context-aware service platform to support continuous care networks for home-based assistance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150629 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160419 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161108 |