JP2014501967A - ソーシャルネットワーク上での感情共有 - Google Patents

ソーシャルネットワーク上での感情共有 Download PDF

Info

Publication number
JP2014501967A
JP2014501967A JP2013539962A JP2013539962A JP2014501967A JP 2014501967 A JP2014501967 A JP 2014501967A JP 2013539962 A JP2013539962 A JP 2013539962A JP 2013539962 A JP2013539962 A JP 2013539962A JP 2014501967 A JP2014501967 A JP 2014501967A
Authority
JP
Japan
Prior art keywords
mental state
state information
data
web
computer program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013539962A
Other languages
English (en)
Other versions
JP2014501967A5 (ja
Inventor
カリオビー,ラナ エル
サドウスキー,リチャード,スコット
ワイルダースミス,オリヴァー,オリオン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Affectiva Inc
Original Assignee
Affectiva Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Affectiva Inc filed Critical Affectiva Inc
Publication of JP2014501967A publication Critical patent/JP2014501967A/ja
Publication of JP2014501967A5 publication Critical patent/JP2014501967A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/101Collaborative creation, e.g. joint development of products or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Psychiatry (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Operations Research (AREA)
  • Molecular Biology (AREA)
  • Educational Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Quality & Reliability (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

精神状態情報は、映像捕捉またはセンサ情報の捕捉によって、個人から収集される。センサ情報は、皮膚電位、加速度計の測定値、皮膚温度、または他の特徴に関するものであり得る。精神状態情報は、ある期間にわたって収集および分析されて、個人の気分が決定される。個人は、ソーシャルネットワーク上で自分の精神状態情報を共有することができる。個人は、共有が行われる前に、自分の精神状態情報を共有するか否かの選択を求められ得る。
【選択図】図11

Description

関連出願の相互参照
本出願は、2010年11月17日に出願された米国仮特許出願第61/414,451号明細書(「Sharing Affect Data Across a Social Network」)、2011年2月6日に出願された米国仮特許出願第61/439,913号明細書(「Using Affect Within a Gaming Context」)、2011年2月27日に出願された米国仮特許出願第61/447,089号明細書(「Recommendation and Visualization of Affect Responses to Videos」)、2011年2月28日に出願された米国仮特許出願第61/447,464号明細書(「Video Ranking Based on Affect」)、2011年3月24日に出願された米国仮特許出願第61/467,209号明細書(「Baseline Face Analysis」)、および2011年10月20日に出願された米国仮特許出願第61/549,560号明細書(「Mental State Analysis of Voters」)に対する優先権を主張するものである。許される範囲において、上記出願の各々の記載内容全体を本明細書に援用する。
本出願は、広義に精神状態の分析に関し、特に、ソーシャルネットワーク上での感情データの共有に関する。
人々は、インターネット上で膨大な時間を費やしており、その時間の多くは、ソーシャルネットワークに関するページを含むウェブページの閲覧や、それらのウェブページとのやり取りを含む。精神状態の評価は、個人や彼らが自分の周りの世界に対してどのように反応するかを理解するための鍵であり、この世界には、ますます仮想世界が包含されている。精神状態は、幸せから悲しみまで、満足から心配まで、興奮から冷静まで、その他にも数多くあり、広い範囲に及ぶ。これらの精神状態は、交通渋滞中のフラストレーション、列に並んでいる最中の退屈、一杯のコーヒーを待っている間のイライラなどの日々の出来事に対して経験され、人がコンピュータやインターネットとやり取りする時にさえ経験される。個人は、他人の精神状態の評価および理解に基づいて、ある程度知覚的および共感的となり得るが、精神状態の自動評価は、はるかに難易度が高い。共感的な人は、他人が心配している、または喜んでいることに気付き、それ相応に反応することができる。一人の人間が別の人間の感情状態に気付く能力および手段は、要約することが非常に困難となり得、「直感」として伝えられることが多い。
混乱、集中、および心配などの多くの精神状態は、個人または人の一団を理解する際の助けとして、識別され得る。人々は、大惨事を目撃した後など、集団的に、恐怖や不安を示し得る。同様に人々は、自分のスポーツチームが勝利した際など、集団的に、幸せな熱狂を示し得る。特定の表情および頭部ジェスチャーを利用して、人が経験している精神状態を識別することができる。表情に基づいた精神状態の評価において、限られた自動化が行われてきた。特定の生理的状態は、人の心理状態の有効な指標を提供することができ、ポリグラフテストなどにおいて、未加工で使用されてきた。
人がインターネットおよび様々な媒体とやり取りする際の人の分析は、表情、頭部ジェスチャー、および生理学的状態の評価によって、精神状態を収集することにより行われ得る。その後、精神状態分析の一部を、ソーシャルネットワーク上で共有することができる。個人の精神状態データを収集するステップと、精神状態データを分析することにより、精神状態情報を作成するステップと、ソーシャルネットワーク上で精神状態情報を共有するステップとを含む、精神状態を通信するためのコンピュータ実施方法を開示する。この方法は、個人によって、精神状態情報を共有することを選択するステップをさらに含み得る。この方法は、選択の前に、個人に対して精神状態情報を提示するステップをさらに含み得る。ある期間にわたって精神状態データを収集することができ、共有される精神状態情報は、個人の気分を反映したものである。この気分には、フラストレーション、混乱、落胆、躊躇、認知的過負荷、集中、没頭、関心、退屈、探究、自信、信頼、喜び、および満足を含む群の内の1つが含まれ得る。共有ステップは、ソーシャルネットワークウェブページに精神状態情報を掲示することを含み得る。この方法は、精神状態情報をサーバにアップロードするステップをさらに含み得る。この方法は、コンピュータネットワーク上で精神状態情報を配布するステップをさらに含み得る。精神状態データは、生理学的データ、顔データ、およびアクティグラフデータを含む群の内の1つを含み得る。ウェブカメラを用いて、顔データおよび生理学的データの1つまたは複数を捕捉することができる。顔データは、表情、動作ユニット、頭部ジェスチャー、笑顔、眉間のしわ、一瞥、下がった眉、上がった眉、および注目を含む群の内の1つまたは複数に関する情報を含み得る。生理学的データは、皮膚電位、心拍数、心拍数変動、皮膚温度、および呼吸の内の1つまたは複数を含み得る。この方法は、収集された精神状態データに基づく精神状態の推測をさらに含み得る。この方法は、ソーシャルネットワーク内で同様の精神状態を識別するステップをさらに含み得る。精神状態は、フラストレーション、混乱、落胆、躊躇、認知的過負荷、集中、没頭、関心、退屈、探究、自信、信頼、喜び、および満足を含む群の内の1つを含み得る。この方法は、共有中の精神状態情報を持つ個人の画像を通信するステップをさらに含み得る。個人の画像は、精神状態活動のピーク時のものでもよい。画像は、映像を含み得る。この方法は、精神状態情報の配布をソーシャルネットワークのサブセットに制限するステップをさらに含み得る。この方法は、ソーシャルネットワーク上で、集約した精神状態情報を共有するステップをさらに含み得る。精神状態データは、個人がウェブ対応アプリケーションとやり取りする際に収集され得る。ウェブ対応アプリケーションは、ランディングページ、チェックアウトページ、ウェブページ、ウェブサイト、ウェブ対応アプリケーション上のビデオ、ウェブ対応アプリケーション上のゲーム、予告編、映画、広告、および仮想世界を含む群の内の1つでもよい。この方法は、精神状態情報の共有ステップの一部として、ウェブ対応アプリケーションのリファレンスを転送するステップをさらに含み得る。リファレンスは、URLおよびタイムスタンプを含み得る。転送は、ウェブ対応アプリケーションからの素材画像を含み得る。転送は、ウェブ対応アプリケーションからの素材映像を含み得る。共有は、ウェブ対応アプリケーションの評価システムの一部でもよい。精神状態データは、バイオセンサを用いて収集され得る。
一部の実施形態では、精神状態を通信するためにコンピュータ可読媒体において具現化されるコンピュータプログラム製品は、個人の精神状態データを収集するコードと、精神状態データを分析することにより、精神状態情報を作成するコードと、個人により、精神状態情報を共有することを選択するコードと、ソーシャルネットワーク上で精神状態情報を共有するコードとを含み得る。実施形態では、精神状態を共有するためのシステムは、命令を保存するためのメモリと、メモリに取り付けられた1つまたは複数のプロセッサにおいて、個人の精神状態データの収集と、精神状態データの分析による精神状態情報の作成と、個人からの精神状態情報の共有を選択する命令の受信と、ソーシャルネットワーク上での精神状態の共有とを行うように構成されている1つまたは複数のプロセッサとを含み得る。
一部の実施形態では、精神状態を通信するためのコンピュータ実施方法は、個人の精神状態情報を受信するステップと、受信した精神状態情報に基づいて、個人の精神状態を推測するステップと、推測された精神状態をソーシャルネットワーク上で共有するステップとを含む。
多数の実施形態の様々な特徴、局面、および利点は、以下の記載から、より明白となるであろう。
特定の実施形態に関する以下の発明を実施するための形態は、以下の図面を参照することにより理解できる。
図1は、ウェブカメラビュー画面の図である。 図2は、感情データに関する分析チャートの図である。 図3は、精神状態情報の共有に関するフロー図である。 図4は、ソーシャルネットワーク上での共有に関するフロー図である。 図5は、レンダリングに対する顔面反応の捕捉の図である。 図6は、生理学的分析を表す図である。 図7は、心臓関連の検知の図である。 図8は、精神状態分析のグラフ表示である。 図9は、共有の選択を行うウェブページの図である。 図10は、ソーシャルネットワークページのコンテンツ例である。 図11は、ソーシャルネットワーク上で共有を行うシステム図である。
本開示は、人がウェブサイト、ウェブ対応アプリケーション、および/またはインターネット上の他の機能とやり取りする際の人の精神状態を分析し、その結果をソーシャルネットワーク上で共有するための様々な方法およびシステムの記述を提供する。ソーシャルネットワーキングは、インターネットを介して常につながった社会と共に、ますます日常生活の一部となっている。コミュニケーションは、Eメール、投稿、携帯メール、およびショートメッセージなどにより実現するが、感情のコミュニケーションは、課題のままである。精神状態の分析を行い、次に、ソーシャルネットワーク上でそれらの精神状態を伝達することにより、バーチャルコミュニケーションが、はるかにその人に調和するようになる。コミュニケーションは、明白な投稿に限定されず、その代わりに、感情のコミュニケーションが可能となる。精神状態には、感情状態および/または認識状態が含まれ得る。感情状態の例には、幸せまたは悲しみが含まれる。認識状態の例には、集中または混乱が含まれる。これらの精神状態を観察し、捕捉し、分析することにより、ウェブサイト型分析における現在の能力をはるかに超える、人の反応に関する有意な情報を生み出すことができる。
本開示によって解決される課題は、ソーシャルネットワーク上で共有され得る精神状態情報を作成するための個人の精神状態の収集および分析である。精神状態データは、特定のタスクを行う間に、またはより長期間にわたって、個人から収集され得る。精神状態データは、センサからの生理学的データ、ウェブカメラからの顔データ、またはアクティグラフデータを含み得る。精神状態データを分析することにより、精神状態情報を作成することができる。精神状態情報は、気分、他の精神状態、精神状態データ、または精神状態データから導き出された、または推測された精神状態情報を含み得る。個人の精神状態には、フラストレーション、混乱、落胆、躊躇、認知的過負荷、集中、没頭、関心、退屈、探究、自信、信頼、喜び、および満足、または他の感情や認識状態が含まれ得る。精神状態情報は、ウェブ対応アプリケーションへの反応などの特定の刺激に関連してもよく、あるいは、より長い期間に関係し、例えば一日の精神状態を示し得る気分でもよい。
個人は、自分の精神状態を他人と共有する機会を与えられ得る。個人が共有することを選択すると、自分の精神状態をソーシャルネットワーク上で共有することができる。ソーシャルメディアまたはソーシャルネットワークウェブページ上に気分情報を掲示することによって、ソーシャルネットワーク上で精神状態を共有することができる。共有される精神状態は、全体的な気分でもよく、あるいは、特定の刺激に対する反応でもよい。精神状態が特定の刺激に対する反応である場合には、ウェブ対応アプリケーションなどの刺激に関するリファレンスが共有され得る。リファレンスには、URL(uniform reference locator)および/またはタイムスタンプが含まれ得る。自分の気分に対応した個人の画像が、精神状態と共に、掲示されてもよい。同様の精神状態にあるソーシャルネットワーク上の他の人々が、当該個人に対して識別されてもよい。場合によっては、ソーシャルネットワークに対する個人のコンタクトの精神状態を集約し、ソーシャルネットワーク上で共有してもよい。
図1は、ウェブカメラビュー画面の図である。ウィンドウ100は、ビューおよび複数のボタンを含み得る。ウェブカメラビュー110は、個人のビューを含み得る。ウェブカメラビュー110は、コンピュータに取り付けられたウェブカメラまたは他のカメラデバイスによって得ることができる。個人のビューは、人の頭部、全身、または人の他の部分の映像を示してもよい。顔を見せた人の頭部を見て、表情を観察することができる。表情は、顔面動作および頭部ジェスチャーを含み得る。精神状態の推測に使用される顔面動作および頭部ジェスチャーを含む顔データを観察することができる。さらに、観察データには、ハンドジェスチャーまたはボディーランゲージ、および目に見えるそわそわ状態などの体の動きに関する情報が含まれ得る。様々な実施形態では、これらの動きは、カメラまたはセンサの測定値によって捕捉することができる。顔データには、片側への頭部の傾き、前かがみの姿勢、笑顔、渋面、および多くの他のジェスチャーまたは表情が含まれ得る。顔データには、表情、動作ユニット、頭部ジェスチャー、笑顔、眉間のしわ、一瞥、下がった眉、上がった眉、および注目などの情報が含まれ得る。ウェブカメラの観察には、瞬目率が含まれ得る。例えば、瞬目率の低下は、観察中のものに、かなり没頭していることを示し得る。ウェブカメラの観察は、生理学的情報も捕捉し得る。ウェブカメラを介した観察は、個人がコンピュータを使用しながら、自分の通常のタスクを経験する間に達成され得る。観察は、ウェブ対応アプリケーション、ウェブ対応アプリケーション上のビデオ、ウェブ対応アプリケーション上のゲーム、および仮想世界などの特定のアイテムが閲覧されている間、またはそれらとやり取りが行われている間に行うこともできる。一部の実施形態では、ウェブカメラビュー110は、個人がウェブ対応アプリケーションとやり取りを行っている間は、縮小される、アイコンになる、または消えることが可能である。一部の実施形態では、一日の通常の出来事が起きる間に観察が行われる。
記録ボタン120は、ウェブカメラビュー110を記録するために含まれてもよい。記録ボタン120は、精神状態情報を観察し、この情報を共有することの許可が得られる、ウェブカメラビュー110中の個人による「選択」の一部でもよい。記録ボタン120上にマウスポインタを移動させることにより、記録ボタン120の目的が説明されてもよい。記録を開始するために、記録ボタン120をクリックし得る。記録ボタンを再びクリックすることにより、記録を停止し得る。一部の実施形態では、記録は、コンテキストの検知に基づいて達成されてもよい。記録は、特定のウェブ対応アプリケーションの閲覧または特定のウェブ対応アプリケーションとのやり取りが開始されると、自動的に開始できる。記録は、特定の時点に、または、ウェブ対応アプリケーションがその終点に達すると、自動的に終了できる。このような例の1つは、閲覧され得る一連のビデオ予告編である。ウェブカメラビューの記録は、各ビデオ予告編の開始および終了と同時に、開始および終了することができる。実施形態では、特定の動作コンテキストに関するウェブカメラビューの記録の許可が与えられてもよい。さらに、コンテキストは、ウェブカメラビューと同様に記録されてもよい。
チャートボタン130を用いて、ウェブカメラの記録中に収集された情報の分析を表示することができる。チャートボタン130上にマウスポインタを移動させることにより、ボタンの目的の説明が行われ得る。チャートボタン130をクリックすることにより、図2に示されるようなチャートを表示することができる。チャートボタン130は、人が自分の精神状態情報を他人と共有したいか否かを決定できるように、精神状態情報の共有前にクリックすることができる。共有ボタン140は、記録ボタン120がクリックされた際に収集された精神状態情報を共有するために使用することができる。共有ボタン140は、精神状態情報を他人と共有する「選択」プロセスの一部でもよい。共有ボタン140上にマウスポインタを移動させることにより、ボタンの目的の説明が行われ得る。共有ボタン140をクリックすることにより、精神状態情報を、個人、人の一団、またはソーシャルネットワークと共有することができる。共有ボタン140をクリックすることにより、精神状態情報は、電子メールによって通信され得る、Facebook(商標)に掲示され得る、Twitter(商標)または他のソーシャルネットワーキングサイトによって共有され得る。精神状態情報の共有は、一回限りの出来事でもよいし、継続的なものでもよい。一旦共有が開始されると、精神状態情報は、定期的にソーシャルネットワーキングサイトに掲示され得る。この様に、ある人の精神状態情報が、その人のソーシャルネットワークに広められ得る。共有は、ウェブ対応アプリケーションのリファレンスまたはウェブ対応アプリケーション自体を通信してもよい。ウェブ対応アプリケーションのリファレンスは、例えば、ウェブページリンクである。この共有に基づいて、個人は、自分が閲覧したもの、およびそれを閲覧中の自分の精神状態を通信することができる。さらに個人は、自分の精神状態を共有している個人または人々から引き出された反応をリクエストすることができる。
図2は、感情データに関する分析チャート210の図である。分析チャート210は、x軸上に「時間」と、y軸上に「感情」とを含み得る。経時的な感情データを表すグラフ230を示すことができる。図示される期間は、個人が様々なタスクを行っていた最近の期間、または個人がウェブ対応アプリケーションとやり取りを行う際に精神状態データが収集されるなどの特定のタスクに関するものでもよい。感情データは、個人が画面の方に身をのり出していることを示すなどの頭部ジェスチャーのように単純なものでもよい。画面の方に身をのり出すことは、画面上で閲覧中のものに大きな関心があることの表れであり得る。感情データは、精神状態分析に使用される動作ユニットでもよい。動作ユニットは、片方の眉を上げる、両方の眉を上げる、笑顔の引きつり、眉間のしわ、鼻孔の開き、一瞥、および他の多くの候補を含み得る。これらの動作ユニットは、映像を分析しているコンピュータシステムによって自動的に検出可能である。感情データは、何らかの精神状態評価でもよい。例えば、グラフは、ポジティブまたはネガティブな反応を示し得る。一部の実施形態では、グラフの代わりに色を用いてもよい。例えば、緑は、ポジティブな反応を示し、赤は、ネガティブな反応を示してもよい。感情データは、より具体的な精神状態評価をグラフで表示することもできる。例えば、1つの精神状態をグラフにしてもよい。グラフにできる精神状態の一部には、フラストレーション、混乱、落胆、躊躇、認知的過負荷、集中、没頭、関心、退屈、探究、自信、信頼、喜び、および満足が含まれる。一部の実施形態では、笑顔が生じる度にラインを提供する笑顔トラックを表示することができる。笑顔がより長く、より顕著になるにつれ、笑顔のラインは、より濃く、より顕著となり得る。図1からチャートボタン130を選択できたように、図2に表示されたウィンドウから戻るボタン220を選択することができる。様々な実施形態において、戻るボタン220は、ウェブカメラビューまたは以前のウェブ対応アプリケーションなどを示すように、ウィンドウを戻すことができる。
図3は、精神状態情報の共有に関するフローチャートである。フロー300は、個人の精神状態データの収集(310)から開始され得る。精神状態データは、動作ユニットの収集および表情の収集などを含み得る。生理学的データは、人の映像観察から得ることができる。例えば、心拍数、心拍数変動、自律神経活動、呼吸、および発汗は、映像捕捉から観察することができる。あるいは、一部の実施形態では、バイオセンサを用いて、生理学的情報を捕捉し、かつ加速度計の測定値も捕捉することができる。精神状態データの収集(310)の前に、許可をリクエストし、得ることができる。精神状態データは、クライアントコンピュータシステムによって収集してもよい。
フロー300では、精神状態情報を作成するための精神状態データの分析(320)が続いてもよい。精神状態データは、心拍数などの生データでもよいが、精神状態情報は、生データから得られた情報を含み得る。精神状態情報は、精神状態データを含み得る。精神状態情報は、誘意性(valence)および覚醒を含み得る。精神状態情報は、個人が経験する精神状態を含み得る。一部の実施形態は、収集された精神状態データに基づく精神状態の推測を含み得る。
フロー300では、サーバへの精神状態情報のアップロード(300)が続いてもよい。サーバは、ユーザからリモートでもよく、ソーシャルネットワークによって使用されるデータのホストとなり得るが、他の実施形態では、サーバは、ソーシャルネットワークのコンピュータシステムから分離され、精神状態情報および他の機能性のストレージに使用されてもよい。場合によっては、画像が、精神状態情報と共に、サーバに通信されてもよい(340)。画像は、精神状態データが収集されていた際の個人のものでもよく、精神状態情報を表してもよい。他の実施形態では、ある特定の精神状態を表すために、前もって画像が捕捉または識別されてもよい。フロー300では、共有を選択する前に、個人に対する精神状態情報の提示(350)が続いてもよい。一部の実施形態は、ユーザが提示前に選択することを可能にし得る。一部の実施形態では、精神状態データ、精神状態情報、または精神状態情報のサブセットが個人に提示されてもよい。一部の実施形態では、提示がなくてもよい。精神状態情報は、気分の文字による記述、個人の獲得画像または個人から入手した画像、図2または図8に示されるようなグラフ、または精神状態情報を伝達するその他の方法などの様々な方法で個人に提示されてもよい。
フロー300では、個人による精神状態情報または精神状態を共有することの選択(360)が続いてもよい。個人は、精神状態情報の配布の制限を選択(362)することができる。個人は、精神状態データおよび精神状態情報の全て、または一部を共有することを選択することができる。個人は、精神状態情報の配布をソーシャルネットワークのサブセットに制限するなど、個人、人の一団、またはソーシャルネットワーク全体と共有することを選ぶことができる。実施形態では、精神状態情報は、ネットワークが推薦し得る他人と共有されてもよい。一部の実施形態では、ウェブ対応アプリケーションのリファレンスが、選択されたグループまたはサブグループに転送(364)されてもよい。一部の実施形態では、転送は、ウェブページ上の「いいね!」タイプのボタンを選択することによって達成される。リファレンスは、ビデオ、予告編、電子ブック、ウェブサイト、映画、広告、TVショー、ストリーム配信されたビデオクリップ、テレビゲーム、またはコンピュータゲームなどに関する情報を含み得る。リファレンスは、リファレンスの一部を識別するために、タイムスタンプ、ページ番号、またはウェブページURLなどを含み得る。転送は、Twitter(商標)メッセージ、テキスト、またはSMSなどを含み得る。リファレンスが転送される際(364)に、URLまたはショートURLが含まれてもよい。フロー300では、精神状態情報の共有(370)が続いてもよい。共有は、個人のクライアントコンピュータから精神状態情報を保持するサーバへのデータの伝送を含み得る。共有は、ウェブリンク、ウェブ対応アプリケーションのリファレンス、またはウェブ対応アプリケーションを含み得る。精神状態情報は、サーバから個人へと通信され得る(380)。あるいは、第1の個人から第2の個人への精神状態情報のピアツーピア共有が存在してもよい。一部の実施形態では、ソーシャルネットワーク上での精神状態情報の共有(382)を含み得る。精神状態は、Facebook(商標)、LinkedIn(商標)、MySpace(商標)、Twitter(商標)、Google+(商標)、または他のソーシャルネットワーキングサイトを介して通信されてもよい。
図4は、ソーシャルネットワーク上での共有に関するフロー図である。フロー400は、精神状態を共有するためのコンピュータ実施方法を記述し、サーバ観点の活動を表し得る。フロー400は、個人に関する精神状態データの受信(410)で開始されてもよい。精神状態情報は、フロー300に関して記載したように収集されてもよく、あるいは、精神状態情報を収集したクライアントコンピュータから受信されてもよい。一部の実施形態では、精神状態情報を分析(420)することにより、表情、動作ユニット、頭部ジェスチャー、笑顔、眉間のしわ、一瞥、下がった眉、上がった眉、および注目などのさらなる情報を抽出することができる。自分の精神状態情報を他人と共有するという願望を示す精神状態情報の共有選択を、個人から受信することができる(430)。この選択は、ウェブ対応アプリケーションの画面上の、精神状態情報を共有することを選択するためのボタンを選択するユーザによってもたらされ得る。
フロー400では、受信した精神状態情報に基づいた、その個人に関する精神状態の推測(440)が続いてもよい。推測され得る精神状態には、フラストレーション、混乱、落胆、躊躇、認知的過負荷、集中、没頭、関心、退屈、探究、自信、信頼、喜び、および満足が含まれる。一部の実施形態では、人の一団に関する集団的精神状態を推測することができる。フロー400では、ソーシャルネットワーク上での推測された精神状態の共有(450)が続く。一部の実施形態は、ソーシャルネットワーク内での同様の精神状態の識別(452)を含み得る。同様の精神状態を識別するために検索され得る人の一団は、実施形態によって異なり得る。一部の実施形態では、個人の直接コンタクトリストのみを検索し得るが、他の実施形態では、例えば個人のコンタクトのコンタクト、または、複数レベルのコンタクトのコンタクトにわたるさらなる拡張グループを含む拡張コンタクトリストを検索し得る。他の実施形態では、精神状態情報を共有するために特別に作成されたグループのみを検索してもよいが、他の実施形態では、個人の拡張ネットワーク外を検索することにより、その個人にとって興味があるかもしれない人々、および潜在的な新しいコンタクトとなり得る人々の識別に役立ち得る。
複数の個人は、様々な目的で、収集された自分達の精神状態およびコンピュータネットワーク上で配布された自分達の精神状態情報(460)を所有することができる。これらの精神状態は、共に集約され、総合した精神状態評価を他人に対して掲示または伝播することができる。ウェブマスタは、感情データおよび精神状態情報を収集することができる。このデータおよび/または情報は、ウェブマスタによって制御されるウェブサイトに対してタグを付けられてもよく、従って、精神状態は、ウェブ対応アプリケーションに関連付けることができる。さらに、集約した反応を用いて、ビデオまたはゲームなどのウェブ対応アプリケーションのウイルスの可能性を評価することができる。この集約は、様々な実施形態において、様々な形式をとることができるが、例には、個人のソーシャルネットワークに対するコンタクトの集約気分の作成、映画の予告編を見た人々の集約精神状態情報の作成、ある特定の精神状態にある特定のグループの割合の作表、またはその他の精神状態情報の集約方法が含まれ得る。フロー400は、ソーシャルネットワーク上での集約精神状態情報の共有(470)によって終了してもよい。
図5は、レンダリングに対する顔面反応の捕捉に関する図である。システム500では、電子ディスプレイ510は、顔データおよび/または精神状態の他の指標を収集するために、人520にレンダリング512を見せることができる。ウェブカメラ530を用いて、顔データおよび生理学的データの1つまたは複数が捕捉される。様々な実施形態において、顔データには、表情、動作ユニット、頭部ジェスチャー、笑顔、眉間のしわ、一瞥、下がった眉、上がった眉、または注目に関する情報が含まれ得る。ウェブカメラ530は、人520の映像、音声、および/または静止画像を捕捉することができる。ウェブカメラは、本明細書および特許請求の範囲においてこの用語が用いられる場合、ビデオカメラ、スチールカメラ、熱探知カメラ、CCDデバイス、携帯電話カメラ、三次元カメラ、デプスカメラ、人520の異なるビューを表示するために使用される複数のウェブカメラ530、または捕捉データの電子システムでの使用を可能にし得る他の種類の画像取込装置でもよい。電子ディスプレイ510は、限定されることはないが、コンピュータディスプレイ、ラップトップ画面、ネットブック画面、タブレットコンピュータ、携帯電話ディスプレイ、モバイルデバイスディスプレイ、ディスプレイを備えたリモートコンピュータ、または他の電子ディスプレイを含むどのような電子ディスプレイでもよい。レンダリング512は、ウェブ対応アプリケーションのものでもよく、ランディングページ、チェックアウトページ、ウェブページ、ウェブサイト、ウェブ対応アプリケーション、ウェブ対応アプリケーション上のビデオ、ウェブ対応アプリケーション上のゲーム、予告編、映画、広告、または仮想世界やウェブ対応アプリケーションの他の出力を含み得る。レンダリング512は、ボタン、広告、バナー広告、ドロップダウンメニュー、およびウェブ対応アプリケーションまたはディスプレイの他の部分上のデータ要素などの、表示されているものの一部でもよい。一部の実施形態では、ウェブカメラ530は、顔データを収集するために、人を観察することができる(532)。顔データには、動作ユニット、頭部ジェスチャー、笑顔、眉間のしわ、一瞥、下がった眉、上がった眉、および注目に関する情報が含まれ得る。さらに、目が焦点を合わせているレンダリング512の一部を識別するために、目をトラッキングすることができる。本開示および特許請求の範囲の上で、「目」という言葉は、個人の片目または両目を指す場合があり、あるいは、あるグループ内の複数の個人の片目または両目の組み合わせを指す場合がある。目は、人520によってレンダリング512が観察される(534)際に移動し得る。ウェブカメラ530からの人520の画像は、映像取込装置によって捕捉することができる(540)。一部の実施形態では、映像を捕捉してもよいが、他の実施形態では、一連の静止画像を捕捉してもよい。捕捉された映像または静止画像は、1つまたは複数の分析に用いることができる。
動作ユニット、ジェスチャー、および精神状態の分析(550)は、人520の捕捉画像を用いて達成することができる。動作ユニットを用いて、笑顔、渋面、および精神状態の他の顔面指標を識別することができる。頭部ジェスチャーを含むジェスチャーは、興味または好奇心を示し得る。例えば、電子ディスプレイ510に向かって移動する頭部ジェスチャーは、興味の増大または解明に対する願望を示し得る。捕捉された画像に基づいて、生理学的データの分析を行うことができる。画像を分析することによって、呼吸、心拍数、心拍数変動、発汗、体温、および精神状態の他の生理学的指標を観察することができる。従って、様々な実施形態において、ウェブカメラを用いて、顔データおよび生理学的データの1つまたは複数を捕捉することができる。
図6は、生理学的分析を表す図である。システム600は、データ収集がなされている人610を分析することができる。人610は、バイオセンサ612を用いて精神状態データが収集できるように彼または彼女に取り付けられたバイオセンサ612を有し得る。バイオセンサ612は、手首、掌、手、頭部、または身体の他の部分に設置することができる。一部の実施形態では、複数のバイオセンサを身体上の複数の位置に設置してもよい。バイオセンサ612は、皮膚電位、皮膚温度、および加速度計の測定値などの生理学的データの検出器を含み得る。心拍数、血圧、EKG、EEG、さらなる脳波、および他の生理学的検出器などの生理学的データの他の検出器を同様に包含してもよい。バイオセンサ612は、Wi−Fi、Bluetooth、802.11、セルラー、または他の帯域などの無線技術を用いて、収集された情報を受信器620に送信することができる。他の実施形態では、バイオセンサ612は、有線インタフェース、または光インタフェースなどの他の方法によって、受信器620と通信してもよい。受信器は、データをシステム600中の1つまたは複数のコンポーネントに提供することができる。一部の実施形態では、バイオセンサ612は、後のダウンロードおよび分析のために、様々な生理学的情報をメモリに記録することができる。一部の実施形態では、データ、記録された生理学的情報のダウンロードは、USBポートまたは他の有線または無線接続によって達成することができる。
精神状態は、センサ612からの生理学的データなどの生理学的データに基づいて、推測することができる。精神状態は、ウェブカメラによって観察された表情および頭部ジェスチャー、またはウェブカメラからのデータおよびセンサ612からのデータの組み合わせに基づいて推測することもできる。精神状態は、覚醒および誘意性に基づいて分析してもよい。覚醒は、ある人が興奮している時など非常に活発な状態から、ある人が退屈している時など完全に受動的な状態まで多岐にわたり得る。誘意性は、ある人が幸せである時など、非常にポジティブな状態から、ある人が怒っている時など、非常にネガティブな状態まで多岐にわたり得る。生理学的データには、皮膚電位(EDA)または皮膚コンダクタンスまたは電気皮膚反応(GSR)、加速度計の測定値、皮膚温度、心拍数、心拍数変動、および人間の他の種類の分析が含まれ得る。ここで、および本文書の他の箇所において、生理学的情報は、バイオセンサ612によって、または顔の観察によって獲得できることが理解されるであろう。顔データには、精神状態の推測に使用される顔面動作および頭部ジェスチャーが含まれ得る。さらに、このデータには、ハンドジェスチャーまたはボディーランゲージ、および目に見えるそわそわ状態などの体の動きに関する情報が含まれ得る。一部の実施形態では、これらの動きは、カメラによって、またはセンサの測定値によって捕捉することができる。顔データには、片側への頭部の傾き、前かがみの姿勢、笑顔、渋面、および多くの他のジェスチャーまたは表情が含まれ得る。
皮膚電位は、一部の実施形態において収集されてもよく、連続的に、毎秒、1秒につき4回、1秒につき8回、1秒につき32回、または他の周期で収集されてもよい。皮膚電位は記録されてもよい。記録は、ディスク、テープ、フラッシュメモリや、コンピュータシステムに対して行われてもよく、またはサーバにストリーム配信されてもよい。皮膚電位を分析することにより(630)、皮膚コンダクタンスの変化に基づいて、覚醒、興奮、退屈、または他の精神状態を示すことができる。皮膚温度を周期的に収集し、記録してもよい。皮膚温度を分析し(632)、皮膚温度の変化に基づいて、覚醒、興奮、退屈、または他の精神状態を示すことができる。心拍数を収集し、記録してもよい。心拍数を分析(634)してもよく、高心拍数は、興奮、覚醒、または他の精神状態を示し得る。加速度計データを収集し、1次元、2次元、または3次元の動きを示すことができる。加速度計データを記録してもよい。加速度計データを用いて、経時的な個人の活動レベルを示すアクティグラフを生成することができる。加速度計データを分析し(636)、加速度計データに基づいて、睡眠パターン、高活動状態、不活発状態、または他の状態を示すことができる。バイオセンサ612によって収集された様々なデータは、ウェブカメラによって捕捉された顔データと共に用いることができる。
図7は、心臓関連の検知の図である。人710は、特定の種類のバイオセンサである心拍数センサ720を含み得るシステム700によって観察される。観察は、心拍数情報の捕捉を可能にする接触センサまたは映像分析によって、あるいは他の非接触検知によって行われ得る。一部の実施形態では、ウェブカメラを用いて、生理学的データを捕捉する。一部の実施形態では、生理学的データを用いて、自律神経活動を決定し、一部の実施形態では、自律神経活動は、心拍数、呼吸、および心拍数変動を含む群の内の1つでもよい。他の実施形態では、瞳孔拡張などの他の自律神経活動またはその他の自律神経活動を決定してもよい。心拍数は、ディスク、テープ、フラッシュメモリや、コンピュータシステムに対して記録されてもよく(730)、あるいはサーバにストリーム配信されてもよい。心拍数および心拍数変動を分析してもよい(740)。心拍数の上昇は、興奮、緊張、または他の精神状態を示し得る。心拍数の低下は、落ち着き、退屈、または他の精神状態を示し得る。心拍数変動の度合は、健康、落ち着き、ストレス、および年齢に関連し得る。精神状態を推測する助けとして、心拍数変動を用いてもよい。高心拍数変動は、良好な健康状態およびストレスの欠如を示し得る。低心拍数変動は、上昇したストレスレベルを示し得る。従って、生理学的データには、皮膚電位、心拍数、心拍数変動、皮膚温度、および呼吸の内の1つまたは複数が含まれ得る。
図8は、精神状態分析のグラフ表示である。例えば、関連する精神状態情報を有するウェブ対応アプリケーション810のレンダリングを含むウィンドウ800が示され得る。図示例におけるレンダリングは映像であるが、他の実施形態では、他の種類のレンダリングでもよい。ユーザは、映像1選択ボタン820、映像2選択ボタン822、映像3選択ボタン824、および映像4選択ボタン826などの様々なボタンおよび/またはタブを用いて、複数のレンダリング間で選択を行うことができる。様々な実施形態では、ユーザが利用可能な任意の数の選択肢を備えることができ、一部では、映像の代わりに、他の種類のレンダリングでもよい。選択されたレンダリングに関する1組のサムネイル画像(図示例では、サムネイル1(830)、サムネイル2(832)からサムネイルN(836)までを含む)を、タイムライン838と共に、レンダリングの下に表示してもよい。一部の実施形態では、サムネイルを含まなくてもよく、あるいは、レンダリングに関係する1つのサムネイルを有していてもよく、様々な実施形態では、等しい長さのサムネイルを有し得るが、他の実施形態では、異なる長さのサムネイルを有していてもよい。一部の実施形態では、サムネイルの開始および/または終了は、レンダリングの映像のカットを編集することによって決定してもよく、他の実施形態では、レンダリングに関連する捕捉された精神状態の変化に基づいて、サムネイルの開始および/または終了を決定してもよい。実施形態において、精神状態の分析が現在行われている人のサムネイルを表示してもよい。
一部の実施形態では、様々なボタンまたは他の選択方法を用いて、表示する特定の種類の精神状態情報をユーザが選択できる機能を含み得る。図示例では、ユーザが以前に笑顔ボタン840を選択していた場合の笑顔の精神状態情報が示されている。様々な実施形態において、ユーザによる選択が可能であり得る他の種類の精神状態情報には、実施形態に応じて、眉下がりボタン842、眉上がりボタン844、注目ボタン846、誘意性スコアボタン848、または他の種類の精神状態情報が含まれ得る。表示される精神状態情報は、生理学的データ、顔データ、およびアクティグラフデータに基づき得る。概要ボタン849は、複数種類の精神状態情報のグラフをユーザが同時に示すことができるように利用可能であり得る。
図示例では、笑顔オプション840が選択されているので、レンダリング810のために精神状態データが収集された複数の個人の集約した笑顔精神状態情報を示す笑顔グラフ850が、基準線852に対して示され得る。視覚的表示が人口統計による集約した精神状態情報を表示できるように、男性の笑顔グラフ854および女性の笑顔グラフ856を示してもよい。図示されるような様々な種類のラインを用いて、あるいは、色または他の差別化方法を用いて、様々な人口統計に基づくグラフを示してもよい。スライダー858により、ユーザがタイムラインのある特定の時点を選択し、その特定の時点の選択された精神状態の値を示すことが可能となり得る。スライダーは、値が示された人口統計グループと同じ種類のラインまたは色を示してもよい。
一部の実施形態では、人口統計ボタン860を使用して、様々な種類の人口統計に基づく精神状態情報を選択することができる。このような人口統計には、性別、年齢、人種、所得水準、または回答者を反応の高かった回答者と反応の低かった回答者とに分類することを含む他の種類の人口統計が含まれ得る。様々な人口統計グループ、各グループのラインの種類または色、各グループの回答者総計の割合およびまたは回答者の絶対数、および/または人口統計グループに関する他の情報を示すグラフ凡例862を表示してもよい。選択された人口統計の種類に応じて、精神状態情報を集約してもよい。
図9は、共有の選択を行うウェブページの図である。ウェブ対応アプリケーションからのレンダリング900は、精神状態情報の収集を行うオプションを個人に提示し得る。一部の実施では、Flash(商標)を用いて、許可を提示および/または求めてもよい。様々な実施形態では、別の言葉を用いて、個人に許可を求めてもよい。図示した実施形態では、ウェブ対応アプリケーションに対する個人の表情記録の許可を表すテキスト910が個人に提示される。個人に対して映像920の表示を行ってもよい。映像920は、個人のウェブカメラからの映像、個人が反応するコンテンツ、個人の許可を求めるメッセージ、または他の映像でもよい。一部の実施形態では、映像を含まず、テキストのみを含む、またはテキストおよび画像を含んでいてもよい。個人は、少なくとも2つのボタンの1つをクリックすることによって勧誘に応答してもよい。個人が自分の精神状態情報の記録および共有を望まない場合には、個人は、「いいえ、結構です」ボタン930をクリックすればよく、個人の精神状態情報の捕捉は行われない。個人が自分の精神状態情報の記録および共有を望む場合には、個人は、「はい、もちろん」ボタン940をクリックし、自分の精神状態情報の捕捉を開始することができる。様々な実施形態では、ボタンに他の言葉を使用してもよく、一部の実施形態では、例えば、特定のグループとのみ精神状態情報を共有するオプション、顔データの捕捉は行うが、個人が精神状態情報を検閲するまでは精神状態情報の共有を行わないオプション、または精神状態情報に関する他の様々な制約を含む3つ以上のオプションを含んでいてもよい。つまり、精神状態情報の共有には、個人による精神状態情報共有の選択が含まれ得る。
図10は、例示的なソーシャルネットワークページコンテンツ1000である。正確なコンテンツおよび書式設定は、様々なソーシャルネットワーク間で異なり得るが、限定されることはないが、ブログサイト、Facebook(商標)、LinkedIn(商標)、MySpace(商標)、Twitter(商標)、Google+(商標)、または他のソーシャルネットワークを含む様々なソーシャルネットワークに関して、同様のコンテンツが書式設定され得る。特定のソーシャルネットワークのソーシャルネットワークページには、ソーシャルネットワークページコンテンツ1000に図示されたコンポーネントの1つまたは複数が含まれ得るが、図示されたコンポーネントの代わりに、あるいは、それらに加えて、様々な他のコンポーネントが含まれ得る。ソーシャルネットワークコンテンツ1000は、ソーシャルネットワークを識別し得るヘッダ1010を含んでいてもよく、図示された「ホーム」、「プロフィール」、および「フレンド」タブなどのソーシャルネットワークサイトをナビゲートする様々なタブまたはボタンを含んでいてもよい。ソーシャルネットワークコンテンツ1000は、ソーシャルネットワークコンテンツ1000を所有する個人のプロフィール写真1020も含んでいてもよい。様々な実施形態では、特定のソーシャルネットワークに対する個人のコンタクトを示すフレンドリスト1030を含み得る。一部の実施形態は、個人、フレンド、または他の団体からのポストを示すコメントコンポーネント1040を含み得る。
ソーシャルネットワークコンテンツ1000は、精神状態情報セクション1050を含み得る。精神状態情報セクション1050は、ソーシャルネットワークウェブページへの精神状態情報の掲示を許可することができる。これには、実施形態に応じて、個人によって共有された精神状態情報が含まれてもよく、あるいは、捕捉されたが、未共有の精神状態情報を含んでいてもよい。少なくとも1つの実施形態においては、図2のグラフなどの、ウェブ対応アプリケーションを閲覧中の個人の精神状態情報を示す精神状態グラフ1052を、その個人に対して表示してもよい。情報がソーシャルネットワーク上でまだ共有されていない場合には、一部の実施形態では、共有ボタン1054が含まれていてもよい。個人が共有ボタン1054をクリックすることにより、精神状態グラフ1052などの精神状態情報、または精神状態情報の様々な要約をソーシャルネットワーク上で共有することができる。精神状態情報は、実施形態および個人の選択に応じて、個人、コンタクトまたはフレンドのグループまたはサブグループ、ソーシャルネットワークによって定義される別のグループと共有されてもよく、あるいは、誰でも見ることができる。写真1020またはソーシャルネットワーク上で表示される別の画像は、精神状態情報が幸せである場合には笑顔の写真など、現在共有されている精神状態情報を備えた個人の画像で更新されてもよい。場合によっては、個人の画像は、精神状態活動のピーク時のものである。一部の実施形態では、写真1020のセクション、またはソーシャルネットワークページコンテンツ1000の他のセクションは、映像を可能にでき、画像は、個人の反応の映像または精神状態情報を表す映像を含む。共有される精神状態情報が、ウェブ対応アプリケーションに関係する場合には、精神状態情報の共有の一部として、ウェブ対応アプリケーションのリファレンスの転送が行われてもよく、URLおよび映像中の特定の時点を示し得るタイムスタンプを含んでいてもよい。他の実施形態では、ウェブ対応アプリケーションからの素材画像またはウェブ対応アプリケーションからの素材映像を含んでいてもよい。様々な精神状態情報および関連アイテムの転送または共有が単一のソーシャルネットワークに対して行われてもよく、あるいは、一部のアイテムを1つのソーシャルネットワーク上で転送してもよく、その間に、他のアイテムを別のソーシャルネットワーク上で転送する。一部の実施形態では、複数のユーザからの精神状態情報を集約することにより、映像の評価を自動的に作成するなど、共有は、ウェブ対応アプリケーションに関する評価システムの一部である。
一部の実施形態は、精神状態スコア1056を含んでいてもよい。一部の実施形態では、精神状態データは、ある期間にわたって収集され、精神状態スコア1056において、共有される精神状態情報は、個人の気分を反映したものである。精神状態スコアは、気分または他の種類の表現を表す数字、スライドスケール、カラースケール、様々なアイコンまたは画像でもよい。一部の実施形態では、精神状態スコア1056は、1970年代に流行った「ムードリング」を模倣してもよい。限定されることはないが、フラストレーション、混乱、落胆、躊躇、認知的過負荷、集中、没頭、関心、退屈、探究、自信、信頼、喜び、および満足を含む様々なムードを表すことができる。
一部の実施形態では、フレンドの集約した精神状態のセクション1058を含んでいてもよい。このセクションには、自分の精神状態情報を共有することを選択したフレンドセクション1030に示されるフレンドの集約気分が含まれてもよい。他の実施形態では、個人と同じウェブ対応アプリケーションを閲覧したフレンドの集約した精神状態を含むことが可能で、個人が、精神状態グラフ1052における自分の精神状態情報を、自分のフレンドの精神状態情報1058と比較することが可能となり得る。他の実施形態では、異なるグループの様々な集約を表示することができる。
図11は、ソーシャルネットワーク上で共有を行うためのシステム図1100または精神状態の共有を行うためのシステムである。様々なコンピュータ間で通信を行うために、インターネット1110、イントラネット、または他のコンピュータネットワークを使用することができる。クライアントコンピュータ1120は、命令を保存するためのメモリ1126と、メモリ1126に取り付けられた1つまたは複数のプロセッサ1124とを備え、1つまたは複数のプロセッサ1124は、命令を実行することができる。クライアントコンピュータ1120は、精神状態情報1121を伝えるためのインターネット接続、および様々なレンダリングをユーザに提示できるディスプレイ1122も備えていてもよい。クライアントコンピュータ1120は、個人または複数の人から、彼らがレンダリングとやり取りする際に精神状態データを収集できるようにしてもよい。一部の実施形態では、複数のクライアントコンピュータ1120が存在し、各クライアントコンピュータが、一人の人または複数の人から、彼らがレンダリングとやり取りする際に精神状態データを収集してもよい。他の実施形態では、クライアントコンピュータ1120は、複数の人から、彼らがレンダリングとやり取りする際に収集された精神状態データを受信してもよい。クライアントコンピュータ1120は、精神状態情報の共有を選択する命令を個人から受信することができる。一旦精神状態データが収集されると、クライアントコンピュータは、許可を受信した場合、レンダリングとやり取りする複数の人からの精神状態データに基づいて、情報をサーバ1130にアップロードすることができる。クライアントコンピュータ1120は、インターネット1110、他のコンピュータネットワーク上で、あるいは、2つのコンピュータ間の通信に適した他の方法を用いて、サーバ1130と通信することができる。一部の実施形態では、サーバ1130の機能は、クライアントコンピュータにおいて実現されてもよい。
サーバ1130は、精神状態または収集された精神状態情報1131を受信するためのインターネット接続を備え、命令を保存するメモリ1134と、メモリ1134に取り付けられて命令を実行する1つまたは複数のプロセッサ1132とを備えていてもよい。サーバ1130は、複数の人から、彼らがクライアントコンピュータ1120またはコンピュータからのレンダリングとやり取りする際に収集された精神状態情報を受信することができ、精神状態データを分析して、精神状態情報を作成することができる。サーバ1130は、レンダリングとやり取りする複数の人に関する精神状態情報を集約することもできる。サーバ1130は、集約した精神状態情報をレンダリングと関連付けることもでき、測定中のコンテキストの基準の集まりと関連付けることもできる。一部の実施形態では、サーバ1130は、ユーザがレンダリングに関連する精神状態情報の閲覧および評価を行うことも許可し得るが、他の実施形態では、サーバ1130は、集約した精神状態情報1141を共有目的でソーシャルネットワーク1140に送信し、コンピュータネットワーク上で精神状態情報を配布することができる。これは、ソーシャルネットワーク上で精神状態情報を共有するために行われ得る。一部の実施形態では、ソーシャルネットワーク1140は、サーバ1130上で起動し得る。
上記各方法は、1つまたは複数のコンピュータシステムにおける1つまたは複数のプロセッサで実行されてもよい。実施形態では、様々な形式の分散コンピューティング、クライアント/サーバコンピューティング、およびクラウドベースのコンピューティングが含まれてもよい。さらに、本開示の各フローチャートに関して、描写したステップまたはボックスは、例示および説明目的でのみ提供したものであることが理解されるであろう。これらのステップは、変更、削除、または並べ替えが行われてもよく、本開示の範囲から逸脱することなく、他のステップを追加してもよい。さらに、各ステップは、1つまたは複数のサブステップを包含してもよい。上記の図面および記載は、開示したシステムの機能面を記述するが、これらの機能面を実現するためのソフトウェアおよび/またはハードウェアの特定の構成は、明記されない限り、あるいは、文脈から明白でない限り、これらの記載から推測されないものとする。このようなソフトウェアおよび/またはハードウェアの構成は全て、本開示の範囲に入るものとする。
ブロック図およびフローチャートの図解は、方法、装置、システム、およびコンピュータプログラム製品を示す。ブロック図およびフローチャートの図解の各要素、並びに、ブロック図およびフローチャートの図解中の要素の各組み合わせは、機能、方法の1ステップまたはステップのグループ、装置、システム、コンピュータプログラム製品および/またはコンピュータ実施方法を示す。あらゆるこのような機能は、コンピュータプログラム命令、特定用途のハードウェアベースコンピュータシステム、特定用途ハードウェアおよびコンピュータ命令の組み合わせ、汎用ハードウェアおよびコンピュータ命令の組み合わせなどによって実施することができる。あらゆるこれらのものは、本明細書においては一般的に、「回路」、「モジュール」、または「システム」と呼ばれ得る。
上述のコンピュータプログラム製品またはコンピュータ実施方法のいずれかを実行するプログラマブル装置は、1つまたは複数のマイクロプロセッサ、マイクロコントローラ、内蔵マイクロコントローラ、プログラマブルデジタル信号プロセッサ、プログラマブルデバイス、プログラマブルゲートアレイ、プログラマブルアレイ論理、メモリデバイス、または特定用途向け集積回路などを含み得る。各々を適宜用いて、または構成することにより、コンピュータプログラム命令の処理、コンピュータ論理の実行、コンピュータデータの保存などを行うことができる。
コンピュータは、コンピュータ可読ストレージ媒体からのコンピュータプログラム製品を含む場合があり、この媒体は、内蔵または外付け、リムーバブルおよび交換可能、または固定のものでもよいことが理解されるであろう。さらに、コンピュータは、本明細書に記載のソフトウェアおよびハードウェアを含み得る、それらとインタフェースをとり得る、またはそれらを支援し得る基本入出力システム(BIOS)、ファームウェア、オペレーティングシステム、またはデータベースなどを含み得る。
本発明の実施形態は、従来のコンピュータプログラムまたはそれらを実行するプログラマブル装置に関与するアプリケーションに限定されない。例えば、本願発明の実施形態が、光コンピュータ、量子コンピュータ、またはアナログコンピュータなどを含み得ることが考えられる。コンピュータプログラムをコンピュータにロードすることにより、あらゆる記載した機能を行い得る特定のマシンを生成してもよい。この特定マシンは、あらゆる記載した機能を実行する手段を提供する。
1つまたは複数のコンピュータ可読媒体のどのような組み合わせも利用することができる。コンピュータ可読媒体は、ストレージ用のコンピュータ可読媒体でもよい。コンピュータ可読ストレージ媒体は、電子、磁気、光、電磁、赤外線、半導体、またはどのような上記の適切な組み合わせでもよい。コンピュータ可読ストレージ媒体のさらなる例には、1つまたは複数の線を有する電気接続、ポータブルフロッピーディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROM、フラッシュ、MRAM、FeRAM、または相変化メモリ)、光ファイバ、携帯コンパクトディスク読み取り専用メモリ(CD−ROM)、光ストレージデバイス、磁気ストレージデバイス、またはどのような上記の適切な組み合わせも含まれ得る。本文書の文脈において、コンピュータ可読ストレージ媒体とは、命令実行システム、装置、またはデバイスによって、またはそれと関連して使用されるプログラムを包含または保存可能な、どのような有形媒体でもよい。
コンピュータプログラム命令は、コンピュータ実行可能コードを含み得ることが理解されるであろう。コンピュータプログラム命令を表現するための様々な言語には、限定を受けることなく、C、C++、Java、JavaScript(商標)、ActionScript(商標)、アセンブリ言語、Lisp、Perl、Tel、Python、Ruby、ハードウェア記述言語、データベースプログラミング言語、関数型プログラミング言語、命令型プログラミング言語などが含まれ得る。実施形態では、コンピュータプログラム命令を、保存、コンパイル、または解釈し、コンピュータ、プログラマブルデータ処理装置、プロセッサまたはプロセッサアーキテクチャの異種の組み合わせなどで実行することができる。限定されることなく、本発明の実施形態は、クライアント/サーバソフトウェア、サービス型ソフトウェア、またはピアツーピアソフトウェアなどを含むウェブベースのコンピュータソフトウェアの形を取り得る。
実施形態では、コンピュータは、複数のプログラムまたはスレッドを含むコンピュータプログラム命令の実行を可能にし得る。複数のプログラムまたはスレッドは、概ね同時に処理されることにより、プロセッサの利用を向上し、実質的な同時機能を促進し得る。実施を目的として、本明細書に記載の任意のあらゆる方法、プログラムコード、およびプログラム命令などは、1つまたは複数のスレッドにおいて実施されてもよい。各スレッドは、他のスレッドを生成する場合があり、これらの他のスレッド自体が、自身に関連する優先順位を有し得る。一部の実施形態では、コンピュータは、優先順位または他の順序に基づいて、これらのスレッドを処理し得る。
明白に記載されない限り、または文脈から明白でない限り、「実行する」および「処理する」という動詞は、交換可能に使用されて、実行する、処理する、解釈する、コンパイルする、アセンブルする、リンクする、ロードする、または上記の組み合わせを示す場合がある。従って、コンピュータプログラム命令、またはコンピュータ実行可能コードなどを実行または処理する実施形態は、記載したあらゆる方法で、命令またはコードに従って機能し得る。さらに、記載の方法ステップには、1つまたは複数の団体またはエンティティにこれらのステップを行わせる、いかなる適切な方法も含まれるものとする。あるステップまたはあるステップの一部を行う団体は、特定の地理的な位置または国境内に位置する必要はない。例えば、米国内に位置するあるエンティティが、ある方法ステップまたはその一部を米国外で行わせた場合、この方法は、このステップを行わせたエンティティにより、米国内で行われたと見なされる。
詳細に図示および記載した好適な実施形態に関連して本発明を開示したが、これらに対する様々な変更および改良が当業者には明らかとなるであろう。従って、本発明の精神および範囲は、上記の例によって限定されるものではなく、法律によって許される最も広い意味で理解されるものである。

Claims (99)

  1. 精神状態を通信するためのコンピュータ実施方法において、
    個人の精神状態データを収集するステップと、
    前記精神状態データを分析することにより、精神状態情報を作成するステップと、
    ソーシャルネットワーク上で前記精神状態情報を共有するステップと、
    を含むことを特徴とする方法。
  2. 請求項1に記載の方法において、前記個人によって、前記精神状態情報を共有することを選択するステップをさらに含むことを特徴とする方法。
  3. 請求項2に記載の方法において、前記選択ステップの前に、前記個人に対して前記精神状態情報を提示するステップをさらに含むことを特徴とする方法。
  4. 請求項1に記載の方法において、ある期間にわたって前記精神状態データを収集し、共有される前記精神状態情報は、前記個人の気分を反映したものであることを特徴とする方法。
  5. 請求項4に記載の方法において、前記気分は、フラストレーション、混乱、落胆、躊躇、認知的過負荷、集中、没頭、関心、退屈、探究、自信、信頼、喜び、および満足を含む群の内の1つを含むことを特徴とする方法。
  6. 請求項1に記載の方法において、前記共有ステップは、ソーシャルネットワークウェブページに精神状態情報を掲示することを含むことを特徴とする方法。
  7. 請求項1に記載の方法において、前記精神状態情報をサーバにアップロードするステップをさらに含むことを特徴とする方法。
  8. 請求項1に記載の方法において、コンピュータネットワーク上で前記精神状態情報を配布するステップをさらに含むことを特徴とする方法。
  9. 請求項1に記載の方法において、前記精神状態データは、生理学的データ、顔データ、およびアクティグラフデータを含む群の内の1つを含むことを特徴とする方法。
  10. 請求項9に記載の方法において、ウェブカメラを用いて、前記顔データおよび前記生理学的データの1つまたは複数を捕捉することを特徴とする方法。
  11. 請求項9に記載の方法において、前記顔データは、表情、動作ユニット、頭部ジェスチャー、笑顔、眉間のしわ、一瞥、下がった眉、上がった眉、および注目を含む群の内の1つまたは複数に関する情報を含むことを特徴とする方法。
  12. 請求項9に記載の方法において、前記生理学的データは、皮膚電位、心拍数、心拍数変動、皮膚温度、および呼吸の内の1つまたは複数を含むことを特徴とする方法。
  13. 請求項1に記載の方法において、収集された前記精神状態データに基づいた精神状態の推測をさらに含むことを特徴とする方法。
  14. 請求項13に記載の方法において、前記ソーシャルネットワーク内で同様の精神状態を識別するステップをさらに含むことを特徴とする方法。
  15. 請求項13に記載の方法において、前記精神状態は、フラストレーション、混乱、落胆、躊躇、認知的過負荷、集中、没頭、関心、退屈、探究、自信、信頼、喜び、および満足を含む群の内の1つを含むことを特徴とする方法。
  16. 請求項1に記載の方法において、共有中の前記精神状態情報を持つ前記個人の画像を通信するステップをさらに含むことを特徴とする方法。
  17. 請求項16に記載の方法において、前記個人の前記画像は、精神状態活動のピーク時のものであることを特徴とする方法。
  18. 請求項16に記載の方法において、前記画像は映像を含むことを特徴とする方法。
  19. 請求項1に記載の方法において、前記精神状態情報の配布を前記ソーシャルネットワークのサブセットに制限するステップをさらに含むことを特徴とする方法。
  20. 請求項1に記載の方法において、前記ソーシャルネットワーク上で、集約した精神状態情報を共有するステップをさらに含むことを特徴とする方法。
  21. 請求項1に記載の方法において、前記精神状態データは、前記個人がウェブ対応アプリケーションとやり取りする際に収集されることを特徴とする方法。
  22. 請求項21に記載の方法において、前記ウェブ対応アプリケーションは、ランディングページ、チェックアウトページ、ウェブページ、ウェブサイト、前記ウェブ対応アプリケーション上のビデオ、前記ウェブ対応アプリケーション上のゲーム、予告編、映画、広告、および仮想世界を含む群の内の1つであることを特徴とする方法。
  23. 請求項21に記載の方法において、前記精神状態情報の前記共有ステップの一部として、前記ウェブ対応アプリケーションのリファレンスの転送をさらに含むことを特徴とする方法。
  24. 請求項23に記載の方法において、前記リファレンスは、URLおよびタイムスタンプを含むことを特徴とする方法。
  25. 請求項23に記載の方法において、前記転送は、前記ウェブ対応アプリケーションからの素材画像を含むことを特徴とする方法。
  26. 請求項23に記載の方法において、前記転送は、前記ウェブ対応アプリケーションからの素材映像を含むことを特徴とする方法。
  27. 請求項21に記載の方法において、前記共有は、前記ウェブ対応アプリケーションに関する評価システムの一部であることを特徴とする方法。
  28. 請求項1に記載の方法において、前記精神状態データは、バイオセンサを用いて収集されることを特徴とする方法。
  29. 精神状態を通信するためにコンピュータ可読媒体において具現化されるコンピュータプログラム製品において、
    個人の精神状態データを収集するコードと、
    前記精神状態データを分析することにより、精神状態情報を作成するコードと、
    ソーシャルネットワーク上で前記精神状態情報を共有するコードと、
    を含むことを特徴とするコンピュータプログラム製品。
  30. 請求項29に記載のコンピュータプログラム製品において、前記個人によって、前記精神状態情報を共有することを選択するコードをさらに含むことを特徴とするコンピュータプログラム製品。
  31. 請求項30に記載のコンピュータプログラム製品において、前記選択の前に、前記個人に対して前記精神状態情報を提示するコードをさらに含むことを特徴とするコンピュータプログラム製品。
  32. 請求項29に記載のコンピュータプログラム製品において、ある期間にわたって前記精神状態データを収集し、共有される前記精神状態情報は、前記個人の気分を反映したものであることを特徴とするコンピュータプログラム製品。
  33. 請求項32に記載のコンピュータプログラム製品において、前記気分は、フラストレーション、混乱、落胆、躊躇、認知的過負荷、集中、没頭、関心、退屈、探究、自信、信頼、喜び、および満足を含む群の内の1つを含むことを特徴とするコンピュータプログラム製品。
  34. 請求項29に記載のコンピュータプログラム製品において、前記共有は、ソーシャルネットワークウェブページに精神状態情報を掲示することを含むことを特徴とするコンピュータプログラム製品。
  35. 請求項29に記載のコンピュータプログラム製品において、前記精神状態情報をサーバにアップロードするコードをさらに含むことを特徴とするコンピュータプログラム製品。
  36. 請求項29に記載のコンピュータプログラム製品において、コンピュータネットワーク上で前記精神状態情報を配布するコードをさらに含むことを特徴とするコンピュータプログラム製品。
  37. 請求項29に記載のコンピュータプログラム製品において、前記精神状態データは、生理学的データ、顔データ、およびアクティグラフデータを含む群の内の1つを含むことを特徴とするコンピュータプログラム製品。
  38. 請求項37に記載のコンピュータプログラム製品において、ウェブカメラを用いて、前記顔データおよび前記生理学的データの1つまたは複数を捕捉することを特徴とするコンピュータプログラム製品。
  39. 請求項37に記載のコンピュータプログラム製品において、前記顔データは、表情、動作ユニット、頭部ジェスチャー、笑顔、眉間のしわ、一瞥、下がった眉、上がった眉、および注目を含む群の内の1つまたは複数に関する情報を含むことを特徴とするコンピュータプログラム製品。
  40. 請求項37に記載のコンピュータプログラム製品において、前記生理学的データは、皮膚電位、心拍数、心拍数変動、皮膚温度、および呼吸の内の1つまたは複数を含むことを特徴とするコンピュータプログラム製品。
  41. 請求項29に記載のコンピュータプログラム製品において、収集された前記精神状態データに基づいて精神状態を推測するコードをさらに含むことを特徴とするコンピュータプログラム製品。
  42. 請求項41に記載のコンピュータプログラム製品において、前記ソーシャルネットワーク内で同様の精神状態を識別するコードをさらに含むことを特徴とするコンピュータプログラム製品。
  43. 請求項41に記載のコンピュータプログラム製品において、前記精神状態は、フラストレーション、混乱、落胆、躊躇、認知的過負荷、集中、没頭、関心、退屈、探究、自信、信頼、喜び、および満足を含む群の内の1つを含むことを特徴とするコンピュータプログラム製品。
  44. 請求項29に記載のコンピュータプログラム製品において、共有中の前記精神状態情報を持つ前記個人の画像を通信するコードをさらに含むことを特徴とするコンピュータプログラム製品。
  45. 請求項44に記載のコンピュータプログラム製品において、前記個人の前記画像は、精神状態活動のピーク時のものであることを特徴とするコンピュータプログラム製品。
  46. 請求項44に記載のコンピュータプログラム製品において、前記画像は映像を含むことを特徴とするコンピュータプログラム製品。
  47. 請求項29に記載のコンピュータプログラム製品において、前記精神状態情報の配布を前記ソーシャルネットワークのサブセットに制限するコードをさらに含むことを特徴とするコンピュータプログラム製品。
  48. 請求項29に記載のコンピュータプログラム製品において、前記ソーシャルネットワーク上で、集約した精神状態情報を共有するコードをさらに含むことを特徴とするコンピュータプログラム製品。
  49. 請求項29に記載のコンピュータプログラム製品において、前記精神状態データは、前記個人がウェブ対応アプリケーションとやり取りする際に収集されることを特徴とするコンピュータプログラム製品。
  50. 請求項49に記載のコンピュータプログラム製品において、前記ウェブ対応アプリケーションは、ランディングページ、チェックアウトページ、ウェブページ、ウェブサイト、前記ウェブ対応アプリケーション上のビデオ、前記ウェブ対応アプリケーション上のゲーム、予告編、映画、広告、および仮想世界を含む群の内の1つであることを特徴とするコンピュータプログラム製品。
  51. 請求項49に記載のコンピュータプログラム製品において、前記精神状態情報の前記共有の一部として、前記ウェブ対応アプリケーションのリファレンスを転送するコードをさらに含むことを特徴とするコンピュータプログラム製品。
  52. 請求項51に記載のコンピュータプログラム製品において、前記リファレンスは、URLおよびタイムスタンプを含むことを特徴とするコンピュータプログラム製品。
  53. 請求項51に記載のコンピュータプログラム製品において、前記転送は、前記ウェブ対応アプリケーションからの素材画像を含むことを特徴とするコンピュータプログラム製品。
  54. 請求項51に記載のコンピュータプログラム製品において、前記転送は、前記ウェブ対応アプリケーションからの素材映像を含むことを特徴とするコンピュータプログラム製品。
  55. 請求項49に記載のコンピュータプログラム製品において、前記共有は、前記ウェブ対応アプリケーションに関する評価システムの一部であることを特徴とするコンピュータプログラム製品。
  56. 請求項29に記載のコンピュータプログラム製品において、前記精神状態データは、バイオセンサを用いて収集されることを特徴とするコンピュータプログラム製品。
  57. 精神状態を共有するためのシステムにおいて、
    命令を保存するためのメモリと、
    前記メモリに取り付けられた1つまたは複数のプロセッサにおいて、
    個人の精神状態データの収集と、
    前記精神状態データの分析による精神状態情報の作成と、
    前記個人からの、前記精神状態情報の共有を選択する命令の受信と、
    ソーシャルネットワーク上での前記精神状態の共有と、
    を行うように構成された1つまたは複数のプロセッサと、
    を含むことを特徴とするシステム。
  58. 請求項57に記載のシステムにおいて、前記1つまたは複数のプロセッサは、前記個人によって、前記精神状態情報を共有することを選択するようにさらに構成されていることを特徴とするシステム。
  59. 請求項58に記載のシステムにおいて、前記1つまたは複数のプロセッサは、選択の前に、前記個人に対して前記精神状態情報を提示するようにさらに構成されていることを特徴とするシステム。
  60. 請求項57に記載のシステムにおいて、ある期間にわたって前記精神状態データを収集し、共有される前記精神状態情報は、前記個人の気分を反映したものであることを特徴とするシステム。
  61. 請求項60に記載のシステムにおいて、前記気分は、フラストレーション、混乱、落胆、躊躇、認知的過負荷、集中、没頭、関心、退屈、探究、自信、信頼、喜び、および満足を含む群の内の1つを含むことを特徴とするシステム。
  62. 請求項57に記載のシステムにおいて、共有は、ソーシャルネットワークウェブページに精神状態情報を掲示することを含むことを特徴とするシステム。
  63. 請求項57に記載のシステムにおいて、前記1つまたは複数のプロセッサは、前記精神状態情報をサーバにアップロードするようにさらに構成されていることを特徴とするシステム。
  64. 請求項57に記載のシステムにおいて、前記1つまたは複数のプロセッサは、コンピュータネットワーク上で前記精神状態情報を配布するようにさらに構成されていることを特徴とするシステム。
  65. 請求項57に記載のシステムにおいて、前記精神状態データは、生理学的データ、顔データ、およびアクティグラフデータを含む群の内の1つを含むことを特徴とするシステム。
  66. 請求項65に記載のシステムにおいて、前記顔データは、表情、動作ユニット、頭部ジェスチャー、笑顔、眉間のしわ、一瞥、下がった眉、上がった眉、および注目を含む群の内の1つまたは複数に関する情報を含むことを特徴とするシステム。
  67. 請求項65に記載のシステムにおいて、前記生理学的データは、皮膚電位、心拍数、心拍数変動、皮膚温度、および呼吸の内の1つまたは複数を含むことを特徴とするシステム。
  68. 請求項65に記載のシステムにおいて、ウェブカメラを用いて、前記顔データおよび前記生理学的データの1つまたは複数を捕捉することを特徴とするシステム。
  69. 請求項57に記載のシステムにおいて、前記1つまたは複数のプロセッサは、収集された前記精神状態データに基づいて、精神状態を推測するようにさらに構成されていることを特徴とするシステム。
  70. 請求項69に記載のシステムにおいて、前記1つまたは複数のプロセッサは、前記ソーシャルネットワーク内で同様の精神状態を識別するようにさらに構成されていることを特徴とするシステム。
  71. 請求項69に記載のシステムにおいて、前記精神状態は、フラストレーション、混乱、落胆、躊躇、認知的過負荷、集中、没頭、関心、退屈、探究、自信、信頼、喜び、および満足を含む群の内の1つを含むことを特徴とするシステム。
  72. 請求項57に記載のシステムにおいて、前記1つまたは複数のプロセッサは、共有中の前記精神状態情報を持つ前記個人の画像を通信するようにさらに構成されていることを特徴とするシステム。
  73. 請求項72に記載のシステムにおいて、前記個人の前記画像は、精神状態活動のピーク時のものであることを特徴とするシステム。
  74. 請求項72に記載のシステムにおいて、前記画像は映像を含むことを特徴とするシステム。
  75. 請求項57に記載のシステムにおいて、前記1つまたは複数のプロセッサは、前記精神状態情報の配布を前記ソーシャルネットワークのサブセットに制限するようにさらに構成されていることを特徴とするシステム。
  76. 請求項57に記載のシステムにおいて、前記1つまたは複数のプロセッサは、前記ソーシャルネットワーク上で、集約した精神状態情報を共有するようにさらに構成されていることを特徴とするシステム。
  77. 請求項57に記載のシステムにおいて、前記精神状態データは、前記個人がウェブ対応アプリケーションとやり取りする際に収集されることを特徴とするシステム。
  78. 請求項77に記載のシステムにおいて、前記ウェブ対応アプリケーションは、ランディングページ、チェックアウトページ、ウェブページ、ウェブサイト、前記ウェブ対応アプリケーション上のビデオ、前記ウェブ対応アプリケーション上のゲーム、予告編、映画、広告、および仮想世界を含む群の内の1つであることを特徴とするシステム。
  79. 請求項77に記載のシステムにおいて、前記1つまたは複数のプロセッサは、前記精神状態情報の前記共有の一部として、前記ウェブ対応アプリケーションのリファレンスを転送するようにさらに構成されていることを特徴とするシステム。
  80. 請求項79に記載のシステムにおいて、前記リファレンスは、URLおよびタイムスタンプを含むことを特徴とするシステム。
  81. 請求項79に記載のシステムにおいて、転送は、前記ウェブ対応アプリケーションからの素材画像を含むことを特徴とするシステム。
  82. 請求項79に記載のシステムにおいて、転送は、前記ウェブ対応アプリケーションからの素材映像を含むことを特徴とするシステム。
  83. 請求項77に記載のシステムにおいて、前記共有は、前記ウェブ対応アプリケーションに関する評価システムの一部であることを特徴とするシステム。
  84. 請求項57に記載のシステムにおいて、前記精神状態データは、バイオセンサを用いて収集されることを特徴とするシステム。
  85. 精神状態を共有するためのコンピュータ実施方法において、
    個人からの精神状態データに基づいた精神状態情報を受信するステップと、
    受信した前記精神状態情報に基づいて、前記個人の精神状態を推測するステップと、
    ソーシャルネットワーク上で推測された前記精神状態を共有するステップと、
    を含むことを特徴とする方法。
  86. 請求項85に記載の方法において、前記個人による、前記精神状態情報を共有することの選択を受信するステップをさらに含むことを特徴とする方法。
  87. 請求項85に記載の方法において、ある期間にわたって前記精神状態データを収集し、共有される前記精神状態情報は、前記個人の気分を反映したものであることを特徴とする方法。
  88. 請求項87に記載の方法において、前記気分は、フラストレーション、混乱、落胆、躊躇、認知的過負荷、集中、没頭、関心、退屈、探究、自信、信頼、喜び、および満足を含む群の内の1つを含むことを特徴とする方法。
  89. 請求項85に記載の方法において、前記共有ステップは、ソーシャルネットワークウェブページに精神状態情報を掲示することを含むことを特徴とする方法。
  90. 請求項85に記載の方法において、前記精神状態データは、生理学的データ、顔データ、およびアクティグラフデータを含む群の内の1つを含むことを特徴とする方法。
  91. 請求項90に記載の方法において、ウェブカメラを用いて、前記顔データおよび前記生理学的データの1つまたは複数を捕捉することを特徴とする方法。
  92. 請求項91に記載の方法において、前記顔データは、表情、動作ユニット、頭部ジェスチャー、笑顔、眉間のしわ、一瞥、下がった眉、上がった眉、および注目を含む群の内の1つまたは複数に関する情報を含むことを特徴とする方法。
  93. 請求項91に記載の方法において、前記生理学的データは、皮膚電位、心拍数、心拍数変動、皮膚温度、および呼吸の内の1つまたは複数を含むことを特徴とする方法。
  94. 請求項85に記載の方法において、前記精神状態の前記推測ステップは、前記個人から収集された前記精神状態データに基づくことを特徴とする方法。
  95. 請求項94に記載の方法において、前記ソーシャルネットワーク内で同様の精神状態を識別するステップをさらに含むことを特徴とする方法。
  96. 請求項85に記載の方法において、前記精神状態情報の配布を前記ソーシャルネットワークのサブセットに制限するステップをさらに含むことを特徴とする方法。
  97. 請求項85に記載の方法において、前記ソーシャルネットワーク上で、集約した精神状態情報を共有するステップをさらに含むことを特徴とする方法。
  98. 請求項85に記載の方法において、前記精神状態情報の前記共有ステップの一部として、ウェブ対応アプリケーションのリファレンスを転送するステップをさらに含むことを特徴とする方法。
  99. 請求項85に記載の方法において、前記精神状態データは、バイオセンサを用いて収集されることを特徴とする方法。
JP2013539962A 2010-11-17 2011-11-16 ソーシャルネットワーク上での感情共有 Pending JP2014501967A (ja)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US41445110P 2010-11-17 2010-11-17
US61/414,451 2010-11-17
US201161439913P 2011-02-06 2011-02-06
US61/439,913 2011-02-06
US201161447089P 2011-02-27 2011-02-27
US61/447,089 2011-02-27
US201161447464P 2011-02-28 2011-02-28
US61/447,464 2011-02-28
US201161467209P 2011-03-24 2011-03-24
US61/467,209 2011-03-24
US201161549560P 2011-10-20 2011-10-20
US61/549,560 2011-10-20
PCT/US2011/060900 WO2012068193A2 (en) 2010-11-17 2011-11-16 Sharing affect across a social network

Publications (2)

Publication Number Publication Date
JP2014501967A true JP2014501967A (ja) 2014-01-23
JP2014501967A5 JP2014501967A5 (ja) 2015-04-16

Family

ID=46048788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013539962A Pending JP2014501967A (ja) 2010-11-17 2011-11-16 ソーシャルネットワーク上での感情共有

Country Status (8)

Country Link
US (1) US20120124122A1 (ja)
EP (1) EP2641228A4 (ja)
JP (1) JP2014501967A (ja)
KR (1) KR20140001930A (ja)
CN (1) CN103209642A (ja)
AU (1) AU2011329025A1 (ja)
BR (1) BR112013011819A2 (ja)
WO (1) WO2012068193A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016002306A1 (ja) * 2014-07-02 2016-01-07 ソニー株式会社 情報処理システム、情報処理端末、および情報処理方法
WO2016178327A1 (ja) * 2015-05-01 2016-11-10 ソニー株式会社 情報処理システム、通信デバイス、制御方法、および記憶媒体
US10706223B2 (en) 2017-03-24 2020-07-07 Fuji Xerox Co., Ltd. Notification of recommendation information based on acquired emotion information of writer

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI617936B (zh) 2007-09-24 2018-03-11 蘋果公司 於電子設備中嵌入鑑認系統
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US9934425B2 (en) 2010-06-07 2018-04-03 Affectiva, Inc. Collection of affect data from multiple mobile devices
US20120265811A1 (en) * 2011-04-12 2012-10-18 Anurag Bist System and Method for Developing Evolving Online Profiles
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US11064257B2 (en) 2011-11-07 2021-07-13 Monet Networks, Inc. System and method for segment relevance detection for digital content
US10638197B2 (en) 2011-11-07 2020-04-28 Monet Networks, Inc. System and method for segment relevance detection for digital content using multimodal correlations
WO2013086357A2 (en) 2011-12-07 2013-06-13 Affectiva, Inc. Affect based evaluation of advertisement effectiveness
US9418390B2 (en) * 2012-09-24 2016-08-16 Intel Corporation Determining and communicating user's emotional state related to user's physiological and non-physiological data
US10187254B2 (en) 2012-10-09 2019-01-22 At&T Intellectual Property I, L.P. Personalization according to mood
KR101617114B1 (ko) * 2012-11-06 2016-04-29 인텔 코포레이션 생리학적 데이터를 사용한 소셜 감성 결정
WO2014105266A1 (en) * 2012-12-31 2014-07-03 Affectiva, Inc. Optimizing media based on mental state analysis
US9202352B2 (en) 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
WO2014145228A1 (en) * 2013-03-15 2014-09-18 Affectiva, Inc. Mental state well being monitoring
US10545132B2 (en) 2013-06-25 2020-01-28 Lifescan Ip Holdings, Llc Physiological monitoring system communicating with at least a social network
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US10013892B2 (en) * 2013-10-07 2018-07-03 Intel Corporation Adaptive learning environment driven by real-time identification of engagement level
GB2519339A (en) 2013-10-18 2015-04-22 Realeyes O Method of collecting computer user data
WO2015067534A1 (en) * 2013-11-05 2015-05-14 Thomson Licensing A mood handling and sharing method and a respective system
US9930136B2 (en) * 2014-03-07 2018-03-27 International Business Machines Corporation Forming social media groups based on emotional states
GB201404234D0 (en) 2014-03-11 2014-04-23 Realeyes O Method of generating web-based advertising inventory, and method of targeting web-based advertisements
US9483763B2 (en) 2014-05-29 2016-11-01 Apple Inc. User interface for payments
CN105141401B (zh) 2014-06-03 2019-04-12 西安中兴新软件有限责任公司 一种帧聚合方法及电子设备
JP6596945B2 (ja) * 2014-07-31 2019-10-30 セイコーエプソン株式会社 運動解析方法、運動解析装置、運動解析システム及び運動解析プログラム
US11494390B2 (en) 2014-08-21 2022-11-08 Affectomatics Ltd. Crowd-based scores for hotels from measurements of affective response
DE102015113942A1 (de) 2014-08-21 2016-02-25 Affectomatics Ltd. Rating von Urlaubszielen auf der Grundlage von affektiver Reaktion
US11269891B2 (en) 2014-08-21 2022-03-08 Affectomatics Ltd. Crowd-based scores for experiences from measurements of affective response
US9805381B2 (en) 2014-08-21 2017-10-31 Affectomatics Ltd. Crowd-based scores for food from measurements of affective response
CN105718709A (zh) * 2014-12-02 2016-06-29 展讯通信(上海)有限公司 数据处理方法及数据处理***
DE102016101643A1 (de) 2015-01-29 2016-08-04 Affectomatics Ltd. Filterung von durch bias verzerrten messwerten der affektiven reaktion
US11232466B2 (en) 2015-01-29 2022-01-25 Affectomatics Ltd. Recommendation for experiences based on measurements of affective response that are backed by assurances
CA2981052A1 (en) * 2015-03-30 2016-10-06 Twiin, Inc. Systems and methods of generating consciousness affects
CN104793743B (zh) * 2015-04-10 2018-08-24 深圳市虚拟现实科技有限公司 一种虚拟社交***及其控制方法
CN104916176B (zh) * 2015-07-08 2019-01-01 广东小天才科技有限公司 一种课堂录音设备及录音方法
CN105930408A (zh) * 2016-04-16 2016-09-07 张海涛 一种亲密关系在线促进***
CN105933632A (zh) * 2016-05-05 2016-09-07 广东小天才科技有限公司 一种课件记录方法及装置
US10762429B2 (en) * 2016-05-18 2020-09-01 Microsoft Technology Licensing, Llc Emotional/cognitive state presentation
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
US10445385B2 (en) 2016-05-31 2019-10-15 International Business Machines Corporation Social sharing path user interface insights
US9949074B2 (en) 2016-07-25 2018-04-17 International Business Machines Corporation Cognitive geofencing
US9942707B2 (en) 2016-07-25 2018-04-10 International Business Machines Corporation Cognitive geofencing
US20180032126A1 (en) * 2016-08-01 2018-02-01 Yadong Liu Method and system for measuring emotional state
WO2018057544A1 (en) * 2016-09-20 2018-03-29 Twiin, Inc. Systems and methods of generating consciousness affects using one or more non-biological inputs
AU2017330208B2 (en) * 2016-09-23 2019-12-12 Apple Inc. Image data for enhanced user interactions
US10600507B2 (en) 2017-02-03 2020-03-24 International Business Machines Corporation Cognitive notification for mental support
US10958742B2 (en) 2017-02-16 2021-03-23 International Business Machines Corporation Cognitive content filtering
US20180295212A1 (en) * 2017-04-07 2018-10-11 Bukio Corp System, device and server for generating address data for part of contents in electronic book
US10395693B2 (en) * 2017-04-10 2019-08-27 International Business Machines Corporation Look-ahead for video segments
KR102435337B1 (ko) 2017-05-16 2022-08-22 애플 인크. 이모지 레코딩 및 전송
EP4155988A1 (en) 2017-09-09 2023-03-29 Apple Inc. Implementation of biometric authentication for performing a respective function
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
DK201870374A1 (en) 2018-05-07 2019-12-04 Apple Inc. AVATAR CREATION USER INTERFACE
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
CN109171649B (zh) * 2018-08-30 2021-08-17 合肥工业大学 智能影像式生命体征探测仪
CN109260710B (zh) * 2018-09-14 2021-10-01 北京智明星通科技股份有限公司 一种基于心情的游戏app优化方法、装置及终端设备
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
CN110558997A (zh) * 2019-08-30 2019-12-13 深圳智慧林网络科技有限公司 基于机器人的陪护方法、机器人和计算机可读存储介质
US11443424B2 (en) * 2020-04-01 2022-09-13 Kpn Innovations, Llc. Artificial intelligence methods and systems for analyzing imagery
CN114420294A (zh) * 2022-03-24 2022-04-29 北京无疆脑智科技有限公司 心理发展水平评估方法、装置、设备、存储介质和***
GB2617820A (en) * 2022-03-28 2023-10-25 Workspace Design Global Ltd Freestanding shelving unit and system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002034936A (ja) * 2000-07-24 2002-02-05 Sharp Corp 通信装置および通信方法
JP2005058534A (ja) * 2003-08-14 2005-03-10 Sony Corp 情報処理端末及び通信システム
JP2009535709A (ja) * 2006-04-28 2009-10-01 ヤフー! インコーポレイテッド ソーシャルネットワークバイタリティ情報に基づくコンテキスチュアルモバイルローカルサーチ
US20100198757A1 (en) * 2009-02-02 2010-08-05 Microsoft Corporation Performance of a social network

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5772508A (en) * 1995-09-28 1998-06-30 Amtex Co., Ltd. Game or play facilities controlled by physiological information
US20050289582A1 (en) * 2004-06-24 2005-12-29 Hitachi, Ltd. System and method for capturing and using biometrics to review a product, service, creative work or thing
US7921369B2 (en) * 2004-12-30 2011-04-05 Aol Inc. Mood-based organization and display of instant messenger buddy lists
CA2599148A1 (en) * 2005-02-22 2006-08-31 Health-Smart Limited Methods and systems for physiological and psycho-physiological monitoring and uses thereof
US20080103784A1 (en) * 2006-10-25 2008-05-01 0752004 B.C. Ltd. Method and system for constructing an interactive online network of living and non-living entities
US20080214944A1 (en) * 2007-02-09 2008-09-04 Morris Margaret E System, apparatus and method for mobile real-time feedback based on changes in the heart to enhance cognitive behavioral therapy for anger or stress reduction
KR100964325B1 (ko) * 2007-10-22 2010-06-17 경희대학교 산학협력단 온톨로지를 이용한 공간의 상황정보 공유시스템
WO2009059248A1 (en) * 2007-10-31 2009-05-07 Emsense Corporation Systems and methods providing distributed collection and centralized processing of physiological responses from viewers
US20090128567A1 (en) * 2007-11-15 2009-05-21 Brian Mark Shuster Multi-instance, multi-user animation with coordinated chat
US7889073B2 (en) * 2008-01-31 2011-02-15 Sony Computer Entertainment America Llc Laugh detector and system and method for tracking an emotional response to a media presentation
US20090203998A1 (en) * 2008-02-13 2009-08-13 Gunnar Klinghult Heart rate counter, portable apparatus, method, and computer program for heart rate counting
US20100223341A1 (en) * 2009-02-27 2010-09-02 Microsoft Corporation Electronic messaging tailored to user interest
US9386139B2 (en) * 2009-03-20 2016-07-05 Nokia Technologies Oy Method and apparatus for providing an emotion-based user interface
US20100274847A1 (en) * 2009-04-28 2010-10-28 Particle Programmatica, Inc. System and method for remotely indicating a status of a user
WO2010132568A1 (en) * 2009-05-13 2010-11-18 Wms Gaming, Inc. Player head tracking for wagering game control
KR101708682B1 (ko) * 2010-03-03 2017-02-21 엘지전자 주식회사 영상표시장치 및 그 동작 방법.
US20110143728A1 (en) * 2009-12-16 2011-06-16 Nokia Corporation Method and apparatus for recognizing acquired media for matching against a target expression
US20110263946A1 (en) * 2010-04-22 2011-10-27 Mit Media Lab Method and system for real-time and offline analysis, inference, tagging of and responding to person(s) experiences
US20110301433A1 (en) * 2010-06-07 2011-12-08 Richard Scott Sadowsky Mental state analysis using web services
US20120311032A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Emotion-based user identification for online experiences
US20130019187A1 (en) * 2011-07-15 2013-01-17 International Business Machines Corporation Visualizing emotions and mood in a collaborative social networking environment
US9020185B2 (en) * 2011-09-28 2015-04-28 Xerox Corporation Systems and methods for non-contact heart rate sensing
US9407097B2 (en) * 2013-03-04 2016-08-02 Hello Inc. Methods using wearable device with unique user ID and telemetry system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002034936A (ja) * 2000-07-24 2002-02-05 Sharp Corp 通信装置および通信方法
JP2005058534A (ja) * 2003-08-14 2005-03-10 Sony Corp 情報処理端末及び通信システム
JP2009535709A (ja) * 2006-04-28 2009-10-01 ヤフー! インコーポレイテッド ソーシャルネットワークバイタリティ情報に基づくコンテキスチュアルモバイルローカルサーチ
US20100198757A1 (en) * 2009-02-02 2010-08-05 Microsoft Corporation Performance of a social network

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016002306A1 (ja) * 2014-07-02 2016-01-07 ソニー株式会社 情報処理システム、情報処理端末、および情報処理方法
US10546402B2 (en) 2014-07-02 2020-01-28 Sony Corporation Information processing system, information processing terminal, and information processing method
WO2016178327A1 (ja) * 2015-05-01 2016-11-10 ソニー株式会社 情報処理システム、通信デバイス、制御方法、および記憶媒体
JPWO2016178327A1 (ja) * 2015-05-01 2018-02-22 ソニー株式会社 情報処理システム、通信デバイス、制御方法、および記憶媒体
US11392979B2 (en) 2015-05-01 2022-07-19 Sony Corporation Information processing system, communication device, control method, and storage medium
US10706223B2 (en) 2017-03-24 2020-07-07 Fuji Xerox Co., Ltd. Notification of recommendation information based on acquired emotion information of writer

Also Published As

Publication number Publication date
WO2012068193A3 (en) 2012-07-19
CN103209642A (zh) 2013-07-17
KR20140001930A (ko) 2014-01-07
WO2012068193A2 (en) 2012-05-24
US20120124122A1 (en) 2012-05-17
EP2641228A2 (en) 2013-09-25
AU2011329025A1 (en) 2013-05-23
BR112013011819A2 (pt) 2019-09-24
EP2641228A4 (en) 2014-05-21

Similar Documents

Publication Publication Date Title
JP2014501967A (ja) ソーシャルネットワーク上での感情共有
US20220084055A1 (en) Software agents and smart contracts to control disclosure of crowd-based results calculated based on measurements of affective response
US9955902B2 (en) Notifying a user about a cause of emotional imbalance
US10111611B2 (en) Personal emotional profile generation
US9204836B2 (en) Sporadic collection of mobile affect data
US20120083675A1 (en) Measuring affective data for web-enabled applications
US10198505B2 (en) Personalized experience scores based on measurements of affective response
US10572679B2 (en) Privacy-guided disclosure of crowd-based scores computed based on measurements of affective response
US9723992B2 (en) Mental state analysis using blink rate
US20140200463A1 (en) Mental state well being monitoring
US20160306844A1 (en) Determining a Cause of Inaccuracy in Predicted Affective Response
US20110301433A1 (en) Mental state analysis using web services
US9934425B2 (en) Collection of affect data from multiple mobile devices
US20130245396A1 (en) Mental state analysis using wearable-camera devices
US20170095192A1 (en) Mental state analysis using web servers
US20190108191A1 (en) Affective response-based recommendation of a repeated experience
US20130189661A1 (en) Scoring humor reactions to digital media
JP2015505087A (ja) 広告効果の感情に基づく評価
WO2014145228A1 (en) Mental state well being monitoring
US20150215412A1 (en) Social network service queuing using salience
US20130218663A1 (en) Affect based political advertisement analysis
US20130052621A1 (en) Mental state analysis of voters
CN113287281A (zh) 将情绪数据整合至社交网络平台并在社交网络平台上共享情绪数据的***及方法
WO2014106216A1 (en) Collection of affect data from multiple mobile devices
WO2014066871A1 (en) Sporadic collection of mobile affect data

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141114

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160913