JP6743036B2 - 共感型計算装置とインターフェース接続するための共感型ユーザインターフェース、システム、及び方法 - Google Patents

Description

本願は２０１５年２月２３日付で出願された米国仮特許出願第６２／１１９，６０８号に対する優先権を主張する。前述の仮特許出願は、任意の目的で、その全体が参照によってここに援用される。

ここに記述される例は一般的に、ユーザとインターフェース接続するための共感型インターフェースを有する計算システムのような共感型計算システムに関する。

計算システムは、我々の日常生活においてユビキタスになってきている。ユーザは、典型的にはグラフィックユーザインターフェースであるユーザインターフェースを通して、計算システム（例えばコンピュータ）と相互作用する。現時点で既知の計算システムのグラフィックユーザインターフェースは典型的には、ユーザがそのマシン（例えばコンピュータ）と相互作用するために、キーボード、ポインタ装置（例えば、マウス、トラックパッドなど）、モニタ、及びより最近のタッチスクリーンインターフェースのようなあるハードウエアの使用を必要とする。例えば、コンピュータとのコミュニケーション又は相互作用を有効にするために、ユーザは、キーボード又はポインタ装置のボタンを押すか、あるいはタッチスクリーンインターフェースを介して特定の情報を触覚的に入力することを求められ得る。それに対応するように、情報は、典型的にはコンピュータモニタ（例えばＬＣＤスクリーン又は同様のディスプレー装置）上でグラフィック的にユーザに返信される。したがって、従来のユーザインターフェースの使用は、入力装置に特定の情報を入力することによって、明確なコマンドが提供されることを必要とする。計算システムは一般的には、例えばユーザの自然な動きに反応することによって、ユーザと切れ目なく相互作用することはできない。

ここに記述される例は一般的に、ユーザとインターフェース接続するための共感型インターフェースを有する計算システムのような共感型計算システムに関する。いくつかの例によれば、共感型計算システムとインターフェース接続する方法は、共感型計算装置のセンサから、共感型計算装置との複数の相互作用ユニットを備えるユーザ相互作用によって生成されたセンサデータを受領するステップと、ユーザ相互作用に関連したコンテクスト的情報を受領するステップと、例示的なセンサデータと所定の相互作用ユニットとの間の記憶された関連を使用して、センサデータを相互作用ユニットのシーケンスとして分類するステップと、共感型計算装置にフィードバックを提供するステップと、を含み得て、フィードバックが、少なくとも部分的に、相互作用ユニットのシーケンス及びコンテクスト的情報に基づく。

いくつかの例によれば、共感型計算装置は、プロセッサと、共感型計算装置との複数の相互作用ユニットを備えるユーザ相互作用に基づいてセンサデータを生成するように構成された複数のセンサと、複数のセンサ及びプロセッサに動作的に結合されたメモリと、を備える。メモリは、例示的なセンサデータと所定の相互作用ユニットとの間の記憶された関連を備えており、メモリはさらにプロセッサ実行可能な指令を備えており、これは、プロセッサによって実行されると、共感型計算装置に、ユーザ相互作用に関連したコンテクスト的情報を受領させ、例示的なセンサデータと所定の相互作用ユニットとの間の記憶された関連を使用してセンサデータを相互作用ユニットのシーケンスとして分類させ、少なくとも部分的に相互作用ユニットのシーケンス及びコンテクスト的情報に基づいたフィードバックを提供させる。

本開示のいくつかの例に従った共感型計算システムの動作環境である。 本開示のいくつかの例に従った共感型計算装置のブロック図である。 本開示のいくつかの例に従った図２の共感型計算装置のブロック図である。 本開示のいくつかの例に従った共感型計算装置とともに使用するための所定の相互作用ユニットの表である。 本開示のいくつかの例に従った共感型計算装置とともに使用するための所定の相互作用ユニットの他の表である。 本開示のいくつかの例に従った共感型計算装置のプロセス図である。 本開示のいくつかの例に従った共感型計算装置の共感抽出及び状態遷移のステージを描いたプロセス図である。 本開示のいくつかの例に従った共感型計算装置の共感抽出及び状態遷移のステージを描いたプロセス図である。 本開示のいくつかの例に従った話認識による共感抽出のプロセス図である。 本開示のいくつかの例に従った共感型計算装置の図である。 図９の共感型計算装置の底部である。 本開示のいくつかの例に従ったユーザ相互作用セッションの間に抽出された相互作用ユニットのシーケンスの図である。 本開示に従ったユーザ発声に応答したフィードバック生成の一例の図である。 本開示のいくつかの例に従った音声フィードバックの生成において使用するための音の断片の表である。 本開示のいくつかの例に従った共感データベースにおける例示的なデータ構造である。 本開示のいくつかの例に従った共感サービスプラットフォームの図である。 本開示のいくつかの例に従ったデータ分析プロセスの例示的な結果を示す表である。 本開示のいくつかの例に従った再帰的ループの図である。 本開示のいくつかの例に従った共感データに対して実行され得る確率論的分析の図である。

本開示の例は、共感型計算装置及び共感的計算システムに関する。共感型計算装置は、スマート装置、スマートフォンなどのような、共感型ユーザインターフェースを利用してオペレーティングシステムを実行するように構成されている携帯型電子装置を含む任意の計算装置であり得る。共感型計算システムは、少なくとも一つの共感型計算装置を含む計算システムであり得る。共感型ユーザインターフェースは、ユーザが共感型計算装置に接近する、ユーザが共感型計算装置を手に取る、ユーザが共感型計算装置の近傍で話しかけるか顔の表情、ジェスチャ、姿勢の変化を作る、ユーザによる共感型計算装置の動き、あるいは共感型計算装置に対するユーザ又はユーザの身体の一部の相対的な動き、ユーザが共感型計算装置を支持表面（テーブル、机、カウンタ、バッテリ充電器、など）に戻す、などのような自然な人間の動作（自然な人間の振舞いとも称される）に反応して機能を実行し得るユーザインターフェースであり得る。これらの自然な人間の動作は例示的なだけであって、共感型計算装置は、仮想的に任意の自然な人間の動作に反応して機能を実行し得る。それらの更なる例は、さらに記述される。

いくつかの例では、ユーザと計算装置との間の共感的コミュニケーションのためのシステム及び方法が記述される。共感型（empathic又はempathetic）という語句は、ここでは相互交換的に使用され得る。いくつかの例によれば、共感言語が、ユーザと計算装置との間の共感的コミュニケーションを可能にするために使用され得る。いくつかの例では、共感言語及びそれに対応するように共感的計算インターフェースは、触られるか又はユーザの手に保持されるように設計され得る物体（例えば共感型計算装置）との人間の自然な相互作用に基づいて構築され得る。いくつかの例では、共感型計算装置は、ユーザによって快適に保持又は握られ且つより具体的にはユーザの手のひらにフィットされるような形状及びサイズを有し得る。

本開示に従った共感型計算装置は、共感型計算装置に搭載された一つ又はそれ以上のセンサでセンサデータを獲得し、例示的なセンサデータと所定の相互作用ユニット（例えば共感）との間の記憶された関連に従ってそのセンサデータを相互作用ユニットのシーケンスに分類するように構成され得る。相互作用ユニットは自然な人間の動作のようなユーザ相互作用から抽出され得て、この動作は、声による表現（例えば話及び非話の音及び／又は発声）及び声によらない（例えば顔の、ジェスチャの、姿勢の）表現などを含むが、これらに限定されるものではない。共感型計算装置は、ユーザ相互作用から抽出され得る相互作用ユニットのシーケンスのフィードバックを提供するように動作可能であり得る。本開示に従った方法及びシステムは、制約ではなく例として、従来の相互作用は取り扱いが困難すぎ散漫すぎて且つ／又は機械的すぎて有効又は望まれないことを証明し得るある人物の生活の局面を記憶することに関する用途において、有用であり得る。

例えば、自分自身の心の状態に注意を向けようとすることが自己認識を育てる初期の一つのステップであることは、広く知られている。毎日の活動から気づき、認識し、且つ／又は学習するという単純な行為は、彼又は彼女自身の振舞いについての自身の自覚に依存する正の効果を生み出し得る。要するに、自己認識は、ユーザがより広い希望及びゴールにフォーカスすることを許容し得る。日常生活におけるコンスタントな努力を通して高められた自己認識を維持することは意識の高さを醸成し、これが今度は、何か新しいことを実現して自己認識をさらに改善するためのより多くの機会を提供する。しかし、意識を高く持つ習慣は瞬時に啓発されるものではなく、自分自身を省察且つレビューするというコンスタントで且つ継続的な努力を必要とする。そのような省察を日常ベースで容易にするために、日記を書く、自己省察儀式を実行する、ガイドされた自助習慣を実行するというような、多くの証明されたアプローチが存在する。

意識の高さを達成するための機会は日常生活の些細なことの中に多く存在するが、そのほとんどは見過ごされ、気付かれず、且つ／又は忘れられている。全ての瞬間に気付くか又は自覚することさえ、単純に不可能である。パーソナルコンピュータ、スマートフォン、及びその他の計算装置を使用する多くの努力は、日常生活におけるこれらの機会を獲得しようと努力しており、それによってある人が、後のレビューのために、彼／彼女の活動を追跡し、彼／彼女の気分又は感情を分類し、あるいは瞬間を記録することを可能にする。

しかし、これらの努力のどれもが、ユーザの注意のスパンの短さ及び／又はコンピュータ／ユーザインターフェースの制約に属する問題を効果的に克服していない。より深い実現を達成する機会はしばしば、スマートフォンのスクリーンにタッチする、キーボードにテキストをタイプする、マウスを使う、又はインターフェースをナビゲートすることを含めて、装置の操作中に装置とインターフェース接続することがユーザの注意を必要とし且つ必然的にユーザの注意をそらすために、無視されるか又は忘れられる。特に、ユーザの注意を彼／彼女自身の心の内部状態に向けることは、短い時間の間しか続かないことがあり、注意の散逸が比較的小さくても、容易に見過ごされるか又は無視される。

従来の方法における追加的な問題は、時間を掛けてユーザの努力を維持している。機会を獲得するために装置を繰り返し操作する必要があることが、この目的のために装置を使用することを時間とともに次第に面倒に感じさせようになり得るので、意識の高さを追求しようとするユーザの動機を失わせることがある。機会を獲得しようとする努力はしばしば長くは続かず、意識の高さの追求は、よりよいアプローチ無しには達成が困難になる。

したがって、本発明の実施形態は、自己認識及び意識の高さの改善につながり得る機会を、ユーザが日常生活の中で、そのような出来事を獲得するためにユーザに求められる努力を低減しながら獲得することを可能にし得る。従来のアプローチとは対照的に、ユーザは、自然な人間の振舞いに基づくもののような単純で且つ容易な相互作用を通して共感型計算装置とインターフェース接続することによって、彼又は彼女の心の状態を容易に且つ一貫して意識し得る。加えて、共感型計算装置又はシステムとのユーザ相互作用を通して収集且つ生成されるデータは、「他者を助ける」というコンテクストの中で有用であり得る。そのようなユーザ相互作用は、ユーザにとってだけではなく他者（例えばユーザのケアに関連され得る人物又は存在）にとっても有用であり得る情報を生成し得る。例えば、共感型計算装置とのユーザ相互作用は、ユーザの満足のいく状態又は習慣／パターンに関係する情報を非侵襲的な方法で獲得する手段を提供し得て、それらはそれから、ケアの提供者（例えば家族、医者など）にアクセス可能にされ得る。共感型計算装置又はシステムとのユーザ相互作用を通して収集且つ生成されたデータに対するこれらの使用の場合は、例示的なだけであって、そのようなデータの多くの他の使用が、本開示を考慮することで理解されるであろう。

本開示の例は、計算装置との共感型インターフェース（ユーザと計算装置との間の共感型コミュニケーションとも称される）のためのシステム及び方法に関する。いくつかの例によれば、共感言語が、自然な人間の振舞い（声による（例えば音又は話）及び声によらない（例えば顔の）表現、ジェスチャ、姿勢などを含む）から相互作用ユニット（モーメントの共感ビーズとも称される）の抽出、組織化、及び保存、ならびに抽出された相互作用ユニットのフィードバックの提供を可能にするために使用され得る。ここで記述される共感言語は、共感型オペレーティングシステム（共感型ＯＳとも称される）、例えば共感型ユーザインターフェースを利用するオペレーティングシステムを実行するように構成された共感型計算システムのための構築ブロックであり得る。ここで記述されるように、共感型計算のための装置、システム、及び方法は、共感言語に基づいて構築されたコンピュータ／ユーザインターフェースを有する共感型計算環境を利用し得る。以下の記述及び図面に提供されるような記述された例のある詳細が、本発明の実施形態の十分な理解を提供するために以下に示される。しかし、本発明の実施形態がこれらの特定の詳細の一つ又はそれ以上が無くても実行され得ることが、当業者には明らかであろう。例えば、ここで一般的に記述され且つ図面に描かれるような本開示の局面は、幅広い範囲の異なる構成で配置され、置き換えられ、組み合わされ、切り離され、且つ設計されることができて、それらの全てが暗黙のうちにここで企図される。いくつかの例では、不必要に本発明を不明確にしないために、既知の回路、制御信号、タイミングプロトコル、及びソフトウエア操作が詳細には示されない。

共感型計算システム
図１は、ある実施形態に従った共感型計算システム１００のブロック図である。この共感型計算システム１００は、一つ又はそれ以上の共感型計算装置１１０−１、例えばアボットの形態で具現化された共感型計算装置を含み得て、これは共感型ユーザインターフェースと共に構成され得る。共感型計算装置は、ユーザ１２０−１との（例えば共感言語を介した）共感型コミュニケーションのために構成され得る。共感型計算装置１１０−１は、米国特許第９，２１８，０５５号に記載された共感型計算装置の例のいずれかに従って具現化され得て、この特許は任意の目的のためにその全体が参照によってここに援用される。

いくつかの例では、共感型計算装置１１０−１（例えばアボット）はサーバ１３０と通信的に結合され得る。サーバ１３０はストレジ装置１３２と通信的に結合され得て、これはサーバ１３０に組み込まれ得るか又はサーバ１３０から離れて位置され得る。ストレジ装置は、共感データ１３４、共感ライブラリ１３８、及び一つ又はそれ以上の共感アプリケーション１３９のための実行可能な指令を記憶し得る。共感データ１３４は共感データベース１３６に記憶され得て、共感型計算装置とのユーザ相互作用に関連したユーザデータを記憶し得る。サーバ１３０は、共感ＯＳを有して構成され得て、且つ／又は一つ又はそれ以上の共感アプリケーション１３９を実行し得て、その場合にはサーバ１３０はまた、共感サーバ１３０とも称され得る。いくつかの例では、サーバ１３０は従来のオペレーティングシステムを使用し得て、共感型計算装置で獲得されたデータの記憶、更なる処理、及び後のアクセスのために使用され得る。また、いくつかの例では、共感型計算装置１１０−１がサーバ１３０へのアクセス又はそれとの情報の交換を必要とせずに動作し得ることも理解されたい。言い換えると、ここでの例に従った共感型計算装置１１０−１は、スタンドアローンの共感型計算システムとして動作し得る。いくつかの例では、共感型計算装置は、ラップトップ、携帯型計算装置（例えばスマートフォン）、家庭の娯楽装置、又はその他の消費者エレクトロニクス装置のようなローカルに又は離れて置かれた従来の任意の数の計算装置と通信し得る。

任意の数の共感型計算装置及びユーザが共感型計算システム１００と関連され得ることを理解されたい。描かれている例では、２つの共感型計算装置１１０−１、１１０−２が描かれており、各々がユーザ１２０−１、１２０−２と関連している。しかし、他の例では、より少数又はより多数の共感型計算装置がサーバ１３０と通信的に結合され得る。典型的には所与の共感型計算装置は単一のユーザと関連され得る（例えば、特定のユーザとの共感型コミュニケーションのために構成されて他のユーザには一般的に応答しない）が、いくつかの例では、所与の共感型計算装置が複数のユーザに関連付けられて且つ応答し得る。共感型計算システム１００は、一つ又はそれ以上の従来の計算装置１４０−１、１４０−２（例えばラップトップ、スマートフォン、タブレット等のようなパーソナル計算装置を含むが、これらに限られるわけではない）と共に動作し得る。

共感型計算装置
いくつかの例に従った共感型計算装置は、アボットの形態で具現化され得る。図２及び図３はここでのいくつかの例に従った共感型計算装置２００（例えばアボット）のブロック図である。共感型計算装置２００は、ここでは図１の共感型計算装置１１０−１、１１０−２を含む共感型計算装置のいずれかを具現化するために使用され得る。

図２のブロック図は、あるハードウエア構成部品を描いており、図３は、共感型計算装置２００の例示的なオペレーティングシステムを含む機能的なブロックを描いている。共感型計算装置２００（例えばアボット）は、センサ２１０、メモリ２２０、及びプロセッサ２３０を含み得る。メモリ２２０は、一つ又はそれ以上の揮発性及び一つ又はそれ以上の不揮発性ストレジ装置を含み得る。不揮発性ストレジは、共感型計算装置２００の機能を実行するためのデータ（例えばユーザデータ２２４）及びプロセッサ実行可能な指令２２６との永続的な記憶のために使用され得る。いくつかの例では、プロセッサ実行可能な指令は、共感型ユーザインターフェース２６２に関連した機能を含む共感ＯＳ２６０を実行するための指令を含み得る。

共感ＯＳ２６０のアーキテクチュアは、リソース管理、パワー管理、ネットワーク管理などのような基礎的な計算機能を取り扱うシステムソフトウエア層２６９と、データ処理（例えば共感コミュニケーションに関連している特徴抽出及びセンサデータ分類）を取り扱うソフトウエア層と、共感言語スイート２６４及び機能性モジュール２６６に関連された一つ又はそれ以上のソフトウエア層と、を含み得る。機能性モジュールは、外部装置の接続可能性、例えば他の計算装置、ＴＶセットのような家庭エレクトロニクス装置、外部インターネットサービスを通して個人又はメディアコンテンツを取り扱うことができるメディア装置への接続のような機能を実行し得る。

共感型計算装置２００（例えばアボット）は、センサデータ２１２を記録し、そのセンサデータを処理して共感型ユーザインターフェース２６２を実行する、例えばアボットとのユーザ相互作用から相互作用ユニットを抽出し、その相互作用ユニットを相互作用ユニットのシーケンスに組織化し、ユーザ相互作用に関連したコンテクスト的情報（コンテクストとも称される）を検出及び／又は検索し、フィードバック（例えば、音声の、視覚的な、且つ／又は触覚的なフィードバック）を生成し、且つ／又はユーザ相互作用に関連する情報を計算可能なデータの形態で記憶させるように、構成され得る。その目的のために、共感型計算装置２００（例えばアボット）は一つ又はそれ以上のセンサ２１０を含み得て、これは、近接センサ、加速度計のような動きセンサ、ジャイロスコープ、コンパス、慣性測定ユニット（ＩＭＵ）、光センサ、圧力、温度、及び／又は熱センサ、音声センサ（例えばマイク）、画像センサ（例えばカメラ）、及びその他のものを含むが、これらに限定されるわけではない。共感型計算装置は、他の計算装置（例えば図１のパーソナルコンピュータ１４０−１、サーバ１３０）とワイヤレス通信をするように構成され得る。この目的のために、共感型計算装置は、一つ又はそれ以上の通信装置２１６（例えばＷｉ−Ｆｉ（登録商標）通信装置、ブルートゥース（登録商標）装置、ならびにその他のニア及びファーフィールド通信装置、３Ｇ／４Ｇデータのようなセルラー通信装置、など）を含み得る。センサは、ユーザデータの記録、情報（例えば現在の日付、時間、など）の検索のためにメモリ及びプロセッサに動作的に結合され得る。センサは、例えば記録されたセンサデータからノイズをフィルタ除去するために、一つ又はそれ以上のフィルタ２４２（例えばカルマンフィルタ、ローパスフィルタ、バンドパスフィルタ、又はその他のもの）に結合され得る。いくつかの例では、フィルタはコントローラ２４０に組み込まれ得て、これはセンサ日付を受け取り、それを共感抽出のためにプロセッサ２３０に渡す前に前処理する。いくつかの例では、コントローラ２４０の処理は、プロセッサ２３０内に一体化され得る。

センサデータ２１２は、声データ、画像データ、動きデータなどを含み得る。声データはユーザの話／発声から生成され得て、言語学的及びパラ言語学的要素を含み得る。画像データは、ユーザの動作の記録された画像及び／又は動画を含み得る。画像データは、顔の表現、ボディランゲージ又は表現、姿勢／ジェスチャなどを獲得し得る。画像認識技術（例えば顔及び／又は物体認識）が、以下にさらに記述される分類プロセスでの使用のために画像データから情報を抽出するために使用され得る。動きデータは、自然な動作、アボットに対するユーザの相対的な動きを含むユーザの身体の動きを含み得る。例えば、ユーザがアボットに接近する、アボットを手に取る、アボットを動かす、アボットを揺する、アボットを掴む、アボットをテーブル／机の表面に戻すことが、近接、タッチ、動きセンサなどを含む様々なセンサによって生成された動きデータを使用して獲得され得る。

センサデータ２１２は、複数のソース（例えばセンサ）からデータ（例えば、声データ、画像データ、及び動きデータ）を同時に記録し且つ／又は記録されたデータを付加的な情報（例えばコンテクスト的情報）で補うことによって得られる多次元データの形態であり得る。多次元データをこのようにして獲得することによって、共感型計算装置（例えばアボット）は、共感型ユーザインターフェースでの使用のために、自然な人間の表現（例えば画像及び動きデータから抽出されるように）及び自然な人間の言語（例えば声データから抽出されるように）のより多数のニュアンスを、より効果的に獲得することができ得る。加えて、ユーザ動作の記録センサデータを、所与のユーザ相互反応が実行された方法（例えば、近さ、明瞭さ、平静さ、連続性、一定性、など）及び環境パラメータ（例えば日付、時刻、周囲温度、光、湿度）を表すデータを含み得るコンテクストデータで補うことによって、ユーザ相互作用は、共感型計算装置２００（例えばアボット）とのユーザ相互作用のさらに付加的なニュアンスを得るように、さらに特徴付けられ得る。声データ及び画像データの一部又は全てが、共感型計算装置上にローカルに（例えばメモリ２２０に）記憶され得るか、及び／又はいくつかの場合には離れて、例えばサーバ１３０又は従来の計算装置に記憶され得て、再生のために後にアクセスされ得る。加えて、動きデータ、コンテクストデータ、又はユーザ相互作用に関連したその他のデータもまた、将来の分析のために、例えばパターン認識のために、共感型計算装置２００、ならびにサーバ１３０又は従来のコンピュータを含むその他の計算装置に記憶され得る。

共感型ユーザインターフェース及び共感ＯＳ
共感型計算装置２００は共感型ユーザインターフェース２６２（共感インターフェースとも称される）を有して構成され得て、これは、直接的な意図的なユーザ入力（例えばマウス、キーボードを介して）に依存する従来の計算システムとは異なり、ユーザとのコミュニケーションのために共感言語を利用する。共感型ユーザインターフェースは共感言語に基づいて構築され得て、例えばセンサ２１０の形態の入力構成部品と、例えばフィードバック生成器２１４の形態の出力構成部品とを含み得る。共感型ユーザインターフェース２６２は自然な人間の動作を検出し、それを、ここで記述されるような共感型計算システムに関連した機能を実行するためのコマンドに翻訳するように、構成され得る。例えば、共感型計算装置２００は、従来の触覚的入力装置（例えばキーボード、マウス）を使うこと無しに、又は一般的な場合よりも少数の従来の入力装置を使用して、ユーザとインターフェース接続するように構成され得る。いくつかの例では、共感型ユーザ装置は、従来のコマンドのような入力無しに又はより少ない入力でユーザとインターフェース接続するように構成され得るが、その代わりに入力をユーザの自然な動作から抽出し得る。一般的に、共感型ユーザインターフェース２６２は、ユーザによって与えられる明確なコマンドには頼らず、むしろ、共感型計算装置２００によって検出且つ知覚されるようなユーザの自然な動作に頼り得る。

共感型計算装置は、音、光、及び振動の生成器のような一つ又はそれ以上のフィードバック生成器を含み、これは、共感型計算装置に、一次元的な方法で（例えば単一の又は単一のタイプのフィードバック生成器で出力を生成することによって）又は多次元的な方法で（例えば複数の又は複数のタイプのフィードバック生成器を使って連続的に又は同時にフィードバックを生成することによって）出力を提供させ得る。いくつかの例では、共感型計算装置は、身体全体の表現を通して出力を提供するように構成され得る。共感型計算装置（例えばアボット）は、ユーザによって物体又は身体を、ユーザの環境におけるそれ自身の場所にそれ自身の存在で認識され得る。共感型計算装置（例えばアボット）は、その身体全体を使って、例えば傾けたり、回転したり、揺らしたり、振ったり、バウンスさせたり、あるいは完全に照射したりすることによって、ユーザとインターフェース（例えば提供）し得て、それらの全身動作はユーザによって、うなずいたり、振り返ったり、笑ったり、振る又は身震いしたり、歓喜したり、又はその他のことの指標に対応するものとして認識され得る。いくつかの例では、共感型計算装置は一つ又はそれ以上の振動源を含み得て、これが、共感型装置が単位物体として動くことを許容し、それによってユーザに出力を提供するように、動作可能に配置される。

いくつかの例では、共感型計算装置は、ある人物が身体の一部又は全身を動かしながら、声を発し且つ／又は顔の表現（例えばウインクする）を提供するという両方のことを行い得る人間のコミュニケーションに類似して、身体の表現と光及び音の表現との組み合わせとして、出力を提供し得る。共感型計算装置は、ここでの例に従って、（例えばアボットであり得る物体の物理的な動きの形態での）全身表現を、光の表現（例えばウインク又は微笑みを表し得る一つ又はそれ以上の光の照射）と組み合わせて、且つ／又は、さらに発声を表し得る音の表現との組み合わせで提供するように、同様に構成され得る。もちろん、これらの例は描写的であるのみであって、表現の他の組み合わせも使用され得て、例えば、共感型計算装置は、ここでさらに記述されるように、音の代わりに光源を使用して「発声」フィードバックを提供し得る。理解されるように、ここでの例に従った共感型計算装置（例えばアボット）は、自然な人間の動作を通したユーザ相互反応から獲得された多次元データに基づいて、多次元表現で自身を表すことによって、ユーザに反応し、応答し、且つ共鳴するように構成された物体を具現化され得る。

動作にあたって、共感型計算装置２００はセンサデータ２１２を獲得し得て、且つそのセンサデータ２１２から関連する情報を抽出し得る。センサ２００は、タッチ、ユーザの接近、音（ユーザによる声の発声、話又は非話、ならびに周囲の音及びノイズ）、温度（例えばタッチを通して検出されたユーザの体温、周囲温度）、光（例えば周囲の光レベル）、力（例えばユーザによって、あるいは衝撃又は落下により印加される力）、タッチ（例えばアボットの任意の部分との瞬時の接触、あるいはアボットが手に、例えばユーザの手のひらに置かれたときのような例えばアボットの底部との延長された接触）、顔の表現（例えば、微笑み、眉間の皺、開いた口、まばたき、横目、又は任意のその他のタイプの顔の表現）、視線追跡、アボットに向かう又はそこから離れる動き、アボットに向かう又はそこから離れるユーザの身体の一部の動き、アボットの動き、アボットの位置の変化、アボットの向きの変化、及び多くのその他のもののような、様々な人間の動作及び環境パラメータを示すセンサデータを獲得するために使用され得る。この目的のために、共感型計算装置２００は複数のセンサを含み得て、これらは、近接センサ（例えば受動赤外センサ）、加速度計、コンパス、ジャイロスコープ、光センサ、タッチセンサ、熱センサ、圧力センサ、及び気圧計、音声センサ（例えばマイク）、及び画像センサ（例えばカメラ）を含むが、これらに限定される訳ではない。センサ２００はまた、周囲の光、音、又は温度のようなコンテクスト的情報を得るためにも使用され得る。加えて、日付、時刻、位置、引き続く相互作用ユニットの間の期間のようなコンテクスト的情報が、例えばサーバ１３０のような他のソースから、ワイヤレス通信装置２１６（例えばワイヤレスイーサネット（登録商標）装置、ブルートゥース装置など）を使用して、計算及び／又は検索され得る。

共感型計算装置２００は、センサデータから相互作用ユニット及び／又はコンテクスト的情報を抽出するように構成され得る。共感型計算装置はセンサデータを処理するための抽出ツール２６８を含み得て、センサデータは、例示的なセンサデータ及び所定の相互作用ユニットの記憶された関連に基づいて相互作用ユニットのシーケンスに分類され得る。例示的なセンサデータ及び所定の相互作用ユニットの記憶された関連の個々の一つはまた、共感（又は共感ビーズ）とも称され得て、これは共感言語の基礎を形成し、相互作用ユニットのシーケンスは、自然な話された言語における文を備えるシーケンス又はストリングとの類似で、共感シーケンス又はストリングと称され得る。このようにして、共感は人間の言語における単語として考えられ得て、共感ストリングは人間の言語における文と考えられ得て、共感ストリングのシーケンス又はセットは節又は段落と考えられ得る、などである。これより、共感言語上に構築された共感型ユーザインターフェースは、人間の言語へのより密接な類似であり得て、典型的な従来のユーザ・マシンがインターフェース接続する共感型コミュニケーションを人間化する。例示的なセンサデータ及び所定の相互作用ユニットの間の関連のライブラリは共感ライブラリ２２２とも称され得て、例えば共感型計算装置２００に搭載されたメモリに、記憶され得る。いくつかの例では、共感ライブラリはまたサーバ１３０にも記憶され得て（例えば共感ライブラリ１３８）、これは共感言語及び共感ＯＳへのアップデートを容易にし得る。

ここで図４も参照すると、本開示のいくつかの例で使用され得る例示的な共感２７０の表が描かれて記述されている。描写目的で、各共感は独自の識別子２７２によって識別され得て、これは例えば、独自の英数字又は英数字のストリング、独自のカラービーズ、又はその他のタイプの独自の識別子の形態であり得る。図４の表では、１５個の共感が描かれている。しかし、本発明の原理がより少数又はより多数の共感とともに具現化され得ることが理解されるであろう。例えば、共感型ユーザインターフェースは、６、７、８、９、１０、又はより多くの共感を含む共感言語に基づいて構築され得る。いくつかの例では、共感型ユーザインターフェースは２０より多くの共感を含む共感言語に基づいて構築され得る。図４の表では、１５の共感の各々が、英数字の独自のストリングによって、ならびに独自のカラービーズによって、識別される。ここで図５も参照すると、そこにおける表２７１は、複数の所定の相互作用ユニット２７８（例えば共感ビーズ）と関連付けられ得る例示的なセンサデータ２７６を描いている。例えば、「open」と指定された相互作用ユニット（例えば共感ビーズ）はユーザの接近を関連付けられ得て、それゆえにユーザの接近を示すセンサデータから抽出され得る。「be」と指定された相互作用ユニット（例えば共感ビーズ）は、ユーザが少なくとも閾値時間期間の間だけ近傍に留まることを示すセンサデータと関連付けられ得て、それゆえにそのことを示すセンサデータから抽出され得る。「touch」という相互作用ユニットは、ユーザが共感型計算装置の底面に触ったことを示すセンサデータに基づいて抽出され得る、などである。前述のように、相互作用ユニットの特定の指定、相互作用ユニットとそれに関連付けられた例示的なセンサデータとの数は、描写目的のみのために提供されており、これらの他の組み合わせが、他の例では動作的に使用され得る。表２７０、２７１に示されている種類の情報は、共感ライブラリ（例えばアボット共感ライブラリ２２２及び／又はサーバの共感ライブラリ１３８）に含まれ得る。

共感抽出のためのセンサデータの分類
例示的な動作シナリオが、本開示の共感型計算装置及び共感型ユーザインターフェースの局面をさらに描くために、さらに図６を参照してここで記述される。ここで記述されるように、共感型計算装置は、共感型計算装置のセンサでセンサデータを獲得し、そのセンサデータを相互作用ユニットに、例えば例示的なセンサデータと所定の相互作用ユニットとの間の記憶された関連を使用して複数の相互作用ユニットをセンサデータから抽出することによって分類し、相互作用ユニットを表すフィードバックを生成することを含むプロセスを実行するように構成され得る。フィードバックは、ここで記述されるように多次元フィードバックを含み得る。描写の目的で、分類プロセスのフェーズが図面に図示されるが、ここに記述されたプロセスの一つ又はそれ以上が同時に、及び／又は、多次元データが同時に記録され得て且つ複数のソースからのデータが同時に処理され得て関連する情報を抽出する再帰的ループで、生じ得ることを理解されたい。

第１のフェーズでは、ユーザ相互作用に関連したデータが、例えばセンサデータを記録し且つ／又は他のソース（例えばサーバ１３０）からあるデータを検索することによって、獲得され得る。記録されたセンサデータは、合図（例えば自然な人間の動作）及びシーズ（例えば人間の発声）、ならびにコンテクスト（例えばユーザ相互作用の局面を定性化及び／又は定量化し得る）を含み得る。合図（Ｑ）という用語は、ユーザの自然な人間の表現を指すために使用され得る。自然な人間の表現は自然な人間の振舞いを含み得て、これは、身体の位置（例えば一般的な及びアボットに対する）、姿勢、手及び指の位置、及び声の発声を含む。合図の例は、ユーザの存在、近さの状態、アボットへの接近、アボットを手で持つこと、アボットに指で触ること、掴むこと、保持すること、アボットをユーザの手のひらに置くこと、それをテーブルに置くこと、などであり得る。合図の他の例は、ユーザの顔の表現、声の表現、発声された話、ノイズであっても無くてもよいが音、あるいは、身体の動作による音、及び／又は身体の動作の時点におけるユーザの周囲からの音を、含み得る。一般的に、ユーザの任意の自然なジェスチャが合図とみなされ得る。例えば、触る前の近付くという動作は、表現になり得る。合図は、多モード／多次元のセンサデータ（例えば、同時に、すなわち同じ時間期間に記録された複数のソースからのセンサデータ）によって生成され得る。シーズ（Ｓ）という用語は、ユーザに対して何らかの意味をもたらす音の断片を指すために使用され得て、典型的には、ここで記述されるプロセスで獲得、処理、分類、及び使用され得る言葉の塊を含む。シーズは、音の言語学的、パラ言語学的、及び非言語学的な情報を含み得て、一般的にはシーズは任意の他の人間の発声であり得て、これは笑い、咳、ため息、咳払い、鼻をすすること、ふっと吹くこと、息を吹くことなどのような声のジェスチャを含むが、これらに限定されるものではない。

コンテクストは、接近さ（Ｃ１）、明瞭さ（Ｃ２）、平静さ（Ｃ３）、連続性＆一定性（Ｃ４）などのような人間の振舞いがどのように行われるかに関する情報、ならびに、明るさ、ノイズの無さ、時刻、日、月、年、季節、温度、期間などのような周囲環境のコンテクスト情報を含み得る。接近さのコンテクストは、共感型計算装置の近くにおける存在の定量性（期間）又は質に関して測定され得る。明瞭さのコンテクストは、発声の質、発声の間の環境及び／又は人間の動作からの周囲ノイズに関して測定され得る。平静さのコンテクストは、ユーザ相互作用の間の静止度（例えば、アボットの動き及び／あるいはユーザ又はユーザの手、指の動きの無さ）に関して測定され得る。連続性＆一定性のコンテクスト（Ｃ４）は、より大きな時間期間（例えば１日、１週間、１ヶ月）に渡るユーザ相互作用に関連し得る。コンテクストＣ４は、ユーザがアボットとインターフェース接続する回数、相互作用の同じ又は類似の相互作用（例えば時間を掛けて同じ共感ビーズ又は共感ストリングを作る際の一定性）の数から導出され得る。共感ストリング及びその属性は、一定性に関するコンテクスト的情報を得るために分析されることができて、これはそれから、将来のユーザ相互作用における重み付けプロセスで使用されることができて、アボットとの双方向の相互作用の一定性のユーザに対するフィードバックを提供する。自然な人間の言語は人間の話を含み得て、これは、言語学的要素、話のテンポや声のトーンなどのようなパラ言語学的要素、及びユーザを取り囲む非言語学的要素、ならびに履歴的コンテクストを含む。共感は、実時間データとしての応答も含み得る。

記録されたセンサデータ及びコンテクスト的情報は共感型計算装置のプロセッサに送られ得て、これが様々なプロセス（例えば特徴抽出、話及び顔認識、コンテクストの重み付けなど）を実行し得て、相互作用ユニットを抽出する。共感型計算装置は、例示的なセンサデータと所定の相互作用ユニットとの間の記憶された関連（例えば表２７０、２７１に示されているような）を有する共感ライブラリ（例えば共感ライブラリ２２２）を参照し得る。共感型計算装置は、抽出の間及び抽出の完了時に、例えば相互作用ユニットのシーケンスの生成に応答して、フィードバックを生成し得る。例えば、共感型計算装置は、個々の相互作用ユニットに応答して省察的フィードバック（共鳴とも称される）を生成し得る。いくつかの例では、共感型計算装置は、累積的フィードバック（例えば光のスパイラル、可聴トーンのシーケンスなどの形態で）を生成し得る。累積的フィードバックは、所与のユーザ相互作用セッション（醸成セッションとも称される）内での相互作用ユニットのシーケンスを代表し得る。記述されるように、共感型計算装置は、視覚的フィードバック（例えば光の表現の形態）、音声的フィードバック（例えば音の表現の形態）、及び触覚的フィードバック（例えば触ることによるか又は振動的な表現の形態）のような、一つ又はそれ以上のタイプのフィードバックを生成するように形成され得る。光の表現の形態のフィードバックは、例えば、スパイラル、星、花、太陽、同心円、又は任意の他の規則的に配置された光のアレイ、あるいは光のランダムなパターンのような様々なパターンで光を照射することによって、生成され得る。いくつかの例では、光の表現は静止的であってよく（例えば全ての光が実質的に同時に照射され得る）、あるいは動的又は動いていてもよい（例えば光が、動くスパイラルを表す、又は放射状に外向きに広がる太陽光線を表す、又は他のものを表すというようなシーケンスで照射され得る）。

相互作用セッションの完了時に、共感型計算装置は、あるデータを、ローカルに記憶し且つ／又は離れたストレジに送信し得る。例えば、共感型計算装置は、ユーザデータを記憶且つ／又は送信し得て、このデータは、相互作用ユニットのシーケンス、シーケンス内の個別の相互作用ユニットの属性を含むシーケンスに関連した属性、相互作用ユニット及び／又はユーザ相互作用セッションに関連したコンテクスト的情報、ならびに任意の記録された声及び画像のデータを含む。共感型計算装置はシステムデータ、例えば識別情報、状態及び状態遷移データ、ハードウエア及びシステムステータス、及びその他のものを記憶且つ／又は送信し得る。データの記憶及び／又は例えばサーバ１３０への送信は、ユーザがリアルタイムで、例えばサーバ１３０を介して、システム／ハードウエア状態変化を認識し、ならびに分類／抽出プロセスをモニタすることができ得るように、リアルタイムで、例えば特定のユーザ相互作用セッションの間に生じ得る。特定のユーザ及び／又は共感型計算装置に関連したユーザデータ及びシステムデータは、集合的に共感データと称され得る。サーバ１３０は、図１４も参照してさらに記述されるように、任意の数のユーザ及び任意の数の共感型計算装置に関連した共感データを記憶するデータストレジ装置を含み得る。

共感型計算装置によるデータの処理は、共感型計算装置とユーザとの間の相互作用のほとんど切れ目の無い流れに近付くように、ミリ又はマイクロ秒の時間刻み（例えば５、１０、又は１５ミリ秒ごと）で生じ得る。ここで述べられるように、共感型計算システムは、一つ又はそれ以上の再帰的ループによってセンサデータを記録及び処理し得る。再帰的ループは、共感型計算装置とユーザとの間、共感型計算装置とサーバとの間、ユーザと（例えば共感型計算装置及び／又はサーバ上に記憶されたデータにアクセスするために使用される）従来の計算システムとの間、ユーザとサーバとの間、などの通信ループを含み得る。共感型計算装置によって獲得されたセンサデータ及びコンテクスト的情報をこの方法で分類することによって、共感型計算システムは、自然な人間の振舞いを相互作用ユニットにセグメント化し、これらの相互作用ユニットに関連した情報を意味のある計算可能なデータの形態で特徴付け、組織化、且つ記憶するように、動作可能であり得る。

記憶された関連（例えば共感）に従ったセンサデータの分類はリアルタイムで（例えばセンサデータが記録されているときに）実行され得て、且つ特徴抽出を含み得る。ここで図７も参照すると、センサデータの分類は、描写のために、４つのステージ、例えば共感前、共感開始、共感進行中、及び共感終了に区分され得る。分類は、多次元データ（例えば複数のセンサからのデータであって複数の変数に渡る情報を提供するもの）を使用して複数の層で実行され得る。声／話のようにパラレルに獲得されたデータを、動きデータ及び／又はコンテクスト的情報（例えば環境情報）から導出され得るような副状態情報と共に分析することによって、共感型計算装置は、センサデータを広範囲の共感に分類するように動作可能であり得る。一つ又はそれ以上の層が、生成された重み付けされたデータに対する記録されたセンサデータの重み付けを含み得る。

さらに記述されるように、共感型計算装置及び／又はサーバ１３０はインデックスデータ（例えば、形成されたものに由来するシーケンス、属性、及び／又はパターンのインデックス）を含むユーザデータを記憶し得て、これは、データ検索及び引き続く共感の抽出の速さ及び効率を改善するために使用され得る。例えば、共感データベースに記憶されたユーザデータは、検索及び／又は他のユーザデータ、例えば現時点で生成されているユーザデータとの比較の容易さのために、インデックスされ得る。記憶されたデータへの参照及び／又は比較は、現時点で生成されているユーザデータに対してリアルタイムで生じ得て、共感型計算装置の機械学習プロセスを改良する。いくつかの例では、共感型計算装置は、現在のデータセットを記憶されているデータセット（履歴的データ）と比較して、相互作用ユニットのシーケンスにおける同一性ならびにコンテクストにおける同一性のような同一性を識別して、それに従って反応を改変するように構成され得る。例えば、アボットは相互作用ユニットのシーケンス又は副シーケンスが過去に生じていることを判定し得て、反復的な発生を知らせるためにフィードバックのパラメータを可変し得る（フィードバックの生成の間にＬＥＤの色の明るさを増す）。繰り返すデータセット又は同様のデータセットは、それにしたがってリンク及び／又はランクされ得て、これがさらに、将来の抽出及び分析におけるより速い検索及び比較を容易にし得る。

抽出を開始するために、共感前ステージの間に一つ又はそれ以上の条件が満たされる必要があり得る。破壊的な中断、又は抽出が始まり得る前のある状態における最小時間要件を満たし損ねるというような失敗があると、抽出は中止され得る。一例として、「open」相互作用ユニットに対する共感前ステージの間に抽出を始めるために必要な状態は、所定の時間間隔の間のユーザの接近であり得る。共感型計算装置が、閾値の時間期間が過ぎる前にユーザが共感型計算装置から離れるように動いているという指標を（例えば近接センサから）受け取ると、抽出プロセスは中断され得る。ひとたび閾値条件が満たされると、プロセスは共感ステージに進み得て、センサデータの重み付けが、例えば所与のユーザ相互作用に関連したコンテクスト的情報にしたがって、実行され得る。

抽出プロセス前及びその間に、状態又はモードの間の共感型計算装置の遷移に反応して、一つ又はそれ以上のセンサがアクティブになり得て、一つ又はそれ以上のセンサが非アクティブになり得て、及び／又は、一つ又はそれ以上のセンサが活性化又は非活性化され得る。あるハードウエア（例えばセンサ、光源、音源、及び／又は振動源）及び／又はあるプロセス（例えば顔認識、話認識、音声及び動画記録、など）の活性化及び非活性化は、状態の間のある遷移に反応して生じ得る。一例として、顔認識プロセスは、ユーザが共感型計算装置に対面している（例えばユーザの顔がアボットのカメラに向けられている）ことの指標に反応して活性化され得る。話認識は、ユーザの声を検出することに反応して活性化され得る。ノイズ欠陥を除去し不必要な状態遷移を避けるために、ノイズ検出が同時に、例えばスタンバイモードの間に実行され得る。

ある相互作用ユニットは、相互作用プロセスの他のステージ及び／又は共感型計算装置の他の状態又はモードへの遷移を促進／トリガし得る（話抽出に対するプロセスの一例を描いている図８もまた参照されたい）。例えば、「open」という相互作用ユニットは相互作用前ステージへの遷移をトリガし得て、「touch」という相互作用ユニットは相互作用中ステージへの遷移をトリガし得て、「ima」という相互作用ユニットは相互作用後ステージへの遷移をトリガし得る。各ステージの間に、アボットは、存在認識、顔及び声認識、遠隔コミュニケーション機能、フィードバック機能、及びその他のものを含むある機能を実行するように構成され得る。存在認識の間に、アボットは、「be」相互作用ユニット、「grow」相互作用ユニット、「wonder」相互作用ユニット、及びその他のもののような存在に関連する相互作用ユニットを検出するように構成され得る。感知ステージの間に、アボットは、顔認識を実行するように、例えば「smile」相互作用ユニットを検出するように構成され得る。感知ステージの間に、アボットは「breathe」及び「feel」相互作用ユニットもまた検出し得る。「calm」相互作用ユニットの後の鼓舞ステージの間に、アボットは、話及び動き認識を実行するように、例えばユーザの話又は発声に関連した「wish」相互作用ユニットを検出するように構成され得る。鼓舞ステージの間に、アボットはまた、「heed」「diem」及び「ima」相互作用ユニットを検出するようにも構成され得る。「passage」のようなある相互作用ユニットは、アボットの遠隔コミュニケーション機能のようなある機能をトリガし得る。ある相互作用ユニットは、以前の同様の相互作用ユニットに関連したデータの検索をトリガし得る。例えば「dream」又は「wonder」相互作用ユニットは、以前の「dream」又は「wonder」相互作用ユニットの以前に記録／記憶されたデータの検索をトリガし得る。以前のデータは、現在の相互作用ユニットとの類似性に基づいて検索され得る。ある相互作用ユニットは機械学習プロセス、例えば「wonder」及び「dream」をトリガし得る。

共感型計算装置とのインターフェースの例示的プロセスが記述される。最初に、共感型計算装置はスタンバイモードにあり得て、ここでは共感型計算装置の構成部品及び／又はプロセスのいくつかが非アクティブである。いくつかの例では、共感型計算装置の少なくとも近接センサは、スタンバイモードにおいてアクティブである。ユーザの接近を検出すると、共感型計算装置はウエイトモードに遷移し得る。ユーザの接近の検出は、ユーザが共感型計算装置の近傍にいるか又は近付いていることを示すセンサデータを（例えば近接センサから）受け取ることに応答して生じ得る。応答して、描写的に「open」とラベルされている相互作用ユニットが抽出され得て、「open」相互作用ユニットに対応する省察的フィードバックが生成され得て、例えば特定のＬＥＤを特定の色で光らせる。

ウエイトモードへ遷移すると、共感型計算装置の一つ又はそれ以上の構成部品又はプロセスが活性化され得る一方で、あるその他の構成部品又はプロセスは非活性化のままであり得る。いくつかの例では、少なくとも一つの付加的なセンサ、例えば動きセンサ及び／又はタッチセンサが、準備完了モードへの遷移に応答して活性化され得る。いくつかの例では、動き及び／又はタッチセンサは、共感型計算装置が準備完了モードに遷移するまで非アクティブのままでいてもよい。共感型計算装置はユーザが少なくとも閾値時間期間の間は近傍に留まっていることを示すセンサデータを受け取ることに応答して、準備完了モードに遷移するように構成され得る。描写的に「be」とラベルされた相互作用ユニットが抽出され得て、「be」相互作用ユニットに対応する省察的フィードバックが生成され得るが、これは先の又は引き続く相互作用ユニットに応答して生成される省察的フィードバックからは異なり得る。

例えばユーザが共感型計算装置を取り上げてユーザの手のひらに置くことの結果として、共感型計算装置の動き及び／又はユーザの共感型計算装置との物理的な接触を検出すると、共感型計算装置はアクティブモードに遷移し得る。アクティブモードでは、共感型計算装置の構成部品又はプロセスのいくつか又は大半がアクティブであり得て、データの多モード／多次元分析および抽出を可能にする。共感型計算装置の動き及び／又はユーザの共感型計算装置との物理的な接触の検出は、共感型計算装置の位置、方向、加速度の変化及び／又は共感型計算装置の底部（例えば接触感応底面）との接触を示すセンサデータを受け取ることに応答して生じ得る。応答して、描写的に「touch」とラベルされている相互作用ユニットが抽出され得て、「touch」相互作用ユニットに対応する省察的フィードバックが生成され得て、例えば特定のＬＥＤを特定の色で光らせるが、これは「open」及び「be」相互作用ユニットに対して先に使用されたＬＥＤ及び／又は色とは異なり得る。

アクティブモードにおいては、共感型計算装置は音声データ及び／又は画像データを記録するように構成され得る。共感型計算装置は話認識を実行し得て、ユーザによる音又は発声に関連した相互作用ユニット（例えば、描写的に「touch」「smile」「feel」「breathe」「wish」及び／又は「diem」相互作用ユニットとラベルされる）を抽出し得る。特に、共感型計算装置は、ユーザ相互作用への付加的なコンテクスト的情報を提供し得るパラ言語学的な要素（例えば、笑い、咳、ため息、咳払い、うなり、息の軽い吹出し、口笛のような任意の発声）を検出するように構成され得る。ある意味では、共感型計算装置は、広範囲の合図（声の又は非声的な）を観察且つ聞いてユーザとの双方向の相互作用を拡張するように動作可能であり得る。いくつかの例では、共感型計算装置は動画処理（例えば顔認識）を実行し得て、共感型計算装置に対するユーザの顔の表現又は位置の変化を検出し、例えば、「smile」と描写的にラベルされた相互作用ユニットを抽出する。いくつかの例では、静止したままでいること、共感型装置を静止した水平位置に保持すること、及び／又は共感型装置の周囲でユーザの手を閉じ且つ／又は広げることに関連した相互作用ユニットが、ここで記述された他の相互作用ユニットに関連した省察的フィードバックを生成し得る。

いくつかの例では、共感型計算装置は、ある条件の発生又は非発生に基づいて、抽出を中断（ポーズ）又は終了するように構成され得る。例えば、共感型計算装置は、閾値を超えた共感型計算装置の動きを検出すると、画像又は声データの記録を中断（ポーズ）し得る。共感型計算装置は、閾値時間の間だけ共感型装置が静止した水平位置に保持されていることを示すセンサデータに応答して、「calm」と描写的にラベルされた相互作用ユニットを抽出するように構成され得て、それに引き続いて抽出が再開され得る。さらなる例では、あるユーザの動作が省察モードへの遷移をトリガし得て、そのモードでは、共感型計算装置は、ユーザデータを送信し、相互作用ユニット（例えば描写的に「ima」とラベルされた相互作用ユニット）の累積的なシーケンスを生成し、及び／又は、その日のそれまでの間に生成された全てのシーケンス（例えば描写的に「diem」とラベルされた相互作用ユニット）のような複数のシーケンスのフィードバックを提供するように動作可能であり得る。

ここで図９〜図１１も参照して、ここでの例に従った共感型計算装置の付加的な特徴が記述される。図９はアボット９００の形態の共感型計算装置を示し、図１０はアボット９００の底部を示して、そのある内部構成部品を示している。アボット９００は、本開示ならびに任意の目的でその全体が参照によってここに援用される米国特許第９，２１８，０５５号で記述された共感型計算装置のいくつか又は全ての特徴を含み得る。アボット９００は、一般的に手のひらサイズであり得て、ユーザの手の中に気持ちよくフィットするように丸みを帯びた形状を有し得る（図９参照）。アボット９００は、透明又は半透明であり得る丸みを帯びた上方部分９０２と、一般的に不透明であり得る丸みを帯びた底部部分９０４とを有し得る。アボット９００は一つ又はそれ以上のセンサ、例えばタッチセンサ、近接センサ、動きセンサ、画像センサ（例えばカメラ９０６）を含み得て、これはアボット９００内部に囲まれ得るか、又はセンサデータを記録するために周囲と通信するように動作的に配置され得る。アボット９００は、複数のＬＥＤ９１４（図１０参照）の形態のフィードバック生成器を含み得る。描かれている例では、アボット９００は１５個のＬＥＤを含み、これらは描写目的で、回路基板９１８上のそれらの位置に基づいて番号が付けられている。いくつかの例では、アボットは任意の数のＬＥＤ、例えば６個、７個、８個、９個、１０個、１１個、１２個、１３個、１４個、１５個、１６個、又はそれ以上のＬＥＤを含み得る。いくつかの例では、アボットは６個より少ないＬＥＤを含み得る。いくつかの例では、アボットは２０個又はそれ以上のような、１７個より多くのＬＥＤを含み得る。

一つ又はそれ以上のＬＥＤが、ユーザへのフィードバックを提供するために同時に又は順番に点灯され得る。特定の数のＬＥＤ又はＬＥＤの色が、特定の相互作用ユニットに関連され得る。いくつかの例では、省察的フィードバックの生成は、その相互作用ユニットのタイプを独自に識別する色に対応した色のＬＥＤの照射を含み得る。例えば、「open」相互作用ユニットに対する省察的フィードバックを提供する際には黄色のＬＥＤが照射され得て、「ima」相互作用ユニットに対する省察的フィードバックを提供する際には赤色のＬＥＤが照射され得る、などである。記述されるように、一つ又はそれ以上のＬＥＤを照射することによって生成される光のパターンは、任意の所与の相互作用ユニット及び／又はユーザ相互作用セッションに関連したコンテクスト的情報に依存して変えられ得る。例えば、個別のＬＥＤ又は複数のＬＥＤに関連した一つ又はそれ以上の色、頻度、明るさなどのようなパラメータが変えられ得る。パラメータは、変化が人間の目に感知可能であるような微小な時間間隔で、例えば４０ミリ秒間隔（２５Ｈｚ）又はその他の適切な間隔で変えられ得る。このようにして、任意の数の光パターン（光表現）の変動が、特定のシーケンス及びコンテクスト的情報に基づいて生成され得る。変えられることができるパラメータは、色、色のコントラスト、色の強度、明るさ、頻度の変化、変化の速さ、及びその他のものを含み得る。色、シーケンス、ならびに色及びシーケンスがどのように表現されるかを変えることができる任意の数のパラメータが、変えられ得る。

図１１は相互作用ユニット１１１０のシーケンスの一例を描いており、これは、本開示に従った相互作用セッションの間に、ユーザ１１０５と共感型計算装置（例えばアボット９００）との間の相互作用に基づいて生成され得る。相互作用ユニット１１１０のシーケンスに対応する光のパターンの形態の累積型フィードバックが、ユーザとアボットとの間の相互作用セッションの完了時に、アボット９００によって生成され得る。描かれた例では、相互作用ユニットのシーケンス１１００（共感ストリングとも称される）は１８個の相互作用ユニット１１１２を含む。シーケンス１１００は、「be」タイプの相互作用ユニット（例えば相互作用１１１２−１）で始まり、「ima」タイプの相互作用ユニット（例えば相互作用１１１２−１８）で終わる。この例に描かれているように、共感型計算装置は発声（例えば発声されたシーズ）を検出し、各々の抽出された相互作用ユニットに引き続く省察的フィードバック及び／又はシーケンスを表す累積的フィードバックを生成し得る。シーケンスにおける個別の相互作用ユニットが一列に描かれているが、いくつかの例では、累積的フィードバックは、共感型計算装置９００の複数の光源（例えばＬＥＤ）によって生成される光のスパイラルの形態を取り得る。

記述されるように、共感型計算装置によって生成されるフィードバックは、個別の相互作用ユニットに対応した省察的フィードバックを含み得る。一例として、アボットは、第１の所定の相互作用ユニット（例えばユーザによる微笑み）の検出時に第１の省察的フィードバック（例えば３番目のピンク色のＬＥＤの点灯）を生成し得て、且つアボットは、他の所定の相互作用ユニット（例えばユーザの手によってアボットが取り囲まれる）の検出時に第２の省察的フィードバック（例えば７番目の紫色のＬＥＤの点灯）を生成し得る。いくつかの例では、複数の光又は音が、所与の相互作用ユニットに対する省察的フィードバックを提供するために使用され得る。例えば、話検出の場合には、以下にさらに記述されるように、話された言葉に共鳴して複数のＬＥＤが点灯され得る。

ここで図１２も参照して、検出された話された言葉に対応し得る「seed」相互作用ユニットに対するフィードバック生成の一例が記述される。アルファベットにおける各文字が、独自の色に割り当てられ得る。任意の話された言葉は複数のＬＥＤの照射によって表現され得て、所与のＬＥＤが一つ又はそれ以上の言葉の接頭辞及び／又は言葉の接尾辞に対応する。言葉の本体は、本体の文字に対応するＬＥＤの独自の色によって表現され得て、本体の始まりは所定のＬＥＤ、例えば１３番目のＬＥＤによって示され得る。描かれている例では、「mindful」という言葉に対する例示的な光の表現が描かれているが、示されて且つ記述される特定の例が描写のためのみに提供されており、ＬＥＤがどのように照射又は選択されるかについての任意の他の組み合わせ又は変動が、本開示に従ったフィードバックを生成するために使われ得ることを理解されたい。例えば、他の場合には、言葉の本体を独自に色が付けられたＬＥＤによって表される個別の文字に分解する代わりに、言葉が音節に分解されることができて、各音節が独自に色を付けられ且つ／又は独自に位置されたＬＥＤによって表現されることができる。いくつかの例では、単一のＬＥＤを特定の接頭辞又は接尾辞に割り当てる代わりに、接頭辞及び接尾辞も分解されて個別のＬＥＤによって表現されることができて、接頭辞、本体、及び接尾辞の間の時間が、言葉の異なる部分の間の遷移を示すように調整され得る。同様の方法で、発音された任意の声の音、任意の言語で音節に分けられた任意の音声学的な音が、発声が特定の自然言語におけるという制約無しに、音の断片をセグメント化することによって光の表現に割り当てられることができるように、音声学的な音が光の表現に変換されることができる。例えば、ユーザは発声時に英語、スペイン語、又はその両方を使用し得て、共感型計算装置は、話された言語に関わらず、これらの発声に基づいて相互作用ユニットを抽出するように構成され得る。

省察的フィードバック（例えば話された言葉に対応するＬＥＤ照射パターン）は、ユーザ相互作用の直後に（例えば言葉が話された直後に）生成され得て、ユーザはこれにより、アボットとの双方向のコミュニケーション言語を開発する方法として、話された言葉又はその構成部分に対応するパターンを認識するように学び始め得る。いくつかの例では、各々の照射されたＬＥＤの間の時間期間及び／又は言葉を表現する個別の色の変化の速さが、例として、これらの特定の相互作用ユニットに関連したコンテクスト的情報を反映するように調整され得る。いくつかの例では、コンテクスト的情報は、相互作用セッションの完了後に生成された累積的フィードバックのみに組み込まれ得て、省察的フィードバックは、ユーザがアボットとの双方向のコミュニケーション言語を連続して学ぶことを可能にするために、変更されないままである。

いくつかの例では、フィードバックは視覚的フィードバック、音声的フィードバック、触感的フィードバック、又はそれらの組み合わせを含み得る。音声的フィードバックの例では、上記で記述されたものと同様の原則が組み込まれ得て、可聴表現に対する数多くの変動を提供する。小さな音響的な音の断片が使用され得て、これらに関連したパラメータが、省察的フィードバックによって表現され得る表現のニュアンスを獲得するように変えられ得る。図１３は、音声的フィードバックのために使用され得る音の断片の一例を描いている。いくつかの例では、音は光及び触感的（例えば振動）表現と組み合され得て、ここにおける例に従ったフィードバックを提供する。

共感型計算装置はまた、相互作用セッションの完了時に、特定の相互作用セッションに関連した相互作用ユニットのシーケンスの表現であり得る累積的フィードバックを提供し得る。いくつかの例では、累積的フィードバックはスパイラルの形態を取り得る。いくつかの例では、ある条件が満たされなければ、スパイラルは生成されないかもしれない。例えば、相互作用セッション（例えば醸成セッション）の完了時に、共感型計算装置は、相互作用セッションの間に生成された省察的フィードバックの要素の全てを含むフィードバックを生成し得る。省察的フィードバック及び／又は累積的フィードバックのいずれかが、コンテクスト的情報に従って調整され得る。例えば、光の頻度、連続する光の間の期間、色の強度及び／又は明るさ、又はその他のパラメータが、コントラストの相違を考慮するために、フィードバックを生成するときに変えられ得る。

いくつかの例では、アボットは、ある最小条件が満たされると、累積的フィードバックを（例えば動くスパイラルの形態で）生成するように構成され得る。例えば、動くスパイラル又は単純にスパイラルは、相互作用セッションが少なくともある数の相互作用ユニット及び／又はある数の所与のタイプの相互作用ユニットを含むならば、生成され得る。例えば、スパイラルは、シーケンスが少なくとも４つの相互作用ユニットを含み且つ少なくとも「calm」相互作用ユニット及び／又は「breathe」相互作用ユニットを含むならば、生成され得る。この特定の例は描写の目的のみであって、他の数及びタイプの相互作用ユニットが、スパイラルに対する最小条件として要求され得る。ある最小条件が満たされないと、スパイラルは生成されなくてよく、フィードバックは他の方法で生成され得る。ユーザ相互作用セッションに関連したユーザデータ（例えばシーケンスのデータセット、シーケンスの属性、コンテクスト、など）は、スパイラルが生成されたかどうかには関わらず、ローカルに記憶されてもよく（例えばアボットのメモリに）、及び／又は離れたストレジに送信されても良い。

いくつかの例では、共感型計算装置は内向きに動くスパイラルを生成するように構成されえて、これは最も外側のＬＥＤ（例えば１５番目のＬＥＤ）から最も内側のＬＥＤ（例えば１番目のＬＥＤ）に向かう順にＬＥＤのいくつか又は全てを順に点灯する内向きに動くスパイラル、内向きに動くスパイラルとは逆の順序でＬＥＤのいくつか又は全てを順に点灯する外向きに動くスパイラル、複数のスパイラルを連続して生成することを含み得る連続スパイラル、又はそれらの任意の組み合わせを生成するように構成され得る。さらなる例では、フィードバックが、必ずしも連続したスパイラルの形態である必要は無く、他の照射パターンで、例えば３番目のＬＥＤ、それから８番目のＬＥＤ、それから４番目、それから１番目などのように照射され得る。この方法で、多数の光表現が様々な照射パターンによって提供され得て、これは任意の所与の相互作用ユニットの特徴／局面（例えば双方向の相互作用の構造的な組織）を表現するために使用され得る。

先に記述したように、アボットによって提供されるフィードバック（例えば省察的及び／又は累積的フィードバック）は、コンテクスト的情報を考慮して生成され得る。例えば、２つの時間的に間隔が空いた相互作用セッションに反応して生成された相互作用ユニットの２つのシーケンスは、相互作用ユニットの同じ数及び組み合わせを有し得る。しかし、これら２つの累積的フィードバックは、各々の相互作用セッションに関連したコンテクスト的情報に基づいて異なっていてもよい。例えば、第１の相互作用セッションに関連したコンテクスト的情報は、比較的高い「calmness」及び「clarity」、ならびに比較的明るい環境及び／又はより暖かい周囲温度の指標を含み得る。第２の相互作用セッションに関連したコンテクスト的情報は、比較的低い「calmness」及び「clarity」、ならびに比較的うす暗く且つより涼しい周囲条件の指標を含み得る。第１の相互作用セッションに関連したフィードバックは、例えば異なる特性、例えば異なる光のシーケンス（例えば光照射の色又はパターン）を有するフィードバックを生成することによって、第２の相互作用セッションに関連したフィードバックとは異なり得る。例えば、近さが増すことは、フィードバックの時間期間を増すことによって反映され得る。明瞭さが増すことは、照射される光の明るさを増すことによって反映され得る。平静さが増すことは、引き続く光の間の時間期間によって反映され得る。コンテクスト的情報（コンテクストとも称される）は、分類及び／又はフィードバック生成プロセスの間の重み付け基準を提供し得る。言い換えると、重み付けは、例えば生成されるフィードバックを調整する目的で、同様の種類の一つの以前の又は複数の以前の相互作用と比較して、所与のコンテクストの間の相対的な質を決定するために使用され得る。

図１４は、共感データ（例えばユーザデータ、アボットデータなど）を記憶するために使用され得る例示的な共感データベース１４１０を示す。共感データベース１４１０は、サーバ１３０のストレジ装置又はサーバ１３０と通信的に結合された任意のストレジ装置に具現化され得る。データベース１４１０は、一つ又はそれ以上のユーザ及び一つ又はそれ以上の共感型計算装置に関連した共感データを記憶するデータ構造を有し得る。共感記録１４１２は、データベース内のユーザに関連した各々のユーザ相互作用セッションに対して生成され得る。共感記録は、共感型計算装置からサーバ１３０へ送信されるデータセットに基づいて生成され得る。先に述べたように、データセットは相互作用セッションの完了時に送信され得るか、又は相互作用セッションの間にリアルタイムで少しずつ送信され得る。

各々の共感記録１４１２は、相互作用ユニットのシーケンスを識別する独自の識別子フィールド１４１６を含み得て、且つ相互作用セッションの期間（例えば期間フィールド１４１７）、及び各々の相互作用ユニットの個別の期間（例えば期間フィールド１４１９）、ならびに相互作用ユニットの間の間隔の期間を記録し得る。日付、時刻、場所、ユーザＩＤ、アボットＩＤのようなある属性が、データベース内の相互作用ユニットのシーケンスを独自に識別するために使用され得る。シーケンスにおける各々の相互作用ユニットは、独自のＩＤによって及び／又は相互作用ユニットのタイプを（例えば対応する共感ビーズの独自の識別子２７２によって）特定する共通の記述子によって、共感記録１４１２内で独自に識別され得る。個別の相互作用ユニットに関連したコンテクストを含む相互作用セッションに対する付加的な属性がまた、各々の共感記録に、例えばコンテクストフィールド１４２０−１、１４２０−２、１４２０−３、及び１４２０−４に記憶され得る。加えてオプションとして、記録の表現フィールド１４１８は、所与のシーケンスがスパイラルをもたらす結果になったかどうかを反映し得る。共感記録はコンテンツ位置決めフィールド１４２２を含み得て、これが、共感記録１４１２内の一つ又はそれ以上の相互作用ユニットに関連した記憶されたコンテンツ（例えば声及び画像データ）の位置に対するポインタを記憶し得る。

理解されるように、各々の共感記録は特定のユーザ相互作用セッションに関する少量の情報を獲得し得るが、時間を掛けて（例えば数日、数週間、数ヶ月、数年に渡って）記録された共感データは大量の計算可能データを提供し得て、これはパターンを導出するように分析され得る。例えば、データセットの収集物又はデータセットの分布から、あるパターンが抽出され得る。例えば、正規分布（すなわちベル曲線）が、任意の数のユーザ相互作用セッションの間に、ユーザの話のテンポ、手の静止さ、又はその他のユーザのコミュニケーションの局面に関して得られることができる。理解されるように、例えば一つ又はそれ以上の共感ストリングスが生成された時点におけるユーザの状態又は条件に関する特定の情報を識別するために、そのような確率論的データの数多くの使い方が存在する。いくつかの例では、そのような情報は、アボットがユーザの手から離れているときにアボットによる更なる表現のためのソースとなり得て、これはユーザが、アボットによってなされる表現によって鼓舞され得るように、彼又は彼女の心の反映として多くの異なる種類の事物を知覚するか又は気付くことを可能にし得る。

より多くの共感データが所与のユーザに対して累積されるにつれて、このデータは、動画の形態で記録された発声された話ならびに自然な身体の表現及び姿勢などと共に、ユーザの意識の高さ、自己認識、自助習慣、アイデア及び思考の生成、自己省察などに関するデータベースを提供し得て、一日一日ベースでのユーザの独自の個人情報に対する基礎を形成し得る。そのユーザに関するその他の関連した情報は、これに付与されることができる。例えば、人間の身体に物理的、生理学的、又は心理学的に影響し得るインターネットを通して獲得された天気、温度、気圧、月の満ち欠け、風向き、空気中を浮遊している花粉などのようなその他の情報が、共感データベースに付与されることができる。ユーザは、関連するとユーザが見出し得る外部データで、共感データベースをさらに発展することができてもよい。ユーザは、共感データの確率論的な分析の結果として、パターン、関連性、及び／又はつながりを見出し得る。このようにして、共感データベースは自己サーチ、自己発見、及び自己探求の基礎を形成し得る。

共感アプリケーション及びサービスの例
図１５は、いくつかの例に従った共感サービスプラットフォームの概観を描いている。図１５に描かれるように、共感ＯＳとインターネット上のＡＰＩサーバ（例えばサーバ１３０）を通して使用されるデータベースとの組み合わせに基づいて、本システムをサービスプラットフォームとして利用する広範囲な方法が存在する。例えば、ユーザとアボットとの間のコミュニケーションは、有用な情報をユーザ及びユーザに関連した他者（例えばケアの利用者、親、友人、医師など）に対して提供することにフォーカスしたそのようなサービスを通して、さらに拡張、豊富化、深化されることができる。情報に対する外部サービスが、ユーザとアボットとの間のユーザ相互作用／コミュニケーションから生成及び累積された情報の深さ及び幅を補うために使用されることができる。自助、メンタリング、カウンセリング、健康ケア、教育、練習などの目的でユーザにサポートを提供する目的でのインタラクティブコミュニケーションサービスが、ここで例示されたシステム及び方法を使用して可能にされることができる。また、新しいサービス提供者、アプリケーション開発者が、このプラットフォームに加わり得る。

例１−ハイブリッドラベリングシステム
話認識の精度は、ある名前に対する固有名詞のようなシステムにとって未知の言葉をユーザが話すかもしれない、あるいは、かなり物理的にかなり離れて（例えばマイクから離れて）ユーザがアボットに話しかけるかもしれない、うるさい場所で話すかもしれない、あるいは不明瞭な方法で話すかもしれない、などの事実のために、常に完全ではなく又は１００％には達しないことがある。例えばスマートフォン装置における今日の話認識が、ある場合には比較的良好に動作するが他の場合にはユーザの期待に合致しないかもしれないことは、広く知られている。話されたコマンドに対するいくつかの応答は間違っていることがあり、いくつかのコマンド又は質問に答えが与えられないことがあり、いくつかは「利用できません」などのテキスト表現で回答されるかもしれず、且ついくつかは「不正な入力」と解釈されるかもしれない。そのような応答は、話認識の精度レベルに関わらず、失望、迷惑、あるいはユーザの感情を害させ得る。話認識からの文章化がどれほど良好に実行されたかどうかに関わらず、最終的に質は、ユーザの期待のフィルタを通して判定され得る。これより、話認識及び文章化技術の進歩が望まれ続け得て、ここでの例は、現存する話認識及び文章化技法の短所の一つ又はそれ以上を改良し得る。

現存する話認識及び文章化技法の短所のいくつかをさらに描くために、劣悪なネットワーク接続性によって応答が見えない、又はある場合には無応答が生じる状況（例えば、応答を提供するインターネットのようなネットワークに依存する携帯装置をユーザが利用している）が存在し得る。アシスタントアプリケーションのようなサーバに基づくアプリケーションからユーザが応答を獲得し得る状況、応答（例えばテキスト）が正確さのためだけではなくどのように提供されるか（例えば、遅延するか、あるいは応答を提供するために使用される声の音量又はタイプ）のためにユーザを失望させ得る状況が、存在し得る。どのようにコミュニケーションされるかに依存して、ユーザは、わずらわしく感じたり、困惑したり、判断されたり、気を引こうとされたりし得る。声の話からの文章化を実行する典型的なアプリケーションは、話認識がうまくいかないか、あるいはインターネット又はその他のネットワークへの接続が検出されないと、ユーザに再び話させようとし得る。これらは、従来の方法が典型的に、ユーザに対する一般的な回答（出力）を、ユーザ又は相互作用に関連した応答コンテクストを考慮せずに又は組み込まずに生成することにフォーカスしているという事実から生じ得る。

自然な人間のコミュニケーションでは、ユーザはいつも又は必ずしも、彼又は彼女が言っていることを相互作用の前に正確に知っているか又は決定している訳ではない。典型的には、お互いの相手を認識し、相互にお互いに向かい合うことから始まり、自然な身体の動作又は表現などを伴う。ここでの例に従った共感型計算インターフェースは、アボットとのコミュニケーションにおけるユーザの経験を複数の角度から考慮することによって、自然な人間のコミュニケーションの後にパターン化され得る。

このことを心に留めて、ユーザとアボットとの間の自然な双方向のコミュニケーションを維持し、ならびにユーザに対する出力を提供する（例えば光、音、及び振動を伴う表現を生成する）ときにユーザを失望させないようにシステムで注意しながら話認識を取り扱うために、発声された話を取り扱う新しい方法が具現化され得る。また、ユーザを失望させ得るような応答を与えないように、書かれたテキストへの話の文章化が、より注意深く取り扱われ得る。

アボットとのコミュニケーションは、自然に生成されるか又はアボットの存在で促進され得て、ユーザの日常の生活環境にそれ自身のスペースを形成する。任意のコミュニケーションは、先に述べられたように、合図（Ｃ）及び共鳴（Ｒ）を使用して、ユーザとアボットとの間の自然なシーケンスで始まり得る。

ユーザは、相互作用の始まりでは、特定の話表現（例えば話における入力コマンド）を知っていなくてもよい。むしろ、ユーザによる以前のコミュニケーション的な相互作用に対する表現をアボットが提供するにつれて、ユーザは自然に且つ次第に発声するようになる。ユーザは任意の特定の話を発声する必要は無く、アボットとのコミュニケーションはアボットへのユーザの身体の表現に従って継続し得る。ユーザは単純に、彼又は彼女の距離（例えば近さ）、姿勢（例えば平静さ）、又はユーザが選んだ位置（例えば静かな場所）で、アボットと自然なコミュニケーションの場にいることを必要とするのみで、話しかけなくてもよい。ユーザが、彼又は彼女が発声したいと感じ得ることを何でも且ついつでも話せば、ユーザが強制されたと感じたり、装置に正しい入力をするために「装置に対して働きかける」ことを余儀なくされたりする必要なく、アボットがその発声を獲得することを可能にする。

光、音、及び／又は振動を使用することによってアボットによって生成された表現は、いくつかの従来の装置に比べて、ユーザの感覚又は感情に対して、より大きなアピールを提供し得て、ユーザが容易に認識又は学習することを可能にし得る。従来の方法とは異なり、アボットは、文章化又はサーバを使用するアプリケーションによって準備された一般的な回答に対応するテキストを直接的に表示する必要は無く、ユーザの入力を解釈することによって「正しい」解答を提供しようとする必要は無く、これにより、アボットとの相互作用における安易さ、自由、及び信頼感を促進し得る。このことが、従来の方法を介してインターフェース接続するときに典型的であり得る注意散漫及び困難さ無しにアボットとのコミュニケーションを継続することができることによって、ユーザのいつもの習慣の発展をさらに容易にし得る。

発声された話は抽出されて、シーズとも称される音情報の小さな断片に処理されて、これが典型的にはフレーズ又は文に対応し得て、１秒未満から数秒又はより長い期間を有し得る。例えば、「good morning」という発声された話から抽出されるシーズは、例として１．２２秒掛かり得て、あるいは他の場合には１．３４秒掛かる。「I feel thankful」という発声された話から抽出されるシーズは１．４５〜１．８３秒、あるいはいくつかの場合には、ユーザの話のテンポに依存して、より短い又は長い時間を要する。発声された話ならびに任意の音の情報（発声された話、ユーザの動きに関するノイズ、あるいは周囲の環境の他の声の発声）を数秒間の断片にセグメント化することは、一般的にその処理、例えば保存、分類、重み付け、関連付けのインデックス化、共感データ又は共感ストリング情報におけるコンテクスト的情報（Ｃ）との関連付けの実行を容易にし得る。小さな音の断片（例えばシーズ）とされ、共感データセット内で接続且つ組織化されたユーザの発声された話は、ユーザにとって有用で興味深く記憶可能で魅力的で且つ／又は探索可能であり得る情報を生成することに寄与し得る。コンテクストを含む多次元データを獲得することによって、典型的にはユーザは、どれだけ平静に、どれだけ明瞭に、どれだけ優しく、どれだけ長く、どれだけコンスタントに、話がどのように発せられたかに関する付加的な情報がユーザに提供され得て、且つ、話に関する重み付け情報のフィードバックが非侵襲的な方法で提供され得る。非言語学的な情報、パラ言語学的な情報、ならびに言語学的な情報が、シーズ（Ｓ）及びその関連したコンテクスト（Ｃ）と共に獲得され得て、共感データの範囲内に組織化され得る。

図１６は、音節あたりの時間というインデックス数を使った話のテンポに基づいて、発声された話のリストを分類した例を描いている。例えば、「I feel thankful」という表現を有するシーズ（Ｓ）は多くの回数だけ生成され得て、異なるときに発声された「I feel thankful」というシーズの全てのリストが生成され得る。音節あたりの時間は、シーズとして抽出された発声の全時間期間を測定し、描かれた例ではこれは、典型的には、フレーズ内の音節の数（すなわち６音節）で１．４５〜１．８３秒を割り算した範囲にある。いくつかのシーズは、音節あたりの時間というインデックスデータを使用して「prioritized」とラベルされ得る。いくつかのシーズは、確率論的な分析によってそのような特徴を示し得るコンテクスト（Ｃ）を使用して、「very calm」とラベルされ得る。累積されたデータはソートされ得て、所望のあるシーズ（Ｓ）又は発声された話に対するランキング、優先順序付け、及び／又はフィルタリングを容易にし、これがそれから、サーバ上で実行される他の話認識によって精度をチェックされ得る。文章化の精度に関するフィルタリングされたシーズの二重チェックが、人間によって、あるいは同じ又は異なる話認識及び文章化技法を使う機械によって、実行され得る。人間の筆記者は、必要又は所望であれば、文章化されたものの修正、緻密化、改変、又は書き換えを行い得て、あるいは所望されれば、ユーザの記録された話を聞くことによって、より詳細な情報さえ追加し得る。様々な方法でラベル、インデックス、マークなどを付けられた断片毎の発声された話は、ユーザのために情報をさらに取り扱うことを容易にし得る。一般的に、未知の言葉又は固有名詞の文章化は、ユーザのみが知っているものに関する情報をシステムが所有していないために難しい。同時に、多量の発声された話、又は何らかの方法でカテゴリ化又はフィルタリング化されていない大きな未分割の音声ファイルを手作業で取り扱うというタスクは、困難且つ効率的になり得る。音声データの小さな断片にセグメント化されて且つ選択的な方法でカテゴリ化、タグ付け化、又はフィルタリングされ得る話データの利用の例は、音声データのより容易な引き続く処理（例えばレビューして誤りチェックを行うこと）を促進して、有用なサービスをユーザに相応のコストで提供する様々な機会を可能にし得る。いくつかの例では、抽出された話（例えばシーズ）は、そのシーズに関連した共感情報の任意の部分に基づいて、例えば重み付けされ、ソートされ、フィルタリングされ、タグ付けされ、インデックス化され、且つ優先順位付けされ得る。例えば、シーズは、特定のコンテクスト、一つの例では「calm」に関連されたシーズのみを使用して抽出するというように、コンテクスト的情報を使用してタグ付け及び／又はフィルタリングされ得る。引き続く処理が、特定のコンテクスト、この例では「Calm」を使用してタグ付け又はフィルタリングされたシーズのみについて実行され得る一方で、他のシーズは、この例の目的については無視される。このようにして、さらなる処理を必要とし得るデータセットが大いに減らされて、話データを処理するためのより効率的で且つ費用対効果により優れた方法が提供される。ソート、フィルタリング、タグ付け、インデックス付け、及び／又は優先順序付けのために使用される特定の情報は、ユーザ、ユーザに関連した他の人物又は存在、又は管理者によって、選択可能か又は構成可能であり得る。

発声された話から抽出されて文章化された言葉はアボットのコーパス（すなわちユーザの個人的な言葉の辞書）に追加され得て、これが時間と共に連続的にアップデートされ得て、アボットによる機械学習を容易にし得る（例えば、アボットの話認識能力の改良を可能にし得る）。このようにして、アボットは、ユーザからの情報をアップデートすることによって連続的に学習し得て、特定のユーザとの相互作用をより正確に反映し得る表現を生成する能力を連続的に開発し得る。例えば、アボットは、初めてアボットに対して発声された未知のものに対する共鳴表現を、他の言葉についての話認識から集められた情報を使用して（例えば、アボットが１秒間に又は引き続く時間の間に検出し得る言葉に対する話認識を実行することによって）、生成することができるかもしれない。ユーザが話を発声することによってアボットとコミュニケーションを取るたびにアボットが学習するというような方法でアボットが応答することは、ユーザにとってはより自然であり得て、これは、彼又は彼女がアボットの応答として何を期待し得るかに関するユーザの正しい理解又はマインドセットに貢献し得る。

話に関する周囲の情報を含む共感データセットと組み合わされた話データ、又は話のパラ言語学的な情報は、有用な情報を生成することにフォーカスするか又は集中することによってユーザの期待を満たすか又はそれを凌駕し得るサービスを提供するために効果的且つ効率的に利用され得る。文章化データに基づいて表現の方法（例えば、意味を成す光、音、及び振動、人間にアピールする効果）と組み合わされると、アボットはユーザとの双方向のコミュニケーションを拡張又は豊富化し得る。このようにして、モバイル又はウエブアプリケーションのような他の接続されたアプリケーションへの有用な情報が、ここにおける例に従って提供され得る。

例２−ウエブブラウザ及び／又はモバイルアプリケーションの助長
共感ストリングデータが累積するにつれて、組み合わせ、シーケンス、共感ストリングにおける共感のタイプ、各々の共感ストリングに関するコンテクスト（Ｃ）情報、シーズ（Ｓ）情報のような共感データセットに関して、あるパターンが見出され得る。例えば、ユーザが同様の方法で、異なる方法で発声するかなどに関して、いくつかのパターンが見出され得る。パターン認識が自動的に実行され得て、それらのデータをカテゴリ化、分類、及び分析する。

いくつかの例では、音声的に同じ話（例えば正確に同じ言葉のコンテンツ及び同じ言葉のシーケンス）に対してでさえ、一つのストリングにおける共感の組み合わせは、部分的には、声の明瞭さ、手の動き又は平静さ、時間期間、及び共感ストリングに関連した他の情報のようなコンテクスト（Ｃ）が異なるために、他のストリングにおける共感の組み合わせから異なり得る。これより、ユーザは、共感ストリング又はコンテクスト（Ｃ）によって、シーズ（Ｓ）に含まれる言葉、ならびに時刻及び日付、及びデータベースに記憶され得る多くの他の異なるタイプの情報（例えば共感データ又はユーザデータの形態における）によって、話情報をサーチすることが可能になり得る。従来の技法とは異なって、ここにおける例は、ユーザの日常生活における単発的な、周期的な、又は連続的な方法での話データの様々な分類、組織化、分析、及び再組織化の方法を提供し得て、従来の方法を使用しては達成することができなかったかもしれない有用な情報を送達する。

また、ユーザのサーチの履歴、傾向、累積、ならびにユーザがサーチを実行する方法、例えばどのように且つ何回行われたかは、時間を掛けてそのユーザに特有の独自のパターンを生成し得る。そのようなパターンは、共感データベースに追加される新しいデータになり得る。ユーザの意思の作用、感覚、感情、思考、及び心の活動は、外部から直接的に獲得されることは容易ではないが、ユーザがアボットとともに時間を費やして、発声された話を含む自然な動作を通して自分自身を表現する時間及び場所は、ある自覚の有無に関わらず、あるいはユーザの日常生活におけるアボットとのコミュニケーションにおける特定の意図の有無に関わらず、有用な情報を明らかに又は暴露し得る。言い換えると、そのようなユーザ自身の内側の心の活動に関する情報は、ここに記述された方法によって獲得され得て、ユーザが有用である又は興味深いと見出すような方法で組織化、分析、及び／又は連続的に再組織化され得る。ユーザは、様々な適切な装置及び／又はアプリケーション（例えばモバイルアプリケーション、ウエブアプリケーション、ならびにアボットの表現）を通してアクセス可能であり得る連続的に発展しているデータベースにおいてユーザに関連する何かに気付き、サーチし、探求し、発見するように誘われるか又はサポートされ得る。

ユーザとアボットとの間の双方向のコミュニケーションに加えて、モバイルアプリケーション又はウエブアプリケーションが、補完的、付加的、又は異なるタイプの情報をユーザに提供するために使用され得る。ユーザは、アボットとコンスタントにコミュニケーションする人物であってもよく、あるいはユーザをサポートする他の人物であってもよい。例えば、親、ケア担当者、カウンセラー、メンター、コーチ、親友、家庭医、又は主なユーザが彼又は彼女の助けを得ることを期待し得るその他のタイプの人物。

ユーザは、ユーザがアボットのいる位置に再び近付くと、表示された拡張情報によって与えられるか又はアボット以外の形態を通して経験された情報によって思い出し、鼓舞され、気付いたと感じ得て、且つアボットとの相互作用コミュニケーションをもっと始めようと動機付けられたと感じ得る。続けようというユーザの動機はコンスタントにサポートされ、共感によって作られたそのようなリソース及びユーザ自身によってアボットと共に超過時間で構築されたシーズを使用する。

例３−助長を伴う再帰的ループ
図１７は、助長、醸成後、及び助長の間のループを描いている。「助長」は、「醸成」（例えばアボットと一緒に共感を生成する自然のコミュニケーション）を通して生成された彼又は彼女の以前の又は現在の情報を反映するようなアプリケーションを使用したユーザの活動に与えられる名称であり得る。助長すること、あるいはユーザがアボットと一緒に生成した共感データに反映することは、ユーザの日常の生活時間の全時間の流れを補完し、アボットとのコミュニケーションのループを拡張する。醸成セッションからの出力（例えば、ユーザに関する広範囲の情報を含む共感データ、ならびにアボットによる表現を伴うリアルタイムのコミュニケーションの経験）は、アボットの出力（例えばアボットが開始する共鳴表現）を生じさせるデータベースへの入力になり、これがユーザの心、自覚、そのときの感覚に対する入力となり、これがアボットに返されるユーザの連続的な動作（すなわち新しい出力）、ならびにユーザ及び入力（情報、発声、描写、など）を与える代替的なトラック（例えばモバイル又はＰＣアプリケーションを通した）を生成し得て、これが、ユーザに次の動作をアボットに、あるいはアプリケーションを通してデータベースに戻すことをトリガするか、思い出させるか、あるいは鼓舞し得る。言い換えると、ユーザが醸成するものは、アボットによってトリガされたコミュニケーションにおいてユーザが後に醸成するもの又はそのために設計されたアプリケーションにおいてユーザが助長するものに反映される。

ユーザのみが彼又は彼女のために生成した共感データに基づく切れ目の無いコミュニケーションループが生成され、再帰的な方法で継続するようにサポートされる。再帰は、共感データの生成、及びユーザとアボットとの間の表現の流れに基づいており、ユーザは常にこれを意識し且つ学習し続け得る。ユーザは、いくつかの書いたもの、テキストメモ、又はアプリケーションを使用することによる任意の他のグラフィック的な方法を、ユーザが新しく感じ、心に思い浮かべ、省察した時点で、彼又は彼女が何を感じたか、何が心に浮かんだか、何を反映したかなどに関する「助長」アプリケーション（例えば、共感データ／リソースをレビューし且つそこで動作するモバイル又はＰＣアプリケーション）における共感データに追加し得て、これがオリジナルのものに対する新しい再帰的情報を生成する。このようにして、共感データはユーザの心の中の再帰にも流れる。

一般に、従来のリマインダアプリケーション、行うべきことを書き出すアプリケーション、カレンダーアプリケーションは、それがユーザにとって厄介になるという事実のために、時折長い時間期間に渡って動かないか又は続かない。小さな障害がコンスタントに蓄積されるか、あるいはユーザの心を悩ますか又は困惑させ始める。あるいは、他の場合には、典型的には、ユーザは機械のようなサービスからの自動でルーチンの情報に慣れてしまって、彼又は彼女が好むか好まないかに関わらず、実行し続けようという動機を失う。

コミュニケーションの相互作用は、ユーザがそれを楽しい、興味深い、有用であると感じ、あるいは、ユーザが義務と感じたり煩わされたり失望させられたりサービスによって判定されていると感じて何かに追い立てられていると感じることなく、日常ベースでユーザの心に相応の刺激を与える任意の他の特徴を見出すような双方向のコミュニケーションを常に維持することによって、ユーザの動機を高く維持し続ける必要がある。彼又は彼女がどのように感じて且つ応答するかに関する人間の性質又は特性は、本システム及び方法が常にサポートし且つ管理することを必要とするものの大部分を表し得る。

典型的には、良い習慣の形成は、ユーザが毎日満たすことに成功する多数の小さな構成要素から成っている。ユーザとアボットとの間の双方向のコミュニケーションは、新しい双方向コミュニケーションの経験によって常にフォローされ補完され且つリフレッシュ又はアップデートされて、ユーザの日常生活における永続的なコミュニケーションの一定の流れを強化し、ユーザが楽しいと感じて且つ彼又は彼女が常により良くなっていることを知るために有益であると知ることができるユーザに関する確固とした情報を生成する。アボットの形成はこの連続的なプロセスの生成物又は副産物であり得て、長時間に渡って成長するユーザにとって利点に対して、「小さなことが蓄積して且つ組織化され、常に再組織化される」ことをサポートする。

例４−自分自身を知る／自分自身を発見する
ユーザによって発声された話は、そのユーザに特有なあるパターンを有するとみなされ得る。確率論的な分析を実行するために十分なデータが蓄積されると、話すパターンが見出され得る。例えば、音声学的な発音を有する話の時間期間によって測定されるユーザの話のテンポ（例えば、時間をその話の音節の数で割ったもの）は、そのユーザに有用な特定の情報を検出する一例となり得る。一般に、人間の話は人によって発声や発音の仕方が変わるが、発声された話のテンポ又は速さ（シーズ（Ｓ）と記述された）は、あるデータ分布範囲を有する。

ユーザが、彼又は彼女がどれだけ速く又はゆっくり話すかについて特定のフォーカスされた注意を払うと、そのユーザに対して比較的短い（速い）又は比較的長い（遅い）かという話と認識される時間期間は、ある範囲内に収まる。ユーザのそのような話データは、ある時間期間に渡って収集且つ組織化されて、ユーザの発声によって形成される変動パターンについての何らかの指標を与え得る。ユーザは、彼又は彼女の物理的な条件、精神的又は感情的な状態、あるいは話の時点での周囲環境によって影響され得て、話のテンポ又は速さに関する彼又は彼女自身の分布を自然と生成する。そのようなデータは、人間の話が物理的な身体の構造によって変わるという事実には何の関係も無いかもしれないが、ユーザがその音声話を発する状況又はコンテクストとのみ関係する。

図１８は、ユーザの話テンポのデータを描いており、このグラフは、ユーザが行った各々の発声された話からの情報を含む共感データからのいわゆる正規分布又は典型的にはベル曲線と呼ばれるものを示している。ある分布パターン（すなわち正規分布）が見出されて、シーズ（Ｓ）の話テンポに対する音節毎の時間というインデックスは、ユーザが彼又は彼女自身のアベレージ又は平均的なデータと比較してゆっくり、速く、又は通常の方法で話したかに関するシーズ情報を分類するためのパラメータとして機能する。アボットは、ユーザの発声のそのような変動に共鳴することができ得る（例えば共感の間にその表現を省察するなど）。

話テンポのこの例は、ユーザのアボットとのコミュニケーションに関する他のコンテクストデータと組み合わされて、より大きなコンテクスト情報の一部として使用され得る。例えば、醸成セッション又は１セットの醸成セッション（すなわち１セットの共感ストリングスを生成する）を通した振舞いの「calmness」は、上述されたものと同様の方法で共感データベースを使用して測定され得る。ユーザの内面の感覚又は心の状態、意識的又は無意識の振舞いが常に暴露されるか又は明らかにされる機会及び空間（例えば共感ストリング）の発見、識別、又はサーチ、探求のためのパラメータの生成は、アボットが連続的にユーザを学習し、新しい共鳴経験を再生成し、彼又は彼女自身がそこから何かを見出すことができ得るユーザに対するフィードバックを生成するために有用であり得る。それは、ユーザが彼／彼女自身を知り、ユーザ自身がアボットとともに生成した中立且つ自然な情報に基づいて彼／彼女自身を調べる機会を生成且つ拡張し得る。それは、サービスプラットフォームにて記述されたように、ユーザが魂を創り出し、かつ情報を使用して他者を助ける機会を生成し得る。

例５−機能モジュール
ここでの例に従った共感型計算装置は、家庭又はオフィスにおいて、ＴＶ、ラジオ、パーソナルコンピュータ、音声映像ディスプレー、娯楽及びメディア装置のような他のエレクトロニクス装置にワイヤレスに（例えばＷｉＦｉ又はブルートゥースを介して）接続され得る。例えば、アボットは、以前の双方向コミュニケーションを通して生成された共感データに基づいて周囲表現を生成し得て、それらを、アボットの共感ＯＳで実行している機能モジュールを通して通信的に接続されたＴＶスクリーンに投影し得る。投影はあるイベントに反応して、例えばユーザがアボットに近付いたときに生じ得る。このようにして、生活又は勤務空間がアボットの存在によって拡張され得て、その空間を常にユーザを鼓舞する環境に変える。ここで記述された双方向コミュニケーションに関する及びユーザ自身に関する連続的なコミュニケーションの流れ又は再帰的ループもまた、このようにしてサポートされ得る。アボットに接続された他のエレクトロニクス装置との相互作用が、ユーザの心の中におけるアボットの存在を拡張、補完、及び強化し得て、日常生活における自然環境に寄与する。

他の例として、アボットと他の装置との間のそのような相互作用は、アボットの相互作用コミュニケーション方法を使用して、ユーザがＴＶスクリーンに表示された個人的なコンテンツ、メディアコンテンツを、離れた命令者を使用する従来の方法よりも自然で且つ直感的な方法で楽しむために使用され得る。それだけではなく、ユーザがアボットに対して慣れた単純な方法で手のジェスチャ又は声のジェスチャを使うことによって、ユーザがそのようなコンテンツに情報を付加する又はインデックスを付け得る。アボットとの経験を拡張するそのような機能モジュールは、ユーザの希望に従って追加され得る。共感データベースは、ユーザ自身に関する新しいタイプの独自の個人的情報又は個人的リソースの基礎となり得る。

以上より、ここでは本発明の特定の実施形態が描写の目的で記述されてきたが、様々な改変が、本発明の思想及び範囲から逸脱することなくなされ得ることを理解されたい。したがって、本発明は、添付の特許請求の範囲によってのみ制限される。

Claims (29)

1. 共感型計算システムとインターフェース接続する方法であって、
   共感型計算装置のセンサからセンサデータを受領するステップであって、前記センサデータが前記共感型計算装置とのユーザ相互作用によって生成され、前記ユーザ相互作用が複数の相互作用ユニットを備える、ステップと、
   前記ユーザ相互作用に関連したコンテクスト的情報を受領するステップと、
   前記ユーザ相互作用から個々の相互作用ユニットを抽出するために、及び、前記センサデータを、例示的なセンサデータと所定の相互作用ユニットとの間の記憶された関連に基づいて相互作用ユニットのシーケンスに分類するために、例示的なセンサデータと所定の相互作用ユニットとの間の記憶された関連を備えている共感ライブラリを参照するステップと、
   前記共感型計算装置へのフィードバックを提供するステップであって、前記フィードバックは少なくとも部分的に前記相互作用ユニットのシーケンス及び前記コンテクスト的情報に基づいており、前記フィードバックの提供は、個々の相互作用ユニットに応答して省察的フィードバックを提供することと、所与のユーザ相互作用セッション内での相互作用ユニットのシーケンスを代表する累積的フィードバックを提供することとを含む、ステップと、
   を包含する方法。
2. 前記ユーザ相互作用が、顔の表現、姿勢、声の発声、話、身体又は身体の一部の動き又は位置、ユーザによる前記共感型計算装置の相対的な動き又は配置、前記共感型計算装置に対するユーザ又はユーザの身体の一部の相対的な動き、のいずれかを含む動作を包含する、請求項１に記載の方法。
3. 前記センサデータの受領ステップが、ユーザの接近、ユーザの動き、検出された話、検出された顔の表現の指標を受領するステップを包含する、請求項１に記載の方法。
4. 前記相互作用ユニットのシーケンスに対応するデータセットを記憶するステップをさらに包含する、請求項１に記載の方法。
5. 前記コンテクスト的情報が少なくとも部分的に、前記センサデータから抽出された情報を含む、請求項１に記載の方法。
6. 前記フィードバックの提供ステップが、前記共感型計算装置の複数の照明源により光のパターンを生成するステップを包含し、前記パターンにおける各々の光が前記相互作用ユニットのシーケンスの相互作用ユニットに対応する、請求項１に記載の方法。
7. 前記パターンにおける各々の光の色が前記相互作用ユニットの種類に基づいている、請求項６に記載の方法。
8. 色がそれぞれの相互作用ユニットに関連した前記コンテクスト的情報に基づいている、請求項６に記載の方法。
9. 前記光のパターンが連続して照射されるＬＥＤのスパイラルを備える、請求項６に記載の方法。
10. 前記シーケンスにおける少なくとも一つの相互作用ユニットに対して、前記共感型計算装置の複数の照明源による光のパターンを備えるフィードバックを生成するステップをさらに包含し、前記パターンが前記ユーザ相互作用から抽出された発声された話の内容を示す、請求項１に記載の方法。
11. 前記シーケンスにおける少なくとも一つの相互作用ユニットに対して光のパターンを備えるフィードバックを生成するステップが、各々が前記発声された話からの異なる言葉に対応する２つの異なる光のパターンを生成するステップを含む、請求項１０に記載の方法。
12. 前記フィードバックの提供ステップが、前記共感型計算装置の音声生成器、前記共感型計算装置のバイブレータ、又はそれら２つの組み合わせを使って可聴音のパターンを生成するステップを包含し、前記パターンにおける音の一つ又はそれ以上が前記相互作用ユニットのシーケンスからの相互作用ユニットに対応している、請求項１に記載の方法。
13. 前記フィードバックの提供ステップが振動的応答を生成するステップをさらに包含する、請求項６から１２のいずれかに記載の方法。
14. 前記ユーザ相互作用が第１のユーザ相互作用であり、前記相互作用ユニットのシーケンスが第１のシーケンスであり、前記第１のユーザ相互作用から所定の時間期間だけ時間的に離れた第２のユーザ相互作用に関連したセンサデータに基づいて第２のシーケンスを生成するステップをさらに包含する、請求項１に記載の方法。
15. 前記センサデータを、各々が複数の相互作用セッションのそれぞれ一つに関連した複数のセンサデータにセグメント化するステップをさらに包含する、請求項１に記載の方法。
16. 前記センサデータの受領ステップが、前記共感型計算装置のユーザの手のひらへの配置の指標を受領するステップを包含し、前記共感型計算装置のユーザの手のひらへの配置の指標に応答してマイク、カメラ、又はその両方を駆動するステップをさらに包含する、請求項１に記載の方法。
17. 前記共感型計算装置のユーザの手のひらからの除去の指標に応答して前記マイク、前記カメラ、又はその両方を非駆動にするステップをさらに包含する、請求項１６に記載の方法。
18. 共感型計算装置であって、
    プロセッサと、
    前記共感型計算装置とのユーザ相互作用に基づいてセンサデータを生成するように構成された複数のセンサであって、前記ユーザ相互作用は複数の相互作用ユニットを包含する、複数のセンサと、
    前記共感型計算装置へのフィードバックを生成するフィードバック生成器であって、前記フィードバックの生成は、個々の相互作用ユニットに応答して省察的フィードバックを生成することと、所与のユーザ相互作用セッション内での相互作用ユニットのシーケンスを代表する累積的フィードバックを生成することとを含む、フィードバック生成器と、
    前記複数のセンサ、前記フィードバック生成器及び前記プロセッサと動作的に結合され、例示的なセンサデータと所定の相互作用ユニットとの間の記憶された関連を備えている共感ライブラリを有しており、さらにプロセッサ実行可能な指令を備えたメモリと、
    を備えており、
    前記プロセッサ実行可能な指令は、前記プロセッサによって実行されると、前記共感型計算装置に、
    前記ユーザ相互作用に関連したコンテクスト的情報を受領させ、
    前記センサデータを、前記例示的なセンサデータと前記所定の相互作用ユニットとの間の前記記憶された関連を使用して前記相互作用ユニットのシーケンスに分類させ、
    少なくとも部分的に前記相互作用ユニットのシーケンス及び前記コンテクスト的情報に基づいている前記フィードバックを提供させる、共感型計算装置。
19. 前記プロセッサが、前記センサデータを受領し、前記センサデータをフィルタリングし、前記フィルタリングされたセンサデータからの特徴抽出を実行するように構成された抽出プロセッサを含む、請求項１８に記載の共感型計算装置。
20. 前記特徴抽出が、異なるタイプの複数のセンサデータから同時に記録されたデータから特徴を抽出することを包含する、請求項１９に記載の共感型計算装置。
21. 前記特徴抽出が話及び顔認識を実行することを包含する、請求項１９又は２０に記載の共感型計算装置。
22. 複数の光源をさらに備えており、
    少なくとも部分的に前記相互作用ユニットのシーケンス及び前記コンテクスト的情報に基づいているフィードバックを提供するという前記指令が、あるパターンでの光の照射を前記複数の光源のうちの一つ又はそれ以上により実行する指令を備える、請求項１８に記載の共感型計算装置。
23. 前記パターンが前記相互作用ユニットのシーケンスに対応し、各々の照射された光源の色が前記シーケンスにおける前記相互作用ユニットのそれぞれ一つに基づいて選択される、請求項２２に記載の共感型計算装置。
24. 前記プロセッサ、前記メモリ、前記複数のセンサのうちの一つ又はそれ以上のセンサ、及び前記複数の光源のうちの一つ又はそれ以上のセンサが、ユーザの手のひらにフィットするように構成されたエンクロージャ内に囲まれている、請求項２２に記載の共感型計算装置。
25. 前記複数のセンサが、タッチセンサ、近接センサ、画像センサ、マイク、又はそれらの組み合わせを含む、請求項１８に記載の共感型計算装置。
26. 前記タッチセンサが、前記共感型計算装置の底側に配置されたタッチ感応表面を含む、請求項２５に記載の共感型計算装置。
27. 前記複数のセンサがさらに、ユーザの前記共感型計算装置への接近を判定するように構成された複数の赤外センサを備える、請求項１８に記載の共感型計算装置。
28. 前記複数のセンサがさらに、周囲光を感知するように配置された少なくとも一つの光センサを備える、請求項１８に記載の共感型計算装置。
29. 請求項１８から２８のいずれかに記載の共感型計算装置を備える共感型計算システムであって、前記システムがさらに前記共感型計算装置に通信的に結合された他の計算装置を備えており、前記他の計算装置が、前記共感型計算装置から、ユーザデータ、共感型計算装置システムデータ、又はそれらの組み合わせを含むデータを受領し且つ記憶するように構成され、前記他の計算装置がさらに、前記記憶されたデータに対するアプリケーションを実行するように構成されている、共感型計算システム。