本明細書には、例示用の実施形態について詳述されており、且つ、添付図面には、実施形態が、例示を目的として示されている。以下の説明が、添付図面を参照して実施されている際には、そうではない旨が示されていない限り、異なる添付図面中の同一の符号は、同一又は類似の要素を表している。以下の例示用の実施形態において記述されている実装形態は、そのすべてが、本明細書の1つ又は複数の実施形態と一貫性を有する実装形態であるわけではなく、これらは、その代わりに、添付の請求項において詳述されている、且つ、本明細書の1つ又は複数の実施形態における装置及び方法のいくつかの態様と一貫性を有する、例であるに過ぎない。
その他の実施形態において、対応する方法のステップは、必ずしも、本明細書において図示及び記述されているシーケンスに従って実行されるものではないことに留意されたい。いくつかのその他の実施形態において、方法は、本明細書において記述されているものよりも多くの又は少ない数のステップを含みうる。これに加えて、本明細書において記述されている単一のステップは、その他の実施形態においては、説明のために、複数のステップに分割することができると共に、本明細書において記述されている複数のステップも、その他の実施形態においては、説明のために、単一のステップに組み合わせることができる。
一実施形態において、本明細書における相互作用の解決策は、相互作用の装置に適用することができる。相互作用の装置は、相互作用機能を実装するように専用化された電子装置であってよい。或いは、この代わりに、相互作用の装置は、相互作用機能を有する多機能電子装置であってもよい。例えば、相互作用の装置は、パーソナルコンピュータ(PC:Personal Computer)、タブレット装置、ノートブック、(スマート眼鏡などの)ウェアラブル装置、及びこれらに類似したものを含んでいてもよく、これは、本明細書の1つ又は複数の実施形態において限定されてはいない。実行プロセスにおいて、相互作用の装置は、相互作用の解決策を実装するべく、相互作用のシステムを実行することができる。相互作用のシステムのアプリケーションプログラムは、相互作用の装置上において予めインストールすることができると共に、次いで、相互作用の装置上において起動及び実行することができる。当然のことながら、HTML5などの技術が使用されている際には、相互作用のシステムは、相互作用の装置上においてアプリケーションプログラムをインストールすることなしに、取得及び実行することができる。
一実施形態において、図1は、例示用の一実施形態による、相互作用のシステムの概略アーキテクチャ図である。図1に示されているように、相互作用のシステムは、サーバー11と、ネットワーク12と、相互作用の装置13と、を含みうる。実行プロセスにおいて、サーバー11は、処理などの関係する機能を実装するべく、相互作用のシステムのサーバー上においてプログラムを実行することができると共に、相互作用の装置13は、情報提示及び人間−コンピュータ間の相互作用などの関係する機能を実装し、これにより、サーバー11と相互作用の装置13の間の協働を通じて、相互作用のシステムを実装するべく、相互作用のシステムのクライアントのプログラムを実行することができる。
サーバー11は、独立型のホストを含む物理的なサーバーであってもよく、或いは、サーバー11は、ホストクラスタによって担持された仮想的なサーバーであってもよい。相互作用の装置13は、相互作用機能を実装するべく専用化された電子装置であってもよい。或いは、この代わりに、相互作用の装置13は、相互作用機能を有する多機能電子装置であってもよい。例えば、相互作用の装置は、PC、タブレット装置、ノートブック、(スマート眼鏡などの)ウェアラブル装置、及びこれらに類似したものを含んでいてもよく、これは、本明細書の1つ又は複数の実施形態において限定されてはいない。相互作用の装置13及びサーバー11が互いに相互作用しているネットワーク12は、複数のタイプの有線又は無線ネットワークを含みうる。一実施形態において、ネットワーク12は、公衆交換電話網(PSTN:Public Switched Telephone Network)及びインターネットを含むことができる。相互作用のシステムのクライアントのアプリケーションプログラムは、相互作用の装置上において予めインストールすることができると共に、次いで、相互作用の装置上において起動及び実行することができることに留意されたい。当然のことながら、HTML5などの技術におけるオンライン「クライアント」が使用されている際には、クライアントは、相互作用の装置上において対応するアプリケーションプログラムをインストールすることなしに、取得及び実行することができる。
一実施形態において、相互作用のシステムは、モバイルグループオフィスプラットフォームに基づいて実装することができる。モバイルグループオフィスプラットフォームは、通信機能を実装してもよく、且つ、例えば、審査及び承認イベント(例えば、休暇の申請、事務用品の申請、及び財政問題などの審査及び承認イベント)、出欠チェックイベント、タスクイベント、又はログイベントなどのグループの内部イベントの処理、或いは、食べ物の注文又は物品の購入などのグループの外部イベントの処理、などの多くのその他の機能の統合された機能プラットフォームとして使用されてもよく、これは、本明細書の1つ又は複数の実施形態において限定されてはいない。同様に、モバイルグループオフィスプラットフォームも、相互作用のシステムを実装することができる。
例えば、モバイルグループオフィスプラットフォームは、例えば、Skype For Business(登録商標)、Microsoft Teams(登録商標)、Yammer(登録商標)、Workplace(登録商標)、Slack(登録商標)、WeCom(登録商標)、FXiaoKe(登録商標)、Fetion enterprise(登録商標)、又はEasyChat enterprise(登録商標)などの、企業インスタントメッセージング(EIM:Enterprise Instant Messaging)アプリケーションなどの、関係する技術におけるインスタントメッセージングアプリケーション上において担持することができる。当然のことながら、インスタントメッセージング機能は、モバイルグループオフィスプラットフォームによってサポートされている通信機能の1つに過ぎず、且つ、モバイルグループオフィスプラットフォームは、上述の多くのその他の機能を更に実装していてもよく、これらに関する詳しい説明は、本明細書においては省略する。本明細書における「グループ(group)」は、企業、学校、軍隊、病院、及び公共機関などの組織を含みうると共に、本出願においては、限定されていない。
一実施形態において、相互作用のシステムは、モバイルグループオフィスプラットフォーム又は類似のシナリオに限定されるものではなく、且つ、例えば、一般的なインスタントメッセージングアプリケーションなどの、任意のその他のタイプのアプリケーションに基づいて実装されていてもよく、これは、本明細書において限定されてはいない。
図2は、例示用の一実施形態による、相互作用の方法のフローチャートである。図2に示されているように、方法は、相互作用の装置に適用することができると共に、方法は、以下のステップを含むことができる。
ステップ202:検知エリア内において配置されている1人又は複数のユーザーを検出する。
一実施形態において、相互作用の装置は、特定の検知距離を有し、且つ、検知距離のカバレージエリアは、3メートル(m)の半径を有する扇形の形状における(或いは、任意のその他の形状における)エリアなどの、検知エリアを形成している。検知エリア内に1人又は複数のユーザーが存在しているかどうかは、検知エリア内の検出を実行することにより、判定することができる。
一実施形態において、相互作用の装置は、任意の方式により、検知エリア内において1人又は複数のユーザーを検出することができる。例えば、相互作用の装置は、顔面検出を通じて、検知エリア内に1人又は複数のユーザーが存在しているかどうかを判定することができる。
ステップ204:相互作用コンテンツを検知エリア内の1人又は複数のユーザーに提供する。
一実施形態において、相互作用の装置は、複数の方式のうちの1つ又はこれらの組合せにおいて相互作用コンテンツを提供してもよく、これは、本明細書において限定されてはいない。例えば、相互作用の装置は、表示画面を含むことができると共に、相互作用コンテンツを検知エリア内の1人又は複数のユーザーに提供するべく、表示画面上において相互作用コンテンツを表示することができる。別の例において、相互作用の装置は、スピーカを含むことができると共に、相互作用コンテンツを検知エリア内の1人又は複数のユーザーに提供するべく、スピーカを使用することにより、音声を通じて相互作用コンテンツを再生することができる。更に別の例において、相互作用の装置は、複数のインジケータライトを含むことができると共に、相互作用コンテンツを検知エリア内の1人又は複数のユーザーに提供するべく、インジケータライトのオン/オフ状態、色、又は明滅方式を制御することができる。
一実施形態において、検知エリアは、近距離検知エリアと、遠距離検知エリアと、を含みうる。近距離検知エリアは、遠距離検知エリアよりも、相互作用の装置に近接している。換言すれば、本明細書における「近距離」及び「遠距離」は、相対的な関係にある。例えば、0m〜1.5mの範囲が、近距離検知エリアとして指定されており、且つ、1.5m〜3mの範囲が、遠距離検知エリアとして指定されている。
一実施形態において、相互作用の装置は、相互作用コンテンツを近距離検知エリア内のユーザーに提供することができると共に、相互作用の装置は、遠距離検知エリアから近距離検知エリアに進入するように、ユーザーをガイドするべく、ガイダンス情報を遠距離検知エリア内のユーザーに送信することができる。この結果、ユーザーは、近距離検知エリア内のユーザーとなり、且つ、相互作用コンテンツがユーザーに提供される。ユーザーが近距離検知エリア内において配置された際に、ユーザーは、適宜、相互作用の装置との間の相互作用を所望しうる。但し、遠距離検知エリアは、相対的に遠い距離に起因して、相対的に良好な相互作用効果を提供することができない。従って、ガイダンス情報をユーザーに送信することができる。この結果、一方において、ユーザーが相互作用の実装を実際に所望しているかどうかを判定することができると共に、他方において、ユーザーは、近距離検知エリアに進入した後に、相対的に良好な相互作用効果を得ることができる。相互作用の装置は、ガイダンス情報を複数の方式のうちの任意のもの又はこれらの組合せにより、送信してもよく、これは、本明細書において限定されてはいない。例えば、相互作用の装置は、ガイダンス情報を表示画面上において表示することができる。別の例において、相互作用の装置は、スピーカを使用することにより、音声を通じて、ガイダンス情報を再生することができる。更に別の例において、相互作用の装置は、近距離検知エリア内に進入するように、ユーザーをガイドするべく、インジケータライトをターンオンしてもよく、或いは、インジケータライトを明滅させてもよい。
一実施形態において、出欠チェック動作において、相互作用の装置は、ユーザーが近距離検知エリアに配置されているのか又は遠距離検知エリア内において配置されているのかを問わず、検知エリア内において配置されている、且つ、出欠チェック期間内において出欠についてチェック済みではない、ユーザーに対して出欠チェック動作を自動的に実装するべく、検知エリア内のユーザーを識別することができる。遠距離検知エリア内におけるユーザーの滞在持続時間が第1の予め設定された持続時間に到達した、或いは、近距離検知エリア内におけるユーザーの滞在持続時間が第2の予め設定された持続時間に到達した、際に、相互作用の装置は、ユーザーが、相互作用動作の実装を所望しうると判定することができると共に、次いで、相互作用コンテンツをユーザーに提供することができる。一般に、ユーザーは、ユーザーが相互作用の装置との間の相互作用を所望している際にのみ、相互作用の装置に接近する。従って、第2の予め設定された持続時間は、適切には、ユーザーの待機時間を低減するべく、第1の予め設定された持続時間未満であってよい。
一実施形態において、相互作用の装置は、ユーザーの間の「挨拶」振る舞いに類似する相互作用コンテンツを検知エリア内のユーザーに能動的に提供することができる。例えば、相互作用コンテンツは、関係するイベントの完了においてユーザーを支援するべく、「どういうご用件ですか?(What can I do for you?)」を含み、これにより、検知エリア内のユーザーをガイドすることができる。
更には、相互作用の装置は、相互作用コンテンツを予め設定された条件を充足しているユーザーのみに提供するべく、検知エリア内のユーザーが、予め設定された条件を充足しているかどうかを判定することもできる。例えば、予め設定された条件は、遠距離検知エリア内の滞在持続時間が第1の予め設定された持続時間に到達する、近距離検知エリア内の滞在持続時間が第2の予め設定された持続時間に到達する、ユーザーが相互作用の装置を観察している、ユーザーが相互作用の装置に対面している、又はユーザーの顔と相互作用の装置の間の角度が予め設定された角度未満である、或いは、これらに類似したもの、のうちの少なくとも1つを含んでいてもよく、これは、本明細書において限定されてはいない。
一実施形態において、相互作用コンテンツが、関連するイベントに関係付けられている際に、相互作用の装置が、関連するイベントの状態情報に従って、検知エリア内のユーザーに提供される相互作用コンテンツを調節するように、相互作用の装置は、検知エリア内のユーザーの関連するイベントを取得することができる。相互作用コンテンツに関係付けられた関連するイベントが存在していない際には、既定の相互作用コンテンツを提供することができる。例えば、相互作用コンテンツが出欠チェックに関係付けられている際に、正常な状況下において勤務時間内において検出された検知エリア内のユーザーについての対話型コンテンツは、「早退しますか?(are you sure to leave early?)」であってよい。検知エリア内のユーザーの関連するイベントが、病気退勤審査及び承認イベントを含んでおり、且つ、それが、病気退勤審査及び承認イベントに関連する休暇が申請された期間内である際には、正常な状況下における勤務時間内であっても、相互作用コンテンツは、「退社時間を記録しますか(are you sure to clock out?)」に調節することができる。別の例において、相互作用コンテンツが外部者の訪問に関係付けられている際に、検知エリア内のユーザーが外部者であり、且つ、対応する関連するイベントが訪問予約イベントであることが得られた場合には、相互作用コンテンツは、「ご訪問予定の者を呼び出しましょうか?(would you like to call the person you will visit?)」であってよい。対応する訪問予約イベントが存在していない際には、相互作用コンテンツは、「ご訪問予定の者は、誰でしょうか?(please tell me who you will visit?)」であってよい。
一実施形態において、相互作用の装置は、検知エリア内のユーザーのアイデンティティタイプを判定することができると共に、次いで、アイデンティティタイプに従って、検知エリア内のユーザーに提供される相互作用コンテンツを調節することができる。例えば、アイデンティティタイプは、検知エリア内のユーザーが、グループに属する内部者であるのか又はグループの外部者であるのか、検知エリア内のユーザーが属する部署、及びこれらに類似したものを含んでいてもよく、これにより、アイデンティティタイプを充足している相互作用コンテンツを検知エリア内のユーザーに提供している。
ステップ206:相互作用コンテンツのターゲット相互作用オブジェクトが、検知エリア内の1人又は複数のユーザーの一部分である際に、ターゲット相互作用オブジェクトに関する情報を検知エリア内の1人又は複数のユーザーに表示する。
一実施形態において、検知エリア内に複数のユーザーが存在している際には、ターゲット相互作用オブジェクトは、ユーザーの一部分のみであってよい(ユーザーの一部分の数は、1人又は複数であってよい)。ターゲット相互作用オブジェクトに関する情報を検知エリア内のユーザーに表示することにより、検知エリア内のそれぞれのユーザーが、自身が相互作用コンテンツのターゲット相互作用オブジェクトであるかどうかを明瞭に知りうることを保証することができる。
一実施形態において、検知エリア内のそれぞれのユーザーの画像情報を取得することができると共に、対応するプロファイル画像をそれぞれのユーザーについて生成することができる。次いで、相互作用が実装される前に、すべてのユーザーのプロファイル画像を表示することができる。ターゲット相互作用オブジェクトとの間の相互作用が実行される際には、ターゲット相互作用オブジェクトのプロファイル画像のみが表示され、且つ、その他のユーザーのプロファイル画像がブロックされるか、或いは、ターゲット相互作用オブジェクトに対応するプロファイル画像が、その他のユーザーに対応するプロファイル画像とは別個に表示される。例えば、別個の表示は、ターゲット相互作用オブジェクトのプロファイル画像を中央エリア内において表示するステップと、その他のユーザーのプロファイル画像をエッジエリア内において表示するステップと、を含みうる。別の例において、別個の表示は、ターゲット相互作用オブジェクトのプロファイル画像を相対的に大きなサイズにおいて表示するステップと、その他のユーザーのプロファイル画像を正常な又は相対的に小さなサイズにおいて表示するステップと、を含みうる。更に別の例において、別個の表示は、ターゲット相互作用オブジェクトのプロファイル画像を正常に(カラフルに)表示するステップと、表示するべくその他のユーザーのプロファイルをモノクロ化するステップと、を含みうる。これは、本明細書において限定されてはいない。
一実施形態において、相互作用コンテンツのターゲット相互作用オブジェクトが、検知エリア内のすべてのユーザーである際には(ユーザーの数は、1人又は複数であってよい)、ユーザーが相互作用コンテンツに相対的に合焦するように、ターゲット相互作用オブジェクトに関する情報を検知エリア内のユーザーに表示する必要はない。当然のことながら、ターゲット相互作用オブジェクトに関する情報が、このシナリオにおいて表示される場合にも、本明細書の技術的解決策の実装形態は、影響を受けない。
一実施形態においては、検知エリア内のユーザーが継続的に変化しうる。相互作用コンテンツのターゲット相互作用オブジェクトが、検知エリア内のユーザーの一部分から、すべてのユーザーに変化した(例えば、ターゲット相互作用オブジェクトではないユーザーが検知エリアを離脱した)際には、ターゲット相互作用オブジェクトに関する情報を検知エリア内のユーザーに表示するステップは、「相互作用コンテンツのターゲット相互作用オブジェクトが、検知エリア内のユーザーの一部分である」から「相互作用コンテンツのターゲット相互作用オブジェクトが、検知エリア内のすべてのユーザーである」への滑らかなシナリオ遷移を完了させるべく、一時停止することができる。
一実施形態において、相互作用の装置は、ターゲット相互作用オブジェクトとして機能しているユーザーのアイデンティティ情報を判定してもよく、且つ、その情報をターゲット相互作用オブジェクトに関する情報として使用することができると共に、次いで、アイデンティティ情報を検知エリア内のユーザーに表示することができる。例えば、相互作用の装置は、相互作用コンテンツを提供しつつ、アイデンティティ情報を検知エリア内のユーザーに表示してもよく、或いは、相互作用の装置は、相互作用コンテンツを提供すると共に、アイデンティティ情報を異なる瞬間において表示してもよく、これは、本明細書において限定されてはいない。
一実施形態において、相互作用の装置は、検知エリア内のユーザーを識別することができる。例えば、相互作用の装置は、顔面認識、指紋認識、虹彩認識、歩行認識、又は声紋認識などの生理学的特徴認識方式により、或いは、任意のその他の方式により、ユーザーを識別してもよく、これは、本明細書において限定されてはいない。ターゲット相互作用オブジェクトとして機能している第1ユーザーのアイデンティティが成功裏に識別された際に、アイデンティティ情報は、第1ユーザーの名称(例えば、名前、ニックネーム、肩書、又はその他のタイプ)を含みうる。例えば、第1ユーザーの名称が「Xiao Bai」である際に、相互作用の装置は、「Xiao Baiさん、どういうご用件ですか?」を検知エリア内のユーザーに表示してもよく、この場合に、「Xiao Bai」は、ターゲット相互作用オブジェクトに関する情報であり、且つ、「どういうご用件ですか?」は、相互作用コンテンツである。ターゲット相互作用オブジェクトとして機能している第2ユーザーのアイデンティティが成功裏に識別されない際には、アイデンティティ情報は、第2ユーザーに関する視覚的特徴記述情報を提供することができる。例えば、視覚的特徴記述情報は、推定性別、推定身長、推定年齢、皮膚の色、衣服、アクセサリ、相互作用の装置までの距離、相互作用の装置に向かう向き、及びこれらに類似したもののうちの少なくとも1つを含みうる。例えば、相互作用の装置は、「黒いコートを着た男性の方、どういうご用件ですか?」を検知エリア内のユーザーに表示してもよく、この場合には、「黒いコートを着た男性の方」について、推定性別及び衣服が、ターゲット相互作用オブジェクトに関する情報として使用されており、且つ、「どういうご用件ですか?」は、相互作用コンテンツである。
一実施形態において、相互作用の装置は、検知エリア内のユーザーに対応するユーザー基準情報を表示することができる。相互作用の装置は、ターゲット相互作用オブジェクトとして機能しているユーザーに対応するユーザー基準情報を判定してもよく、且つ、その情報をターゲット相互作用オブジェクトに関する情報として使用してもよく、且つ、次いで、相互作用の装置は、判定されたユーザー基準情報を検知エリア内のユーザーに目立つように表示することができる。例えば、相互作用の装置は、画像取得を検知エリア内のユーザーに実行することができると共に、取得されたユーザー画像をユーザー基準情報として表示することができる。従って、相互作用の装置は、検知エリア内のユーザーがターゲット相互作用オブジェクトについて知ることを支援するべく、ターゲット相互作用オブジェクトに対応するユーザー画像の視覚的効果を改善してもよく(例えば、対応するユーザー画像を丸で囲む、或いは、対応するユーザー画像の周りに矢印マークを表示する)、或いは、非ターゲット相互作用オブジェクトに対応するユーザー画像の視覚的効果を弱化してもよい(例えば、対応するユーザー画像のコンテンツをブロックする)。
一実施形態において、相互作用の装置は、検知エリア内のユーザーによって送信されたイベント支援要求を取得することができると共に、イベント支援要求に応答して、対応するイベントの完了を支援することができる。例えば、検知エリア内のユーザーは、相互作用音声「従業員のXiao Heiさんを呼び出してください」を相互作用の装置に送信してもよく、且つ、相互作用の装置は、ユーザーのイベント支援要求が、「従業員のXiao Hei」の呼び出し要求であると判定してもよく、且つ、「従業員のXiao Hei」を呼び出すことができる。当然のことながら、音声形態に加えて、検知エリア内のユーザーは、空間内において、予め設定された身体動作を実施するなどの、その他の方式により、イベント支援要求を送信してもよく、これは、本明細書において限定されてはいない。
一実施形態において、相互作用の装置は、相互作用コンテンツに応答して検知エリア内のユーザーによって返された応答情報を受け取ることができる。応答情報は、イベント支援要求を含む。例えば、相互作用コンテンツが、「Xiao Baiさん、どういうご用件ですか?」である際に、検知エリア内のユーザーは、「従業員のXiao Heiさんを呼び出してください」と回答してもよく、且つ、相互作用の装置は、イベント支援要求が、「従業員のXiao Hei」の呼び出し要求であると判定してもよく、且つ、「従業員のXio Hei」を呼び出してもよい。相互作用の装置が相互作用コンテンツを提供する方式は、必ずしも、検知エリア内のユーザーが応答情報を返す方式と関連付けられてはいない。2つの方式は、同一であってもよく、或いは、異なっていてもよい。これは、本明細書において限定されてはいない。
一実施形態において、検知エリア内に複数のユーザーが存在している際には、相互作用の装置は、予め設定されたシーケンスに従って、支援されるオブジェクトとしてユーザーを選択することができる。次いで、相互作用の装置は、対応するイベント支援要求を送信するように、選択されたユーザーに対して順番に要求している。この結果、検知エリア内のユーザーは、イベント支援要求を順番に送信することが可能であり、これにより、複数のユーザーがイベント支援要求を同時に送信する際に生成される混乱状態に起因して、相互作用の装置が、ユーザーに対応するイベント支援要求を正確に取得できないという状況が回避され、これにより、ユーザー用の支援効率及び相互作用の装置の成功レートの改善が支援される。
一実施形態において、相互作用の装置は、イベント支援要求を取得するべく、取得されたユーザー音声に対してセマンティック認識を実行することができると共に、相互作用の装置は、ユーザー音声のソースユーザーを判定するべく、サウンド特徴認識をユーザー音声に対して実行することができる。この結果、検知エリア内の複数のユーザーが同時に発話した際にも、相互作用の装置は、ユーザーに個々に対応する発話コンテンツを認識することができると共に、ユーザー用の支援効率を改善するべく、対応するイベント支援要求に応答することができる。相互作用の装置は、ユーザーのアイデンティティ情報を取得するべく、検知エリア内のユーザーを予め識別しておくことができる。検知エリア内に複数のユーザーが存在している際に、相互作用の装置は、ユーザー音声のソースユーザーを判定するべく、ユーザーに対応する認識されたサウンド特徴に従って、取得されたユーザー音声にサウンド特徴認識を実行することができる。すべてのサウンド特徴を使用することによるユーザー音声に対するサウンド特徴認識の実行というやり方と比較して、サウンド特徴認識について消費される時間を大幅に低減することができる。
一実施形態において、検知エリア内のユーザーが、グループの内部者である際には、相互作用の装置は、イベント支援要求に応答して、対応するグループ管理イベントの完了を支援することができる。検知エリア内のユーザーがグループの外部者である際には、相互作用の装置は、アラートメッセージをグループの関連する内部者に送信してもよく、グループの関連する内部者との通信の確立においてグループの外部者を支援してもよく、或いは、イベント支援要求に応答して、グループの外部者を訪問イベントの処理場所までガイドしてもよい。検知エリア内のユーザーがアドミニストレータである際には、相互作用の装置は、イベント支援要求に応答して、対応する装置管理イベントの完了を支援することができる。
一実施形態において、相互作用の装置は、検知エリア内のユーザーによって送信されたユーザー音声を受け取ることができると共に、ユーザー音声に応答することができる。例えば、検知エリア内のユーザーは、ユーザー音声を相互作用の装置に能動的に送信することができると共に、ユーザー音声は、イベント支援要求を相互作用の装置に送信する、日々の挨拶を相互作用の装置に付与する、制御命令を相互作用の装置に送信する、或いは、これらに類似した内容を実行する、べく、使用され、これは、本明細書において限定されてはいない。別の例において、検知エリア内のユーザーは、相互作用の装置によって実装された相互作用動作に応答して、対応するユーザー音声を相互作用の装置に送信することができる。例えば、相互作用の装置によって実装された相互作用動作が、検知エリア内のユーザーが支援を必要としているかどうかについて問い合わせることである際に、ユーザーによって送信されるユーザー音声は、必要とされる支援の種類について相互作用の装置に通知することができる。これは、本明細書において限定されてはいない。
一実施形態において、相互作用の装置は、セマンティック認識をユーザー音声に対して実行することができる。同一の発音が、複数の単語又はフレーズに対応しうると共に、相互作用の装置がユーザー音声をピックアップした際に歪又はノイズ干渉が存在しうることから、相互作用の装置は、ユーザー音声に対してセマンティック認識を実行した後に、複数のセマンティック認識結果を取得する場合がある。相互作用の装置は、対応するコンフィデンスレベルを取得するべく、予め定義されたセマンティック認識アルゴリズムに従ってセマンティック認識結果を採点することができる。コンフィデンスレベルが、予め設定されている値に到達した際に、それは、対応するセマンティック認識結果の信頼性が十分に高いことを通知している。更には、予め設定された値に到達する、ユーザー音声とのマッチングの程度を有する複数のセマンティック認識結果が存在している場合には、相互作用の装置は、ユーザーが、ユーザーの真の意図を選択し且つ正確に表現するように、複数の対応するセマンティック認識結果選択肢を検知エリア内のユーザーに表示することができると共に、次いで、選択されたセマンティック認識結果選択肢に対応するセマンティック認識結果に従って、ユーザー音声に応答することができる。選択プロセスにおいて、ユーザーは、ユーザーが選択を所望しているセマンティック認識結果選択肢に対応するセマンティック認識結果を発話してもよく、或いは、ユーザーが選択することを所望しているセマンティック認識結果選択肢の位置(例えば、「第1のもの」、或いは、「最も左のもの」)を発話してもよく、これは、本明細書において限定されてはいない。
一実施形態において、相互作用の装置は、ユーザー音声のソース方向を判定することができると共に、ユーザー音声のソース方向において配置されたユーザーに応答することができる。一状況においては、相互作用の装置が、例えば、相互作用音声の再生などのように、ユーザー音声のソース方向に対して直接的に応答しうるように、ユーザー音声のソース方向の判定の後に、相互作用の装置は、既定により、ユーザー音声を送信しているユーザーのみが、ソース方向において存在していると直接的に判定している。別の状況においては、相互作用の装置は、ユーザー音声のソース方向において存在している1人又は複数のユーザーを判定することができる。複数のユーザーが存在している場合には、相互作用の装置は、ソースユーザーに応答するべく、ユーザー音声のソースユーザーを更に判定することができる。
一実施形態においては、マイクロフォンアレイが、相互作用の装置内において構築されており、且つ、マイクロフォンアレイを使用することにより、ユーザー音声を受け取ることができる。マイクロフォンアレイは、相対的に左側に配設された第1マイクロフォンと、相対的に右側に配設された第2マイクロフォンと、を含む。ユーザー音声のソース方向は、第1マイクロフォン及び第2マイクロフォンがユーザー音声を受け取る時点の間の差に従って、判定されている。例えば、検知エリア内のユーザーが左側に近接した側部に配置されている際には、第1マイクロフォンが、第2マイクロフォンよりも早期にユーザー音声を受け取ることができると共に、検知エリア内のユーザーが右側に近接した側部に配置されている際には、第2マイクロフォンが、第1マイクロフォンよりも早期にユーザー音声を受け取ることができる。受け取る時点の差に従ってユーザー音声のソース方向を判定する方法の特定の解決策については、既存の技術における関係する技術的解決策が参照されてもよく、従って、本明細書においては、その詳述を省略する。
一実施形態において、ユーザー音声のソース方向において配置されている複数のユーザーが存在している際には、相互作用の装置は、複数のユーザーのそれぞれのものの顔面動作に従って、ユーザー音声のソースユーザーを判定することができると共に(例えば、顔面動作は、相互作用の装置内において構築されているカメラを使用することにより、画像取得を通じて取得される)、ソースユーザーに応答することができる。ユーザーの顔面動作は、頬、口、及び顎などの、1つ又は複数の部分の動作を含んでいてもよく、これは、本明細書において限定されてはいない。一例として、口の動作を使用すれば、ユーザー音声のソース方向において複数のユーザーが存在しているが、1人のユーザーのみが、口の開閉動作を実行している際には、そのユーザーをユーザー音声のソースユーザーとして判定することができる。別の例において、複数のユーザーのすべてが口の開閉動作を実行しているが、1人のユーザーの動作が、回数において、且つ、開閉の振幅において、ユーザー音声とマッチングしている際には、そのユーザーをユーザー音声のソースユーザーとして判定することができる。
一実施形態において、相互作用の装置が壁上において取り付けられている際に、ユーザーは、一般に、相互作用の装置の前方においてのみ、通過することが可能であり、且つ、ユーザー音声を送信することができる。相互作用の装置がその他の方式によって取り付けられている際には、相互作用の装置によって取得されるオーディオメッセージが、相互作用の装置の前方又は後方において配置されているユーザーから到来しうるように、ユーザーは、相互作用の装置の前方又は後方において出現しうる。相互作用の装置の検知エリア内にユーザーが存在しており、且つ、別のユーザーが、相互作用の装置の背後を通過する際にちょうど発話した場合には、相互作用の装置は、検知エリア内のユーザーがユーザー音声を送信したものと誤認しうる。従って、オーディオメッセージを受け取った後に、相互作用の装置は、オーディオメッセージのソース方向と、検知エリア内にユーザーが存在しているかどうかと、に基づいて、オーディオメッセージが、検知エリア内のユーザーによって送信されたユーザー音声であるのかどうかを判定することができる。
例えば、マイクロフォンアレイが、相互作用の装置内において構築されており、且つ、マイクロフォンアレイは、検知エリアに相対的に近接した状態において配設された第3マイクロフォンと、検知エリアから相対的に離れた状態において配設された第4マイクロフォンと、を含む。オーディオメッセージが、マイクロフォンアレイを使用することにより、受け取られた際に、オーディオメッセージのソース方向は、第3マイクロフォン及び第4マイクロフォンがオーディオメッセージ内の高周波数部分を受け取る量に従って、判定することができる。ソース方向が、検知エリアに相対的に近接している際には、オーディオメッセージ内の高周波数部分が、相互作用の装置のハウジングの吸収の影響を受けることから、第4マイクロフォンによって受け取られたオーディオメッセージの高周波数部分は、第3マイクロフォンによって受け取られたオーディオメッセージの高周波数部分未満である。ソース方向が、検知エリアから相対的に離れている際にも、オーディオメッセージの高周波数部分が、相互作用の装置のハウジングの吸収の影響を受けることから、第3マイクロフォンによって受け取られたオーディオメッセージの高周波数部分は、第4マイクロフォンによって受け取られたオーディオメッセージの高周波数部分未満である。従って、オーディオメッセージのソース方向は、第3マイクロフォン及び第4マイクロフォンがオーディオメッセージ内の高周波数部分を受け取る量に従って、正確に判定することができる。
ソース方向が、検知エリアに相対的に近接した側部であり、且つ、検知エリア内のユーザーが存在している際には、相互作用の装置は、オーディオメッセージは、検知エリア内のユーザーによって送信されたユーザー音声であると判定することができる。そうではなくて、ソース方向が検知エリアから相対的に離れた側部である際には、或いは、ソース方向が、検知エリアに相対的に近接した側部であるが、検知エリア内にユーザーが存在していない際には、相互作用の装置は、オーディオメッセージは、検知エリア内のユーザーによって送信されたユーザー音声ではないと判定することができる。
第1マイクロフォン、第2マイクロフォン、第3マイクロフォン、及び第4マイクロフォンとの関係において、左−右方向におけるマイクロフォンを弁別するべく、異なるマイクロフォンが、第1及び第2マイクロフォンとして弁別されており、且つ、前−後方向におけるマイクロフォンを弁別するべく、異なるマイクロフォンが、第3マイクロフォン及び第4マイクロフォンとして弁別されていることに留意されたい。但し、マイクロフォンアレイ内に実際に含まれるマイクロフォンの数は、本明細書において限定されてはいない。例えば、マイクロフォンアレイは、1つ又は複数の第1マイクロフォン及び1つ又は複数の第2マイクロフォンを含みうる。別の例において、マイクロフォンアレイは、1つ又は複数の第3マイクロフォン及び1つ又は複数の第4マイクロフォンを含みうる。これに加えて、マイクロフォンアレイが、右−左方向及び前−後方向におけるソース方向を同時に弁別する必要がある際には、マイクロフォンアレイは、必ずしも、4つのマイクロフォンを含む必要はない。換言すれば、第1マイクロフォン、第2マイクロフォン、第3マイクロフォン、及び第4マイクロフォンは、関係する機能を実装する際にマイクロフォンが果たす役割であるに過ぎない。実際には、マイクロフォンアレイは、更に少ない数のマイクロフォンを含みうる。例えば、マイクロフォンアレイは、3つのマイクロフォンを含んでいてもよく、この場合に、マイクロフォン1及びマイクロフォン2は、前−後方向において同一の列において配置されているが、左−右方向においては、離隔しており、且つ、マイクロフォン3は、マイクロフォン1〜3が三角形に類似した位置関係を形成するように、マイクロフォン1及びマイクロフォン2の前方又は背後において配置されている。マイクロフォン1及びマイクロフォン2は、左−右方向におけるユーザー音声のソース方向を弁別するべく、第1マイクロフォン及び第2マイクロフォンとして使用されてもよく、マイクロフォン1及びマイクロフォン2は、第3マイクロフォンとして使用されてもよく、且つ、マイクロフォン3は、第4マイクロフォンとして使用されてもよい(マイクロフォン3は、マイクロフォン1及びマイクロフォン2の背後において配置されている)。或いは、この代わりに、マイクロフォン3は、第3マイクロフォンとして使用されてもよく、且つ、マイクロフォン1及びマイクロフォン2は、前−後方向におけるオーディオメッセージの方向を弁別するべく、第4マイクロフォンとして使用されてもよい(マイクロフォン3は、マイクロフォン1及びマイクロフォン2の前方に配置されている)。
一実施形態において、相互作用の装置は、例えば、カメラを使用することにより、取得を実行し、且つ、次いで、顔面検出及びカウンティングを実行することにより、検知エリア内のいくつかのユーザーを検出してもよく、これは、本明細書において限定されてはいない。検知エリア内に複数のユーザーが存在している際には、相互作用の装置は、複数のユーザーを表すべく、ユーザーに対応するプロファイル画像をそれぞれ表示することができる。ユーザーが検知エリアに進入又は離脱した、或いは、ユーザーの数が変化した、際に、相互作用の装置によって表示されるプロファイル画像は、相応して変化しうる。相互作用の装置が、オーディオメッセージを受け取り、且つ、オーディオメッセージが検知エリア内のユーザーからのものであると判定した際には、相互作用の装置が、ユーザー音声の受け取りに失敗する、或いは、ソースユーザーを誤って認識する、ことを心配することなしに、ユーザーが、相互作用の装置がユーザー音声を成功裏に受け取り、且つ、プロファイル画像の変化を検討することによってソースユーザーを弁別したと判定しうるように、相互作用の装置は、その他のユーザーのプロファイル画像とは別個に、ユーザー音声のソースユーザーのプロファイル画像を表示することができる。ユーザー音声のソースユーザーのプロファイル画像は、任意の方式により、その他のユーザーのプロファイル画像とは別個に表示されてもよく、これは、本明細書において限定されてはいない。例えば、ユーザー音声のソースユーザーのプロファイル画像は、中央エリア内において表示することができると共に、その他のユーザーのプロファイル画像は、エッジエリア内において表示することができる。別の例において、ユーザー音声のソースユーザーのプロファイル画像は、相対的に大きなサイズにおいて表示することができると共に、その他のユーザーのプロファイル画像は、正常又は相対的に小さなサイズにおいて表示することができる。更に別の例において、ユーザー音声のソースユーザーのプロファイル画像は、正常に(カラフルに)表示されてもよく、且つ、その他のユーザーのプロファイル画像は、モノクロ化されてもよく、且つ、次いで、表示されてもよい。
理解の容易性を目的として、一例としてエンタープライズインスタントメッセージングアプリケーション「WeCom」を使用することにより、本明細書の1つ又は複数の実施形態の技術的解決策について説明する。図3は、例示用の一実施形態による、相互作用シナリオの概略図である。図3に示されているように、相互作用の装置3が、企業AAのオフィス内において配設されており、且つ、相互作用の装置3がWeComクライアントに基づいて本明細書の相互作用の解決策を実装しうるように、WeComクライアントが、相互作用の装置3上において実行されているものと仮定されている。
一実施形態において、カメラ31が、相互作用の装置3上において取り付けられており、且つ、カメラ31は、相互作用の装置3に対応する検知エリアとして、対応する撮影エリア32を形成することができる。従って、相互作用の装置3は、カメラ31を使用することにより、撮影エリア32を撮影することによって得られた画像に従って、例えば、図3の撮影エリア32に進入するユーザー4などの、撮影エリア32に進入するユーザーを判定することができる。当然のことながら、カメラ31の使用に加えて、相互作用の装置3は、サウンド検出、赤外線検出、又はその他の方法を通じて、検知エリアに進入するユーザー判定してもよく、これは、本明細書において限定されてはいない。
図4は、例示用の一実施形態による、内部従業員との間の相互作用の実行の概略図である。図4に示されているように、相互作用の装置3は、画面33を装備することができると共に、画面33は、ユーザー4に対応する、且つ、カメラ31によって取得された、ユーザー画像41を表示するように、構成することができる。相互作用の装置3は、例えば、カメラ31によって取得された顔面画像に基づいて顔面認識を実行することにより、ユーザー4を識別してもよく、これは、本明細書において限定されてはいない。相互作用の装置3が、ユーザー4が内部従業員「Xiao Bai」であると認識したと仮定することにより、対応するアイデンティティ情報42を画面33上において表示することができる。例えば、アイデンティティ情報42は、ユーザー4の名称「Xiao Bai」であってよい。
出欠チェック期間においては、相互作用の装置3が、ユーザー4が内部従業員「Xiao Bai」であると認識した後に、内部従業員「Xiao Bai」の出欠チェックデータについて問い合わせることができると共に、出欠がチェック済みではない場合には、内部従業員「Xiao Bai」用の出欠チェック動作を自動的に実装することができる。出欠チェック動作が完了したことをユーザー4に知らせるべく相互作用の装置3は、対応する相互作用コンテンツをユーザー4に提供することができる。例えば、相互作用コンテンツは、画面33上において示されているラベル43を含んでいてもよく、且つ、ラベル43内に含まれている情報は、「出勤時間の記録(clock in)」であり、これは、出欠チェック動作のタイプが「出勤時間の記録」であることを通知している。相互作用コンテンツは、この代わりに、その他の形態において、ユーザー4に提供することもできる。例えば、相互作用の装置3がスピーカ34を含んでいる場合には、スピーカ34を使用することにより、「Xiao Baiさん、出勤時間が正常に記録されました」などの音声情報を再生することができる。同様に、相互作用の装置3は、企業AAのその他の内部従業員についても、出勤時間の記録の自動的な出欠チェック動作を実装することができると共に、相互作用の装置3は、企業AAの従業員について退勤時間の記録の自動的な出欠チェック動作を実装することもできる。本明細書においては、その詳述を省略する。
一実施形態において、相互作用の装置3の検知エリアは、相互作用の装置3までの距離に従って、複数のサブエリア内に分割することができる。例えば、図3において、撮影エリア32は、遠距離撮影エリア321(1.5m〜3.0mという相互作用の装置3までの距離を有する)と近距離撮影エリア322(0m〜1.5mという相互作用の装置3までの距離を有する)に分割されている。現時点において、出欠チェック期間内である場合には、相互作用の装置3は、ユーザーが遠距離撮影エリア321に配置されているのか又は近距離撮影エリア322内に配置されているのか、とは無関係に、ユーザー4用の自動的な出欠チェック動作を実装することができる。出欠チェック期間内ではあるが、ユーザー4が出欠についてチェック済みである場合、或いは、別の期間内である場合には、ユーザー4が遠距離撮影エリア321内において配置された際に、相互作用の装置3は、相互作用の装置がユーザー4との相互作用を能動的に起動しえない(即ち、相互作用コンテンツをユーザー4に提供しない)ように、既定により、ユーザー4が、一時的に通過したのみであり、且つ、相互作用の意図を有してはいないと判定することができる。但し、遠距離撮影エリア321内のユーザー4の滞在持続時間が、第1の予め設定された持続時間(例えば、3秒)に到達した場合には、相互作用の装置3は、相互作用の装置が相互作用コンテンツをユーザー4に提供しうるように、ユーザー4が相互作用の意図を有していると判定することができる。同様に、出欠チェック期間内ではあるが、ユーザー4が、出欠についてチェック済みである場合には、或いは、別の期間内である場合には、ユーザー4が近距離撮影エリア322内において配置された際に、相互作用の装置3は、相互作用の装置がユーザー4との相互作用を能動的に起動しえない(即ち、相互作用コンテンツをユーザー4に提供しない)ように、既定により、ユーザー4が一時的に通過したのみであり、且つ、相互作用の意図を有してはいないと判定することができる。但し、近距離撮影エリア322内のユーザー4の滞在持続時間が、第2の予め設定された持続時間に到達した場合には、相互作用の装置3は、相互作用の装置が相互作用コンテンツをユーザー4に提供しうるように、ユーザー4が相互作用の意図を有していると判定することができる。近距離撮影エリア322は、相互作用の装置3に相対的に近接していることから、ユーザー4が能動的に近距離撮影エリア322に進入するという振る舞いは、第2の予め設定された持続時間が、適宜、第1の予め設定された持続時間未満となりうるように、相互作用の意図を含みうる。例えば、第1の予め設定された持続時間は、3秒であり、且つ、第2の予め設定された持続時間は、1秒である。相対的に特殊な状況においては、第2の予め設定された持続時間は、0であってもよく、これは、相互作用の装置3が、近距離撮影エリア322に進入したら、相互作用コンテンツがユーザー4に即座に提供されうるように、既定により、ユーザー4が相互作用の意図を有していると判定することを意味している。
ユーザー4が、遠距離撮影エリア321内において配置された際に、相互作用の装置3とユーザー4の間の効果的な通信を保証するべく、且つ、相互作用効率を改善するべく、相互作用の装置3は、相互作用コンテンツを通じて、遠距離撮影エリア321から近距離撮影エリア322に移動するように、ユーザー4をガイドすることができる。例えば、図5は、例示用の一実施形態による、相互作用コンテンツを通じたユーザー位置に関するガイドの概略図である。図5に示されているように、相互作用の装置3は、画面33上の相互作用表示エリア51内において、テキスト形態において、相互作用コンテンツ511を表示することができる。例えば、相互作用コンテンツ511は、遠距離撮影エリア321から近距離撮影エリア322に移動するように、ユーザー4をガイドするべく、「1.5メートル以内に近づいてください(please get closer to be within 1.5 meters)」である。テキスト形態における相互作用コンテンツ511に加えて、相互作用の装置3は、遠距離撮影エリア321から近距離撮影エリア322に移動するように、ユーザー4をガイドするべく、スピーカ34を使用することにより、例えば、「Xiao Baiさん、少しだけ遠過ぎます(Xiao bai, you are a little far from me)」(「Xiao Bai」は、アイデンティティ情報であり、且つ、「少しだけ遠過ぎます」は、相互作用コンテンツである)などの、音声の形態において、相互作用コンテンツを再生することができる。これに加えて、相互作用の装置3は、遠距離撮影エリア321から近距離撮影エリア322に移動するように、ユーザー4をガイドするべく、ユーザー4の注意を引き付けるために、規則的に明滅するようにインジケータライト35を更に制御してもよく、これは、ユーザー4に相互作用コンテンツを伝達することと等価である。当然のことながら、相互作用の装置3は、テキストの形態、音声の形態、及び光の形態などの方式のうちの任意のものにより、相互作用コンテンツを伝達してもよく、これは、本明細書において限定されてはいない。
ユーザー4が(能動的に、或いは、ガイダンスの下において)近距離撮影エリア322に進入した際に、相互作用の装置3は、ユーザーの相互作用の目的を発話するように、ユーザー4をガイドすることができる。例えば、図6は、例示用の一実施形態による、相互作用の装置によるユーザーとの間の相互作用の能動的な起動の概略図である。図6に示されているように、相互作用の装置3は、スピーカ34を使用することにより、例えば、「Xiao Baiさん、どういうご用件ですか?」(「Xioa Bai」は、アイデンティティ情報であり、且つ、「どういうご用件ですか?」は、相互作用コンテンツである)などの、音声の形態において、相互作用コンテンツを再生することができる。これに加えて、相互作用の装置3は、相互作用表示エリア51内において、テキストの形態において、相互作用コンテンツ512を表示することもできる。例えば、相互作用コンテンツ512は、音声の形態において、相互作用の装置3に対して相互作用目的を表現するように、ユーザー4をガイドするべく、「このように、お話しください(try to say something like this)」及び「Zhan Sanを呼び出してください(call Zhang San)」であってよい。
相互作用の装置3は、必ずしも、遠距離撮影エリア321から近距離撮影エリア322までユーザー4をガイドする必要はないことに留意されたい。例えば、相互作用の装置3は、この代わりに、ユーザーの相互作用目的を発話するように、遠距離撮影エリア321内のユーザー4を直接的にガイドすることができる。例えば、相互作用の装置3は、周囲環境からのノイズに関する検出を更に実行することができる。ノイズレベルが予め設定された値超である際には、ユーザー4は、まず、遠距離撮影エリア321から近距離撮影エリア322までガイドされ、且つ、次いで、ユーザー4は、ユーザーの相互作用目的を発話するように、ガイドされる。ノイズレベルが予め設定された値未満である際には、遠距離撮影エリア321内のユーザー4は、ユーザーの相互作用目的を発話するように、直接的にガイドされる。
一実施形態において、ユーザー4が企業AAの内部従業員である際には、図5に示されている「Xiao Baiさん、少しだけ遠過ぎます」を使用することにより、相互作用の装置3が遠距離撮影エリア321から近距離撮影エリア322までユーザー4をガイドしうるように、相互作用の装置3は、ユーザー4の名称「Xiao Bai」を取得してもよく、ここで、名称「Xiao Bai」は、アイデンティティ情報として使用されており、且つ、「少しだけ遠過ぎます」は、相互作用コンテンツである。企業AAの外部者の場合には、相互作用の装置3は、対応する名称を取得することに失敗しうる。従って、相互作用プロセスにおいて使用されるアイデンティティ情報は、図5に示されている実施形態におけるものとは異なりうる。例えば、図7は、例示用の一実施形態による、相互作用コンテンツを通じたユーザー位置に関するガイドの別の概略図である。図7に示されているように、相互作用の装置3が、カメラ31を使用することにより、ユーザーのユーザー画像71を取得するものと仮定されているが、ユーザーは、企業AAの外部者であり、且つ、相互作用の装置3は、ユーザーの名称を取得することに失敗する。従って、遠距離撮影エリア321から近距離撮影エリア322まで移動するようにユーザーをガイドする際に、相互作用の装置3は、相互作用表示エリア51内において、テキストの形態において、相互作用コンテンツ513を表示することができる。例えば、相互作用コンテンツ513は、「1.5メートル以内に近づいてください」である。相互作用の装置3は、この代わりに、例えば、スピーカ34を使用することにより、「こんにちは、少しだけ遠過ぎます」(ユーザーのアイデンティティ情報が省略されている)などのように、音声形態において、相互作用コンテンツを再生することもできる。相互作用の装置3は、この代わりに、近距離撮影エリア322から遠距離撮影エリア321まで移動するように、ユーザーをガイドするべく、規則的に明滅するようにインジケータライト35を制御することもできる。
一実施形態において、相互作用の装置3は、WeComのサーバーにアクセスすることにより、検知エリア内のユーザーの関連するイベントを知ることができると共に、関連付するイベントに基づいて、提供するべき相互作用コンテンツを変更することができる。例えば、図8は、例示用の一実施形態による、正常な状況下における相互作用シナリオの概略図である。図8に示されているように、相互作用の装置3が、勤務時間内において、撮影エリア32内において配置されたユーザーを検出し、且つ、ユーザー4が、企業AAの内部従業員「Xiao Bai」であると認識したと仮定することにより、相互作用の装置3が、ユーザー4の相互作用目的が退勤時間の記録であると判定したが、依然として勤務時間内である場合に、相互作用の装置3がユーザー4の退勤時間の記録と関係付けられた関連するイベントを見出せない際には、相互作用表示エリア51内に示される相互作用コンテンツ515は、「早退するつもりですか?(are you sure to leave early?)」であってよい。図9は、例示用の一実施形態による、関連するイベントに応じた相互作用コンテンツの調節の概略図である。図9に示されているように、相互作用の装置3が、勤務時間内において、撮影エリア32内において配置されたユーザー4を検出し、且つ、ユーザー4が企業AAの内部従業員「Xiao Bai」であると認識した、と仮定することにより、相互作用の装置3が、ユーザー4が、提出済みの病気退勤審査及び承認イベントを有していることを見出し、且つ、病気退勤審査及び承認イベントにおいて承認されている病気退勤時間内である場合には、相互作用表示エリア51内に示される相互作用コンテンツ514は、「退勤時間を記録しますか?(are you sure to clock out?)」であってよい。
一実施形態においては、相互作用の装置3の撮影エリア32内に複数のユーザーが存在しうると共に、相互作用の装置3は、適切な相互作用コンテンツを使用することにより、これらのユーザーとの通信を実装することができる。図10は、例示用の一実施形態による、相互作用の装置による発話者の指定の概略図である。図10に示されているように、画面33上において示されているユーザー画像81〜82にそれぞれ対応する検知エリア32内の複数のユーザーが存在していると仮定することにより、相互作用の装置3は、ユーザー画像81に対応するユーザーを「Xiao Bai」として認識してもよく、且つ、ユーザー画像82に対応するユーザーを「Xiao Hei」として認識してもよく、且つ、対応するユーザー画像の周りにおいて、アイデンティティ情報をとして、ユーザーの名称を表示してもよい。例えば、ユーザー画像81の上方において示されている対応するユーザーのアイデンティティ情報91は、名称「Xiao Bai」であり、且つ、ユーザー画像82の上方において示されている対応するユーザーのアイデンティティ情報92は、名称「Xiao Hei」である。相互作用の装置3の限られた相互作用能力に起因して、且つ、相互作用の装置3がユーザーの相互作用目的について明瞭に知ることを可能にするべく、相互作用の装置3は、一度に、ユーザーの一部分のみと相互作用しうる。相互作用の装置3は、ユーザーと相互作用の装置3の間の距離の昇順による、ユーザーの顔面とカメラ31の撮影方向の間の角度の昇順による、或いは、ユーザーの身長の降順による、などの、特定の方式により、ターゲット相互作用オブジェクト(ユーザーの一部分)を選択してもよく、これは、本明細書において限定されてはいない。相互作用の装置3が、ユーザー画像81に対応するユーザー「Xiao Bai」と相互作用するべく意図していると仮定することにより、検知エリア内のその他のユーザーの誤解を回避するべく、相互作用の装置3は、相互作用コンテンツを提供する際に、相互作用コンテンツに対応するターゲット相互作用オブジェクトが、ユーザー「Xiao Bai」であると検知エリア内のユーザーに表現する必要がある。例えば、相互作用の装置3が、スピーカ34を使用することにより、相互作用コンテンツ「どういうご用件ですか?」を再生する際に、その他のユーザーにとって、相互作用コンテンツ「どういうご用件ですか?」のターゲット相互作用オブジェクトが、「Xiao Bai」であることが明らかとなるように、実際の再生されるコンテンツが、「Xiao Baiさん、どういうご用件ですか?」となりうるように、これに加えて、ユーザー「Xiao Bai」のアイデンティティ情報を再生することができる。
図11は、例示用の一実施形態による、相互作用の装置による発話者の指定の別の概略図である。図11に示されているように、ユーザー「Xiao Bai」及びユーザー「Xiao Hei」などの、複数のユーザーが、同時にそれぞれの相互作用の意図を発話した場合に、相互作用の装置3は、サウンドの混乱状態に起因して、それぞれのユーザーの相互作用目的を正確に知ることができない場合があり、或いは、相互作用の装置3が、同時に複数のユーザーの相互作用目的に応答できない場合があり、或いは、相互作用の装置3が、それぞれの相互作用目的を順番に表現するように、これらのユーザーをガイドするべく、相互作用コンテンツを提供しうるような、その他の理由が存在している。例えば、相互作用の装置3は、相互作用表示エリア51内において、相互作用コンテンツ516を表示することができる。相互作用コンテンツ516は、「一人ずつ話してください(please speak one by one)」を含むことができる。更には、相互作用の装置3が、以上の実施形態に従って、ユーザーの発話順序が、ユーザー「Xio Bai」が、まず話し、且つ、ユーザー「Xiao Hei」が、後から話す、というものであると判定した際には、相互作用の装置3は、これに加えて、その他のユーザーが、相互作用コンテンツのターゲット相互作用オブジェクトが、ユーザー「Xiao Bai」であることを知るように、実際の再生されるコンテンツが、「わたしは、明瞭に聞き取ることができません。Xiao Baiさん、まず話して下さい」(I cannot hear clealy. Xiao Bai, please speak first)となりうるように、スピーカ34を使用することにより、相互作用コンテンツ「わたしは、明瞭に聞き取ることができません。xx、まず話してください(I cannot hear clearly. xx, please speak first)」を再生しつつ、ユーザー「Xiao Bai」のアイデンティティ情報を再生することができる。
図10及び図11に示されている実施形態における音声の形態に加えて、複数のユーザーの発話順序は、複数のその他の方式により、指定することもできる。例えば、図12は、例示用の一実施形態による、相互作用の装置による発話者の指定の更に別の概略図である。図12に示されているように、相互作用の装置3が、ユーザーの発話順序が、ユーザー「Xiao Bai」が、まず話し、且つ、ユーザー「Xiao Hei」が、後から話す、というものであると判定した際に、相互作用の装置3は、例えば、マーキングボックス810を顔面エリアに追加することにより、ユーザー「Xiao Bai」に対応するユーザー画像81をマーキングすることができる。この結果、相互作用コンテンツが、「どういうご用件ですか?」、「話してください」、及びこれらに類似したものである場合にも、ユーザーは、相互作用コンテンツのターゲット相互作用オブジェクトが、ユーザー「Xiao Bai」であると知ることができる。当然のことながら、図12に示されている実施形態において、相互作用の装置13が、相互作用表示エリア51内において、相互作用テキスト517を表示する際に、相互作用テキスト517は、相互作用テキスト517のフルコンテンツが「Xiao Baiさん、話してください」となるように、相互作用コンテンツ「xx、話してください」に加えて、現時点のターゲット相互作用オブジェクトがユーザー「Xiao Bai」であることをユーザーに通知しうる、ユーザー「Xiao Bai」のアイデンティティ情報を更に含んでいる。
図13は、例示用の一実施形態による、外部者の発話順序の概略図である。図13に示されているように、81及び82というユーザー画像に対応するユーザーは、いずれも、企業AAの外部者であるものと仮定されており、相互作用の装置3は、これらのユーザーの名称を取得することができないが、相互作用情報に対応するターゲット相互作用オブジェクトを規定するべく、相互作用情報に対応するターゲット相互作用オブジェクトを規定するべく、ユーザーのアイデンティティ情報をその他の方式によって表現することができる。例えば、相互作用の装置3が、ターゲット相互作用オブジェクトが、ユーザー画像81に対応するユーザーであると判定した際に、ユーザー画像81が女性ユーザーに対応しており、且つ、ユーザー画像82が男性ユーザーに対応している場合には、ユーザーのアイデンティティ情報は、「女性の方(this lady)」又は「男性の方(this gentleman)」などのように、性別を通じて表現することができる。従って、スピーカ34を使用することにより、相互作用の装置3によって再生される音声コンテンツが、「はっきりと聞き取ることができません。女性の方から、まず話してください」である際に、撮影エリア32内の両方のユーザーは、相互作用コンテンツが、「はっきりと聞き取ることができません。xx、まず、話してください」であると判定することができると共に、「女性の方」というアイデンティティ情報に基づいて、ターゲット相互作用オブジェクトが、ユーザー画像81に対応するユーザーであると判定することができる。
相互作用コンテンツが撮影エリア32内のユーザーに提供された際に、いくつかの状況において、ユーザーは、図4に示されている実施形態における相互作用コンテンツ「出勤時間を正常に記録しました」などの相互作用コンテンツには、応答する必要はない。いくつかのその他の状況において、ユーザーは、相互作用コンテンツに応答することができると共に、応答は、相互作用の装置3がユーザーによる対応するイベントの完了を支援するように、ユーザーによって起動されたイベント支援要求を含むことができる。例えば、図9に示されている実施形態における相互作用コンテンツ「退勤時間を記録しますか?」の場合に、ユーザー「Xiao Bai」によって返された応答が「はい」である際には、相互作用の装置3は、相互作用の装置3が「退勤時間の記録の出欠チェックイベント」の完了を支援しうるように、セマンティック分析に基づいて、ユーザー「Xiao Bai」が「退勤時間の記録の出欠チェックイベント」に対するイベント支援要求を起動したと判定することができる。同様に、例えば、マルチユーザーシナリオにおいて、相互作用の装置3が、図13の音声「はっきりと聞き取ることができません。女性の方から、まず話してください」を送信した後に、女性ユーザーから返された応答が、「Baibaiさんを呼び出してください」である場合に、相互作用の装置3は、相互作用の装置3が、「呼び出しイベント」の完了を支援するべく、ユーザー「Baibai」を呼び出しうるように、セマンティック分析に基づいて、ユーザー「Xiao Bai」が「呼び出しイベント」に対するイベント支援要求を起動しており、且つ、呼び出されるオブジェクトは、ユーザー「Baibai」であると判定することができる。
当然のことながら、相互作用コンテンツに対する応答の状況に加えて、撮影エリア32内のユーザーは、イベント支援要求を相互作用の装置3に対して直接的に起動することができると共に、相互作用の装置3は、対応するイベントの完了を支援することができる。これは、相互作用コンテキストに対する応答の状況に類似しており、従って、本明細書においては、詳述の反復を省略する。
図10〜図13に示されている実施形態においては、相互作用の装置3は、相互作用の装置3が、対応するイベントの完了を個々に支援するべく、ユーザーによって個々に起動されたイベント支援要求を判定しうるように、撮影エリア32内の複数のユーザーが順番に話すことを保証することができる。一実施形態において、相互作用の装置3は、同時に複数のユーザーから送信された複数のユーザー音声を受け取る場合があり、且つ、サウンド特徴に基づいて複数のユーザー音声を正確に分離することができると共に、相互作用の装置3が、複数のユーザーのイベント支援要求を同時に認知しうるように、且つ、対応するイベントの完了を支援し、これにより、複数のユーザーにおける支援効率を大幅に改善しうるように、サウンド特徴認識(例えば、声紋認識)を通じて、それぞれのユーザー音声と撮影エリア32内のユーザーの間のマッピング関係を更に判定することができる。
一状況において、相互作用の装置3は、取得されたユーザー音声をサウンド特徴データベースと直接的に比較してもよく、サウンド特徴データベースは、例えば、比較結果に基づいて、取得されたユーザー音声に対応する内部従業員を判定するように、企業AA内のすべての内部従業員の声紋特徴を含みうる。これに加えて、相互作用の装置3は、顔面認識などのその他の方式により、撮影エリア32内のユーザーを識別することができると共に、企業AAの内部従業員であると偽ることを防止するべく、識別結果をサウンド特徴データベースに基づいて取得された比較結果と比較することができる。例えば、ユーザー音声が、それぞれ、企業AA内のユーザーA及びユーザーBからであるとサウンド特徴を通じて判定されたが、顔面認識に基づいて、撮影エリア内のユーザーが、ユーザーAと、認識されえない外部者と、であると判定されたとしよう。この結果、外部者が、ユーザーBであると偽っている場合があり、且つ、ユーザーBの記録された音声を使用している場合がある。この状況において、相互作用の装置3は、対応する支援イベントの完了を拒絶することができると共に、警告をユーザーBに対して送信することができる。
別の状況において、相互作用の装置3は、撮影エリア32内のユーザーが企業AA内のユーザーA及びユーザーBであると認識するべく、まずは、顔面認識などの方式により、撮影エリア32内のユーザーを識別することができる。次いで、相互作用の装置3が2つのユーザー音声を取得した際に、相互作用の装置は、ユーザー音声をサウンド特徴データベース内のその他の声紋特徴と比較することなしに、いずれのユーザー音声がユーザーAからであり、且つ、いずれのユーザー音声がユーザーBからであるのか、を判定するべく、単純にユーザー音声をユーザーA及びユーザーBの声紋特徴と比較し、これにより、比較効率を大幅に改善することができる。
これに加えて、撮影エリア32内のユーザーがアドミニストレータを含んでいる場合があり、従って、相互作用の装置3は、アドミニストレータのイベント支援要求に応答して、例えば、画面33上の歓迎発話コンテンツの調節、スピーカ34の音量の調節、又は遠距離撮影エリア321及び近距離撮影エリア322の範囲の調節、などの対応する装置管理イベントの完了を支援することができる。
図14は、例示用の一実施形態による、相互作用オブジェクトのマーキングの概略図である。カメラ31を使用することにより、撮影エリア32を撮影した後に、相互作用の装置3は、ユーザーが、ユーザーが相互作用の装置3によって検出されたかどうか、並びに、ユーザーが相互作用の装置3と相互作用しうるかどうか、を明瞭に判定するように、撮影エリア32内に配置されている検出されたユーザーをマーキングすることができる。図14に示されているように、撮影エリア32内にユーザーが存在していることを検出した際に、相互作用の装置3は、撮影画像に従って、ユーザー用の対応するプロファイル画像1401を生成することができると共に、画面33上においてプロファイル画像1401を表示することができる。又、別のユーザーが撮影エリア32内において配置されていることが相互作用の装置3によって検出された際にも、そのユーザーに対応するプロファイル画像1402を画面33上において表示することができる。同様に、更にその他のユーザーが撮影エリア32に進入した際にも、相互作用の装置3は、画面33上において、対応するプロファイル画像を表示してもよく、従って、本明細書においては、詳述の反復を省略する。
プロファイル画像1402に対応するユーザーが、撮影エリア32から離脱した際には、相互作用の装置3は、画面からプロファイル画像1402を削除することができる。その他のユーザーの状況も、このユーザーのものに類似しており、従って、本明細書においては、詳述の反復を省略する。
従って、画面33がプロファイル画像1401及び1402を含んでいることを観察した際に、対応するユーザーは、自身が相互作用の装置3によって検出されており、且つ、相互作用オブジェクトとして相互作用の装置3によって判定されており、且つ、自身が、相互作用の装置3と相互作用しうる、ことを確信することができる。別のユーザーが相互作用の装置3と相互作用することを所望しているが、画面33上において、自身に対応するプロファイル画像を観察できない際には、これは、ユーザーが撮影エリア32に進入していない場合がある、或いは、ユーザーが撮影エリア32に進入しているが、相互作用の装置3によって成功裏に検出されておらず、且つ、ユーザーは、ユーザーのプロファイル画像が画面33上において表示される時点まで、撮影エリア32に進入する又は再進入する、などの対策を実行しうる、ことを通知している。
図15は、例示用の一実施形態による、ターゲット相互作用オブジェクトのマーキングの概略図である。相互作用の装置3が、それぞれ、撮影エリア32内において配置されているユーザー「Xiao Bai」及びユーザー「Xiao Hei」を認識し、且つ、相互作用の装置3が、ユーザー「Xiao Bai」をターゲット相互作用オブジェクトとして判定しているものと仮定されている。図15に示されているように、相互作用の装置3は、正常な比率において、画面33の(相対的に、画面33のエッジから遠い)中央エリア内においてユーザー「Xiao Bai」に対応するプロファイル画像1401を表示することができると共に、相対的に小さな比率において、画面33のエッジエリア内においてユーザー「Xiao Hei」に対応するプロファイル画像1402を表示することができる。次いで、相互作用の装置3が、スピーカ34を使用することにより、「どういうご用件ですか?」という相互作用音声を送信した際に、プロファイル画像1401及び1402の表示比率及び表示位置に従って、相互作用音声に対応するターゲット相互作用オブジェクトが、プロファイル画像1402に対応するユーザー「Xiao Hei」ではなく、プロファイル画像1401に対応するユーザー「Xiao Bai」である、ことを判定することができる。
当然のことながら、プロファイル画像の表示比率及び表示位置の構成に加えて、ターゲット相互作用オブジェクトに対応するプロファイル画像をその他の相互作用オブジェクトのプロファイル画像から弁別するべく、その他の調節の態様をプロファイル画像の表示属性に対して実行し、これにより、プロファイル画像に応じた対応するターゲット相互作用オブジェクトの判定を支援することができる。これは、本明細書において限定されてはいない。
相互作用の装置3によって撮影エリア32内のユーザーとの間の相互作用を起動するというやり方に加えて、例えば、相互作用の装置3が、ユーザー音声のソースユーザーの要件を充足するべく、ユーザー音声に応答するように、相互作用の装置3にユーザー音声を送信する、などのように、撮影エリア32内のユーザーが、相互作用の装置3との相互作用を起動することもできる。ユーザー音声は、相互作用の装置3によって送信される相互作用音声に応答するべく、使用されてもよく、或いは、撮影エリア32内のユーザーによって相互作用の装置3に能動的に送信されてもよく、これは、本明細書において限定されてはいない。
一実施形態においては、撮影エリア32内のユーザーによって送信されたユーザー音声を受け取った際に、相互作用の装置3が、ユーザー音声のソースユーザーを判定する必要があるように、即ち、撮影エリア32内の複数のユーザーのいずれがユーザー音声を送信したのかを検出する必要があるように、撮影エリア32内に、複数のユーザーが同時に存在している場合がある。
例えば、図16は、例示用の一実施形態による、ユーザー音声のソースユーザーの判定の概略図である。図16に示されているように、マイクロフォンアレイが、相互作用の装置3内において構築されてもよく、マイクロフォンアレイは、マイクロフォン36及びマイクロフォン37を含んでいてもよく、且つ、マイクロフォン36は、相対的に左側において配設されており、且つ、マイクロフォン37は、相対的に右側において配設されている。従って、撮影エリア32内のユーザーが、「15人用の会議室を予約する必要があります(I need to reserve a conference room for 15 persons)」などの、ユーザー音声を送信した際に、マイクロフォン36が、マイクロフォン37よりも早期にユーザー音声を受け取った場合には、これは、ユーザー音声のソースユーザーが、マイクロフォン36に相対的に近接しており、且つ、マイクロフォン37から相対的に離れている、ことを通知している。従って、ソースユーザーが、撮影エリア32内において相対的に左側に近接して配置されているものと判定することができる。例えば、ソースユーザーは、図10において取得されている画像との組合せにおいて、ユーザー「Xiao Bai」である、と判定することができる。
同様に、マイクロフォン37が、マイクロフォン36よりも早期にユーザー音声を受け取った場合にも、これは、ユーザー音声のソースユーザーが、マイクロフォン37に相対的に近接しており、且つ、マイクロフォン36から相対的に離れている、ことを通知している。従って、ソースユーザーが、撮影エリア32内において、相対的に右側に近接して配置されているものと判定することができる。例えば、ソースユーザーは、図10において取得されている画像との組合せにおいて、ユーザー「Xiao Hei」であると判定することができる。或いは、この代わりに、マイクロフォン36及びマイクロフォン37が、同時に、或いは、ほぼ同時に、ユーザー音声を受け取った場合には、これは、ユーザー音声のソースユーザーが、マイクロフォン36とマイクロフォン37の間の中央地点において配置されている、即ち、相互作用の装置3の直接前方に配置されている、ことを通知している。従って、ソースユーザーは、撮影エリア32の中央位置において配置されていると判定することができる。
一実施形態において、ユーザーは、画面33及びカメラ31の向きの前方に配置されているのではなく、相互作用の装置3の設置位置又は設置方式に基づいて、相互作用の装置3の背後において配置されている場合もある。従って、ユーザーは、明らかに、撮影エリア32内に配置されてはおらず、且つ、ユーザーは、正確には、相互作用の装置3の周りにおいて配置されている場合がある。この状況において、相互作用の装置3が、「15人用の会議室を予測する必要があります」などのオーディオメッセージを受け取った際に、オーディオメッセージは、必ずしも、撮影エリア32内のユーザーによって送信されたユーザー音声ではなく、且つ、相互作用の装置の背後において配置されているユーザーによって送信された混信音声である。従って、混信音声が、誤ってユーザー音声として判定されることを防止するべく、オーディオメッセージのソース方向を判定する必要がある。前方からのオーディオメッセージは、撮影エリア32内のユーザーによって送信されたユーザー音声でありうると共に、後方からのオーディオメッセージは、混信音声である。
例えば、図17は、例示用の一実施形態による、オーディオメッセージのソース方向の判定の概略図である。図17に示されているように、マイクロフォンアレイが、相互作用の装置3内において構築されてもよく、且つ、マイクロフォンアレイは、マイクロフォン36、マイクロフォン37、及びマイクロフォン38を含みうる。左−右方向(即ち、図17における水平方向)において、マイクロフォン36は、左側において配設され、且つ、マイクロフォン37は、右側において配設されている。前−後方向(即ち、図17における上−下方向)において、マイクロフォン36及びマイクロフォン37は、ビデオエリア32に相対的に近接した相互作用の装置3の前部部分内において配設されており、且つ、マイクロフォン38は、ビデオエリア32から相対的に離れた相互作用の装置3の後部部分内において配設されている。マイクロフォン36〜38は、いずれも、相互作用の装置3内において配置されている。従って、相互作用の装置3の周りにおいて配置されているユーザーによって送信されたオーディオメッセージの場合に、ユーザーが相互作用の装置3の前方において配置されている場合には、オーディオメッセージは、相互作用の装置3の前方から相互作用の装置3を通過し、オーディオメッセージの高周波数部分は、相互作用の装置3のハウジング部分によって吸収され、且つ、マイクロフォン36〜38がオーディオメッセージの高周波数部分を受け取った際に、相互作用の装置3の後部部分内において配置されているマイクロフォン38によって受け取られる高周波数信号の強度は、相互作用の装置3のハウジングの吸収に起因して、マイクロフォン36及び37のそれぞれによって受け取られる高周波数信号の強度未満となるようになっている。ユーザーが、相互作用の装置3の背後において配置されている場合には、オーディオメッセージは、相互作用の装置3の後方から相互作用の装置3を通過し、オーディオメッセージの高周波数部分は、相互作用の装置3のハウジング部分によって吸収され、且つ、マイクロフォン36〜38がオーディオメッセージの高周波数部分を受け取った際に、相互作用の装置3の前部において配置されたマイクロフォン36及び37のそれぞれによって受け取られる高周波数部分の強度は、相互作用の装置3のハウジングの吸収に起因して、マイクロフォン38によって受け取られる高周波数信号の強度未満となるようになっている。
従って、マイクロフォン36〜38がオーディオメッセージの高周波数部分を受け取る量に従って、オーディオメッセージのソース方向が相互作用の装置3の前方であるのか又は後方であるのか、を判定することができる。オーディオメッセージのソース方向が、相互作用の装置3の後方であると判定された際には、オーディオメッセージのソースユーザーは、明確に、撮影エリア32内のユーザーではない。換言すれば、オーディオメッセージは、混信音声である。オーディオメッセージのソース方向が、相互作用の装置3の前方であると判定された際には、オーディオメッセージのソースユーザーは、撮影エリア32内のユーザーでありうる。当然のことながら、精度を改善するべく、且つ、誤った判定の確率を低減するべく、更なる判定をその他の条件との組合せにおいて実行することができる。
一実施形態において、画像の取得は、相互作用の装置3上のカメラ31を使用することにより、実行することができると共に、撮影エリア32内にユーザーが存在している場合には、オーディオメッセージが、ユーザーからのものであると判定することができる。
一実施形態において、画像の取得は、相互作用の装置3上のカメラ31を使用することにより、実行することができると共に、撮影エリア32内において複数のユーザーが存在している場合には、例えば、口の開閉動作が、オーディオメッセージの受信処理の際に実行されているかどうか、並びに、動作が発生する瞬間が、オーディオメッセージの信号の変化が発生する瞬間と一貫性を有しているかどうか、などの、ユーザーの顔面動作を参照して、オーディオメッセージとマッチングする顔面動作を有するユーザーが、オーディオメッセージのソースユーザーとして判定されている。
一実施形態において、画像の取得は、相互作用の装置3上のカメラ31を使用することにより、実行することができると共に、撮影エリア32内に複数のユーザーが存在している場合には、マイクロフォン36及び37によって判定されたオーディオメッセージのソース方向が左側であるか、右側であるか、或いは、中間であるか、を参照して、対応する方向に対応するユーザーをオーディオメッセージのソースユーザーとして判定することができる。同一の方向において更に複数のユーザーが存在している場合には、ユーザーの顔面アクションを参照して、オーディオメッセージとマッチングする顔面動作を有するユーザーを選別することができると共に、オーディオメッセージのソースユーザーとして判定することができる。
図18は、例示用の一実施形態による、ユーザー音声のソースユーザーのマーキングの概略図である。図18に示されているように、ユーザー「Xiao Bai」がユーザー音声のソースユーザーとして判定されたと仮定することにより、撮影エリア32内のユーザーが、後続の相互作用プロセスにおいてエラーが発生しないことを保証するべく、相互作用の装置3がユーザー音声のソースユーザーを正確に認識しているかどうかを迅速に判定するように、相互作用の装置3は、オリジナルのカラフルモードにおいて、プロファイル画像1401を表示することができると共に、表示するべくその他のユーザーに対応するプロファイル1402及びこれに類似したものをモノクロ化することができる。
一実施形態において、相互作用の装置3がユーザー音声を認識する際には、ソースユーザーのアクセント、外部環境の過剰なノイズ、或いは、サウンドピックアッププロセスにおいて発生する歪などの、好ましくないファクタのすべてが、相互作用の装置3のセマンティック認識の精度に対して影響を及ぼす。従って、認識プロセスにおいて、相互作用の装置3は、それぞれの候補セマンティック認識結果を採点することができる。相互作用の装置3は、そのコンフィデンスレベルが相対的に低い(例えば、予め設定されたスコア未満である)候補セマンティック認識結果を直接的に破棄することができる。そのコンフィデンスレベルが相対的に高い(例えば、予め設定されたスコア超である)候補セマンティック認識結果の数が1である場合には、候補セマンティック認識結果をセマンティック認識結果として直接的に使用することができる。そのコンフィデンスレベルが相対的に高い候補セマンティック認識結果の数が1超である場合には、相互作用の装置3は、ソースユーザーに、ソースユーザー「Xiao Bai」が選択及び確認するように、例えば、図18の選択肢1801「1.15人用の会議室を予約する必要があります」及び選択肢1802「2.45人用の会議室を予約する必要があります」などの、そのコンフィデンスレベルが相対的に高い候補セマンティック認識結果に対応する候補セマンティック認識結果選択肢を表示することができる。
例えば、ユーザー「Xiao Bai」は、選択肢1801が選択されたことを相互作用の装置3に通知するべく、「第1のもの」、「前者」、又は「15人のもの」などのコンテンツを含む確認音声を送信することができる。この結果、相互作用の装置3は、ユーザー音声に対応するセマンティック認識結果が「15人用の会議室を予約する必要があります」であると判定することができると共に、例えば、関連する会議室の予約の完了においてユーザー「Xiao Bai」を支援するなどのように、ユーザー音声に更に応答することができる。
図19は、例示用の一実施形態による、装置の概略構造図である。図19を参照すれば、ハードウェアレベルにおいて、装置は、プロセッサ1902と、内部バス1904と、ネットワークインターフェイス1906と、内部メモリ1908と、不揮発性メモリ1910と、を含んでおり、且つ、当然のことながら、その他のサービスに必要とされるハードウェアを更に含みうる。プロセッサ1902は、ロジックレベルにおいて相互作用の装置を形成するべく、不揮発性メモリ1910から内部メモリ1908に、対応するコンピュータプログラムを読み込み、且つ、次いで、コンピュータプログラムを実行している。当然のことながら、ソフトウェア実装形態に加えて、本明細書の1つ又は複数の実施形態は、例えば、論理装置又はソフトウェア−ハードウェアの組合せなどの、その他の実装形態を排除するものではない。換言すれば、以下の処理手順の実行体は、論理ユニットに限定されるものではなく、且つ、その代わりに、ハードウェア又は論理装置であってもよい。
図20を参照すれば、ソフトウェア実装形態において、相互作用の装置は、
検知エリア内において配置された1人又は複数のユーザーを検出するように構成された検出ユニット2001と、
相互作用コンテンツを検知エリア内の1人又は複数のユーザーに提供するように構成された提供ユニット2002と、
相互作用コンテンツのターゲット相互作用オブジェクトが検知エリア内の1人又は複数のユーザーの一部分である際に、ターゲット相互作用オブジェクトに関する情報を検知エリア内の1人又は複数のユーザーに表示するように構成された第1表示ユニット2003と、
を含みうる。
任意選択により、第1表示ユニット2003は、
ターゲット相互作用オブジェクトとして機能するユーザーのアイデンティティ情報をターゲット相互作用オブジェクトに関する情報として判定し、且つ、
アイデンティティ情報を検知エリア内の1人又は複数のユーザーに表示する、
ように構成されている。
任意選択により、相互作用の装置は、
検知エリア内に配置された1人又は複数のユーザーを識別するように構成された識別ユニット2004を更に含み、この場合に、
ターゲット相互作用オブジェクトとして機能している第1ユーザーのアイデンティティが成功裏に識別された際に、第1ユーザーのアイデンティティ情報は、第1ユーザーの名称を含み、且つ、ターゲット相互作用オブジェクトとして機能している第2ユーザーのアイデンティティが成功裏に識別されない際には、第2ユーザーのアイデンティティ情報は、第2ユーザーに関する視覚的特徴記述情報を含む。
任意選択により、相互作用の装置は、
検知エリア内の1人又は複数のユーザーに対応するユーザー基準情報を表示するように構成された第2表示ユニット2005を更に含み、この場合に、
第1表示ユニット2003は、ターゲット相互作用オブジェクトに関する情報としてターゲット相互作用オブジェクトとして機能しているユーザーに対応するユーザー基準情報を判定し、且つ、判定されたユーザー基準情報を検知エリア内の1人又は複数のユーザーに目立つように表示するように構成されている。
任意選択により、第2表示ユニット2005は、
検知エリア内の1人又は複数のユーザーに対して画像取得を実行し、且つ、ユーザー基準情報として1つ又は複数の取得されたユーザー画像を表示するように構成されている。
任意選択により、相互作用の装置は、
相互作用コンテンツのターゲット相互作用オブジェクトが、検知エリア内の1人又は複数のユーザーの一部分から、すべての1人又は複数のユーザーに変化した際に、ターゲット相互作用オブジェクトに関する情報を検知エリア内の1人又は複数のユーザーに表示するステップを一時停止するように構成された管理ユニット2006、
を更に含む。
任意選択により、相互作用の装置は、
検知エリア内のユーザーによって送信されたイベント支援要求を取得するように構成された要求取得ユニット2007と
イベント支援要求に応答して、対応するイベントの完了を支援するように構成された支援ユニット2008と、
を更に含む。
任意選択により、要求取得ユニット2007は、
相互作用コンテンツに応答して検知エリア内のユーザーによって返された応答情報を受け取るように構成されており、この場合に、応答情報は、イベント支援要求を含む。
任意選択により、要求取得ユニット2007は、
検知エリア内に複数のユーザーが存在している際に、予め設定された順番に従って、支援されるオブジェクトとしてユーザーを選択し、且つ、
対応するイベント支援要求を送信するように、選択されたユーザーに順番に要求する、
ように構成されている。
任意選択により、要求取得ユニット2007は、
イベント支援要求を取得するべく、取得されたユーザー音声に対してセマンティック認識を実行し、且つ、
ユーザー音声のソースユーザーを判定するべく、ユーザー音声に対してサウンド特徴認識を実行する、
ように構成されている。
任意選択により、支援ユニット2008は、
検知エリア内のユーザーが、グループの内部者である際に、イベント支援要求に応答して、対応するグループ管理イベントの完了を支援し、
検知エリア内のユーザーが、グループの外部者である際に、アラートメッセージをグループの関連する内部者に送信し、グループの関連する内部者との間の通信の確立においてグループの外部者を支援し、或いは、イベント支援要求に応答して、グループの外部者を訪問イベントの処理場所までガイドし、且つ、
検知エリア内のユーザーがアドミニストレータである際に、イベント支援要求に応答して、対応する装置管理イベントの完了を支援する、
ように構成されている。
任意選択により、検知エリアは、近距離検知エリアと、遠距離検知エリアと、を含み、且つ、提供ユニット2002は、
相互作用コンテンツを近距離検知エリア内のユーザーに提供し、且つ、
遠距離検知エリアから近距離検知エリアに進入するように、ユーザーをガイドするべく、遠距離検知エリア内のユーザーにガイダンス情報を送信する、
ように構成されている。
任意選択により、相互作用の装置は、
検知エリア内の1人又は複数のユーザーの関連するイベントを取得するように構成されたイベント取得ユニット2009を更に含み、この場合に、
提供ユニット2002は、相互作用コンテンツが関連するイベントに関係付けられている際に、関連するイベントの状態情報に従って、検知エリア内の1人又は複数のユーザーに提供される相互作用コンテンツを調節するように構成されている。
任意選択により、相互作用の装置は、
検知エリア内の1人又は複数のユーザーのアイデンティティタイプを判定するように構成された判定ユニット2010を更に含み、この場合に、
提供ユニット2002は、アイデンティティタイプに従って、検知エリア内の1人又は複数のユーザーに提供される相互作用コンテンツを調節するように構成されている。
任意選択により、相互作用の装置は、
検知エリア内のユーザーによって送信されたユーザー音声を受け取るように構成された音声受信ユニット2011と、
ユーザー音声に応答するように構成された応答ユニット2012と、
を更に含む。
任意選択により、応答ユニット2012は、
セマンティック認識をユーザー音声に対して実行し、
複数のセマンティック認識結果のコンフィデンスレベルが、予め設定された値に到達した際に、複数の対応するセマンティック認識結果選択肢を検知エリア内のユーザーに表示し、
選択されたセマンティック認識結果選択肢に対応するセマンティック認識結果に従って、ユーザー音声に応答する、
ように構成されている。
任意選択により、応答ユニット2012は、
ユーザー音声のソース方向を判定し、且つ、
ユーザー音声のソース方向において配置されているユーザーに応答する、
ように構成されている。
任意選択により、応答ユニット2012は、
マイクロフォンアレイを使用することにより、ユーザー音声を受け取るステップであって、マイクロフォンアレイは、相対的に左側に配設された第1マイクロフォンと、相対的に右側に配設された第2マイクロフォンと、を含む、ステップと、
第1マイクロフォン及び第2マイクロフォンがユーザー音声を受け取る時点の間の差に従って、ユーザー音声のソース方向を判定するステップと、
という方式により、ユーザー音声のソース方向を判定している。
任意選択により、応答ユニット2012は、
ユーザー音声のソース方向において配置されている複数のユーザーが存在している際に、複数のユーザーのそれぞれのものの顔面動作に従って、ユーザー音声のソースユーザーを判定するステップと、
ソースユーザーに応答するステップと、
という方式により、ユーザー音声のソース方向において配置されているユーザーに応答している。
任意選択により、相互作用の装置は、
マイクロフォンアレイを使用することにより、オーディオメッセージを受け取るように構成されたオーディオ受信ユニット2013であって、マイクロフォンアレイは、相対的に検知エリアに近接して配設された第3マイクロフォンと、検知エリアから相対的に離れて配設された第4マイクロフォンと、を含む、オーディオ受信ユニットと、
第3マイクロフォン及び第4マイクロフォンがオーディオメッセージ内の高周波数部分を受け取る量に従って、オーディオメッセージのソース方向を判定するように構成された方向判定ユニット2014と、
ソース方向が検知エリアに相対的に近接した側であり、且つ、検知エリア内にユーザーが存在している際に、オーディオメッセージが検知エリア内のユーザーによって送信されたユーザー音声であると判定するように構成されたソース判定ユニット2015と、
を更に有する。
任意選択により、相互作用の装置は、
検知エリア内に複数のユーザーが存在している際に、それぞれ、ユーザーに対応するプロファイル画像を表示するように構成されたプロファイル画像表示ユニット2016と、
その他のユーザーのプロファイル画像とは別個に、ユーザー音声のソースユーザーのプロファイル画像を表示するように構成された別個表示ユニット2017と、
を更に含む。
上述の実施形態において記述されているシステム、装置、モジュール、又はユニットは、コンピュータチップ又はエンティティによって実装することが可能であり、或いは、特定の機能を有する製品により、実装することができる。通常の実装装置は、コンピュータである。コンピュータの形態は、PC、ラップトップコンピュータ、セルラー電話機、カメラ電話機、スマートフォン、パーソナルデジタルアシスタント、メディアプレーヤー、ナビゲーション装置、電子メールトランシーバ装置、ゲームコンソール、タブレットコンピュータ、ウェアラブル装置、又はこれらの任意の組合せであってよい。
通常の構成において、コンピュータは、(CPUなどの)1つ又は複数のプロセッサ、入出力インターフェイス、ネットワークインターフェイス、及び内部メモリを含む。
内部メモリは、揮発性メモリ、ランダムアクセスメモリ(RAM:Random Access Memory)、並びに/或いは、例えば、読み出し専用メモリ(ROM:Read−Only Memory)又はフラッシュRAMなどのコンピュータ可読媒体内の不揮発性メモリなどの形態を含みうる。内部メモリは、コンピュータ可読媒体の一例である。
コンピュータ可読媒体は、永久的媒体及び非永久的媒体、着脱自在の媒体及び非着脱自在の媒体を含み、これらは、任意の方法又は技術を使用することにより、情報の保存を実装しうる。情報は、コンピュータ可読命令、データ構造、プログラムモジュール、又はその他のデータであってよい。コンピュータのストレージ媒体の例は、限定を伴うことなしに、相変化メモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM:Static Random−Access Memory)、ダイナミックランダムアクセスメモリ(DRAM:Dynamic Random Access Memory)、別のタイプのRAM、ROM、電気的に消去可能なプログラム可能な読み出し専用メモリ(EEPROM:Electricallyy Erasable Programmable Read−Only Memory)、フラッシュメモリ又は別のメモリ技術、コンパクトディスク読み出し専用メモリ(CD−ROM:Compact Disc Read−Only Memory)、デジタルバーサタイルディスク(DVD:Digital Versatile Disc)又は別の光ストレージ装置、カセットテープ、ディスクストレージ、量子メモリ、グラフェンに基づいたストレージ媒体又は別の磁気ストレージ装置、或いは、任意のその他の非送信媒体を含み、これらは、演算装置によってアクセスされうる情報を保存するように構成することができる。本明細書における定義によれば、コンピュータ可読媒体は、変調されたデータ信号及び搬送波などの、一時的なコンピュータ可読媒体(一時的媒体)を含んではいない。
又、「含む(include)」、「有する(comprise)」という用語、並びに、任意のその他の変形は、非排他的包含をカバーすることを意味していることに留意されたい。これにより、一連の要素を含むプロセス、方法、物品、又は装置は、それらの要素を含むのみならず、明瞭に列挙されてはいないその他の要素をも含み、或いは、プロセス、方法、物品、又は装置の固有の要素を更に含む。更なる限定を伴うことなしに、「1つの〜を含む(include one...)」というフレーズによって定義されている要素は、その要素を含むプロセス、方法、物品、又は装置内におけるその他の同一の要素を排除するものではない。
以上においては、本明細書のいくつかの実施形態が記述されている。その他の実施形態も、添付の請求項の範囲に含まれている。いくつかの状況において、請求項において記録されている動作又はステップは、実施形態におけるものとは異なる順序において実行することができると共に、予想される結果を依然として実現することができる。これに加えて、添付の図面において描かれているプロセスは、必ずしも、予想される結果を実現するべく、特定の順序又は連続的な順序を必要としてはいない。いくつかの実装形態においては、マルチタスク処理及び並列処理が実行可能又は有益でありうる。
本明細書の1つ又は複数の実施形態において使用されている用語は、実施形態を説明するべく使用されているものに過ぎず、且つ、本明細書の1つ又は複数の実施形態を限定することを意図したものではない。又、本明細書の1つ又は複数の実施形態及び添付の請求項において使用されている単数形の「1つの(a)」、「その(the)」、及び「前記(said)」は、その他の意味が文脈において明瞭に通知されていない限り、複数形を含むことを意図している。又、本明細書において使用されている「及び/又は(and/or)」という用語は、1つ又は複数の関連する列挙されている項目の任意の且つすべての可能な組合せを含むことを理解されたい。
「第1の(first)」、「第2の(second)」、「第3の(third)」という用語、並びに、これらに類似したものが、本明細書の1つ又は複数の実施形態において様々な情報を記述するべく使用されている場合があるが、このような情報は、これらの用語に限定されてはならないことを理解されたい。これらの用語は、同一のタイプの情報の間を弁別するべく使用されているものに過ぎない。例えば、本明細書の1つ又は複数の実施形態の範囲から逸脱することなしに、第1情報は、第2情報と呼称されてもよい。同様に、第2情報も、第1情報と呼称されてもよい。文脈に応じて、本明細書において使用されている「もし〜である場合には(if)」という用語は、「〜の際に(when...)」又は「〜の際に(upon...)」、或いは、「〜と判定することに応答して(in response to determining)」として解釈することができる。
以上の説明は、本明細書の1つ又は複数の実施形態の例示用の実施形態に過ぎず、且つ、本明細書の1つ又は複数の実施形態を限定することを意図したものではない。本明細書の1つ又は複数の実施形態の精神及び原理内において実施される任意の変更、均等な置換、又は改善は、本明細書の1つ又は複数の実施形態の保護範囲に含まれるものとする。