JP2022532696A - インタラクション方法、装置、システム、電子デバイス及び記憶媒体 - Google Patents

Abstract

本発明は、インタラクション方法、インタラクション装置、インタラクションシステム、電子デバイス及び記憶媒体を提供する。当該方法は、表示デバイスに対する第１トリガー操作を受信することと、前記第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得することと、前記動作識別子に基づいて、前記インタラクションオブジェクトの動作識別子に対応する動作が含まれる応答をするように前記表示デバイスに表示されるインタラクションオブジェクトを制御することと、を含む。【選択図】図２

Description

＜関連出願の参照＞
本発明は、出願日が２０２０年４月１３日であり、出願番号が２０２０１０２８５４７８．９である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照として本願に組み入れられる。

本発明は、コンピュータ技術分野に関し、特に、インタラクション方法、装置、インタラクションシステム、電子デバイス及び記憶媒体に関する。

ヒューマンコンピュータインタラクションの態様には、ユーザが、キーやタッチや音声で入力し、デバイスが画像やテキストや仮想キャラクターをディスプレイスクリーンに表示して応答することが多い。現在、仮想キャラクターは、音声アシスタントに基づいて改善されたことが多く、ユーザと仮想キャラクターとのインタラクションが表面にとどまっている。

本発明の実施例は、少なくとも、インタラクション方法、インタラクション装置、インタラクションシステム、電子デバイス及び記憶媒体を提供する。

第１態様において、本発明の実施例は、インタラクション方法を提供する。前記方法は、
表示デバイスに対する第１トリガー操作を受信することと、
前記第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得することと、
前記動作識別子に基づいて、前記インタラクションオブジェクトの動作識別子に対応する動作が含まれる応答をするように前記表示デバイスに表示されるインタラクションオブジェクトを制御することと、を含む。

本発明の実施例において、インタラクションオブジェクトがユーザのトリガー操作に応答できる形態を提出し、第１トリガー操作に対応する動作識別子を使用して、擬人化の動作でユーザに動作識別子に対応する動作が含まれる応答をするようにインタラクションオブジェクトを制御する。これにより、インタラクション過程がより現実的且つスムーズになり、インタラクション体験が効果的に向上できる。例示的に、本発明の実施例は、インタラクションオブジェクトが表示デバイスの機能を紹介する場面にも応用でき、文字の理解能力が弱いか、文字ガイド情報を読む時間がないユーザグループに対して、必要の情報を迅速に取得することができる。

可能な一実施形態において、前記第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得することには、
前記表示デバイスに対するトリガー操作と前記インタラクションオブジェクトの動作識別子との間の予め設定されたマッピング関係に基づいて、前記第１トリガー操作に対応する前記動作識別子を取得することが含まれる。

可能な一実施形態において、前記第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得することには、
前記第１トリガー操作に応答するための応答データを取得することと、
前記表示デバイスのトリガー操作に対する応答データと前記インタラクションオブジェクトの動作識別子との間の予め設定されたマッピング関係に基づいて、前記第１トリガー操作に応答するための応答データに対応する前記動作識別子を取得することと、が含まれる。

可能な一実施形態において、前記応答データにはテキストデータが含まれ、前記予め設定されたマッピング関係には前記テキストデータにおけるキーテキストデータと動作識別子との間の予め設定されたマッピング関係が含まれる。

以上の実施形態では、トリガー操作またはトリガー操作の応答データと動作識別子との間の予め設定されたマッピング関係を構成することにより、第１トリガー操作を受信した後、第１トリガー操作に応答するための動作識別子を高速且つ正確に検索可能である。これにより、動作識別子に対応する動作を実行するようにインタラクションオブジェクトを制御して、第１トリガー操作に応答する。

可能な一実施形態において、前記動作識別子には前記インタラクションオブジェクトの肢体動作識別子、及び／又は、前記インタラクションオブジェクトが動作を行う時の表示位置識別子が含まれる。

この実施例では、肢体動作識別子を使用して、インタラクションオブジェクトが応答中に行う具体的な肢体動作を識別してもよく、表示位置識別子を使用して、インタラクションオブジェクトが応答中に表示デバイスの表示領域に表示される位置を識別してもよい。以上の２つの識別子の中の少なくとも１つを使用して、表示中のインタラクションオブジェクトの表示効果が向上できる。

可能な一実施形態において、前記表示デバイスに対する第１トリガー操作を受信することには、
前記表示デバイスの目標アプリケーションプログラムに対する第１トリガー操作を受信すること、あるいは、
前記表示デバイスの目標アプリケーションプログラムの目標機能オプションに対する第１トリガー操作を受信することが含まれ、前記目標機能オプションは前記目標アプリケーションプログラムの表示インターフェースにおける所定表示領域に所在する。

可能な一実施形態において、前記動作識別子には前記インタラクションオブジェクトの肢体動作識別子が含まれる場合、前記動作識別子に対応する動作には、前記インタラクションオブジェクトが前記表示デバイスの目標表示領域を指向する肢体動作が含まれる。

前記動作識別子には前記インタラクションオブジェクトが動作を行う時の表示位置識別子が含まれる場合、前記動作識別子に対応する動作には、前記インタラクションオブジェクトが目標表示位置で行う動作が含まれる。

前記動作識別子には前記肢体動作識別子及び前記表示位置識別子が含まれる場合、前記動作識別子に対応する動作には、前記インタラクションオブジェクトが目標表示位置で前記目標表示領域を指向する肢体動作が含まれる。

上記の実施形態では、インタラクションオブジェクトの肢体動作識別子は、指向性の動作識別子であってもよく、例えば、具体的な領域を指向するものである。このように、ユーザは、インタラクション過程中にインタラクションオブジェクトが応答している具体的な内容を高速に承知し、インタラクション過程は、より現実的且つスムーズになる。及び／又は、インタラクションオブジェクトの表示位置識別子は、インタラクションオブジェクトが目標表示位置で行う指向性動作又は他の動作を識別してもよい。このように、ユーザが応答コンテンツを視聴することがべんりになり、存在可能な遮蔽などの問題を回避し、より良いインタラクション効果を達成することができる。

可能な一実施形態において、前記動作識別子に基づいて、応答するように前記表示デバイスに表示されるインタラクションオブジェクトを制御することには、
前記動作識別子に対応する駆動データを取得することと、
前記駆動データを使用して、前記インタラクションオブジェクトの表示画面をレンダリングし、前記表示画面には、前記インタラクションオブジェクトが肢体動作識別子に対応する肢体動作を行う画面内容と、前記インタラクションオブジェクトが表示位置識別子に対応する目標表示位置で前記肢体動作識別子に対応する肢体動作を行う画面内容との中の任意の１つが含まれることと、
前記インタラクションオブジェクトの表示画面を表示するように前記表示デバイスを制御することと、が含まれる。

可能な一実施形態において、前記インタラクションオブジェクトの表示画面を表示するように前記表示デバイスを制御することには、
目標アプリケーションプログラムの表示インターフェースの背景レイヤ上に、前記インタラクションオブジェクトの表示画面を表示するように前記表示デバイスを制御することが含まれ、前記表示インターフェースは前記背景レイヤの上に所在する。

上記の実施形態では、目標アプリケーションプログラム及びインタラクションオブジェクトの表示画面を階層的に処理することにより、両者がそれぞれに応答することができ、インタラクションオブジェクトの応答過程と目標アプリケーションプログラムの実行との間で発生可能な衝突を回避することができる。

可能な一実施形態において、前記方法は、さらに、
前記第１トリガー操作に対応する応答データを取得することと、
前記応答データの中の音声データを再生し、及び／又は、前記表示デバイスのインターフェースに前記応答データのプロンプトボックスを表示するように、前記表示デバイスを制御することと、を含む。

上記の実施形態では、インタラクションオブジェクトの動作識別子に関する応答に限定されず、音声の再生、又は、プロンプトボックスの表示などの態様で応答を達成してもよく、応答データの表示態様を多様化し、インタラクション体験を向上させる。

第2態様において、本発明の実施例は、表示デバイス及びサーバを含むインタラクションシステムを提供する。

前記表示デバイスは、表示デバイスに対する第１トリガー操作を取得して前記第１トリガー操作を前記サーバに送信し、且つ前記サーバの指示に基づいて、応答するように前記表示デバイスに表示されるインタラクションオブジェクトを制御するために用いられる。

前記サーバは、前記第１トリガー操作を受信し、前記第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得し、前記動作識別子に基づいて、応答するように前記インタラクションオブジェクトを制御することを前記表示デバイスに指示するために用いられ、前記応答には前記インタラクションオブジェクトの動作識別子に対応する動作が含まれる。

第３態様において、本発明の実施例は、インタラクションデバイスを提供する。前記デバイスは、
表示デバイスに対する第１トリガー操作を受信する受信モジュールと、
前記第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得する取得モジュールと、
前記動作識別子に基づいて、前記インタラクションオブジェクトの動作識別子に対応する動作が含まれる応答をするように前記表示デバイスに表示されるインタラクションオブジェクトを制御する制御モジュールと、を有する。

可能な一実施形態において、前記取得モジュールは、前記第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得する際に、
前記表示デバイスのトリガー操作と前記インタラクションオブジェクトの動作識別子との間の予め設定されたマッピング関係に基づいて、前記第１トリガー操作に対応する前記動作識別子を取得することが含まれる。

可能な一実施形態において、前記取得モジュールは、前記第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得する際に、
前記第１トリガー操作に応答するための応答データを取得し、
前記表示デバイスのトリガー操作に対する応答データと前記インタラクションオブジェクトの動作識別子との間の予め設定されたマッピング関係に基づいて、前記第１トリガー操作に応答するための応答データに対応する前記動作識別子を取得する。

可能な一実施形態において、前記応答データにはテキストデータが含まれ、前記予め設定されたマッピング関係には前記テキストデータにおけるキーテキストデータと動作識別子との間の予め設定されたマッピング関係が含まれる。

可能な一実施形態において、前記動作識別子には前記インタラクションオブジェクトの肢体動作識別子、及び／又は、前記インタラクションオブジェクトが動作を行う時の表示位置識別子が含まれる。

可能な一実施形態において、前記受信モジュールは、表示デバイスに対する第１トリガー操作を受信する際に、
前記表示デバイスの目標アプリケーションプログラムに対する第１トリガー操作を受信し、あるいは、
前記表示デバイスの目標アプリケーションプログラムの目標機能オプションに対する第１トリガー操作を受信することが含まれ、前記目標機能オプションは前記目標アプリケーションプログラムの表示インターフェースにおける所定表示領域に所在する。

可能な一実施形態において、前記動作識別子には前記インタラクションオブジェクトの肢体動作識別子が含まれる場合、前記動作識別子に対応する動作には、前記インタラクションオブジェクトが前記表示デバイスの目標表示領域を指向する肢体動作が含まれる。

前記動作識別子には前記インタラクションオブジェクトが動作を行う時の表示位置識別子が含まれる場合、前記動作識別子に対応する動作には、前記インタラクションオブジェクトが目標表示位置で行う動作が含まれる。

前記動作識別子に前記肢体動作識別子及び前記表示位置識別子が含まれる場合、前記動作識別子に対応する動作には、前記インタラクションオブジェクトが目標表示位置で前記目標表示領域を指向する肢体動作が含まれる。

前記目標表示領域は、前記所定表示領域、又は、前記所定表示領域に関連する表示領域である。

可能な一実施形態において、前記制御モジュールは、前記動作識別子に基づいて、応答するように前記表示デバイスに表示されるインタラクションオブジェクトを制御するために用いられる際には、
前記動作識別子に対応する駆動データを取得することと、
前記駆動データを使用して、前記インタラクションオブジェクトの表示画面をレンダリングし、前記表示画面には、前記インタラクションオブジェクトが肢体動作識別子に対応する肢体動作を行う画面内容と、前記インタラクションオブジェクトが表示位置識別子に対応する目標表示位置で前記肢体動作識別子に対応する肢体動作を行う画面内容との中の任意の１つが含まれることと、
前記インタラクションオブジェクトの表示画面を表示するように前記表示デバイスを制御することと、が含まれる。

可能な一実施形態において、前記制御モジュールは、前記インタラクションオブジェクトの表示画面を表示するように前記表示デバイスを制御するために用いられる際には、
目標アプリケーションプログラムの表示インターフェースの背景レイヤ上に、前記インタラクションオブジェクトの表示画面を表示するように前記表示デバイスを制御することが含まれ、前記表示インターフェースは前記背景レイヤの上に所在する。

可能な一実施形態において、前記制御モジュールは、さらに、前記第１トリガー操作に対応する応答データを取得し、
前記応答データの中の音声データを再生し、及び／又は、前記表示デバイスのインターフェースに前記応答データのプロンプトボックスを表示するように、前記表示デバイスを制御する。

第４態様において、本発明の実施例において、プロセッサ、メモリ及びバスを有する電子デバイスを提供する。前記メモリには前記プロセッサの実行可能な機械可読命令が格納され、電子デバイスが実行されるとき、前記プロセッサと前記メモリとはバスを介して通信し、前記機械可読命令が前記プロセッサによって実行されるとき、前記プロセッサは、第１態様に記載のインタラクション方法を実施する。

第５態様において、本発明の実施例は、コンピュータプログラムを記憶するコンピュータ可読記憶媒体を提供し、当該コンピュータプログラムがプロセッサによって実行されるとき、前記プロセッサは第１態様に記載の前記インタラクション方法を実施する。

上記本発明の目的、特徴及び利点は、添付した図面を参照して説明される以下の好ましい実施例の説明から容易に了解されるであろう。

本発明の実施例で提供される表示デバイスの模式図である。 本発明の実施例で提供されるインタラクション方法のフローチャートである。 本発明の実施例で提供される第１トリガー操作に基づく応答過程の模式的なフローチャートである。 本発明の実施例で提供される他の第１トリガー操作に基づく応答過程の模式的なフローチャートである。 本発明の実施例で提供される第１のインタラクションオブジェクトの応答内容を表示する表示インターフェースの模式図である。 本発明の実施例で提供される第２のインタラクションオブジェクトの応答内容を表示する表示インターフェースの模式図である。 本発明の実施例で提供される第３のインタラクションオブジェクトの応答内容を表示する表示インターフェースの模式図である。 本発明の実施例で提供される表示インターフェースの９グリッドの模式図である。 本発明の実施例で提供されるインタラクションオブジェクトのインターフェースの模式図である。 本発明の実施例で提供される他のインタラクションオブジェクトのインターフェースの模式図である。 本発明の実施例で提供される応答するように表示デバイスに表示されるインタラクションオブジェクトを制御する具体的な処理の模式的なフローチャートである。 本発明の実施例で提供されるインタラクションオブジェクトの表示画面の模式図である。 本発明の実施例で提供されるインタラクションシステムの構造模式図である。 本発明の実施例で提供されるインタラクション装置の構造模式図である。 本発明の実施例で提供される電子デバイスの構造模式図である。

以下、本発明の実施例の目的、特徴及び利点をより明瞭させるように、本発明の実施例における図面を結びつけて、本発明の実施例を明瞭かつ完全に記述する。明らかに、記述される実施例は、ただ本発明の一部の実施例であり、全部の実施例ではない。通常、添付の図面に記載及び図示されている本発明の実施例の構成要素は、様々な異なる構成で配置および設計されることができる。したがって、以下の添付の図面に提供される本発明の実施例の詳細な説明は、本発明の保護範囲を限定することを意図するものではなく、ただ本発明で選択された実施例である。本発明の実施例に基づいて、創造的な作業なしで得られる他のすべての実施例は本発明の保護範囲である。

本発明における「および／または」という用語は、事項の関係を表すものであり、例えば、「Ａおよび／またはＢ」が、「Ａだけがあり、ＡとＢの両方があり、 Ｂだけがあり」という３つの状況を表すことができる。さらに、本発明における「少なくとも１つ」という用語は、複数のうちいずれか１つ又は少なくとも２つの任意の組み合わせを意味し、例えば、Ａ、Ｂ、Ｃのうち少なくとも１つを含む場合、Ａ、Ｂ、Ｃの集合からいずれか１つ又は複数の要素を選択してもよい。

本発明の少なくとも１つの実施例は、インタラクション方法を提供する。当該インタラクション方法は、表示デバイスやサーバなどの電子デバイスによって実行され、表示デバイスは、例えば、端末デバイスであり、端末デバイスは、固定型端末やモバイル端末、例えば、携帯電話、タブレット、ゲーム機、デスクトップパソコン、広告機、車載端末、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）機器、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）機器などである。サーバは、ローカルサーバやクラウドサーバなどを含む。本発明は、表示デバイス及びサーバの具体的な形式に限定しない。

本発明の実施例において、インタラクションオブジェクトを表示デバイスに表示し、インタラクションオブジェクトは、目標対象とインタラクションできる任意のインタラクションオブジェクトであってもよく、例えば、仮想キャラクター、仮想動物、仮想品物、漫画キャラクターなどのようなインタラクション機能が実現できる仮想画像であり、仮想画像の表示態様は、２次元の態様であってもよく、３次元の態様であってもよい。本発明は、これに限定しない。目標対象は、人間やロボットや他の知能デバイスであってもよい。インタラクションオブジェクトと目標対象との間のインタラクションは、能動的なインタラクションであってもよく、受動的なインタラクションであってもよい。例示的に、目標対象は、ジェスチャーや肢体動作を行うことによって要求を提出し、能動的なインタラクション態様でインタラクションオブジェクトとのインタラクションをトリガーする。他の例示において、インタラクションオブジェクトは、積極的に挨拶し、動作するように目標対象を提示するなどによって、目標対象に受動的にインタラクションオブジェクトとインタラクションさせる。

幾つかの実施例において、図１は、本発明の少なくとも一実施例に提出される表示デバイスを図示する。当該表示デバイスは、透明ディスプレイスクリーンを有する表示デバイスであり、透明ディスプレイスクリーンに立体画面を表示可能であって、立体効果があるインタラクションオブジェクトを表示する。例えば、図１において、透明ディスプレイスクリーンに表示されるインタラクションオブジェクトは、仮想漫画キャラクターである。

幾つかの実施例において、表示デバイスは、携帯電話やタブレットなどのモバイル端末であってもよく、モバイル端末にはインタラクションオブジェクトを表示できるアプリケーションプログラム（Ａｐｐｌｉｃａｔｉｏｎ、ＡＰＰ）がインストールされてもよく、これらのアプリケーションプログラムは、例えば、インタラクションオブジェクトとユーザとの間のインタラクションを実現する専用アプリケーションプログラムであってもよく、又は、インタラクションオブジェクトのインタラクション機能を実現するソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）が構成される汎用アプリケーションプログラムであってもよい。例えば、銀行ＡＰＰには、インタラクションオブジェクトのインタラクション能力を実現するＳＤＫが埋め込まれ、銀行ＡＰＰが実行される場合、要求に基づいてインタラクションオブジェクトを呼び出し、ユーザとの間のインタラクションを実現することができる。

例示的に、上記表示デバイスは、プロセッサとプロセッサによって実行されるコンピュータ命令を格納するためのメモリとを有し、プロセッサは、コンピュータ命令を実行して本発明に提供されるインタラクション方法を実現して、透明ディスプレイスクリーンに表示されるインタラクションオブジェクトに目標対象に応答させる。

本発明の実施例に、インタラクションオブジェクトがユーザのトリガー操作に応答できる形態を提出する。インタラクションオブジェクトは、擬人化の動作でユーザに応答して、インタラクションの過程がよりスムーズになり、インタラクション体験が効果的に向上できる。例示的に、本発明の実施例は、インタラクションオブジェクトが表示デバイスの機能を紹介する場面にも応用でき、文字理解能力が弱いか、文字ガイド情報を読む時間がないユーザ群に対して、高速に必要な情報を取得することに役立つ。

以下では、具体的なの実施例を参照して本発明を詳細に説明する。

図２は、本発明の実施例で提供されるインタラクション方法のフローチャートである。図２に示すように、前記インタラクション方法は、ステップ２０１～ステップ２０３を含む。

ステップ２０１では、表示デバイスに対する第１トリガー操作を受信する。

ステップ２０２では、第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得する。

ステップ２０３では、動作識別子に基づいて、応答をするように表示デバイスに表示されるインタラクションオブジェクトを制御し、応答にはインタラクションオブジェクトの動作識別子に対応する動作が含まれる。

幾つかの実施例において、上記インタラクション方法は、表示デバイスにより実行されてもよく、即ち、ローカルで第１トリガー操作に対する応答が実行されてもよい。上記インタラクション方法は、サーバにより実行されてもよく、即ち、サーバは、第１トリガー操作に応答するためのデータを取得し、応答するように表示デバイスのインタラクションオブジェクトを指示する。

上記インタラクション方法は、表示デバイスにより実行される場合、ステップ２０１で表示デバイスに対する第１トリガー操作を受信し、表示デバイスによって第１トリガー操作があるかどうかを検出することができる。例えば、表示デバイスのディスプレイスクリーンにタッチ操作があるかどうかを検出することにより、第１トリガー操作があるかどうかを特定したり、あるいは、表示デバイスにより収集された画像中に設定のユーザ顔表情やユーザ肢体動作があるかどうかを検出することにより、第１トリガー操作があるかどうかを特定したり、あるいは、表示デバイスにより収集された音声指示を検出することにより、第１トリガー操作があるかどうかを特定する。具体的な検出方法は、表示デバイスに構成されたセンサなどの検出機能により構成されてもよく、本発明はこれに限定しない。

上記インタラクション方法は、サーバによって実行される場合、表示デバイスは、検出した第１トリガー操作をサーバに送信し、サーバは、第１トリガー操作に応答するための様々なデータを取得し、さらに必要なデータを表示デバイスに送信し、表示デバイスはインタラクションオブジェクトの応答を表示することができる。

幾つかの実施例において、第１トリガー操作は、ある機能やあるデータを提供するように表示デバイスに要求することができる。例示的に、第１トリガー操作は、表示デバイスの目標アプリケーションプログラムに対するトリガー操作であってもよく、例えば、目標アプリケーションプログラムのアイコンのトリガー操作をクリックすることにより、目標アプリケーションプログラムを起動するように表示デバイスに要求し、あるサービスを提供する。また、第１トリガー操作は、表示デバイスの目標アプリケーションプログラムの目標機能オプションに対するトリガー操作であってもよく、例えば、目標アプリケーションプログラムにおける目標機能オプションのトリガー操作をクリックすることにより、目標機能オプションに対応する機能などを起動するように目標アプリケーションプログラムに要求する。トリガー操作の具体的な態様は、上記のように、表示デバイスに対する接触操作であってもよく、非接触操作であってもよく、例えば、あるジェスチャーなどの動作や音声の入力などであってもよい。

本発明の実施例において、直に第１トリガー操作に応答してもよく、第１トリガー操作に対応する応答データを取得した後、応答してもよい。以下では、具体的な２つの実施フローを例として、第１トリガー操作に基づく応答過程を説明する。

図３は、本発明の実施例に提供される第１トリガー操作に基づく応答過程の模式的なフローチャートであり、以下のステップを含む。

ステップ３０１、表示デバイスに対する第１トリガー操作を受信する。

ステップ３０２、表示デバイスに対するトリガー操作とインタラクションオブジェクトの動作識別子との間の予め設定されたマッピング関係に基づいて、第１トリガー操作に対応する動作識別子を取得する。

ステップ３０３、動作識別子に基づいて、応答するように表示デバイスに表示されるインタラクションオブジェクトを制御し、応答にはインタラクションオブジェクトの動作識別子に対応する動作が含まれる。

図４は、本発明の実施例に係る他の第１トリガー操作に基づく応答過程のフローの模式図であり、以下のステップを含む。

ステップ４０１、表示デバイスに対する第１トリガー操作を受信する。

ステップ４０２、第１トリガー操作に応答するための応答データを取得する。

ステップ４０３、表示デバイスに対するトリガー操作の応答データとインタラクションオブジェクトの動作識別子との間の予め設定されたマッピング関係に基づいて、第１トリガー操作に応答するための応答データに対応する動作識別子を取得する。

ステップ４０４、動作識別子に基づいて、応答をするように表示デバイスに表示されるインタラクションオブジェクトを制御し、応答にはインタラクションオブジェクトの動作識別子に対応する動作が含まれる。

以上の実施例では、トリガー操作またはトリガー操作の応答データと動作識別子との間の予め設定されたマッピング関係を構成することにより、第１トリガー操作を受信した後、第１トリガー操作に応答するための動作識別子を高速且つ正確に検索可能である。これにより、動作識別子に対応する動作を実行するようにインタラクションオブジェクトを制御して、第１トリガー操作に応答する。

ステップ３０１とステップ４０１に関する説明については、上記の関連部分を参照し、ここでは繰り返し説明しない。

異なるインタラクション場面において、ユーザによる第１トリガー操作で要求される内容は様々であり、第１トリガー操作に応答する内容も多様性があることを考慮するため、簡単なインタラクション場面において、本発明の実施例では、第１トリガー操作とインタラクションオブジェクトの動作識別子との間の予め設定されたマッピング関係を構成してもよく、簡単な例示として、第１トリガー操作はユーザによる挨拶のジェスチャー動作である場合、追加の応答データがなく、直に、第１トリガー操作の挨拶のジェスチャー動作とインタラクションオブジェクトによって応答される挨拶のジェスチャー動作との間のマッピング関係を確立することができる。

複雑なインタラクション場面において、第１トリガー操作に対する応答データとインタラクションオブジェクトの動作識別子との間の予め設定されたマッピング関係を構成してもよい。幾つかの実施形態において、第１トリガー操作によってユーザのインタラクション意図を識別して、インタラクション意図に基づいて、当該インタラクション意図に適合する応答データを検索することができる。応答データは、事前に格納されたものであってもよく、ネットワークを介して他のコンテンツサーバから要求して取得してもよく、本発明はこれに限定しない。

もちろん、具体的な実施例において、第１トリガー操作に応答するためのデータには、動作識別子に加え、応答データも含まれてもよい。応答データには、当該第１トリガー操作に対するインタラクションオブジェクトの応答データ、当該第１トリガー操作に対する表示デバイスにおける目標アプリケーションプログラムの応答データなどが含まれてもよく、これらに限定されない。予め設定されたマッピング関係は、具体的に、第１トリガー操作とインタラクションオブジェクトの動作識別子との間の確立関係であるか、第１トリガー操作に対する応答データとインタラクションオブジェクトの動作識別子との間の確立関係であるか、実際のインタラクション場面の要求に応じて構成され、且つ、同一のインタラクション場面において上記の２つの予め設定されたマッピング関係の構成をサポートすることが可能である。

応答データは、様々な様態があり、可能な一実施形態において、応答データにはテキストデータが含まれる場合、予め設定されたマッピング関係にはテキストデータにおけるキーテキストデータと動作識別子との間の予め設定されたマッピング関係が含まれてもよい。簡単な例示として、第１トリガー操作は、ユーザが目標アプリケーションプログラムの起動を要求するトリガー操作である場合、特に、ユーザが初めて目標アプリケーションプログラムを起動するインタラクション場面において、インタラクションデバイスにより目標アプリケーションプログラムの使用説明を紹介してもよく、応答データは、目標アプリケーションプログラムにおける各機能オプションの使用説明であり、機能オプションはキーテキストデータとして、インタラクションオブジェクトの動作識別子と予め設定されたマッピング関係を確立する。当該インタラクション場面において、インタラクションオブジェクトの動作識別子は、例えば、当該機能オプションを指向する肢体動作の識別子であり、このように、インタラクションオブジェクトの応答内容を表示する過程中に、インタラクションオブジェクトが紹介の各機能オプションを指向する表示効果を表示デバイスのインターフェースに表示することができる。

予め設定されたマッピング関係は、バックグラウンドで事前に設定されたものであってもよく、異なるトリガー操作に対応するインタラクションオブジェクトの特定の応答態様を記録するためであってもよい。特定の応答態様は、特定動作識別子によって識別されてもよい。例えば、第１トリガー操作が目標アプリケーションプログラムの起動を要求するトリガー操作である場合、特定動作識別子は、目標アプリケーションプログラムを起動した後にインタラクションオブジェクトが挨拶する動作、または、インタラクションオブジェクトが目標アプリケーションプログラムの使用説明を紹介する過程中に使用説明に関する各機能オプションを指向する動作を識別可能である。もちろん、具体的な実施例において、予め設定されたマッピング関係は、深層学習アルゴリズムに基づいて繰り返し学習して得られてもよい。このように、第１トリガー操作、または、第１トリガー操作に対する応答データを受信した後、深層学習モデルを利用して、マッピングされたインタラクションオブジェクトの動作識別子を予測することができる。

幾つかの実施例において、予め設定されたマッピング関係において、第１トリガー操作または第１トリガー操作に対する応答データに対応する動作識別子は、１つ以上である。つまり、１つの第１トリガー操作は、１つの動作識別子にマッピングされてもよく、少なくとも２つの動作識別子にマッピングされてもよい。このように、インタラクションオブジェクトは、応答時に１つの動作識別子に対応する特定動作を行ってもよく、少なくとも２つの動作識別子に対応する一連の特定動作を行ってもよい。少なくとも２つの動作識別子にマッピングされた場合、少なくとも２つの動作識別子は、配列関係を有することができ、例えば、実行のタイムスタンプを追加するなどの手段で、実行順にしたがって少なくとも２つの動作識別子の配列関係を構成する。

インタラクションオブジェクトの動作識別子は、インタラクションオブジェクトによって行われる特定動作を識別するために用いられ、インタラクションオブジェクトによる応答過程中に、動作識別子に対応する動作をすることができる。幾つかの実施例において、動作識別子には、インタラクションオブジェクトの肢体動作識別子、及び／又は、インタラクションオブジェクトの動作中の表示位置識別子が含まれる。肢体動作識別子を使用して、インタラクションオブジェクトが応答中に行う具体的な肢体動作を識別してもよく、表示位置識別子を使用して、インタラクションオブジェクトが応答中に表示デバイスの表示領域に表示される位置を識別してもよい。以上の２つの識別子の中の少なくとも１つを使用して、表示中のインタラクションオブジェクトの表示効果が向上できる。

肢体動作識別子は、インタラクションオブジェクトの特定の肢体動作を識別するためである。特定肢体動は、インタラクションオブジェクトの頭部の動作であってもよく、インタラクションオブジェクトの胴体の動作であってもよく、頭部の動作には顔表情動作を含んでもよい。表示位置識別子は、インタラクションオブジェクトが動作を行う時の特定表示位置を識別するためである。特定表示位置は、表示デバイスのインターフェースの特定表示位置であり、当該特定表示位置では、ユーザが応答内容を視聴することに役立つし、存在可能な遮蔽などの問題を回避することで、より良いインタラクション効果を達成することができる。

幾つかの実施例において、動作識別子にインタラクションオブジェクトの肢体動作識別子が含まれる場合、動作識別子に対応する動作には、インタラクションオブジェクトが表示デバイスの目標表示領域を指向する肢体動作が含まれ、これに限定されない。インタラクションオブジェクトの指向性の肢体動作は、表示デバイスのインターフェースの関連機能を説明する場面に応用でき、例示的に、目標アプリケーションプログラムの特定の機能を紹介する場面に応用できる。当該場面において、受信された第１トリガー操作は、表示デバイスの目標アプリケーションプログラムに対するトリガー操作であってもよく、表示デバイスの目標アプリケーションプログラムの目標機能オプションに対するトリガー操作であってもよい。指向性の動作識別子を使用して、ユーザは、インタラクション過程中にインタラクションオブジェクトが応答している具体的な内容を高速に承知し、インタラクション過程は、より現実的且つスムーズになる。及び／又は、インタラクションオブジェクトの表示位置識別子を使用して、指向性又は他の動作を行う時の位置を識別してもよい。このように、ユーザが応答コンテンツを視聴することがべんりになり、存在可能な遮蔽などの問題を回避し、より良いインタラクション効果を達成することができる。

以下、異なる動作識別子の構成の場合の可能なインタラクション過程を幾つか挙げる。

例１におけて、動作識別子にはインタラクションオブジェクトの肢体動作識別子が含まれる場合、動作識別子に対応する動作には、インタラクションオブジェクトが表示デバイスの目標表示領域を指向する肢体動作が含まれる。１つ可能のインタラクション過程は、以下の通りである。

表示デバイスの目標アプリケーションプログラムに対する第１トリガー操作を受信した後、当該第１トリガー操作に対応する応答データを取得し、応答データには目標アプリケーションプログラムの機能紹介のテキストデータが含まれ、さらに、応答データとインタラクションオブジェクトの動作識別子との間の予め設定されたマッピング関係に基づいて、テキストデータにおけるキーテキストデータに対応するインタラクションオブジェクトの動作識別子を取得可能である。キーテキストデータは、例えば、目標アプリケーションプログラムの特定機能を説明するテキストデータであり、例えば、目標アプリケーションプログラムの第１機能を説明するテキストデータであり、第１機能の機能オプションは、目標アプリケーションプログラムの表示インターフェースの所定表示領域にある。ユーザが当該第１機能の位置を高速に見つけ、且つ当該第１機能の操作説明に慣れることを容易にするために、インタラクションオブジェクトの動作識別子は、当該第１機能が所在する所定表示領域を指向するように構成される。このように、インタラクションオブジェクトの動作識別子に基づいて、インタラクションオブジェクトの応答内容を表示するように表示デバイスを制御し、応答内容には、第１機能が所在する所定表示領域を指向する動作が含まれてもよい。もちろん、応答内容には、他の形式の内容が含まれてもよく、例えば、音声の返信や提示内容の表示などが含まれてもよく、本発明はこれに限定しない。インタラクションオブジェクトの応答内容を表示している表示インターフェースの一例を示す図５を参照すると、インタラクションオブジェクトの応答内容には「マイクロフォン」機能を指向する動作が含まれ、且つ、マイクロフォンに対応する操作説明を表示している。

例２において、動作識別子には、インタラクションオブジェクトが動作を行う時の表示位置識別子が含まれる場合に、動作識別子に対応する動作には、目標表示位置でインタラクションオブジェクトによって行われる動作が含まれる。１つ可能のインタラクション過程は、以下の通りである。

目標アプリケーションプログラムの目標機能オプションに対する第１トリガー操作を受信した後、第１トリガー操作に対応する応答データを取得し、応答データには目標機能オプションの機能に関連するデータが含まれ、さらに、トリガー操作とインタラクションオブジェクトの動作識別子との間のマッピング関係に基づいて、第１トリガー操作に対応するインタラクションオブジェクトの動作識別子を取得する。ユーザが目標機能オプションの機能を高速に理解するために、インタラクションオブジェクトに目標表示位置で当該目標機能オプションの機能を紹介する動作を行わせることができる。このように、インタラクションオブジェクトの動作識別子に基づいて、インタラクションオブジェクトによる応答内容を表示するように表示デバイスを制御し、応答内容には、目標表示位置でインタラクションオブジェクトによって行われる動作が含まれる。インタラクションオブジェクトの応答内容を表示している表示インターフェースの一例を示す図６を参照すると、目標機能オプションは、例えば、目標アプリケーションプログラムにおける送金オプションの送金機能であり、目標アプリケーションプログラムは、送金表示インターフェースに移行した後、インタラクションオブジェクトによる応答内容を表示し、ユーザがインタラクションオブジェクトによる応答内容を視聴することを容易にするために、インタラクションオブジェクトの動作識別子には表示位置識別子が構成されてもよく、そしてインタラクションオブジェクトが送金操作領域の左下の目標表示位置で送金に関する機能を紹介するに役立つ。

例示３において、動作識別子には肢体動作識別子及び表示位置識別子が含まれる場合、動作識別子に対応する動作には、インタラクションオブジェクトが目標表示位置で目標表示領域を指向する肢体動作が含まれる。１つ可能のインタラクション過程は、以下の通りである。

例示１に説明されたインタラクション過程に基づいて、インタラクションオブジェクトの表示位置識別子と応答データとの間の予め設定されたマッピング関係の構成を追加してもよい。このように、インタラクションオブジェクトの肢体動作識別子及び表示位置識別子に基づいて、インタラクションオブジェクトによる応答内容を表示するように表示デバイスを制御し、応答内容には、インタラクションオブジェクトが表示位置識別子に対応する目標表示位置で肢体動作識別子に対応する肢体動作を行うことが含まれる。インタラクションオブジェクトの応答内容を表示している表示インターフェースの一例を示す図５及び図７を引き続き参照すると、インタラクションオブジェクトによる応答内容には、表示位置識別子に対応する目標表示位置「Ｂ」で、「マイクロフォン」機能を指向する動作が含まれ、且つ、対応するマイクロフォンの操作説明が表示されている。表示インターフェースの「Ａ」、「Ｂ」、「Ｃ」の位置マークは、例示的な説明に過ぎず、且つ、理解しやすいように表示インターフェースに表記され、実際応用過程において「Ａ」、「Ｂ」、「Ｃ」を表示する必要がない。

以上の提供された例示１から例３において、インタラクションオブジェクトが指向する目標表示領域は、トリガーされた目標機能オプションが所在する所定表示領域であってもよく、トリガーされた目標アプリケーションプログラムに関連する表示領域であってもよく、またトリガーされた目標機能オプションに関連する表示領域であってもよい。同様に、目標表示位置は、トリガーされた目標機能オプション及びトリガーされた目標アプリケーションプログラムに基づいて特定されてもよい。

説明すべきことは、実際の応用で、具体的なインタラクション要求に基づいて、予め設定されたマッピング関係における肢体動作識別子及び表示位置識別子を構成してもよく、本発明はこれに限定しない。

理解を容易にするために、以下、図５及び図７に示す上記例示１及び例示３のインタラクション場面を結び付けて、予め設定されたマッピング関係の具体的な構成方法を例示する。

図８を参照すると、目標アプリケーションプログラムの表示インターフェースを９グリッドに分割し、９グリッドには「左上」、「上」、「右上」、「左」、「中」、「右」、「左下」、「下」、「右下」という９つの表示領域が含まれる。各表示領域には、目標アプリケーションプログラムの各機能オプションが含まれる。

インタラクションオブジェクトに応答の時に対応の機能オプションを指向させるように、インタラクションオブジェクトの肢体動作識別子には、図９及び図１０に示された「左上」、「左」、「左下」、「右上」、「右」、「右下」という６つの肢体動作が含まれ、インタラクションオブジェクトの表示位置識別子には、「Ａ」、「Ｂ」、「Ｃ」という３つの表示位置が含まれる。

予め設定されたマッピング関係を構成する際に、第１トリガー操作によってトリガーされた目標アプリケーションプログラムの目標機能オプションが、「左上」、「左」、「左下」、「右上」、「右」、「右下」の６つの表示領域のうちのいずれか１つに所在する場合、第１トリガー操作または第１トリガー操作に対する応答データとマッピング関係がある表示位置識別子は、「Ｂ」であってもよく、第１トリガー操作または第１トリガー操作に対する応答データとマッピング関係がある肢体動作識別子は「左上」、「左」、「左下」、「右上」、「右」、「右下」のうちのいずれか１つであってもよく、具体的にどの肢体動作識別子を選択するかはトリガーされた目標機能オプションが所在する表示領域によって特定される。例えば、トリガーされた目標機能オプションが所在する表示領域が「左上」である場合、肢体動作識別子は「右上」と選択してもよい。

第１トリガー操作によってトリガーされた目標アプリケーションプログラムの目標機能オプションは、「上」、「中」、「下」の３つの表示領域のうちのいずれか１つに所在する場合、第１トリガー操作または第１トリガー操作に対する応答データとマッピング関係がある表示位置識別子は「Ａ」または「Ｃ」であり、第１トリガー操作または第１トリガー操作に対する応答データとマッピング関係がある肢体動作識別子は「左上」、「左」、「左下」、「右上」、「右」、「右下」のうちのいずれか１つであり、具体的にどの肢体動作識別子を選択するかはトリガーされた目標機能オプションが所在する表示領域によって特定される。例えば、トリガーされた目標機能オプションが所在する表示領域は「上」であり、表示位置識別子は「Ａ」である場合、肢体動作識別子は「左上」と選択してもよく、または、トリガーされた目標機能オプションが所在する表示領域は「上」であり、表示位置識別子は「Ｃ」である場合、肢体動作識別子は「右上」と選択してもよい。

応答データはテキストデータであり、且つ、予め設定されたマッピング関係はキーテキストとインタラクションオブジェクトの動作識別子との間のマッピング関係である場合、キーテキストは、例えば、上記目標機能オプションが所在する表示領域を説明するためのテキストであってもよく、直に、「上方の」、「右上の」、「下方の」のような明確な方位情報を有するテキストを、キーテキストとして使用してもよい。もちろん、目標機能オプションの名称をキーテキストとして使用してもよく、目標機能オプションの名称には、当該目標機能オプションが所在する表示領域が予め記録されている。

以上は本発明の実施形態の実現可能な方式の例示に過ぎない。実際の応用において、実際のインタラクション要求に基づいて、予め設定されたマッピング関係を適宜に構成でき、本発明はこれに限定しない。

図２から図４に示されるインタラクション方法の実施フローを参照し続けると、ステップ２０３、ステップ３０３及びステップ４０４に示すように、動作識別子に基づいて、応答するように表示デバイスに表示されるインタラクションオブジェクトを制御する具体的な処理フローは、図１１を参照でき、以下のステップを含む。

ステップ４０４１では、動作識別子に対応する駆動データを取得する。

幾つかの実施例において、駆動データは、インタラクションオブジェクトの表示状態を調整するためであり、インタラクションオブジェクトは、仮想画像として、そのバックグラウンドが記録するのはインタラクションオブジェクトの３Ｄモデルまたは２Ｄモデルであり、駆動データを使用して３Ｄモデルまたは２Ｄモデルにおける関連部位のパラメータを調整して、さらにインタラクションオブジェクトの表示状態が変更できる。関連部位には、頭部、肢体の各関節部位、顔表情などが含まれるが、これらに限定されない。動作識別子を取得した後、動作識別子は、インタラクションオブジェクトにより表示すべき表示状態を反映することができるため、動作識別子に対応する駆動データが取得できる。本発明の実施例が表示デバイスに応用される場合、駆動データは、ローカルデータベースに格納されてもよく、クラウドデータベースに格納されてもよい。本発明の実施例がサーバに応用される場合、駆動データは、サーバ自身のストレージに格納されてもよく、他の業務関連サーバに格納されてもよく、本発明はこれに限定しない。

ステップ４０４２では、駆動データを使用して、インタラクションオブジェクトの表示画面をレンダリングする。

幾つかの実施例において、駆動データを取得した後、内蔵されたレンダリングツールを使用してインタラクションオブジェクトの表示画面がレンダリングできる。具体的なレンダリングツールは、本発明に限定されない。

以上の実施例の説明を結び付けて、表示画面には、インタラクションオブジェクトが肢体動作識別子に対応する肢体動作を行う画面内容と、インタラクションオブジェクトが表示位置識別子に対応する目標表示位置で肢体動作識別子に対応する肢体動作を行う画面内容のうちいずれか１つ画面内容が含まれる。関連の画面内容の例示は、図５から図７が参照できる。

ステップ４０４３では、インタラクションオブジェクトの表示画面を表示するように、表示デバイスを制御する。

本発明の実施例が表示デバイスに応用される場合、表示画面は、ローカルレンダリングの完了の後に、直接に表示デバイスに表示されてもよく、本発明の実施例がサーバに応用される場合、レンダリング完了の表示画面はサーバにより表示デバイスに送信され、後で表示デバイスにより表示される。

なお、以上の実施例において、応答データには、当該第１トリガー操作に対するインタラクションオブジェクトの応答データと、当該第１トリガー操作に対する表示デバイスにおける目標アプリケーションプログラムの応答データなどが含まれ、これに限定されない。

例示的に、第１トリガー操作に対応する応答データを取得して、さらに応答データの音声データを再生し、及び／又は、表示デバイスのインターフェースに応答データのプロンプトボックスを表示することなどのように、表示デバイスを制御することができ、本発明はこれに限定しない。上記の実施形態において、インタラクションオブジェクトの動作識別子に関する応答に限定されず、音声の再生、又は、プロンプトボックスの表示などの態様で応答を達成してもよく、応答データの表示態様を多様化し、インタラクション体験を向上させる。

インタラクションオブジェクトの表示画面を表示デバイスに表示する場合、インタラクションオブジェクトの表示画面が目標アプリケーションプログラムの表示インターフェースに表示されている場合、目標アプリケーションプログラムの応答内容の層レベルは、インタラクションオブジェクトによる応答内容の層レベルの上にある。目標アプリケーションプログラム及びインタラクションオブジェクトの表示画面を階層的に処理することにより、両者がそれぞれに応答することができ、インタラクションオブジェクトの応答過程と目標アプリケーションプログラムの実行との間で発生可能な衝突を回避することができる。例示的に、インタラクションオブジェクトによる応答内容を目標アプリケーションプログラムの背景レイヤに構成でき、このように、目標アプリケーションプログラムの表示インターフェースの背景レイヤにインタラクションオブジェクトの表示画面を表示するように表示デバイスを制御し、表示インターフェースは、背景レイヤの上に所在する。その表示効果は、図１２を参照してもよく、インタラクションオブジェクトの表示画面が背景レイヤにあり、背景レイヤの上に目標アプリケーションプログラムの応答内容を表示することができる。

幾つかの実施例において、インタラクションオブジェクトの駆動データを使用してインタラクションオブジェクトの表示画面をレンダリングする過程中に、インタラクションオブジェクトによって表示された効果がより現実的にするために、本発明の実施例は、駆動データの駆動モードを識別し、駆動モードに応答して、駆動データに基づいて、インタラクションオブジェクトの制御パラメータを取得し、制御パラメータに基づいて、インタラクションオブジェクトの姿勢を制御する。

例示的に、駆動データの種類に基づいて、駆動データに対応する音声データシーケンスを取得し、音声データシーケンスには、複数の音声データユニットが含まれる。前記音声データユニットに目標データが含まれることが検出された場合、前記駆動データの駆動モードは第１駆動モードであると特定し、目標データは、インタラクシ-ョンオブジェクトの所定制御パラメータに対応している。そして、第１駆動モードに応答して、目標データに対応する所定制御パラメータを、前記インタラクションオブジェクトの制御パラメータとする。目標データには、キーワードまたはキー文字が含まれ、キーワードまたはキー文字はインタラクションオブジェクトの設定動作の所定制御パラメータに対応する。

音声データユニットに目標データが含まれることが検出されない場合、駆動データの駆動モードは第２駆動モードであると特定する。そして、第２駆動モードに応答して、音声データシーケンスのうち少なくとも１つの音声データユニットの特徴情報を取得し、特徴情報に対応するインタラクションオブジェクトの制御パラメータを取得する。

上記音声データシーケンスには、音素シーケンスが含まれる。前記音声データシーケンスのうち少なくとも１つの音声データユニットの特徴情報を取得する際に、前記音素シーケンスに対応する第１コードシーケンスを取得するために、前記音素シーケンスに対して特徴コードを行い、第１コードシーケンスに基づいて、少なくとも１つの音素に対応する特徴コードを取得し、特徴コードに基づいて、少なくとも１つの音素の特徴情報を取得する。

上記音声データシーケンスには、さらに音声フレームシーケンスが含まれてもよい。前記音声データシーケンスのうち少なくとも１つの音声データユニットの特徴情報を取得する際に、また前記音声フレームシーケンスに対応する第１音響（ａｃｏｕｓｔｉｃ）特徴シーケンスを取得してもよく、前記第１音響特徴シーケンスには前記音声フレームシーケンスの各音声フレームに対応する音響特徴ベクトルが含まれる。前記第１音響特徴シーケンスに基づいて、少なくとも１つの音声フレームに対応する音響特徴ベクトルを取得する。前記音響特徴ベクトルに基づいて、前記少なくとも１つの音声フレームに対応する特徴情報を取得する。

上記インタラクションオブジェクトの制御パラメータには、前記インタラクションオブジェクトの少なくとも１つの局所領域の制御ベクトルが含まれる。例示的に、上記の特徴情報をリカレントニューラルネットワークに入力して、特徴情報に対応するインタラクションオブジェクトの制御パラメータが取得できる。上記の前記の駆動データに基づいて前記インタラクションオブジェクトの制御パラメータを取得することには、前記駆動データに基づいてインタラクションオブジェクトの少なくとも１つの局所領域の制御ベクトルを取得することが含まれる。制御パラメータ基づいてインタラクションオブジェクトの姿勢を制御することには、取得された前記少なくとも１つの局所領域の制御ベクトルに基づいて前記インタラクションオブジェクトの顔動作及び／又は肢体動作を制御することが含まれる。

もちろん、具体的な実施例において、他の駆動モードが含まれてもよく、本発明はこれに限定しない。

図１３を参照すると、本発明の実施例は、表示デバイス１３０１と、サーバ１３０２を含むインタラクションシステムを提供する。

表示デバイス１３０１は、表示デバイス１３０１に対する第１トリガー操作を取得し、第１トリガー操作をサーバ１３０２に送信し、サーバ１３０２の指示に基づいて、応答するように表示デバイスに表示されるインタラクションオブジェクトを制御する。

サーバ１３０２は、第１トリガー操作を受信し、第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得し、動作識別子に基づいて、インタラクションオブジェクトを制御して応答するように表示デバイス１３０１を指示し、応答にはインタラクションオブジェクトの動作識別子に対応する動作が含まれる。

例示的に、当該インタラクションシステムにおいて、表示デバイス１３０１は、第１トリガー操作を検出し、さらにサーバ１３０２に応答データを要求する。相応に、サーバは、予め設定されたマッピング関係を予め格納したデータベースから、第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得し、さらに当該動作識別子に基づいて、対応するインタラクションオブジェクトの駆動データを取得する。

幾つかの実施例において、サーバ１３０２は、レンダリングツールによって駆動データをインタラクションオブジェクトの動画としてレンダリングされた後、直接的にレンダリングされた結果を表示デバイス１３０１に送信する。表示デバイス１３０１は、レンダリングされた結果を表示して、インタラクションオブジェクトが第１トリガー操作に応答する擬人化効果を表示する。

他の幾つかの実施例では、サーバ１３０２は、駆動データを表示デバイス１３０１に送信して、表示デバイス１３０１は、内蔵されたレンダリングツールによって駆動データをレンダリングし、さらにレンダリングされた結果を表示して、インタラクションオブジェクトの第１トリガー操作に応答する擬人化効果を表示する。

当該インタラクションシステムのサーバ１３０２は、主な計算能力を提供する。このように、表示デバイス１３０１は、ローカルで多すぎの処理データを構成する必要がなく、表示デバイス１３０１の処理プレッシャーが軽減できる。

当該インタラクションシステムにおける表示デバイス１３０１とサーバ１３０２との間のデータ処理フローにより、インタラクションオブジェクトはユーザのトリガー操作を応答することが実現できる。インタラクションオブジェクトは、擬人化の動作でユーザに応答して、インタラクション過程がよりスムーズになり、インタラクション体験が効果的に向上できる。

図１４を参照すると、本発明の実施例は、受信モジュール１４０１と、取得モジュール１４０２と、制御モジュール１４０３を含むインタラクション装置１４００を提供する。

受信モジュール１４０１は、表示デバイスに対する第１トリガー操作を受信する。

取得モジュール１４０２は、第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得する。

制御モジュール１４０３は、動作識別子に基づいて、応答するように表示デバイスに表示されるインタラクションオブジェクトを制御し、応答にはインタラクションオブジェクトの動作識別子に対応する動作が含まれる。

可能な一実施形態において、取得モジュール１４０２は第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得する際には、
表示デバイスに対するトリガー操作とインタラクションオブジェクトの動作識別子との間の予め設定されたマッピング関係に基づいて、第１トリガー操作に対応する動作識別子を取得することが含まれる。

可能な一実施形態において、取得モジュール１４０２は第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得する際には、
第１トリガー操作に応答するための応答データを取得することと、
表示デバイスのトリガー操作に対する応答データとインタラクションオブジェクトの動作識別子との間の予め設定されたマッピング関係に基づいて、第１トリガー操作に応答するための応答データに対応する動作識別子を取得することと、が含まれる。

可能な一実施形態において、応答データにはテキストデータが含まれ、予め設定されたマッピング関係にはテキストデータにおけるキーテキストデータと動作識別子との間の予め設定されたマッピング関係が含まれる。

可能な一実施形態において、動作識別子には、インタラクションオブジェクトの肢体動作識別子、及び／又は、インタラクションオブジェクトが動作を行う時の表示位置識別子が含まれる。

可能な一実施形態において、受信モジュール１４０１は、表示デバイスに対する第１トリガー操作を受信する際に、
表示デバイスの目標アプリケーションプログラムに対する第１トリガー操作を受信し、あるいは、
表示デバイスの目標アプリケーションプログラムの目標機能オプションに対する第１トリガー操作を受信し、目標機能オプションが目標アプリケーションプログラムの表示インターフェースの所定表示領域に所在する。

可能な一実施形態において、動作識別子にインタラクションオブジェクトの肢体動作識別子が含まれる場合、動作識別子に対応する動作には、インタラクションオブジェクトが表示デバイスの目標表示領域を指向する肢体動作が含まれる。

動作識別子にはインタラクションオブジェクトが動作を行う時の表示位置識別子が含まれる場合に、動作識別子に対応する動作には、目標表示位置でインタラクションオブジェクトによって行われる動作が含まれる。

動作識別子には肢体動作識別子及び表示位置識別子が含まれる場合、動作識別子に対応する動作には、インタラクションオブジェクトが目標表示位置で目標表示領域を指向する肢体動作が含まれる。

目標表示領域は、所定表示領域、又は、所定表示領域に関連する表示領域である。

可能な一実施形態において、制御モジュール１４０３は動作識別子に基づいて、応答するように表示デバイスに表示されるインタラクションオブジェクトを制御する際には、
動作識別子に対応する駆動データを取得することと、
駆動データを使用して、インタラクションオブジェクトの表示画面をレンダリングし、表示画面には、インタラクションオブジェクトが肢体動作識別子に対応する肢体動作を行う画面内容と、インタラクションオブジェクトが表示位置識別子に対応する目標表示位置で肢体動作識別子に対応する肢体動作を行う画面内容のうちいずれか１つが含まれることと、
インタラクションオブジェクトの表示画面を表示するように表示デバイスを制御することと、が含まれる。

可能な一実施形態において、制御モジュール１４０３はインタラクションオブジェクトの表示画面を表示するように表示デバイスを制御する際には、
制御表示デバイスは、目標アプリケーションプログラムの表示インターフェースの背景レイヤにインタラクションオブジェクトの表示画面を表示するように表示デバイスを制御し、表示インターフェースは、背景レイヤの上に所在することが含まれる。

可能な一実施形態において、制御モジュール１４０３は、さらに、
第１トリガー操作に対応する応答データを取得し、
応答データの音声データを再生し、及び／又は、表示デバイスのインターフェースに応答データのプロンプトボックスを表示することなどのように、表示デバイスを制御する。

図２に提供されるインタラクション方法フローを参照すると、本発明の実施例は、さらに、電子デバイス１５００を提供する。図１５は、本発明の実施例に提供される電子デバイス１５００の構造模式図である。図１５に示すように、電子デバイス１５００には、プロセッサ１５０１、メモリ１５０２及びバス１５０３が含まれる。メモリ１５０２には、プロセッサ１５０１によって実行可能な機械可読命令（例えば、図１４の装置における受信モジュール１４０１、取得モジュール１４０２、制御モジュール１４０３に対応する実行命令など）が格納される。電子デバイス１５００の運行中、プロセッサ１５０１とメモリ１５０２との間はバス１５０３を介して通信し、機械可読命令がプロセッサ１５０１によって実行される際に、プロセッサ１５０１は、表示デバイスに対する第１トリガー操作を受信することと、第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得することと、動作識別子に基づいて、応答するように表示デバイスに表示されるインタラクションオブジェクトを制御することと、を実行し、応答にはインタラクションオブジェクトの動作識別子に対応する動作が含まれる。

本発明の実施例で、コンピュータプログラムを記憶するコンピュータ可読記憶媒体を提供する。当該コンピュータプログラムがプロセッサによって実行される時、当該プロセッサは上記方法実施例に述べられた前記のインタラクション方法が実施される。当該記憶媒体は、揮発性、又は、不揮発性のコンピュータ可読記憶媒体である。

本発明の実施例に係るインタラクション方法のコンピュータプログラム製品は、プログラムコードを記憶しているコンピュータ可読記憶媒体を含む。前記プログラムコードに含まれている命令は、前述の方法の実施例における前記のインタラクション方法を実施するためのものである。前述の方法の実施形態を参照して、ここで繰り返し説明しない。

本発明の実施例は、コンピュータプログラムを提供する。当該コンピュータプログラムは、プロセッサによって実行される時、当該プロセッサに前述実施例のいずれかの方法を実現させる。当該コンピュータプログラム製品は、具体的に、ハードウェア、ソフトウェア、またはそれらの組み合わせで実現される。１つのオプションの実施例において、前記コンピュータプログラム製品は、コンピュータ記憶媒体として具体化される。他の１つのオプションの実施例において、コンピュータプログラム製品は、ソフトウェア製品、例えば、フトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）などとして具体化される。

本発明の実施例に提供されるインタラクション方法、インタラクションシステム、装置、デバイス及びコンピュータプログラムは、インタラクションオブジェクトがユーザのトリガー操作に応答するインタラクション技術を提出し、第１トリガー操作に対応する動作識別子を使用して、擬人化の動作でユーザに応答するようにインタラクションオブジェクトを制御し、且つ応答には動作識別子に対応する動作が含まれる。これにより、インタラクション過程がより現実的かつスムーズになり、インタラクション体験が効果的に向上できる。例示的に、本発明の実施例に提供されるインタラクション技術は、インタラクションオブジェクトが表示デバイスの機能を紹介する場面にも応用でき、文字理解能力が弱いか、文字ガイド情報を読む時間がないユーザ群に対して、高速に必要な情報を取得することに役立つ。もちろん、本発明の実施例に提供されるインタラクション技術は、インタラクション要求がある他の場面にも応用でき、本発明には具体的に限定しな
い。

当業者は、上記のシステムおよび装置の具体的な作業過程は、方法の実施例での過程を参考することができ、記述の便宜及び簡潔化のために、ここでは繰り返して説明しないことを明確に理解することができる。本発明によって提供される実施例で開示されるシステム、装置、および、方法は、その他の方式によって実現できることを理解すべきである。上記の装置の実施例は、単に模式的なものである。たとえば、前記ユニットの分割は、論理機能の分割に過ぎず、実際の実装では、他の分割方法があり得、また、たとえば、複数のユニットまたは構成要素は、組み合わされたり、別のシステムに統合されたり、一部の特徴が忽略されたり実行されなかったりする場合がある。さらに、上記の表示または議論された互いに結合または直接結合または通信接続は、いくつかの通信インターフェース、デバイスまたはユニットの間接結合または通信を介して接続することができ、電気的、機械的または他の形態であり得る。

前記の分離部品として説明されたユニットは、物理的に分離されている場合と物理的に分離されていない場合があり、ユニットとして表示される部品は、物理ユニットである場合とそうでない場合がある。1つの場所に配置されることも、複数のネットワークユニットに分散させることもできる。ユニットのいくつかまたはすべては、本開示の実施例の解決策の目的を達成するための実際の必要性に従って選択され得る。

また、本発明の各実施例での各機能ユニットは、１つの処理ユニットに統合され得るか、または各ユニットが物理的に単独で存在し得るか、または少なくとも２つのユニットが１つのユニットに統合され得る。

前記機能がソフトウェア機能ユニットの形で実装され、独立した製品として販売または使用される場合、１つのプロセッサによって実行可能な不揮発性のコンピュータ可読取記録媒体に格納されることができる。このような理解に基づいて、本発明の実施例は、本質的にソフトウェア製品の形態で具体化されるか、あるいは、本発明の実施例の全部または部分はソフトウェア製品の形態で具体化されることができる。当該コンピュータソフトウェア製品は、記録媒体に格納され、パーソナルコンピュータ、サーバ、またはネットワークデバイスなどのコンピュータデバイスに、以下の様々な実施形態に記載された方法のステップのすべてのまたは一部を実行させるためのいくつかの命令を含む。前述した記録媒体は、Ｕディスク、移動ハードディスク、読み取り専用メモリ（Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスクまたは光学ディスクなどの、プログラムコードを格納できる様々な媒体を含む。

最後に説明すべきは、上記の実施例は、本発明の具体的な実施形態にすぎず、本発明を説明するために使用されるが、それを限定されず、本発明の保護範囲はそれに限定されない。本発明は、前述の実施例を参照して詳細に説明されたが、本発明に開示された技術範囲内で、本技術分野に精通している当業者は、依然として上述の実施例に記載の技術内容を修正したり、変化を容易に思いつき、または一部の技術特徴を均等に置換したりすることができることと、これらの修正、変化または差替えは、対応する技術内容の本質を本発明の精神および範囲から離脱させなく、本発明の保護範囲内に含まれるべきであることと、を当業者は理解すべきである。したがって、本発明の保護範囲は、本発明の特許請求の範囲を基準とすべきである。

Claims (20)

1. 表示デバイスに対する第１トリガー操作を受信することと、
   前記第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得することと、
   前記動作識別子に基づいて、前記インタラクションオブジェクトの動作識別子に対応する動作が含まれる応答をするように前記表示デバイスに表示されるインタラクションオブジェクトを制御することと、を含む
   ことを特徴とするインタラクション方法。
2. 前記第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得することには、
   前記表示デバイスに対するトリガー操作と前記インタラクションオブジェクトの動作識別子との間の予め設定されたマッピング関係に基づいて、前記第１トリガー操作に対応する前記動作識別子を取得することが含まれる
   ことを特徴とする請求項１に記載のインタラクション方法。
3. 前記第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得することには、
   前記第１トリガー操作に応答するための応答データを取得することと、
   前記表示デバイスに対するトリガー操作の応答データと前記インタラクションオブジェクトの動作識別子との間の予め設定されたマッピング関係に基づいて、前記第１トリガー操作に応答するための応答データに対応する前記動作識別子を取得することと、が含まれる
   ことを特徴とする請求項１に記載のインタラクション方法。
4. 前記応答データにはテキストデータが含まれ、前記予め設定されたマッピング関係には前記テキストデータにおけるキーテキストデータと動作識別子との間の予め設定されたマッピング関係が含まれる
   ことを特徴とする請求項３に記載のインタラクション方法。
5. 前記動作識別子には前記インタラクションオブジェクトの肢体動作識別子、及び／又は、前記インタラクションオブジェクトが動作を行う時の表示位置識別子が含まれる
   ことを特徴とする請求項１から４のいずれか１項に記載のインタラクション方法。
6. 前記表示デバイスに対する第１トリガー操作を受信することには、
   前記表示デバイスの目標アプリケーションプログラムに対する第１トリガー操作を受信すること、あるいは、
   前記表示デバイスの目標アプリケーションプログラムの目標機能オプションに対する第１トリガー操作を受信することが含まれ、
   前記目標機能オプションは前記目標アプリケーションプログラムの表示インターフェースにおける所定表示領域に所在する
   ことを特徴とする請求項１から５のいずれか１項に記載のインタラクション方法。
7. 前記動作識別子には前記インタラクションオブジェクトの肢体動作識別子が含まれる場合、前記動作識別子に対応する動作には、前記インタラクションオブジェクトが前記表示デバイスの目標表示領域を指向する肢体動作が含まれ、
   前記動作識別子には前記インタラクションオブジェクトが動作を行う時の表示位置識別子が含まれる場合、前記動作識別子に対応する動作には、前記インタラクションオブジェクトが目標表示位置で行う動作が含まれ、
   前記動作識別子には前記肢体動作識別子及び前記表示位置識別子が含まれる場合、前記動作識別子に対応する動作には、前記インタラクションオブジェクトが目標表示位置で前記目標表示領域を指向する肢体動作が含まれる
   ことを特徴とする請求項５に記載のインタラクション方法。
8. 前記動作識別子に基づいて、応答するように前記表示デバイスに表示されるインタラクションオブジェクトを制御することには、
   前記動作識別子に対応する駆動データを取得することと、
   前記駆動データを使用して、前記インタラクションオブジェクトの表示画面をレンダリングし、前記表示画面には、前記インタラクションオブジェクトが肢体動作識別子に対応する肢体動作を行う画面内容と、前記インタラクションオブジェクトが表示位置識別子に対応する目標表示位置で前記肢体動作識別子に対応する肢体動作を行う画面内容との中の任意の１つが含まれることと、
   前記インタラクションオブジェクトの表示画面を表示するように前記表示デバイスを制御することと、が含まれる
   ことを特徴とする請求項１から７のいずれかの１項に記載のインタラクション方法。
9. 前記インタラクションオブジェクトの表示画面を表示するように前記表示デバイスを制御することには、
   目標アプリケーションプログラムの表示インターフェースの背景レイヤ上に、前記インタラクションオブジェクトの表示画面を表示するように前記表示デバイスを制御することが含まれ、
   前記表示インターフェースは前記背景レイヤの上に所在する
   ことを特徴とする請求項８に記載のインタラクション方法。
10. 前記インタラクション方法は、さらに、
    前記第１トリガー操作に対応する応答データを取得することと、
    前記応答データの中の音声データを再生し、及び／又は、前記表示デバイスのインターフェースに前記応答データのプロンプトボックスを表示するように、前記表示デバイスを制御することと、を含む
    ことを特徴とする請求項１から９のいずれか１項に記載のインタラクション方法。
11. 表示デバイス及びサーバを含むインタラクションシステムであって、
    前記表示デバイスは、表示デバイスに対する第１トリガー操作を取得して前記第１トリガー操作を前記サーバに送信し、且つ前記サーバの指示に基づいて、応答するように前記表示デバイスに表示されるインタラクションオブジェクトを制御するために用いられ、
    前記サーバは、前記第１トリガー操作を受信し、前記第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得し、前記動作識別子に基づいて、応答するように前記インタラクションオブジェクトを制御することを前記表示デバイスに指示するために用いられ、前記応答には前記インタラクションオブジェクトの動作識別子に対応する動作が含まれる
    ことを特徴とするインタラクションシステム。
12. インタラクション装置であって、
    表示デバイスに対する第１トリガー操作を受信する受信モジュールと、
    前記第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得する取得モジュールと、
    前記動作識別子に基づいて、前記インタラクションオブジェクトの動作識別子に対応する動作が含まれる応答をするように前記表示デバイスに表示されるインタラクションオブジェクトを制御する制御モジュールと、を含む
    ことを特徴とするインタラクション装置。
13. 前記取得モジュールは、前記第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得する際に、
    前記表示デバイスのトリガー操作と前記インタラクションオブジェクトの動作識別子との間の予め設定されたマッピング関係に基づいて、前記第１トリガー操作に対応する前記動作識別子を取得する
    ことを特徴とする請求項１２に記載のインタラクション装置。
14. 前記取得モジュールは、前記第１トリガー操作に応答するためのインタラクションオブジェクトの動作識別子を取得する際に、
    前記第１トリガー操作に応答するための応答データを取得し、
    前記表示デバイスのトリガー操作に対する応答データと前記インタラクションオブジェクトの動作識別子との間の予め設定されたマッピング関係に基づいて、前記第１トリガー操作に応答するための応答データに対応する前記動作識別子を取得する
    ことを特徴とする請求項１２に記載のインタラクション装置。
15. 前記応答データにはテキストデータが含まれ、前記予め設定されたマッピング関係には前記テキストデータにおけるキーテキストデータと動作識別子との間の予め設定されたマッピング関係が含まれる
    ことを特徴とする請求項１４に記載のインタラクション装置。
16. 前記動作識別子には前記インタラクションオブジェクトの肢体動作識別子、及び／又は、前記インタラクションオブジェクトが動作を行う時の表示位置識別子が含まれる
    ことを特徴とする請求項１２から１５のいずれか１項に記載のインタラクション装置。
17. 前記受信モジュールは、表示デバイスに対する第１トリガー操作を受信する際に、
    前記表示デバイスの目標アプリケーションプログラムに対する第１トリガー操作を受信し、あるいは、
    前記表示デバイスの目標アプリケーションプログラムの目標機能オプションに対する第１トリガー操作を受信し、
    前記目標機能オプションは前記目標アプリケーションプログラムの表示インターフェースにおける所定表示領域に所在する
    ことを特徴とする請求項１２から１６のいずれか１項に記載のインタラクション装置。
18. 前記動作識別子には前記インタラクションオブジェクトの肢体動作識別子が含まれる場合、前記動作識別子に対応する動作には、前記インタラクションオブジェクトが前記表示デバイスの目標表示領域を指向する肢体動作が含まれ、
    前記動作識別子には前記インタラクションオブジェクトが動作を行う時の表示位置識別子が含まれる場合、前記動作識別子に対応する動作には、前記インタラクションオブジェクトが目標表示位置で行う動作が含まれ、
    前記動作識別子には、前記肢体動作識別子及び前記表示位置識別子が含まれる場合、前記動作識別子に対応する動作には、前記インタラクションオブジェクトが目標表示位置で前記目標表示領域を指向する肢体動作が含まれる
    ことを特徴とする請求項１６に記載のインタラクション装置。
19. プロセッサ、メモリ及びバスを含む電子デバイスであって、
    前記メモリには、前記プロセッサによって実行される機械可読命令が格納され、電子デバイスが実行されるとき、前記プロセッサと前記メモリとはバスを介して通信し、前記機械可読命令が前記プロセッサによって実行されるとき、前記プロセッサは、請求項１から１０のいずれか１項に記載のインタラクション方法を実施する
    ことを特徴とする電子デバイス。
20. コンピュータプログラムを記憶しているコンピュータ可読記憶媒体であって、
    当該コンピュータプログラムがプロセッサによって実行されるとき、前記プロセッサは、第１態様に記載の前記インタラクション方法を実施する
    ことを特徴とするコンピュータ可読記憶媒体。

Images