デバイスA上のタスクがデバイスB上でアクティブに選択され得ないという上記の問題に加えて、以下の問題が発生する。ハンドオフ機能は、デバイスBがデバイスAで進行中のタスクのみをユーザにプッシュすることを可能にし、従って、ユーザは、デバイスAで現在クローズされているタスクをデバイスBで処理し続けることができない、すなわち、ハンドオフ機能のスケーラビリティが不十分である。これはまた、ユーザの使用の利便性にも影響を与える。これに基づいて、本出願の実施形態は、クロスデバイス・タスク処理のための対話方法を提供して、ユーザによるクロスデバイス・タスク処理の実行の利便性を改善する。
図1は、本出願の一実施形態が適用されるマルチデバイス・システムのアーキテクチャの概略図である。システムは、少なくとも2つの電子デバイスを含み得る。例えば、図1では、マルチデバイス・システムは、デバイス101、デバイス102、及びデバイス103を含む。
本出願の本実施形態における電子デバイスは、携帯電話(mobile phone)、タブレット・コンピュータ(Pad)、パーソナルコンピュータ、仮想現実(virtual reality、VR)端末デバイス、拡張現実(augmented reality、AR)端末デバイス、ウェアラブルデバイス、テレビジョン、車載端末デバイスなどを含むが、これらに限定されない。図1に示す例では、デバイス101は、携帯電話であり、デバイス102は、タブレット・コンピュータ、デバイス103は、テレビジョンである。
本出願の本実施形態における電子デバイスは、入力/出力装置を有して、操作を介してユーザによって入力された操作指示を受信し、ユーザに情報を表示するようにする。入力/出力装置は、複数の独立した装置であってもよい。例えば、入力装置は、キーボード又はマウスであってもよく、出力装置は、ディスプレイであってもよい。入力/出力装置はまた、デバイスに一体化されてもよく、例えば、タッチ・スクリーンであってもよい。入力/出力装置の形式は、本出願において限定されない。
入力/出力装置は、ユーザ・インターフェース(user interface、UI)を表示して、ユーザと対話するようにする。「ユーザ・インターフェース」は、アプリケーション又はオペレーティング・システムとユーザとの間の対話及び情報交換のための媒体インターフェースであり、情報の内部形式とユーザによって受け入れられ得る形式との間の変換を実装する。通常、アプリケーションのユーザ・インターフェースは、Java又は拡張可能なマークアップ言語(extensible markup language、XML)のような特定のコンピュータ言語で書かれたソース・コードである。インターフェース・ソース・コードは、解析され、端末デバイス上にレンダリングされ、ユーザが認識可能なコンテンツ、例えば、ピクチャ、テキスト、又はボタンなどの制御として最終的に提示される。ウィジェット(widget)とも呼ばれる制御(control)は、ユーザ・インターフェースにおける基本的な要素である。典型的な制御は、ツールバー(toolbar)、メニューバー(menu bar)、テキスト・ボックス(text box)、ボタン(button)、スクロールバー(scrollbar)、写真及びテキストを含む。ユーザ・インターフェースにおける制御の属性と内容は、ラベル又はノードによって定義される。たとえば、インターフェースに含まれる制御は、XMLにおける<Textview>、<ImgView>、<VideoView>などのノードによって定義される。1つのノードは、ユーザ・インターフェースにおける1つの制御又は1つの属性に対応する。解析及びレンダリングの後、ノードはユーザが見えるコンテンツとして提示される。追加的に、ハイブリッド・アプリケーション(hybrid applications)のような多くのアプリケーションのユーザ・インターフェースは、通常、ウェブページをさらに含む。ウェブページは、ページとも呼ばれ、アプリケーションのユーザ・インターフェースに埋め込まれた特別な制御として理解されてもよい。ウェブページは、ハイパーテキスト・マークアップ言語(hypertext markup language、HTML)、カスケード・スタイル・シート(cascading style sheet、CSS)、又はジャバスクリプト(JavaScript、JS)などの特定のコンピュータ言語で書かれたソース・コードである。ウェブページ・ソース・コードは、ブラウザ又はブラウザの機能に類似する機能を有するウェブページ表示コンポーネントによって、ユーザが認識可能なコンテンツとしてロードされ、表示されてもよい。ウェブページに含まれる具体的なコンテンツは、ウェブページ・ソース・コードにおけるラベル又はノードを使用することによっても定義される。例えば、HTMLは、<p>、<img>、<video>、又は<canvas>を使用することによって、ウェブページの要素及び属性を定義する。
ユーザ・インターフェースは、通常、グラフィック・ユーザ・インターフェース(graphic user interface、GUI)の表現形式であり、電子デバイスの操作に関連し、かつグラフィック方式で表示されるユーザ・インターフェースである。ユーザ・インターフェースは、ウィンドウのようなインターフェース要素、又は電子デバイスのディスプレイに表示される制御であってよく、制御は、アイコン、ボタン、メニュー、タブ、テキスト・ボックス、ダイアログ・ボックス、ステータス・バー、ナビゲーション・バー、又はウィジェットなどの視覚インターフェース要素を含んでもよい。
以下は、本出願の実施態様において提供される電子デバイス100の一例を記載する。図1のデバイス101、デバイス102、又はデバイス103は、電子デバイス100の構造と同じ又は類似する構造の電子デバイスであってもよい。図2Aは、本出願による電子デバイスの一例の構造の概略図である。
電子デバイス100は、プロセッサ110、外部メモリ・インターフェース120、内部メモリ121、ユニバーサル・シリアル・バス(universal serial bus、USB)ポート130、充電管理モジュール140、電力管理モジュール141、バッテリ142、アンテナ1、アンテナ2、移動通信モジュール150、無線通信モジュール160、オーディオ・モジュール170、スピーカ170A、受信機170B、マイクロホン170C、ヘッドセット・ジャック170D、センサ・モジュール180、ボタン190、モータ191、インジケータ192、カメラ193、ディスプレイ194、加入者識別モジュール(subscriber identity module、SIM)カード・インターフェース195などを含んでもよい。センサ・モジュール180は、圧力センサ180A、ジャイロスコープ・センサ180B、気圧センサ180C、磁気センサ180D、加速度センサ180E、距離センサ180F、光学近接センサ180G、指紋センサ180H、温度センサ180J、タッチ・センサ180K、周辺光センサ180L、骨伝導センサ180Mなどを含んでもよい。
本出願に例示される構造は、電子デバイス100に対する特定の限定を構成しないことが理解されよう。いくつかの他の実施形態では、電子デバイス100は、図に示されているコンポーネントよりも多く、又は少ないコンポーネントを含んでもよいし、いくつかのコンポーネントが組み合わされてもよいし、いくつかのコンポーネントが***されてもよいし、異なるコンポーネント配置が使用されてもよい。図に示すコンポーネントは、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアの組み合わせを介して実装されてもよい。
プロセッサ110は、1つ以上の処理ユニットを含んでもよい。例えば、プロセッサ110は、アプリケーション・プロセッサ(application processor、AP)、モデム・プロセッサ、グラフィック処理ユニット(graphics processing unit、GPU)、画像信号プロセッサ(image signal processor、ISP)、コントローラ、メモリ、ビデオ・コーデック、デジタル信号プロセッサ(digital signal processor、DSP)、ベースバンド・プロセッサ、ニューラルネットワーク処理ユニット(neural-network processing unit、NPU)などを含んでもよい。異なる処理ユニットは、独立したコンポーネントであってもよいし、1つ以上のプロセッサに一体化されてもよい。いくつかの実施形態では、プロセッサ100は、代替的には、1つ以上のプロセッサ110を含んでもよい。
コントローラは、電子デバイス100の神経センター及び指令センターであってもよい。コントローラは、命令操作コード及び時系列信号に基づいて操作制御信号を生成して、命令検出の制御を完了してもよい。
メモリは、プロセッサ110内に配設されてもよく、命令及びデータを記憶するように構成されている。いくつかの実施形態では、プロセッサ110におけるメモリはキャッシュである。メモリは、プロセッサ110によってちょうど使用又は周期的に使用される命令又はデータを記憶してもよい。プロセッサ110が命令又はデータを再度使用する必要がある場合、プロセッサ110は、メモリから命令又はデータを直接呼び出してもよい。これにより、繰り返されるアクセスが回避され、プロセッサ110の待ち時間が短縮され、電子デバイス100の効率が改善されるようにする。
いくつかの実施形態では、プロセッサ110は、1つ以上のインターフェースを含んでもよい。このインターフェースは、集積回路(inter-integrated circuit、I2C)インターフェース、集積回路サウンド(inter-integrated circuit sound、I2S)インターフェース、パルス・コード変調(pulse code modulation、PCM)インターフェース、ユニバーサル非同期受信機/送信機(universal asynchronous receiver/transmitter、UART)インターフェース、モバイル産業用プロセッサ・インターフェース(mobile industry processor interface、MIPI)、汎用入力/出力(general-purpose input/output、GPIO)インターフェース、加入者識別モジュール(subscriber identity module、SIM)、ユニバーサル・シリアル・バス(universal serial bus、USB)などを含んでもよい。
I2Cインターフェースは、シリアル・データ・ライン(serial data line、SDA)及びシリアル・クロック・ライン(serial clock line、SCL)を含む双方向同期シリアル・バスである。いくつかの実施形態では、プロセッサ110は、複数のI2Cバスのグループを含んでもよい。プロセッサ110は、異なるI2Cバス・インターフェースを介して、タッチ・センサ180K、充電器、懐中電灯、カメラ193などに別々に結合されてもよい。例えば、プロセッサ110は、I2Cインターフェースを介してタッチ・センサ180Kに結合されてもよく、プロセッサ110が、I2Cバス・インターフェースを介してタッチ・センサ180Kと通信して、電子デバイス100のタッチ機能を実装するようにする。
I2Sインターフェースは、オーディオ通信を実行するために使用されてもよい。いくつかの実施形態では、プロセッサ110は、複数のI2Sバスのグループを含んでもよい。プロセッサ110は、I2Sバスを介してオーディオ・モジュール170に結合されてもよく、プロセッサ110とオーディオ・モジュール170との間の通信を実装するようにする。いくつかの実施形態では、オーディオ・モジュール170は、I2Sインターフェースを介してオーディオ信号を無線通信モジュール160に送信してもよく、ブルートゥース・ヘッドセットを介して電話に答える機能を実装するようにする。
また、PCMインターフェースは、オーディオ通信、及びアナログ信号のサンプル、量子化、及びコード化を実行するために使用されてもよい。いくつかの実施形態では、オーディオ・モジュール170は、PCMバス・インターフェースを介して無線通信モジュール160に結合されてもよい。いくつかの実施形態では、オーディオ・モジュール170は、代替的には、PCMインターフェースを介してオーディオ信号を無線通信モジュール160に送信してもよく、ブルートゥース・ヘッドセットを介して電話に答える機能を実装するようにする。I2SインターフェースとPCMインターフェースの両方が、オーディオ通信を実行するために使用されてもよい。
UARTインターフェースは汎用シリアル・・データバスであり、非同期通信を実行するために使用される。バスは、双方向通信バスであってもよい。バスは、シリアル通信とパラレル通信との間で送信対象データを切り替える。いくつかの実施形態では、UARTインターフェースは、通常、プロセッサ110を無線通信モジュール160に接続するために使用される。例えば、プロセッサ110は、UARTインターフェースを介して無線通信モジュール160内のブルートゥース・モジュールと通信して、ブルートゥース機能を実装する。いくつかの実施形態では、オーディオ・モジュール170は、代替的には、UARTインターフェースを介してオーディオ信号を無線通信モジュール160に送信してもよく、ブルートゥース・ヘッドセットを介して音楽を再生する機能を実装するようにする。
MIPIインターフェースは、プロセッサ110をディスプレイ194又はカメラ193などの周辺コンポーネントに接続するために使用されてもよい。MIPIインターフェースは、カメラ・シリアル・インターフェース(camera serial interface、CSI)、ディスプレイ・イシリアル・インターフェース(display serial interface、DSI)などを含む。いくつかの実施形態では、プロセッサ110は、CSIインターフェースを介してカメラ193と通信して、電子デバイス100の写真撮影機能を実装する。プロセッサ110は、DSIインターフェースを介してディスプレイ194と通信して、電子デバイス100のディスプレイ機能を実装する。
GPIOインターフェースは、ソフトウェアを使用することによって設定され得る。GPIOインターフェースは、制御信号又はデータ信号として構成されてもよい。いくつかの実施形態では、GPIOインターフェースは、プロセッサ110をカメラ193、ディスプレイ194、無線通信モジュール160、オーディオ・モジュール170、センサ・モジュール180などに接続するように構成されてもよい。GPIOインターフェースは、I2Cインターフェース、I2Sインターフェース、UARTインターフェース、MIPIインターフェースなどとして構成されてもよい。
USBポート130は、USB標準仕様に準拠するポートであり、具体的には、ミニUSBポート、マイクロUSBポート、USBタイプCポートなどであってもよい。USBポート130は、電子デバイス100を充電するために充電器に接続するために使用されてもよいし、電子デバイス100と周辺デバイスとの間でデータを伝送するために使用されてもよいし、ヘッドセットを介してオーディオを再生するためにヘッドセットに接続するために使用されてもよい。ポートは、ARデバイスなどの別の電子デバイスに接続するために使用されてもよい。
本出願に例示されているモジュール間のインターフェース接続関係は、単なる説明のための一例に過ぎず、電子デバイス100の構造に対する限定を構成しないと理解されよう。いくつかの他の実施形態では、電子デバイス100は、代替的には、前述の実施形態とは異なるインターフェース接続方式、又は複数のインターフェース接続方式の組み合わせを使用してもよい。
充電管理モジュール140は、充電器からの充電入力を受信するように構成されている。充電器は、無線充電器又は有線充電器であってもよい。有線充電が使用されるいくつかの実施形態では、充電管理モジュール140は、USBポート130を介して有線充電器から充電入力を受信してもよい。無線充電が使用されるいくつかの実施形態では、充電管理モジュール140は、電子デバイス100の無線充電コイルを介して無線充電入力を受信してもよい。充電管理モジュール140は、バッテリ142を充電しながら、電力管理モジュール141を使用することによって、電力を電子デバイスにさらに供給してもよい。
電力管理モジュール141は、バッテリ142、充電管理モジュール140、及びプロセッサ110に接続するように構成されている。電力管理モジュール141は、バッテリ142からの入力及び/又は充電管理モジュール140の入力を受信し、プロセッサ110、内部メモリ121、外部メモリ、ディスプレイ194、カメラ193、無線通信モジュール160などに電力を供給する。電力管理モジュール141は、バッテリ容量、バッテリ・サイクル数、バッテリ健康状態(漏電及びインピーダンス)などのパラメータを監視するように構成されてもよい。いくつかの他の実装では、電力管理モジュール141は、代替的にプロセッサ110に配設されてもよい。いくつかの他の実施形態では、電力管理モジュール141及び充電管理モジュール140は、代替的に、同じデバイスに配設されてもよい。
電子デバイス100の無線通信機能は、アンテナ1、アンテナ2、移動通信モジュール150、無線通信モジュール160、モデム・プロセッサ、ベースバンド・プロセッサなどを介して実装されてもよい。
アンテナ1及びアンテナ2は、電磁波信号を送信及び受信するように構成されている。電子デバイス100内の各アンテナは、1つ以上の通信周波数帯域をカバーするように構成されてもよい。異なるアンテナが多重化されて、アンテナの利用を改善してもよい。例えば、アンテナ1は、無線ローカル・エリア・ネットワークのダイバーシチ・アンテナとして多重化されてもよい。いくつかの他の実施形態では、アンテナは、チューニング・スイッチと組み合わせて使用されてもよい。
移動通信モジュール150は、2G/3G/4G/5Gなどを含み、かつ電子デバイス100に適用される無線通信ソリューションを提供してもよい。移動通信モジュール150は、少なくとも1つのフィルタ、スイッチ、電力増幅器、低ノイズ増幅器(low noise amplifier、LNA)などを含んでもよい。移動通信モジュール150は、アンテナ1を介して電磁波を受信し、受信した電磁波に対するフィルタリング又は増幅などの処理を実行し、処理した電磁波を復調のためにモデム・プロセッサに伝送してもよい。移動通信モジュール150は、モデム・プロセッサによって変調された信号をさらに増幅し、増幅した信号を放射のためにアンテナ1を介して電磁波に変換してもよい。いくつかの実施形態では、移動通信モジュール150の少なくともいくつかの機能モジュールは、プロセッサ110に配設されてもよい。いくつかの実施形態では、移動通信モジュール150の少なくともいくつかの機能モジュールは、プロセッサ110の少なくともいくつかのモジュールと同じデバイスに配設されてもよい。
モデム・プロセッサは、変調器及び復調器を含むことができる。変調器は、送信対象の低周波ベースバンド信号を中高周波信号に変調するように構成されている。復調器は、受信した電磁波信号を低周波ベースバンド信号に復調するように構成されている。次いで、復調器は、復調を介して取得された低周波ベースバンド信号を処理のためにベースバンド・プロセッサに伝送する。低周波ベースバンド信号は、ベースバンド・プロセッサによって処理され、処理された低周波ベースバンド信号は、アプリケーション・プロセッサに伝送される。アプリケーション・プロセッサは、オーディオ・デバイス(スピーカ170A、受信機170Bなどに限定されない)を使用することによって、音声信号を出力するか、又はディスプレイ194に画像若しくはビデオを表示する。いくつかの実施形態では、モデム・プロセッサは、独立したコンポーネントであってもよい。いくつかの他の実施形態では、モデム・プロセッサは、プロセッサ110から独立していてもよく、移動通信モジュール150又は別の機能モジュールと同じデバイスに配設される。
無線通信モジュール160は、無線ローカル・エリア・ネットワーク(wireless local area networks、WLAN)(例えば、無線フェデリティ(wireless fidelity、Wi-Fi)ネットワーク)、ブルートゥース(Bluetooth、BT)、グローバル・ナビゲーション衛星システム(global navigation satellite system、GNSS)、周波数変調(frequency modulation、FM)、近接場通信(near field communication、NFC)技術、赤外線(infrared、IR)技術などを含み、電子デバイス100に適用される無線通信ソリューションを提供してもよい。無線通信モジュール160は、少なくとも1つの通信プロセッサ・モジュールを一体化する1つ以上のコンポーネントであってもよい。無線通信モジュール160は、アンテナ2を介して電磁波を受信し、電磁波信号に対して周波数変調及びフィルタ処理を実行し、処理した信号をプロセッサ110に送信する。無線通信モジュール160は、さらに、プロセッサ110から送信対象の信号を受信し、その信号に対して周波数変調及び増幅を実行し、処理した信号を放射のためにアンテナ2に介して電磁波に変換してもよい。
いくつかの実施形態では、電子デバイス100では、アンテナ1及び移動通信モジュール150が結合され、アンテナ2及び無線通信モジュール160が結合され、電子デバイス100は、無線通信技術を使用することによって、ネットワーク及び他のデバイスと通信することができる。無線通信技術は、移動通信のためのグローバル・システム(global system for mobile communications、GSM)、一般パケット無線サービス(general packet radio service、GPRS)、符号分割多元接続(code division multiple access、CDMA)、広帯域符号分割多重接続(wideband code division multiple access、WCDMA)、時分割符号分割多重接続(time-division code division multiple access、TD-SCDMA)、ロング・ターム・エボリューション(long term evolution、LTE)、BT、GNSS、WLAN、NFC、FM、IR技術などを含んでもよい。GNSSは、全地球測位システム(global positioning system、GPS)、グローバル・ナビゲーション衛星システム衛星システム(global navigation satellite system、GLONASS)、北斗航法衛星システム(BeiDou navigation satellite system、BDS)、準天頂衛星システム(quasi-zenith satellite system、QZSS)、及び/又は衛星ベース増強システム(satellite based augmentation system、SBAS)を含んでもよい。
いくつかの実施形態では、移動通信モジュール150によって提供される無線通信ソリューションは、電子デバイスがネットワーク内のデバイス(例えば、クラウド・サーバ)と通信することを可能にしてもよく、無線通信モジュール160によって提供される無線LAN無線通信ソリューションも、電子デバイスがネットワーク内のデバイス(例えば、クラウド・サーバ)と通信することを可能にしてもよい。このようにして、電子デバイスは、クラウド・サーバにデータを送信することができる。
電子デバイス100は、ディスプレイ194、アプリケーション・プロセッサなどを使用することによって、ディスプレイ機能を実装してもよい。ディスプレイ194は、制御、情報、画像、ビデオなどを表示するように構成されている。ディスプレイ194は、ディスプレイ・パネルを含む。ディスプレイ・パネルは、液晶ディスプレイ(liquid crystal display、LCD)、有機発光ダイオード(organic light-emitting diode、OLED)、アクティブ・マトリックス有機発光ダイオード(active-matrix organic light emitting diode、AMOLED)、フレキシブル発光ダイオード(flex light-emitting diode、FLED)、ミニLED、マイクロLED、マイクロOLED、量子ドット発光ダイオード(quantum dot light emitting diodes、QLED)などであってもよい。
電子デバイスは、ISP、カメラ193、ビデオ・コーデック、GPU、ディスプレイ194、アプリケーション・プロセッサなどを使用することによって、撮影機能を実装することができる。
ISPは、カメラ193によってフィードバックされたデータを処理するように構成されている。例えば、撮影中にシャッタが押され、レンズを介して光線がカメラの感光体に伝送される。光信号は電気信号に変換される。カメラの感光体は、電気信号を処理のためにISPに伝送し、電気信号を可視画像に変換する。ISPはさらに、画像のノイズ、輝度、及び顔色に関してアルゴリズム最適化を実行してもよい。ISPはさらに、撮影シナリオの露光及び色温度などのパラメータを最適化してもよい。いくつかの実施形態では、ISPは、カメラ193内に配設されてもよい。
カメラ193は、静止画像又はビデオをキャプチャするように構成されている。物体の光学画像は、レンズを通して生成され、感光体に投影される。感光体は、電荷結合素子(charged coupled device、CCD)又は相補型金属酸化物半導体(complementary metal-oxide-semiconductor、CMOS)フォトトランジスタであってもよい。感光体は、光信号を電気信号に変換した後、電気信号をデジタル画像信号に変換するために電気信号をISPに伝送する。ISPは、デジタル画像信号を処理のためにDSPに出力する。DSPは、デジタル画像信号をRGB又はYUVなどの標準フォーマットの画像信号に変換する。いくつかの実施形態では、電子デバイス100は、1つ又はN個のカメラ193を含んでもよく、Nは1よりも大きい正の整数である。
デジタル信号プロセッサは、デジタル信号を処理するように構成されており、デジタル画像信号に加えて別のデジタル信号を処理してもよい。例えば、電子デバイス100が周波数を選択するときに、デジタル信号プロセッサは、周波数エネルギーに対してフーリエ変換を実行するように構成されている。
ビデオ・コーデックは、デジタル・ビデオを圧縮又は解凍するように構成されている。電子デバイス100は、1つ以上のビデオ・コーデックをサポートしてもよい。したがって、電子デバイス100は、複数のコーディング・フォーマット、例えば、動画専門家グループ(moving picture experts group、MPEG)-1、MPEG-2、MPEG-3、及びMPEG-4のビデオを再生又は記録することができる。
NPUは、ニューラルネットワーク(neural-network、NN)計算プロセッサである。NPUは、例えば、ヒト脳ニューロン間の転送モードである、生物学的ニューラルネットワークの構造を参照して入力情報を迅速に処理し、さらに、自己学習を継続的に実行してもよい。NPUは、画像認識、顔認識、音声認識、及びテキスト理解などの電子デバイス100のインテリジェント認知のようなアプリケーションを実装することができる。
外部メモリ・インターフェース120は、外部メモリ・カード、例えばマイクロSDカードに接続して、電子デバイス100の記憶能力を拡張するように構成されてもよい。外部メモリ・カードは、外部メモリ・インターフェース120を介してプロセッサ110と通信し、データ記憶機能を実装する。例えば、音楽、写真、ビデオなどのファイルは外部メモリ・カードに記憶される。
内部メモリ121は、1つ以上のコンピュータ・プログラムを記憶するように構成されてもよく、1つ以上のコンピュータ・プログラムは命令を含む。プロセッサ110は、内部メモリ121に記憶された命令を実行してもよく、電子デバイス100は、本出願のいくつかの実施形態に提供されるメッセージ表示方法、様々な機能アプリケーション、データ処理などを実行するようにする。内部メモリ121は、プログラム記憶領域及びデータ記憶領域を含んでもよい。プログラム記憶領域は、オペレーティング・システムを記憶してもよい。プログラム記憶領域は、さらに、1つ以上のアプリケーション(ギャラリー及びコンタクトなど)などを記憶してもよい。データ記憶領域は、電子デバイス100の使用中に作成されたデータを記憶してもよい。追加的に、内部メモリ121は、高速ランダム・アクセス・メモリを含んでもよいし、不揮発性メモリ、例えば、少なくとも1つの磁気ディスク記憶デバイス、フラッシュ・メモリ、又はユニバーサル・フラッシュ・ストレージ(universal flash torage、UFS)を含んでもよい。
電子デバイス100は、オーディオ・モジュール170、スピーカ170A、受信機170B、マイクロホン170C、ヘッドセット・ジャック170D、アプリケーション・プロセッサなどを使用することによって、オーディオ機能、例えば、音楽の再生及び録音を実装してもよい。
オーディオ・モジュール170は、デジタル・オーディオ情報をアナログ・オーディオ信号出力に変換するように構成されており、また、アナログ・オーディオ入力をデジタル・オーディオ信号に変換するように構成されている。オーディオ・モジュール170は、オーディオ信号をコード化及び復号するように構成されてもよい。いくつかの実施形態では、オーディオ・モジュール170は、プロセッサ110に配設されてもよいし、オーディオ・モジュール170のいくつかの機能モジュールは、プロセッサ110に配設される。
スピーカ170Aは、「ラウドスピーカ」とも呼ばれ、オーディオ電気信号を音声信号に変換するように構成されている。電子デバイス100は、スピーカ170Aを使用することによって、音楽を聞くか、又はハンズフリー通話に応答してもよい。
受信機170Bは、「イヤピース」とも呼ばれ、オーディオ電気信号を音声信号に変換するように構成されている。電子デバイスを使用することによって、電話に出るか、オーディオ情報を聞くときに、受信機170Bは、人間の耳の近くに置かれて声を受信してもよい。
「mike」又は「mic」とも呼ばれるマイクロホン170Cは、音声信号を電気信号に変換するように構成されている。ユーザが発呼や声情報を送信するときに、ユーザは、ユーザの口を介してマイクロホン170Cの近くで音声を発して、音声信号をマイクロホン170Cに入力してもよい。少なくとも1つのマイクロホン170Cが、電子デバイス内に配設されてもよい。いくつかの他の実施形態では、2つのマイクロホン170Cが電子デバイス100内に配設されて、音声信号を収集することに加えて、ノイズ低減機能を実装してもよい。いくつかの他の実施形態では、3つ、4つ、又はそれ以上のマイクロホン170Cが代替的に電子デバイス100内に配設されて、音声信号を収集し、ノイズ低減を実装し、音源を識別して、方向性記録機能などを実装してもよい。
ヘッドセット・ジャック170Dは、有線ヘッドセットに接続するように構成されている。ヘッドセット・ジャック170Dは、USBポート130であってもよいし、3.5mmのオープン移動端末プラットフォーム(open mobile terminal platform、OMTP)標準インターフェース、又は米国のセルラー電気通信業界協会(cellular telecommunications industry association of the USA、CTIA)標準インターフェースであってもよい。
圧力センサ180Aは、圧力信号を感知するように構成されており、圧力信号を電気信号に変換することができる。いくつかの実施形態では、圧力センサ180Aは、ディスプレイ194に配設されてもよい。多くのタイプの圧力センサ180A、例えば、抵抗圧力センサ、誘導圧力センサ、及び容量性圧力センサがある。容量性圧力センサは、導電性材料で作製された少なくとも2つの平行プレートを含んでもよい。圧力センサ180Aに力が加えられると、電極間のキャパシタンスが変化する。電子デバイス100は、キャパシタンスの変化に基づいて圧力強度を決定する。タッチ操作がディスプレイ194で実行されるときに、電子デバイスは圧力センサ180Aを使用することによってタッチ操作の強度を検出する。電子デバイス100はまた、圧力センサ180Aの検出信号に基づいてタッチ位置を計算してもよい。いくつかの実施形態では、同じタッチ場所で実行されるが、異なるタッチ操作強度を有するタッチ操作は、異なる操作命令に対応してもよい。例えば、「メッセージ」のアイコンに対して、タッチ操作の強度が第1の圧力閾値よりも小さいタッチ操作が実行されるときに、SMSメッセージを閲覧するための命令が実行される。メッセージのアイコンに対して、タッチ操作の強度が第1の圧力閾値以上であるタッチ操作が実行されるときに、SMSメッセージを作製するための命令が実行される。
ジャイロスコープ・センサ180Bは、電子デバイス100の運動姿勢を決定するように構成されてもよい。いくつかの実施形態では、3つの軸(すなわち、軸x、y、及びz)を中心とする電子デバイス100の角速度が、ジャイロスコープ・センサ180Bを使用することによって決定されてもよい。ジャイロスコープ・センサ180Bは、撮影中に手ぶれ補正を実装するように構成されてもよい。例えば、シャッタが押されるときに、ジャイロスコープ・センサ180Bは、電子デバイス100がジッタを発生させる角度を検出し、レンズモジュールが補償する必要がある距離を角度に基づいた計算を介して取得し、レンズが、反転運動を介して電子デバイス100のジッタを相殺して、手ぶれ補償を実装することを可能にする。ジャイロスコープ・センサ180Bは、ナビゲーション・シナリオ及び運動感知ゲーム・シナリオにおいて使用されてもよい。
気圧センサ180Cは、気圧を測定するように構成されている。いくつかの実施形態では、電子デバイス100は、気圧センサ180Cによって測定された気圧値に基づいて高度を計算して、位置決め及びナビゲーションを支援する。
磁気センサ180Dは、ホール効果センサを含む。電子デバイスは、磁気センサ180Dを使用することによって、フリップ・カバーの開閉を検出してもよい。いくつかの実施形態では、電子デバイス100がフリップ・フォンであるときに、電子デバイス100は、磁気センサ180Dを使用することによって、フリップ・カバーの開閉を検出してもよい。さらに、フリップ・カバーの開閉時の自動ロック解除のような特徴は、フリップ・カバーの検出された開閉状態に基づいてセットされる。
加速度センサ180Eは、電子デバイス100の様々な方向(通常は3軸)における加速度を検出してもよい。電子デバイス100が静止しているときに、重力の大きさ及び方向が検出されてもよい。加速度センサ180Eは、電子デバイスの姿勢を識別するように構成されてもよく、ランドスケープ・モードとポートレート・モード又は歩数計との間の切り替えのようなアプリケーションにおいて使用される。
距離センサ180Fは、距離を測定するように構成されている。電子デバイス100は、距離を赤外線方式又はレーザ方式で測定してもよい。いくつかの実施形態では、撮影シナリオにおいて、電子デバイスは、距離センサ180Fを使用することによって距離を測定して、高速フォーカシングを実装してもよい。
光学近接センサ180Gは、例えば、発光ダイオード(LED)及びフォトダイオードのような光学検出器を含んでもよい。発光ダイオードは、赤外線発光ダイオードであってもよい。電子デバイス100は、発光ダイオードを使用することによって赤外線を放出する。電子デバイス100は、近くの物体からの赤外線反射光を、フォトダイオードを使用することによって検出する。十分な反射光が検出されるときに、電子デバイス100は、電子デバイス100の近くに物体があると決定してもよい。不十分な反射光が検出されるときに、電子デバイス100は、電子デバイス100の近くに物体がないと決定してもよい。電子デバイス100は、光学近接センサ180Gを使用することによって、ユーザが電子デバイス100を通話のために耳の近くに保持していることを検出して、電力節約のためにスクリーンを自動的にオフにしてもよい。光学近接センサ180Gはまた、スクリーンを自動的にロック解除又はロックするためにレザー・ケース・モード又はポケット・モードで使用されてもよい。
周辺光センサ180Lは、周辺光の輝度を感知するように構成されている。電子デバイス100は、感知された周辺光の明るさに基づいてディスプレイ194の明るさを適応的に調整してもよい。また、周辺光センサ180Lは、撮影中にホワイト・バランスを自動的に調整するように構成されてもよい。また、周辺光センサ180Lは、電子デバイス100がポケット内にあるかどうかを検出するために、光学近接センサ180Gと協働してもよい。
指紋センサ180Hは、指紋を収集するように構成されている。電子デバイス100は、収集した指紋の特徴を使用して、指紋ベースのロック解除、アプリケーション・ロック・アクセス、指紋ベースの撮影、指紋ベースの呼応答などを実装してもよい。
温度センサ180Jは、温度を検出するように構成されている。いくつかの実施形態では、電子デバイス100は、温度センサ180Jによって検出された温度に基づいて温度処理方針を実行する。例えば、温度センサ180Jによって報告された温度が閾値を超えるときに、電子デバイス100は、温度センサ180Jの近くのプロセッサの実行を劣化させて、熱保護のために電力消費を低減する。いくつかの他の実施形態では、温度が別の閾値よりも小さいときに、電子デバイス100は、低温により電子デバイス100が異常にシャットダウンされるのを防止するために、バッテリ142を発熱させる。いくつかの他の実施形態では、温度が別の閾値よりも小さいときに、電子デバイス100は、低温により電子デバイス100が異常にシャットダウンされるのを防止するために、バッテリ142の出力電圧をブーストする。
タッチ・センサ180Kは、タッチ・パネル又はタッチ・センシティブ表面とも呼ばれ得る。タッチ・センサ180Kは、ディスプレイ194に配設されてもよく、タッチ・センサ180K及びディスプレイ194は、「タッチ・スクリーン」とも呼ばれるタッチ・スクリーンを構成する。タッチ・センサ180Kは、タッチ・センサ180Kで又はその近くで実行されるタッチ操作を検出するように構成されている。タッチ・センサは、タッチ・イベントのタイプを決定するために、検出したタッチ操作をアプリケーション・プロセッサに転送してもよい。タッチ操作に関連する視覚出力は、ディスプレイ194上に提供されてもよい。いくつかの他の実施形態では、タッチ・センサ180Kは、代替的に、ディスプレイ194とは異なる場所において電子デバイス100の表面に配設されてもよい。
骨伝導センサ180Mは、振動信号を取得してもよい。いくつかの実施形態では、骨伝導センサ180Mは、ヒト声帯部の振動骨の振動信号を取得してもよい。骨伝導センサ180Mはまた、血圧脈動信号を受信するために、ヒトパルスと連絡を取ってもよい。いくつかの実施形態では、骨伝導センサ180Mは、代替的に、骨伝導ヘッドセットを形成するためにヘッドセットに配設されてもよい。オーディオ・モジュール170は、声帯部分の振動骨のものであって、骨伝導センサ180Mによって取得される振動信号に基づいた解析を介して声信号を取得してもよい。アプリケーション・プロセッサは、骨伝導センサ180Mによって取得された血圧脈動信号に基づいて心拍数情報を解析して、心拍数検出機能を実装してもよい。
ボタン190は、電源ボタン、音量ボタンなどを含む。ボタン190は、機械的なボタンであってもよいし、又はタッチボタンであってもよい。電子デバイス100は、ボタン入力を受信し、電子デバイス100のユーザ・セッティング及び機能的制御に関連するボタン信号入力を生成してもよい。
モータ191は、振動プロンプトを生成してもよい。モータ191は、着呼振動プロンプト及びタッチ振動フィードバックを生成るように構成されてもよい。例えば、異なるアプリケーション(例えば、撮影アプリケーション及びオーディオ再生アプリケーション)に対して実行されるタッチ操作は、異なる振動フィードバック効果に対応してもよい。モータ191はまた、ディスプレイ194の異なる領域で実行されるタッチ操作に対する異なる振動フィードバック効果に対応してもよい。異なるアプリケーション・シナリオ(例えば、時間リマインド、情報受信、目覚まし時計、及びゲーム)はまた、異なる振動フィードバック効果に対応してもよい。タッチ振動フィードバック効果は、カスタマイズされてもよい。
インジケータ192は、インジケータ・ライトであってもよく、充電状態及び電力変化を示すように構成されてもよいし、メッセージ、不在着信、通知などを示すように構成されてもよい。
SIMカード・インターフェース195は、SIMカードに接続するように使用される。SIMカードは、SIMカード・インターフェース195に挿入されるか、又はSIMカード・インターフェース195から取り外されて、電子デバイス100との接触又は電子デバイスからの分離を実装してもよい。電子デバイス100は、1つ又はN個のSIMカード・インターフェースをサポートしてもよく、Nは1よりも大きい正の整数である。SIMカード・インターフェース195は、ナノSIMカード、マイクロSIMカード、SIMカードなどをサポートしてもよい。複数のカードが同じSIMカード・インターフェース195に同時に挿入されてもよい。複数のカードは、同じタイプのものであっても、異なるタイプのものであってもよい。SIMカード・インターフェース195は、異なるタイプのSIMカードと互換性があってもよい。SIMカード・インターフェース195はまた、外部記憶カードと互換性がある。電子デバイスは、SIMカードを介してネットワークと対話し、通話やデータ通信などの機能を実装する。いくつかの実施形態では、電子デバイス100は、eSIM、すなわち、埋め込み型SIMカードを使用する。eSIMカードは、電子デバイス100に埋め込まれていてもよく、電子デバイス100から分離することができない。
図2Aに示す電子デバイス100の例では、ディスプレイ194、タッチ・センサ180K、ボタン190などが、入力/出力装置として使用されてもよい。電子デバイス100は、ディスプレイ194に、以下の実施形態に記載のユーザ・インターフェース、例えば、マルチタスク管理インターフェース及び他のアプリケーションのインターフェースを表示してもよい。電子デバイス100は、タッチ・センサ180Kを使用することによってユーザ・インターフェースにおけるユーザの操作、例えば、ユーザ・インターフェース内のタップ、ドラッグ、上にスライド、又は下にスライドを検出して、ユーザによって入力された操作命令するようにしてもよい。電子デバイス100は、ボタン190を使用することにより、ユーザの操作、例えば、タッチしたまま、又は複数回にわたる連続的な押下を検出し、ユーザによって入力した操作命令を受信してもよい。
電子デバイス100のソフトウェア・システムは、層状アーキテクチャ、イベント駆動アーキテクチャ、マイクロカーネル・アーキテクチャ、マイクロサービス・アーキテクチャ、又はクラウド・アーキテクチャを使用してもよい。本出願では、電子デバイス100のソフトウェア構造の一例は、層状アーキテクチャを有するアンドロイド・システムの一例を使用することによって記載される。図2Bは、本出願による電子デバイス100のソフトウェア構造の一例のブロック図である。
層状アーキテクチャでは、ソフトウェアはいくつかの層に分割されており、各層は明確な役割及びタスクを有する。これらの層は、ソフトウェア・インターフェースを介して互いに通信する。いくつかの実施形態では、アンドロイド・システムは、上から下までの4つの層、すなわち、アプリケーション層、アプリケーション・フレームワーク層、アンドロイド・ランタイム(Android runtime)及びシステム/ライブラリ、及びカーネル層に分割される。
アプリケーション層は、一連のアプリケーション・パッケージを含んでもよい。図2Bに示されるように、アプリケーション・パッケージは、「カメラ」、「ギャラリー」、「電話」、「ナビゲーション」、「ブルートゥース」、「ミュージック」、「ビデオ」、及び「メッセージ」などのアプリケーションを含んでもよい。
アプリケーション・フレームワーク層は、アプリケーション層におけるアプリケーションのためのアプリケーション・プログラミング・インターフェース(application programming interface、API)と、プログラミング・フレームワークを提供する。アプリケーション・フレームワーク層は、いくつかの事前に定義された機能を含む。図2Bに示すように、アプリケーション・フレームワーク層は、ウィンドウ・マネージャ、コンテンツ・プロバイダ、ビュー・システム、電話マネージャ、リソース・マネージャ、通知マネージャなどを含んでもよい。
ウィンドウ・マネージャは、ウィンドウ・プログラムを管理するように構成されている。ウィンドウ・マネージャは、ディスプレイのサイズを取得し、ステータス・バーがあるかどうかを決定し、スクリーン・ロックを実行し、スクリーン・ショットを取るなどを行ってもよい。
コンテンツ・プロバイダは、データを記憶及び取得し、アプリケーションによってデータにアクセスできるように構成されている。データには、ビデオ、画像、オーディオ、発呼及び着呼、ブランズ履歴及びブックマーク、電話帳などを含み得る。
ビュー・システムは、テキストを表示するための制御及び画像を表示するための制御などの視覚的制御を含む。ビュー・システムは、アプリケーションを構築するように構成されてもよい。ディスプレイ・インターフェースは、1つ以上のビューを含んでもよい。例えば、SMSメッセージ通知アイコンを含む表示インターフェースは、テキスト表示ビュー及び画像表示ビューを含んでもよい。
電話マネージャは、電子デバイス100の通信機能、例えば、通話状態の管理(応答、拒否などを含む)を提供するように構成されている。
リソース・マネージャは、アプリケーションに対して、ローカライズされた文字列、アイコン、ピクチャ、レイアウト・ファイル、及びビデオ・ファイルなどのさまざまなリソースを提供する。
通知マネージャは、アプリケーションが通知情報をステータス・バーに表示することを可能にし、通知タイプのメッセージを伝送するように構成されてもよい。表示された情報は、ユーザ対話なしに、短い一時停止の後に自動的に消滅してもよい。例えば、通知マネージャは、ダウンロード完了通知、メッセージ通知などを行うように構成されている。通知マネージャは、代替的に、グラフ又はスクロール・バー・テキストの形式でシステムの最上位ステータス・バーに現れる通知、例えば、バックグラウンドで実行しているアプリケーションの通知、又はダイアログ・ウィンドウの形式でスクリーンに現れる通知であってもよい。例えば、ステータス・バーにおいてテキスト情報が表示されるか、アラート音声が再生されるか、電子デバイスが振動するか、又はインジケータ・ライトが点滅する。
アンドロイド・ランタイムは、カーネル・ライブラリと仮想マシンを含む。アンドロイド・ランタイムは、アンドロイド・システムのスケジューリングと管理を担当する。
カーネル・ライブラリは、一方の部分が、Java言語で呼び出す必要のある実行関数であり、他方の部分がアンドロイド・カーネル・ライブラリである2つの部を含む。
アプリケーション層及びアプリケーション・フレームワーク層は、仮想マシン上で実行する。仮想マシンは、アプリケーション層とアプリケーション・フレームワーク層のJavaファイルをバイナリ・ファイルとして実行する。仮想マシンは、オブジェクト・ライフサイクル管理、スタック管理、スレッド管理、セキュリティ及び例外管理、ガーベジ・コレクションなどの機能を実装するように構成されている。
システム・ライブラリは、複数の機能モジュール、サーフェス・マネージャ(surface manager)、メディア・ライブラリ(media library)、3次元グラフィック処理ライブラリ(例えば、OpenGL ES)、及び2Dグラフィック・エンジン(例えば、SGL)を含んでもよい。
サーフェス・マネージャは、ディスプレイ・サブシステムを管理し、複数のアプリケーションのために2D及び3D層の融合を提供するように構成されている。
メディア・ライブラリは、複数の一般的に使用されるオーディオ及びビデオ・フォーマット、静止画像ファイルなどにおける再生及び記録をサポートする。メディア・ライブラリは、MPEG-4、H.264、MP3、AAC、AMR、JPG、及びPNGなどの複数のオーディオ及びビデオ・コーディング・フォーマットをサポートしてもよい。
3次元グラフィック処理ライブラリは、3次元グラフィックス描画、画像レンダリング、合成、レイヤ処理などを実装するように構成されている。
2Dグラフィック・エンジンは2D描画のための描画エンジンである。
カーネル層は、ハードウェアとソフトウェアとの間の層である。カーネル層は、少なくともディスプレイ・ドライバ、カメラ・ドライバ、オーディオ・ドライバ、及びセンサ・ドライバを含む。
前述のシステムでは、少なくとも1つの電子デバイスは、本出願における対話方法を実行するために、システム内の別の電子デバイスの履歴タスク記録を取得してもよい。
実装、システム内の少なくとも1つの電子デバイスは、別の電子デバイスとの通信接続を別々に確立して、別の電子デバイスの履歴タスク記録を取得するようにする。
別の実装では、前述のシステムは、サーバをさらに含んでもよい。サーバは、クラウド・サーバ、通常のサーバなどであってもよい。これは、本出願において限定されない。ホン実装では、システム内のすべての電子デバイスは、サーバに通信接続されており、各々の履歴タスク記録をサーバに同期させ、システム内の任意の電子デバイスが、サーバにおいて別の電子デバイスの履歴タスク記録を取得できるようにする。図1に示す例では、デバイス101、デバイス102、及びデバイス103は別々にクラウド・サーバ104に通信接続され、それぞれの履歴タスク記録をクラウド・サーバ104に同期させる。
任意選択で、システムがサーバをさらに含むときに、同じユーザ・アカウントでログインすることを介してそれぞれの履歴タスク記録をサーバに同期させてもよく、同じユーザ・アカウントでログインする複数の電子デバイスが、サーバにおいてそれぞれの履歴タスク記録を取得することができるようにする。本出願の実施形態におけるユーザ・アカウントは、例えば電子メール・アドレス又はクラウド・サービス・アカウントである異なるユーザのアイデンティティを区別するための文字列であってもよい。
本出願の技術的解決策の理解を容易にするために、以下、タスク、履歴タスク記録、タスク記録、クロスデバイス・タスク処理などを含む、本出願の実施形態におけるいくつかの概念を簡単に記載する。
特定の目的を達成するために電子デバイス上で実行しているアプリケーションは、タスクとも呼ばれる。例えば、ユーザがウェブページをブラウズするために電子デバイス上でブラウザを開く場合、実行しているブラウザは、タスクとみなされてもよい。別の例として、ユーザがビデオを再生するために電子デバイス上でビデオ・プレーヤを開く場合、実行しているビデオ・プレーヤは、タスクとみなされてもよい。本出願の実施形態におけるタスクは、電子デバイスのフォアグラウンドで実行しているタスクを含んでもよいし、バックグラウンドで実行しているタスクを含んでもよいと留意されたい。これらのタスクは、閲覧タスク、例えば、ウェブページをブラウズすること又はビデオ・ファイルを再生することであってもよいし、編集タスク、例えば、プレゼンテーション文書又は表を編集することであってもよい。タスクのタイプは、本出願において限定されない。
履歴タスク記録は、1つ以上のタスク記録を含み、各タスク記録は、電子デバイス上で実行している1つ以上のタスクを記録してもよい。ユーザは、電子デバイスのユーザ・インターフェースにおいて電子デバイスの履歴タスク記録を閲覧して、電子デバイスのフォアグラウンド又はバックグラウンドで実行しているタスクについて学習してもよい。
タスクが異なる時点で実行される場合、タスクの最新の状態、すなわち、現在の時点に最も近い時点での状態のみが、対応するタスク記録に記録されると留意されたい。タスクが閉じられるときに、通常、タスクに対応するタスク記録は、履歴タスク記録にもはや保持されない。
例えば、ユーザは、最初に、電子デバイス上でブラウザにおいてウェブページAを開く。このケースでは、履歴タスク記録は、ブラウザに対応するタスク記録を含み、タスク記録は、ブラウザの状態、すなわちウェブページAを記録する。次いで、ユーザは、ビデオ・プレーヤを開き、ブラウザをバックグラウンドで実行することを可能にする。このケースでは、履歴タスク記録は、2つのタスク記録を含む。一方は、ブラウザに対応するタスク記録であり、ブラウザの状態、すなわちウェブページAを記録する。他方は、ビデオ・プレーヤに対応するタスク記録であり、ビデオ・プレーヤの状態を記録する。次いで、ユーザはビデオ・プレーヤを閉じ、ブラウザにおいてウェブページBを開く。このケースでは、履歴タスク記録は、ブラウザに対応するタスク記録を含み、タスク記録に記録されたブラウザの状態は、ウェブページBに更新され、ビデオ・プレーヤに対応するタスク記録はもはや保持されない。
さらに、1つのタスク記録が1つ以上のタスクを対応して記録してもよいことに留意されたい。タスクがフォアグラウンド又はバックグラウンドで実行するときには、履歴タスク記録においてそのタスクに対応するタスク記録がある。複数のタスクが分割スクリーン・モードに入り、フォアグラウンド又はバックグラウンドで分割スクリーン形式で実行するときに、履歴タスク記録において複数のタスクに対応するタスク記録がある。複数のタスクが分割スクリーン・モードを出るときに、履歴タスク記録は、複数のタスクに対応するタスク記録をもはや含まないが、複数のタスクにそれぞれ対応する複数のタスク記録のみを含む。
クロスデバイス・タスク処理とは、主に、電子デバイス(以下にターゲット・デバイスとも呼ばれる)上で、別の電子デバイス(以下にソース・デバイスとも呼ばれる)上のタスクの処理を続ける、すなわち、ターゲット・デバイス上で、ソース・デバイス上で元々実行しているタスクの実行を続けることを示す。例えば、ターゲット・デバイスは、ソース・デバイス上で開かれたウェブページ、再生されたビデオ、若しくは編集されたドキュメントの実行、又はソース・デバイスから伝送されたデータの処理を続ける。
マルチデバイス・システムにおける1つ以上の電子デバイスが、別の電子デバイスの履歴タスク記録を取得することができるときに、これらの電子デバイスのうちのいずれか1つは、本出願において提供されるクロスデバイス・タスク処理のための対話方法を実行することができる。説明を容易にするために、本出願では、対話方法を実行するシステムにおける電子デバイス、すなわち、現在ユーザによって現在操作されている電子デバイスが、第1の電子デバイスと呼ばれ、第1の電子デバイス以外のシステムにおける別の電子デバイスが、第2の電子デバイスと呼ばれる。
第1の電子デバイスは、本出願における対話方法を実行し、ユーザが、第1の電子デバイス上で、第1の電子デバイス及び第2の電子デバイスの履歴タスク記録を閲覧することができ、また、クロスデバイス・タスク処理を実行するために履歴タスク記録における1つ以上のタスクを能動的に選択することができるようにする。これは非常に利便性があり、ユーザにシンプルで、直接で、使いやすい対話体験を提供することができる。
図3は、本出願によるクロスデバイス・タスク処理の対話方法のフローチャートである。以下、図3を参照して、本出願の実施形態における対話方法を記載する。対話方法は、第1の電子デバイスによって実行され、以下のステップS501~S503を含んでもよい。
S501:第1の電子デバイスが、マルチタスク管理インターフェースを表示する。
マルチタスク管理インターフェースは、N個のデバイス・ラベル及び少なくとも1つのタスク記録を含み、N個のデバイス・ラベルは、それぞれN個の電子デバイスに対応し、Nは1よりも大きい正の整数である。
任意選択で、実装では、第1の電子デバイスは、ユーザによって実行された第1の操作を受信してもよく、第1の電子デバイスは、第1の操作に応答して、マルチタスク管理インターフェースを表示する。第1の操作は、主に、第1の電子デバイスが、マルチタスク管理インターフェースを表示することを可能にするために使用される。第1の操作は、任意のプリセット操作であってもよいし、ユーザによってセットされてもよいし、第1の電子デバイスのシステムによってセットされてもよい。これは、本出願において限定されない。
S502:第1の電子デバイスが、マルチタスク管理インターフェースにおける第1のタスク記録に対してユーザによって実行された共有操作を受信する。
第1のタスク記録は、ソース・デバイスのタスク記録のいずれか1つであり、ソース・デバイスは、N個の電子デバイスのいずれか1つである。
本出願における対話方法の要約を簡単にするために、ソース・デバイス及びターゲット・デバイスの概念が、本出願の実施形態において導入される。ソース・デバイスは、ユーザがデバイスをまたいで処理することを期待するタスクが元々位置する電子デバイスである。ターゲット・デバイスは、クロスデバイス・タスク処理が実行されるときに、ソース・デバイス上のタスクの実行を続ける電子デバイスである。
N個の電子デバイスが第1の電子デバイス及び少なくとも1つの第2の電子デバイスを含むときに、ソース・デバイスは、第1の電子デバイス及び第2の電子デバイスのいずれかであってもよいし、ターゲット・デバイスは、第1の電子デバイス及び第2の電子デバイスのいずれかであってもよいし、ソース・デバイス及びターゲット・デバイスは、2つの異なる電子デバイスである必要があることに留意されたい。
共有操作は、主にターゲット・デバイスが第1のタスク記録に対応するタスクを表示することを可能にするために使用される。共有操作は、任意のプリセット操作であってもよいし、ユーザによってセットされてもよいし、第1の電子デバイスのシステムによってセットされてもよい。これは、本出願において限定されない。異なるターゲット・デバイス及びターゲット・デバイスの異なる表示方式があるため、共有操作は、複数の異なる方式、例えば、後続の第2の操作、第3の操作、第4の操作、第5の操作、第6の操作、及び第7の操作において実装され得てもよい。操作は、後続の実施形態においてさらに記載される。
S503:第1の電子デバイスは、共有操作に応答して、ターゲット・デバイスが、第1のタスク記録に対応する少なくとも1つのタスクを表示することを可能にする。
上記のように、ターゲット・デバイスは、N個の電子デバイスのいずれか1つであり、ターゲット・デバイスは、ソース・デバイスとは異なる。
ターゲット・デバイスが第1の電子デバイスであるかどうかの異なるケースでは、第1の電子デバイスは、本出願における対話方法を実行することによって異なる機能を実装してもよく、機能は、第2の電子デバイス上のタスクを第1の電子デバイスと共有すること、第1の電子デバイス上のタスクを第2の電子デバイスと共有すること、又は第2の電子デバイス上のタスクを別の電子デバイスと共有することを含む。以下、2つの機能に基づいて、本出願の対話方法を別々に記載する。
本出願におけるクロスデバイス・タスク処理の対話方法は、デバイス101が、ユーザによって現在操作されているデバイス、すなわち第1のデバイスとして使用され、デバイス102及びデバイス103をが、第2の電子デバイスとして使用される例を使用することによって以下の実施形態において記載される。デバイス101の入力/出力装置は、タッチ・スクリーンである。タッチ・スクリーンは、異なるユーザ・インターフェースを表示してもよく、ユーザ操作も受信してもよい。
実施形態1
本実施形態では、ターゲット・デバイスが、第1の電子デバイスであり、ソース・デバイスが、第2の電子デバイスのいずれか1つである。
最初に、第1の電子デバイスは、ユーザによって実行された第1の操作を受信し、第1の電子デバイスは、第1の操作に応答して、マルチタスク管理インターフェースを表示する。
ユーザは、デバイス101のディスプレイ上に表示された任意のユーザ・インターフェースにおいて第1の操作を実行する。例えば、第1の操作は、ユーザ・インターフェースの底部から上方にスライドすること、ユーザ・インターフェースの上部から下方にスライドすることなどであり得る。第1の情報の特定の形式は、本出願の本実施態様において限定されない。デバイス101は、第1の操作に応答して、マルチタスク管理インターフェースを表示する。
例えば、図4Aを参照する。図4Aは、第1の操作が実行される前のデバイス101上に表示されたユーザ・インターフェースの第1の例の概略図である。図4Aから分かるように、ユーザ・インターフェース201は、デバイス101上のブラウザにおおいてウェブページ「ウェブページA」を表示し、次いで、ユーザは、ユーザ・インターフェース201の底部から上方にスライド操作を実行する。操作命令1を受信した後、デバイス101は、マルチタスク管理インターフェース290を表示する。
マルチタスク管理インターフェースは、N個の電子デバイスにそれぞれ対応するN個のデバイス・ラベルを表示し、Nは1よりも大きい正の整数である。
区別を容易にするために、本実施形態では、第1の電子デバイス(すなわち、デバイス101)に対応するデバイス・ラベルが、第1のラベルと呼ばれ、第2の電子デバイス(すなわち、デバイス102、デバイス103など)に対応するデバイス・ラベルが、第2のラベルと呼ばれる。ステップS501に記載のように、N個の電子デバイスは、第1の電子デバイスを含まなくてもよく、複数の第2の電子デバイスのみを含んでもよいし、第1の電子デバイス及び少なくとも1つの第2の電子デバイスを含んでもよい。N個の電子デバイスが複数の第2の電子デバイスのみを含むときに、マルチタスク管理インターフェースに表示されるすべてのデバイス・ラベルが第2のラベルである。N個の電子デバイスが第1の電子デバイス及び少なくとも1つの第2の電子デバイスを含むときに、マルチタスク管理インターフェースに表示されるデバイス・ラベルは、第1のラベル及び第2のラベルを含む。本実施形態の目的は、第2の電子デバイスの履歴タスク記録における1つ以上のタスクを第1の電子デバイスと共有することである。したがって、本実施形態では、第1のラベルがマルチタスク管理インターフェースに表示されるかどうかにかかわらず、目的の実装は影響を受けない。
図4Bは、本出願の一実施形態によるデバイス101のマルチタスク管理インターフェースの第1の例の概略図である。図4Bに示す例では、マルチタスク管理インターフェース290は、デバイス101に対応する第1のラベル「マイフォン」、デバイス102に対応する第2のラベル「タブレット」、及びデバイス103に対応する第2のラベル「TV」を表示する。
本出願の実施形態におけるデバイス・ラベルは、カプセル形状のアイコンにテキストを加えた形式、例えば、図4Bに示される形式であってもよく、又は別の形式であってもよい。これは、本出願において限定されない。
ユーザは、選択されたデバイス・ラベルを変更するために、マルチタスク管理インターフェースにおけるデバイス・ラベルに対して選択操作を実行してもよい。マルチタスク管理インターフェースにおいて、デバイス・ラベルの状態、すなわち、選択状態又は非選択状態は、異なる表現形式で区別され得ることに留意されたい。このようにして、ユーザは、デバイス・ラベルの状態を直感的に視認することができる。具体的な表現形式は、本出願において限定されない。
図4Bの例では、デバイス101に対応する第1のラベル「マイフォン」の背景色は、デバイス102に対応する第2のラベル「タブレット」の背景色、及びデバイス103に対応する第2のラベル「TV」の背景色よりも濃い。これは、第1のラベル「マイフォン」が選択され、第2のラベル「タブレット」及び第2のラベル「TV」が選択されていないことを示す。
さらに、マルチタスク管理インターフェースは、選択されたデバイス・ラベルに対応する電子デバイスの履歴タスク記録における少なくとも1つのタスク記録を表示する。
図4Bの例では、マルチタスク管理インターフェースにおいて現在選択されている第1のラベル「マイフォン」に対応するデバイスがデバイス101であるため、マルチタスク管理インターフェースは、デバイス101上のブラウザにおいて開かれたウェブページ「ウェブページA」を含むデバイス101の履歴タスク記録をさらに表示する。
ユーザがマルチタスク管理インターフェースにおいて操作を実行して、選択されたデバイス・ラベルを変更するときに、マルチタスク管理インターフェースに表示されるタスク履歴もそれに応じて変更される。
例えば、図4Cを参照する。図4Cは、本出願の一実施形態によるデバイス101のマルチタスク管理インターフェースの第2の例の概略図である。ユーザは、マルチタスク管理インターフェースにおいて選択されたデバイス102に対応する第2のラベル「タブレット」をタップし、マルチタスク管理インターフェースは、これに対応して、デバイス102の履歴タスク記録、例えば、デバイス102上のブラウザにおいて開かれたウェブページ「ウェブページB」を表示する。
履歴タスク記録の各タスク記録は、タスクカードで提示されてもよいし、別の形式で提示されてもよい。履歴タスク記録の提示形式は、本出願において限定されない。説明を容易にするために、説明は、タスク記録が、本実施形態及び後続の実施形態においてタスクカード、例えば、図4Bのタスクカード2921「ウェブページA」及び図4Cのタスクカード2921「ウェブページB」で表される例を使用することによって提供される。
任意選択で、電子デバイスは、タスクがフォアグラウンドからバックグラウンドに戻されるときに、タスクに対応するタスク記録においてサムネイル形式で、ユーザ・インターフェースを保存してもよい。したがって、表示が必要なときに、第1の電子デバイスは、対応するタスクカードにおけるサムネイルをユーザに表示してもよく、ユーザがサムネイルを閲覧するようにする。
選択されたデバイス・ラベルに対応する電子デバイスの履歴タスク記録は、多くのタスク記録を含み、ディスプレイは、一度にすべてのタスク記録を表示することができないため、ユーザは、履歴タスク記録における別のタスク記録を閲覧するために特定の操作を実行してもよい。
図4B及び図4Cの例では、ユーザは、別のタスクカードを閲覧するために左又は右にスライドしてもよい。
任意選択で、マルチタスク管理インターフェースにおいて、タスク記録に対応するアプリケーション・ラベルがタスク記録の近くに表示されてもよく、タスク記録に対応するアプリケーションを指示する。
図4Bの例では、タスクカード2921「ウェブページA」の上に、対応するアプリケーション・ラベル2922がさらに表示されて、タスクカードに対応するアプリケーションが「ブラウザ」であることを示す。
デバイス・ラベル及び履歴タスク記録は、マルチタスク管理インターフェースにおいて同じエリア又は異なるエリアに表示されてもよい。
任意選択で、マルチタスク管理インターフェースは、2つのエリア、すなわち、第1のエリア及び第2のエリアを含んでもよい。第1の領域はデバイス・ラベルを表示するために使用され、第2の領域は選択されたデバイス・ラベルに対応するデバイスの履歴タスク記録を表示するために使用される。
図4Bの例では、マルチタスク管理インターフェース290は、第1の領域291及び第2の領域292を含む。第1の領域291は、3つのデバイス・ラベルを表示し、第2の領域292は、ブラウザにおいて開かれたウェブページ「ウェブページA」を含む、デバイス101の履歴タスク記録を表示する。
本出願の実施形態におけるマルチタスク管理インターフェースにおいて、第1の領域は、図4B及び図4Cの例に示されるように、第2の領域よりも上にあってもよいし、第2の領域よりも下にあってもよいし、別の位置であってもよいことに留意されたい。第1の領域と第2の領域との間の相対位置、マルチタスク管理インターフェースにおける第1の領域と第2の領域の形式は、本出願において限定されない。追加的に、マルチタスク管理インターフェースは、必要に応じて、第1の領域及び第2の領域に加えて、別の領域をさらに含んでもよい。これはまた、本出願において限定されない。
任意選択で、ユーザがマルチタスク管理インターフェースに入るためにデバイス101上で第1の操作を入力するときに、デバイス101に対応するデバイス・ラベルが、デフォルトでマルチタスク管理インターフェースにおいて選択されてもよいし、ユーザがマルチタスク管理インターフェースを終了するときに以前に選択されたデバイス・ラベルがデフォルトで選択されてもよい。これは、本出願において限定されない。デフォルト選択の実装は、デバイス101のシステムによって設定されてもよいし、ユーザによってセットされてもよい。これはまた、本出願において限定されない。
例えば、デバイス101において、デバイス101に対応する第1のラベル「マイフォン」がデフォルトで選択される場合、ユーザがデバイス101のマルチタスク管理インターフェース290に入るたびに、第1の領域291において選択されるデバイス・ラベルは「マイフォン」であり、第2の領域292は、図4Bに示すように、デバイス101の履歴タスク記録を表示する。このように、クロスデバイス・タスク処理を実装するときに、ユーザは、最初に、デバイス102又はデバイス103などの1つ以上の他のデバイスのデバイス・ラベルを選択する必要があり、次いで、後続の操作を実行する。
別の例として、デバイス101では、ユーザがマルチタスク管理インターフェース290を出るときの以前に選択されたデバイス・ラベルがデフォルトで選択される場合、マルチタスク管理インターフェース290が現在入るときに、第1の領域291において選択されたデバイス・ラベルは、ユーザがマルチタスク管理インターフェース290を出るときの以前に選択されたデバイス・ラベルと同じであるべきである。例えば、ユーザは、デバイス101のマルチタスク管理インターフェース290に入るときに、デバイス102に対応する第2のラベル「タブレット」を以前に選択しており、次に、マルチタスク管理インターフェース290を出る。次いで、次回、ユーザがマルチタスク管理インターフェース290に入るためにデバイス101上で第1の操作を実行するときに、図4Cに示すように、表示された選択されたデバイス・ラベルは第2のラベル「タブレット」であり、表示された履歴タスク記録は、「タブレット」に対応するデバイス102の履歴タスク記録である。このように、ユーザがデバイス102上のタスクをデバイスをまたいで次回も処理したい場合、ユーザは、選択されたデバイス・ラベルを第1のラベル「マイフォン」から第2のラベル「タブレット」に変更するために、第2のラベル「タブレット」をタップ及び選択する必要がない。
次いで、第1の電子デバイスは、第1のタスク記録に対してユーザによって実行された共有操作を受信する。第1の電子デバイスは、共有操作に応答して、ターゲット・デバイスが、第1のタスク記録に対応する少なくとも1つのタスクを表示することを可能にする。
本出願の本実施形態における第1のタスク記録は、ユーザがデバイスをまたいで処理することを期待するタスクに対応するタスク記録であり、ソース・デバイスの履歴タスク記録内の任意のタスク記録であってもよい。本実施形態では、ソース・デバイスは、第2の電子デバイスのいずれか1つである。従って、第1のタスク記録は、任意の第2の電子デバイスの履歴タスク記録における任意のタスク記録であってもよい。
デバイスをまたいで処理されることが期待されるタスクに対応するタスク記録、すなわち第1のタスク記録を決定した後、ユーザは、タスク記録に対して共有操作を実行してもよく、第1の電子デバイスが、第1のタスク記録に対応する少なくとも1つのタスクを表示するようにする。
第1の電子デバイスが、第1のタスク記録に対応する少なくとも1つのタスクを表示する複数の異なる表示方式があり得る。これに対応して、ユーザは、異なる共有操作を実行してもよく、第1の電子デバイスが、異なる共有操作に基づいて、ユーザによって期待される特定の表示方式を識別し得る。
実装では、ユーザは、第1のタスク記録に対して第2の操作を実行してもよい。第1の電子デバイスは、第2の操作に応答して、第1のタスク記録に対応する少なくとも1つのタスクを表示する。
第2の操作は、任意のプリセット操作、例えばタップであってもよい。第2の操作の特定の形式は、本出願の本実施態様において限定されない。第2の操作は、1つの操作であってもよいし、複数の操作を含む操作の組み合わせであってもよい。これはまた、本出願において限定されない。
図4Cの例では、ユーザは、デバイス101と、デバイス102上のタスクカード2921「ウェブページB」に対応するタスクを共有し、デバイス101上のタスクをブラウズすることを期待する。次いで、ユーザは、図2Cの第2の領域292におけるタスクカード2921「ウェブページB」をタップしてもよい。図4Dは、本出願の実施形態による第2の操作が実行された後のデバイス101上に表示されたユーザ・インターフェースの第1の例の概略図である。図4C及び図4Dの例では、デバイス101は、第2の操作に応答して、デバイス101のディスプレイ上にユーザ・インターフェース202、すなわち、デバイス102上のウェブページ「ウェブページB」を表示する。このように、ユーザは、デバイス101上で、デバイス102上のウェブページのブラウズを続けることができ、それにより、単一タスクのクロスデバイス処理を実装する。
第1のタスク記録が単一のタスク記録に対応するときに、第1の電子デバイスは、第2の操作に応答して、図4Dに示すように、第1のタスク記録に対応する単一のタスクを表示するか、又は第1のタスク記録が複数の関連タスクに対応するときに、第1の電子デバイスは、第2の操作に応答して、第1のタスク記録に対応する複数の関連タスクを分割スクリーン形式で表示することに留意されたい。本出願では、分割スクリーン形式でソース・デバイス上で実行している複数のタスクが、関連タスクと呼ばれる。タスク記録は、1つ以上の関連タスクに対応してもよい。
図4Eは、本出願の本実施形態によるデバイス101のマルチタスク管理インターフェースの第3の例の概略図であり、図4Fは、本出願の本実施形態による第2の操作が実行された後のデバイス101上に表示されたユーザ・インターフェースの第2の例の概略図である。図4Eでは、1つのタスクカード2921が第2の領域292内で表示される。タスクカード2921は、デバイス102の履歴タスク記録における1つのタスク記録が、分割スクリーン形式で表示される2つの関連タスク「チャット・ソフトウェア」及び「ビデオ・プレーヤ」を含むことを示す。ユーザは、タスクカード2921に対して第2の操作を実行する、すなわち、タスクカード2921をタップする。デバイス101は、第2の操作に応答して、デバイス101のディスプレイ上にユーザ・インターフェース203を表示し、図4Fに示すように、デバイス102上にタスク「チャット・ソフトウェア」及び「ビデオ・プレーヤ」を分割スクリーン形式で表示する。このように、ユーザは、チャット・ソフトウェアの閲覧を続け、デバイス101上でビデオを分割スクリーン形式で視聴することができ、それにより、複数のタスクのクロスデバイス処理を実装する。
なお、複数の関連タスクが、両方のデバイス上で分割スクリーン形式で表示されるが、第1の電子デバイス上の複数の関連タスクの分割スクリーン表示方式は、第2の電子デバイス上の複数の関連タスクの分割スクリーン表示方式と同じであっても、異なるものであってもよいことに留意されたい。これは、本出願において限定されない。図4E及び図4Fに示す例では、関連タスク「チャット・ソフトウェア」及び「ビデオ・プレーヤ」は、左右分割スクリーン方式でデバイス102上に表示され、上下分割スクリーン方式でデバイス101上に表示される。
別の表示方式では、ユーザは、第1のタスク記録及び任意の第2の電子デバイスに対応するデバイス・ラベルに対して第6の操作を実行してもよい。第1の電子デバイスは、第6の操作に応答して、第1の電子デバイスのフォアグラウンドで実行しているタスクと、第1のタスク記録に対応する少なくとも1つのタスクとを、分割スクリーン形式で表示する。
第6の操作は、任意のプリセット操作であってもよい。第6の操作の特定の形式は、本出願の本実施態様において限定されない。第6の操作は、1つの操作であってもよいし、複数の操作を含む操作の組み合わせ、例えば、タッチしたままドラッグであってもよい。これはまた、本出願において限定されない。一般に、混乱を避けるために、第6の操作と第2の操作を異なる操作にセットすべきである。
例えば、図4Gは、第1の操作が実行される前のデバイス101上に表示されたユーザ・インターフェースの第2の例の概略図であり、図4Hは、本出願の本実施形態によるデバイス101のマルチタスク管理インターフェースの第4の例の概略図であり、図4Iは、本出願の本実施形態による第6の操作が実行された後のデバイス101上に表示されたユーザ・インターフェースの第3の例の概略図である。
図4Gから分かるように、ユーザ・インターフェース207は、デバイス101のフォアグラウンドで実行しているタスク、すなわち、ブラウザにおいて開かれたウェブページ「ウェブページE」を表示する。ユーザは、ユーザ・インターフェース207において第1の操作を実行し、例えば、ユーザ・インターフェース207の底部から上にスライドする。デバイス101は、第1の操作に応答して、マルチタスク管理インターフェースを表示する。ユーザは、第1の領域291内の第2のアイコン「タブレット」をタップ及び選択し、4Hに示すように、「タブレット」に対応するデバイス102の履歴タスク記録が第2の領域292内に表示される。第2の領域292において、ユーザは、別のタスクカード2921を視認するために左又は右にスライドして、ユーザがターゲット・デバイス上で処理を続けることを望むタスクを選択するようにしてもよい。
ユーザは、デバイス102上のタスク「ウェブページB」をデバイス101と共有し、そのタスクと、現在デバイス101上でブラウズされているウェブページ「ウェブページE」を分割スクリーン方式で表示することを望んでいると想定する。このケースでは、ユーザは、デバイス101のマルチタスク管理インターフェース290において、第6の操作を実行、例えば、タスクカード「ウェブページB」をタッチしたままにし、次いで、「ウェブページB」を第1の領域291内のデバイス101に対応するデバイス・ラベル「マイフォン」にドラッグする。第6の操作に応答して、デバイス101は、デバイス102上のウェブページ「ウェブページB」に対応するタスクをデバイス101と共有し、図4Iのユーザ・インターフェース208に示すように、デバイス101上でウェブページ「ウェブページB」及び「ウェブページE」を分割スクリーン形式で表示する。このように、ユーザは、デバイス101上で、デバイス102上のウェブページ「ウェブページB」のブラウズを続けることができ、それにより、タスク・クロス・デバイス処理を実装し、デバイス101上で現在ブラウズされているウェブページ「ウェブページE」をさらにブラウズすることができる。
第6の操作は、第1の電子デバイスのマルチタスク管理インターフェースにおいて実行され、任意の第2の電子デバイスの任意のタスク記録に対応する少なくとも1つのタスクと、第1の電子デバイスのフォアグラウンドで現在実行しているタスクとを、分割スクリーン方式で表示することができるようにする。
さらに別の表示方式では、ユーザは、第1のタスク記録におけるファイルに対して第4の操作を実行してもよい。第1の電子デバイスは、第4の操作に応答して、第1のタスク記録におけるファイルを受信する。追加的に、ファイルを開くことができるアプリケーションが第1の電子デバイスにインストールされている場合は、第1の電子デバイスがそのファイルを表示する。
第4の操作は、任意のプリセット操作、例えばドラッグであってもよい。第4の操作の特定の形式は、本出願の本実施態様において限定されない。第4の操作は、1つの操作であってもよいし、複数の操作を含む操作の組み合わせ、例えば、タッチしたままドラッグであってもよい。これはまた、本出願において限定されない。第4の操作と第6の操作は、異なる操作にセットされてもよいし、同じ操作にセットされてもよい。これはまた、本出願において限定されない。
本出願において、第2の電子デバイスの履歴タスク記録が、第1の電子デバイスのマルチタスク管理インターフェースにおいて視認されて、ターゲット・デバイス(本実施形態の第1の電子デバイス)が、履歴タスク記録におけるタスク記録に対応するタスクを実行することを可能にするが、ターゲット・デバイスは、ソース・デバイス(本実施形態の第2の電子デバイス)から、これらのタスクを実行するために必要なデータをさらに取得する必要があると理解されたい。
これらのタスクを実行するために必要なデータ量は、通常、これらのタスクに対応するタスク記録を表示するために必要なデータ量よりもはるかに大きいため、ターゲット・デバイスは、ユーザが共有操作を実行した後に、これらのタスクを実行するために必要なデータを取得することができる。ターゲット・デバイスは、複数の方式で、デバイスにわたって処理されるタスクのためのデータを取得することができる。これは、本出願において限定されない。
実装では、ターゲット・デバイスとソース・デバイスの両方がサーバに通信接続されているときに、ソース・デバイスが、デバイスにわたって処理する必要があるタスクのためのデータをサーバに送信し、次いで、ターゲット・デバイスが、サーバからデータを取得する。
例えば、図1に示すマルチデバイス・システムでは、デバイス101、デバイス102、及びデバイス103は、別々にクラウド・サーバ104に通信接続されている。デバイス101、デバイス102、デバイス103間の間接通信接続は、クラウド・サーバ104を使用することによって、実装される。第2の操作を受信した後、デバイス101は、クラウド・サーバ104が、デバイスをまたいで処理される必要のあるタスクのためのデータ、例えば、デバイス102上のウェブページ「ウェブページB」のためのデータをデバイス101に送信することを要求する要求をクラウド・サーバ104に送信する。これらのデータを受信した後、デバイス101は、図4Dのユーザ・インターフェース202に示すように、デバイスをまたいで処理される必要のあるタスクを表示してもよい。
別の実装では、ターゲット・デバイス及びソース・デバイスが近接場通信方式で接続されているときに、ソース・デバイスは、デバイスをまたいで処理される必要があるタスクのためのデータをターゲット・デバイスに直接送信してもよい。
例えば、デバイス101及びデバイス102は、例えば、ブルートゥース、Wi-Fiコントローラ(Wi-Fi Director)、又は直接接続後のMirrorCastプロトコルに基づく投影である近距離通信方式で直接通信接続を実装する。第2の操作を受信した後、デバイス101は、デバイス102が、デバイスをまたいで処理される必要のあるタスクのためのデータ、例えば、デバイス102におけるウェブページ「ウェブページB」のためのデータをデバイス101に送信することを要求する要求をデバイス102に送信する。これらのデータを受信した後、デバイス101は、図4Dのユーザ・インターフェース202に示すように、デバイスをまたいで処理される必要のあるタスクを表示してもよい。
任意選択で、本実施形態における対話方法の実装において、方法は、以下のステップを含む。
第1の電子デバイスが、マルチタスク管理インターフェースを表示し、マルチタスク管理インターフェースは、第1の電子デバイスに対応する第1のラベル、第2の電子デバイスに対応する第2のラベル、及び第2の電子デバイスの少なくとも1つのタスク記録を含む。
第1の電子デバイスが、少なくとも1つのタスク記録における第2の電子デバイスの第1のタスク記録に対してユーザによって実行されたタップ操作を受信し、第1のタスク記録は、第2の電子デバイス上で実行している第1のタスクに対応する。
第1の電子デバイスが、第1のタスク記録に対するタップ操作に応答して、第1のタスクを実行させるために必要なデータを取得する。
第1の電子デバイスが、第1のタスクを実行する。
本実装では、ユーザは、第1の電子デバイスのマルチタスク管理インターフェースにおける第1のタスク記録に対してタップ操作を実行し、第1の電子デバイスが、第2の電子デバイス上で実行している第1のタスクを表示することができるようにし、それにより、第1のタスクのクロスデバイス処理を簡便に実行する。
任意選択で、本実施形態における対話方法の別の実装では、方法は、以下のステップを含む。
第1の電子デバイスが、マルチタスク管理インターフェースを表示し、マルチタスク管理インターフェースは、第1の電子デバイスに対応する第1のラベル、第2の電子デバイスに対応する第2のラベル、及び第1の電子デバイスの少なくとも1つのタスク記録を含む。
第1の電子デバイスが、ユーザによって少なくとも1つのタスク記録における第1の電子デバイスの第1のタスク記録を第2のラベルにドラッグする操作を受信し、第1のタスク記録は、第1の電子デバイス上で実行している第1のタスクに対応する。
第1の電子デバイスが、第1のタスク記録を第2のラベルにドラッグする操作に応答して、第2の電子デバイスが第1のタスクを表示することを可能にする。
本実装では、ユーザは、第1の電子デバイスのマルチタスク管理インターフェースにおいて、第1のタスク記録を第2のラベルにドラッグし、第2のラベルに対応する第2の電子デバイスが、第1の電子デバイス上で元々実行している第1のタスクを表示することができるようにし、それにより、第1のタスクのクロスデバイス処理に簡便に実行する。
本出願における第1のタスクは、第1のタスク記録に対応する1つ以上のタスクであることに留意されたい。上記のように、第1のタスク記録は、ユーザがデバイスをまたいで処理することを期待するタスクに対応するタスク記録であり、ソース・デバイスの履歴タスク記録における任意の記録であってもよい。これに基づいて、第1のタスクは、ソース・デバイス上の任意の1つ以上のタスクであってもよい。
第1の電子デバイスのマルチタスク管理インターフェースに入った後、ユーザは、1つ以上のデバイス・ラベルを選択してもよい。ユーザが複数のデバイス・ラベルを選択するときに、複数の電子デバイスの履歴タスク記録がマルチタスク管理インターフェースにおいて表示され、複数のデバイスの履歴タスク記録がグローバルに視認できるようにする。複数の履歴タスク記録は、複数の方式で表示されてもよい。以下は、2つの可能な実装を別々に記載する。
複数の電子デバイスの履歴タスク記録を表示する実装では、マルチタスク管理インターフェースは、異なるアプリケーションに基づいた複数の電子デバイスの履歴タスク記録を表示してもよい。複数の選択された電子デバイスに1つ以上の同じアプリケーションがインストールされているときに、複数の電子デバイスの履歴タスク記録のタスク記録は、アプリケーションに基づいたカテゴリ別に表示される、すなわち、複数の電子デバイスの履歴タスク記録におけるタスク記録は、アプリケーション次元に集約される。
任意選択で、アプリケーションに対応するアプリケーション・ラベルは、マルチタスク管理インターフェースにおいて表示され、分類のために使用されるアプリケーションを示すようにする。
任意選択で、タスク記録に対応するタスクが属するデバイスのラベルがマルチタスク管理インターフェースにおいて表示され、タスク記録が電子デバイスの履歴タスク記録であることを示すようにする。
本方式では、ユーザは、アプリケーション次元において複数の電子デバイスのタスク記録を視認することができ、複数の異なるデバイス上にあり、かつ同じアプリケーションを使用することによって開かれたタスクを視認するときに、ユーザは、さらに、異なるデバイス上のタスクの進行状況を簡便に比較することができ、それにより、デバイスをまたいで処理する必要があるタスクをユーザによって視認及び決定する効率を改善する。
例えば、図4J~図4Lを参照する。図4Jは、本出願の本実施形態によるデバイス101のマルチタスク管理インターフェースの第5の例の概略図であり、図4Kは、図4Jにおけるマルチタスク管理インターフェースの拡大概略図であり、図4Lは、本出願の本実施形態による第2の操作が実行された後のデバイス101上に表示されたユーザ・インターフェースの第4の例の概略図である。図4Jのマルチタスク管理インターフェース290では、デバイス101に対応するデバイス・ラベル「マイフォン」、デバイス102に対応するデバイス・ラベル「タブレット」、デバイス102に対応するデバイス・ラベル「TV」がすべて選択される。同じブラウザが、デバイス101、デバイス102、及びデバイス103の各々にインストールされている。デバイス101、デバイス102、及びデバイス103の履歴タスク記録は、各々、ブラウザにおけるタスクを記録するものと想定する。このケースでは、マルチタスク管理インターフェースでは、3つの異なる電子デバイスのブラウザにおけるタスクのタスクカード2921が一緒に積み重ねられて、ユーザに提示されてもよい。対応するアプリケーション・ラベル2922が、一緒に積み重ねられたタスクカード2921の上に表示されてもよい。ユーザは、積み重ねられたタスクカード2921をタップし、これらのタスクカード2921が、拡大される。各タスクカード2921は、図4Kに示すように、電子デバイス上のタスクに対応する。タスクカード2921上で、タスクが属するデバイスのラベル2923が、図4J及び図4Kに示すように、タスク記録が電子デバイスの履歴タスク記録からのものであることを示すために使用されてもよい。
ユーザがデバイスをまたいで処理したいタスクを決定した後、ユーザは、タスクに対応するタスクカードをタップすることができる。例えば、ユーザは、図3Bにおけるタスクカード2921「ウェブページC」をタップする。タップ操作を受信した後、デバイス101は、図4Lに示すように、デバイス101のディスプレイ上にユーザ・インターフェース204を表示する。このように、ユーザは、デバイス101上で、デバイス103上のウェブページ「ウェブページC」のブラウズを続けることができ、それにより、クロスデバイス・タスク処理を実装する。
デバイス101上で元々実行しているタスク、例えば、図4Kのウェブページ「ウェブページA」は、デバイス101のバックグラウンドで実行してもよいことに留意されたい。ユーザがタスクに対応するタスクカード、例えば、図4Kのタスクカード「WebページA」をタップする場合、タスクカードに対応するタスクがデバイス101のディスプレイ上に表示される、すなわち、デバイス101のバックグラウンドで実行しているタスクがフォアグラウンドに切り替えられる。
複数の電子デバイスの履歴タスク記録を表示する別の実装では、マルチタスク管理インターフェースは、複数の電子デバイスの履歴タスク記録におけるタスク記録をタスクの時系列で表示してもよい。
本明細書におけるソートのために使用される時間は、異なる要件よりセットされてもよい。これは、本出願において限定されない。例えば、実装では、タスクがフォアグラウンドからバックグラウンドに切り替えられる時点が、タスクをソートするために使用される時間として決定されてもよく、ソート中の現在の時点が、フォアグラウンドで実行しているタスクをソートするために使用される時間として使用されてもよい。例えば、別の実装では、ユーザが最後にタスクに対して操作を実行した時間が、タスクをソートするために使用される時間として決定されてもよい。
任意選択で、前述のアプリケーション・ラベル及びタスクが属するデバイスのラベルに加えて、マルチタスク管理インターフェースは、対応するタスクが元々の電子デバイス上で実行する時点又は時間間隔などの時間情報を示すために使用される時間ラベルをさらに表示してもよい。時間ラベルを使用することによって示される時間情報は、ソートするために使用される時間と同じか、又は異なってもよい。例えば、ソートするために使用される時間は、秒に対して正確な時点であってもよいし、時間ラベルを使用することによって示される時間情報は、日に対して正確な時間間隔であってもよい。
本方式では、ユーザは、複数の電子デバイスのタスク記録を時系列で視認して、デバイスをまたいで処理する必要があるタスクを簡便に決定することができる。
例えば、図4Mは、本出願の本実施形態によるデバイス101のマルチタスク管理インターフェースの第6の例の概略図である。マルチタスク管理インターフェース290の第1の領域291では、デバイス101に対応するデバイス・ラベル「マイフォン」、デバイス102に対応するデバイス・ラベル「タブレット」、デバイス102に対応するデバイス・ラベル「TV」がすべて選択される。第2の領域292において、デバイス101、デバイス102、及びデバイス103のタスク履歴におけるすべてのタスクカードが、時間の降順で配置され、表示される。タスクが属するデバイスの対応するアプリケーション・ラベル2922及び対応するラベル2923は、各タスクカード2921の一方側に表示されてもよい。追加的に、時間ラベル2924は、第2の領域292において表示されてもよく、例えば、図4Mの「今日」及び「機能」である。ユーザは、デバイスをまたいで処理される必要があるタスクを選択するために、第2の領域292において上又は下にスライドしてもよい。デバイスをまたいで処理する必要のあるタスクを決定した後、ユーザは、タスクのタスクカードをタップして、具体的には、タスクカード上で第2の操作を実行してもよい。例えば、ユーザは、図4Mのタスクカード2921「ウェブページB」をタップする。デバイス101は、第2の操作に応答して、デバイス101のディスプレイ上にタスクのユーザ・インターフェースを表示する。図4Dのユーザ・インターフェース202を参照する。このように、ユーザは、デバイス101上で、デバイス102上のウェブページのブラウズを続けることができ、それにより、クロスデバイス・タスク処理を実装する。
本出願の本実施形態では、タスクカード2921、アプリケーション・ラベル2922、タスクが属するデバイスのラベル2923、時間ラベル2924などの特定のスタイル、及びマルチタスク管理インターフェースにおけるタスクカード2921、アプリケーション・ラベル2922、タスクが属するデバイスのラベル2923、時間ラベル2924などの間の相対位置が、任意の可能な形式であってもよいことに留意されたい。これは、本出願において限定されない。
さらに別の実装では、アプリケーション次元に基づいて表示し、時系列で表示する前述の方式が組み合わされ得る。この表示方式では、異なる電子デバイスからの複数のタスク記録であって、アプリケーション次元に基づいて集約された複数のタスク記録に対して、タスク記録に対応する1つのタスクの時間が、プリセットルールにより、時系列で表示するための時間として使用されてもよい。例えば、ソート中の現在の時点に最も近い複数のタスクに対応する時間の1つが、積み重ね方式で表示されるタスク記録のグループの時間として使用されてもよい。
例えば、図4Nは、本出願の本実施形態によるデバイス101のマルチタスク管理インターフェースの第7の例の概略図である。図4Nの例は、図4Mの例と同様である。2つの例では、デバイス101に対応するデバイス・ラベル「マイフォン」、デバイス102に対応するデバイス・ラベル「タブレット」、デバイス102に対応するデバイス・ラベル「TV」がすべて選択され、タスク記録が時系列で表示される。2つの例の違いは、図4Nの例では、同じブラウザがデバイス101、デバイス102、及びデバイス103の各々にインストールされ、ブラウザにおけるタスクがデバイス101、デバイス102、及びデバイス103の各々の履歴タスク記録に記録されるため、3つの異なる電子デバイスからのブラウザ関連タスクカード2921を一緒に積み重ねて、第2の領域292においてユーザに提示する必要があることである。ユーザが最後に「ウェブページA」に対して操作を実行した時間は、ユーザが最後に「ウェブページB」に対して操作を実行した時間、及びユーザが「ウェブページC」に対して操作を実行した時間よりも遅いため、ユーザが最後に「ウェブページA」に対して操作を実行した時間が、3つの積み重ねられたタスクカードをソートするために使用される時間として決定される。これに基づいて、第2の領域292における表示効果を図4Nに示す。
任意選択で、本出願の本実施形態におけるマルチタスク管理インターフェースでは、プライバシー・セッティング操作が、第1の電子デバイス上のデバイス・ラベルに対して実行されてもよく、第2の電子デバイスのいくつか又はすべてが、第1の電子デバイスの履歴タスク記録の表示をスキップするようにし、第1の電子デバイスの一時的なプライバシー要件を満たすようにする。
実装では、第8の操作が1つ以上の第2のラベルに対して実行され、第8の操作が実行された第2のラベルに対応する第2の電子デバイスが、第1の電子デバイスの履歴タスク記録の表示をスキップする。
第8の操作は、任意のプリセット操作、例えばタッチしたままであってもよい。第8の操作の特定の形式は、本出願の本実施態様において限定されない。一般に、ユーザはまた、第2のラベルを選択又は選択解除するときにデバイス・ラベルに対して操作を実行する必要があるため、混乱を避けるために、第2のラベルを選択又は選択解除する操作及び第8の操作は異なる操作にセットされてもよい。
例えば、図4Oは、本出願の本実施形態によるデバイス101のマルチタスク管理インターフェースの第8の例の概略図であり、図4Pは、本出願の本実施形態によるマルチタスク管理インターフェースの第9の例の概略図である。図4Oのマルチタスク管理インターフェース290の第1の領域291では、デバイス101に対応するデバイス・ラベル「マイフォン」が選択され、デバイス101の履歴タスク記録、例えばウェブページ「ウェブページA」が第2の領域292において表示される。ユーザはまた、デバイス102上で、デバイス102のマルチタスク管理インターフェースを入ってもよく、そのインターフェースは、デバイス101のマルチタスク管理インターフェースと同様である。詳細は、ここでは再度記載されない。デバイス101、デバイス103、及びデバイス102の履歴タスク記録は、デバイス102のマルチタスク管理インターフェースにおいて視認されてもよい。ユーザが、第8の操作、例えば、デバイス101のマルチタスク管理インターフェース290における第1の領域291における第2のラベル「タブレット」に対してタッチしたままを実行する場合、図4Pに示すように、第2のラベル「タブレット」の周囲に隠しアイコンが表示される。このケースでは、デバイス101のタスク履歴は、デバイス102のマルチタスク管理インターフェースにおいて視認することができない。
このように、デバイス101及びデバイス102が現在異なるユーザによって使用されているときに、デバイス101のユーザは、第8の操作を実行することによってプライバシー・セッティングを一時的に実行して、デバイス102の現在のユーザがデバイス101の履歴タスク記録を視認することを防止してもよい。プライバシー・セッティングが実行される必要がないときに、ユーザはまた、プライバシー・セッティングをキャンセルするために、デバイス101のマルチタスク管理インターフェース290における第1の領域291を押したままにしてもよい。このようにして、デバイス101のタスク履歴は、デバイス102のマルチタスク管理インターフェースにおいて視認することができる。
別の実装では、第9の操作が第1のラベルに対して実行され、すべての第2の電子デバイスが、第1の電子デバイスの履歴タスク記録の表示をスキップするようにする。
第9の操作は、任意のプリセット操作、例えばタッチしたままであってもよい。第9の操作の特定の形式は、本出願の本実施態様において限定されない。一般に、ユーザはまた、第1のラベルを選択又は選択解除するときにデバイス・ラベルに対して操作を実行する必要があるため、混乱を避けるために、第1のラベルを選択又は選択解除する操作及び第9の操作は異なる操作にセットされてもよい。第9の操作と第8の操作は、異なる操作にセットされてもよいし、同じ操作にセットされてもよい。これは、本出願において限定されない。
例えば、図4Qは、本出願の本実施形態によるデバイス101のマルチタスク管理インターフェースの第10の例の概略図であり、図4Rは、本出願の本実施形態によるデバイス101のマルチタスク管理インターフェースの第11の例の概略図である。図4Qに示すように、ユーザが、第9の操作、例えば、デバイス101のマルチタスク管理インターフェース290における第1の領域291における第1のラベル「マイフォン」に対してタッチしたままを実行する場合、図4Rに示すように、第1のラベル「マイフォン」の周囲に隠しアイコンが表示される。このケースでは、デバイス101の履歴タスク記録は、デバイス101以外のシステムの他のデバイス、例えばデバイス102及びデバイス103のマルチタスク管理インターフェースにおいて視認することができない。
このように、デバイス101のユーザは、第9の操作を実行することによってプライバシー・セッティングを一時的に実行して、デバイス102のような第2の電子デバイスの現在のユーザがデバイス101の履歴タスク記録を視認することを防止してもよい。プライバシー・セッティングが実行される必要がないときに、ユーザはまた、プライバシー・セッティングをキャンセルするために、デバイス101のマルチタスク管理インターフェース290における第1の領域291における第1の電子デバイスを押したままにしてもよい。このように、デバイス101の履歴タスク記録は、デバイス102及びデバイス103などの第2の電子デバイスによって視認することができる。
実施形態2
本実施形態では、ターゲット・デバイスは、第2の電子デバイスのいずれか1つであり、ソース・デバイスは、第1の電子デバイスであってもよいし、ターゲット・デバイスとは異なる任意の第2の電子デバイスであってもよい。
最初に、第1の電子デバイスは、ユーザによって実行された第1の操作を受信し、第1の電子デバイスは、第1の操作に応答して、マルチタスク管理インターフェースを表示する。
第1の操作及びマルチタスク管理インターフェースについては、実施形態1の関連説明を参照のこと。詳細は、ここでは再度記載されない。
次いで、第1の電子デバイスは、第1のタスク記録に対してユーザによって実行された共有操作を受信する。第1の電子デバイスは、共有操作に応答して、ターゲット・デバイスが、第1のタスク記録に対応する少なくとも1つのタスクを表示することを可能にする。
本実施形態では、ソース・デバイスが、第1の電子デバイスであってもよいし、ターゲット・デバイスとは異なる任意の第2の電子デバイスであってもよいため、第1のタスク記録は、第1の電子デバイス、又はターゲット・デバイスとは異なる任意の第2の電子デバイスの履歴タスク記録における任意のタスク記録である。
デバイスをまたいで処理されることが期待されるタスクに対応するタスク記録、すなわち第1のタスク記録を決定した後、ユーザは、タスク記録に対して共有操作を実行してもよく、第1の電子デバイスが、第1のタスク記録に対応する少なくとも1つのタスクを表示するようにする。
ターゲット・デバイスとして使用される第2の電子デバイスは、第1のタスク記録に対応する少なくとも1つのタスクを、複数の異なる表示方式で表示する。これに対応して、ユーザは、異なる共有操作を実行してもよく、第1の電子デバイスが、異なる共有操作に基づいて、ユーザが第2の電子デバイスが表示を実行することを期待する方式を識別することができる。
実装では、ユーザは、第1のタスク記録及び任意の第2の電子デバイスに対応するデバイス・ラベルに対して第3の操作を実行してもよい。第1の電子デバイスは、第3の操作に応答して、第3の操作に対応する第2の電子デバイスが、第1のタスク記録に対応する少なくとも1つのタスクを表示することを可能にする。
第3の操作は、任意のプリセット操作、例えばドラッグであってもよい。第3の操作の特定の形式は、本出願の本実施態様において限定されない。第3の操作は、1つの操作であってもよいし、複数の操作を含む操作の組み合わせ、例えば、タッチしたままドラッグであってもよい。これはまた、本出願において限定されない。混乱を避けるために、第3の操作と第2の操作は異なる操作にセットされてもよい。
例えば、図5A~図5Cを参照する。例えば、図5Aは、第1の操作が実行される前のデバイス101上に表示されたユーザ・インターフェースの第3の例の概略図であり、図5Bは、本出願の本実施形態によるデバイス101のマルチタスク管理インターフェースの第12の例の概略図であり、図5Cは、本出願の本実施形態による第3の操作が実行された後のデバイス101上に表示されたユーザ・インターフェースの第1の例の概略図である。
図5Aから分かるように、ユーザ・インターフェース205は、デバイス101上でビデオ・アプリケーション・ソフトウェアにおけるページ「ムービーA」を表示する。ユーザは、ユーザ・インターフェース205において第1の操作を実行し、例えば、ユーザ・インターフェース205の底部から上にスライドする。第1の操作を受信した後、デバイス101は、図5Bに示すように、第1の操作に応答して、マルチタスク管理インターフェース290を表示する。実施形態1のマルチタスク管理インターフェースと同様に、マルチタスク管理インターフェース290はまた、第1の領域291及び第2の領域292を含む。第1の領域291において現在選択されている第1のラベル「マイフォン」に対応するデバイスはデバイス101であるため、第2の領域292は、デバイス101の履歴タスク記録、すなわちタスクカード2921を表示する。第2の領域292では、ユーザは、別のタスクカード2921を視認するために左又は右にスライドして、ユーザが第1の電子デバイス又は別の第2の電子デバイス上で処理を続けることを望むタスクを選択するようにしてもよい。
ユーザがデバイス102上のタスク「ムービーB」をデバイス103と共有したいと想定すると、ユーザは、デバイス101のマルチタスク管理インターフェース290に対して第3の操作を実行する。例えば、ユーザは、「ムービーB」のタスクカードをタッチしたままにし、次いで、「ムービーB」を第1の領域291におけるデバイス103に対応するデバイス・ラベル「TV」にドラッグする。デバイス101は、第3の操作を受信し、第3の操作に応答して、ビデオ・アプリケーション・ソフトウェアにおけるビデオ「ムービーB」のタスクをデバイス103と共有する。デバイス103は、図5Cに示すように、タスクのユーザ・インターフェース301を表示する。このように、ユーザは、デバイス103上で、デバイス101上のビデオの視聴を続けることができ、それにより、クロスデバイス・タスク処理を実装する。
別の例では、図5Dは、本出願の本実施形態によるデバイス101のマルチタスク管理インターフェースの第13の例の概略図であり、図5Eは、本出願の本実施形態による第3の操作が実行された後のデバイス101上に表示されたユーザ・インターフェースの第2の例の概略図である。
ユーザは、デバイス101のディスプレイの任意のユーザ・インターフェース上で第1の操作を実行し、図5Bに示すように、マルチタスク管理インターフェース290に入る。次いで、ユーザは、第1の領域291における1つ以上のデバイス・ラベルを選択する。図5Dに示す例では、ユーザによって選択されたデバイス・ラベルは、第2のラベル「タブレット」であり、第2の領域292は、デバイス102の履歴タスク記録、すなわちタスクカード2921などを表示する。第2の領域292では、ユーザは、別のタスクカード2921を視認するために左又は右にスライドして、ユーザが第1の電子デバイス又は別の第2の電子デバイス上で処理を続けることを望むタスクを選択するようにしてもよい。
ユーザがデバイス102上の2つの関連タスク、すなわち、ウェブページ「ウェブページD」及びビデオ・プレーヤをデバイス103と共有したいと想定すると、ユーザは、デバイス101のマルチタスク管理インターフェース290に対して第3の操作を実行する。例えば、ユーザは、2つの関連タスクを含むタスクカード2921にタッチしたままにし、次いで、第1の領域291のデバイス103に対応するデバイス・ラベル「TV」にタスクをドラッグする。デバイス101は、第3の操作を受信し、第3の操作に応答して、2つの関連タスクをデバイス103と共有する。デバイス103は、図5Eに示すように、タスクのユーザ・インターフェース302を表示する。このようにして、ユーザは、デバイス103上で、デバイス102上のウェブページ「ウェブページD」のブラウズ、及びビデオの視聴を分割スクリーン方式で続けることができ、それにより、クロスデバイス・タスク処理を実装する。
第1のタスク記録が複数のタスクに対応するときに、いくつかのケースでは、ターゲット・デバイスがタスクのいくつかのみの実行をサポートしてもよい。このケースでは、ターゲット・デバイスが、ターゲット・デバイスによってサポートされていないタスクを表示せず、ターゲット・デバイスによってサポートされている複数のタスクをのみを分割スクリーン形式でするか、又はターゲット・デバイスによってサポートされているタスクを個別に表示してもよい。
例えば、デバイス103には、ビデオ・プレーヤはインストールされているが、ブラウザはインストールされていない。このケースでは、ユーザは、図5Dに示すマルチタスク管理インターフェース290において、第3の操作を実行、例えば、2つの関連タスクを含むタスクカード2921をタッチしたままにし、次いで、第1の領域291におけるデバイス103に対応するデバイス・ラベル「TV]にタスクをドラッグする場合、デバイス103がウェブページ「ウェブページD」を実行するためのデータを取得する場合でも、ブラウザがデバイス103にインストールされておらず、デバイス103がウェブページ「ウェブページD」の実行をサポートしないため、デバイス103は、ウェブページ「ウェブページD」を実行するためのユーザ・インターフェースを表示することができない。このケースでは、デバイス103は、ビデオ・プレーヤのユーザ・インターフェースのみを表示する。
別の表示方式では、ユーザは、第1のタスク記録及び任意の第2の電子デバイスに対応するデバイス・ラベルに対して第7の操作を実行してもよい。第1の電子デバイスは、第7の操作に応答して、第7の操作に対応する第2の電子デバイスが、第2の電子デバイスのフォアグラウンドで実行しているタスクと、第1のタスク記録に対応する少なくとも1つのタスクとを、分割スクリーン形式で表示することを可能にする。
第7の操作は、任意のプリセット操作であってもよい。第7の操作の特定の形式は、本出願の本実施態様において限定されない。第7の操作は、1つの操作であってもよいし、複数の操作を含む操作の組み合わせ、例えば、ダブル・タップとドラッグであってもよい。これはまた、本出願において限定されない。一般に、混乱を避けるために、第7の操作と第3の操作を異なる操作にセットすべきである。実施形態1における第7の操作と第6の操作も、同じ操作又は異なる操作にセットされてもよい。これはまた、本出願において限定されない。
本出願では、第6の操作及び第7の操作などの操作は、まとめて分割スクリーン操作と呼ばれることがある。分割スクリーン操作は、第1のタスク記録及びターゲット・デバイスに対応するデバイス・ラベルに対する操作であってもよい。分割スクリーン操作は、ターゲット・デバイスが、第1のタスク記録に対応する少なくとも1つのタスクと、ターゲット・デバイスのフォアグラウンドで実行しているタスクとを、分割スクリーン形式で表示することを可能にするために使用される。
さらに別の表示方法では、ユーザは、第1のタスク記録におけるファイル及び任意の第2の電子デバイスに対応するデバイス・ラベルに対して第5の操作を実行してもよい。第1の電子デバイスは、第5の操作に応答して、第5の操作に対応する第2の電子デバイスが、第1のタスク記録におけるファイルを受信することを可能にする。追加的に、ファイルを開くことができるアプリケーションが第5の操作に対応する第2の電子デバイスにインストールされている場合、第2の電子デバイスがそのファイルを表示することが可能となる。
マルチデバイス・システムにおいて複数の第2の電子デバイスがあるときに、本実施形態では複数の可能なターゲット・デバイスがある。これに基づいて、第5の操作が実行され、第1の電子デバイスが、受信された第5の操作に基づいて、特定の第2の電子デバイスが、ユーザが選択することを期待するターゲット・デバイスであることを決定することができる。
図5F~図5Hを参照する。例えば、図5Fは、第1の操作が実行される前のデバイス101上に表示されたユーザ・インターフェースの第4の例の概略図であり、図5Gは、本出願の本実施形態によるマルチタスク管理インターフェースの第14の例の概略図であり、図5Hは、本出願の本実施形態による第5の操作が実行された後のデバイス102上に表示されたユーザ・インターフェースの第1の例の概略図である。
図5Fから分かるように、ユーザ・インターフェース206は、デバイス101のファイル・マネージャ・インターフェースを表示する。ユーザは、ユーザ・インターフェース206において第1の操作を実行し、例えば、ユーザ・インターフェース206の底部から上にスライドする。第1の操作を受信した後、デバイス101は、図5Bに示すように、第1の操作に応答して、マルチタスク管理インターフェース290を表示する。第1の領域291において現在選択されている第1のラベル「マイフォン」に対応するデバイスはデバイス101であるため、第2の領域292は、デバイス101の履歴タスク記録、すなわちタスクカード2921を表示する。第2の領域292では、ユーザは、別のタスクカード2921を閲覧するために左又は右にスライドしてもよい。ユーザは、タスクカード2921からタスクにおけるデータを選択し、さらなる処理のために別の適切なデバイスにデータを伝送してもよい。
ユーザが、デバイス101の履歴タスク記録のファイル・マネージャ・インターフェースにおけるファイル「11.xls」をデバイス102と共有したいと想定すると、ユーザは、デバイス101のマルチタスク管理インターフェース290において第5の操作を実行する。例えば、ユーザはファイル・マネージャ・タスクカードにおける「11.xls」を押したままにしてファイルを選択し、次いで、ファイルを第1の領域291におけるデバイス102に対応するデバイス・ラベル「タブレット」にドラッグする。デバイス101は、第5の操作を受信し、第5の操作に応答して、ファイル・マネージャ・インターフェースにおけるファイル「11.xls」をデバイス102に送信する。ファイルを開くできるアプリケーションがデバイス102にインストールされている場合、ファイル「11.xls」が直接オープンされ、図5Hに示すように、ファイルをオープンするユーザ・インターフェース401が表示される。このように、ユーザは、デバイス102上で「11.xls」ファイルの処理を続けることができ、それにより、クロスデバイス・タスク処理を実装する。現在、ファイル「11.xls」を開くことができるアプリケーションがデバイス102にインストールされていない場合、デバイス102は、ファイルを受信し、次いで、そのファイルをデバイス102に記憶し、ユーザの後続の操作を待機する。
本出願では、第4の操作及び第5の操作などの操作は、まとめて伝送操作と呼ばれることがある。伝送操作は、第1のタスク記録及びターゲット・デバイスに対応するデバイス・ラベルに対する操作であってもよい。伝送操作は、ターゲット・デバイスが、伝送操作に対応する第1のタスク記録におけるファイルを受信することを可能にするために使用される。
本実施形態の方法は実行され、第1の電子デバイスは、第1の電子デバイス又は第2の電子デバイス上のタスク又はタスクにおけるファイルを別の第2の電子デバイスと共有することができ、ユーザは、タスク又はタスクにおけるファイルを処理するために、より適切な第2の電子デバイスを選択することができるようにする。
実施形態1における、複数のタスク記録を表示するための方法、プライバシー・セッティング方法、第1のタスク記録に対応する1つ以上の関連タスクを表示するための方法、ソース・デバイスからターゲット・デバイスによって、タスクを実行するために必要なデータを取得するための方法などがまた、本実施形態に適用されてもよいと留意されたい。実施形態3
前述の実施形態は、ハードウェア構造、ソフトウェア・アーキテクチャ、並びに電子デバイスのソフトウェア及びハードウェアによって実行されるステップの観点から、本出願に提供される対話方法の解決策を記載する。当業者は、前述の実施形態に記載のステップを参照すると、本出願における対話方法は、ハードウェア又はコンピュータ・ソフトウェアの形式のみならず、ハードウェア及びコンピュータ・ソフトウェアの組み合わせの形式でも実装され得ると容易に認識すべきである。機能がどのように実装されるかは、特定の用途及び技術的解決策の設計上の制約に依存する。
本実施形態は、電子デバイスを提供する。実装では、電子デバイスは、機能モジュールに分割されてもよい。機能モジュールが機能に基づいて分割を介して取得されるときに、図6は、本出願による電子デバイスの実装の構造の概略図である。電子デバイス500は、少なくとも1つの入力/出力モジュール501及び少なくとも1つの処理モジュール502を含む。
少なくとも1つの入力/出力モジュール501は、マルチタスク管理インターフェースを表示し、マルチタスク管理インターフェースにおける第1のタスク記録に対してユーザによって実行された共有操作を受信するように構成されており、マルチタスク管理インターフェースは、N個のデバイス・ラベル及び少なくとも1つのタスク記録を含み、N個のデバイス・ラベルは、それぞれN個の電子デバイスに対応し、Nは1よりも大きい正の整数であり、第1のタスク記録は、ソース・デバイスのタスク記録のいずれか1つであり、ソース・デバイスは、N個の電子デバイスのいずれか1つである。
少なくとも1つの処理モジュール502は、共有操作に応答して、ターゲット・デバイスが、第1のタスク記録に対応する少なくとも1つのタスクを表示することを可能にするように構成されており、ターゲット・デバイスは、N個の電子デバイスのうちのいずれか1つであり、ターゲット・デバイスは、ソース・デバイスとは異なる。
任意選択で、少なくとも1つの処理モジュール502が、第1のタスク記録に対してユーザによって実行された第2の操作に応答して、第1のタスク記録に対応する少なくとも1つのタスクを表示するようにさらに構成されている。
任意選択で、N個の電子デバイスが、少なくとも1つの第2の電子デバイスを含む。少なくとも1つの処理モジュール502が、第1のタスク記録及び第2の電子デバイスに対応するデバイス・ラベルに対してユーザによって実行された第3の操作に応答して、第3の操作に対応する第2の電子デバイスが、第1のタスク記録に対応する少なくとも1つのタスクを表示することを可能にするようにさらに構成されている。
任意選択で、少なくとも1つの処理モジュール502が、第1のタスク記録が少なくとも2つの関連タスクに対応するときに、共有操作に応答して、ターゲット・デバイスが少なくとも2つの関連タスクを分割スクリーン形式で表示することを可能にするようにさらに構成されており、関連タスクは、ソース・デバイス上で分割スクリーン形式で表示されるタスクである。
任意選択で、少なくとも1つの処理モジュール502が、第1のタスク記録及びターゲット・デバイスに対応するデバイス・ラベルに対してユーザによって実行された分割スクリーン操作に応答して、ターゲット・デバイスが、第1のタスク記録に対応する少なくとも1つのタスク及びターゲット・デバイスのフォアグラウンドで実行しているタスクを分割スクリーン形式で表示することを可能にするようにさらに構成されている。
任意選択で、少なくとも1つの処理モジュール502が、第1のタスク記録におけるファイル及びターゲット・デバイスに対応するデバイス・ラベルに対してユーザによって実行された伝送操作に応答して、ターゲット・デバイスが、ファイルを受信することを可能にするようにさらに構成されている。
任意選択で、少なくとも1つの入力/出力モジュール501が、ユーザによって実行された第1の操作を受信し、第1の操作に応答して、マルチタスク管理インターフェースを表示するようにさらに構成されている。
任意選択で、少なくとも1つの入力/出力モジュール501が、デバイス・ラベルに対してユーザによって実行された選択操作を受信し、選択されたデバイス・ラベルに対応する電子デバイスの少なくとも1つのタスク記録を表示するようにさらに構成されている。
任意選択で、マルチタスク管理インターフェースにおいて複数のデバイス・ラベルが選択され、選択されたデバイス・ラベルにそれぞれ対応する電子デバイスに少なくとも1つの同じアプリケーションがインストールされているときに、マルチタスク管理インターフェースは、少なくとも1つの同じアプリケーションに基づいたカテゴリ別で、選択されたデバイス・ラベルにそれぞれ対応する電子デバイスのタスク記録を表示する。
任意選択で、マルチタスク管理インターフェースにおいて複数のデバイス・ラベルが選択されたときに、マルチタスク管理インターフェースは、選択されたデバイス・ラベルにそれぞれ対応する電子デバイスのタスク記録を時系列で表示する。
任意選択で、N個のデバイス・ラベルは、第1の電子デバイスに対応する第1のラベルと、第2の電子デバイスに対応する少なくとも1つの第2のラベルとを含む。
任意選択で、少なくとも1つの処理モジュール502が、少なくとも1つの第2のラベルに対してユーザによって実行された第8の操作に応答して、第8の操作に対応する第2のラベルに対応する第2の電子デバイスが、第1の電子デバイスのタスク記録の表示をスキップすることを可能にするようにさらに構成されている。
任意選択で、少なくとも1つの処理モジュール502が、第1のラベルに対するユーザによって実行された第9の操作に応答して、第2の電子デバイスのすべてが、第1の電子デバイスのタスク記録の表示をスキップすることを可能にするようにさらに構成されている。
本出願の実施形態において、電子デバイスの機能モジュールへの分割は一例であり、単なる論理機能分割に過ぎないと留意されよう。実際の実装の際、別の分割方式が使用されてもよい。例えば、入力/出力モジュール501の機能が実装のためにタッチ・スクリーンに一体化されてもよく、処理モジュール502の機能が実装のためにプロセッサに一体化されてもよい。
電子デバイスの別の実装では、独立して実行する機能エンティティが、1つのハードウェア・エンティティに一体化されてもよい。図7は、本出願による電子デバイスの別の実装の構造の概略図である。図7は、独立した機能エンティティの観点から、本出願における電子デバイスを記載する。電子デバイス600は、少なくとも1つの入力/出力装置601、少なくとも1つのメモリ602、及び少なくとも1つのプロセッサ603を含んでもよい。
少なくとも1つの入力/出力装置601は、ユーザによって実行される操作を受信し、情報をユーザに提示するように構成されている。実際のアプリケーションでは、入力/出力装置601は、タッチ・スクリーン、入力キーボード、ディスプレイ、ホログラフィック投影デバイス、仮想現実デバイスなどの1つ又は複数の組み合わせを含んでもよい。
少なくとも1つのメモリ602は、1つ以上のコンピュータ・プログラム又は命令を記憶する。メモリ602は、揮発性メモリ(volatile memory)、例えばランダム・アクセス・メモリ(random access memory、RAM)を含んでもよく、不揮発性メモリ(non-volatile memory)、例えばフラッシュ・メモリ(flash memory)、ハード・ディスク・ドライブ(hard disk drive、HDD)、又はソリッドステート・ドライブ(solid-state drive、SSD)をさらに含んでもよい。メモリ602は、前述のタイプのメモリの組み合わせをさらに含んでもよい。メモリ602は、コンピュータ実行可能なプログラム又は命令を記憶してもよい。例えば、メモリ602は、内部メモリ121と同じであってもよい。
プロセッサ603は、メモリ602に記憶された命令を実行して、電子デバイスの機能又はデータ処理を実装する。例えば、プロセッサ603は、メモリ602に記憶されたプログラム又は命令を実行し、電子デバイス600が、任意の対話方法のいくつか又はすべてのステップを実装するようにする。
プロセッサ603は、1つ以上の処理ユニットを含んでもよい。例えば、プロセッサ603は、アプリケーション・プロセッサ(application processor、AP)、モデム・プロセッサ、グラフィック処理ユニット(graphics processing unit、GPU)、画像信号プロセッサ(image signal processor、ISP)、コントローラ、ビデオ・コーデック、デジタル信号プロセッサ(digital signal processor、DSP)、ベースバンド・プロセッサ、ニューラルネットワーク処理ユニット(neural-network processing unit、NPU)などを含んでもよい。異なる処理ユニットは、独立したコンポーネントであってもよいし、1つ以上のプロセッサに一体化されてもよい。プロセッサ603は、さらに、ハードウェア・チップを含んでもよい。前述のハードウェア・チップは、特定用途向け集積回路(application-specific integrated circuit、ASIC)、プログラマブル・ロジック・デバイス(programmable logic device、PLD)、又はそれらの組み合わせであってもよい。PLDは、複雑なプログラマブル論理デバイス(complex programmable logic device、CPLD)、フィールド・プログラマブル・ゲート・アレイ(field-programmable gate array、FPGA)、汎用アレイ論理(generic array logic、略してGAL)、又はそれらの任意の組み合わせであってもよい。例えば、プロセッサ603は、プロセッサ110と同じであってもよい。
一実施形態は、コンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体は、コンピュータ・プログラム又は命令を記憶するように構成されている。コンピュータ・プログラム又は命令が電子デバイス上で実行されるときに、電子デバイスは、実施形態1又は実施形態2における第1の電子デバイスによって実行される任意の方法のステップのいくつか又はすべてを実行することが可能となる。
本明細書における可読記憶媒体は、磁気ディスク、光ディスク、DVD、USB、読み出し専用メモリ(ROM)、ランダム・アクセス・メモリ(RAM)などであり得る。具体的な記憶媒体形式は、本出願において限定されない。
前述の方法の実施形態のすべて又はいくつかは、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせを使用して実装されてもよい。ソフトウェアが前述の実施形態を実装するために使用されるときに、実施形態のすべて又はいくつかは、コンピュータ・プログラム製品の形式で実装されてもよい。コンピュータ・プログラム製品は、1つ以上のコンピュータ命令を含む。コンピュータ・プログラム命令がロードされ、コンピュータ上で実行されるときに、本出願における手順又は機能のすべて又はいくつかが生成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータ・ネットワーク、又は他のプログラム可能なデバイスであり得る。コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよいし、1つのコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に伝送されてもよい。例えば、コンピュータ命令は、ウェブサイト、コンピュータ、サーバ、又はデータ・センタから、有線(例えば、同軸ケーブル、光ファイバ、若しくはデジタル加入者線(DSL))又は無線(例えば、赤外線、ラジオ、若しくはマイクロ波)において別のウェブサイト、コンピュータ、サーバ、又はデータ・センタに伝送されてもよい。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能な任意の使用可能な媒体、又は1つ以上の使用可能な媒体を一体化するサーバ若しくはデータ・センタなどのデータ記憶デバイスであり得る。使用可能な媒体は、磁気媒体(例えば、フロッピー・ディスク、ハード・ディスク、又は磁気テープ)、光媒体(例えば、DVD)、又は半導体媒体(例えば、ソリッドステート・ドライブ(Solid-State Drive、SSD))などであってもよい。
本出願の様々な実施態様では、各ステップの実行シーケンスは、ステップの機能及び内部論理に基づいて決定されるべきであると理解されたい。各ステップのシーケンス番号は、実行シーケンスを意味するものではなく、実施形態の実装プロセスに対する限定を構成するものではない。
特に断らない限り、本明細書における「複数の」とは、2つ以上を意味する。本出願の実施形態においては、基本的に同じ機能及び効果を有する同じ項目又は類似の項目を区別するために、「第1」及び「第2」などの文言が使用される。「第1」、「第2」などの文言は、数及び実行シーケンスに対する限定を構成せず、「第1」、「第2」などの用語は、必要な差異を示すものではないと、当業者には理解されよう。
本明細書における実施形態の実装は、互いに論理的に矛盾しない限り、互いに組み合わされ得るとさらに理解されたい。実施形態における同一又は類似の部については、互いに参照する。特に、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータ・プログラム製品の実施形態は、基本的に、方法の実施形態と類似しているため、簡単に記載される。関連部分については、本方法の実施形態における説明を参照のこと。前述の実装は、本出願の保護範囲を限定することを意図していない。