JP2016503218A - 生産性アプリケーションのための予測コンテキストツールバー - Google Patents

生産性アプリケーションのための予測コンテキストツールバー Download PDF

Info

Publication number
JP2016503218A
JP2016503218A JP2015552842A JP2015552842A JP2016503218A JP 2016503218 A JP2016503218 A JP 2016503218A JP 2015552842 A JP2015552842 A JP 2015552842A JP 2015552842 A JP2015552842 A JP 2015552842A JP 2016503218 A JP2016503218 A JP 2016503218A
Authority
JP
Japan
Prior art keywords
command
user
toolbar
identifiable
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2015552842A
Other languages
English (en)
Inventor
エム. ボーゼロ,エリック
エム. ボーゼロ,エリック
アール. ケリー,キャサリーン
アール. ケリー,キャサリーン
マーカス,サード リード,チャールズ
マーカス,サード リード,チャールズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2016503218A publication Critical patent/JP2016503218A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

予測されるコマンドを表面化できる識別可能な領域を提供する予測コンテキストツールバーが提示される。このユーザインターフェースは、例えば、ユーザが生産性アプリケーションのキャンバスと対話している間に、コマンド(書式設定ツールなど)を求める要求の指示を受けた場合に提示され得る。予測コマンドを表面化するための条件が満たされたとき、システムは、予測コマンドを表面化するための条件に関連するコンテキストに従って、予測されるコマンドが表面化される識別可能な領域を表示することができる。識別可能な領域は、ミニツールバーの拡張とすることができる。1つまたは複数の動的な予測されるコマンドが識別可能な領域上に表面化されて、容易にアクセスできる、ユーザ特有のコンテキストに関連するコマンドを提供することができる。

Description

[0001] 生産性アプリケーションは、人が指先でコンテンツを作成し変更することができる著しい能力を提供する。これらのプログラムがより多くの特徴および機能を含めるように拡張されるにつれて、ユーザが実施できる利用可能なコマンドの数が増加する。生産性アプリケーションのためのユーザインターフェースは、一般に、ユーザがコマンドを実行するためにアプリケーションの特徴および機能にアクセスできるようにするメニューおよびツールバーを含む。しかし、ユーザがあるタスクを行うために必要な機能を見出すことは課題となり得る。ユーザが様々なメニューでコマンドを探して時間を費やすことは珍しいことではなく、それにより生産性が下がり、不満が増加する。
[0002] 生産性アプリケーションにおいて予測されるコマンドを表面化するための識別可能な領域およびツールバーが提供される。いくつかの実施形態によれば、表面化されるコマンドの予測的な性質は、ユーザ特有のものとすることができ、コンテキストに基づくものとすることもできる。例えば、ツールバー内に一般的に共通して使用されるコマンドを提示するだけではなく、ユーザおよび/または文書内におけるユーザのアクションに基づいて予測され、かつ提示された1つまたは複数の予期または示唆されるコマンドの選択されたものを明確に提供する領域が表示され得る。
[0003] 一態様によれば、ユーザが、コンテンツを作成または変更する間に使用するために選択するコマンドが表面化され得る識別可能な領域が提供される。識別可能な領域は、ユーザが選択および使用するために、示唆または予期されるツールの選択肢を提示することにより、ソフトウェアアプリケーションとのユーザ体験を向上させることができる。
[0004] 他の態様によれば、ユーザが、予想される共通のコマンド、ならびに1つまたは複数の示唆または予期されるコマンドを継続して利用可能であるように、既存のツールバーもしくはメニューの指定された領域が提供される。
[0005] この発明の概要は、発明を実施するための形態において以下でさらに述べられる概念の選択を簡単に導入するために提供される。この発明の概要は、特許請求される主題の重要な特徴、または本質的な特徴を特定するものではなく、特許請求される主題の範囲を限定するために使用されることも意図していない。
[0006]本発明の様々な実施形態を実施できる例示的な動作環境を示す図である。 [0007]予測コンテキストツールバーを利用するための例示的なプロセスを示す図である。 [0008]識別可能な予測コマンド領域を有するミニツールバーの例を示す図である。 識別可能な予測コマンド領域を有するミニツールバーの例を示す図である。 識別可能な予測コマンド領域を有するミニツールバーの例を示す図である。 [0009]識別可能な予測コマンド領域を有する例示的なパレットツールバーを示す図である。 [0010]例示的な識別可能な予測コマンド領域を示す図である。 例示的な識別可能な予測コマンド領域を示す図である。 例示的な識別可能な予測コマンド領域を示す図である。 例示的な識別可能な予測コマンド領域を示す図である。 [0011]本発明の実施形態によるタッチ操作可能な予測コンテキストツールバーユーザインターフェースを備えた例示的なタブレットデバイスを示す図である。 [0012]予測コンテキストツールバーの機能を示す図である。 予測コンテキストツールバーの機能を示す図である。 予測コンテキストツールバーの機能を示す図である。 [0013]本発明の実施形態を実施できるユーザデバイスに対する例示的なアーキテクチャを示す図である。 [0014]いくつかの実施形態で使用されるコンピューティングデバイスの構成要素を示すブロック図である。
[0015] 本明細書で述べる概念および技術のいくつかによれば、予測されるコマンドを表面化できる識別可能な領域を提供する予測コンテキストツールバーが提示される。識別可能な領域は、生産性アプリケーション内で、ユーザが、次に使用される可能性の高い機能またはコマンドに容易にアクセスできるようにする。
[0016] コマンドを表面化するための識別可能な領域は、一貫した位置にあることにより、またはコマンド(複数可)を提示することにより「識別可能」であり、また生産性アプリケーションのグラフィカルユーザインターフェース内の任意の適切な位置に配置することができる。
[0017] 生産性アプリケーションは、文書、プレゼンテーション、スプレッドシート、データベース、チャートおよびグラフ、画像、ビデオ、オーディオなどを作成および変更するためのオーサリングツールを含む。これらのアプリケーションは、ワードプロセッシングソフトウェア、スプレッドシートソフトウェア、個人情報管理(PIM: personal information management)および電子メール通信ソフトウェア、プレゼンテーションプログラム、ノート取り/ストーリーテリングソフトウェア、線図および流れ図作成ソフトウェアなどの形態とすることができる。生産性アプリケーションの例は、MICROSOFT(登録商標) WORD、 MICROSOFT EXCEL(登録商標)、 MICROSOFT ONENOTE(登録商標)など、本件出願人からのアプリケーションであるMICROSOFT OFFICE群を含み、そのすべてが本件出願人の登録商標である。
[0018] 本発明のいくつかの実施形態は、ユーザが必要なときに必要なツールを見出す助けとなることを対象としている。この手法の一部は、予測されるコマンドを表面化できる識別可能な領域を提供することである。予測コマンドは、システムが、特定のユーザに必要であると考える動的に生成されたコマンドとすることができる。ユーザがどのコマンドを選択することを望むかを予測する際に、ユーザの履歴が関与することができるが、予測コマンドは、ユーザが以前使用したものに基づくだけではなく、特定のコンテキストでユーザが使用することを望む可能性のあるコマンドに基づくこともできる。
[0019] 実施形態によれば、表面化されたコマンドは、ユーザにより(能動的に)カスタマイズされない。
[0020] 識別可能な領域に表面化されたコマンドは動的なものである。「動的な」コマンドとは、コマンドの予測的な性質のことである。概して大部分のユーザにより一般に使用されるコマンドを、またはプログラムの起動時に特定のユーザの一般的なアクティビティに合わせてさらにカスタマイズされたコマンドを単に提示するのではなく、予測されるコマンド(またはある閾値を超える可能性を有する複数のコマンド)が、プログラム全体にわたって、かつその使用中の任意の時に提示され得る。コマンド(複数可)は、コンテキストに特有なものとすることができ、またユーザの以前のアクション(およびコマンド)に基づいて、必要に応じて変化することができる。
[0021] 識別可能な領域上で表面化されたコントロールは、表面化されたコマンドが、プログラム内でユーザにより行われた前のアクションに応じて、ならびに書式設定(または他のコマンド)を適用するためにユーザにより選択された特定のコンテンツに応じて変化するという点で、コンテキストに関連する。
[0022] 任意の数のコマンドが、予測部分の上に表面化され得る。2〜5個の予測されるコマンドを所与の時間に表面化することが企図されるが、諸実施形態は、さらに多くの、またはより少ない予測されるコマンドを表面化することができる。例えば、コンテキストに応じて、1、2、または3個のコマンドを表面化することができ、2個のコマンドを常に表面化することができ、3個のコマンドを常に表面化することができ、3〜5個のコマンドを表面化することができ、5個を超えるコマンドを表面化することができ、あるいは最高で10個のコマンドを表面化することができる。
[0023] いくつかの実施形態では、既存のツールバーは、多くのユーザが使用する共通の一般的なコマンドを表面化し続けることができる。一実施形態では、予測コマンドを表面化できる識別可能な領域は、既存のツールバーまたはメニューの指定された部分とすることができる。
[0024] 「ツールバー」とは、コントロール要素のグラフィカルな表示が提供されるグラフィカルユーザインターフェースの要素のことである。ツールバーは、アプリケーション内でデータを操作するためにコマンドを適用するための対話点を提供する。ツールバーは、ボタン、メニュー、またはその両方の組合せを含むことができる。メニューは、コマンドのリストを表示する。ツールバーは、ボタンおよびその位置を主として使用することにより、「メニュー」とは区別されることが多いが、「ツールバー」と「メニュー」は、多くのシナリオで交換可能に使用することができる。
[0025] ツールバーおよびメニューは、生産性アプリケーションを含む多くのアプリケーションに関する特徴および機能へのアクセスを提供するグラフィカルユーザインターフェースを提供する。
[0026] 共通の、一般的なコマンドが提示されるツールバーの部分は、ツールバーの「静的な」部分と呼ぶことができる(予測領域は、ツールバーの「動的な」部分とすることができる)。静的な部分は、常に同じメニュー項目を提供する必要はなく、予測的ではないグラフィカルユーザインターフェースの一部であることを理解されたい。静的な部分は、システムにより指定された、またはユーザにより作成されたツールバーの一部とすることができる。静的な部分はまた、キャンバスの一部を含むことができる。
[0027] 「キャンバス」とは、コンテンツがユーザにより作成される、または消費される画面の一部のことである。
[0028] 図1は、本発明の様々な実施形態を実施できる例示的な動作環境を示している。図1を参照すると、例示的な動作環境は、ネットワーク120上で、またはネットワーク120と通信して動作できるユーザコンピューティングデバイス110を含むことができる。ユーザコンピューティングデバイス110は、ネットワーク120を介して1つまたは複数のサーバ130と通信することができる。
[0029] ネットワーク120は、これだけに限らないが、セルラ式ネットワーク(例えば、無線電話)、ポイントツーポイントのダイヤル呼出し接続、衛星ネットワーク、インターネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、WiFiネットワーク、アドホックネットワーク、またはそれらの組合せとすることができる。このようなネットワークは、ハブ、ブリッジ、ルータ、スイッチ、サーバ、およびゲートウェイなどの様々なタイプのネットワーク要素に接続するために広く使用される。ネットワーク120は、インターネットなどの公衆網、および/またはセキュアエンタープライズ専用ネットワークなどの専用ネットワークを含む1つまたは複数の接続されたネットワーク(例えば、マルチネットワーク環境など)を含むことができる。ネットワーク120へのアクセスは、当業者であれば理解されるように、1つまたは複数の有線または無線アクセスネットワークを介して提供され得る。
[0030] これもまた当業者であれば理解されるように、通信ネットワークは、いくつかの異なる形態をとることができ、またいくつかの異なる通信プロトコルを使用することができる。本発明のいくつかの実施形態は、分散コンピューティング環境で実施することができ、その場合、タスクは、通信ネットワークを介してリンクされた遠隔処理デバイスにより行われる。分散コンピューティング環境では、プログラムモジュールは、ローカルと遠隔の両方にあるコンピュータ可読記憶媒体に位置することができる。
[0031] ユーザコンピューティングデバイス110は、これだけに限らないが、パーソナルコンピュータ(例えば、デスクトップコンピュータ)、ラップトップ、携帯情報端末(PDA)、ビデオゲーム機、移動電話(またはスマートフォン)、タブレット、スレート、端末などとすることができる。ユーザコンピューティングデバイス110が、そのユーザに、ソフトウェアプログラムをロードして実行する能力を提供し、かつネットワーク120などのネットワークにアクセスする能力を提供する任意のタイプのコンピュータシステムであり得ることは明らかなはずである。
[0032] ユーザコンピューティングデバイス、例えば、ユーザコンピューティングデバイス110は、第1のコンピューティングデバイス110に動作可能に結合されたキーボードおよび/またはマウスなどを介して、ユーザ140からの入力を受け取るように構成される。ユーザコンピューティングデバイス110は、1つまたは複数のユーザインターフェース155をユーザ140に表示するように構成されたディスプレイ150(例えば、コンピュータモニタ)をさらに含むことができる。いくつかの実施形態では、ディスプレイ150をタッチスクリーンとすることができ、したがって、ユーザコンピューティングデバイス110は、ディスプレイを介してユーザ入力を受け取ることができる。
[0033] ユーザインターフェース(UI)155は、ユーザコンピューティングデバイス110で動作する、またはそれを介して表示される生産性アプリケーション160など、様々なアプリケーションと対話するために使用される。1つまたは複数のタイプの1つまたは複数のユーザインターフェースが、コンテンツと対話するために使用され得る。例えば、UI155は、コンテキストメニュー、メニューバー内メニュー、リボンユーザインターフェースから選択されたメニュー項目、グラフィカルメニューなどの使用を含むことができる。メニューは、従来のバー形式、またはリボン形式、またはコマンドのパレットもしくは他のプレゼンテーションとすることができる。概してUI155は、ユーザが、アプリケーションの機能と容易に対話できるように構成される。例えば、ユーザは、アプリケーション160で作成されたコンテンツを書式設定するなどの操作を実施するために、UI155内の選択肢を単に選択するだけでよい。
[0034] アプリケーション160は、ユーザコンピューティングデバイス110に記憶することができる(例えば、クライアントサイドのアプリケーション)。別の実施形態では、ユーザ140は、ウェブブラウザ(例えば、標準のインターネットブラウザ)を使用して、ウェブベースの(例えば、サーバ130で動作している)アプリケーションにアクセスすることができ、アプリケーションのインターフェースは、インターネットブラウザ内でユーザ140に表示され得る。したがって、アプリケーションは、クライアントサイドアプリケーション、および/または非クライアントサイド(例えば、ウェブベースの)アプリケーションとすることができる。
[0035] ユーザコンピューティングデバイス110に対する例示的なアーキテクチャが、図8および図9を参照して提供される。
[0036] 図8を参照すると、ユーザコンピューティングデバイス110に対するアーキテクチャは、デバイスオペレーティングシステム(OS)810を含むことができる。デバイスOS810は、ユーザ入力機能、出力機能、ストレージアクセス機能、ネットワーク通信機能、およびデバイスに対する他の機能を管理する。デバイスOS810は、デバイスの物理的な資源と直接関連付けることができるが、あるいはその基礎となる物理的資源により支援された仮想マシンの一部として動作することができる。多くの実装形態によれば、デバイスOS810は、ユーザのジェスチャを認識するための、かつその基礎となるハードウェア815による他のユーザ入力を認識するための機能を含む。
[0037] デバイスOS810で動作するアプリケーション830の解釈エンジン820は、デバイスOS810からのユーザ入力イベントメッセージを(例えば、割込み、ポーリングなどを介して)待ち受ける。UIイベントメッセージは、パニングジェスチャ、フリックするジェスチャ、ドラッグするジェスチャ、またはデバイスのタッチスクリーン上での他のジェスチャ、タッチスクリーン上でのタップ、キーストローク入力、または他のユーザ入力(例えば、音声コマンド、方向ボタン、トラックボール入力など)を示すことができる。解釈エンジン820は、UIイベントメッセージをアプリケーションにより理解できるメッセージへと変換する。
[0038] 本発明のいくつかの実施形態によれば、予測コンテキストツールバーは、UIとのユーザ対話に基づいてアプリケーションのUIの一部として提示され得る。
[0039] 図2は、予測コンテキストツールバーを利用するための例示的なプロセスを示している。図2を参照すると、アプリケーションが動作している間に、方法は、コンテキストを決定する(202)。コンテキストは、コンテンツ、履歴、アプリケーションタイプ、アプリケーション状態、ファイルなどを含み、それらは、ユーザの環境を生成し、かつその環境と対話するためには、どのタイプのツールまたはコマンドが利用可能であるかを示す。コンテキストの決定(202)は、ユーザが、アプリケーションにより提示されたキャンバスと対話している間に行うことができる。オペレーション204に進むと、システムは、予測コマンドを表面化するための条件(複数可)が満たされているかどうかを判定する。予測コマンドを表面化するための条件は、編集コマンドが望ましい可能性があることを示すユーザによるいくつかのアクション(または非アクション)に基づくことができる。
[0040] 編集コマンドが望ましい可能性があることを示すことのできる、(かつ予測コマンドの表面化を含意する条件とすることのできる)ユーザのアクション(または非アクション)は、これだけに限らないが、ツールバーもしくはメニューを開く操作、ある期間の不活動、コマンドの選択に至らないツールバーもしくはメニューとの一連の対話(例えば、コマンドを実行せずに、リボンスタイルのツールバーの複数のタブが選択された場合など)、コンテンツの選択、マウスからの右クリック、ジェスチャ(例えば、タッチ、タッピング、スワイプなど)、または音声入力を含むことができる。コンテンツの選択は、これだけに限らないが、マウスクリック、タッチパッド(またはタッチスクリーン)のタッチもしくはタッピング、(入力デバイスを介する)保持およびドラッグ、ジェスチャ選択、または他の適切なユーザ入力機構を含む対話により達成することができる。
[0041] オペレーション204で、予測コマンドを表面化するための条件が満たされているとアプリケーションが判定した場合、方法はオペレーション206に進み、予測されるコマンドが、識別可能な領域上に表面化されてツールバーとして出現する。
[0042] 識別可能な領域は、例えば、既存のインターフェースの拡張として、ミニツールバー、コンテキストメニュー、または他のパレットもしくはウィンドウなど、予測コントロールに対して指定された領域とすることができる。
[0043] 識別可能な(予測されるコマンドを表面化するための)領域を関連付けることのできる1つのツールバーは、ミニツールバーである。ミニツールバーとは、人々が最も使用する書式設定コマンドに容易にアクセスできるようにするツールバーのことである。ミニツールバーは、これだけに限らないが、テキスト、グラフィック、アイコン、ビデオ、ピクチャ、シンボル、それらの何らかの組合せなどを含む様々な形態をとることのできる、ツールを選択するボタンを含むことができる。ミニツールバーおよび/または識別可能な領域は、音声警報など、オーディオ構成要素を含み得ることも企図される。ミニツールバー上で利用可能なツールは、テキスト、フォント、および外観に対するコマンドを含むことができる。これらのコマンドは、位置合わせ、テキストの色、インデント、黒丸、およびフォントサイズを含むことができる。ミニツールバーは、概して、ユーザが、キャンバスにおけるコンテンツを選択するか、コンテンツ上で右クリックしたとき、自動的に表示される。
[0044] 予測されるコマンドに対する識別可能な領域を提供する拡張を有するミニツールバー(および/またはコンテキストメニューおよび/または領域メニュー)は、キャンバス上におけるユーザ対話の直近の(または現在の)位置の近傍に示すことができる。ユーザ対話の位置は、例えばコンテンツの選択、またはカーソル位置として示すことができる。
[0045] 「カーソル」は、画面上に表示される移動可能なインジケータまたはアイコンとすることができる。インジケータは、入力デバイス(例えば、マウス、キーボード、タッチパッド、またはトラックパッドなど)を介してユーザが入力すると移動することができる。ユーザは、入力デバイスと対話して、カーソルを置くことにより示された、グラフィカルユーザインターフェースへの入力を生成することができる。いくつかの実施形態では、カーソルは表示されない。そうではなくて、カーソルは、ユーザが画面にタッチしている位置とすることができる。このような実施形態では、インジケータが表示されない場合であっても、「カーソル」は、ユーザの指またはスタイラス(あるいは画面にタッチするために使用される他の物体)が移動するにつれて移動し、ユーザによりタッチされた最終位置に位置するようになる。
[0046] 場合によっては、拡張を有するミニツールバーは、最初は透明または半透明であり、ユーザがツールバー上でホバリングすると固まる(solidify)。例えば、テキストが選択されたとき、ミニツールバーが現れ始めるが、ユーザがポインタをミニツールバーに置くまで固まることはない。場合によっては、ミニツールバーが現れて固まり始めるが、ユーザがミニツールバー上でホバリングしない(またはミニツールバー上で停止しない)場合、再度消えることになる。この現象は、「シャイ(shy)」であると呼ばれ、容易に解除することができる。
[0047] ミニツールバーは、グラフィックスウィンドウ内の選択されたオブジェクトの近くのキャンバス内に表示することにより、ユーザが、アプリケーション内で利用可能なコマンドに、より迅速にアクセスできるようにし、かつ書式設定されるコンテンツ上に、またはその近傍に位置しながら、コンテンツの書式設定を容易にすることにより、ユーザのマウスもしくは手が、画面付近を移動する距離量を低減するように設計される。マウスが移動する距離が少ないことは、反復使用による(例えば、手根管など)傷害からのユーザに対するストレスが少なくなることを意味する。ミニツールバーへの拡張として提供されることにより、識別可能な領域は、ユーザに対してミニツールバーの利点を維持し、さらなる利点を提供する。
[0048] いくつかの実施形態では、識別可能な領域(ミニツールバーと一体である、またはミニツールバーなしの)は、識別可能な領域(および/または識別可能な領域が広がるミニツールバー)が、少なくとも1つの選択されたコンテンツもしくは領域の指定された距離内に位置決めされる場合、キャンバスの選択された領域(またはカーソル位置)の近傍にあると考えられる。この距離は、ミリメートル、センチメートル、インチ、ピクセル、または距離の何らかの他の単位とすることができる。いくつかの実施形態では、識別可能な領域(および/または識別可能な領域が広がるミニツールバー)は、識別可能な領域(および/または識別可能な領域が広がるミニツールバー)が、選択されたコンテンツもしくは領域の一部と少なくとも部分的に交わる場合、選択されたコンテンツの近傍にあると考えられる。選択されたコンテンツは、テキスト、画像、およびオーディオを含む複数のメディアタイプを含むことができる。
[0049] 図5Bで示されるものなど、いくつかの実施形態では、識別可能な領域は、ユーザに視認可能なようにアプリケーション内のどこかかに示されるが、選択されたコンテンツもしくは領域の近傍にあるようには考慮されない。
[0050] 予測されるコマンドに対する識別可能な領域を提供する拡張を備えたミニツールバーの例が、図3A〜図3Cで示されている。図3A〜図3Cで示すように、ミニツールバー300は、1つまたは複数の予測されるコマンドを表面化できる拡張された領域310を含むことができる。識別可能な領域410を提供するための(点線内で示される)指定された領域を備えるパレット400の例が図4に示されている。
[0051] 予測領域は、フローティングツールバー(例えば、ミニツールバー)の拡張されたものとして示されているが、予測領域は、ユーザ特有の、コンテキストに関連する予測されるコマンドを表面化する領域として識別可能であり得る任意の適切な位置に表示することができる。一実施形態では、予測されるコマンドは、設定されたコンテキストメニューもしくはツールバーとは離れたキャンバスの領域上に表面化することができる。例えば、予測領域は、クイックアクセスバーの近くに、リボンメニューの近くに、タスクペインの近くに、キャンバスの縁領域に、または図5A〜図5Dで示されるものなど、スタンドアロンの領域に位置することができる。
[0052] 図5Aを参照すると、識別可能な領域510は、静的なツールバー部分なしに表示することができる。コマンドで利用可能であることに加えて、識別可能な領域510は、ユーザの指先に位置することができる、すなわち、ユーザがキャンバスと対話すると、コマンドにより影響を受けるコンテンツの位置の近くに位置することができる。
[0053] 図5Bを参照すると、ミニツールバー520を表示することができ、同時に、識別可能な領域を表示することができ、かつ/または識別可能な領域上に、予測されるコマンドが表面化されている。例えば、識別可能な領域522がメニューバー上に位置するとき、ミニツールバー520が表示されるのと同時に、コマンドが表面化され得る。ユーザの注意をそのエリアに引きつけるために、様々な強調ルール(prominence rule)をコマンドの表面化と関連付けることができる。別の実施形態では、識別可能な領域524は、キャンバス上の任意の適切なエリアに位置するフローティング領域とすることができる。この識別可能な領域524は、予測コマンドを表面化するための条件が満たされたとき、表示することができる(例えば、図2の206)。
[0054] 図5Cおよび図5Dを参照すると、ミニツールバー520を表示することができ、同時に、予測されるコマンドが、サイドバーまたはタスクペインの識別可能な領域(526、528)上に表面化され得る。
[0055] いくつかの実施形態では、ミニツールバーおよび識別可能な領域をどのようにして目立つように示すかを定義する1つまたは複数の強調ルールが適用される。いくつかの実施形態では、強調ルールは、アプリケーションに、ツールバー/領域を静的なボタンまたはメニューと共に示すように指示する。いくつかの実施形態では、強調ルールは、アプリケーションに、識別可能な領域を備えるミニツールバー(または識別可能な領域だけ)の不透明度を、マウスもしくは他の入力(例えば、タッチ)のそのボタンへの近接性に関連させて変更するように指示する。例えば、マウスまたは他の入力デバイスにより制御されるカーソルが、ミニツールバー(または表示された識別可能な領域)から指定された距離内にあるとき、ツールバーは、100%不透明であるように提示され得るが、カーソルがツールバーから離れて移動すると、それは半透明になり、ある時点で視界から消える。
[0056] いくつかの実施形態では、強調ルールは、タッチスクリーンインターフェースを介してタッチされたとき、または他の形でユーザにより音声または何らかの他のユーザ入力を介して対話されたとき、アプリケーションに、マウスオーバー時にミニツールバーおよび/または識別可能な領域を示すように指示する。いくつかの実施形態では、強調ルールは、アプリケーションに、所定の期間にわたりツールバーを示すように指示し、それが終了するとツールバーを消失させるか、あるいは例えば、マウスオーバー時に、または何らかの他のユーザ入力により、現れるように再構成される。
[0057] いくつかの実施形態では、強調ルールは、アプリケーションに、識別可能な領域にユーザの注意を引きつけるように強調させて、識別可能な領域を備えたミニツールバーを(または識別可能な領域だけで)示すように指示する。識別可能な領域がテキストを含む実施形態では、例示的な強調タイプは、これだけに限らないが、フォントタイプ、フォントサイズ、太字体、イタリック体、アンダーライン、オーバーライン、大文字使用、文字間隔、句読点、色、それらの組合せなどを含む。識別可能な領域が、少なくとも1つのグラフィック、アイコン、ピクチャ、またはシンボルを含む実施形態では、例示的な強調タイプは、これだけに限らないが、サイズ、色、コントラスト、輝度、グレースケール、特殊効果、動画、それらの組合せなどを含む。識別可能な領域がビデオを含む実施形態では、例示的な強調タイプは、これだけに限らないが、自動再生、自動拡大、自動全画面表示などを含む。他の強調タイプも企図される。
[0058] 図2に戻り、オペレーション208に進むと、システムは、表示されたツールバーからコマンド選択が選択されたかどうかを判定する。オペレーション208で、コマンドが選択されたとアプリケーションが判定した場合、方法は、選択されたコマンドが実行されるオペレーション210に、次いで、オペレーション212に進み、次の予測されるコマンドが、識別可能な領域上に表面化される。オペレーション210および212は、アトミックに(atomically)実施される、または実施されるように見える。
[0059] オペレーション214へと進むと、(予測されるコマンドを表面化する識別可能な領域を提供する)ツールバーまたはメニューが解除される。例えば、ユーザは、メニューから離れたスクリーン表面のエリアをクリックする(またはタッチする)ことによりメニューを解除することができる。表示は、コマンドの選択時に解除することができ、あるいはユーザがツールバーの外でアクションを実施するまで存在し続ける。表示はまた、予測コマンドを表面化するための条件が満たされない場合、またはツールバーを不透明にするために、ツールバー上をホバリングする動きがない場合、解除することもできる。他の解除対話もまた企図される。
[0060] 様々な実施形態によれば、予測領域は、予測が有用であり得るある種の問題に基づいてコマンドを表面化する。予測コマンドは、あるコマンドが望ましいというユーザによる指示を受け取ると(または指示に応答して)表面化させることができる。これらの指示は、これだけに限らないが、ユーザが、右クリックする、タップする、強調表示する、またはコンテンツの何らかの選択を示すなどによるツールを探しているという指示と、ユーザが、ある期間の不活動により、またはリボンタブ、メニュー、もしくは他のツールバーを繰り返して検索することなどにより、行き詰まっている、またはトラブルを抱えているという指示とを含むことができる。不活動が予測コマンドを表面化するための条件として使用される実施形態では、不活動は、秒、分、時間、または他の時間間隔に基づくことができる。
[0061] 図6は、本発明の実施形態によるタッチ操作可能な予測コンテキストツールバーユーザインターフェースを備えた例示的なタブレットデバイス600を示している。
[0062] 混合されたタッチおよびポインタデバイスシステムの、または純粋なタッチデバイスのタッチモードでは、ツールバーからのコマンドを選択するために指を使用することに適応させるように、ユーザインターフェースは大きく作られる。キャンバススペースを維持するために、いくつかのコマンドを消失させることができるが、利用可能なものとは異なる何かをユーザが望む可能性があり得る。場合によっては、ユーザのカスタマイズが利用可能である。しかし、すべての利用可能な特徴または機能に気づかないユーザもあり、進歩的ではないユーザの中には、ツールバーもしくはメニュー上で利用可能なツールを調整する体験を有することのない可能性もある。いくつかの条件下で表示される予測されるコマンドを、識別可能な領域中に表面化することにより、キャンバススペースを維持することができ、また最も必要になる可能性の高いツールがユーザに提示される。
[0063] 図6を参照すると、例示的された実施形態では、ミニツールバー610および識別可能な領域612を備えたタッチ操作可能な予測コンテキストツールバーユーザインターフェースが、単一の、またはマルチタッチジェスチャを介して、コンテンツ620を選択することによりトリガされる。タッチ操作可能な予測コンテキストツールバーユーザインターフェースの機能は、マウス、または他のユーザ入力インターフェースに対する機能と同様にすることができる。
[0064] タッチ操作可能なユーザインターフェースの場合、ミニツールバー上の領域を使用することにより、予測されるコマンドは、ちょうどユーザの指先にある。しかし、マウスもしくは他の入力デバイススタイルのユーザインターフェースの場合、ミニツールバー上の領域を使用することにより、より少ないマウス移動が、高い頻度で使用される機能に達するために求められる。
[0065] 図で示された例示的なツールバーは、書式設定選択肢と共に示されているが、諸実施形態はこのようなコントロールに限定されない。
[0066] 図7A〜図7Cは、予測コンテキストツールバーの機能を示している。特に、例示的な使用の流れが、図7A〜図7Cで示されている。例えば、ユーザは、課題(assignment)のために、青色に基づく記録項目(journal entry)を作成している。このユーザが、自分の考えを反映するテキストを−いくつかはリスト形式で、タイプすること、見出しを作ること、黒丸の点を用いてテキストのセクションを書式設定すること、および(例えば、ピクチャもしくはビデオからの)画像を挿入することを含む類似の挙動を用いてしばしば記録項目を作成する場合が反映されている。
[0067] 図7Aを参照すると、ユーザは、青色に関連する話題を自由な形式でタイプしたことが分かる。「青色のもの」のリストとなり得るものが、「ブルーベリー」、「私の好みのジャケット」、および「ラピスラズリ」と共に表示され、その後に、「450〜495nmの波長で放射するものは青く見える」という記述が続く。自分のテキストを書式設定するために、ユーザは、「青色のもの」と記載したテキストを強調表示702して、適切なヘッダスタイルを適用することができる。ユーザは、一連のパラグラフをタイプする前後に、このタスクを実施しているので、予測アルゴリズムは、複数のパラグラフのテキストが入力された後、選択されたテキストが、前のパラグラフ位置からのものであるとき、第1のテキスト選択中にスタイルの書式設定を示唆すべきであることを知ることができる。
[0068] 図7Aから分かるように、ユーザが、カーソル710を使用して、(強調表示された部分702として現れる)テキスト「青色のもの」を選択したとき、識別可能な、予測されるコマンド領域712が、この場合、ユーザが容易にスタイルを選択できるように、ミニツールバーの一部として現れる。
[0069] ユーザは「青色のもの」の見出しの下のいくつかのパラグラフから成る、黒丸を付したリストを作成するなど、入力されたテキストに対していくつかの書式設定工程を実施し続けることができる。図7Bは、「450〜495nmの波長で放射するものは青く見える」という文章が切り取られた直後のプロセスを示している。ここでは、ユーザが、そのテキストをリストの上方位置へと移動している。ツールバーを出現させるために、ユーザは、カーソル710を用いて、切り取られた文章をペーストしたい位置で、右クリックすることができる。右クリックのアクションにより、ツールバーが表示され、かつ識別可能な予測されるコマンド領域714が、直前の「切り取り」コマンドに基づく、予測された「ペースト」コマンドと、予測されるアンダーラインコマンドと共に現れる。この第2のコマンドは、「切り取り」コマンドを用いた後に、ユーザがアンダーラインコマンドを実施した他の場合に基づいて予測されることもあり得る。
[0070] 図7Cに進むと、ユーザは次に、リスト上の各項目に対して自分の文書中にピクチャを挿入している。識別可能な領域716は、次に、例えば、コンテキストおよびユーザの先行するコマンドに基づいて、コマンドを表面化する。
[0071] その基礎となる予測アルゴリズムは、任意の適切なアルゴリズムとすることができ、また図7A〜図7Cで示された例は、単に、どのようにして予測コンテキストツールバー機能を使用できるかの一例を示すことを意図しているに過ぎないことを理解されたい。
[0072] 図9は、いくつかの実施形態で使用されるコンピューティングデバイスの構成要素を例示するブロック図を示している。例えば、システム900は、デスクトップもしくはノートブックコンピュータの形、またはタブレットもしくはスマートフォンの形、あるいは1つまたは複数のアプリケーションを動作できる同様のものの形で、ユーザまたはクライアントデバイスを実装するのに使用することができる。いくつかの実施形態では、システム900は、統合されたPDAと無線電話など、統合されたコンピューティングデバイスである。本明細書で述べられるシステムの態様は、移動コンピュータと従来のデスクトップコンピュータの両方に適用可能であり、同様にサーバコンピュータおよび他のコンピュータシステムに適用可能であることを理解されたい。例えば、タッチスクリーンまたはタッチ操作可能なデバイス(これだけに限らないが、タッチ操作可能なトラックパッドまたはマウスも含まれる)は、移動デバイスとデスクトップデバイスの両方に適用可能であり得る。
[0073] システム900は、1つまたは複数のアプリケーションプログラム910、および/またはオペレーティングシステム920の命令に従ってデータを処理するプロセッサ905を含む。プロセッサ905は、センサ(例えば、磁力計、周辺光センサ、近接センサ、加速度計、ジャイロスコープ、全地球測位システムセンサ、温度センサ、衝撃センサ)などの1つまたは複数の他の構成要素、およびネットワーク接続構成要素(例えば、無線/ネットワークインターフェース935を含む)と共に、システムオンチップ(SoC)とすることができる、またはそれに含まれる。
[0074] 1つまたは複数のアプリケーションプログラム910は、メモリ915にロードされ、オペレーティングシステム920上で動作する、またはそれと関連付けて動作することができる。アプリケーションプログラムの例は、電話ダイヤラプログラム、電子メールプログラム、PIMプログラム、ワードプロセッシングプログラム、スプレッドシートプログラム、インターネットブラウザプログラム、メッセージングプログラム、ゲームプログラムなどを含む。様々なクライアントおよびサーバアプリケーションを含む他のアプリケーションをメモリ915にロードし、デバイスで動作させることができる。
[0075] メモリ915が、組み込まれた取外し可能な構成要素を含む1つまたは複数のメモリ構成要素を含み得ること、およびそのメモリ構成要素のうちの1つまたは複数のものは、オペレーティングシステムを記憶できることが理解され得る。様々な実施形態によれば、オペレーティングシステムは、これだけに限らないが、Symbian(登録商標) Ltd.からのSYMBIAN OS、本件出願人からのWINDOWS(登録商標) MOBILE OS、本件出願人からのWINDOWS PHONE OS、本件出願人からのWINDOWS、Hewlett−Packard(登録商標) CompanyからのPALM WEBOS、Research In Motion LimitedからのBLACKBERRY(登録商標) OS、Apple(登録商標) Inc.からのIOS、およびGoogle(登録商標) Inc.からのANDROID(登録商標) OSを含む。他のオペレーティングシステムも企図される。
[0076] システム900はまた、メモリ915内の不揮発性の記憶装置925を含む。不揮発性の記憶装置925は、システム900の電源が切られた場合、失われるべきではない恒久的な情報を記憶するために使用され得る。アプリケーションプログラム910は、生産性アプリケーションにおけるコンテンツの作成または変更中に実行されるコマンドの記録などの情報を使用し、かつ不揮発性の記憶装置925に記憶することができる。同期化アプリケーションをさらに含めることができ、アプリケーションプログラム910の一部として常駐させて、ホストコンピュータシステム(サーバなど)上の対応する同期化アプリケーションと対話して、ホストコンピュータシステムに記憶されている対応する情報と同期した情報を不揮発性の記憶装置925に記憶させて保持することができる。
[0077] システム900は電源930を有しており、電源930は、1つまたは複数の電池および/または環境発電装置(energy harvester)(環境放射線、光起電力、圧電、熱電気、静電気など)として実装することができる。電源930は、ACアダプタ、または電池を補充もしくは再充電する電源付き格納台など、外部電源をさらに含むことができる。
[0078] システム900はまた、無線周波数通信を送信および受信する機能を実施する無線/ネットワークインターフェース935を含むことができる。無線/ネットワークインターフェース935は、通信キャリアまたはサービスプロバイダを介して、システム900と「外界」との間の無線接続を容易にする。無線/ネットワークインターフェース935との間の送信は、オペレーティングシステム920の制御下で実行され、オペレーティングシステム920は、無線/ネットワークインターフェース935により受信された通信をアプリケーションプログラム910に配布し、その逆も同様である。
[0079] 無線/ネットワークインターフェース935は、システム900が、ネットワークを介して、サーバコンピューティングデバイスおよび他のクライアントデバイスを含む他のコンピューティングデバイスと通信できるようにする。
[0080] オーディオインターフェース940は、可聴信号をユーザに提供し、かつユーザから可聴信号を受け取るために使用することができる。例えば、オーディオインターフェース940は、電話の会話を容易にするためになど、スピーカに結合されて可聴出力を提供し、かつマイクロフォンに結合されて可聴入力を受け取ることができる。システム900は、静止画、ビデオストリームなどを記録する任意選択のカメラ(図示せず)の操作を可能にするビデオインターフェース945をさらに含むことができる。
[0081] 視覚的な出力が、タッチスクリーンディスプレイ955により提供され得る。場合によっては、ディスプレイは、タッチスクリーンではなく、ボタン、キー、ローラホイールなどのユーザ入力要素が、ディスプレイ955上のグラフィカルユーザインターフェースの一部として表示される項目を選択するのに使用される。キーパッド960を、ユーザ入力用として含めることもできる。キーパッド960は、物理的なキーパッド、またはタッチスクリーンディスプレイ955上に生成されたソフトキーパッドとすることができる。いくつかの実施形態では、ディスプレイおよびキーパッドは組み合わされる。いくつかの実施形態では、オーディオインターフェース940およびビデオインターフェース945を含む2つ以上の入力/出力(I/O)構成要素を組み合わせることができる。I/O構成要素を備える別個のプロセッサを含めることができる、または処理機能をプロセッサ905に組み込むことができる。
[0082] ディスプレイ955は、グラフィカルユーザインターフェース(「GUI」)要素、予測コンテキストツールバーユーザインターフェース、テキスト、画像、ビデオ、通知、仮想ボタン、仮想キーボード、メッセージングデータ、インターネットコンテンツ、デバイスのステータス、時間、日付、カレンダーデータ、プリファレンス、マップ情報、位置情報、および視覚的な形式で提示できる任意の他の情報を提示することができる。いくつかの実施形態では、ディスプレイ955は、任意の能動または受動マトリックス技術および任意のバックライト技術(使用される場合)を利用する液晶ディスプレイ(「LCD」)である。いくつかの実施形態では、ディスプレイ955は、有機発光ダイオード(「OLED」)ディスプレイである。当然であるが、他のディスプレイタイプも企図される。
[0083] (ディスプレイと関連付けることができる)タッチスクリーンは、タッチの存在およびその位置を検出するように構成された入力デバイスである。タッチスクリーンは、抵抗タッチスクリーン、静電容量タッチスクリーン、表面弾性波タッチスクリーン、赤外線タッチスクリーン、光学イメージングタッチスクリーン、分散信号タッチスクリーン、音響パルス認識タッチスクリーンとすることができ、または任意の他のタッチスクリーン技術を利用することができる。いくつかの実施形態では、タッチスクリーンは、ユーザが、ディスプレイ上に提示されたオブジェクトもしくは他の情報と対話するために、1つまたは複数のタッチを使用できるようにする透明なレイヤとして、ディスプレイの上に組み込まれる。
[0084] 他の実施形態では、タッチパッドを、ディスプレイを含まないコンピューティングデバイスの表面に組み込むことができる。例えば、コンピューティングデバイスは、ディスプレイの上に組み込まれたタッチスクリーンと、ディスプレイの反対側の表面にあるタッチパッドとを有することができる。
[0085] いくつかの実施形態では、タッチスクリーンは、シングルタッチのタッチスクリーンである。他の実施形態では、タッチスクリーンは、マルチタッチのタッチスクリーンである。いくつかの実施形態では、タッチスクリーンは、別個のタッチ、シングルタッチのジェスチャ、および/またはマルチタッチのジェスチャを検出するように構成される。本明細書では、便宜上、これらのものを総称してジェスチャと呼ぶ。いくつかのジェスチャを次に説明する。これらのジェスチャは、例示的なものであり、添付の特許請求の範囲を限定することは意図していないことを理解されたい。さらに、説明されるジェスチャ、追加のジェスチャ、および/または代替的なジェスチャが、タッチスクリーンで使用されるソフトウェアで実装することができる。したがって、開発者は、特定のアプリケーションプログラムに特有なジェスチャを作成することができる。
[0086] いくつかの実施形態では、タッチスクリーンは、ディスプレイ上に提示された項目上で、タッチスクリーンを1回ユーザがタップするタップジェスチャをサポートする。タップジェスチャは、これだけに限らないが、ユーザがタップするものをすべて開く、または起動することを含む様々な理由で使用することができる。いくつかの実施形態では、タッチスクリーンは、ディスプレイ上に提示された項目上で、タッチスクリーンを2回ユーザがタップするダブルタップジェスチャをサポートする。ダブルタップジェスチャは、これだけに限らないが、段階的にズームインもしくはズームアウトすること、およびテキストの単語を選択することを含む様々な理由で使用することができる。いくつかの実施形態では、タッチスクリーンは、ユーザがタッチスクリーンをタップして、少なくとも所定時間にわたって接触を維持するタップアンドホールドジェスチャをサポートする。タップアンドホールドジェスチャは、これだけに限らないが、コンテキスト特有のメニューを開くことを含む様々な理由で使用することができる。
[0087] いくつかの実施形態では、タッチスクリーンは、ユーザが指をタッチスクリーン上において、タッチスクリーン上で指を移動させながらタッチスクリーンとの接触を維持するパンジェスチャをサポートする。パンジェスチャは、これだけに限らないが、制御された速度で、画面、画像、またはメニュー中を移動することを含む様々な理由で使用することができる。複数の指のパンジェスチャもまた企図される。いくつかの実施形態では、タッチスクリーンは、ユーザが画面を移動させたい方向に指をスワイプさせるフリックジェスチャをサポートする。フリックジェスチャは、これだけに限らないが、メニューまたはページを通して水平に、または垂直にスクロールすることを含む様々な理由で使用することができる。いくつかの実施形態では、タッチスクリーンは、ユーザが、タッチスクリーン上で、2本の指(例えば、親指と人差し指)で挟む動作をする、または2本の指を離すピンチアンドストレッチ(pinch and stretch)ジェスチャをサポートする。ピンチアンドストレッチジェスチャは、これだけに限らないが、ウェブサイト、マップ、またはピクチャを段階的にズームインまたはズームアウトすることを含む様々な理由で使用することができる。
[0088] 上記のジェスチャが、ジェスチャを行うための1つまたは複数の指の使用に関して述べられてきたが、タッチスクリーンと対話するために、足指、鼻、あご先などの他の付属器官、またはスタイラスなどの物体を使用することもできる。したがって、上記のジェスチャは、例示的なものであると理解すべきであり、決して限定的なものであると解釈されるべきではない。
[0089] システム900を実装するいずれのモバイルまたはデスクトップコンピューティングデバイスも、述べたものよりも多くの、または少ない特徴もしくは機能を有することができ、本明細書で述べた構成に限定されないことを理解されたい。
[0090] 様々な実施形態では、システム900により記憶されたデータ/情報は、デバイスに局所的に記憶されたデータキャッシュを含むことができるが、あるいはデータは、無線/ネットワークインターフェース935を介して、またはデバイスと、例えば、インターネットなどの分散コンピューティングネットワークにおけるサーバコンピュータなど、デバイスに関連付けられた別個のコンピューティングデバイスとの間の有線接続を介して、デバイスによりアクセスされ得る任意の数の記憶媒体上に記憶することができる。理解されるように、このようなデータ/情報は、無線インターフェース935を介して、または分散コンピューティングネットワークを介してデバイスによりアクセスすることができる。同様に、このようなデータ/情報は、電子メールおよび協動するデータ/情報共用システムを含む、よく知られたデータ/情報転送および記憶手段により、記憶および使用するためにコンピューティングデバイス間で容易に転送することができる。
[0091] 本明細書に記載のいくつかの技法は、1つまたは複数のコンピューティングデバイスにより実行されるプログラムモジュールなど、コンピュータ実行可能命令の一般的なコンテキストで述べることができる。概して、プログラムモジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、および特定のタスクを行う、または特定の抽象データ型を実装するデータ構造を含む。
[0092] 諸実施形態は、コンピュータプロセス、コンピューティングシステムとして、またはコンピュータプログラム製品もしくはコンピュータ可読媒体などの製品として実装することができる。本明細書で述べるいくつかの方法およびプロセスは、1つまたは複数のコンピュータ可読媒体に記憶できるコードおよび/またはデータとして実施することができる。本発明のいくつかの実施形態は、コンピュータシステムの形態の機械の使用を企図しており、1組の命令は、その内部で実行されたとき、システムに上記で論じた方法の任意の1つまたは複数のものを実施させることができる。いくつかのコンピュータプログラム製品は、コンピュータシステムで読取り可能であり、かつコンピュータプロセスを実行するための命令のコンピュータプログラムを符号化した1つまたは複数のコンピュータ可読記憶媒体とすることができる。
[0093] 本発明の実施形態によれば、コンピュータ可読媒体は、任意の利用可能なコンピュータ可読記憶媒体、またはコンピュータシステムによりアクセスできる通信媒体とすることができる。
[0094] 通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを、搬送波または他の移送機構などの変調されたデータ信号に含み、また任意の送達媒体を含む。「変調されたデータ信号」という用語は、その特性の1つまたは複数のものを、信号中に情報を符号化するように変更または設定した信号を意味する。例としてであって、限定するものではないが、通信媒体は、有線ネットワークもしくは直接配線接続などの有線媒体と、音響、RF、赤外線などの無線媒体、および他の無線媒体とを含む。上記のいずれかとの組合せもまた、コンピュータ可読媒体の範囲に含めるべきである。
[0095] 例としてであって、限定するものではないが、コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、もしくは他のデータなどの情報を記憶するために任意の方法もしくは技術で実装される揮発性および不揮発性媒体、取外し可能および取外し不能媒体を含むことができる。例えば、コンピュータ可読記憶媒体は、これだけに限らないが、ランダムアクセスメモリ(RAM、DRAM、SRAM)などの揮発性メモリ、およびフラッシュメモリ、様々な読出し専用メモリ(ROM、PROM、EPROM、EEPROM)などの不揮発性メモリ、磁気および強磁性/強誘電性メモリ(MRAM、FeRAM)、ならびに磁気および光記憶デバイス(ハードドライブ、磁気テープ、CD、DVD)、またはコンピュータシステムで使用するためにコンピュータ可読情報/データを記憶できる現在知られた、また将来開発される他の媒体を含む。「コンピュータ可読記憶媒体」は、任意の搬送波または伝播信号を含むものと解釈または理解すべきではない。
[0096] さらに、本明細書で述べた方法およびプロセスは、ハードウェアモジュールで実装することができる。例えば、ハードウェアモジュールは、これだけに限らないが、特定用途向けIC(ASIC)チップ、書替え可能ゲートアレイ(FPGA)、および現在知られている、または将来開発される他のプログラム可能な論理デバイスを含むことができる。ハードウェアモジュールが起動されたとき、ハードウェアモジュールは、ハードウェアモジュール内に含まれる方法およびプロセスを実施する。
[0097] 本明細書における「一実施形態(one embodiment)」、「実施形態(an embodiment)」、「例示的な実施形態」などへの任意の参照は、その実施形態に関して述べられた特定の特徴、構造、または特性が、本発明の少なくとも1つに含まれることを意味する。本明細書の様々な場所におけるこのようなフレーズの出現は、必ずしもすべて同じ実施形態を参照するわけではない。さらに、本明細書で開示される任意の発明もしくはその実施形態の任意の要素もしくは限定も、本明細書で開示される任意の他の発明もしくはその実施形態の任意の、かつ/またはすべての他の要素もしくは限定と(個々に、または任意の組合せで)組み合わせることができ、またこのようなすべての組合せは、限定することなく本発明の範囲と共に企図される。
[0098] 本明細書で述べられた例および実施形態は、例示のためのものに過ぎないこと、およびそれを考慮すると、様々な修正もしくは変更が当業者に対して示唆され、かつ本出願の趣旨および範囲に含まれるべきであることを理解されたい。

Claims (10)

  1. キャンバスと、
    前記キャンバスとの対話に応答して動的な予測されるコマンドが表面化される、前記キャンバスの指定された領域、ツールバーの指定された領域、サイドバーもしくはタスクペインの指定された領域などの識別可能領域と
    を備えるユーザインターフェース。
  2. 前記対話が、コンテンツの選択、右クリック、またはジェスチャを含む、請求項1に記載のユーザインターフェース。
  3. 前記予測されるコマンドは、選択されたコンテンツに関連しており、
    任意選択により、前記予測されるコマンドは、少なくとも1つの先行するコマンドにさらに関連している、請求項1または2に記載のユーザインターフェース。
  4. 前記識別可能な領域が、同時に1〜5個のコマンドを表面化するように構成される、請求項1から3までのいずれかに記載のユーザインターフェース。
  5. プロセッサにより実行されたとき、
    予測コマンドを表面化するための条件が満たされたかどうかを判定すること、
    前記予測コマンドを表面化するための前記条件に関連するコンテキストに従って、予測されるコマンドが表面化される識別可能な領域を表示すること、
    前記識別可能な領域上に、1つまたは複数の動的な予測されるコマンドを表面化すること、および
    表面化されたコマンドの選択を受け取ったことに応答して、前記表面化されたコマンドを実行すること
    を含む方法を実施する命令を記憶したコンピュータ可読記憶媒体。
  6. キャンバスとの解除対話が受け取られたと判定したとき、前記識別可能な領域を解除することをさらに含む、請求項5に記載の媒体。
  7. 前記予測コマンドを表面化するための前記条件が、コンテンツの選択、またはコンテンツに対する右クリックもしくはジェスチャ、またはメニューもしくはタブの反復選択を含む、請求項5に記載の媒体。
  8. 前記識別可能な領域を表示することは、前記予測されるコマンドを表面化するための拡張領域を有するミニツールバーを表示することを含む、請求項5に記載の媒体。
  9. 前記予測コマンドを表面化するための前記条件に関連する前記コンテキストが、コンテンツの選択、および少なくとも1つの先行するコマンドに関連する情報を含む、請求項5に記載の媒体。
  10. 前記識別可能な領域を表示することが、前記識別可能な領域をカーソルに近接した位置に表示することを含む、請求項5に記載の媒体。
JP2015552842A 2013-01-11 2014-01-11 生産性アプリケーションのための予測コンテキストツールバー Ceased JP2016503218A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/738,992 2013-01-11
US13/738,992 US9652109B2 (en) 2013-01-11 2013-01-11 Predictive contextual toolbar for productivity applications
PCT/US2014/011173 WO2014110462A1 (en) 2013-01-11 2014-01-11 Predictive contextual toolbar for productivity applications

Publications (1)

Publication Number Publication Date
JP2016503218A true JP2016503218A (ja) 2016-02-01

Family

ID=50097823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015552842A Ceased JP2016503218A (ja) 2013-01-11 2014-01-11 生産性アプリケーションのための予測コンテキストツールバー

Country Status (8)

Country Link
US (1) US9652109B2 (ja)
EP (1) EP2943868A1 (ja)
JP (1) JP2016503218A (ja)
KR (1) KR102238063B1 (ja)
CN (1) CN105051667B (ja)
AR (1) AR094474A1 (ja)
TW (1) TWI609319B (ja)
WO (1) WO2014110462A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154872A (ja) * 2019-03-20 2020-09-24 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2022501697A (ja) * 2017-11-16 2022-01-06 コントロール バイオニクス ホールディングス ピーティーワイ リミテッド 文脈依存性ユーザインタフェースを備えた筋電位(emg)支援通信デバイス

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9652109B2 (en) * 2013-01-11 2017-05-16 Microsoft Technology Licensing, Llc Predictive contextual toolbar for productivity applications
US10649619B2 (en) * 2013-02-21 2020-05-12 Oath Inc. System and method of using context in selecting a response to user device interaction
US20140282173A1 (en) * 2013-03-14 2014-09-18 Corel Corporation Transient synthesized control to minimize computer user fatigue
US9792014B2 (en) 2013-03-15 2017-10-17 Microsoft Technology Licensing, Llc In-place contextual menu for handling actions for a listing of items
US9519401B2 (en) * 2013-09-18 2016-12-13 Adobe Systems Incorporated Providing context menu based on predicted commands
JP6257255B2 (ja) * 2013-10-08 2018-01-10 キヤノン株式会社 表示制御装置及び表示制御装置の制御方法
US20150286349A1 (en) * 2014-04-02 2015-10-08 Microsoft Corporation Transient user interface elements
US9530024B2 (en) * 2014-07-16 2016-12-27 Autodesk, Inc. Recommendation system for protecting user privacy
WO2016015107A1 (en) * 2014-07-31 2016-02-04 Cronus Consulting Group Pty Ltd Interface for accessing target data and displaying output to a user
US20160034139A1 (en) * 2014-08-01 2016-02-04 Schlumberger Technology Corporation Predictive user interface
US10949075B2 (en) 2014-11-06 2021-03-16 Microsoft Technology Licensing, Llc Application command control for small screen display
US20160132301A1 (en) * 2014-11-06 2016-05-12 Microsoft Technology Licensing, Llc Programmatic user interface generation based on display size
KR102185367B1 (ko) * 2014-12-26 2020-12-01 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
EP3286915B1 (en) 2015-04-23 2021-12-08 Apple Inc. Digital viewfinder user interface for multiple cameras
US9886333B2 (en) * 2015-05-14 2018-02-06 International Business Machines Corporation Command-based storage scenario prediction
US10082931B2 (en) 2015-06-12 2018-09-25 Microsoft Technology Licensing, Llc Transitioning command user interface between toolbar user interface and full menu user interface based on use context
US10013146B2 (en) * 2015-08-27 2018-07-03 International Business Machines Corporation Data transfer target applications through content analysis
US10514826B2 (en) * 2016-02-08 2019-12-24 Microsoft Technology Licensing, Llc Contextual command bar
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
US10319126B2 (en) 2016-08-16 2019-06-11 Microsoft Technology Licensing, Llc Ribbon to quick access toolbar icon conversion
CN107870707A (zh) * 2016-09-28 2018-04-03 珠海金山办公软件有限公司 一种移动终端上工具栏的显示方法及装置
US20180329597A1 (en) 2017-05-15 2018-11-15 Microsoft Technology Licensing, Llc Ink Anchoring
US10223341B1 (en) 2017-09-01 2019-03-05 Adobe Inc. Document beautification using smart feature suggestions based on textual analysis
US10884769B2 (en) * 2018-02-17 2021-01-05 Adobe Inc. Photo-editing application recommendations
US11036811B2 (en) 2018-03-16 2021-06-15 Adobe Inc. Categorical data transformation and clustering for machine learning using data repository systems
US10861451B2 (en) * 2018-03-22 2020-12-08 Lenovo (Singapore) Pte. Ltd. Modification of user command
US20190339820A1 (en) * 2018-05-02 2019-11-07 Microsoft Technology Licensing, Llc Displaying a subset of menu items based on a prediction of the next user-actions
EP3617862B1 (en) * 2018-08-30 2020-11-11 Siemens Healthcare GmbH Processing a user input in relation to an image
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11017045B2 (en) * 2018-11-19 2021-05-25 Microsoft Technology Licensing, Llc Personalized user experience and search-based recommendations
CN111273838B (zh) * 2018-12-19 2022-07-22 深圳市鸿合创新信息技术有限责任公司 触摸显示装置中悬浮工具栏的移动方法及触摸显示装置
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11347756B2 (en) 2019-08-26 2022-05-31 Microsoft Technology Licensing, Llc Deep command search within and across applications
JP7363235B2 (ja) * 2019-09-10 2023-10-18 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
US11676586B2 (en) * 2019-12-10 2023-06-13 Rovi Guides, Inc. Systems and methods for providing voice command recommendations
US11513655B2 (en) * 2020-06-26 2022-11-29 Google Llc Simplified user interface generation
US11900046B2 (en) * 2020-08-07 2024-02-13 Microsoft Technology Licensing, Llc Intelligent feature identification and presentation
CN113656034B (zh) * 2021-08-24 2024-03-12 北京百度网讯科技有限公司 信息处理方法、装置、电子设备以及存储介质
US11507346B1 (en) * 2021-10-25 2022-11-22 GM Global Technology Operations LLC Intelligent text and voice feedback for voice assistant
US11734501B1 (en) * 2022-05-22 2023-08-22 Atlassian Pty Ltd. Electronic document management system with a content status designation interface
CN116956030B (zh) * 2023-07-21 2024-02-02 广州一号家政科技有限公司 基于人工智能的家政业务处理方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0447358A (ja) * 1990-06-01 1992-02-17 Nippon Telegr & Teleph Corp <Ntt> 文章等の編集方法
JP2006059359A (ja) * 2004-08-16 2006-03-02 Microsoft Corp 選択されたオブジェクトにコンテキスト上関連する選択可能なソフトウェア機能コントロールを表示する改良されたユーザインターフェース
WO2008001749A1 (en) * 2006-06-29 2008-01-03 P & W Solutions Co., Ltd. Parameter input receiving method
JP2011065617A (ja) * 2009-09-15 2011-03-31 Hokkaido Research Organization コマンド予測システム、コマンド予測方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5388198A (en) 1992-04-16 1995-02-07 Symantec Corporation Proactive presentation of automating features to a computer user
US5664133A (en) * 1993-12-13 1997-09-02 Microsoft Corporation Context sensitive menu system/menu behavior
US5726688A (en) 1995-09-29 1998-03-10 Ncr Corporation Predictive, adaptive computer interface
US6493006B1 (en) 1996-05-10 2002-12-10 Apple Computer, Inc. Graphical user interface having contextual menus
US6133915A (en) * 1998-06-17 2000-10-17 Microsoft Corporation System and method for customizing controls on a toolbar
US6232972B1 (en) * 1998-06-17 2001-05-15 Microsoft Corporation Method for dynamically displaying controls in a toolbar display based on control usage
TW475145B (en) * 1999-06-30 2002-02-01 Inventec Corp Expanding method of toolbar function
US6622119B1 (en) * 1999-10-30 2003-09-16 International Business Machines Corporation Adaptive command predictor and method for a natural language dialog system
US20030030666A1 (en) 2001-08-07 2003-02-13 Amir Najmi Intelligent adaptive navigation optimization
US20030040850A1 (en) 2001-08-07 2003-02-27 Amir Najmi Intelligent adaptive optimization of display navigation and data sharing
US8091042B2 (en) * 2001-11-15 2012-01-03 Siebel Systems, Inc. Apparatus and method for displaying selectable icons in a toolbar for a user interface
US6907365B2 (en) * 2001-12-11 2005-06-14 Lecroy Corporation Context sensitive toolbar
US20040153973A1 (en) * 2002-11-21 2004-08-05 Lawrence Horwitz System and method for automatically storing and recalling application states based on application contexts
US20040186775A1 (en) 2003-01-29 2004-09-23 Margiloff William A. Systems and methods for providing an improved toolbar
TWI232407B (en) * 2003-12-31 2005-05-11 Inventec Corp Displaying method of tool bar for application program
US8064946B2 (en) 2004-06-21 2011-11-22 Research In Motion Limited Handheld wireless communication device
US7599915B2 (en) * 2005-01-24 2009-10-06 At&T Intellectual Property I, L.P. Portal linking tool
US7992085B2 (en) * 2005-09-26 2011-08-02 Microsoft Corporation Lightweight reference user interface
WO2007143821A1 (en) 2006-06-13 2007-12-21 Research In Motion Limited Primary actions menu on a handheld communication device
US8106742B2 (en) * 2006-08-04 2012-01-31 Tegic Communications, Inc. Remotely controlling one or more client devices detected over a wireless network using a mobile device
US9030418B2 (en) 2008-06-24 2015-05-12 Lg Electronics Inc. Mobile terminal capable of sensing proximity touch
US8332400B2 (en) * 2008-09-23 2012-12-11 Sage Inventions, Llc System and method for managing web search information in navigation hierarchy
US8271909B2 (en) * 2009-02-06 2012-09-18 Cadence Design Systems, Inc. System and method for aperture based layout data analysis to achieve neighborhood awareness
KR101562792B1 (ko) * 2009-06-10 2015-10-23 삼성전자주식회사 목표 예측 인터페이스 제공 장치 및 그 방법
KR101590357B1 (ko) * 2009-06-16 2016-02-01 엘지전자 주식회사 휴대 단말기, 휴대 단말기 동작방법 및 휴대 단말기 싱크 시스템
US8312385B2 (en) * 2009-09-30 2012-11-13 Palo Alto Research Center Incorporated System and method for providing context-sensitive sidebar window display on an electronic desktop
US9292171B2 (en) 2010-11-17 2016-03-22 International Business Machines Corporation Border menu for context dependent actions within a graphical user interface
US9086794B2 (en) * 2011-07-14 2015-07-21 Microsoft Technology Licensing, Llc Determining gestures on context based menus
US9026944B2 (en) * 2011-07-14 2015-05-05 Microsoft Technology Licensing, Llc Managing content through actions on context based menus
EP2771806A4 (en) * 2011-10-28 2015-07-22 Blackberry Ltd MANAGEMENT OF ELECTRONIC EQUIPMENT WITH PROFILE-BASED INFERENCES BETWEEN DOMAINS
US9652109B2 (en) * 2013-01-11 2017-05-16 Microsoft Technology Licensing, Llc Predictive contextual toolbar for productivity applications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0447358A (ja) * 1990-06-01 1992-02-17 Nippon Telegr & Teleph Corp <Ntt> 文章等の編集方法
JP2006059359A (ja) * 2004-08-16 2006-03-02 Microsoft Corp 選択されたオブジェクトにコンテキスト上関連する選択可能なソフトウェア機能コントロールを表示する改良されたユーザインターフェース
WO2008001749A1 (en) * 2006-06-29 2008-01-03 P & W Solutions Co., Ltd. Parameter input receiving method
JP2011065617A (ja) * 2009-09-15 2011-03-31 Hokkaido Research Organization コマンド予測システム、コマンド予測方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022501697A (ja) * 2017-11-16 2022-01-06 コントロール バイオニクス ホールディングス ピーティーワイ リミテッド 文脈依存性ユーザインタフェースを備えた筋電位(emg)支援通信デバイス
JP7149492B2 (ja) 2017-11-16 2022-10-07 コントロール バイオニクス リミテッド 文脈依存性ユーザインタフェースを備えた筋電位(emg)支援通信デバイス
JP2020154872A (ja) * 2019-03-20 2020-09-24 富士ゼロックス株式会社 情報処理装置及びプログラム
US11373032B2 (en) 2019-03-20 2022-06-28 Fujifilm Business Innovation Corp. Information processing apparatus and non-transitory computer readable medium related to tool box
JP7363069B2 (ja) 2019-03-20 2023-10-18 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Also Published As

Publication number Publication date
WO2014110462A1 (en) 2014-07-17
AR094474A1 (es) 2015-08-05
US9652109B2 (en) 2017-05-16
TW201435719A (zh) 2014-09-16
EP2943868A1 (en) 2015-11-18
KR102238063B1 (ko) 2021-04-07
TWI609319B (zh) 2017-12-21
KR20150106423A (ko) 2015-09-21
CN105051667B (zh) 2018-09-04
US20140201672A1 (en) 2014-07-17
CN105051667A (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
KR102238063B1 (ko) 생산성 애플리케이션에 대한 예측 컨텍스트 툴바
US11402970B2 (en) Systems, methods, and user interfaces for interacting with multiple application windows
US11210458B2 (en) Device, method, and graphical user interface for editing screenshot images
US11385860B2 (en) Browser with docked tabs
US20220100368A1 (en) User interfaces for improving single-handed operation of devices
US20220083214A1 (en) Systems and Methods for Interacting with Multiple Applications that are Simultaneously Displayed on an Electronic Device with a Touch-Sensitive Display
US9189131B2 (en) Context menus
JP6342464B2 (ja) キーボードインタフェース機能のためのデバイス、方法及びグラフィカルユーザインタフェース
US10775971B2 (en) Pinch gestures in a tile-based user interface
TW201407458A (zh) 利用功能標籤條帶來存取應用程式使用者介面
US20150033188A1 (en) Scrollable smart menu
CN108885505B (zh) 具有交互式内容元素的直观文档导航
US20200379635A1 (en) User interfaces with increased visibility

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20150731

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171221

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20180419