JP6220452B2 - オブジェクトベースのコンテキストメニューの制御 - Google Patents

オブジェクトベースのコンテキストメニューの制御 Download PDF

Info

Publication number
JP6220452B2
JP6220452B2 JP2016527055A JP2016527055A JP6220452B2 JP 6220452 B2 JP6220452 B2 JP 6220452B2 JP 2016527055 A JP2016527055 A JP 2016527055A JP 2016527055 A JP2016527055 A JP 2016527055A JP 6220452 B2 JP6220452 B2 JP 6220452B2
Authority
JP
Japan
Prior art keywords
action
user
identifier
context menu
identifiers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016527055A
Other languages
English (en)
Other versions
JP2016530613A (ja
Inventor
ジェイソン ルーク ウイルソン
ジェイソン ルーク ウイルソン
ナビーン ガビニ
ナビーン ガビニ
スティーブン ラムクマール
スティーブン ラムクマール
アンソニー ティー ファルゾン
アンソニー ティー ファルゾン
Original Assignee
ピンタレスト，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ピンタレスト，インコーポレイテッド filed Critical ピンタレスト，インコーポレイテッド
Publication of JP2016530613A publication Critical patent/JP2016530613A/ja
Application granted granted Critical
Publication of JP6220452B2 publication Critical patent/JP6220452B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Description

関連出願の相互参照
本願は、その全体が参照により本明細書に組み入れられる、２０１３年７月１６日に出願された「Ｏｂｊｅｃｔ Ｂａｓｅｄ Ｒａｄｉａｌ Ｍｅｎｕ Ｃｏｎｔｒｏｌｓ」と題された米国仮出願第６１／８４７，０７８号、及びその全体が参照により本明細書に組み入れられる、２０１４年７月１５日に出願された「Ｏｂｊｅｃｔ Ｂａｓｅｄ Ｃｏｎｔｅｘｔｕａｌ Ｍｅｎｕ Ｃｏｎｔｒｏｌｓ」と題された米国実用出願第１４／３３１，８３７号の利益を主張するものである。
人々は、コンピュータ及び他の電子デバイスと新規かつ興味深い方法でますます相互作用するようになっている。処理能力、接続性及び位置追跡が増進するにつれて、電子デバイスが、多くの日常的な活動に普及し、使用されるようになってきた。例えば、人々は、多くの場合に、少し例を挙げると、製品を探す、ビデオを見る、音楽を聴く、調査する、デジタル及び物理的製品を買う（「電子商取引」）、並びにニュースを受け取るために電子デバイスを使用する。他の使用は、ソーシャルコミュニティ、友人及び家族との通信、写真撮影、並びに多くの他のことを含む。
米国特許公開第２０１１／０２０２８７９号
詳細な説明は、添付の図面を参照して記述される。図面において、ある参照数字の最も左の数字（複数可）は、その参照数字が初めて出現する図面を特定する。異なる図面における同じ参照数字の使用は、同様のまたは同一のアイテムを示す。
実施に従う、オブジェクトに関するコンテキストメニューを提示するための実施例のユーザインターフェースのブロック図である。 実施に従う、展開されたコンテキストメニューのブロック図である。 ネットワークを通じて通信的に接続されたサーバシステム及びクライアントデバイスを含む実例の環境の絵図である。 実施に従う、オブジェクトに関するコンテキストメニューを提示するための実施例のユーザインターフェースのブロック図である。 実施に従う、セット及びオブジェクト識別子の実施例の構造のブロック図である。 実施に従う、オブジェクト識別子をユーザに提示するための実施例のユーザインターフェースのブロック図である。 実施に従う、実施例のコンテキストメニュー処理を図示する。 さまざまな実施に従い使用することができる実施例のコンピューティングデバイスを図示する。 図７に図示するなどのコンピューティングデバイスのコンポーネントの実施例の構成を図示する。 さまざまな実施に使用することができるサーバシステムの実例の実施の絵図である。
実施を一実施例として本明細書に記述するが、当業者は、その実施が、記述する実施例または図面に限定されないことを認識する。図面及びその詳細な説明が、開示する特定の形態に実施を限定することは意図せず、むしろ、その意図が、添付の特許請求の範囲によって定義されるような趣旨及び範囲内に収まるすべての変更、均等物及び代替物を含むことを理解すべきである。本明細書に使用される見出しは、組織的な目的のみのためのものであり、説明または特許請求の範囲の範囲を限定するのに使用されることは意味しない。本願全体を通して使用される「することができる」という用語は、義務的な意味（すなわち、必須の意味）ではなく、許可的な意味（すなわち、可能性を有するという意味）において使用される。同様に、「を含む」、「を含んでいる」及び「を含む（主語が三人称単数）」という用語は、それを含むがそれに限定されないことを意味する。
本開示は、一部分において、オブジェクトがそこを通じて提示されるアプリケーション及び／またはプログラムとは無関係のコンテキストメニューを利用して、オブジェクトにおけるアクションをユーザがとることができるシステム及び方法を記述する。例えば、ユーザは、コンピューティングデバイスのディスプレイ上のオブジェクト（例えば、画像）を視認し、コンテキストメニューを呼び出し、コンテキストメニューが提供する利用可能なアクションの群からアクションを選択し、選択したオブジェクトにおけるそのアクションを実行させることができる。さらなる詳細については後述するように、アクション及び／またはコンテキストメニューそれ自体は、オブジェクトがそこを通じて提示されるアプリケーションと無関係にすることができる。同じ様に、アクションは、デバイスにローカルにおいて実行できるし、かつ／またはデバイスからリモートにおいても実行できる。
図１Ａは、実施に従う、オブジェクトに関するコンテキストメニューを提示するための実施例のユーザインターフェースのブロック図である。図１Ａに関して提示する実施例は、コンテキストメニュー１２０をユーザに提示し、ユーザによるアクション識別子の選択に基づいたアクションの実行を起動するための一つの実施を図示する。この実施例において、ユーザＡｄａｍは、タッチベースのディスプレイ１０２を含むポータブルコンピューティングデバイス１００を利用して、複数の画像１０４、１０６、１０８、１１０、１１２を視認することができる（各画像は、本明細書に論じるような「オブジェクト」の実施例である）。オブジェクトは、例えば、ニュースフィード、ソーシャルネットワーキングアプリケーション、ビデオ、フォトビューア、電子メールアプリケーション、インターネットブラウザなどの任意のアプリケーションを利用するユーザに提示することができる。ユーザＡｄａｍは、オブジェクトを視認しながら、ポータブルコンピューティングデバイス１００のディスプレイ１０２上に指または他の入力デバイスを置き、一定の時間（例えば、２秒）入力デバイスをディスプレイ１０２にタッチさせたままにすることによって、鮫の画像１０４などのオブジェクトのうちの一つを選択することができる（この選択のプロセスは、本明細書において「長押し」と言及される）。オブジェクトの選択及び／または、長押しは、コンテキストメニューを呼び出すための呼び出しコマンドとみなすこともできる。呼び出しコマンドに応答して、一つ以上のアクション識別子１２２Ａ〜１２２Ｄを含むコンテキストメニュー１２０をユーザに提示することができる。この実施例において、各アクション識別子は、図形の円によって表される。他の実施において、アクション識別子１２２は、任意のタイプの図形または他のユーザが識別可能な形状、位置、色彩、音声などを使用して提示することができる。同じ様に、この実施例は四つのアクション識別子を含むが、他の実施は、追加のまたは四つよりも少ないアクション識別子を含むことができる。いくつかの実施において、アクション識別子は、逐語的に、画像を使用してまたはテキストと画像との組み合わせにおいて表すことができる。
ディスプレイへのタッチ入力以外のまたはそれに追加したアクションを使用して、オブジェクトを選択し、かつ／またはコンテキストメニューを呼び出すことができる。例えば、ユーザは、提示されたオブジェクトの上方に規定の距離をおいて指（または、他の入力デバイス）を空中静止し、その空中静止を検出させることができる。別の実施例において、ユーザの頭部及び／または眼球の画像を捕捉して処理し、ユーザの注視方向及び選択として利用される注視方向を判定することができる。
アクション識別子は、選択されたオブジェクトにおいて実行することができる一つ以上のアクションを示すことができる。例えば、アクションは、オブジェクトを含むメッセージの送信（例えば、電子メール、ショートメッセージシステム（ＳＭＳ）、マルチメディアメッセージシステム（ＭＭＳ））、オブジェクトのソーシャルネットワーキングサイトまたはプラットフォームへのポスト、オブジェクトへのコメントの追加、オブジェクトの獲得、同様のオブジェクトの検索、オブジェクト管理サービス（後述する）によってユーザのために保持されているセットへのオブジェクトの追加、オブジェクト管理システムによってユーザのために保持されているセットからのオブジェクトの取り除き、オブジェクトの促進、オブジェクトに関するアクションをとった他のユーザの特定、オブジェクトの報告（例えば、オブジェクト管理システムに対して攻撃的なオブジェクトの報告）、オブジェクトのデバイスへの保存、オブジェクトのダウンロードなどであり得る。後述するように、アクションは、デバイスにローカルにおいても、かつ／またはリモート位置（例えば、オブジェクト管理サービス）においても実行できる。
いくつかの実施において、コンテキストメニューの一部として提示されるアクション及び対応するアクション識別子は、コンテキスト依存的であってもよく、ユーザの身元、ユーザによって選択された先のアクション、オブジェクト、ユーザによって選択された先のオブジェクト、及び／またはオブジェクトとユーザとの関係性などの一つ以上に基づいて決定することができる。それ故に、コンテキストメニューは、提示されるたびに、ユーザ、ユーザの進行中の及び／または過去の活動、選択されたオブジェクトなどに応じて異なってもよい。
例えば、ユーザによる先のアクションの選択、ユーザ定義の嗜好、現在選択されているオブジェクトに類似する、ユーザによって選択された先のオブジェクトにおいて実行されるアクションなどを、コンテキストメニューの一部として提示するための一つ以上のアクション識別子を選択するためのものとして考慮及び利用することができる。一つの実施例において、重み関数を使用してアクション及び対応するアクション識別子を決定し、ユーザにコンテキストメニューを提示することができる。重み関数は、ユーザによって選択された過去のアクション、及びアクションが最後に実行されてからの時間に基づいて各アクションに定められる減衰重み値を考慮することができる。同じ様に、コンテキストメニューが呼び出された所と同じまたは同様の提示領域においてユーザによって実行される任意のアクションに追加の重みを与えることができる。次に、先のアクションの重み値の各々を合計し（いろいろな時に実行された同じアクションを組み合わせる）、最も高い重み値を持つアクションをコンテキストメニューの一部としてユーザに提示してもよい。他の実施において、現在選択されているオブジェクトを、（例えば、画像認識アルゴリズムを使用して）処理し、ユーザによって以前に選択された他のオブジェクトと比較し、現在選択されているオブジェクトと高い類似点を有する先のオブジェクトにおいて実行されたアクションに追加の重みを与えることができる。
いくつかの実施において、コンテキストメニューは、選択されたオブジェクトを特定もし、かつ／または受信した入力の近似位置を特定する入力識別子も含むことができる。例えば、呼び出しコマンドの位置は、ユーザの指の下の入力識別子１２３によって図１Ａに示される。アクション識別子は、ユーザによる選択が容易になるように、入力識別子の周囲にかつそれから規定の距離をおいて提示され得る。例えば、図１Ａに図示するように、アクション識別子は、その各々が、入力識別子の周囲に放射パターンにおいて入力識別子から規定の距離をおいて提示され得る。他の実施において、入力識別子は、異なる構成及び／または向きにおいて提示されてもよい。
コンテキストメニュー１２０が提示されると、次に、ユーザは、指（または、他の入力デバイス）をタッチベースのディスプレイ１０２から取り除き、かつ／または指（または、他の入力デバイス）を、ディスプレイに沿ってアクション識別子１２２Ａ〜１２２Ｄのうちの一つにスライドさせることによって、アクション識別子１２２Ａ〜１２２Ｄを選択することができる。この選択は例えば、アクション識別子を長押しする（例えば、一定の時間（例えば、２秒）指の位置を、アクション識別子を覆って置いたままにする）、または指をディスプレイから取り除き、指をディスプレイから取り除いたときに指が位置していたアクション識別子を選択することによって行われる。例えば、ユーザＡｄａｍは、指を、アクション識別子１２２Ａを覆うように移動し、指をディスプレイから取り除くことによって、オブジェクト管理サービスによってユーザのために保持されているセットにオブジェクトを追加することに関連するアクション識別子１２２Ａを選択することができる。
コンテキストメニューの呼び出しと同様に、例えば、注視検出、空中静止などの他の入力も、アクション識別子を選択するために利用することができる。
アクション識別子の選択を受信すると、選択されたアクション識別子に対応するアクションが起動され得る。この実施例において、アクションの起動は、アクション情報をオブジェクト管理サービスに送信することを含む。アクション情報は、オブジェクト、ユーザ情報、アクションコマンド及び／またはオブジェクトについての選択的に追加された情報（例えば、オブジェクトのソース、オブジェクト権の保有者など）を含むことができる。
オブジェクト管理サービスは、アクション情報を受信すると、特定されたアクションを実行することができる。この実施例において、オブジェクト管理サービスは、オブジェクトに関するオブジェクト識別子を生成し、生成されたオブジェクト識別子を、オブジェクト管理サービスによってユーザのために保持されているセットに関連付けることができる。いくつかの実施において、図１Ｂに関して後述するように、アクション識別子の選択において、選択されたアクションに対応する一つ以上のアクションオプションが確定され、対応するアクションオプション識別子が選択のためにユーザに提示される。
議論の目的のために、本明細書に使用される「オブジェクト識別子」は、オブジェクトを特定する一つ以上の情報のアイテムの集合である。オブジェクト識別子は、図形表現、可聴表現またはオブジェクトの他の表現などのオブジェクトに関する表現、ユーザによって理解されるオブジェクトに関するコンテキスト、ユーザによって提供されるオブジェクトの記述、オブジェクトについての静的情報、オブジェクトについての補足的情報、オブジェクトが属するセット（後述する）、オブジェクトのソース、オブジェクト識別子がそこから生成された任意の親オブジェクト識別子、他の同様のオブジェクト識別子の任意の識別の任意の組み合わせを含むことができる。認識されるように、追加のまたはより少ない情報のアイテムを、オブジェクト識別子に含ませることができる。
コンテキストは、ユーザによって理解されるようなオブジェクトについての情報を示す。コンテキストは、オブジェクト識別子を生成したユーザにとってそのオブジェクトが何故重要であるかを説明する。いくつかの実施において、コンテキスト（複数可）は、ユーザによって直接に提供されたものでもよいし、またはユーザによって提供されるもしくはユーザについての他の情報に基づいて決定されてもよい。オブジェクトについての静的情報は、オブジェクトについての変わらない任意の情報であってもよい。そのような情報は、ユーザ、他のユーザ、外部ソース並びに／または本明細書に記述する方法及びシステムによって提供することができる。
本明細書に使用される補足的情報は、オブジェクトの表現、オブジェクト識別子及び／またはセットに関連付けることができる任意の追加情報であってもよい。いくつかの実施において、補足的情報は、外部ソース、ユーザによって定期的に更新することができ、かつ／またはオブジェクト識別子と相互作用するユーザによって実行できるアクションを含む。例えば、補足的情報は、オブジェクトの位置のローカルの気象を含むことができる。ユーザがオブジェクト識別子を視認するときに、補足的情報は、その位置の現在の気象、またはユーザが訪問する計画がある時間帯のその場所の予報の気象を示すように自動的に更新することができる。
オブジェクト識別子に関連する補足的情報は、一つまたは複数のソースによって提供することができる。例えば、オブジェクト識別子によって特定されるオブジェクトがテレビ受像機である場合には、オブジェクトのソースは、テレビ受像機の製造業者であるソニーであってもよい。ソニーは、例えば、寸法、重量、特徴などのテレビ受像機についての補足的情報を提供することができる。テレビ受像機の再販売業者などの他の外部ソースも、オブジェクトに関連付けられた補足的情報を提供することができる。例えば、テレビ受像機の各販売業者は、価格、位置、営業時間などを特定する補足的情報を提供することができる。
本明細書に記述する方法及びシステムによって、さらに、ユーザは、オブジェクト識別子を「セット」に組織化することによって、オブジェクトを管理、検索、共有及び探索することができる。例えば、ユーザは、一つ以上のセットを生成し、オブジェクトに関するコンテキストメニューから選択されたアクションの受信に応答して、セットに自動的に関連するユーザが選択したオブジェクトを表すオブジェクト識別子を有することができる。通常、「セット」は、ユーザによって生成されたオブジェクト識別子の集合である。一つの実施において、各セットは、ゼロ（空集合）を含む任意の数のオブジェクト識別子を含むことができる。オブジェクト識別子は、一つまたは多くのセットに関連付けられてもよい。一つの実施において、オブジェクト識別子は、一つのセットのみに関連付けられてもよい。
ユーザは、オブジェクト識別子を生成し、コンテキストメニューとの相互作用、及びオブジェクトをセットに追加するという選択を通じてそれらをセットに追加することができる。「オブジェクト」は、表現することができる何かであってもよい。例えば、ユーザは、コンテキストメニューと相互作用して、テレビ番組、画像、物理的オブジェクト、音声、におい、ウェブページ、位置、デジタルオブジェクトなどに関するオブジェクト識別子を生成することができる。ユーザによって提供または特定された表現によって生成されたオブジェクト識別子は、親オブジェクト識別子の関係があるとみなされる。既存のオブジェクト識別子に基づいて生成されたオブジェクト識別子は、子オブジェクト識別子とみなされる。オブジェクト識別子は、任意の数の親及び／または子オブジェクト識別子を有することができる。さらに後述するように、オブジェクト識別子間の関係性（例えば、親と子）は、保持され、これによりユーザは、他のオブジェクトを探索し、オブジェクト識別子によって表現されるオブジェクトのソースを知ることができる。
図１Ｂは、実施に従う、提示されたコンテキストメニューからのアクションの選択において、アクションオプション識別子を提示するための実施例のユーザインターフェースのブロック図である。いくつかの実施において、ユーザがアクション識別子を選択すると、一つ以上のアクションオプションが決定され、対応するアクションオプション識別子１２２Ｂ１〜１２２Ｂ３が選択のためにユーザに提示される。図１Ｂに図示する実施例は三つのアクションオプション識別子を示すが、他の実施では、より少ないまたはより多いアクションオプション、及びユーザに提示される対応するアクションオプション識別子が存在してもよい。
アクションオプションは、選択されたアクションに対応する任意のオプションであってもよい。例えば、オブジェクト管理サービスによってユーザのために保持されているセットにオブジェクトを追加するアクションをユーザが選択した場合には、アクションオプションは、オブジェクト管理サービスによってユーザのために保持されている、オブジェクトを追加できる種々のセットを特定することができる。例えば、ユーザが二つ以上のセットを生成した場合には、オブジェクト管理サービスは、ユーザによって選択される可能性が最も高いセットを決定し、それらのセットを表すアクションオプション識別子を、選択のためにユーザに提示することができる。
例証するために、図１Ａを再び簡単に参照すると、ユーザが、鮫の画像１０４を選択し、オブジェクト管理サービスによってユーザのために保持されているセットに鮫の画像を追加するアクションを選択した場合には、オブジェクト管理サービスは、選択された画像を追加するためにユーザによって選択される可能性が最も高い、ユーザに関連するセット（アクションオプション）を決定することができる。それらのアクションオプションを表すアクションオプション識別子を、ユーザに提示することができる。例えば、オブジェクト管理サービスによってユーザのために保持される五つのセットをユーザが生成し、一つ目のセットが魚の画像を含有し、二つ目のセットがビルディングの画像を含有し、三つ目のセットが水の特徴の画像を含有し、四つ目のセットが犬の画像を含有し、五つ目のセットが車の画像を含有する場合には、オブジェクト管理サービスは、それらのセットのうちの、選択された画像を関連付けることをユーザが所望する可能性が最も高いセットを決定することができる。セットの決定は、様々な技術を使用して遂行することができる。例えば、オブジェクト管理サービスは、選択された画像（例えば、メタデータ）、ユーザが画像に追加した最後のセット、セットについてのメタデータ、セットに関連するオブジェクト識別子、セットに関連する画像、選択された画像についてのコンテキスト情報、オブジェクト管理サービスによってユーザのために保持されているセットなどについての情報を考慮することができる、
実施例に戻ると、オブジェクト管理サービスは、魚の画像を含有するセット及び水の特徴の画像を含有するセットが、選択された画像の追加に関する最も可能性が高いセットであることを決定することができる。決定に基づいて、それらのセットを表すアクションオプション識別子（アクションオプション）を、選択のためにユーザに提示することができる。例えば、アクションオプション識別子１２２Ｂ１は、魚の画像を含むセットに対応し、アクションオプション識別子１２２Ｂ２は、水の特徴の画像を含むセットに対応することができる。アクションオプション識別子１２２Ｂ３は、選択されたアクションに対応する他の利用可能なアクションオプションを選択するためにユーザが選択可能なメニューオプションを表すことができる。
ユーザは、アクションの選択と同様にアクションオプション識別子を選択することができる。例えば、ユーザは、長押しを使用してディスプレイ画面上のアクションオプションの表示にタッチし、かつ／またはユーザは、選択されたアクション識別子１２２Ｂから所望するアクションオプション識別子１２２Ｂ１〜１２２Ｂ３に指１１０（または、他の入力デバイス）をスライドさせることができる。アクションオプションのユーザによる選択は、アクションオプションの長押し、アクションオプションを覆うように指を位置させた後にディスプレイから取り除くこと、注視検出、指をアクションオプションの上方で空中静止させることなどによって行うことができる。
アクションオプションを選択すると、選択されたアクション及び対応するアクションオプションに関する選択されたアクションが実行される。いくつかの実施では、アクションオプションが提示された場合でさえも、ユーザは、アクションオプションを選択しなくてもよく、代わりに、提示されるアクションオプションが全くないかのようにアクションを起動することができる。前述の実施例に継続し、ユーザの指は依然としてディスプレイ上の選択されたアクション識別子の位置にあるが、ユーザは、指をディスプレイから取り除くことによって、選択されたアクションを起動することができる。そのような実施において、アクションは、オブジェクト及び選択されたアクションオプションについて実行されるのではなく、選択されたオブジェクトに関して起動される。例えば、選択されたアクションが、オブジェクト管理サービによってユーザのために保持されているセットにオブジェクトを追加するアクションである場合には、ユーザがアクションオプションを選択せずにアクションを起動するときに、ユーザによって保持されているセットのリストまたは他の提示を選択のためにユーザに提示することができる。次に、ユーザは、オブジェクトが関連付けられるセットを選択することができる。
ユーザがアクションを実行しないことを決定した場合には、指（または、他の入力デバイス）を、コンテキスト識別子を含まない領域に移動させることによって、コンテキストメニューをキャンセルすることができる。例えば、図１Ｂを参照すると、アクションオプション１２２の選択またはアクションの起動ではなく、ユーザは、指をディスプレイ上において下向きにスライドさせることによって、コンテキストメニューをキャンセルし、提示から取り除くことができる。
図２は、ネットワーク２０８を通じて通信的に接続された、ユーザ２０１（１）、２０１（２）〜２０１（Ｎ）などのユーザ２０１、一つ以上のサーバコンピュータ２０２（１）、２０２（２）〜２０２（Ｎ）を含むサーバシステム２０２、クライアントデバイス２０４（１）、２０４（２）、２０４（３）〜２０４（Ｎ）などの一つ以上のクライアントデバイス２０４、及びサービス提供２０６（１）、レストラン２０６（２）、ウェブサイト２０６（３）、ユーザ２０６（４）、小売店２０６（Ｎ）などの一つ以上の外部ソース２０６を含む実例の環境２００の絵図である。認識されるように、任意の数及び／またはタイプのサーバシステム２０２、クライアントデバイス２０４及び／または外部ソース２０６が、環境２００内に含まれてもよく、図２に図示するものは単なる例示にすぎない。同じ様に、任意の数のユーザ２０１が環境２００内に含まれてもよい。議論の目的のために、「ユーザ」という用語は、サーバシステム２０２、クライアントデバイス２０４及び／またはオブジェクト管理サービス２１０（後述する）と相互作用する個人を指すものとして本明細書に使用される。
ネットワーク２０８は、ローカルエリアネットワーク、公衆交換電話網（ＰＳＴＮ）などの広域ネットワーク、ケーブルテレビネットワーク、衛星ネットワーク、ネットワークの集合、公衆インターネットプロトコルネットワーク、プライベートインターネットプロトコルネットワーク、またはそれらの組み合わせを含むことができる。さらに、ネットワーク２０８は、有線、無線またはその二つの組み合わせであってもよい。サーバシステム２０２は、マッピングデータストア２１２、オブジェクト識別子データストア２１４、セットデータストア２１６、ソースデータストア２１８、及びユーザプロファイルデータストア２２０も含むことができる。さらに後述するように、データストアは、データのストレージ及び取得のために使用されるリスト、アレイ、データベース及び他のデータ構造を含むことができる。同じ様に、本開示は、複数のデータストアを記述するが、いくつかの実施において、データストアは、単一のデータストアとして構成されてもよいし、複数のデータストアとして構成されてもよい。
マッピングデータストア２１２、オブジェクト識別子データストア２１４、セットデータストア２１６、ソースデータストア２１８、及びユーザプロファイルデータストア２２０は、サーバシステム２０２と統合されてもよいし、別な様にサーバシステム２０２と通信的に連結してもよい。例えば、マッピングデータストア２１２、オブジェクト識別子データストア２１４、セットデータストア２１６、ソースデータストア２１８、及びユーザプロファイルデータストア２２０の一つ以上は、リモートコンピューティングリソース（図示せず）に位置し、サーバシステム２０２と通信的に連結されてもよい。いくつかの実施において、マッピングデータストア２１２、オブジェクト識別子データストア２１４、セットデータストア２１６、ソースデータストア２１８、及びユーザプロファイルデータストア２２０は、一つ以上のＣＤ−ＲＷ／ＤＶＤ−ＲＷドライブ、ハードディスクドライブ、テープドライブ、光学ドライブ、またはデジタルコンテンツ及び情報を記憶するのに利用される他のストレージデバイスを含むことができる。サーバシステム２０２は、独立して、またはマッピングデータストア２１２、オブジェクト識別子データストア２１４、セットデータストア２１６、ソースデータストア２１８及びユーザプロファイルデータストア２２０とともに、コンテキストメニューを通じたオブジェクトにおけるアクションのユーザ起動に応答するオブジェクト管理サービス２１０を提供することができる。例えば、オブジェクト管理サービス２１０は、デバイス２０４からアクション情報を受信し、それらのアクションを実行することができる。
いくつかの実施において、サーバシステム２０２は、一つ以上の外部ソース２０６と情報をやり取りするようにも構成できる。外部ソース２０６は、オブジェクト識別子及び／またはオブジェクトの表現を補足するのに使用できる、サービス、製品または情報を提供する任意のタイプの事業体及び／または個人（複数可）を含むことができる。例えば、外部ソース２０６は、例えば、ローカルの気象、時刻、その場所のストリーミングビデオなどのサービス提供２０６（１）、レストラン２０６（２）、ウェブサイト２０６（３）、ユーザ２０６（４）、及び例えば、玩具店、食料品店、インターネット商取引（電子商取引）店、書店などの小売店２０６（Ｎ）を含むことができる。外部ソースは、事業所などの固定位置（複数可）、外部ソースの現在の位置に応じて変わり得る位置（例えば、ハイキングガイド、モバイルヘルスプロバイダー）、または特定の場所をもたない位置（例えば、デジタルまたはバーチャルビジネス）に関連付けることができる。ウェブサイト２０６（３）などのデジタルまたはバーチャルビジネスは、任意の形態の電子商取引、または補足的情報を提供できる他のデジタル提供を含む。
例えば、電子商取引サイトは、オブジェクトに関するコンテキストメニューのユーザによる呼び出しに応答して（例えば、オブジェクトにおける長押しを受信して）、オブジェクトに関するコンテキストメニューを提示するコードを含むことができる。ユーザは、ウェブサイトを視認するときに、コンテキストメニューを呼び出し、選択されたオブジェクトにおけるアクションを起動することができ、そのアクションはオブジェクト管理サービスによってオブジェクトを表すオブジェクト識別子を生成することと、そのオブジェクト識別子をオブジェクト管理サービスによってそのユーザのために保持されているセットに関連付けることとを含むことができる。
いくつかの実施において、外部ソース２０６は、オブジェクト管理サービス２１０と相互作用し、ユーザのためのオブジェクト識別子を形成するためにその後に使用できる補足的情報とともに、オブジェクトに関する表現を提供することができる。例えば、外部ソース２０６がテレビ放送局である場合には、テレビ放送局は、放送番組、コマーシャルなどのための図形表現を提供することができる。放送局は、とりわけ、番組及び／またはその番組において示されるオブジェクトについての情報（例えば、俳優、製作品、場所、ジャンル、年度、設定）、放送局についての情報などを含み得る、それらの番組についての他の補足的情報も提供することができる。ユーザが番組に関するコンテキストメニュー（オブジェクト）、または番組において示されるオブジェクトを呼び出すときに、補足的情報をオブジェクト管理サービスによって利用して、オブジェクトに関するリクエストされたアクションを実行することができる。
外部ソースは、補足的情報の一つ以上のアイテムを定期的に更新することもできる。それらの更新は、外部ソースによって提供された表現及び／または補足的情報を含むオブジェクト識別子に反映される。
図２に戻ると、クライアントデバイス２０４は、パーソナルコンピュータ、タブレットコンピュータ、電子ブックリーダデバイス、ラップトップコンピュータ、デスクトップコンピュータ、ネットブック、携帯情報端末（ＰＤＡ）、ポータブルゲーム機、スマートフォンもしくは携帯電話機などの無線通信デバイス、セットトップボックス、ゲームコンソール、カメラ、オーディオレコーダもしくはプレーヤ、またはそれらの任意の組み合わせを含むことができる。本明細書に示す実施に関して記述するように、サーバシステム２０２は、ユーザ、アクションコマンド、オブジェクト、コンテキストメニュー、セット、表現、オブジェクト識別子についての情報、他のそのような情報を含むデータ及び情報をクライアントデバイス２０４とやり取りするように構成される。例えば、オブジェクト管理サービス２１０は、アクション命令、ユーザ識別及びオブジェクトを受信するようにサーバシステム２０２を通じて相互作用し、受信されたオブジェクトにおいてリクエストされたアクションを実行することができる。
同じ様に、ユーザ２０１は、クライアントデバイス２０４を通じてオブジェクト管理サービス２１０と相互作用し、オブジェクト識別子及びオブジェクト識別子のセットを生成、探索及び視認し、オブジェクト識別子によって特定されたオブジェクトについての情報を取得（または、獲得）し、コンテキストメニューが提供する利用可能なアクションの実行を起動し、コンテキストメニューが提供する利用可能なアクションを修正し、かつ／または他者と通信することができる。
いくつかの実施において、コンテキストメニューは、オブジェクト管理サービス２１０にアクセスするのに使用されるクライアントデバイス２０４に基づいて、異なるように提示することができる。例えば、クライアントデバイス２０４がディスプレイスペース及び／または性能が限定されたポータブルデバイスである場合には、コンテキストメニューは、削減された情報（例えば、テキスト記述のない図形の識別子のみ）を表示することができる。対照的に、クライアントデバイス２０４が大きなディスプレイを持つラップトップ、デスクトップ、テレビ受像機または他のデバイスである場合には、各アクション識別子の簡単な記述などの追加情報を提示することができる。同じ様に、コンテキストメニューは、デバイス２０４の性能に応じた種々のアクションを通じて呼び出すことができる。例えば、デバイスがタッチベースのディスプレイを含む場合には、コンテキストメニューは、長押しまたは他のタッチベースのアクションを通じて呼び出すことができる。デバイスがタッチベースのディスプレイを含まない場合には、コンテキストメニューは、別の入力コンポーネント（例えば、マウス、キーボード）の使用を通じて呼び出すことができる。
マッピングデータストア２１２は、オブジェクト識別子間の関係性、セット、ユーザ、表現、及び補足的情報を提供する外部ソースについての情報を記憶する。例えば、各オブジェクト識別子についての、オブジェクト識別子によって表されるオブジェクトのソースへのリンクまたは他の参照が保持される。同じ様に、オブジェクト識別子が別のオブジェクト識別子からユーザのセットに追加された場合には、ユーザのセットと保持されているオブジェクト識別子との関係性に加えて、先のオブジェクト識別子（親）と現在のオブジェクト識別子とのリンクも保持される。いくつかの実施において、複数のオブジェクト識別子間の関係性、または現在のオブジェクト識別子が生成された元になる親オブジェクト識別子をその各々が表すリンクのチェーンが存在してもよい。
例えば、ユーザＡは、エンパイア・ステート・ビルディングを表すオブジェクト識別子を生成し、ユーザＡによって選ばれたエンパイア・ステート・ビルディングの画像（表現）を含ませることができる。そのオブジェクト識別子は、「休暇で訪ねたビルディングＩ」と名付けられたオブジェクト識別子のユーザＡのセットに関連付けることができる。ユーザＡは、オブジェクト識別子についての記述も提供し、補足的情報をオブジェクト識別子に関連付け、かつ／またはコンテキストをオブジェクト識別子に関して構築することができる。
ユーザＢは、ユーザＡのオブジェクト識別子を視認し、ユーザＡのオブジェクト識別子を長押しすることによってコンテキストメニューを呼び出し、ユーザＡのオブジェクト識別子から独自のオブジェクト識別子を生成するためのアクションを選択し、生成されたオブジェクト識別子をオブジェクト識別子のユーザＢのセットのうちの一つに追加することができる。この実施例において、ユーザＡのオブジェクト識別子から、エンパイア・ステート・ビルディングの表現を含む、ユーザＢのための新規のオブジェクト識別子が生成され、これがユーザＢのセットのうちの一つに関連付けられる。ユーザＢは、ユーザＡによって提供された記述を利用してもよいし、自身の記述を追加してもよい。オブジェクト管理サービス２１０は、ユーザＢがオブジェクト識別子に追加した、セットについての情報、ユーザＢによって選出もしくは追加された記述、及び／またはユーザＢの観点からのオブジェクト識別子に意味を提供するユーザＢのオブジェクト識別子に関するコンテキストをオブジェクト管理サービス２１０が決定できる他の情報に基づいて、ユーザＢのオブジェクト識別子に関するコンテキストを決定することができる。他の実施において、ユーザＢは、コンテキストを提供することができる。ユーザＡのオブジェクト識別子とユーザＢのオブジェクト識別子との間のリンクまたは他の関係性が、マッピングデータストア２１２内に保持される。
オブジェクト識別子データストア２１４は、オブジェクト管理サービス２１０によって生成された各オブジェクト識別子についての情報を保持する。例えば、オブジェクト管理サービス２１０は、各オブジェクト識別子についての、オブジェクト識別子内に含まれる表現、オブジェクト識別子が関連付けられているセット、オブジェクト識別子を生成したユーザ、オブジェクト識別子に関するコンテキスト、任意のユーザが提供したオブジェクト識別子についての記述、オブジェクト識別子に関連する任意の補足的情報、オブジェクト識別子内に含まれる表現のソース、及び情報をそこから取得した任意の親オブジェクト識別子に関する情報をオブジェクト識別子データストア２１４に記憶することができる。オブジェクト識別子についての追加の記述は、図４に関して後述する。
セットデータストア２１６は、オブジェクト管理サービス２１０のユーザによって構築された各セットについての情報を含む。前述のように、セットは、ユーザによって選択及び／または生成されたオブジェクト識別子の集合である。セットは、いかなるオブジェクト識別子も含まない空集合であってもよい。同じ様に、任意の数のオブジェクト識別子をセットに関連付けることができる。各セットについてのセットデータストア２１６は、セットを生成したユーザ、セットに関するコンテキスト、セットに関するカテゴリ、任意のユーザが提供したセットに関する記述、セットに関連する任意の静的情報、及びセットに関連するオブジェクトの識別を特定する情報を記憶する。セットについての追加の記述は、図４に関して後述する。
ソースデータストア２１８は、オブジェクト管理サービス２１０によって管理されたオブジェクト識別子によって表されるオブジェクトのソースについての情報、及び／または一つ以上のオブジェクトの表現に関連する補足的情報を提供する外部ソースについての情報を記憶する。いくつかの実施例において、ソースは、オブジェクト識別子を生成するためのオブジェクト（例えば、画像）をそこから取得したウェブサイトであってもよい。
ソースデータストア２１８は、これらに限定されないが、ソースネーム、ソースがオブジェクト管理サービス２１０によって検証されたか否か、ソースによって提供された情報のタイプ、ソースに関連する表現の識別などを含む各ソースについての任意の形態の情報を含むことができる。
ユーザプロファイルデータストア２２０は、オブジェクト管理サービス２１０のユーザ２０１についての情報を記憶する。任意のタイプの情報を、ユーザプロファイルデータストア２２０に記憶することができる。例えば、属性、氏名、住所、性別、ブラウズ履歴、オブジェクト識別子履歴、セット履歴、ソーシャルネットワーク、及び／またはユーザ２０１が相互作用している友人などのユーザプロファイル情報を、ユーザプロファイルデータストア２２０に記憶することができる。ユーザプロファイル情報は、ユーザ２０１によって直接提供されてもよいし、かつ／またはオブジェクト管理サービス２１０と相互作用しているとき（例えば、ユーザがオブジェクト管理サービス２１０を試しているときのクリックストリームデータ）、セットを視認、生成もしくはそれと相互作用しているとき、オブジェクト識別子を視認、生成もしくはそれと相互作用しているとき、及び／もしくはオブジェクト管理サービス２１０を通じて友人もしくはソーシャルコミュニティと情報を共有しているときに、クライアントデバイス２０４のユーザ２０１から収集してもよい。いくつかの実施において、ユーザ情報は、外部ソースから取得することができる。例えば、ユーザプロファイル情報は、これもユーザが加入している第三者（例えば、電子商取引ウェブサイト、ソーシャルネットワーク）であって、その第三者に提供された及び／またはその第三者によって収集されたいくつかまたはすべてのユーザプロファイル情報を共有することを同意した第三者から取得することができる。いくつかの実施において、オブジェクト管理サービス２１０のユーザは、そのユーザのユーザプロファイル内に含まれる情報量を制限し、そのユーザのユーザプロファイル情報へのアクセスを制限し、かつ／または必要であれば、そのユーザのユーザプロファイル情報のうちの共有する情報を制限することを選ぶことができる。
マッピング、オブジェクト識別子、セット、ソース及びユーザについての情報の保持に加えて、オブジェクト管理サービス２１０は、使用情報をユーザ２０１及び／または外部ソース２０６に戻すことができる。例えば、オブジェクト管理サービス２１０は、サーバシステム２０２とクライアントデバイス２０４との間の通信を通じて、使用情報をユーザ２０１に戻すことができる。そのような情報は、最近に視認、生成または追加されたオブジェクト識別子の識別、ユーザのセットを視認した他者の識別、オブジェクト識別子などを含むことができる。同じ様に、オブジェクト管理サービス２１０は、サーバシステム２０２と外部ソース２０６との間の通信を通じて、情報を外部ソース２０６に提供することができる。そのような情報は、外部ソース２０６、外部ソースが関連付けられているオブジェクトに関する補足的情報に関連付けられ、それを提供できる他の外部ソースなどに関連付けられているオブジェクトの表現についての分析論を含むことができる。
図３は、実施に従う、インターフェース３５０に示されるオブジェクトに関するコンテキストメニューを呼び出すための、ユーザに関する能力を含む、ＷａｌｄｏのＢｌｏｇ３５２である外部ウェブサイトのユーザインターフェース３５０の実施例を提供する。さまざまな実施において、外部ウェブサイトは、オブジェクトに関するコンテキストメニューをユーザが呼び出すことができるコードを含むことができる。例えば、外部ウェブサイトは、そのウェブサイト内にジャバスクリプトコードを含むことができ、これにより、ユーザがオブジェクトを長押ししたときに、選択されたオブジェクトにおけるアクションを実行するためのコンテキストメニューがユーザに提供される。他の実施において、ユーザは、コンテキストメニューに関する呼び出しを受信し、ユーザが選択したアクションを起動するアプリケーションのプラグイン（例えば、ブラウザのプラグイン）をインストールすることができる。なおも他の実施において、ブラウザまたは他のアプリケーションは、コンテキストメニューを呼び出すことができ、ブラウザアプリケーションの一部としてコンテキストメニューに関するコードを含むように構成することができる。最後に、いくつかの実施において、クライアントデバイス２０４のオペレーティングシステムは、選択されたオブジェクトに関するコンテキストメニューを呼び出すためのコードを含むように構成することができる。
コンテキストメニューが提供される方式にかかわらず、ユーザは、呼び出しコマンドを用いてコンテキストメニューを呼び出すことができる。この実施例において、提示された情報にコンテキストメニュー識別子３５６が含まれ、ユーザは、そのオブジェクトに関する対応するコンテキストメニュー識別子３５６を選択することによって、示されたオブジェクトに関するコンテキストメニューを呼び出すことができる。この実施例はコンテキストメニュー識別子３５６の提示を含むが、他の実施では、ユーザは、示されたオブジェクトにおける他の呼び出しコマンド（例えば、長押し）を利用して、コンテキストメニューを呼び出すことができる。
選択されて示されたオブジェクトに関するコンテキストメニューを呼び出すと、選択されたオブジェクトに関するコンテキストメニュー３５８が提示される。コンテキストメニューは、選択されたオブジェクトに関する対応するアクションを起動するための、ユーザが選択することができる一つ以上のアクション識別子を含むことができる。前述のように、コンテキストメニューは、アプリケーションとは無関係であり、これを使用してローカル及び／またはリモートアクションを起動することができる。いくつかの実施において、ユーザは、コンテキストメニューによって提示されるアクション識別子を構成することができる。
この実施例において、コンテキストメニュー３５８は、四つのアクション識別子３６０Ａ〜３６０Ｄを含み、その任意の一つ以上を選択して、選択したオブジェクト３５４に関するアクションを呼び出すことができる。前述のように、アクションは、クライアントデバイス２０４にローカルにおいて実行されてもよいし（例えば、保存、電子メール、コピー、印刷）、クライアントデバイスからリモートにおいて実行されてもよい（例えば、ソーシャルネットワークへのポスト、オブジェクト識別子の生成、セットへの追加、示されたオブジェクトの獲得、オブジェクト及び／またはオブジェクト識別子においてアクションをとった他者の確認）。例えば、ユーザは、オブジェクト識別子３５４によって示されるオブジェクトを、オブジェクト管理サービスによってそのユーザのために保持されているセットに追加するためのアクション識別子を選択することができる。アクション識別子３６０の選択において、オブジェクト識別子は、オブジェクト３５４、オブジェクトのソースについての情報などを含むように生成することができる。場合によっては、オブジェクト管理サービス２１０は、示されたオブジェクトを販売用に供給している商人がいるか否かを決定し、それらの商人を生成されたオブジェクト識別子に関連付けることもできる。なおも他の実施例において、ウェブページの提供者は、商人であってもよく、かつ／または示されたオブジェクトを販売用に供給している商人を特定することができる。そのような実施例では、商人情報を、表現とともに提供し、生成されたオブジェクト識別子の一部として含ませることができる。
前述のように、いくつかの実施において、アクション識別子の選択は、選択されたアクション識別子に対応すると決定された一つ以上のアクションオプションを生じ、それらのアクションオプションに対応するアクションオプション識別子を、選択のためにユーザに提示することができる。ユーザは、例えば、提示されたアクションオプション識別子を長押しすることによって、アクションオプションを選択することができる。
図４は、実施に従う、セット４００及びオブジェクト識別子４２０の実施例の構造のブロック図である。セット４００は、セットを生成したユーザ４０２及びオブジェクト識別子をセットに追加できるとして特定された任意のユーザの識別を含むことができる。さらに、ユーザによって提供されたまたはオブジェクト管理サービス２１０によって決定されたコンテキスト４０４が、ユーザが選択したカテゴリ４０６とともにセット４００に関連付けられ得る。カテゴリ４０６は、オブジェクト管理サービス２１０によって提供された既存のカテゴリのリストから選択することができる。例えば、カテゴリ４０６は、動物、書籍、芸術及び娯楽、スポーツ、飲食物などであってもよい。ユーザは、セット４００が生成されると、セット４００と関連するそれらのカテゴリのうちの一つ以上を選択することができる。ユーザは、ユーザの観点からのセット４００についての情報を提供する記述４０８も提供することができる。静的情報４１０もセット４００に関連付けられ得る。例えば、オブジェクト管理サービス２１０は、選択したカテゴリ及び選択的に、提供された記述４０８に基づく、セット４００に関連する特定の情報を自動的に組み込むことができる。静的情報４１０は、セットのクリエイタ及び／またはオブジェクト管理サービス２１０の他のユーザによって提供された情報も含むことができる。例えば、他のユーザは、セットに関するフィードバックを視認、それにコメント及び／またはさもなければ提供することができる。クリエイタ及び／または他のユーザからのコメント及び／または他のフィードバックを、セット４００に関連付け、静的情報４１０として保持することができる。
セット４００に関連する補足的情報４１１も保持することができる。セットに関する補足的情報は、セットに関連する一つ以上の表現のソース、セットに関連する一つ以上のオブジェクトのソース、または任意の他の外部ソースによって提供された任意の形態の情報またはアクションであってもよい。例えば、セットがハワイ州についてのものである場合には、気象サービス（外部ソース）は、セットに関連するハワイ州の気象の形態の補足的情報を提供することができる。オブジェクト識別子は、セット４００に追加されるときに、セット４００に関連するオブジェクト４１２として特定され得る。
最後に、制約４１４もセット４００に関連付けられ、これを使用してセット４００のアクセス、変更または他の態様を制御することができる。例えば、セット４００のクリエイタは、誰がセットを視認できるか、誰がオブジェクト識別子をセットに追加できるか、ユーザがセットにコメントできるか否かなどに関する制約を指定することができる。
いくつかの実施において、オブジェクト識別子４２０は、オブジェクト識別子４２０を生成したユーザ４２２の識別、ユーザの観点からのオブジェクト識別子を記述したユーザが提供した記述４２６、ユーザによって提供されたまたはオブジェクト管理サービス２１０によって決定されたコンテキスト４２４、及び静的情報４２８を含むことができる。セット４００と同様に、静的情報４２８は、オブジェクトの選択された表現４２３及び／またはユーザによって提供された記述に基づいて、オブジェクト管理サービス２１０によってオブジェクト識別子４２０内に含ませることができる。例えば、オブジェクト管理サービスに既知のオブジェクトの表現４２３をユーザが選択した場合には、表現についての既存の情報をオブジェクト識別子４２０内に含ませることができる。静的情報は、オブジェクト識別子がコンテキストメニューから選択されたアクションに応答して生成されたか否かも特定することができる。オブジェクト識別子４２０についての他の静的情報は、オブジェクト管理サービス２１０の他のユーザ、オブジェクト識別子のクリエイタなどによって提供されたコメントを含むことができる。
表現４２３も、オブジェクト識別子内に含ませることができる。表現は、オブジェクトを表すのに使用できる任意の要素であってもよい。例えば、表現は、オブジェクトの図形表現、オブジェクトの音声表現、または任意の他のオブジェクトの表現であってもよい。
静的情報４２８を提供するオブジェクト管理サービス２１０に加えて、いくつかの実施において、補足的情報４３０も、オブジェクト識別子４２０に関連付けられ得る。補足的情報は、表現のソース、オブジェクトのソース、または任意の他の外部ソースによって提供された任意の形態の情報またはアクションであってもよい。例えば、オブジェクトのソースは、オブジェクトについての情報を提供し、一方で、他の外部ソースは、オブジェクトに関連するアクションを提供することができる。例えば、オブジェクトがテレビ受像機である場合には、テレビ受像機のソースは、オブジェクトについての基本情報を提供することができるソニーなどの製造業者であってもよい。この実施例において、製造業者によって提供されるオブジェクトについての情報は、寸法、解像度、重量などを含むことができる。テレビ受像機の販売業者などの他の外部ソースが、オブジェクト識別子４２０に関連し得る追加の補足的情報を提供することができる。例えば、オブジェクトの販売業者は、オブジェクトの獲得の起動、オブジェクトについての追加情報の取得、及びオブジェクトを販売している外部ソースについての情報の取得などを、オブジェクト識別子４２０を視認しているユーザが行うことができるアクションを提供することができる。
図４に戻ると、オブジェクト識別子４２０は、オブジェクトの表現が取得されたソース４３４、またはオブジェクトのソースも特定することができる。例えば、ソースは、コンテキストメニューが呼び出されたウェブサイト、及び取得したオブジェクト識別子によって表されるオブジェクトであってもよい。ソース４３４の提供に加えて、オブジェクト識別子が別の既存のオブジェクト識別子に基づき、それから生成された場合には、その既存のオブジェクト識別子を、オブジェクト識別子４２０の親４３６としてオブジェクト識別子４２０において特定することができる。同じ様に、オブジェクトが関連付けられたセット（複数可）４３２を、オブジェクト識別子４２０内に含ませることができる。最後に、制約４３８もオブジェクト識別子４２０に関連付けられ、これを使用してオブジェクト識別子４２０のアクセス、変更または他の態様を制御することができる。例えば、オブジェクト識別子４２０のクリエイタは、オブジェクト識別子が他のユーザによって視認できるか否か、他のセットにコピーできるか、ユーザがオブジェクト識別子にコメントできるか否かなどに関する制約を指定することができる。
図５は、実施に従う、オブジェクト識別子をユーザに提示するための実施例のユーザインターフェース５００のブロック図である。実施例のユーザインターフェース５００では、オブジェクト識別子を、セット、すなわち、野生生物５０２、休暇５０４及びガジェットとギア５０６内に配置した。前述のように、オブジェクト識別子５０８、５１０、５１２、５１４、５１６、５１８、５２０、５２２、５２４、５２６、５２８、５３０、５３２は、任意のオブジェクトを表現することができ、かつ／またはオブジェクトそれ自体であってもよい。ユーザは、オブジェクト識別子を視認してそれと相互作用し、かつ／またはオブジェクト識別子をセット５０２、５０４、５０６などに組織化することができる。いくつかの実施において、ユーザは、オブジェクト識別子を選択し、コンテキストメニューを呼び出して選択されたオブジェクト識別子におけるアクションをとることができる。例えば、ユーザは、ディスプレイにタッチし、長押ししてオブジェクト識別子５２２を選択することができる。長押し（コンテキストメニューの呼び出し）が検出されると、コンテキストメニューが提示され、ユーザは、選択したオブジェクト識別子におけるアクションを実行することができる。
図６は、実施に従う、実施例のコンテキストメニュー処理６００を図示する。実施例のプロセス６００及び本明細書に記述する他のプロセスの各々を、ロジカルフローグラフにおけるブロックの集合として図示する。ブロックのいくつかは、ハードウェア、ソフトウェアまたはそれらの組み合わせにおいて実装することができるオペレーションを示す。ソフトウェアのコンテキストにおいて、ブロックは、コンピュータ実行可能命令を表し、この命令は、一つ以上のコンピュータ可読媒体に記憶され、一つ以上のプロセッサによって実行されたときに、列挙されたオペレーションを実行する。通常、コンピュータ実行可能命令は、特定の機能を実行するまたは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。
コンピュータ可読媒体は、ハードドライブ、フロッピーディスケット、光ディスク、半導体ドライブ、ＣＤ−ＲＯＭ、ＤＶＤ、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、磁気もしくは光カード、ソリッドステートメモリデバイス、または電子命令を記憶するのに適した他のタイプの記憶媒体を含み得る非一時的コンピュータ可読記憶媒体を含むことができる。さらに、いくつかの実施において、コンピュータ可読媒体は、（圧縮形または非圧縮形の）一時的なコンピュータ可読信号を含むことができる。コンピュータ可読信号の実施例は、キャリアを使用した変調の有無にかかわらず、これらに限定されないが、インターネットまたは他のネットワークを通じてダウンロードまたはアップロードされた信号を含む、コンピュータプログラムをホストまたは実行するコンピュータシステムがアクセスできるように構成された信号を含む。最後に、オペレーションが記述された順序は、限定的に解釈されることは意図せず、任意の数の記述したオペレーションを、任意の順序において、かつ／またはプロセスの実施と並行して組み合わせることができる。同じ様に、追加のまたは記述したよりも少ないオペレーションを、本明細書に記述するさまざまな実施とともに利用することができる。
実施例のプロセス６００は、６０２において、コンテキストメニュー呼び出しコマンドを受信することで開始する。前述のように、呼び出しコマンドは、コンテキストメニューを呼び出すための任意の規定の入力であってもよい。例えば、コンテキストメニュー呼び出しコマンドは、長押し、タッチベースのディスプレイ上のダブルタッチ、コンテキストメニュー識別子の選択などであってもよい。コンテキストメニュー呼び出しコマンドを受信すると、６０４において、呼び出しコマンドを用いて選択されたオブジェクトを決定する。例えば、呼び出しコマンドが画像などの示されたオブジェクトの長押しである場合には、画像を決定する。呼び出しがクライアントデバイスのディスプレイ上に示されたコンテキストメニュー識別子の選択である場合には、コンテキストメニュー識別子に関連するオブジェクトを決定する。
６０５において、コンテキストメニューに含まれるアクションも決定する。例えば、ユーザに提示されるアクションを、ユーザの身元、ユーザによって選択された先のアクション、オブジェクト、ユーザによって選択された先のオブジェクト、及び／またはオブジェクトとユーザとの関係性などの一つ以上に少なくとも部分的に基づいて決定することができる。
一つの実施例において、重み関数を使用してアクション及び対応するアクション識別子を決定し、ユーザにコンテキストメニューを提示する。重み関数は、ユーザによって選択された過去のアクション、及びアクションが最後に実行されてからの時間に基づいて各アクションに定められる減衰重み値を考慮することができる。同じ様に、コンテキストメニューが呼び出された所と同じまたは同様の提示領域においてユーザによって実行される任意のアクションに追加の重みを与えることができる。次に、先のアクションの重み値の各々を合計し（いろいろな時に実行された同じアクションを組み合わせる）、最も高い重み値を持つアクションをコンテキストメニューの一部としてユーザに提示してもよい。他の実施において、現在選択されているオブジェクトを、（例えば、画像認識アルゴリズムを使用して）処理し、ユーザによって以前に選択された他のオブジェクトと比較し、現在選択されているオブジェクトと高い類似点を有する先のオブジェクトにおいて実行されたアクションに追加の重みを与えることができる。
決定したアクションに基づいて、対応するアクション識別子を決定し、６０６において、決定したアクション識別子を含むコンテキストメニューをユーザに提示する。いくつかの実施において、コンテキストメニューは、コンテキストメニュー呼び出しコマンドを受信した位置、及び／またはアクションを実行するために選択されたオブジェクトの識別も決定することができる。本明細書に論じる実施例は、コンテキストメニューの視覚的表現を記述するが、いくつかの実施において、コンテキストメニューのいくつかまたはすべては、他の形態においてユーザに示すことができる。例えば、コンテキストメニューは、音声的に、触覚フィードバックを通じて、またはそれらの組み合わせにおいて示すことができる。いくつかの実施において、アクション識別子及び／またはアクションオプション識別子は、視覚的に提示でき、各アクション識別子及び／またはアクションオプション識別子についての可聴情報を音声的に出すことができる。いくつかの実施において、より多いまたはより少ないアクション識別子及び／またはアクションオプション識別子を、コンテキストメニューに含ませてもよい。同じ様に、いくつかの実施において、ユーザは、提示されているアクション識別子にどのアクションを関連付けるか、かつ／または提示されているアクションにどのアクションオプションを関連付けるかを指定することができる。
アクション識別子の提示後、６０８において、一つ以上のアクション選択を受信することができる。例えば、実施例のプロセスは、そのユーザから別のユーザにオブジェクトを電子メールで送るアクション選択を受信することができる。アクション選択は、提示されているアクション識別子の一つ以上のユーザによる選択に応答して受信される。
アクション選択を受信すると、６１０において、コンテキストメニューを展開するか否かに関する決定を為す。選択されるアクションが一つ以上の対応するアクションオプションを有する場合には、コンテキストメニューを展開することを決定することができる。例えば、ユーザがオブジェクトをソーシャルネットワークにポストするアクションを選択した場合には、オブジェクト（アクションオプション）をポストできる異なるソーシャルネットワークに関する識別子（アクションオプション識別子）を提示するために、コンテキストメニューを展開することを決定することができる。別の一実施例として、オブジェクト管理サービスによってユーザのために保持されているセットにオブジェクトを関連付けるアクションオプションをユーザが選択し、ユーザのために保持されている複数のセットが存在する場合には、セットのうちの一つをユーザが選択できるようにコンテキストメニューを展開することを決定することができる。
コンテキストメニューを展開することを決定した場合には、６１２において、選択されたアクションに対応するアクションオプションを決定し、対応するアクションオプション識別子をユーザに提示する。いくつかの実施では、選択されたアクションに対応するすべてのアクションオプションを決定し、ユーザに提示することができる。他の実施では、ユーザによって選択される可能性が高い、アクションオプションに対応するアクションオプション識別子のみを選択用に提示することができる。例えば、実施例のプロセス６００は、各々の可能性があるアクションオプションについて、ユーザによって選択される可能性が高いアクションオプションのサブセットを決定するための追加のファクタを考慮することができる。追加のファクタは、これらに限定されないが、選択されたアクションを実行するときにユーザによって最後に選択されたアクションオプション、各々の可能性があるアクションオプション及び／または選択されたオブジェクトについてのコンテキスト情報、選択されたオブジェクト、オブジェクト識別子、他のオブジェクトなどについてのメタデータを含む。一実施例として、オブジェクト管理サービスによってユーザのために保持されているセットにオブジェクトを追加するアクションをユーザが選択した場合には、オブジェクト管理サービスによってユーザのために保持されている各セットは、アクションオプションとみなされ、それとして提示するために選択されたサブセットであってもよい。一つの実施において、オブジェクト管理サービスは、ユーザが最後に使用もしくはアクセスしたセット、選択されたオブジェクトと同じ様に決定された他の関連するオブジェクトを有するセット、及び／または同様のメタデータを有する他の関連するオブジェクトを有するセットを、アクションオプションとして選択することができる。様々な技術を使用して類似点を決定することができる。例えば、選択されたオブジェクトがデジタル画像である場合には、画像を、例えば、エッジ検出、オブジェクト検出、顔検出、文字認識、特徴検出などの一つ以上のアルゴリズムを使用して処理し、オブジェクトを表す特徴を作り出すことができる。作り出された特徴を、ユーザのために保持されているセットに関連する他の画像の特徴と比較し、各セットについての総合的な類似性スコアを決定することができる。例えば、セットが１０個の画像を含む場合には、選択されたオブジェクトに関して決定された特徴を、セットの１０個の画像の各々の特徴と比較し、総合的な類似性スコア（例えば、各類似性スコアの平均）を決定することができる。これをユーザのために保持されている各セットについて行い、最も高い類似性スコアを持つセット（複数可）をアクションオプションとして選択することができる。
一つの実施において、アクションオプションは、アクションの提示と同じ様にユーザに提示することができる。例えば、ユーザがアクションを選択する場合には、図１Ｂに図示するように、利用可能なアクションオプションに関するアクションオプション識別子を、ユーザに提示された選択されたアクション識別子の位置の周りに放射状に展開して提示することができる。他の実施では、アクションオプション識別子を、リスト形式または他の構成において提示することができる。
アクションオプション識別子の提示後、実施例のプロセス６００は、６１４において、アクションオプション選択を受信する。例えば、ユーザは、指（または、他の入力デバイス）を、選択されたアクション識別子の位置から、提示されたアクションオプション識別子のうちの一つに移動することによって、対応するアクションオプションを選択することができる。いくつかの実施において、選択されたアクションオプションは、アクションの選択であってもよい。例えば、ユーザは、提示されたアクションオプションを選択するのではなく、例えば、指を選択されたアクションを覆うように位置させ、そしてディスプレイから取り除くことによって、アクションを起動することができる。
決定ブロック６１０に戻ると、いくつかのアクションでは、コンテキストメニューを展開しなくてもよい。例えば、選択されたアクションが、可能性があるアクションオプションを一つしか有さない場合には、アクションオプションを実行し、コンテキストメニューは展開しなくてもよい。例えば、選択されたオブジェクトをダウンロードするアクションが選択された場合には、ダウンロードアクションが自動的に実行され得る。
アクション選択の受信に応答してコンテキストメニューを展開しないことを決定ブロック６１０において決定した場合、またはブロック６１４においてアクションオプション選択を受信した場合には、６１６において、選択されたアクションまたは選択されたアクションオプションが、ローカルにおいて実行されるアクションまたはアクションオプションであるか、またはそれが、クライアントデバイスからリモートにおいて実行されるものであるかに関する決定を為す。アクションまたはアクションオプションがリモートアクションであることを決定した場合には、６１８において、選択されたオブジェクト、アクションコマンド及びユーザ情報を含むアクション情報を、オブジェクト管理サービスなどのリモートコンピューティングリソースに提供する。他の実施では、アクション情報は、より少ない、追加の及び／または異なる情報のアイテムを含むことができる。通常、アクション情報は、選択されたアクション及び／または選択されたアクションオプションを実行するための、リモートコンピューティングリソースに必須の情報を含む。
アクション情報をリモートコンピューティングリソースに提供することに加えて、６２０において、ローカルアクション及び／またはアクションオプションを実行するか否かに関する決定も為すことができる。いくつかの実施において、アクション識別子及び／またはアクションオプション識別子は、アクション識別子及び／またはアクションオプション識別子の選択においてそれらのすべてを実行できる複数のアクション及び／またはアクションオプションを表すことができる。複数のアクション及び／またはアクションオプションは、すべてローカルにおいても、すべてリモートにおいても、ローカル及びリモートの両方の組み合わせおいても実行することもできる。例えば、アクション識別子は、選択されたオブジェクトを別のユーザに電子メールで送り（ローカルアクション）、オブジェクトをソーシャルネットワーキングサイトにポストするアクション（リモートアクション）を表すことができる。同じ様に、アクションオプションを選択可能にするためのコンテキストメニューの展開を伴うアクションの選択は、アクションも実行する。例えば、選択されたオブジェクトをソーシャルネットワークにポストするアクションが選択された場合には、コンテキストメニューは、可能性がある複数のソーシャルネットワーク（アクションオプション）から特定のソーシャルネットワークを選択可能なように、コンテキストメニューを展開することができる。さらに、選択されたオブジェクトは、ユーザがソーシャルネットワークにポストしたオブジェクトを含む、ユーザのために保持されているセットに自動的に関連付けることができる。
決定ブロック６１６または決定ブロック６２０のいずれかにおいて、アクション識別子及び／または選択されたアクションオプションが、ローカルにおいて実行されるアクション及び／またはアクションオプションを表すことを決定した場合には、６２２において、ローカルアクション及び／またはアクションオプションの実行が、クライアントデバイスにおいて起動される。ローカルアクション及び／もしくはアクションオプションを完了すると、またはローカルアクション及び／もしくはアクションオプションを実行しないことを決定した場合には、６２４において、実施例のプロセス６００を完了する。
図７は、本明細書に記述するさまざまな実施に従い使用することができる実施例のクライアントデバイス２０４を図示する。この実施例において、クライアントデバイス２０４は、ディスプレイ７０２、及び選択的に、デバイスにおけるディスプレイ７０２と同じ面に、カメラなどの少なくとも一つの入力コンポーネント７０４を含む。クライアントデバイス２０４は、スピーカ７０６、及び選択的に、マイクロフォン７０８などのオーディオトランスデューサも含むことができる。通常、クライアントデバイス２０４は、ユーザがクライアントデバイス２０４と相互作用することができる任意の形態の入出力コンポーネントを有することができる。例えば、ユーザのデバイスとの相互作用を可能にするさまざまな入力コンポーネントは、タッチベースのディスプレイ７０２（例えば、抵抗性、容量性の補間感圧抵抗（ＩＦＳＲ））、（ジェスチャ追跡などのための）カメラ、マイクロフォン、グローバル・ポジショニング・システム（ＧＰＳ）、コンパス、またはそれらの任意の組み合わせを含むことができる。これらの入力コンポーネントの一つ以上は、デバイスに含ませる、さもなければ、デバイスと通信することができる。さまざまな他の入力コンポーネント及び入力コンポーネントの組み合わせを、同じ様に、さまざまな実施の範囲内において使用できることが、本明細書に含まれる教示及び示唆を考慮して明らかとなるはずである。
本明細書に記述するさまざまな機能性を提供するために、図８は、図７に関して記述し、本明細書に論じたクライアントデバイス２０４などのクライアントデバイス２０４の基本的コンポーネント８００の実施例のセットを図示する。この実施例において、デバイスは、少なくとも一つのメモリデバイスまたは素子８０４に記憶できる命令を実行するための少なくとも一つの中央プロセッサ８０２を含む。当業者に明らかであるように、デバイスは、プロセッサ８０２によって実行するためのプログラム命令のための第一のデータストレージなどの、多くのタイプのメモリ、データストレージまたはコンピュータ可読記憶媒体を含むことができる。他のデバイスと情報を共有するためのリムーバブルストレージメモリなども利用可能である。デバイスは、典型的に、タッチベースのディスプレイ、電子インク（ｅ−ｉｎｋ）、有機発光ダイオード（ＯＬＥＤ）または液晶ディスプレイ（ＬＣＤ）などのいつくかのタイプのディスプレイ８０６を含む。
前述のように、多くの実施におけるデバイスは、デバイス付近のオブジェクトを撮像できる一つ以上のカメラなどの少なくとも一つの画像捕捉素子８０８を含む。画像捕捉素子は、確定された解像度、集束範囲、可視領域及びキャプチャレートを有するＣＣＤまたはＣＭＯＳ画像捕捉素子などの任意の適切な技術を含む、またはそれに少なくとも部分的に基づくことができる。デバイスは、図６に関して前述したコンテキストメニュー処理を実行するための少なくとも一つのコンテキストメニューコンポーネント８１０を含むことができる。クライアントデバイスは、オブジェクト管理サービス２１０と持続的にまたは断続的に通信し、例えば、アクション情報、表現、記述、ソース情報などの情報を、コンテキストメニュー処理の一部としてオブジェクト管理サービス２１０とやり取りすることができる。
デバイスは、リモートアクションを起動するための情報を記憶及び管理するリモートアクションマネジメントコンポーネント８１２も含むことができる。そのようなデバイスにおける情報の記憶及び保持は、クライアントデバイスがオブジェクト管理サービス２１０と通信できないときでさえもリモートにおいて実行可能なアクションを選択する能力をユーザに与える。通信が復帰すると、アクション情報がオブジェクト管理サービス２１０に送達され、リクエストされたアクションが実行される。
デバイスは、ＧＰＳ、ＮＦＣ位置追跡またはＷｉ−Ｆｉ位置モニタリングなどの少なくとも一つの位置決めコンポーネント８１４も含むことができる。位置決めコンポーネント８１４によって取得された位置情報を本明細書に論じるさまざまな実施とともに使用して、ユーザの位置、ソース位置、オブジェクト位置などを特定し、セット及び／またはオブジェクト識別子の生成、変更及び／または管理をサポートすることができる。
実施例のクライアントデバイスは、ユーザからの従来型の入力を受信できる少なくとも一つの追加の入力デバイスも含むことができる。この従来型の入力は、例えば、押しボタン、タッチパッド、タッチベースのディスプレイ、ハンドル、ジョイスティック、キーボード、マウス、トラックボール、キーパッド、またはコンテキストメニュー呼び出しコマンドなどのコマンドをユーザがデバイスに入力できる任意の他のそのようなデバイスもしくは素子を含むことができる。これらのＩ／Ｏデバイスは、いくつかの実施において、同様に、無線、赤外線、ブルートゥースまたは他のリンクによって接続することができる。しかしながら、いくつかの実施において、そのようなデバイスは、ボタンを全く含まなくてもよく、タッチ（例えば、タッチベースのディスプレイ）、音声（例えば、口語）コマンド、またはそれらの組み合わせを通じてのみ制御されてもよい。
図９は、図２の環境において使用できるサーバシステム２０２などのサーバシステムの実例の実施の絵図である。サーバシステム２０２は、一つ以上の冗長プロセッサなどのプロセッサ９００、ビデオディスプレイアダプタ９０２、ディスクドライブ９０４、入出力インターフェース９０６、ネットワークインターフェース９０８、及びメモリ９１２を含むことができる。プロセッサ９００、ビデオディスプレイアダプタ９０２、ディスクドライブ９０４、入出力インターフェース９０６、ネットワークインターフェース９０８、及びメモリ９１２は、コミュニケーションバス９１０によって互いに通信的に連結することができる。
ビデオディスプレイアダプタ９０２は、サーバシステム２０２のオペレータがサーバシステム２０２のオペレーションを監視及び構成することができるディスプレイ信号をローカルディスプレイ（図９には図示せず）に提供する。入出力インターフェース９０６は、さらに、マウス、キーボード、スキャナ、またはサーバシステム２０２のオペレータによって操作することができる他の入力及び出力デバイスなどの図９には示さない外部入出力デバイスと通信する。ネットワークインターフェース９０８は、他のコンピューティングデバイスと通信するためのハードウェア、ソフトウェアまたはそれらの任意の組み合わせを含む。例えば、ネットワークインターフェース９０８は、図２に示すように、サーバシステム２０２とクライアントデバイス２０４などの他のコンピューティングデバイスとの間のネットワーク２０８を通じた通信を提供するように構成できる。
メモリ９１２は、通常、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、及び／または他の揮発性もしくはパーマネントメモリを備える。メモリ９１２は、サーバシステム２０２のオペレーションを制御するためのオペレーティングシステム９１４を記憶するように示される。サーバシステム２０２の低レベルオペレーションを制御するためのバイナリ入出力システム（ＢＩＯＳ）９１６も、メモリ９１２に記憶される。
メモリ９１２は、さらに、クライアントデバイス２０４及び外部ソース２０６が情報及びデータファイルをサーバシステム２０２及び／またはオブジェクト管理サービス２１０とやり取りすることができるネットワークサービスを提供するためのプログラムコード及びデータを記憶する。それ故に、メモリ９１２は、ブラウザアプリケーション９１８を記憶することができる。ブラウザアプリケーション９１８は、プロセッサ９００によって実行されると、ウェブページなどの構成可能なマークアップ文書を作り出す、さもなければ取得するコンピュータ実行可能命令を含む。ブラウザアプリケーション９１８は、データストアマネージャアプリケーション９２０と通信し、マッピングデータストア２１２、オブジェクト識別子データストア２１４、セットデータストア２１６、ソースデータストア２１８、及び／またはユーザプロファイルデータストア２２０、図２に示すクライアントデバイス２０４などのクライアントデバイス、及び／または図２に示す外部ソース２０６などの外部ソース間のデータ交換及びマッピングを促進する。
本明細書に使用される「データストア」という用語は、データを記憶、それにアクセス及びそれを取得することができる任意のデバイスまたはデバイスの組み合わせを意味し、任意の標準の分散されたまたはクラスタ化された環境において、任意の組み合わせ及び数のデータサーバ、データベース、データストレージデバイス及びデータ記憶媒体を含むことができる。サーバシステム２０２は、必要に応じて、クライアントデバイス２０４、外部ソース２０６及び／またはオブジェクト管理サービス２１０のための一つ以上のアプリケーションの態様を実行するための、データストア２１２〜２２０と統合するための任意の適切なハードウェア及びソフトウェアを含むことができる。サーバシステム２０２は、データストア２１２〜２２０と協働してアクセス制御サービスを提供し、クライアントデバイス２０４または外部ソース２０６に転送されるテキスト、グラフィックス、オーディオ、ビデオなどのコンテンツ及び／またはオブジェクト識別子もしくはセット関連情報（例えば、ユーザインターフェースについての表現、コンテキスト、記述、マッピング、分析論）を作り出すことができる。
データストア２１２〜２２０は、特定の態様に関するデータを記憶するための、いくつかの別々のデータテーブル、データベースまたは他のデータストレージ機構及び媒体を含むことができる。例えば、図示するデータストア２１２〜２２０は、コンテンツ、ユーザ情報、マッピング及び外部ソース情報、表現を記憶するための機構を含む。これらを使用して、コンテンツ（例えば、セット、オブジェクト識別子、表現）を作り出してクライアントデバイス２０４及び／または外部ソース２０６に送達し、実行されるアクションを制御することができる。
データストア２１２〜２２０に記憶することができるアクセス権情報などの多くの他の態様が存在できることを理解すべきである。これらは、必要に応じて上記の機構のいずれか、またはデータストア２１２〜２２０のいずれかの追加の機構に記憶させることができる。データストア２１２〜２２０は、それに関連する論理を通じて、サーバシステム２０２からの命令を受信し、その命令に応じてデータを取得、更新、さもなければ別な様に処理するように動作可能である。例えば、クライアントデバイスは、選択されたオブジェクトからオブジェクト識別子を生成するためのアクション情報を提示することができる。
メモリ９１２は、前述のオブジェクト管理サービス２１０も含むことができる。オブジェクト管理サービス２１０は、サーバシステム２０２の機能の一つ以上を実施するようにプロセッサ９００によって実行可能である。一つの実施において、オブジェクト管理サービス２１０は、メモリ９１２に記憶された一つ以上のソフトウェアプログラムにおいて具体化された命令を示すことができる。別の実施において、オブジェクト管理サービス２１０は、ハードウェア、ソフトウェア命令またはそれらの組み合わせを示すことができる。
サーバシステム２０２は、一つの実施において、一つ以上のコンピュータネットワークまたは直接接続を使用した通信リンクを通じて相互接続されたいくつかのコンピュータシステム及びコンポーネントを利用する分散環境である。しかしながら、そのようなシステムが、図９に図示するよりも少ないまたは多い数のコンポーネントを有するシステムでも同様に動作できることが当業者によって認識される。故に、図９の描写は、事実上実例とみなされ、本開示の範囲を限定しないはずである。
構造的特徴及び／または方法的行為に特有の言葉で主題を記述したが、添付の特許請求の範囲に定義された主題が、記述した具体的な特徴または行為を必ずしも限定しないことを理解すべきである。むしろ、具体的な特徴または行為は、特許請求の範囲を実施する例示の形態として開示される。
条項
〔１〕
実行可能命令を含んで構成された一つ以上のコンピューティングシステムの制御下で、
コンテキストメニュー呼び出しを受信することと、
コンテキストメニュー呼び出しに対応する選択されたオブジェクトを決定することと、
選択されたオブジェクトに少なくとも部分的に基づいてアクションを決定することと、
選択されたオブジェクトに関して実行することができるアクションをその各々が表し、そのうちの一つが決定されたアクションを表す複数のアクション識別子を含むコンテキストメニューをユーザに提示することと、
複数のアクション識別子からの特定のアクション識別子の選択を受信することと、
選択されたアクション識別子によって表されるアクションを実行することと、を含む、コンピュータ実施方法。
〔２〕
コンテキストメニュー呼び出しが、ユーザによるオブジェクトの選択に応答して受信される、条項１に記載のコンピュータ実施方法。
〔３〕
オブジェクトが、デバイスに提示された複数のオブジェクトのうちの一つである、条項１に記載のコンピュータ実施方法。
〔４〕
アクションが、メッセージの送信、選択されたオブジェクトのソーシャルネットワーキングサイトもしくはプラットフォームへのポスト、選択されたオブジェクトへのコメントの追加、選択されたオブジェクトの獲得、選択されたオブジェクトと同様のオブジェクトの検索、選択されたオブジェクトのセットへの追加、選択されたオブジェクトのセットからの取り除き、選択されたオブジェクトの促進、選択されたオブジェクトの報告、選択されたオブジェクトに関するアクションをとった他のユーザの特定、選択されたオブジェクトのデバイスへの保存、または選択されたオブジェクトのダウンロードの少なくとも一つである、条項１に記載のコンピュータ実施方法。
〔５〕
アクションがリモートアクションを含むことを決定することと、
アクション情報をリモートコンピューティングリソースに送信することと、をさらに含む、条項１に記載のコンピュータ実施方法。
〔６〕
アクション情報が、選択されたオブジェクト、アクションコマンドまたはユーザ情報の一つ以上を含む、条項５に記載のコンピュータ実施方法。
〔７〕
一つ以上のプロセッサと、
一つ以上のプロセッサに連結されており、プログラム命令を記憶するメモリと、を備えており、プログラム命令が、一つ以上のプロセッサによって実行されたときに、一つ以上のプロセッサに、少なくとも、
コンテキストメニューの呼び出しをユーザから受信させ、
ユーザの身元、ユーザによって選択された先のアクション、オブジェクト、ユーザによって選択された先のオブジェクト、またはオブジェクトとユーザとの関係性の一つ以上に少なくとも部分的に基づいて、ユーザに提示される複数のアクションを決定させ、
複数のアクションのうちの一つにその各々が対応する複数のアクション識別子を含むコンテキストメニューをディスプレイに送信させ、
複数のアクション識別子からの特定のアクション識別子の選択を受信させ、
選択されたアクション識別子に対応するアクションを実行させる、コンピューティングシステム。
〔８〕
プログラム命令が、一つ以上のプロセッサによって実行されたときに、さらに、一つ以上のプロセッサに、少なくとも、
選択されたアクションに対応する複数のアクションオプションを決定させ、
複数のアクションオプションの各々についての、アクションオプション識別子をディスプレイに送信させ、
複数のアクションオプション識別子からの特定のアクションオプション識別子の選択を受信させ、
一つ以上のプロセッサによって実行されたときに、選択されたアクション識別子に対応するアクションを実行させるプログラム命令が、選択されたアクションオプション識別子に関するアクションを実行させる命令を含む、条項７に記載のコンピューティングシステム。
〔９〕
プログラム命令が、一つ以上のプロセッサによって実行されたときに、さらに、一つ以上のプロセッサに、少なくとも、
選択されたアクションに対応し、第一の選択の見込みを有する第一のアクションオプションを決定させ、
選択されたアクションに対応し、第二の選択の見込みを有する第二のアクションオプションを決定させ、
複数のアクションオプションが第一のアクションオプション及び第二のアクションオプションを含む、条項８に記載のコンピューティングシステム。
〔１０〕
プログラム命令が、一つ以上のプロセッサによって実行されたときに、さらに、一つ以上のプロセッサに、少なくとも、
追加のアクションオプション識別子の選択が可能なメニュー識別子をディスプレイに送信させる、条項９に記載のコンピューティングシステム。
〔１１〕
プログラム命令が、一つ以上のプロセッサによって実行されたときに、さらに、一つ以上のプロセッサに、少なくとも、
コンテキストメニューの呼び出しの一部として選択されたオブジェクトを決定させる、条項７に記載のコンピューティングシステム。
〔１２〕
オブジェクトに関するアクションを実行する、条項１１に記載のコンピューティングシステム。
〔１３〕
プログラム命令が、一つ以上のプロセッサによって実行されたときに、さらに、一つ以上のプロセッサに、少なくとも、
選択されたアクションがリモートアクションであることを決定させ、
選択されたオブジェクト及び選択されたアクションの識別を含むアクション情報をリモートコンピューティングリソースに送信させる、条項７に記載のコンピューティングシステム。
〔１４〕
オブジェクトに対応するコンテキストメニューを呼び出すための入力をユーザから受信することと、
ユーザの身元、ユーザによって選択された先のアクション、オブジェクト、ユーザによって選択された先のオブジェクト、またはオブジェクトとユーザとの関係性の一つ以上に少なくとも部分的に基づいて、ユーザに提示される複数のアクションを決定することと、
決定したアクションにその各々が対応する複数のアクション識別子を含むコンテキストメニューをユーザに提示することと、
アクション識別子の選択を受信することと、
アクション識別子に対応するアクションを実行することと、を含む、コンピュータ実施方法。
〔１５〕
コンテキストメニューの提示が、
コンテキストメニューの呼び出しを受信した入力の近似位置に入力識別子を提示することと、
入力識別子から第一の距離に、複数のアクション識別子の各々を提示することと、を含む、条項１４に記載のコンピュータ実施方法。
〔１６〕
入力が、デバイスのタッチベースのディスプレイにおける入力デバイスの?長押しである、条項１４に記載のコンピュータ実施方法。
〔１７〕
入力の位置に少なくとも部分的に基づいてオブジェクトを決定することをさらに含む、条項１４に記載のコンピュータ実施方法。
〔１８〕
オブジェクトが、ディスプレイ上に提示された複数のオブジェクトのうちの一つである、条項１７に記載のコンピュータ実施方法。
〔１９〕
オブジェクトに関するアクションが実行され、複数のオブジェクトのうちの他のオブジェクトに関するアクションは実行されない、条項１８に記載のコンピュータ実施方法。
〔２０〕
アクションが、メッセージの送信、選択されたオブジェクトのソーシャルネットワーキングサイトもしくはプラットフォームへのポスト、選択されたオブジェクトへのコメントの追加、選択されたオブジェクトの獲得、選択されたオブジェクトと同様のオブジェクトの検索、選択されたオブジェクトのセットへの追加、選択されたオブジェクトのセットからの取り除き、選択されたオブジェクトの促進、選択されたオブジェクトの報告、選択されたオブジェクトに関するアクションをとった他のユーザの特定、選択されたオブジェクトのデバイスへの保存、または選択されたオブジェクトのダウンロードの少なくとも一つである、条項１４に記載のコンピュータ実施方法。

Claims (15)

  1. 実行可能命令を含んで構成された一つ以上のコンピューティングシステムの制御下で、
    コンテキストメニューを呼び出すために、電子デバイスのディスプレイ上の位置で長押しの入力を受信することと、
    前記位置に対応する第１オブジェクトを判断することと、
    ユーザによって以前に選択された第２オブジェクトと前記第１オブジェクトとの間の類似点を判断することと、
    前記類似点に基づいて前記第１オブジェクトに関して実行される可能性の高い複数のアクションを表す複数のアクション識別子を特定することと、
    前記長押しの入力に応答して、前記ディスプレイに前記コンテキストメニューとして前記位置の少なくとも一部の周囲に放射パターンで前記複数のアクション識別子をユーザに提示することと、
    前記複数のアクション識別子の提示に引き続いて、前記ディスプレイ上の前記位置から第２位置へ長押しの入力の移動を判断することと、
    前記第２位置での長押しの入力の取り除きで前記複数のアクション識別子の一つの前記アクション識別子を特定することと、
    特定した前記アクション識別子のアクションの実行を引き起こすことと、を含む、コンピュータ実施方法。
  2. 前記アクションが、メッセージの送信、前記第１オブジェクトのソーシャルネットワーキングサイトもしくはプラットフォームへのポスト、前記第１オブジェクトへのコメントの追加、前記第１オブジェクトの獲得、前記第１オブジェクトと同様のオブジェクトの検索、前記第１オブジェクトのセットへの追加、前記第１オブジェクトのセットからの取り除き、前記第１オブジェクトの報告、前記第１オブジェクトに関するアクションをとった他のユーザの特定、前記第１オブジェクトのデバイスへの保存、または前記第１オブジェクトのダウンロードの少なくとも一つである、請求項１に記載のコンピュータ実施方法。
  3. 前記アクションがリモートアクションを含むことを決定することと、
    アクション情報をリモートコンピューティングリソースに送信することと、をさらに含む、請求項１に記載のコンピュータ実施方法。
  4. 前記アクショ識別子は、ユーザに関連するセットに前記第１オブジェクトを追加するアクションを意味し、
    前記第１オブジェクト及び前記アクション識別子に対応するアクション命令を含むアクション情報をリモートコンピューティングリソースに送信する、請求項１に記載のコンピュータ実施方法。
  5. 前記第１オブジェクトは画像であり前記アクショ識別子は前記画像を含むメッセージの送信を意味し、
    前記第１オブジェクト及び前記アクション識別子に対応するアクション命令を含むアクション情報をリモートコンピューティングリソースに送信する、請求項１に記載のコンピュータ実施方法。
  6. 一つ以上のプロセッサと、
    前記一つ以上のプロセッサに連結されており、プログラム命令を記憶するメモリと、を備えており、前記プログラム命令が、前記一つ以上のプロセッサによって実行されたときに、前記一つ以上のプロセッサに、少なくとも、
    ディスプレイ上に表示される第１オブジェクトに対応する位置でコンテキストメニューの呼び出しをユーザから受信させ、
    ユーザによって以前に選択された第２オブジェクトと前記第１オブジェクトとの間の類似点を判断させ、
    前記類似点に基づいて前記第１オブジェクトに関して実行される可能性の高い複数のアクションを表す複数のアクション識別子を特定させ、
    ユーザの入力に応答して、前記位置の少なくとも一部の周囲に放射パターンで前記複数のアクション識別子を含む前記コンテキストメニューをディスプレイに送信させ、
    前記ディスプレイに前記コンテキストメニューが送信されたことに引き続いて、前記ディスプレイ上の前記位置から第２位置へ入力の移動を判断させ、
    少なくとも前記入力の移動に基づいて、前記複数のアクション識別子から選択されたアクション識別子を受信させ、
    前記選択されたアクション識別子の決定に応答して前記アクションを実行させる、コンピューティングシステム。
  7. 前記プログラム命令が、前記一つ以上のプロセッサによって実行されたときに、さらに、前記一つ以上のプロセッサに、少なくとも、
    前記アクションに対応する複数のアクションオプションを決定させ、
    前記選択されたアクション識別子の前記位置の少なくとも一部の周囲に放射パターンで前記複数のアクションオプションの各々についての、複数のアクションオプション識別子をディスプレイに送信させ、
    前記複数のアクションオプション識別子からの選択されたアクションオプション識別子を判断させ、
    前記選択されたアクションオプション識別子に関する前記アクションの実行を引き起こさせる、請求項６に記載のコンピューティングシステム。
  8. 前記プログラム命令が、前記一つ以上のプロセッサによって実行されたときに、さらに、前記一つ以上のプロセッサに、少なくとも、
    前記アクションに対応し、第一の選択の見込みを有する第一のアクションオプションを決定させ、
    前記アクションに対応し、第二の選択の見込みを有する第二のアクションオプションを決定させ、
    前記複数のアクションオプションが前記第一のアクションオプション及び前記第二のアクションオプションを含む、請求項７に記載のコンピューティングシステム。
  9. 前記プログラム命令が、前記一つ以上のプロセッサによって実行されたときに、さらに、前記一つ以上のプロセッサに、少なくとも、
    前記アクションがリモートアクションであることを判断させ、
    前記第１オブジェクト及び前記アクションの識別を含むアクション情報をリモートコンピューティングリソースに送信させる、請求項６に記載のコンピューティングシステム。
  10. 第１オブジェクトに対応するコンテキストメニューを呼び出すための位置の入力をユーザから受信することと、
    ユーザによって以前に選択された第２オブジェクトと前記第１オブジェクトとの間の類似点を判断することと、
    前記類似点に基づいて前記第１オブジェクトに関して実行される可能性の高い複数のアクションを表す複数のアクション識別子を決定することと、
    前記入力に応答して、前記位置の少なくとも一部の周囲に放射パターンで決定した前記複数のアクション識別子を含む前記コンテキストメニューを前記ユーザに提示することと、
    前記コンテキストメニューを前記ユーザに提示したことに引き続いて、前記複数のアクション識別子から一つのアクション識別子の選択を受信することと、
    前記アクション識別子の選択に応答して、前記アクション識別子に対応するアクションを実行することと、を含む、コンピュータ実施方法。
  11. 前記コンテキストメニューの提示が、
    前記コンテキストメニューの呼び出しを受信した前記入力の近似位置に入力識別子を提示することと、
    前記入力識別子から第一の距離に、前記複数のアクション識別子の各々を放射パターンで提示することと、を含む、請求項１０に記載のコンピュータ実施方法。
  12. 前記入力が、デバイスのタッチベースのディスプレイにおける入力デバイスの長押しである、請求項１０に記載のコンピュータ実施方法。
  13. 前記入力の位置に少なくとも部分的に基づいて前記第１オブジェクトを決定することをさらに含む、請求項１０に記載のコンピュータ実施方法。
  14. 前記第１オブジェクトに関する前記アクションが実行され、ディスプレイ上の前記複数のオブジェクトのうちの他のオブジェクトに関する前記アクションは実行されない、請求項１３に記載のコンピュータ実施方法。
  15. 前記アクションが、メッセージの送信、前記第１オブジェクトのソーシャルネットワーキングサイトもしくはプラットフォームへのポスト、前記第１オブジェクトへのコメントの追加、前記第１オブジェクトの獲得、前記第１オブジェクトと同様のオブジェクトの検索、前記第１オブジェクトのセットへの追加、前記第１オブジェクトのセットからの取り除き、、前記第１オブジェクトの報告、前記第１オブジェクトに関するアクションをとった他のユーザの特定、前記第１オブジェクトのデバイスへの保存、または前記第１オブジェクトのダウンロードの少なくとも一つである、請求項１０に記載のコンピュータ実施方法。
JP2016527055A 2013-07-16 2014-07-15 オブジェクトベースのコンテキストメニューの制御 Active JP6220452B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361847078P 2013-07-16 2013-07-16
US61/847,078 2013-07-16
US14/331,837 2014-07-15
PCT/US2014/046770 WO2015009770A1 (en) 2013-07-16 2014-07-15 Object based contextual menu controls
US14/331,837 US10152199B2 (en) 2013-07-16 2014-07-15 Object based contextual menu controls

Publications (2)

Publication Number Publication Date
JP2016530613A JP2016530613A (ja) 2016-09-29
JP6220452B2 true JP6220452B2 (ja) 2017-10-25

Family

ID=52344668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016527055A Active JP6220452B2 (ja) 2013-07-16 2014-07-15 オブジェクトベースのコンテキストメニューの制御

Country Status (8)

Country Link
US (1) US10152199B2 (ja)
EP (1) EP3022639B1 (ja)
JP (1) JP6220452B2 (ja)
AU (2) AU2014290148A1 (ja)
CA (1) CA2918459C (ja)
ES (1) ES2707967T3 (ja)
MX (1) MX2016000664A (ja)
WO (1) WO2015009770A1 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101806350B1 (ko) 2012-05-09 2017-12-07 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
EP3264252B1 (en) 2012-05-09 2019-11-27 Apple Inc. Device, method, and graphical user interface for performing an operation in accordance with a selected mode of operation
WO2013169853A1 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
AU2013259606B2 (en) 2012-05-09 2016-06-02 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169854A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2014105278A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for determining whether to scroll or select contents
WO2014105277A2 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
US20150058808A1 (en) * 2013-08-23 2015-02-26 General Electric Company Dynamic contextual touch menu
US10282905B2 (en) 2014-02-28 2019-05-07 International Business Machines Corporation Assistive overlay for report generation
US10261661B2 (en) * 2014-06-25 2019-04-16 Oracle International Corporation Reference position in viewer for higher hierarchical level
US9612720B2 (en) 2014-08-30 2017-04-04 Apollo Education Group, Inc. Automatic processing with multi-selection interface
US9906413B1 (en) * 2014-12-18 2018-02-27 Jpmorgan Chase Bank, N.A. System and method for implementing a dynamic hierarchy for devices
US10051036B1 (en) * 2015-01-23 2018-08-14 Clarifai, Inc. Intelligent routing of media items
US9632664B2 (en) * 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US20160266770A1 (en) * 2015-03-11 2016-09-15 International Business Machines Corporation Multi-selector contextual action paths
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US10353541B1 (en) * 2015-03-27 2019-07-16 Open Text Corporation Context menu fragment management
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10021187B2 (en) * 2015-06-29 2018-07-10 Microsoft Technology Licensing, Llc Presenting content using decoupled presentation resources
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US20170063753A1 (en) * 2015-08-27 2017-03-02 Pinterest, Inc. Suggesting object identifiers to include in a communication
CN108781175B (zh) 2015-12-21 2021-09-21 谷歌有限责任公司 用于消息交换题绪的自动建议的方法、介质及***
CN108476164B (zh) 2015-12-21 2021-10-08 谷歌有限责任公司 在消息传送应用中自动地提供机器人服务的方法
CN105677230A (zh) * 2016-01-29 2016-06-15 宇龙计算机通信科技(深圳)有限公司 一种功能控制方法及终端
CN105912258B (zh) * 2016-04-13 2019-12-13 北京小米移动软件有限公司 操作处理方法及装置
DE102016124277A1 (de) 2016-04-19 2017-10-19 Patty's Gmbh Verfahren zum Ermitteln und Anzeigen von Produkten auf einer elektronischen Anzeigeeinrichtung
US10511450B2 (en) 2016-09-20 2019-12-17 Google Llc Bot permissions
WO2018057541A1 (en) 2016-09-20 2018-03-29 Google Llc Suggested responses based on message stickers
US11010211B2 (en) 2016-11-15 2021-05-18 Microsoft Technology Licensing, Llc Content processing across applications
KR20180074403A (ko) * 2016-12-23 2018-07-03 엘지전자 주식회사 공항용 로봇 및 그의 동작 방법
KR102402096B1 (ko) * 2017-03-27 2022-05-26 삼성전자주식회사 이미지 내 오브젝트와 관련된 정보를 제공하는 전자 장치
WO2018212822A1 (en) * 2017-05-16 2018-11-22 Google Inc. Suggested actions for images
US10078909B1 (en) 2017-05-16 2018-09-18 Facebook, Inc. Video stream customization using graphics
US10467030B2 (en) * 2017-05-23 2019-11-05 Sap Se Single user display interface
US10348658B2 (en) 2017-06-15 2019-07-09 Google Llc Suggested items for use with embedded applications in chat conversations
US10404636B2 (en) 2017-06-15 2019-09-03 Google Llc Embedded programs and interfaces for chat conversations
US10891526B2 (en) 2017-12-22 2021-01-12 Google Llc Functional image archiving
EP3617862B1 (en) * 2018-08-30 2020-11-11 Siemens Healthcare GmbH Processing a user input in relation to an image
USD914762S1 (en) * 2019-03-27 2021-03-30 Mi Hee Lee Display screen or portion thereof with icon
TWI768327B (zh) * 2020-04-21 2022-06-21 宏碁股份有限公司 電子裝置與其資料傳輸方法
US20220019340A1 (en) * 2020-07-15 2022-01-20 yuchen du Social knowledge graph for collective learning
US11816176B2 (en) * 2021-07-27 2023-11-14 Locker 2.0, Inc. Systems and methods for enhancing online shopping experience

Family Cites Families (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5261042A (en) * 1986-03-27 1993-11-09 Wang Laboratories, Inc. Menu management system
US5758257A (en) * 1994-11-29 1998-05-26 Herz; Frederick System and method for scheduling broadcast of and access to video programs and other data using customer profiles
US5689667A (en) * 1995-06-06 1997-11-18 Silicon Graphics, Inc. Methods and system of controlling menus with radial and linear portions
US5842194A (en) * 1995-07-28 1998-11-24 Mitsubishi Denki Kabushiki Kaisha Method of recognizing images of faces or general images using fuzzy combination of multiple resolutions
US5848396A (en) * 1996-04-26 1998-12-08 Freedom Of Information, Inc. Method and apparatus for determining behavioral profile of a computer user
US6493006B1 (en) * 1996-05-10 2002-12-10 Apple Computer, Inc. Graphical user interface having contextual menus
US6647139B1 (en) * 1999-02-18 2003-11-11 Matsushita Electric Industrial Co., Ltd. Method of object recognition, apparatus of the same and recording medium therefor
US6549219B2 (en) * 1999-04-09 2003-04-15 International Business Machines Corporation Pie menu graphical user interface
US6664991B1 (en) * 2000-01-06 2003-12-16 Microsoft Corporation Method and apparatus for providing context menus on a pen-based device
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US7246329B1 (en) * 2001-05-18 2007-07-17 Autodesk, Inc. Multiple menus for use with a graphical user interface
US7415671B2 (en) * 2001-06-08 2008-08-19 Computer Associates Think, Inc. Interactive hierarchical status display
US8370761B2 (en) * 2002-02-21 2013-02-05 Xerox Corporation Methods and systems for interactive classification of objects
US7370276B2 (en) * 2002-05-17 2008-05-06 Sap Aktiengesellschaft Interface for collecting user preferences
US7058902B2 (en) * 2002-07-30 2006-06-06 Microsoft Corporation Enhanced on-object context menus
US20040100505A1 (en) * 2002-11-21 2004-05-27 Cazier Robert Paul System for and method of prioritizing menu information
US7587411B2 (en) * 2003-03-27 2009-09-08 Microsoft Corporation System and method for filtering and organizing items based on common elements
US7783672B2 (en) * 2003-04-09 2010-08-24 Microsoft Corporation Support mechanisms for improved group policy management user interface
JP2004334705A (ja) * 2003-05-09 2004-11-25 Nippon Telegr & Teleph Corp <Ntt> マウスカーソルの多機能化装置、マウスカーソルの多機能化方法、情報機器に対する操作指示の処理方法、コンテンツの保存方法、及びコンテンツを所定のアプリケーションで開く方法
US20040249813A1 (en) * 2003-06-04 2004-12-09 Singh Pradeep Kumar Open component alliance
JP2005141513A (ja) 2003-11-07 2005-06-02 Mitsubishi Electric Corp 監視システム
US20060020597A1 (en) * 2003-11-26 2006-01-26 Yesvideo, Inc. Use of image similarity in summarizing a collection of visual images
US7487441B2 (en) * 2004-03-11 2009-02-03 Yahoo!Inc. Method and system of enhanced messaging
US7886024B2 (en) * 2004-07-01 2011-02-08 Microsoft Corporation Sharing media objects in a network
CA2500573A1 (en) * 2005-03-14 2006-09-14 Oculus Info Inc. Advances in nspace - system and method for information analysis
JP2007141190A (ja) * 2004-12-09 2007-06-07 Ricoh Co Ltd 情報処理装置、情報処理方法、およびそのプログラム
US7627096B2 (en) * 2005-01-14 2009-12-01 At&T Intellectual Property I, L.P. System and method for independently recognizing and selecting actions and objects in a speech recognition system
EP1691277B1 (en) * 2005-02-11 2009-06-24 Sap Ag Context menu providing dependency relationships for objects of different type
US7646895B2 (en) * 2005-04-05 2010-01-12 3Vr Security, Inc. Grouping items in video stream images into events
JP2006338458A (ja) * 2005-06-03 2006-12-14 Sony Corp データ処理装置、データ処理方法、プログラム
US20070050468A1 (en) * 2005-08-09 2007-03-01 Comverse, Ltd. Reality context menu (RCM)
JP4717743B2 (ja) * 2005-08-23 2011-07-06 株式会社リコー 情報処理装置
CA2622848A1 (en) * 2005-09-30 2007-04-05 Nokia Corporation A method, device, computer program and graphical user interface used for the selection, movement and de-selection of an item
US20070136690A1 (en) * 2005-12-12 2007-06-14 Microsoft Corporation Wedge menu
US7644372B2 (en) * 2006-01-27 2010-01-05 Microsoft Corporation Area frequency radial menus
US9547648B2 (en) * 2006-08-03 2017-01-17 Excalibur Ip, Llc Electronic document information extraction
US7509348B2 (en) * 2006-08-31 2009-03-24 Microsoft Corporation Radially expanding and context-dependent navigation dial
US7873710B2 (en) * 2007-02-06 2011-01-18 5O9, Inc. Contextual data communication platform
US8352881B2 (en) * 2007-03-08 2013-01-08 International Business Machines Corporation Method, apparatus and program storage device for providing customizable, immediate and radiating menus for accessing applications and actions
WO2008111050A2 (en) * 2007-03-09 2008-09-18 Ghost, Inc. A virtual identity system and method for web services
US20080228685A1 (en) * 2007-03-13 2008-09-18 Sharp Laboratories Of America, Inc. User intent prediction
JP2008244633A (ja) * 2007-03-26 2008-10-09 Seiko Epson Corp リモートコントローラ
WO2008126796A1 (ja) * 2007-04-06 2008-10-23 International Business Machines Corporation サービス・プログラムを生成する技術
US7941467B2 (en) * 2007-05-29 2011-05-10 Research In Motion Limited System and method for integrating image upload objects with a message list
US8201096B2 (en) * 2007-06-09 2012-06-12 Apple Inc. Browsing or searching user interfaces and other aspects
US7941765B2 (en) * 2008-01-23 2011-05-10 Wacom Co., Ltd System and method of controlling variables using a radial control menu
US20090234716A1 (en) 2008-03-17 2009-09-17 Photometria, Inc. Method of monetizing online personal beauty product selections
JP2010009224A (ja) * 2008-06-25 2010-01-14 Fujitsu Ltd 情報処理装置、情報処理方法、およびプログラム
US8245156B2 (en) * 2008-06-28 2012-08-14 Apple Inc. Radial menu selection
US8321802B2 (en) * 2008-11-13 2012-11-27 Qualcomm Incorporated Method and system for context dependent pop-up menus
US20100271312A1 (en) * 2009-04-22 2010-10-28 Rachid Alameh Menu Configuration System and Method for Display on an Electronic Device
US8549432B2 (en) * 2009-05-29 2013-10-01 Apple Inc. Radial menus
US9632662B2 (en) * 2009-09-16 2017-04-25 International Business Machines Corporation Placement of items in radial menus
US8694514B2 (en) * 2009-10-12 2014-04-08 Oracle International Corporation Collaborative filtering engine
US8593576B2 (en) * 2009-10-15 2013-11-26 At&T Intellectual Property I, L.P. Gesture-based remote control
CA2680602C (en) * 2009-10-19 2011-07-26 Ibm Canada Limited - Ibm Canada Limitee System and method for generating and displaying hybrid context menus
JP2011107823A (ja) 2009-11-13 2011-06-02 Canon Inc 表示制御装置及び表示制御方法
US8490018B2 (en) * 2009-11-17 2013-07-16 International Business Machines Corporation Prioritization of choices based on context and user history
EP2360570A3 (en) * 2010-02-15 2012-05-16 Research In Motion Limited Graphical context short menu
US9367205B2 (en) * 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
JP5569052B2 (ja) * 2010-03-11 2014-08-13 株式会社リコー 機器管理システム、情報処理装置、及び情報処理方法
US8660355B2 (en) * 2010-03-19 2014-02-25 Digimarc Corporation Methods and systems for determining image processing operations relevant to particular imagery
US8719730B2 (en) * 2010-04-23 2014-05-06 Ganz Radial user interface and system for a virtual world game
US8631350B2 (en) * 2010-04-23 2014-01-14 Blackberry Limited Graphical context short menu
US8719706B2 (en) * 2010-06-10 2014-05-06 Microsoft Corporation Cloud-based application help
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US9639237B2 (en) * 2010-10-28 2017-05-02 Microsoft Technology Licensing, Llc User-customizable context menus
US20120227000A1 (en) * 2011-03-03 2012-09-06 Sony Network Entertainment International Llc Methods and systems for use in providing customized system menus
US9002831B1 (en) * 2011-06-10 2015-04-07 Google Inc. Query image search
US9582187B2 (en) * 2011-07-14 2017-02-28 Microsoft Technology Licensing, Llc Dynamic context based menus
US9746995B2 (en) * 2011-07-14 2017-08-29 Microsoft Technology Licensing, Llc Launcher for context based menus
US20130019175A1 (en) * 2011-07-14 2013-01-17 Microsoft Corporation Submenus for context based menu system
US9086794B2 (en) * 2011-07-14 2015-07-21 Microsoft Technology Licensing, Llc Determining gestures on context based menus
CN102915173B (zh) * 2011-08-04 2015-11-25 腾讯科技（深圳）有限公司 菜单实现方法和***
US20130073568A1 (en) * 2011-09-21 2013-03-21 Vladimir Federov Ranking structured objects and actions on a social networking system
US20130086056A1 (en) * 2011-09-30 2013-04-04 Matthew G. Dyor Gesture based context menus
US20130091467A1 (en) * 2011-10-07 2013-04-11 Barnesandnoble.Com Llc System and method for navigating menu options
US8930839B2 (en) * 2011-11-22 2015-01-06 Yahoo! Inc. Automatically arranging of icons on a user interface
US8869068B2 (en) * 2011-11-22 2014-10-21 Backplane, Inc. Content sharing application utilizing radially-distributed menus
US8589825B2 (en) * 2012-02-28 2013-11-19 Huawei Technologies Co., Ltd. Communication application triggering method and electronic device
US20130283274A1 (en) * 2012-03-29 2013-10-24 David MIMRAN Method and system for discovering and activating an application in a computer device
US20130257792A1 (en) * 2012-04-02 2013-10-03 Synaptics Incorporated Systems and methods for determining user input using position information and force sensing
US9239664B2 (en) * 2012-08-29 2016-01-19 Sap Se Method and system for using a tablet device to provide contextual input to a computing device
US20140280531A1 (en) * 2013-03-13 2014-09-18 Xin Liu Object ranking and recommendations within a social network
US9268793B2 (en) * 2014-03-12 2016-02-23 Google Inc. Adjustment of facial image search results

Also Published As

Publication number Publication date
AU2017232108B9 (en) 2019-10-24
WO2015009770A1 (en) 2015-01-22
EP3022639A4 (en) 2017-03-22
US10152199B2 (en) 2018-12-11
ES2707967T3 (es) 2019-04-08
EP3022639A1 (en) 2016-05-25
JP2016530613A (ja) 2016-09-29
US20150026642A1 (en) 2015-01-22
MX2016000664A (es) 2017-07-04
CA2918459C (en) 2019-06-04
AU2017232108A1 (en) 2017-10-12
CA2918459A1 (en) 2015-01-22
EP3022639B1 (en) 2018-10-31
AU2017232108B2 (en) 2019-10-10
AU2014290148A1 (en) 2016-02-11

Similar Documents

Publication Publication Date Title
JP6220452B2 (ja) オブジェクトベースのコンテキストメニューの制御
US11644947B1 (en) Graphical user interfaces and systems for presenting content summaries
US11750683B2 (en) Computer application promotion
US11159671B2 (en) User interface for surfacing contextual actions in a mobile computing device
KR20190088503A (ko) 이미지 변경자들의 스마트 캐러셀
US11228633B1 (en) Determining profile signatures associated with sets
US11928133B2 (en) Unit group generation and relationship establishment
US10671804B2 (en) Obtaining attribution information for representations
US10467237B1 (en) Object relationships and similarities based on user context
KR20230003388A (ko) 시각적 검색을 위한 디지털 보충물 연관 및 검색
US10248728B1 (en) Search and notification procedures based on user history information
US20220343394A1 (en) Object identifiers for real world objects
TW201535234A (zh) 資訊介面產生
US10331746B1 (en) Search and notification procedures based on user history information

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170929

R150 Certificate of patent or registration of utility model

Ref document number: 6220452

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250