JP2019185747A - メディアオブジェクトをグループ化するコンピュータ実装方法及びプログラム、並びに画像取り込み装置 - Google Patents

Abstract

【課題】本発明は、メディアオブジェクトをグループ化するコンピュータ実装方法及びプログラム、並びに画像取り込み装置を提供することを目的とする。【解決手段】方法は、シーケンシャルイベント（ｓｅｑｕｅｎｔｉａｌ ｅｖｅｎｔ）のスクリプトとスクリプト内のメディアオブジェクトのうちの１又は複数に関連付けられた関係者との組合せに基づいて、メディアオブジェクトからグループを生成すること、クラスタリング（ｃｌｕｓｔｅｒｉｎｇ）又は分類に基づいて、各々がメディアオブジェクトのうちの１又は複数を含むセグメントにグループを分割すること、セグメントにタイトル付け及びキャプション付けを提供すること、並びにグループのメディアオブジェクトにわたって、メディアオブジェクト、データ、及びスクリプトと関係者との組合せにおける知識関連付けに基づいてフィルタ及び注釈の提案を生成することを含む。【選択図】図６

Description

例示的な実施形態の態様は、ピクセルコンテンツ及びメタデータを使用して、写真のグループを決定し、写真をグループとして分類するための方法、システム、及びインタフェースに関する。さらに、情報に基づくショット選択、写真グループのキャプション付け、及びスタンプ、絵文字、フォトブック、又はフィルタなどの注釈の提案のための方法、システム、及びインタフェースが提供される。

従来技術では、ユーザは、個々のファイルごとに電子写真の分類を実行する。たとえば、ある人が結婚式に出席するとき、彼又は彼女はカメラ又は装置を使用してそのイベントの写真を撮ることができる。結婚式の後、ユーザは、複数の写真が収集され、ファイルごとに手動で編成されたコラージュ、写真アルバム、フォトブック、又は他の出力を作成しようとすることができる。

Montage-effortless photo book, 2018 (accessed February 27, 2018) https://www.montagebook.com/ Photo book effects, 2018 (accessed February 27, 2018) https://support.shutterfly.com/app/answer/detail/a_id/1543/~/photo-books%3A-eefects Photo book embellishments & stickers, 2018 (accessed February 27, 2018) https://blog.shutterfly.com/16191/photo-book-embellishments-stickers/ Resnap! minute made photo books, 2018 (accessed February 27, 2018) https://www.resnap.com/ Simple path, 2018 (accessed February 27, 2018) https://www.shutterfly.com/photo-books/simple-path Jessica Dolcourt. The best and worst photo-book-making sites for you. https://www.cnet.com/news/best-and-worst-photo-book-making-websites-for-you Ting-Hao (Kenneth) Huang, Francis Ferraro, Nasrin Mostafazadeh, Ishan Misra, Aishwarya Agrawal, Jacob Devlin, Ross Girshick, Xiaodong He, Pushmeet Kohli, Dhruv Batra, C. Lawrence Zitnick, Devi Parikh, Lucy Vanderwende, Michel Galley, Margaret Mitchell. Visual storytelling. NAACL 2016. http:www.aclweb.org/anthology/N16-1147 Adobe Systems Inc. Adobe sensei technology. URL https://www.adobe.com/sensei/html Sarah Perez. Skype launches photo effects-sticker suggestions powered by machine learning, 2017. https://techcrunch.com/2017/11/08/skype-launches-photo-effects-sticker-suggestions-powered-by-machine-learning/ Philipp Sandhaus and Susanne Boll. From usage to annotation: Analysis of personal photo albums for semantic photo understanding. In Proceedings of the First SIGMM Workshop on Social Media. WSM '09, pages 27-34, New York, NY, USA, 2009. ACM. Natasha Stokes. The best sites for creating beautiful photo books, 2016. https://www.techlicious.com/tip/best-sites-for-creating-beautiful-photo-books/

しかしながら、従来技術の手法は、様々な問題及び欠点を有する場合がある。たとえば、限定ではなく、写真は、取り込まれ、イベント又は特別な日に関連付けられた画像に関連する場合がある。さらに、ユーザは、写真に対して調整を個別に実行するか、又は写真を定型化する場合がある。しかしながら、ユーザは、手動の編成及び操作の従来技術の手段による、グループ内の他の写真と関連する個々の写真の調整又は定型化を容易に考えることができない。

本開示の技術は、グループ内の他の写真と関連する個々の写真の調整又は定型化を容易に行うことができる、メディアオブジェクトをグループ化するコンピュータ実装方法及びプログラム、並びに画像取り込み装置を提供することを目的とする。

本開示の例示的な実施形態の第１の態様は、シーケンシャルイベント（ｓｅｑｕｅｎｔｉａｌ ｅｖｅｎｔ）のスクリプトとスクリプト内のメディアオブジェクトのうちの１又は複数に関連付けられた関係者との組合せに基づいて、メディアオブジェクトからグループを生成すること、クラスタリング（ｃｌｕｓｔｅｒｉｎｇ）又は分類に基づいて、各々がメディアオブジェクトのうちの１又は複数を含むセグメントにグループを分割すること、セグメントにタイトル付け又はキャプション付けを提供すること、並びにグループに含まれるメディアオブジェクトに対して、メディアオブジェクト、データ、及びスクリプトと関係者との組合せに基づいた処理の提案を生成することを含む、メディアオブジェクトをグループ化するコンピュータ実装方法を含む。

本開示の第２の態様は、第１の態様において、提案は、フィルタ効果の処理に関する提案及びステッカーの付与に関する提案のうちの少なくとも１つを含み、提案は知識ベースに関連付けられたデータに基づいて予測される処理である。

さらに、本開示の第３の態様は、第２の態様において、フィルタ効果の処理に関する提案は、１人又は複数の他のユーザから受信されたオンラインフィードバックを含むデータに基づく処理である。

さらに、本開示の第４の態様は、第２の態様において、ステッカーの付与に関する提案は、画像に関連付けられた情報を含むデータに基づく。

また、本開示の第５の態様は、第２の態様において、提案は、ステッカー、テキストボックス、及び絵文字のうちの少なくとも１つのタイプ、位置、及び密度のうちの１又は複数を設定することを含む。

本開示の第６の態様は、第１の態様において、グループを生成することは、メディアオブジェクトのグループ内の関係者及び１人又は複数の他の関係者のレイアウトに対するグループ化に基づくことをさらに含む。

本開示の第７の態様は、メディアオブジェクトをグループ化する方法をコンピュータに実行させるためのプログラムに関するものとしてもよい。方法は、シーケンシャルイベントのスクリプトとスクリプト内のメディアオブジェクトのうちの１又は複数に関連付けられた関係者との組合せに基づいて、メディアオブジェクトからグループを生成すること、クラスタリング又は分類に基づいて、各々がメディアオブジェクトのうちの１又は複数を含むセグメントにグループを分割すること、セグメントにタイトル付け又はキャプション付けを提供すること、並びにグループに含まれるメディアオブジェクトに対して、メディアオブジェクト、データ、及びスクリプトと関係者との組合せに基づいて処理の提案を生成することを含む。

本開示の第８の態様は、第７の態様において、提案は、フィルタ効果の処理に関する提案及びステッカーの付与に関する提案のうちの少なくとも１つを含み、提案は知識ベースに関連付けられたデータに基づいて予測される処理である。

さらに、本開示の第９の態様は、第８の態様において、フィルタ効果の処理に関する提案は、１人又は複数の他のユーザから受信されたオンラインフィードバックを含むデータに基づく処理である。

さらに、本開示の第１０の態様は、第８の態様において、ステッカーの付与に関する提案は、画像に関連付けられた情報を含むデータに基づく。

また、本開示の第１１の態様は、第８の態様において、提案は、ステッカー、テキストボックス、及び絵文字のうちの少なくとも１つのタイプ、位置、及び密度のうちの１又は複数を設定することを含む。

本開示の第１２の態様は、第７の態様において、グループを生成することは、メディアオブジェクトのグループ内の関係者及び１人又は複数の他の関係者のレイアウトに対するグループ化に基づくことをさらに含む。

本開示の第１３の態様は、１又は複数の画像を取り込み、メディアオブジェクトを生成するように構成された画像取込み装置であってもよい。画像取込み装置はプロセッサ及び記憶装置を含み、プロセッサが、シーケンシャルイベントのスクリプトとスクリプト内のメディアオブジェクトのうちの１又は複数に関連付けられた関係者との組合せに基づいて、メディアオブジェクトからグループを生成すること、クラスタリング又は分類に基づいて、各々がメディアオブジェクトのうちの１又は複数を含むセグメントにグループを分割すること、セグメントにタイトル付け又はキャプション付けを提供すること、並びにグループに含まれるメディアオブジェクトに対して、メディアオブジェクト、データ、及びスクリプトと関係者との組合せに基づいた処理の提案を生成することを実行する。

本開示の第１４の態様は、第１３の態様において、提案は、フィルタ効果の処理に関する提案及びステッカーの付与に関する提案のうちの少なくとも１つを含み、提案は知識ベースに関連付けられたデータに基づいて予測される処理である。

さらに、本開示の第１５の態様は、第１４の態様において、フィルタ効果の処理に関する提案は、１人又は複数の他のユーザから受信されたオンラインフィードバックを含むデータに基づく処理である。

さらに、本開示の第１６の態様は、第１４の態様において、ステッカーの付与に関する提案は、画像に関連付けられた情報を含むデータに基づく。

また、本開示の第１７の態様は、第１４の態様において、提案は、ステッカー、テキストボックス、及び絵文字のうちの少なくとも１つのタイプ、位置、及び密度のうちの１又は複数を設定することを含む。

本開示の第１８の態様は、第１３の態様において、グループを生成することは、メディアオブジェクトのグループ内の関係者及び１人又は複数の他の関係者のレイアウトに対するグループ化に基づくことをさらに含む。

記憶装置に記憶された命令を実行するように構成されたプロセッサを含む非一過性コンピュータ可読媒体、コンピュータプログラム、及び１又は複数の画像を取り込み、メディアオブジェクトを生成するように構成された画像取込み装置も提供され、画像取込み装置はプロセッサ及び記憶装置を含む。

本特許又は出願ファイルは、カラーで制作された少なくとも１つの図面を含む。カラー図面を有する本特許又は出願の刊行物の写しは、請求及び必要な手数料の支払いを行うと特許庁によって提供される。

例示的な実施形態に関連付けられた例示的な出力を示す図である。 例示的な実施形態に関連付けられた例示的な出力を示す図である。 例示的な実施形態によるフローを示す図である。 例示的な実施形態に関連付けられたインタフェースを示す図である。 例示的な実施形態による方法を示す図である。 例示的な実施形態における使用に適した例示的なコンピュータ装置を有する例示的なコンピューティング環境を示す図である。 いくつかの例示的な実施形態に適した例示的な環境を示す図である。

以下の発明を実施するための形態は、本開示の図及び例示的な実施形態のさらなる詳細を提供する。図の間の冗長な要素の参照番号及び説明は、明確にするために省略されている。説明全体にわたって使用される用語は例として提供され、限定するものではない。

本開示では、「画像」、「コンテンツメディア」、「コンテンツメディア表現」、又は「メディア表現」という用語は、写真、ビデオ、３次元又は３６０°の画像記録、描画、絵画、スケッチ、コンピュータ生成画像、或いは生成され、取り込まれる場合があり、又はそうでない場合、現実世界におけるイベント若しくは出来事を表す場合がある任意の他の視覚的表現のうちの１又は複数を記述するように互換的に使用されてもよい。これらの用語はまた、記録、或いは生成され、取り込まれる場合があり、又はそうでない場合、現実世界におけるイベント若しくは出来事を表す場合がある任意の他の音声表現を含んでもよい。「画像」、「コンテンツメディア」、「コンテンツメディア表現」、又は「メディア表現」は、限定はしないが、カメラ、デジタルレコーダ、アナログレコーダ、移動体通信装置、又は当業者に明らかであり得る任意の他のメディア取込み装置を含む、任意のメディア取込み装置によって取り込まれてもよい。「コンテンツメディア」、「コンテンツメディア表現」、又は「メディア表現」は、限定はしないが、磁気記憶装置、光記憶装置、半導体記憶装置、有機記憶装置、又は当業者には明らかであり得る任意の他の記憶装置を含む、コンピュータ可読媒体上にデータファイル又は他のデータ構造として記憶されてもよい。さらに、コンピュータ可読媒体は、ローカルの記憶装置、クラウドベースの記憶装置、遠隔配置されたサーバ、又は当業者には明らかであり得る任意の他の記憶装置を含んでもよい。

さらに、本開示では、「キャプション」、「テキスチュアル要約」、「テキスト要約」という用語はすべて、記述された「画像」、「コンテンツメディア」、「コンテンツメディア表現」、又は「メディア表現」のうちの１又は複数の内容を表すことができる記述的テキストベースの要約を表すために、互換的に使用されてもよい。

例示的な実施形態の態様は、メディアオブジェクト、限定ではないが、たとえば、写真のグループの分類に関する。より具体的には、グループは、個々の分類の加算又は連結ではなく、入力として提供される。それに応じて、最上位ドメインが分類に対して決定される。最上位ドメインに基づいて、一組の写真が選択され、シーケンスクラスタ（ｓｅｑｕｅｎｃｅ ｃｌｕｓｔｅｒ）にグループ化される。

最上位ドメインは、決定論的な方式又はルールベースの手法においてプログラムで提供されてもよい。あるいは、最上位ドメインは、機械学習、ニューラルネットワークなどの既存の人工知能技術などを使用して、データから学習されてもよい。それに応じて、個々の写真は、限定はしないが、スタンプ、絵文字、又はテキスト（たとえば、「私にハッピーバースデー」などのバルーンコールアウト）を含む場合がある注釈の提案に基づいて、ユーザによって注釈付けされてもよい。同様に、写真フィルタ効果が適用されてもよい。

たとえば、限定ではないが、例として、誕生日パーティのようなイベントでは、写真のコレクションは、会場に到着し、互いに会う画像、キャンドル及びケーキ、並びに完全又は部分的なラッピングに関連付けられた贈り物を含んでもよい。

例示的な実施形態はフォトブックに関する場合がある。しかしながら、本発明の範囲から逸脱することなく、他の用途がそれに置き換えられてもよい。同様に、写真のシーケンスは、クラウドなどの遠隔の記憶装置及び処理場所で処理されてもよく、スタンドアロンカメラ、又はカメラなどの画像取り込み装置を含むスマートフォンなどのモバイルコンピュータ装置などの、ユーザ装置又はクライアント側で処理されてもよい。そのようなシナリオでは、限定はしないが、写真に関連付けられたメタデータ、交換可能画像ファイルフォーマット（ＥＸＩＦ）データを含む、適切なメタデータが使用されてもよい。それに応じて、写真は、写真印刷などのさらなる用途、又は編成ソフトウェア、オンラインバッチ、若しくはソーシャルネットワーク共有などのために「前処理」される。

図３は、例示的な実施形態によるフロー３００を示す。初期段階において、写真などのメディアオブジェクトが取り込まれる。これらの写真は、図３では写真１．．．写真ｎとして示されている。

写真３０１−１．．．３０１−ｎは、３０３においてバッチとして分類される（たとえば、領域抽出）。より具体的には、選択された写真に基づいて、親レベルのトピック又はテーマにより分類するといった方法が提供される。たとえば、限定ではないが、結婚式の会場又はホール、ウェディングドレス、及びスーツを着た人々のための複数の写真が「結婚式」を構成する場合がある。それに応じて、そのグループのための単一の分類が開発され、３つの写真のうちの１つのみが「結婚式」として示される。

たとえば、限定ではないが、グループ化は、イベント用のスクリプトを識別することによって実行されてもよい。イベントは、ある程度の分散がある標準的なタイムラインをもつように定義されてもよい。スクリプト内のイベントは、システムによって決定されるようにグループ化されて表示される。たとえば、限定ではないが、誕生日のスクリプトでは、イベントは、贈り物の写真、ろうそくを吹き消すこと、及び誕生日パーティイベントのスクリプトに関連付けられた他のイベントを含んでもよい。あるいは、結婚式がスクリプトであってもよく、結婚しようとする２人、司会者、立会人などはスクリプト内の関係者であってもよい。出席者、ゲストと結婚しようとする人との関係などの、特定のタイプの関係者が一緒にプールされてもよい。

システムは、それに応じて、イベントが誕生日パーティであると特定されると、タイムラインのイベントに関連付けられた写真を検索してグループを生成する。スクリプトを使用してグループを決定すると、スクリプトの様々なイベントにわたる多様な写真が提供される。本システムは、グループ内のスクリプトのイベントを適切且つ比例して表すように、イベントから写真を選択する。所望により、グループ化を実行する際にシステムを支援するために、ユーザは、スクリプトを含むイベントから選ぶようにイベントのリストを提供される場合がある。したがって、最も代表的であるか、又は最も高く表現される顔に基づいて写真をグループ化する代わりに、写真は、スクリプトのイベント及びスクリプト内の関係者の役割に基づいてグループ化される。よって、たとえば、結婚式の状況では、結婚式フォトブックは、写真の中で最も代表的に表示される出席者とは対照的に、結婚しようとする人がより多くのショットに表示されるように、それらの人の役割に基づいて様々な関係者の比例的表現を有するはずである。同様に、誕生日パーティの状況では、写真のグループ化は、贈り物の開封、ろうそくの吹き消し、風船の共有、ケーキを食べることなどの様々なイベントを含む。

さらに、グループ内の関係者は、グループの選択のための写真を決定するために識別され、使用されてもよい。関係者は、スクリプトに関連することが知られている人であってもよい。たとえば、限定ではないが、結婚式のスクリプトの状況では、写真グループは、結婚しようとするカップル、家族、親しい友人などの写真を含むべきである。

識別されたスクリプト及び関係者に対して、関連性スコアが決定されてもよい。たとえば、限定ではないが、コンピュータビジョン又は他の技術によって写真を分析し、グループに分類するために使用されてもよい。スクリプティング（ｓｃｒｉｐｔｉｎｇ）及び関係者の前述の識別は、コンピュータビジョンを介する視覚的識別によって実行されてもよい。それに応じて、データ（たとえば、履歴データ）及び訓練によって、スクリプトと関係者とを関連付けてもよい。別の手法は、ユーザが手動でラベルを生成することを可能にすることであってもよい。さらに、１人又は複数のユーザの認可により、ユーザにわたるデータ及び行動分析が集約又は混合されるように、集約が実行されてもよい。さらに、データのサブセットは、コンテキストに基づいて開発又は決定されてもよく、その結果、以下でより詳細に説明されるように、ドメインモデルが調整される。なお、「コンテキスト」とは、人の行動やできごとの背景にある、人の意識や考え方、取り巻く状況や環境などの事情又は背後関係を意味する。

さらに、各画像のレイアウトは、たとえば、繰り返しを介して、スクリプト／関係者の関係の抽象化によって識別される。レイアウトは、フォトブックを作成するテーマコンテキストを提供することができる。さらに、ユーザは、時間の経過とともに、又は異なる場所で、同様のレイアウトを有する写真をグループ化するオプションを提供されてもよい。たとえば、限定ではないが、規定された立ち位置又は座席の配置内の子供及び親の写真は、異なる地理的位置又は異なる期間にわたってグループ化されたそれらの人の写真を有してもよい。たとえば、年間にわたる写真撮影で家族のグループ化が提供され、生成されたグループは、年代順のスクリプト内のイベントの候補、たとえば、年次休暇の挨拶カードコラージュ用であってもよい。あるいは、誕生日パーティなどで同様に一緒に座っていることなどの、毎年の任意の定期的なイベントで取り込まれた家族の写真もグループ化されてよい。

上記に基づいて、知識ベースが生成され、スクリプト及び関係者を識別するために使用される。あるいは、スクリプト及び関係者は、提供されたデータセットから掘り出されてもよい。このようにして、写真はグループ化される。

前述の例示的な実施形態は、ユーザがスクリプトを完了した後のグループ決定を記載しているが、例示的な実施形態はそれに限定されず、他のシナリオが本発明の概念によって想定されてもよい。たとえば、限定ではないが、グループ化はリアルタイムに決定されてもよい。結婚式の状況では、ユーザは、自分のモバイルコンピュータ装置を使用して、カメラ機能で写真の撮影を開始することができる。カメラは、コンピュータビジョンを使用して、個々の写真の内容並びに撮影されている写真のパターン及び順番に基づいて、特定のイベント段階でユーザがスクリプト内にあることを特定することができる。システムは、次いで、コンピュータビジョンによって特定されたように、現在の写真、並びにスクリプトに関連付けられていると判断した以前の写真にメタデータを追加することを開始し、スクリプトの最初の写真にずっと遡ることができる。

それに応じて、例示的な実施形態は、リアルタイムの写真のタグ付け、並びにスクリプト、関係者、及びレイアウトのリアルタイム作成を実現する。複数のユーザにわたって集約されたグループを生成するために、個々のユーザの写真のコレクションが、ユーザーの許可によって、他のユーザのコレクション及び活動とマージされてもよい。このシナリオでは、ユーザは、スクリプトが特定のタイプであることの信頼度を提供されてもよい。たとえば、コンピュータビジョンによって追加写真及び写真間の関係を調べるとき、たとえば、歌う子供達、ケーキなどの存在に基づいて、スクリプトが誕生日パーティのタイプであると判断することができる。

オンラインアプリケーションが総じて多数のユーザによって使用されている場合、グループ化は複数のユーザにわたって実行され、個々のユーザにどの領域、関係者、又は写真の側面を撮るべきかに関する提案を提供することができる。たとえば、オンラインアプリケーションが、特定の関係者の写真が多すぎたり少なすぎたりすると判断した場合、オンラインアプリケーションが、他の関係者の写真を撮るように１人又は複数のユーザに提案することができる。誕生日パーティの例の状況では、写真に多く撮影されている人物およびあまり撮影されていない人物を特定し、誕生日パーティでの主役である人物の写真が多く、兄弟又は他の親戚の写真が少なすぎる場合、所望によりそれらの人の役割又は主役との関係に基づいて、撮影された写真画像が少ない兄弟又は他の親戚の写真を撮ることを提案するように、特定の参加者に送られてもよい。

所望により、ユーザは、スクリプトに関連付けられたイベントを定義する機会を提供されてもよい。さらに、ユーザは、１人又は複数の関係者を１又は複数のスクリプトと関連付ける機会を提供されてもよい。さらに、ユーザは、システムがパターンマッチングを実行するように要求する機会を提供されてもよく、その結果、ユーザがスクリプトを提案し、システムが以前の履歴情報に基づいて関係者のいくつかの提案パターンを提供する。さらに、スクリプトに関連付けられたイベント及びスクリプトに関連付けられた関係者の一般的なテンプレート、並びにレイアウトもユーザに提供されてもよい。

３０５において、バッチがさらに分割される。より具体的には、写真のグループがサブセットに分割されてもよい。サブセットは、１又は複数のカメラから撮られた写真のストリーム内の写真を、時間分類に基づいてクラスタリングすることで、生成されてもよい。たとえば、限定ではないが、時間クラスタが識別され生成されてもよい。写真のサブセットは、グループ分類３０３で決定された知識ベースを適用して、グループ写真分類によって構築されてもよい。

３０５で分割された写真の結果として、たとえば、複数のセグメント３０７−１、３０７−２、３０７−３が生成される。これらのセグメントの各々は１又は複数の写真を含んでもよい。たとえば、限定ではないが、３０７−１にあるセグメント１は、それぞれ、写真２（３０１−２）及び写真３（３０１−３）を含んでもよく、同様に、３０７−２にあるセグメント２は、写真４（３０１−４）を含んでもよく、３０７−３にあるセグメント３は、それぞれ、写真５（３０１−５）、写真６（３０１−６）、及び写真７（３０１−７）を含んでもよい。それに応じて、グループ分類３０３によって生成された知識ベースは、写真セットセグメンテーション３０５によって分割される。

３１１において、次いで、各セグメントにタイトルが付けられ、所望により写真のグループにタイトルが付けられてもよい。たとえば、各クラスタは、生成されたタイトル、並びにクラスタに関連するオプションの小さいキャプションを有してもよい。図１は、生成されたタイトル及びキャプションを有する例示的な出力１００を示す。より具体的には、１０３などの複数の写真を含むフォトアルバム１０１が提供される。タイトルが１０５に示され、キャプションが１０７に示される。たとえば、図１に示されたように、左側に「ピクニック」というタイトルが表示され、右上に「家族とピクニックに行こう」というキャプションが表示される。

３１３において、個々の写真が内容及び構成について分析され、フィルタ効果提案が提供される。より具体的には、履歴データ及び／又はコンテキストに基づいて、以前の写真に対してどのように効果を与えられたかに基づいて、システムが訓練される。たとえば、履歴データを分析することによって、以前に実行した効果の選択又は効果の挙動に基づいて、ユーザにフィルタ効果の提案が提供されてもよい。提案される標準的な調整に加えて、システムは、写真コレクションの均一性及び一貫性を保証するために、フォトアルバム全体にわたって調整が適用される。たとえば、限定ではないが、最も人気がある効果や、写真などのソーシャルネットワーク情報、又は当業者によって理解されるはずの他のフィードバックに基づいて、以前の写真に適用された効果に対して、システムが訓練されてもよい。フィルタ予測３１３によれば、ユーザは、フォトコレクションが魅力的な方式で定型化されたと知覚することができる。

３１５において、システムは、個々の写真ごとに、ステッカー（たとえば、画像を含む注釈、又はカスタマイズされ得る画像及びテキスト）、絵文字（たとえば、小さいデジタル画像又は考え若しくは感情を表すために使用されるアイコン）などの注釈の提案を提供する。例示的な実施形態によれば、いくつかのコンテキストが特徴として使用されてもよい。たとえば、自動又は手動で識別されたフォトブックのスタイルや、現在のページ上及び／又はフォトブックの一部若しくは全体に含まれる関係者や、各関係者の顔及び体のサイズ、或いは当業者によって理解されるはずの他の特徴をコンテキストとしてもよい。さらに、ステッカーが歴史的に使用されたときのコンテキストなどの、ステッカーごとにグローバルな特徴が提供され、したがって、将来のユーザによって使用されることが期待されてもよい。したがって、提案を行うために知識の関連付けが使用される。

提案は、決定論的又はルールベースであってもよい（たとえば、写真が猫の画像を含む場合、ネズミのステッカーを追加することを提案したり、又は写真が有名な観光目的地などの目的地の画像を含む場合、目的地に基づいてフォトフィルタを提案したりするようなルールによる提案を行うなど）。広告ベースのシナリオでは、写真内の情報に基づいて、ブランドに関連付けられたステッカーを提案してもよい（たとえば、航空会社又は旅行会社は、航空会社や旅行会社をイメージするマーク、たとえば空港などをステッカーとして提案してもよい）。提案は、画像内のオブジェクトとフィルタ又は注釈との間のよく知られた関連付けのためのデータマイニング（ｄａｔａ−ｍｉｎｉｎｇ）によって決定されてもよい（たとえば、ハンプティ・ダンプティを含む情報の場合、利用可能なオンラインデータのデータマイニングは卵、壁、又は両方の注釈を提案することを提案するはずである）。あるいは、提案は、写真に関連付けられた履歴情報、又は写真に関連付けられたステッカー提案の挙動履歴に基づいてもよい。

前述の特徴は、明示的は方式で決定論的に計算されてもよい。あるいは、特徴は、たとえば機械学習などを採用して、モデルによって暗黙的に学習されてもよい。さらに、提案されるステッカーのグループ化は、特定のコンテキスト内で発生する可能性もある。図２は、提案ステッカーの結果を有する例示的な出力２００を示す。たとえば、画像２０１において、養蜂家２０３が写真の中にいる。システムは、写真内の養蜂家２０３と用語「蜂」との間の関連付けを検出する。それに応じて、蜂のステッカーが提案される。知識ベースの検索からシステムによって決定されるように、蜂は、通常、グループ又は群で移動するので、蜂のような形を有する複数のステッカー２０５ａ．．．２０５ｅが写真への追加として提案される。

所望に応じて、ステッカーの提案は、写真内の人の口に関連付けられた吹き出し、衣類、眼鏡などの具体的な場所に対して、関連付けられたテキストなどを関連付けてもよい。前述のための知識ベースは、手動で、又は外部情報の入力によって投入されてもよい。

たとえば、限定ではないが、ユーザは、複数のステッカーが提案されるべきコンテキストを特定するために、「＜動物の名前＞グループ」及び「＜動物の名前＞のみ」に対して検索を実行することができる。写真内のオブジェクトを単語にマッピングすることができ、関連付けが実行されてもよい。図２の例では、「高」又は「養蜂家」などの近くの単語は、コンテキスト又はグループ化を提供することができる。

例示的な出力が、コラージュとして３１７に示されている。たとえば、合成出力は物理的な書籍であるか、又は装置上で処理が行われる埋め込みメタデータであってもよい。この例示的な実施形態では、ユーザはフォトブックを提供される。第１のタイトルでは、写真の広がりのための手がかりとして「ピクニック」が表示され、次に、右上に「家族とピクニックに行こう」が表示される。

本明細書に記載された例示的な実施形態は、様々な利益及び利点を有することができる。たとえば、限定ではないが、従来技術のフォトブック生成アプリケーションは、ピンぼけなどの低品質な画像の削除、又は露光、並びに赤目軽減などの写真効果の適用、及び注釈の手動による適用、又は写真に対する自動補正を提供することができるが、これらの従来技術の手法は、個々の写真レベルで実行されるにすぎない。例示的な実施形態は、追加の分類、セグメンテーション、タイトル付け、及びキャプション付けを提供し、グループ化及びセグメンテーションに基づいて適用するフィルタリングや注釈を予測して、予測結果によって適用されるフィルタや注釈をユーザに提案する。さらに、例示的な実施形態は、写真パラメータに基づく自動補正だけでなく、写真セットに対するスタイルフィルタ効果も提供する。

前述の例示的な実施形態では、提案された設定に対して、ある程度の制御ができるようにユーザに提供されてもよい。たとえば、ステッカーの付加が提案された場合で説明すると、より多くのステッカーを適用したり、より少ないステッカーを適用したり、又はステッカーなしなど、ユーザーが所望の量の注釈提案を設定するような入力画面やスライダによる設定を有することができる。これらの設定は、アカウントレベル、写真アルバムレベルで提供されてもよく、又はさらにスクリプトのタイプ、関係者のタイプ、レイアウト、又は当業者に知られているはずの他の情報に基づいて、過去のユーザ履歴に基づいて決定されてもよい。

例示的な使用シナリオでは、ユーザは、ある期間にわたって複数の写真を撮っている場合がある。たとえば、ユーザは、１０，０００枚の写真などの、年間にわたって非常に多くの写真を撮っている場合がある。休暇の挨拶としてコラージュカードを準備するケースを考えると、ユーザは、コラージュに含ませたいある数の画像を選択しなければならない。例示的な実施形態によれば、過去数年間に手動で作成されたコラージュに基づいて、グループ化が提供されてもよい。たとえば、スクリプトは、旅行に基づくコラージュを作成するために、家族を含んでいる写真に表された年間にわたる旅行イベントを含んでもよい。同様に、ユーザに、テンプレートスクリプトを提供してもよく、又は写真のグループを作成するために、自分のスクリプトを手動で設定してもよい。ユーザは、写真のグループのサイズを決定することもできる。たとえば、ユーザは、旅行に関連するスクリプトを選択し、５０枚の写真のサイズを有するグループを作成することを設定することができ、ユーザが手動により写真を混合及び照合する。それを受けて、たとえば、混合・照合された写真から、コラージュ上で必要な最終的な数の写真枚数になるように、コラージュに含まれる写真の枚数を調整して写真のグループを作成することができる。所望により、ユーザは、１つ及び２つに関して上記で説明されたように、コラージュ上の写真に対してフィルタ及び／又は注釈のオプションを提供されてもよい。あるいは、ユーザは代表的な写真を選択することができ、システムは、写真及びスクリプトのコンテキスト、並びに関係者に基づいてスクリプトを生成することができる。同様に、以前のコラージュ内の写真のレイアウトがグループ内で維持され得るように、前述のレイアウト要素も含まれてよい。注釈はキャプションを含んでもよい。

さらに、システムは、作成されたフォトアルバムを見ることが想定される人に基づいてグループ化を生成することができる。前述の例では、異なるクラスの人がフォトアルバムを見ることが想定される場合には、それぞれのクラスの人に対して異なるグループ化を提供してもよい。したがって、フォトアルバムを見るグループが家族の場合、グループ化は家族である関係者を含み、上記で説明されたように、知識ベースに基づいて家族に送られるべきコラージュに含めるためのグループや、関連するフィルタリング及び注釈の提案を生成することができる。同様に、友人、同僚などがフォトアルバムを見ることが想定される場合には、友人や同僚に適したグループ化や、フィルタリング・注釈などが提案されるように実行されてもよい。

スクリプトの関係者及びレイアウトのグループ化に関連付けられた前述の例示的な実施形態に加えて、さらなる例示的な実施形態は、前述の例示的な実施形態とともに印刷出力又はハードコピーを提供することができる。たとえば、ユーザは、格納された複数の写真をキオスクに提供することができ、キオスクは、提案されたスクリプト、関係者、及び／又はレイアウトを提供し、フォトブック、休暇挨拶カード、コラージュ、カレンダー、又はグループに関連付けられた他の印刷情報などのプリントアウトを生成することができる。さらに、カメラは、カメラで撮影されたより大きいセットの写真から、そのグループに関連付けられた写真のサブセットの即時印刷を可能にする印刷機能も含んでよい。そのような例示的な実施形態は、テーブルメンバが写真を撮るためにテーブルにカメラが設けられるイベントにおけるゲストのテーブルなどの、スクリプトのイベントのコンテキストにおいて有用であってもよい。

図４は、例示的な実施形態によるインタフェース４００を示す。この例示的なインタフェースは、ユーザがグループ化及び提案に関連付けられた設定をどのように制御できるかを示すために提供される。当業者によって理解されるように、他のインタフェースが例示的なインタフェースと置き換えられてもよく、設定に対する制御、並びにシステムによって生成されたグループの編成及び操作のために、追加のインタフェースがユーザに提供されてもよい。

インタフェース４００では、ユーザは、グループ化を実行するボタン４０１、及び提案を生成するボタン４０３などを使用することができる。写真は、コンテンツメディア表現４０５ａ、４０５ｂ、４０５ｃとして要約されたフォーマットで示されてもよい。１又は複数のコンテンツメディアを選択することにより、ユーザは、生成されたグループ内の各写真のより詳細なビューを示すインタフェースに誘導されてもよく、ユーザは、手動のフィルタリング及び／又は注釈を実行したり、システムによって提供される提案を実行することができたりしてもよい。右から左へ、追加のグループが表示されてもよく、その結果、ユーザは、共通インタフェース上で１又は複数のグループを操作又は制御することができる。

ユーザが制御できる提案設定が、４０７に示されている。たとえば、限定ではないが、４０９において推奨されるフィルタ処理の提案を選択するボタンが提供されてもよい。結果として、ユーザは、上記で説明されたように、グループ内の写真に対するフィルタ処理に対する提案を提供されることになる。あるいは、ユーザはフィルタ提案を受けないことを選び、ボックスをチェックしないままにしてもよい。同様に、４１１において、ユーザは、ステッカー、テキストボックス、又は絵文字などの注釈の付加に対する提案のための１又は複数のオプションを提供されてもよい。

１又は複数のボックスを選択することにより、システムは、ユーザがグループ内の１又は複数の写真に注釈を追加するために、上記で説明されたように提案を生成する。４１３において、ユーザがより細かく注釈提案を制御することを可能にするスライダが提供される。この例示的なインタフェースでは、ユーザは、規定された写真上で提案されるべきステッカーの密度を制御することができる。たとえば、多くのステッカーを好むユーザもいれば、ステッカーをほとんど又は全く好まないユーザもいる。このスライダを使用することにより、ステッカーの密度はシステムによって提案される。

グループ化の設定を制御するために４１５に示す設定画面がユーザに提供される。たとえば、ユーザは、４１７において、フリーフォームのテキスト、キーワード、又は所望のスクリプトを記述する他の情報を入力することで、スクリプトを設定することができる。あるいは、選択された写真４０５ａ、４０５ｂ、４０５ｃのためのスクリプトをシステムが提案することができ、ユーザが知識ベース及び使用履歴に基づいてシステムによって決定されたスクリプトを受け入れない場合、ユーザは修正を加えることができる。

さらに、４１９において、スクリプトに関連付けられたイベントが列挙されてもよい。所望により、ユーザは追加のイベントを入力するか、イベントを削除するか、イベントの記述を変更するか、又はイベントを並べ直すことができる。結果として、システムによって生成されたスクリプト及びイベントの組合せは、選択されたメディアに対してユーザによってカスタマイズ又は修正されてもよい。同様に、４２１において、スクリプトに関連付けられた関係者が記述されてもよく、ユーザは、関係者の追加、削除、優先順位の変更、又は記述の変更を行うことができる。４２３において、ユーザは、上記で説明されたように、レイアウトを選択するオプションを提供されてもよい。

グループ内の写真の数に関して、４２５において、ユーザはグループ内の写真の数を設定することができる。前述の例示的な実施形態において述べられたように、ここで設定する写真の数に対して制御することにより、スクリプト、イベント、関係者、及び所望のレイアウトを反映した写真のグループを生成するために、実質的に多数の候補から比較的少数の写真を取得することが可能になってもよい。さらに、グループに含まれる写真に対して、統一された方式におけるフィルタや注釈の処理を提案することができる。

図５は、例示的な実施形態による、方法５００の例示的な実施形態を示す。方法５００の動作は、クライアント側、サーバ側、又はそれらの組合せで実行されてもよい。

５０１において、複数のメディアオブジェクトが取得される。たとえば、これらのオブジェクトは、カメラ又は他の画像取込み装置を介して画像を取り込むことによってリアルタイムに取得されてもよい。あるいは、メディアオブジェクトは、リモートで又はユーザによりあらかじめ格納されていてもよく、さらなる処理のためにプロセッサに利用可能であってもよい。

５０３において、図３の前述の開示と一致するグループ化動作が実行される。より具体的には、グループ化は、スクリプト及び関係者、並びに所望によりレイアウトに基づく分類によって実行される。スクリプトは、以前に取得された履歴情報、取得されている処理内の現在の情報、又はクラスタ分析などの他の手段に基づいて、システムによって自動的に決定されてもよい。それに応じて、スクリプトに関する情報並びにスクリプトに関連付けられたイベントの順番を含む知識ベースが生成される。さらに、イベントスクリプトに関連付けられた関係者もシステムによって選択されてもよい。スクリプト、その中のイベント、及び関係者も、１人又は複数のユーザによって手動で選択又は修正されてもよい。さらに、スクリプト及び関係者情報は、スクリプト及び関係者／関係者達に関連付けられたオブジェクトのグループを生成するために、５０１から取得されたメディアオブジェクトに適用される。さらに、グループ化は、所望によりレイアウトを含んでもよく、その結果、スクリプトの所与のイベントにおける関係者間の関係、以前のレイアウトと現在のレイアウトとの間の時間関係、及びスクリプトの１又は複数のイベントにおける関係者のための現在のレイアウト内の以前のレイアウト間の関係などの視覚的構成は、たとえばコンピュータビジョンを使用して、システムによって自動的に実行されるように、グループ化のための基礎として使用されてもよい。

５０５において、セグメントを生成するために知識ベースが時間及びグループ分類に基づいて分割されるにつれてセグメントが生成され、セグメントの各々は１又は複数の写真を含む。

５０７において、各クラスタは、上記で説明され図１に示されたように、クラスタに関連するタイトル及びキャプションを提供される。

５０９において、写真効果に関するフィルタ予測を提供し、ユーザに提案を提供するために、上述された予測手法が使用される。

５１１において、ステッカーなどのための注釈提案をユーザに予測的に提供するために、上述された手法を使用して注釈提案が実行される。

図６は、いくつかの例示的な実施形態における使用に適した例示的なコンピュータ装置６０５を有する例示的なコンピューティング環境６００を示す。コンピューティング環境６００内のコンピュータ装置６０５は、１若しくは複数の処理ユニット、コア、若しくはプロセッサ６１０、メモリ６１５（たとえば、ＲＡＭ、ＲＯＭなど）、内部記憶装置６２０（たとえば、磁気記憶装置、光記憶装置、半導体記憶装置、及び／若しくは有機記憶装置）、並びに／又はＩ／Ｏインタフェース６２５を含むことができ、それらのうちのいずれも、情報を通信するための、又はコンピュータ装置６０５内に組み込まれた、通信機構又はバス６３０上で結合することができる。

コンピュータ装置６０５は、入力／インタフェース６３５及び出力装置／インタフェース６４０に通信結合することができる。入力／インタフェース６３５及び出力装置／インタフェース６４０のうちのいずれか１つ又は両方は、有線又はワイヤレスのインタフェースであり得るし、取外し可能であり得る。入力／インタフェース６３５は、入力（たとえば、ボタン、タッチスクリーンインタフェース、キーボード、ポインティング／カーソールコントロール、マイクロフォン、カメラ、点字、モーションセンサ、光学レーダーなど）を提供するように使用され得る、物理的又は仮想の、任意の装置、構成要素、センサ、又はインタフェースを含んでもよい。

出力装置／インタフェース６４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含んでもよい。いくつかの例示的な実施形態では、入力／インタフェース６３５（たとえば、ユーザインタフェース）及び出力装置／インタフェース６４０は、コンピュータ装置６０５に組み込むことができるか、又は物理的に結合することができる。他の例示的な実施形態では、他のコンピュータ装置は、コンピュータ装置６０５用の入力／インタフェース６３５及び出力装置／インタフェース６４０として機能するか、又はその機能を提供することができる。これらの要素は、限定はしないが、ユーザがＡＲ環境と対話することを可能にするために、よく知られたＡＲハードウェア入力を含んでもよい。

コンピュータ装置６０５の例には、限定はしないが、高性能モバイル機器（たとえば、スマートフォン、車両及び他の機械内の装置、人間及び動物が持ち運ぶ装置など）、モバイル機器（たとえば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、並びにモバイル用に設計されていない装置（たとえば、デスクトップコンピュータ、サーバ装置、他のコンピュータ、情報キオスク、１又は複数のプロセッサが組み込まれ、且つ／又は結合されたテレビ、ラジオなど）が含まれてもよい。

コンピュータ装置６０５は、外部記憶装置６４５、並びに、同じ又は異なる構成の１又は複数のコンピュータ装置を含む、任意の数のネットワーク化された構成要素、装置、及びシステムと通信するためのネットワーク６５０に、（たとえば、Ｉ／Ｏインタフェース６２５を介して）通信結合することができる。コンピュータ装置６０５又は任意の接続されたコンピュータ装置は、サーバ、クライアント、シンサーバ、汎用マシン、専用マシン、又は別のラベルとして機能しているか、そのサービスを提供しているか、又はそう呼ばれ得る。

Ｉ／Ｏインタフェース６２５は、限定はしないが、コンピューティング環境６００内の少なくともすべての接続された構成要素、装置、及びネットワークとの間で情報を通信するための、任意の通信又はＩ／Ｏプロトコル又は規格（たとえば、イーサネット（登録商標）、８０２．１１ｘｓ、ユニバーサルシステムバス、ＷｉＭＡＸ、モデム、セルラーネットワークプロトコルなど）を使用する、有線及び／又はワイヤレスのインタフェースを含むことができる。ネットワーク６５０は、任意のネットワーク又はネットワークの組合せ（たとえば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）であり得る。

コンピュータ装置６０５は、一過性媒体及び非一過性媒体を含む、コンピュータ使用可能媒体又はコンピュータ可読媒体を使用すること、及び／又は使用して通信することができる。一過性媒体には、伝送媒体（たとえば、金属ケーブル、光ファイバ）、信号、搬送波などが含まれる。非一過性媒体には、磁気媒体（たとえば、ディスク及びテープ）、光媒体（たとえば、ＣＤ ＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、半導体媒体（たとえば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、半導体記憶装置）、並びに他の非一過性記憶装置又はメモリが含まれる。

コンピュータ装置６０５は、いくつかの例示的なコンピューティング環境内で技術、方法、アプリケーション、処理、又はコンピュータ実行可能命令を実装するために使用することができる。コンピュータ実行可能命令は、一過性媒体から取り出され、非一過性媒体に記憶され、非一過性媒体から取り出され得る。実行可能命令は、任意のプログラミング言語、スクリプト言語、及び機械語（たとえば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）のうちの１又は複数から生じることができる。

プロセッサ６１０は、ネイティブ環境又はバーチャル環境において、任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行することができる。異なるユニットが互いに、ＯＳと、且つ他のアプリケーション（図示せず）と通信するための、論理ユニット６５５、アプリケーションプログラミングインタフェース（ＡＰＩ）ユニット６６０、入力ユニット６６５、出力ユニット６７０、グループ化識別器ユニット６７５、セグメンテーションユニット６８０、予測ユニット６８５、及びユニット間通信機構６９５を含む１又は複数のアプリケーションを配置することができる。

たとえば、グループ化識別器ユニット６７５、セグメンテーションユニット６８０、及び予測ユニット６８５は、図３及び図５に示された１又は複数の処理を実装することができる。記載されたユニット及び要素は、設計、機能、構成、又は実装において異なり得るし、提供された説明に限定されない。

いくつかの例示的な実施形態では、情報又は実行命令がＡＰＩユニット６６０によって受信されると、それは１又は複数の他のユニット（たとえば、論理ユニット６５５、入力ユニット６６５、グループ化識別器ユニット６７５、セグメンテーションユニット６８０、及び予測ユニット６８５）に通信されてもよい。たとえば、グループ化識別器ユニット６７５は、カメラなどの入力を識別し、グループ化を決定することができる。セグメンテーションユニット６８０は、セグメントへのグループの分割を実行することができる。さらに、予測ユニット６８５は、フィルタ予測及び注釈予測を提供し、１又は複数の提案をユーザに提供することができる。

いくつかの例では、論理ユニット６５５は、ユニット間の情報フローを制御し、上述されたいくつかの例示的な実施形態においてＡＰＩユニット６６０、入力ユニット６６５、グループ化識別器ユニット６７５、セグメンテーションユニット６８０、及び予測ユニット６８５によって提供されるサービスを指示するように構成されてもよい。たとえば、１又は複数の処理又は実装の流れは、論理ユニット６５５単独により、又はＡＰＩユニット６６０と連携して制御されてもよい。

図７は、いくつかの例示的な実施形態に適した例示的な環境を示す図である。環境７００は、装置７０５〜７４５を含み、各々は、たとえばネットワーク７６０を介して（たとえば、有線及び／又はワイヤレスの接続によって）、少なくとも１つの他の装置に通信可能に接続される。いくつかの装置は、１又は複数の記憶装置７３０及び７４５に通信可能に接続されてもよい。

１又は複数の装置７０５〜７４５の一例は、それぞれ、図６に記載されたコンピュータ装置６０５であってもよい。装置７０５〜７４５は、限定はしないが、上記で説明されたようなモニタ及び関連するウェブカムを有するコンピュータ７０５（たとえば、ラップトップコンピュータ装置）、モバイル機器７１０（たとえば、スマートフォン又はタブレット）、テレビジョン７１５、車両７２０に関連付けられた装置、サーバコンピュータ７２５、コンピュータ装置７３５〜７４０、記憶装置７３０及び７４５を含んでもよい。装置は、ユーザがＡＲ、ＶＲ、複合現実、又は他の環境内で対話することを可能にするために、当技術分野でよく知られたＡＲ周辺機器に通信可能に接続されてもよい。さらに、装置は、当業者によって理解されるように、メディアオブジェクト取込みハードウェアを含んでもよい。

いくつかの実施形態では、装置７０５〜７２０は、企業のユーザに関連付けられたユーザ装置と見なされてもよい。装置７２５〜７４５は、（たとえば、上述されたような、様々な図面に関するサービスを提供するために外部ホストによって使用され、且つ／又はウェブページ、テキスト、テキスト部分、画像、画像部分、オーディオ、オーディオセグメント、ビデオ、ビデオセグメント、及び／若しくはそれらに関する情報などのデータを記憶する）サービスプロバイダに関連付けられた装置であってもよい。

いくつかの例示的な実施形態が示され記載されたが、これらの例示的な実施形態は、本明細書に記載された主題をこの分野に精通する人々に伝えるために提供される。本明細書に記載された主題は、記載された例示的な実施形態に限定されることなく、様々な形態で実装されてもよいことを理解されたい。本明細書に記載された主題は、具体的に定義若しくは記載された事項、又は記載されていない他の若しくは異なる要素若しくは事項なしに実践することができる。添付の特許請求の範囲及びそれらの均等物で定義された本明細書に記載された主題から逸脱することなく、これらの例示的な実施形態において変更が行われてもよいことは、この分野に精通する人々によって諒解されよう。

Claims (18)

1. メディアオブジェクトをグループ化するコンピュータ実装方法であって、
   シーケンシャルイベント（ｓｅｑｕｅｎｔｉａｌ ｅｖｅｎｔ）のスクリプトと、前記スクリプト内の前記メディアオブジェクトのうちの１又は複数に関連付けられた関係者との組合せに基づいて、前記メディアオブジェクトからグループを生成すること、
   クラスタリング（ｃｌｕｓｔｅｒｉｎｇ）又は分類に基づいて、各々が前記メディアオブジェクトのうちの１又は複数を含むセグメントに前記グループを分割すること、
   前記セグメントにタイトル付け又はキャプション付けを提供すること、並びに
   前記グループに含まれる前記メディアオブジェクトに対して、前記メディアオブジェクト、データ、及び前記スクリプトと前記関係者との前記組合せに基づいた処理の提案を生成すること
   を含む、コンピュータ実装方法。
2. 前記提案が、フィルタ効果の処理に関する提案及びステッカーの付与に関する提案のうちの少なくとも１つを含み、前記提案が知識ベースに関連付けられたデータに基づいて予測される処理である、請求項１に記載のコンピュータ実装方法。
3. 前記フィルタ効果の処理に関する提案が、１人又は複数の他のユーザから受信されたオンラインフィードバックを含む前記データに基づく処理である、請求項２に記載のコンピュータ実装方法。
4. 前記ステッカーの付与に関する提案が、画像に関連付けられた情報を含む前記データに基づく、請求項２に記載のコンピュータ実装方法。
5. 前記提案が、ステッカー、テキストボックス、及び絵文字のうちの少なくとも１つのタイプ、位置、及び密度のうちの１又は複数を設定することを含む、請求項２に記載のコンピュータ実装方法。
6. 前記グループを前記生成することが、メディアオブジェクトの前記グループ内の前記関係者及び１人又は複数の他の関係者のレイアウトに対する前記グループ化に基づくことをさらに含む、請求項１に記載のコンピュータ実装方法。
7. メディアオブジェクトをグループ化する方法をコンピュータに実行させるためのプログラムであって、
   前記方法は、
   シーケンシャルイベントのスクリプトと前記スクリプト内の前記メディアオブジェクトのうちの１又は複数に関連付けられた関係者との組合せに基づいて、前記メディアオブジェクトからグループを生成すること、
   クラスタリング又は分類に基づいて、各々が前記メディアオブジェクトのうちの１又は複数を含むセグメントに前記グループを分割すること、
   前記セグメントにタイトル付け又はキャプション付けを提供すること、並びに
   前記グループに含まれる前記メディアオブジェクトに対して、前記メディアオブジェクト、データ、及び前記スクリプトと前記関係者との前記組合せに基づいた処理の提案を生成すること
   を含む、プログラム。
8. 前記提案が、フィルタ効果の処理に関する提案及びステッカーの付与に関する提案のうちの少なくとも１つを含み、前記提案が知識ベースに関連付けられたデータに基づいて予測される処理である、請求項７に記載のプログラム。
9. 前記フィルタ効果の処理に関する提案が、１人又は複数の他のユーザから受信されたオンラインフィードバックを含む前記データに基づく処理である、請求項８に記載のプログラム。
10. 前記ステッカーの付与に関する提案が、画像に関連付けられた情報を含む前記データに基づく、請求項８に記載のプログラム。
11. 前記提案が、ステッカー、テキストボックス、及び絵文字のうちの少なくとも１つのタイプ、位置、及び密度のうちの１又は複数を設定することを含む、請求項８に記載のプログラム。
12. 前記グループを前記生成することが、メディアオブジェクトの前記グループ内の前記関係者及び１人又は複数の他の関係者のレイアウトに対する前記グループ化に基づくことをさらに含む、請求項７に記載のプログラム。
13. １又は複数の画像を取り込み、メディアオブジェクトを生成するように構成された画像取込み装置であって、前記画像取込み装置がプロセッサ及び記憶装置を含み、前記プロセッサが、
    シーケンシャルイベントのスクリプトと前記スクリプト内の前記メディアオブジェクトのうちの１又は複数に関連付けられた関係者との組合せに基づいて、前記メディアオブジェクトからグループを生成すること、
    クラスタリング又は分類に基づいて、各々が前記メディアオブジェクトのうちの１又は複数を含むセグメントに前記グループを分割すること、
    前記セグメントにタイトル付け又はキャプション付けを提供すること、並びに
    前記グループに含まれる前記メディアオブジェクトに対して、前記メディアオブジェクト、データ、及び前記スクリプトと前記関係者との前記組合せに基づいた処理の提案を生成すること
    を実行する、画像取込み装置。
14. 前記提案が、フィルタ効果の処理に関する提案及びステッカーの付与に関する提案のうちの少なくとも１つを含み、前記提案が知識ベースに関連付けられたデータに基づいて予測される処理である、請求項１３に記載の画像取込み装置。
15. 前記フィルタ効果の処理に関する提案が、１人又は複数の他のユーザから受信されたオンラインフィードバックを含む前記データに基づく、請求項１４に記載の画像取込み装置。
16. 前記ステッカーの付与に関する提案が、前記画像に関連付けられた情報を含む前記データに基づく、請求項１４に記載の画像取込み装置。
17. 前記提案が、ステッカー、テキストボックス、及び絵文字のうちの少なくとも１つのタイプ、位置、及び密度のうちの１又は複数を設定することを含む、請求項１４に記載の画像取込み装置。
18. 前記グループを前記生成することが、メディアオブジェクトの前記グループ内の前記関係者及び１人又は複数の他の関係者のレイアウトに対する前記グループ化に基づくことをさらに含む、請求項１３に記載の画像取込み装置。