JP6267224B2 - 最良の写真を検出及び選択する方法及びシステム - Google Patents

Description

本発明は、最良の写真を検出及び選択する方法及びシステムに関する。

デジタル写真撮影により、フィルムからのネガ及びプリントの現像に時間及び費用をかけることなく、何百枚、何千枚でさえも、デジタル写真を撮ることが可能となっている。その結果、現在では一般的に、同じ被写体について多くの写真が撮られる。このようにとられた写真の中には、露出過度又は露出不足であったり、ピントがずれていたり、被写体の人間が目を閉じている等の様々な理由を有する写真よりも、良いものがある。ユーザは、手動でデジタル写真を見直し、あまり望ましくない写真を消去し、良い写真をフォルダに移動するか、さもなければ、「悪い」ものから「良い」ものをより分けるために、写真にタグ付けしなければならない。何百枚又は何千枚の写真がある状況において、これは大変な作業であり、手動で行った場合、未完了に終わることがよくある。
しかしながら、コンピュータのソフトウェアによって、これらのプロセスをプログラムで実行することは、簡単なことではない。

同一又は類似の被写体の写真をプログラムで識別した後、類似の被写体の写真から、「より良い」写真に対応する基準に合った写真を選択できるシステムが必要となる。

写真群の中でどの写真が類似するかを判定し、類似する写真をグループ化した後、グループの中でどの写真が「より良い」写真の基準に合うかを判定するソフトウェアルーチンを提供する。

本発明は、記憶装置を備えたコンピュータにおいて、類似する写真をグループ化し且つ各グループの中で最良の写真を選択する方法であって、前記コンピュータの前記記憶装置の中の二つ以上の写真に対して、前記二つ以上の写真のうちの少なくとも二つが類似していることを判定することと、類似していると判定された写真の各セット内において、前記セットのどの前記写真が一組の基準に合うかを識別することと、各セット内の前記基準に合わない前記写真を隠すこと、を含む。

本件で示す実施形態に係るコンピュータ装置の例を示すネットワーク及び装置の簡略図。 プログラムにより、類似性によって写真をグループ化するとともに、各グループの中で最良の写真を識別するための基準に合う写真を識別するプロセスの概要を示すフローチャート。 図２に示すプロセスであって、類似グループを判定するプロセスの詳細を示すフローチャート。 図２に示すプロセスであって、各グループの中で最良の写真を選択するとともに、選択しなかった写真を隠すプロセスの詳細を示すフローチャート。 図４に示すプロセスであって、写真の露出過度及び露出不足を評価するプロセスの詳細を示すフローチャート。 図３に示すプロセスであって、「earth mover’s distance」値を判定する前における写真の処理のプロセスの詳細を示すフローチャート。 図３に示すプロセスであって、写真の主調色を判定するプロセスの詳細を示すフローチャート。 ４つの副正方形に分割された一つの大きな正方形、及び大きな正方形の中心にある追加の副正方形を有する長方形の写真を示す図。 例示的なサーバコンピュータ装置（ＧＳサーバ）、並びに、データ構造及び／又はその構成要素を示す機能ブロック図。 図９のコンピュータ装置のデータ格納部を示す機能ブロック図。 例示的なクライアントコンピュータ装置（クライアント装置）、並びに、データ構造及び／又はその構成要素を示す機能ブロック図。 図１１及び図１３のコンピュータ装置のデータ格納部を示す機能ブロック図。 例示的なモバイルクライアント装置、並びに、データ構造及び／又はその構成要素を示す機能ブロック図。

以下、本技術の様々な例の理解を助けるため、具体的に詳細を説明する。当業者であれば、このように多くの詳細がなくても、本技術を実施できることを理解するであろう。本技術の例の説明を不必要に不明瞭にすることを避けるために、詳細に又は全く、構造及び機能を示していなかったり、説明していない例示もある。以下に示す説明で使用する用語は、本技術の特定の例の詳細説明と組み合わせて用いている場合であっても、最も広く合理的な方法で解釈されることを意図している。以下において、特定の語が強調されるとしても、用語が制限的に解釈されることを意図する場合は、「詳細な説明（発明を実施するための形態）」中で定義されるように、明白かつ明確に定義される。

明細書及び特許請求の範囲中の「含む」及び「含んでいる」等の語は、文脈で明らかに求められていない限り、排他的又は余地のない意味とは逆に、包括的な意味で、すなわち、「含んでいるがこれらに限定されない」という意味で解釈されるべきである。ここで用いられるように、「接続された」、「結合された」又はそれの変形語は、二つ以上の要素間の直接的又は間接的な連結又は結合を意味する。要素間の接続部の結合は、物理的、論理的、又はそれらの組合せであってもよい。また、「ここで」、「上で」、「下で」及び類似の趣旨の語が、本出願で用いられた場合、本出願の特定部分ではなく、全体を参照するものとする。文脈が許す場合は、複数形で使う語が単数形も含むことができ、また、単数形で使う語が複数形を含むこともできる。２つ以上の要素に関する「又は」の語は、以下の語の解釈、すなわち、要素のいずれか、要素の全て、及び一以上の要素の任意の組合せ、の全てを含む。

特定の複数の要素が、別々の図において、大文字の同じ文字列で表されているが、番号は異なっている。ここで、番号が付されない大文字の文字列が参照される場合、どの文字列も概して同じものであり、大文字の同じ文字列のいずれかの要素に言及していると理解されるべきである。ただし、それら要素が別々の実施形態で現れる場合、これらの文字列は、潜在的に、コンピュータ装置に基づいた差異を有する。

図１は、本件で示す実施形態に係るコンピュータ装置の例を示すネットワーク及び装置の図である。図１において、クライアント装置１１００は、インターネットのようなネットワーク１５０に接続されている。ネットワーク１５０は、コンピュータ、コンピュータ間のネットワーク接続部、及びネットワーク接続部を介してコンピュータ間での通信を可能にするソフトウェアルーチンを含む。

また、図１に示されているモバイルクライアント装置１３００は、ネットワーク１５０及びクライアント装置１１００に接続されている。ここで、クライアント装置１１００及びモバイルクライアント装置１３３０は、どちらも、番号のない「クライアント装置」と言及される。また、ここででは、これら二つの装置は、図１において個別の装置として示されているが、どちらも、同等のコンピュータ装置を表す可能性があると理解されるべきである。図１は、ユーザが、「フォトグラフ」１２０５のような写真を撮るために、モバイルクライアント装置１３３０を使えること、及び、そのユーザが、クライアント装置１１００及びモバイルクライアント装置１３００との間の直接接続により、及び／又は、ネットワーク１５０を介して、「フォトグラフ」１２０５をクライアント装置１１００へ送信できることを示すための図である。モバイルクライアント装置１３００（及びクライアント装置１１００）は、「フォトグラフ」１２０５を、ＧＳサーバ９００及び／又は外部サーバ１４０（後述する）へも送信することができる。

図１は、ネットワーク１５０に接続中のＧＳサーバ９００を示している。図９及び図１０は、データ格納部１０００を含むＧＳサーバ９００を示している。同様に、図１１は、データ格納部１２００を含むクライアント装置を示している。ここでは、構成要素を、一方では、ＧＳサーバ９００又はクライアント装置に接続するものとして、他方では、データ格納部１０００又はデータ格納部１２００に接続するものとして、述べる。二つの構成要素又は二つの構成要素の一方を介して、このような接続が行われる可能性があると理解されるべきである（例えば、コンピュータ装置がＧＳサーバ９００に接続する又はデータを送るという記述は、そのコンピュータ装置がＧＳサーバ９００及び／又はデータ格納部１０００に接続する又はデータを送ることをいうと、理解されるべきである）。ここでは、「データベース」と言う場合は、「データ格納部」と同等であると理解されるべきである。また、図９及び図１１では、一つの物理的ユニットに統合された構成要素を示しているが、サーバ及びデータベースは、共通の（又は個別の）物理的ハードウェア、及び共通の（又は個別の）論理的プロセッサ及びメモリ要素によって提供されていてもよい。ＧＳサーバ９００及びデータベース１０００は、図示されているような個別の装置ではなく、クライアント装置又はクライアント装置内部の構成要素にしてもよい。

ここでは、ＧＳサーバ９００及びクライアント装置が、同等のコンピュータ装置であることも理解されるべきである。ＧＳサーバ９００はクライアント装置と分離した装置として示されているが、これは、ここで述べるシステム及び方法が、クライアント・サーバ・アーキテクチャで実行できることを示している。クライアント・サーバ・アーキテクチャでは、クライアント装置又は外部サーバ１４０が、「フォトグラフ」をＧＳサーバ９００へ送信し、ＧＳサーバは、グループを作成し、その「フォトグループ」１０１０となる「フォトグラフ」を選択する。その後、「フォトグループ」は、クライアント装置又は外部サーバ１４０へ送信され、及び／又は、クライアント装置又は外部サーバ１４０により（例えば、「フォトグループ」１２１０として）表示される。

図１は、ネットワーク１５０に接続された外部サーバ１４０も示す。外部サーバ１４０は、例えば、オンラインサービスであり、グーグル社のＰＩＣＡＳＡ（登録商標）、フェースブック社のＦＡＣＥＢＯＯＫ（登録商標）などのように、写真を格納して整理するサービスや、顔の分析を行って、その分析結果を顔データ１０５５として、例えばＧＳサーバ９００へ送信するサービス等である。ここでは、このようなサービスを、「オンラインサービス」という。「フォトグラフ」１００５は、クライアント装置及び／又は外部サーバ１４０により、ＧＳサーバ９００へ送信することができる。ＧＳサーバ９００への「フォトグラフ」１００５の送信は、ＧＳサーバ９００が外部サーバ１４０に接続し、ＧＳサーバ９００の真正証明及び承認用の資格情報を示した後、「フォトグラフ」１００５をダウンロードし、続いて、外部サーバ１４０又はクライアント装置が、ＧＳサーバ９００に「フォトグラフ」が利用可能であることを知らせる、という手順を踏んでもよい。クライアント装置によるＧＳサーバ９００への「フォトグラフ」の送信は、後述する。「フォトグラフ」、「フォトグループ」、及び「フォトメタデータ」は、ＧＳサーバ９００及びクライアント装置間で送信されるものとして述べる。外部サーバ１４０はクライアント装置と同等の役割をすること、及び、ＧＳサーバ９００は、クライアント装置との通信の代わりに又はクライアント装置との通信に加えて外部サーバ１４０と通信してもよいことが、理解されるべきである。

図１のコンピュータ装置は、図９及び図１１（並びに図１０及び図１２）において、フォトアプリケーション１１４０及びグルーパーセレクタ２００のような、ルーチンやアプリケーションのデータ群を含むものとして示されている。ウェブサーバやウェブブラウザのようなルーチンの追加的なデータ群も、これらの装置に格納され実行されてもよい。図１のコンピュータ装置は、図９及び図１１（並びに図１０及び図１２）において、「フォトグラフ」（１００５及び１２０５）、「フォトグループ」（１０１０及び１２１０）、及び「フォトメタデータ」（１０１５及び１３００）（これらは、全ての要素を網羅的に列挙したものではない）のような、ルーチンにより使用されるデータ群を含むものとして示されている。ルーチンにより使用されるデータ群は、列内のセルや、デジタル文書又はファイルにおいて定義された構造中の他の値から分離された値により表すことができる。ここで、個々のレコード又はエントリと称されていても、そのレコードは、一以上のデータベースエントリを含んでもよい。データベースエントリは、復元、エンコード番号、数値演算子、バイナリ値、論理値、文字、文字列演算子、結合、条件付き論理、テスト等であってもよい。ブラウザルーチンは、例えば、ウェブサーバルーチンを介して（ウェブサーバルーチンは、ウェブページ形式で、データ及び情報を供給することができる）、ＧＳサーバ９００と通信するためのインターフェースを提供することができる。ブラウザ及びウェブサーバは、ユーザインターフェース示し、一般的にユーザインターフェースがルーチンを実行できることを示すように作られている。ブラウザ及びウェブサーバは、クライアント装置のユーザインターフェースへ情報を供給又は表示する同等のルーチンで置き換えられてもよい。ログイン資格情報及びユーザプロフィールのローカルインスタンスは、クライアント装置、ＧＳサーバ９００及び外部サーバ１４０に格納されてもよいし、それら装置及びサーバからアクセスしやすいようしてもよい。

他の実施例においては、いずれかのコンピュータが、データ群の一部を有していなくてもよい。例えば、モバイルクライアント装置１３００が、（より一般的な汎用コンピュータ装置の代わりに）比較的限定された用途のデジタルカメラである場合、モバイルクライアント装置１３００は、例えば、「フォトグループ」のようなデータ群を有していなくてもよい。さらに／あるいは、モバイルクライアント装置１３００のフォトアプリケーションは、（モバイルではない）クライアント装置１１００に実装されているフォトアプリケーションの全ての機能を持っていなくてもよい。

グルーパーセレクタ（２００）は、類似性によって「フォトグラフ」を「フォトグループ」にグループ化し、「フォトグループ」の中で最良の写真を識別するための基準に合う「フォトグラフ」を選択するソフトウェアルーチンである。なお、グルーパーセレクタは、図２及び図３（並びにこれらの図の詳細を示す後続の図）と関連して、更に述べる。

フォトアプリケーションは、「フォトグラフ」のような写真をインポート、保存及び整理するためのアプリケーションであってもよい。フォトアプリケーションの例としては、アップル社のＩＰＨＯＴＯ（登録商標）及びグーグル社のＰＩＣＡＳＡ（登録商標）が挙げられる。

「フォトグラフ」は、デジタル処理で符号化された写真であり、例えば、「raw」画像ファイル、TIFF、JPEG、GIF、BMP、PNG、RGBE、IFF-RGFX、CGM、Gerber Format、SVG、及び他のデジタル画像形式といった、デジタル形式で符号化された写真を含むデータベースエントリを含んでもよい。「フォトグラフ」は、データベースにおいて「フォトグループ」と関連づけられていてもよいし、メタデータを含んでいたり、メタデータと関連付けられていてもよい。

メタデータは、カメラ設定、日時（ここでは、図１０及び図１２において時刻１０２５及び１４００として表されている「タイムスタンプ」のことをいう）、シャッタースピード（シャッタースピード０及び１２３０）、露光（例えばｆストップなど）、画像サイズ（画素数、距離単位又はデータ量）、画像方向（例えば縦方向又は横方向など）、倍率、焦点距離（焦点距離１０２０及び１２２０）、圧縮、カメラ名、カメラタイプ、写真に関連付けられた見出し又は他の文字列、及び場所（緯度及び経度並びにジオタギング手順で使用される他の情報など）を含むデータベースエントリを含んでもよい。メタデータは、例えば、国際新聞電気通信評議会（「IPTC」）情報交換モデル、XMPのためIPTICコアスキーマ、XMLを利用した拡張可能なメタデータプラットフォーム（「XMP」）、交換可能な画像ファイルフォーマット（「Exif」）ダブリンコアメタデータイニシアチブ、又は、ピクチャーライセンシングユニバーサルシステムなどの基準に従って形成されてもよい。例えば時間やシャッタースピードのような特定のメタデータエントリは、図１０及び図１２ではメタデータとは別に示されているが、メタデータの一部であってもよいし、メタデータ内にあってもよい。

図１０及び図１２で示す「フォトグループ」は、グルーパーセレクタにより指定された「フォトグラフ」のグループを表すデータベースエントリである。「フォトグループ」のデータベースエントリは、「フォトグループ」内にどの「フォトグラフ」があるか、「フォトグループ」内における「フォトグラフ」の順序、「フォトグループ」に付与された名前（「フォトグループ」内の「フォトグラフ」の一つ以上の主調色、タイムスタンプ又は「フォトグラフ」に関連付けられたタイムスタンプの範囲などが考えられる）、及び、グルーパーセレクタにより判定されるように、「フォトグループ」内の「フォトグラフ」が選択基準に合っているかどうか、を記録していてもよい。「フォトグループ」は、例えばフォトアプリケーションにより、更に整理され、「アルバム」又は「フォルダ」として示されたり表示されたりしてもよい。

ソフトウェアルーチン及びそのソフトウェアルーチンで使用されるデータ群は、例えば、アプリケーションの仮想化によって、いずれかのコンピュータに格納され、及び／又は遠隔で実行されてもよい。

図１に示すコンピュータは、図９，１０，１１及び１２に関連して更に述べる。

図２は、プログラムにより、類似性によって「フォトグラフ」をグループ化し、各グループの中で、最良の写真を識別するための基準に合う「フォトグラフ」を識別するプロセスの概要を示している。

ステップ２０５では、グルーパーセレクタルーチンを開始するか、実行を継続する。ステップ２１０では、グルーパーセレクタが、「フォトグラフ」１００５のような「フォトグラフ」を受信する。ステップ３００では、グルーパーセレクタが、類似性及び主調色によって、グループ内の「フォトグラフ」を、「フォトグループ」のようなグループにグループ化する。この処理を行うプロセスの一例を、図３及び図３で参照される後続の図に更に示す。

ステップ４００では、グルーパーセレクタは、選択基準に従って、「フォトグループ」内で最良の「フォトグラフ」を識別する。この処理を行うプロセスの一例を、図４及び図４で参照される後続の図に更に示す。ステップ２３０では、グルーパーセレクタは、各「フォトグループ」内で基準に合わない「フォトグラフ」を隠す。

ステップ２３５において、「フォトグループ」を出力する。「フォトグループ」の出力は、「フォトグループ」をクライアント装置及び／又は外部サーバへ送信することを含む。これら受信装置側では、例えばフォトアプリケーションを用いて、「フォトグループ」を表示することができる。「フォトグループ」の出力は、「フォトグループ」及び／又はメタデータのようなデータレコードとともに、「フォトグラフ」を受信装置へ送信するものであってもよい。上記データレコードは、「フォトグループ」に属している「フォトグラフ」を識別し、更に／又は、（「フォトグループ」内、あるいはフォトアプリケーションで用いられるフォルダ又はアルバム内において）どの「フォトグラフ」が隠されるべきかを識別するものである。受信装置がすでに「フォトグラフ」を持っている場合、ＧＳサーバ９００は、上述したデータレコードだけを受信装置へ送信してもよい。

図３は、図２の類似グループを判定するプロセスの詳細を示すフローチャートである。ステップ３０５から３６５は、各「フォトグラフ」に対して実行されるプロセスである。ステップ３１０では、「フォトグラフ」が、例えばデータベース１０００（又は１２００）に、すでにある「フォトグラフ」の完全な複製であるか否か判定する。「フォトグラフ」が既存の「フォトグラフ」の完全な複製であるか否かの判定は、例えば、「フォトグラフ」の又は「フォトグラフ」中におけるハッシュ又は署名又はデータ群が、既存の「フォトグラフ」そのもの又は「フォトグラフ」中のハッシュ又は署名又はデータ群と同一か否かに基づいて行う。完全な複製の消去は、ユーザに消去を確認する問合せの実行を含んでいてもよい。

ステップ６００では、事前のEarth Mover’s Distance（「ＥＭＤ」）処理又は事前の距離関数処理を、各「フォトグラフ」に対して実行してもよい。この処理の例は、図６において更に示す。一般に、ＥＭＤ又は他の距離関数（後で述べる）は、各「フォトグラフ」間の距離を判定するために、二つ以上の「フォトグラフ」の比較を含む。ＥＭＤ関数又は他の距離関数は、第１の「フォトグラフ」の態様に対して、比較対象の他の「フォトグラフ」とは別個に、演算実行されてもよい。ステップ６００では、この事前のＥＭＤ関数（又は事前の他の距離関数）のプロセスを行う。この事前のＥＭＤのプロセスの結果は、後に再演算しなくてもよいように、記憶されてもよい。

事前ＥＭＤ処理の例として図６を参照する。ステップ６１０では、グルーパーセレクタが、「フォトグラフ」の一部分（例えば正方形。「フォトグラフ」の中心の正方形であってもよい）を取得する（「フォトグラフ」の上記一部分は、正方形である必要はなく、また、このような正方形や他の形状の部分は、「フォトグラフ」の中心に位置している必要もない）。図８に一部分の例を示す。長方形の「フォトグラフ」８０１は、正方形８０５を含む。この一部分は、更に、小部分に分割されてもよい。図８に示すように、正方形８０５は、４分の１の小正方形８１０，８１５，８２０，８２５に分割される（この小部分は、正方形である必要はなく、また、分割する全体部分よりも小さい部分から成ればよい）。小正方形８３０のような追加の副部分も含まれる（図８では、正方形８０５の中心に配置され、他の四つの小正方形と同じ大きさになっている）。ステップ６１５では、これらの部分の色のヒストグラムを判定する。図８では一例を示しているが、図８に示す部分の数や面積が必須でないことは認識されるであろう。全体として必要とされるのは、いくつか又は全ての「フォトグラフ」において上記部分が一致しているという条件で、それらの「フォトグラフ」のヒストグラムが作成されることである。上記部分が一致しているかどうかの識別は、図示されるように、「フォトグラフ」の絶対的な幾何学的条件に対して行われてもよい。あるいは、特定の顔（「フォトグラフ」から「フォトグラフ」へ移動する可能性がある）等の、「フォトグラフ」内の関心領域の部分に対して行われてもよい。

ステップ３２０では、ＥＭＤ関数又は他の距離関数が、時間範囲Ｘ（時間範囲Ｘは、例えば、５分から１５分にしてもよい）内の他のそれぞれの「フォトグラフ」に対して実行される。時間範囲Ｘが各「フォトグラフ」に関連付けられていてもよいし、あるいは、「フォトグラフ」をタイムスタンプで集合化し、ＥＭＤ関数又は他の距離関数を、各集団内の全「フォトグラフ」にわたって実行してもよい。時間範囲Ｘに関連付ける代わりに、ＥＭＤ関数又は他の距離関数は、例えば、フォトアプリケーションにおける一つのフォルダやアルバム内の「フォトグラフ」のような、他の方法でグループ化された「フォトグラフ」に対して実行されてもよい。

ＥＭＤ関数又は距離関数は、ステップ６００で作成されたヒストグラム、又は、他の事前ＥＭＤプロセスの結果に対して実行される。ＥＭＤ関数は、ある領域上の二つの確率分布間の「距離」を測定する距離関数の一例である。ＥＭＤ関数は、ワッサースタイン計量の一種である。言い換えると、ＥＭＤ関数又は他の距離関数は、第１項目を第２項目に変換するための最小限の「コスト」を判定する。ステップ６００で作成されたヒストグラムは、画素と周波数のグラフとして「フォトグラフ」を表す（モノクロヒストグラムのような、画素と強度を表す他のヒストグラムを用いてもよい）。それゆえ、二つの「フォトグラフ」のヒストグラムを比較して、二つのヒストグラム間の距離が大きいか小さいかを判定することができる。距離が小さい場合は、多少の違いがあったとしても、それら「フォトグラフ」は、同じ被写体のものである可能性が非常に高い。同じ被写体の二つのフォグラフ間の差異は、例えば、異なる解像度、ディザリング、ぼかし、局所的な変形、又は対象に対するフレームのずれに由来することがある。図６（及び図８）に示す例では、ステップ６００において、各「フォトグラフ」の五つの異なる正方形の五つの色ヒストグラムが作成された。ステップ３２０のＥＭＤ関数又は他の距離関数は、二つの「フォトグラフ」から作成された上記五つの色ヒストグラムのそれぞれに対して実行する。そして、（二つの「フォトグラフ」の）上記五つのそれぞれの色ヒストグラムに対するＥＤＭ関数の結果が、例えば平均される。時間範囲Ｘ内の他のそれぞれの「フォトグラフ」に関するＥＭＤ関数又は他の距離関数の値は、例えばＥＭＤ値（５及び１２３５）として、保存してもよい。

ステップ３２５では、ＥＭＤ関数又は他の距離関数の値が閾値Ｔよりも大きいか小さいかを判定する。この閾値は、例えば、用いた距離関数の種類、用いたヒストグラムの種類、用いたユニット、（「フォトグラフ」間で類似性を検出する際の）誤検出率の許容値等に依存する。ここに示した例では、「５０」とした閾値が有効であることが見出されている。また、例えば、「フォトグラフ」のグループに対しては、「フォトグラフ」が一致しているかどうか、ほぼ完全な複製かどうか、及びテーマ（例えば、冬の雪景色、草原の上の青空等）が類似しているかどうかによって「フォトグラフ」を分類するために、複数の閾値を用いてもよい。

ステップ３２５において、ある「フォトグラフ」と時間範囲Ｘ内の他の「フォトグラフ」群との間のＥＭＤ関数又は他の距離関数の値が、閾値Ｔよりも小さい（「フォトグラフ」が類似することを意味する）と判定した場合は、次に、ステップ３３０において、他の類似する「フォトグラフ」群が、同一の類似グループに属するか、異なる二以上の類似グループに属するかについて判定する。ステップ３３０における判定が肯定である場合は、ステップ３３５において、「フォトグループ」１０１０のような特定されたグループに、「フォトグラフ」を追加する。ステップ３３０における判定が否定である場合は、ステップ３４０において、「フォトグループ」１０１０のような新しいグループを、その「フォトグラフ」のために作成する。また、ステップ３２５において、その「フォトグラフ」と他の「フォトグラフ」との間のＥＭＤ関数又は他の距離関数の値が、閾値Ｔよりも大きい（「フォトグラフ」が類似しないことを意味する）と判定した場合は、次に、ステップ３４５において、「フォトグループ」１０１０のような新しいグループを、その「フォトグラフ」のために作成する。このような類似グループを保存した後、ＥＭＤ値１１３を破棄してもよいし、後に利用するために保存してもよい。

ステップ７００において、各「フォトグラフ」における主調色を判定する。図７は、「フォトグラフ」における主調色を判定するプロセスの一例を示す。図７に移って、ステップ７０５では、各「フォトグラフ」の色ヒストグラムを取得する。これら色ヒストグラムは、「フォトグラフ」の一部分のヒストグラムであってもよいし、全体のヒストグラムであってもよい。また、例えば、ステップ６００で作成された色ヒストグラムでもよい。ステップ７１０では、色の最大総数が取得され得る。色の最大総数は、静的変数でもよいし、グルーパーセレクタのような機能を実行するソフトウェアルーチンに固定の数でもよい。この例では、色の最大総数を１０としてもよい。ステップ７１５では、その「フォトグラフ」に対して、ＲＧＢ色の立方形に関するロイドアルゴリズムを実行し、ボロノイ図を生成する。ボロノイ図は、ある空間を多数の領域に分割する方法である。この例のロイドアルゴリズムは、ステップ７０５の色ヒストグラム及びステップ７１０の色の最大総数を、入力値として用いている。この例のロイドアルゴリズムは、ステップ７０５の色ヒストグラムから導かれる画素周波数である入力点を、ステップ７１０の色の最大総数であるｋ個の初期セットに分割する。そして、このアルゴリズムは、例えばユークリッド空間における平均次元によって、各セットの平均点又は重心を算出する。この場合、各重心の初期位置は、ランダムな位置から開始する。このアルゴリズムは、例えばユークリッド距離関数を用いたりして、各点を最も近い重心に関連付けて、新しい領域を構築する。その後、重心は新しい集団に対して再計算される。このアルゴリズムは、各点が集団を移動しなくなるまで、又は、重心が変化しなくなるまで、所定数の反復処理が実行され収束するまでは繰り返し実行される。このステップの結果は、順序付け、重み付け、リスト化がなされる。各重みは、各集団に関する画素数により決定される。

ステップ７２０では、ステップ７１５の結果から、主調色、例えば、最上位の一色、又は最上位から三色を選択する。ステップ７２５では、ステップ７２０で選択された上位の色を、色名に関連付けることができる。図３に戻って、ステップ３６０では、ステップ７００の結果（例えば、ステップ７２５の結果）を、例えば主調色１０４０として保存する。

ステップ３７０では、ステップ３６０で保存された主調色を、全ての「フォトグラフ」について取得する。ステップ３７５では、「フォトグラフ」を、主調色によりグループ化することができる。主調色によるグループ化は、類似性によるグループ化とは別個に実行してもよい。ステップ３８０では、色のグループは、例えば「フォトグループ」１０１０の一部として（又は別のグループ化で）、保存する。

上述したように、図４は、図２に示すプロセスの詳細を示すフローチャートであり、このプロセスでは、各グループの中で最良の写真が選択されるとともに、選択されなかった写真が隠される。図４に示すプロセスは、例えばグルーパーセレクタルーチンにより実行されてもよい。図４において、ステップ４０５から４５５までは、個々の「フォトグラフ」に対して実行される。

ステップ４１０では、ぼかし信頼度「ＢＣ」、及び／又は、ぼかし量「ＢＥ」を、例えば「フォトグラフ」の白黒版で判定してもよい。一般的に、ＢＣは、「フォトグラフ」が全体的にぼやけているかどうかを評価する割合である。一方、ＢＥは、「フォトグラフ」がぼやけているとしたら、どのくらいぼやけているかを評価する割合である（ＢＥは、「フォトグラフ」のエッジ点を見て、くっきりしたエッジに対するぼやけたエッジの割合を判定する）。ＢＣ及びＢＥを導き出す方法は数多くある。例えば、これらの論文に関連する情報開示陳述書に投稿された「Blur Detection for Digital Images Using Wavelet Transform」に示されている。この例の概要は以下のようである。例えば、「フォトグラフ」の白黒版のような画像から算出した画素の明るさのスカラー量について、ハールウェーブレット変換を三回繰り返して実行し、三つの異なる基準で高エネルギの画素を検索して、それらに値を割り当てる。割り当てられた値を使って、画素をエッジ点又は非エッジ点に分類する。次に、テストの２番目のセットで、エッジ点を、ぼやけたエッジ部分又はくっきりしたエッジ部分に分類する。様々な分類の比率より、結果値が決定される。ＢＣ値及び／又はＢＥ値は、例えば、データ格納部１０００にＢＣ−ＢＥ１０４５として格納される。

ステップ４１５では、例えば、焦点距離、時刻及びシャッタースピードのような調整係数値を、例えば「フォトメタデータ」（図では、焦点距離、シャッタースピード、及び時刻として示されている）から取得する。調整係数は、「フォトグラフ」のぼかしに影響する可能性があるとともに、「フォトグラフ」のぼかしに対する人間の許容値に影響又は関連する可能性がある。ステップ４２０では、調整係数を用いて、ＢＣ値及び／又はＢＥ値に重み付けしてもよい。例えば、近焦点距離で撮られた「フォトグラフ」は、花のマクロ写真の場合、「フォトグラフ」の大部分はぼやけているかもしれないが、小さな部分、例えば花の雄しべの部分には焦点が合っているかもしれない。この「フォトグラフ」は、審美的には大変満足のいくものかもしれない。近距離焦点は、例えば、１より小さい値、つまり、近距離焦点とＢＣ値及び／又はＢＥ値を乗算すると数値が減少するような値に変換されてもよい（あるいは、焦点距離に応じてぼかしの許容値を大きく補正するように、調整係数を設定してもよい）。同様に、夜に撮影された「フォトグラフ」は、絞りが広い及び／又はシャッタースピードが遅いために、比較的ぼやけている可能性がある。そして、夜に撮影された「フォトグラフ」は、比較的ぼやけているにもかかわらず、興味深い又は価値ある情報を含んでいる可能性があるため、夜の時間の「フォトグラフ」のぼかしの許容値は比較的大きくなる。その結果、日没後及び日の出前の時刻については、例えば、１より小さい値、つまり、時刻とＢＣ値及び又はＢＥ値を乗算すると数値が減少するような値に変換されてもよい（あるいは、「フォトグラフ」が撮影された時刻に応じて、ぼかしの許容値を大きく補正するように、調整係数を設定してもよい）。時刻の調整係数は、「フォトグラフ」が撮影された場所の日の長さを考慮にいれてもよい。

ステップ４２５では、調整されたＢＣ値及び／又はＢＥ値が、閾値よりも大きいか又は小さいかについて判定される。ＢＣ値及び又はＢＥ値が閾値よりも大きい場合は、次にステップ４３０において、「フォトグラフ」が隠される。「フォトメタデータ」又は「フォトグループ」に、所定の値をセットして、「フォトグラフ」を隠してもよい。この値は、例えば、フォトアプリケーションによって認識される値であり、この値がフォトアプリケーションにより認識されることで、ユーザインターフェース内のアルバム又はフォルダに「フォトグラフ」が示されなくなったり、「フォトグループ」が表示された場合に「フォトグループ」の一部として「フォトグラフ」が示されなくなる。「フォトグラフ」が隠された場合も、例えば、全「フォトグラフ」一覧のような他の「フォトグラフ」一覧においては、その「フォトグラフ」を可視的に表示してもよい。ステップ４２５において、ＢＣ値及び又はＢＥ値が閾値よりも大きくない場合は、「フォトグラフ」は隠されない。

ステップ５００では、ｒＯ及びｒＵが判定される。一般的に、ｒＯは、「フォトグラフ」が露出過度か否かを表す係数であり、ｒＵは、「フォトグラフ」が露出不足か否かを表す係数である。ｒＯ及びｒＵを判定するプロセスの一例を図５に示す。次に図５のステップ５１０において、「フォトグラフ」における画素の総数を取得する。ステップ５１５において、閾値Ｔ２よりも大きな輝度値を持つ白黒画素数を取得する。Ｔ２としては、画素の最大輝度値近傍の値が選択される。ステップ５２０において、ステップ５１５で取得した数を、ステップ５１０で取得した数で割ってｒＯを生成する。ステップ５２５では、閾値Ｔ３よりも小さい輝度値を持つ白黒画素数を取得する。Ｔ３としては、画素の最小輝度値近傍の値が選択される。ステップ５３０では、ステップ５３５で取得した数をステッ５１０で取得した数で割ってｒＵを生成する。

図４に戻って、ステップ４４０では、時刻１１５のような、「フォトグラフ」が撮影された時刻が取得される。「フォトグラフ」が撮影された時刻は、ｒＯ及びｒＵに関して使われる調整係数であってもよい。ＢＥ及びＢＣに関して用いた調整係数と同様に、人間は、夜に撮影された「フォトグラフ」の露出不足、及び昼間に撮影された「フォトグラフ」の露出過度に対しては、比較的許容できるかもしれない。ステップ４４５で、時刻−（「フォトグラフ」が撮影された場所がわかっているなら）その場所の緯度での日射量で補正されているだろう−は、ｒＯ値及び又はｒＵ値と乗算すると、ｒＯ値及び／又はｒＵ値が増加又は減少するような値に変換されてもよい。ステップ４４５では、ｒＯ値及び／又はｒＵ値を、例えばすぐ上で述べたような調整係数により、調整してもよい。

ステップ４５０では、「フォトグラフ」について、顔の分析が実行される。顔の分析により、「フォトグラフ」上で顔が検知されたか否か、開いた又は閉じた目が検知されたか否か、顔がカメラの方を向いているか否か、「フォトグラフ」上で眼鏡、顔ひげ、及び笑顔が検知されたか否かを示す値を返してもよい。顔の分析結果は、例えば、データ格納部１０００に、顔データ１０５５として格納してもよい。

ステップ４６０からステップ４９０は、分離された類似グループ、例えば「フォトグループ」（「フォトグループ」内の「フォトグラフ」は、グルーパーセレクタにより、類似対象の「フォトグラフ」と判定されている）内の全「フォトグラフ」に対して、グルーパーセレクタによって、実行される。ステップ４６５において、グルーパーセレクタは、最良のＢＥ値及び／又はＢＣ値を持つ「フォトグラフ」（この例では、最も低いＢＥ値及び／又はＢＣ値を持つ「フォトグラフ」）を選択する。ステップ４７０では、グルーパーセレクタは、最良のｒＯ値及び／又はｒＵ値を持つ「フォトグラフ」を選択する。

ステップ４７５では、顔データ１０５５に基づいて、判定中の「フォトグループ」内の「フォトグラフ」中に顔があるかないかについて判定する。判定中の「フォトグループ」内の「フォトグラフ」中に顔がある場合には、次にステップ４８０において、グルーパーセレクタは、開いた目、笑顔及び／又は比較的まっすぐにカメラに顔を向けている被写体の「フォトグラフ」を選択してもよい（一以上の「フォトグラフ」を選択してもよい）。

ステップ４８５では、グルーパーセレクタは、選択しなかった「フォトグラフ」を隠す。ステップ４３０と同様に、「フォトメタデータ」又は「フォトグループ」に、所定の値をセットすることで、「フォトグラフ」を隠してもよい。この値は、例えば、フォトアプリケーションによって認識される値であり、この値がフォトアプリケーションにより認識されることで、ユーザインターフェース内のアルバム又はフォルダに「フォトグラフ」が示されなくなったり、「フォトグループ」が表示された場合に「フォトグループ」の一部として「フォトグラフ」が示されなくなったりする。「フォトグラフ」が隠された場合も、例えば、全「フォトグラフ」一覧のような他の「フォトグラフ」一覧において、その「フォトグラフ」を可視的に表示してもよい。

図９は、例示的なサーバコンピュータ装置（ＧＳサーバ）、並びに、データ構造及び／又はその構成要素を示す機能ブロック図である。コンピュータ装置９００が、図９に示すよりも多くの構成要素を含む実施形態であってもよい。しかしながら、これら一般に公知の構成要素の全てが、一例の実施形態を開示するために必要なわけではない。図９に示すように、コンピュータ装置９００は、ネットワーク１５０に接続するためのネットワークインターフェース９０５を含んでいる。

コンピュータ装置９００は、少なくとも一つの処理ユニット９４５、記憶装置９２５、及び任意の表示装置９１０も含んでいる。これらは、バス９２０を経由してネットワークインターフェース９０５に相互に接続される。記憶装置９２５は、一般的に、random access memory（「ＲＡＭ」）、read only memory（「ＲＯＭ」）、ディスクドライブやＳＤＲＡＭ（synchronous dynamic random-access memory）のような永久大容量記憶装置を含む。記憶装置９２５は、例えば、グルーパーセレクタルーチン２００、ウェブサーバ、ブラウザ、並びに、emailサーバ、クライアントアプリケーション、及びデータベースアプリケーションのようなソフトウェアルーチンのプログラムコードを格納している。加えて、記憶装置９２５は、オペレーティングシステム９３０も格納している。これらのソフトウェアの構成要素は、非一時的なコンピュータ読み取り可能記憶媒体９４０に関連するドライブ装置（図示なし）を用いて、非一時的なコンピュータ読み取り可能記憶媒体９４０からコンピュータ装置９００の記憶装置９２５へ読み込まれる。この非一時的なコンピュータ読み取り可能記憶媒体９４０は、フロッピーディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカード、又は他の記憶媒体等である。ソフトウェアの構成要素が、ドライブ装置及びコンピュータ読み取り可能記憶媒体９４０以外の装置（例えば、コンピュータインターフェース９０５を介して）によって、あるいは、それら装置の代わりに読み込まれてよい。

コンピュータ装置９００は、任意の入力方法を支援するハードウェアである、任意の入力装置９１５（例えば、タッチスクリーン、キーボード、マウス、トラックボール、スタイラス・ペン、マイク及びカメラ等）も含んでいてもよい。

コンピュータ装置９００は、図１０に示すデータ格納部１０００も含んでいる。あるいは、バス９２０を経由してデータ格納部１０００と通信する。バス９２０が、storage area network（「ＳＡＮ」）、高速シリアルバス、及び／又は他の適した通信技術の使用を含む実施形態も考えられる。コンピュータ装置９００が、ネットワークインターフェース９０５を経由してデータ格納部９００と通信する実施形態も考えられる。

図１０は、図９のコンピュータ装置のデータ格納部を示す機能ブロック図である。この図は、上述した、ルーチンで使われるデータグループを示している。

図１１は、例示的なクライアントコンピュータ装置（クライアント装置）、並びに、データ構造及び／又はその構成要素を示す機能ブロック図である。図１１の構成要素は、概ね、図９において類似する名前が付けられた構成要素と同じものである（上記における９を１１に入れ替える）。加えて、図１１に示すクライアント装置は、フォトアプリケーション１１４０（この「フォトアプリケーション」ルーチンは、上述している）を含む。

図１２は、図１１及び図１３のコンピュータ装置のデータ格納部を示す機能ブロック図である。この図は、上述した、ルーチンで使われるデータグループを示している。

図１３は、例示的なモバイルクライアント装置、並びに、データ構造及び／又はその構成要素を示す機能ブロック図である。図１３の構成要素は、図９及び図１１において類似する名前が付けられた構成要素と同じものである（上記における９及び１１を、１３に入れ替える）。加えて、図１３に示すモバイルクライアント装置は、カメラ１３５０を含む。ＧＳサーバは、任意の入力装置９１５備えており、任意の入力装置９１５にカメラが含まれていてもよい。これに対して、モバイルクライアント装置１３００は、カメラ１３５０を備えており、これに加えて入力装置１３１５を備えている。

上記実施形態の詳細な説明は、制限的であることを意図せず、又は上記形態の開示だけに限定することを意図するものではない。特定の実施形態及び実施例は、例示の目的で述べられており、当業者は、本システムの範囲で様々な同等の変形が可能であることを認識するであろう。例えば、プロセス又はブロックは一定の順番で表されているが、異なる順番でルーチンの命令を実行したり、異なる順番のブロックを有するシステムを採用してもよい。また、プロセス又はブロックのいくつかは、消去、移動、追加、再分割、結合、及び／又は修正されてもよい。プロセス又はブロックは、折にふれて、続けて実行するように示されているが、これらのプロセス又はブロックを並行的に実行してもよいし、あるいは異なるタイミングで実行してもよい。さらに、ここで述べた特定の数値は、単なる例示であり、他の実施では、異なる値や範囲を使用してもよい。

９００…ＧＳサーバ、１１００…クライアント装置、９２５，１１２５…記憶装置。

Claims (14)

1. 記憶装置を備えたコンピュータにおいて、類似する写真をグループ化し且つ各グループの中で最良の写真を選択する方法であって、
   前記コンピュータの前記記憶装置の中の二つ以上の写真に対して、
   前記二つ以上の写真のうちの少なくとも二つが類似していることを判定するステップと、
   類似していると判定された写真の各セット内において、前記セットのどの前記写真が一連の基準に合うかを識別するステップと、
   各セット内の前記基準に合わない前記写真を隠すステップと、を含み、
   前記二つ以上の写真のうちの少なくとも二つが類似していることを判定するステップは、
   各前記写真の中で、最大正方形を求めるステップと、
   前記最大正方形を四つの互いに重ならない小正方形に分割するステップと、
   前記最大正方形の中心に、前記四つの小正方形の一つと同じ大きさの五番目の小正方形を設定するステップと、
   各前記写真の少なくとも一部分について、少なくとも一つのヒストグラムを取得するステップと、
   距離関数により前記写真の前記ヒストグラムを比較するステップと、
   前記距離関数の結果が閾値よりも小さい場合に、前記二つ以上の写真のうちの少なくとも二つが類似していると判定するステップと、を含み、
   前記少なくとも一つのヒストグラムを取得するステップは、前記五つの小正方形のそれぞれの個別のヒストグラムを取得するステップを含み、
   前記距離関数は、各写真の五つの小正方形に対応する部分のそれぞれに個別に適用され、
   前記距離関数の前記結果は平均され、
   前記距離関数の前記結果の平均値が前記閾値よりも小さい場合に、前記二つ以上の写真のうちの少なくとも二つが類似していると判定する方法。
2. 前記距離関数は、「earth mover’s distance function」である請求項１に記載の方法。
3. 前記閾値は５０である請求項１又は請求項２に記載の方法。
4. 前記少なくとも一つのヒストグラムは、波長を表す第１軸と前記波長に対する前記写真の画素数を表す第２軸とを有する、請求項１に記載の方法。
5. 前記二つ以上の写真が日時に関連付けられており、且つ、前記二つ以上の写真の前記日時の差が閾値未満の場合に、前記二つ以上の写真は、より大きな写真集合体から選択される、請求項１から請求項４のいずれか１項に記載の方法。
6. 前記閾値は、５分から１５分の間である、請求項５に記載の方法。
7. 前記セットのどの前記写真が前記基準に合うかを識別するステップは、少なくとも一つのぼかし係数が閾値よりも小さいことを判定するステップを含み、
   前記少なくとも一つのぼかし係数は、写真が全体的にぼやけているかどうかを評価するぼかし信頼度及び写真のエッジ点を見てくっきりしたエッジに対するぼやけたエッジの割合をしめすぼかし量の少なくとも一方を含む請求項１から請求項６のいずれか１項に記載の方法。
8. 前記少なくとも一つのぼかし係数と、前記写真に関連づけられた日時、シャッタースピード及び焦点距離の少なくとも一つから得られた重み係数とを乗算するステップを、更に含む、請求項７に記載の方法。
9. 前記セットのどの前記写真が前記基準に合うかを識別するステップは、
   各写真の全画素に対する露出過度の画素の比率であるｒＯと各写真の全画素に対する露出不足の画素の比率であるｒＵとを判定するステップと、
   前記ｒＯ及び前記ｒＵのうちの少なくとも一方が最低値の前記写真を、前記基準に合うものとして識別するステップと、を含む、請求項１から請求項６のいずれか１項に記載の方法。
10. 前記ｒＯ及び前記ｒＵのうちの少なくとも一方を判定するステップは、前記比率と、前記写真に関連付けられた日時から得られた重み係数とを乗算するステップを、更に含む、請求項９に記載の方法。
11. 前記セットのどの前記写真が前記基準に合うかを識別するステップは、
    前記写真の顔の分析結果を受信するステップと、
    前記顔の分析から、前記セットの各写真中に人間の顔が存在することを判定するステップと、
    人間の顔が、開いている目、笑顔、及びカメラの方を向いた表情のうちの少なくとも一つを有していることを、前記顔の分析が識別している場合に、前記写真を前記基準に合うものとして識別するステップ、を含む、請求項１から請求項６のいずれか１項に記載の方法。
12. 記憶装置を備えたコンピュータにおいて、類似する写真をグループ化し且つ各グループの中で最良の写真を選択する方法であって、
    前記コンピュータの前記記憶装置の中の二つ以上の写真に対して、
    前記二つ以上の写真のうちの少なくとも二つが類似していることを判定するステップと、
    類似していると判定された写真の各セット内において、前記セットのどの前記写真が一連の基準に合うかを識別するステップと、
    各セット内の前記基準に合わない前記写真を隠すステップと、を含み、
    前記セットのどの前記写真が前記基準に合うかを識別するステップは、
    写真が全体的にぼやけているかどうかを評価するぼかし信頼度及び写真のエッジ点を見てくっきりしたエッジに対するぼやけたエッジの割合をしめすぼかし量の少なくとも一方を含む少なくとも１つのぼかし係数が閾値よりも小さいことを判定するステップと、
    前記少なくとも一つのぼかし係数と、前記写真に関連づけられた日時、シャッタースピード及び焦点距離の少なくとも一つから得られた重み係数とを乗算するステップとを含む方法。
13. 記憶装置を備えたコンピュータにおいて、類似する写真をグループ化し且つ各グループの中で最良の写真を選択する方法であって、
    前記コンピュータの前記記憶装置の中の二つ以上の写真に対して、
    前記二つ以上の写真のうちの少なくとも二つが類似していることを判定するステップと、
    類似していると判定された写真の各セット内において、前記セットのどの前記写真が一連の基準に合うかを識別するステップと、
    各セット内の前記基準に合わない前記写真を隠すステップと、を含み、
    前記セットのどの前記写真が前記基準に合うかを識別するステップは、
    各写真の全画素に対する露出過度の画素の比率であるｒＯと各写真の全画素に対する露出不足の画素の比率であるｒＵとを判定するステップと、
    前記ｒＯ及び前記ｒＵのうちの少なくとも一方が最低値の前記写真を、前記基準に合うものとして識別するステップと、を含み
    前記ｒＯ及び前記ｒＵのうちの少なくとも一方を判定するステップは、前記比率と、前記写真に関連付けられた日時から得られた重み係数とを乗算するステップを、更に含む方法。
14. 実行された場合に請求項１から請求項１３のいずれか一項に係る方法を行う指令を含むコンピュータの読み取り可能な記憶媒体を備えた、コンピュータシステム。

Images