JP2011526013A - 画像処理 - Google Patents

Abstract

複数の画像を処理する方法が、複数の画像を受領し、前記複数の画像から処理のための画像のセットを定義し、ここで、この定義することは、前記複数の画像中で、ある異なる画像に関して類似性閾値に基づいて似すぎている一つまたは複数の画像を破棄することを含み、前記画像のセット中の一つまたは複数の要素を整列させ、整列された画像の一つまたは複数を、画像のクロッピング、サイズ変更および／または回転によって変換して一連の変換された画像を生成し、前記一連の変換された画像を含む出力を生成することを含み、前記出力はストップモーション・ビデオ・シーケンスを含む。

Description

本発明は、複数の画像を処理する方法およびシステムに関する。

デジタル・カメラにより写真を撮ることはますます一般的になりつつある。そのようなデジタル・カメラを使うことの利点の一つは、デジタル・カメラおよび／またはコンピュータを使うことにより、複数の画像を取り込み、保存し、操作することができるということである。ひとたび一群の画像が取り込まれ、記憶されると、それらの画像へのアクセスをもつユーザーはそれらのデジタル画像をどのように使うかを決定する必要がある。たとえばユーザーに利用可能な、種々のデジタル画像を扱うプログラムがある。たとえば、ユーザーは写真編集アプリケーションを用いてデジタル画像の全部または一部を編集してもよいし、画像を友人や家族と共有するためにインターネット上のリモート・リソースにデジタル画像ファイルを転送してもよいし、および／または伝統的な仕方で一つまたは複数の画像をプリントしてもよい。そのようなデジタル画像を扱うタスクは通例コンピュータを使って実行されるが、他の装置を使ってもよい。たとえば、いくつかのデジタル・カメラにはそのような機能が組み込まれている。

一般に、人はますます多くのデジタル画像を、しばしば一つの特定のオブジェクト、シーンまたは機会のいくつかの画像を撮影する傾向がある。それらをたとえばデジタルフォトフレーム中でスライドショーで見せることにより、似たような画像のセット全体を次々に通常の表示時間をもって表示させることはあまり魅力のあることではない。他方、これらの画像はしばしば、同じイベントまたは機会に関係するという意味で接続されているので、セットの中の画像の一つだけを表示のために選択することはユーザーの体験から多くを取り去ることになりうる。このコンテキストにおいて、退屈なスライドショーにすることなくいかにして画像のすべてを使うかという問題が生じる。

デジタル画像を扱う技法の一つの例が、特許文献１において開示されている。これは、コンテンツ・ベースの動的な写真からビデオへの方法に関する。特許文献１の方法によれば、一つまたは複数のデジタル画像（写真）を一つまたは複数の写真モーション・クリップに自動的に変換する方法、装置およびシステムが提供される。写真モーション・クリップは、デジタル画像（単数または複数）内でのシミュレートされたビデオ・カメラなどのような動き／モーションを定義する。動き／モーションは、画像（単数または複数）の選択された部分の複数またはシーケンスを定義するために使うことができる。よって、一つまたは複数の写真モーション・クリップはビデオ出力をレンダリングするために使用されうる。動き／モーションは、初期デジタル画像中に同定される一つまたは複数のフォーカス領域に基づくことができる。動き／モーションはたとえばパンおよびズームを含みうる。

この方法によって提供される出力は、もとの写真に基づくアニメーションである。このアニメーションは、エンドユーザーにとって常に望ましい出力を提供するよう画像の十分な処理を提供するものではない。

米国特許出願公開第2004/0264939号

http://www.visionbib.com/bibliography/match-pl494.html、たとえばF. Zhao et al.による「Image Matching by Multiscale Oriented Corner Correlation」ACCV06, 2006を含む。 http://iris.usc.edu/Vision-Notes/bibliography/applicat805.html、たとえばS. K. Chang et al.による「Picture Information Measures for Similarity Retrieval」、CVGIP、vol.23、no.3、1983を含む。

したがって、従来技術を改善することが本発明の目的である。

本発明の第一の側面によれば、複数の画像を処理する方法であって、複数の画像を受領し、前記複数の画像から処理のための画像のセットを定義し、前記画像のセット中の一つまたは複数の要素を整列させ、整列された画像の一つまたは複数を、画像のクロッピング、サイズ変更および／または回転によって変換して一連の変換された画像を生成し、前記一連の変換された画像を含む出力を生成することを含み、前記出力は画像シーケンスまたは単一の画像を含む、方法が提供される。

本発明の第二の側面によれば、複数の画像を処理するシステムであって、複数の画像を受領するよう構成されている受領器と、前記複数の画像から処理のための画像のセットを定義し、前記画像のセット中の一つまたは複数の要素を整列させ、整列された画像の一つまたは複数を、画像のクロッピング、サイズ変更および／または回転によって変換して一連の変換された画像を生成するよう構成されたプロセッサと、前記一連の変換された画像を含む出力を表示するよう構成された表示装置とを有し、前記出力は画像シーケンスまたは単一の画像を含む、システムが提供される。

本発明の第三の側面によれば、複数の画像を処理するためのコンピュータ可読媒体上のコンピュータ・プログラム・プロダクトであって、複数の画像を受領し、前記複数の画像から処理のための画像のセットを定義し、前記画像のセット中の一つまたは複数の要素を整列させ、整列された画像の一つまたは複数を、画像のクロッピング、サイズ変更および／または回転によって変換して一連の変換された画像を生成し、前記一連の変換された画像を含む出力を生成するための命令を含み、前記出力は画像シーケンスまたは単一の画像を含む、コンピュータ・プログラム・プロダクトが提供される。

本発明のおかげで、あるイベントを描き出す写真のシーケンスを表示するよう構成されたいくつかの画像から成るストップモーションの画像シーケンスを自動的に生成することにより、あるいは「ストーリーを語る画像（story telling image）」を自動的に生成することによって同様の諸画像を表示する魅力的な方法を自動的に生成するシステムを提供することが可能となる。これは、デジタルフォトフレームに簡単に適用でき、ユーザーが自分の写真を見るのを享受する仕方を高める技法である。複数の画像を自動的に同じ参照点に整列させることにより、それらの画像が画像シーケンスとして示されるときに、ビデオ・シーケンスの見え方が、たとえ異なる視点およびズームが元の画像の取り込みに使われていたとしても、固定カメラから撮影されたかのようになる。

これらの技法はデジタルフォトフレームにおいて使用できる。ここで、画像のクラスタリングおよび整列は、パソコン上で、含まれているソフトウェアを使って実行できる。さらに、これらの技法は、画像表示機能をもついかなるソフトウェアまたはハードウェア・プロダクトによって使用されることもできる。さらに、これらの技法は、（家庭）ビデオ・シーケンスから抽出されたフレームに基づいて同様の効果を生成するためにも使用できる。この場合、一群の写真を処理する代わりに、そのシーケンスから取られた一群のフレーム（必ずしも個々のフレームすべてでなくてもよい）を使うことができる。

有利には、複数の画像から処理のための画像のセットを定義する段階は、画像に関連付けられたメタデータに基づいて密接に関連している一つまたは複数の画像を選択することを含む。出力を生成するプロセッサは、多数の画像（たとえば、メディア・カードのような大容量記憶メディアに現在記憶されている画像全部）を受領し、それらの画像の知的な選択を行うことができる。たとえば、それらの画像に関連付けられたメタデータは、元の画像の時間および／または位置に関係してもよく、プロセッサは密接に関係している画像を選択することができる。これは、10秒の期間などの所定の閾値によって定義される、同様の時刻に撮影された画像であってもよい。同様に、密接に関係した画像を判別するために、他のメタデータ要素も適切なスケール上で計算できる。メタデータは画像自身から直接、たとえば色またはエッジといった低レベルの特徴を抽出することによって導出されることができる。これは画像をクラスタリングする助けとなりうる。実際、異なる型のメタデータの組み合わせを使うことができる。これは、画像と一緒に（通例取り込み時に）記憶されているメタデータに画像から導出されるメタデータを加えたものを組み合わせて使うことができるということを意味する。

好ましくは、複数の画像から処理のための画像のセットを定義する段階は、前記複数の画像中で、ある異なる画像に関して類似性閾値を下回る一つまたは複数の画像を破棄することを含む。二つの画像があまりに似すぎている場合、最終的な出力は同様の画像の一方を削除することによって改善できる。類似性は、多くの異なる仕方で、たとえば二つの異なる画像の間の低レベル特徴（色情報またはエッジ・データのような）における変化を基準として、定義できる。プロセッサは、使用するセットを定義するときに、前記複数の画像を通じて作業を進め、似すぎている画像があれば除去することができる。これは、最終的な画像がユーザーに対して生成されるときに、諸画像における明白な反復を防止することになる。

理想的には、本方法論はさらに、整列された画像の変換に続いて、整列された画像内の一つまたは複数の関心の低い要素を検出し、整列された画像をクロッピングして検出された関心の低い要素（単数または複数）を除去することを含む。ここでもまた、最終的な出力は、画像のさらなる処理によって改善できる。ひとたび画像が整列され、変換されたら、それらの画像はさらに、画像の重要な部分にフォーカスすることによって改善できる。これが達成できる一つの方法は、画像中の静的な要素を除去することによるものである。静的な要素は比較的関心が低いと想定でき、画像はそれらの要素を（それぞれの画像の一部をクロッピングで取り去ることによって）除去し、最終的な画像が画像の動いている部分にフォーカスを当てているようにするよう適応されることができる。他の技法は画像中の顔検出を使い、画像の他の部分は関心が低いものとして分類できると想定してもよい。

有利には、複数の画像から処理のための画像のセットを定義する段階は、一つまたは複数の画像を選択するユーザー入力を受領することを含む。システムは、上記の方法論に従って処理されるべき画像を定義するユーザー入力を受け入れるよう構成されることができる。これは、ユーザーが画像シーケンスとして、あるいは処理された画像から成る組み合わされた単一画像として出力されるのを見たい画像を選択することを許容する。

本発明の諸実施形態について、これから、単に例として、付属の図面を参照して記述する。

画像を処理するシステムの概略図である。 画像を処理する方法のフローチャートである。 処理される複数の画像の概略図である。 デジタルフォトフレームの概略図である。 画像を処理する方法の第二の実施形態のフローチャートである。 図５の画像処理方法の出力の概略図である。

デスクトップ・コンピューティング・システムが図１に示されている。これは、表示装置１０、プロセッサ１２ならびにキーボード１４ａおよびマウス１４ｂであるユーザー・インターフェース装置１４を有する。さらに、ユーザーがカメラ１６をプロセッサ１２に、USBのような通常の接続技術を使って接続している。カメラ１６のプロセッサ１２への接続は、カメラ１６によって取り込まれた画像にユーザーがアクセスできるようにする。これらの画像はフォルダ１８として示されている。フォルダ１８は表示装置１０によって表示されるグラフィカル・ユーザー・インターフェースのコンポーネントである。表示装置１０はアイコン２０も示している。アイコン２０は、プロセッサ１２上にインストールされている、（「STOP MO」と呼ばれる）インストール・アプリケーションを表している。

ユーザーは、インストール・アプリケーションSTOP MOを使って画像を処理できる。たとえば、ユーザーは単に、よく知られたユーザー・インターフェース技法を使ってフォルダ１８をアイコン２０上にドラッグアンドドロップすることにより、フォルダ１８の内容がアイコン２０によって表されているアプリケーションによって処理されることを要求することができる。すると、フォルダ１８に記憶されているカメラ１６が生成した画像がアプリケーションによって処理される。本処理方法を引き起こす他の方法も可能である。たとえば、STOP MOアプリケーションは、通常の仕方でアイコン２９をダブルクリックすることによって立ち上げることができ、次いで、このアプリケーション内で、コンピュータの記憶装置をブラウズすることによってソース画像を見出すことができる。

アプリケーションSTOP MOの目的は、ユーザーにとって魅力的な出力を提供するようユーザーの画像を処理することである。ある実施形態では、アプリケーションは、ソース画像から個人的なストップモーション画像シーケンスを与えるために使うことができる。アイコン２０によって表されているアプリケーションは、ストップモーションの画像シーケンスを自動的に生成することにより、あるいはあるイベントを描き出す写真のシーケンスを表示するよう配列されたいくつかの画像から成る「ストーリーを語る画像」を自動的に生成することによって同様の画像を表示する魅力的な方法を自動的に生成するシステムを提供する。これは、デジタルフォトフレームに簡単に適用でき、ユーザーが自分の写真を見るのを享受する仕方を高める技法である。

アプリケーションによって実行される処理が図２にまとめられている。この処理フローチャートは基本レベルの処理を表している。この基本的な処理に対していくつかの任意的な改善が可能であり、のちに図５を参照してより詳細に述べる。図２のプロセスは、好適な処理装置によって自動的に実行される。本方法における第一のステップ、ステップS1は、複数の画像を受領するステップである。上述したように、これはユーザーがアプリケーションをさまざまな画像を含んでいるフォルダの内容にポイントするという簡単なことであってもよい。処理はまた、たとえばユーザーが最初に画像をコンピュータにまたはデジタルフォトフレームにアップロードするときに自動的に開始されることもできる。

次のステップS2は、ステップS1で受領された複数の画像から処理のための画像のセットを定義するステップである。最も簡単な実施形態では、セットは受領された画像全部を含むが、これは常に最良の結果を与えるものではない。アプリケーションはユーザーが表示したいであろう画像のクラスターを利用することができる。クラスタリングはたとえば、低レベル特徴（色情報、エッジなど）を抽出し、画像間で該特徴をそれらの特徴についての距離指標に基づいて比較することによって実行できる。たとえばEXIFデータを通じて日時情報が利用可能であれば、二つの画像がほぼ同じ時点に撮影されたかどうかを判定するためにこれを用いることができる。また、視覚的に類似した画像をまとめる他のクラスタリング方法を使うこともできる。視覚的な見え方に基づくクラスタリング技法は既知である。そのような技法の参考文献は、非特許文献１および非特許文献２に見出すことができる。デジタル・カメラをもつ多くのユーザーにとって、クラスタリングは同じイベント、機会またはオブジェクトに属する画像の多くのクラスターを与えるであろう。

ステップS2はまた、受領された画像２４を順序付ける（順序付け直す）ことをも含みうる。画像２４のデフォルト順は理想的でないことがあり、実はデフォルト順がないこともあり、あるいは画像がかちあうシーケンスをもつ複数のソースから受領されることもある。これらすべての場合、処理は選択された画像２４がある順序にされることを要求する。これは、画像２４内のメタデータから導出される類似性指標に基づくことができ、あるいはここでもまた順序を導出するために画像２４と一緒に記憶されたメタデータに頼ってもよい。

アプリケーションは、画像のセットを表示する種々の仕方を生成するためにクラスターを使う。画像（のいくつか）の間に著しい相違があるとすると、アプリケーションは自動化された仕方で以下のステップを実行する。ステップS3では、画像のセット内の一つまたは複数の要素を整列させることによって画像を整列させる処理ステップが実行される。これは、たとえば、画像中の特徴点（ハリス・コーナー点（Harris corner points）またはSIFT特徴（SIFT features）といった）を判別してそれをマッチング〔対応付け〕することによって実行できる。特徴点は並進（パンのような）、ズームおよびさらには回転によってマッチングされることができる。いかなる既知の画像整列技法を使ってもよい。

次いで、ステップS4で、プロセスは、整列された画像の一つまたは複数を画像のクロッピング、サイズ変更および／または回転によって変換して一連の変換された画像を生成することに進む。アプリケーションは画像のクロッピング、サイズ変更および回転を、画像の残りの部分も整列されるために実行する。変換ステップの間に色補正も行われてもよい。整列および変換ステップS3およびS4は、整列が先に起こる逐次的なものとして示されているが、これらのステップが組み合わせとして行われる、あるいは整列の前に変換が行われることも可能である。

最後に、ステップS5において、処理されたクラスター中の画像を伝統的な仕方で示すのではなく、それらの画像をストップモーション画像シーケンスとして、または単一画像として示すことができる。これは、撮影した写真を見るときにユーザーにとって非常に生き生きとした体験を作り出す。ユーザーはさらに出力を自分で処理することができる。それはたとえば、整列および変換後に自動的にシーケンス中の一部または全部の画像とともに使われるべき効果またはフレーム・ボーダーを選択することによる。画像シーケンス中の画像の表示速度および単一画像中の画像の配置（大きさおよび位置に関する）は、自動的に、あるいはユーザー対話によって確立されることができる。このようにして、呈示タイムスタンプが生成されてもよく、あるいはすべてまたは個々の画像について「フレーム・レート」を設定できる。このようにして、ユーザーは最終的な結果をカスタマイズおよび／または編集できる。

一例として、図３は処理されるべき画像２４の複数２２を示している。画像２４の複数２２は三つの異なる画像を含む。これらの画像は上記のようにプロセッサ１２によって実行されるアプリケーションにユーザーが供給したものである。ユーザーはこれらの画像２４が加工されて画像シーケンスまたは単一画像にされることを望む。まず、プロセッサ１２は画像適応技法が使用される画像のセットを定義する。この例では、元の入力画像２４の三つ全部が該セットとして使われる。上記のステップS2を計算して、三つの写真中の低レベル情報に基づいて、三つの入力画像２４がクラスターと考えることができることが見て取れるであろう。画像２４についてのメタデータのような他の情報（画像が取り込まれた時刻のような）が追加的または代替的にクラスタリング・プロセスにおいて使用できる。

画像２４のセットの画像２４は、次いで個々に処理されて整列された画像２６を生じる。これらは、画像２４のセット内の一つまたは複数の要素を整列させることによって生成される。一般に、そのような整列は画像中の一つの（小さな）オブジェクト上で実行されない。整列は、コーナー点またはエッジのような特別な属性をもつ画像２４じゅうに広がった任意の点上で、あるいは種々の整列を試行したのちに一方の画像２４を他方から引くことから帰結する差分を最小にすることによってグローバル・レベルで、実行できる。整列における変化は、二つの写真の撮影の間にカメラ位置が動いた、あるいは焦点が変わったことを示す。要素の整列に関わるプロセス・ステップは、同じ状況の複数の画像が撮られるときに非常に一般的なこれらのユーザー変更について補正する。

整列された画像２６は次いで系列３０に変換される。これは、画像のクロッピング、サイズ変更および／または回転によって、整列された画像の一つまたは複数を変換して、変換された画像の系列３０にすることによる。説明されるような技法の適用は、サイズ変更され、クロッピングされ、整列された諸画像３０を生じる。次に、プロセッサは、写真３０を非常に短い時間間隔で逐次的に表示することによってストップモーション画像シーケンスを生成できる。プロセッサ１２はまた、適切なコーデックが利用可能であれば、画像シーケンスの諸画像をビデオ・シーケンスとして保存することもできる。重複フレームを追加することによって、あるいは既知の補間技法を使って介在フレームを生成することによって、好適なフレーム・レートを得るために介在フレームを生成する必要があることがある。

あるいはまた、ストップモーション画像シーケンスを生成する代わりに、プロセッサ１２は、定義されたクラスターの整列されクロッピングされた画像２４からなる一つの画像を生成するよう制御されることもできる。この手順は、特定のイベントまたは機会のストーリーを語り、ユーザーの体験を高めることもできる一つのコラージュ画像を生じる。図３に示される画像２４については、結果として得られるコラージュは図４に示されるデジタルフォトフレーム３２に対応する。この場合、画像２４の元の複数２２からの画像２４は、ひとたび図２の方法に従って処理されたら、フォトフレーム３２中の単一画像３４としてユーザーに対して出力される。実際、機能があれば、最終的な出力３４はユーザーのためにプリントされることができる。

図４に示されるフォトフレームは、最終的な出力画像３４を、図１のコンピュータのプロセッサ１２から受け取っている。しかしながら、コンピュータの処理機能および画像２４を処理するアプリケーションのソフトウェア機能は、デジタルフォトフレーム３２内で内部的に設けられることもできる。この場合、処理のために供給される画像２４は、フォトフレーム３２において直接受領されることができる。これはたとえば、USBキーのような大容量記憶装置をフォトフレーム３２中に直接差し込むことによる。すると、フォトフレーム３２の内部プロセッサが画像２４を取得し、図２の方式に従ってこれを処理し、次いでこれを最終的な出力３４として表示することになる。

フォトフレーム３２はまた、単一画像３４ではなく画像シーケンスを出力するよう制御されることもできる。これは、単一画像３４を作るのに使われる諸画像に基づくストップモーション画像シーケンスとしてであることができる。そのような画像シーケンスを表示するのに使うために、メタデータが生成され、画像と一緒に提供されてもよい。このメタデータは画像ヘッダに、あるいは画像シーケンスを記述する別個の画像シーケンス記述子ファイルに埋め込まれていてもよい。このメタデータは、これに限られないが、シーケンス中の諸画像への参照および／または呈示タイムスタンプを包含しうる。あるいはまた、画像シーケンスは、フォトフレーム上にAVIとして直接記憶されることができる。それにより、フォトフレームにおいて利用可能な既存のコーデックを使うことができる。

任意的に、フォトフレーム３２が十分な処理リソースを有するならば、与えられた元の（生）画像に基づいて出力画像または出力画像シーケンスを得るために必要とされる整列および処理ステップを記述するメタデータを含む画像シーケンス記述子ファイルが用いられてもよい。結果として、元の画像の画像の完全性（integrity）が保存され、それにより情報の損失なしに、すなわち元の画像に影響することなく、新しい画像シーケンスが生成できる。

ストップモーション・シーケンスのフレーム・レートは通常のビデオ・シーケンスのフレーム・レートより実質的に低いことがありうるので、ストップモーション・シーケンスを表示する処理リソース要件は実際のところ、元の画像を参照する別個の画像シーケンス記述子ファイルを使うための限られた処理リソースをもつディスプレイを許容しうる。

画像２４を処理する基本的な方法へのさまざまな改善が可能である。図５は、図２と同様だが、ユーザーに対する最終的な出力を改善するいくつかの向上をもつフローチャートを示している。これらの任意的な特徴はそれ自身で、あるいは組み合わせにおいて使われることができる。これらの特徴が処理方法に含められるかどうかは、ユーザーの制御下にあることができ、実際、処理は用いられる特徴の異なる組み合わせで実行できる。それにより、ユーザーは種々の可能な最終結果を見て特徴の組み合わせを適切なものとして選ぶことができる。特徴は、アプリケーションが処理装置１２によって実行されるときのアプリケーションのグラフィカル・ユーザー・インターフェース内でアプリケーションによってユーザーに呈示されることができる。

図５の実施形態では、複数の画像から処理のための画像のセットを定義するステップは、ステップS21で、画像２４に関連付けられたメタデータに基づいて密接に関係している一つまたは複数の画像を選択することを含む。これは、画像２４から抽出される、色などの低レベル特徴のようなメタデータであってもよいし、あるいは画像２４が取り込まれたときに画像２４と一緒に記憶されたメタデータであってもよいし、あるいはこれらの特徴の組み合わせであってもよい。与えられる元の複数２２の画像２４は、密接に関係していると考えられる画像２４だけを選択することによって、数を削減できる。一般に、カメラ１６によって取り込まれた画像は、EXIFのような既知の規格に従って、あるいはカメラ・メーカー固有の独自規格に従って同時に画像２４と一緒に記憶された何らかの種類のメタデータをもつ。たとえば画像２４が取り込まれた時刻であってもよいこのメタデータは、特定の所定の時間窓の範囲内にはいる画像２４だけを選択するために使うことができる。

もう一つの任意的な次のステップ、ステップS22は、画像２４が、画像２４の個々の対の間にほとんど相違がないという意味であまりに似すぎていないことを検査することである。これは、たとえばあとで選択できるよう少なくとも一つのいい画像２４をもつというねらいで単に建物の数枚の写真を撮る場合によく起こる。その場合、プロセスをクラスター全体に適用する理由はなく、実際、一つの画像だけを選択してその画像を使うほうが賢明である。ステップS21およびS22は並列してまたは逐次的にまたは選択的に（一方または他方だけを使う）実行できる。これらの実装上の改善は、プロセスの最終的な帰結におけるよりよい最終結果につながる。

図５の方法はまた、整列された画像の変換に続いて、整列された画像内での一つまたは複数の関心の低い要素の検出が実行され、次いで検出された関心の低い要素（単数または複数）を除去するよう整列された画像をクリッピングする任意的ステップS4aをも含む。たとえば、プロセッサ１２が画像２４の特定の領域がほとんど変化を含んでいないことを検出する場合、プロセッサ１２はこれらの領域を関心が低いと見なして、変化が最も著しい特定の領域に画像２４をクロッピングすることができる。プロセッサ１２がオブジェクトを認識する場合、処理はオブジェクトを全体として保つよう努めるべきであることが重要である。したがって、これは空または海のような大量の背景がある場合に使うことができる。現在のフォトフレームについては、画像サイズは一般に大きすぎ、よってクロッピングはその品質を劣化させることはないだろう。

図６は、図５のフローチャートに基づく処理の出力３４を示している。この場合、ステップ４ａが画像処理における任意的な改善として使われた。この例では、水平ビューを生成するために、画像の一部を選択し、さらにクロッピングするために顔検出が使われた。画像内の関心の低い要素は画像の一部をクロッピングすることによって除去されている。最も重要であると一般に考えられる画像部分のために使われる表示領域の量を増やすためである。画像のアスペクト比は維持されており、最終的な出力３４は、ストップモーション画像シーケンスではなく単一画像３４として構築されている。

Claims (15)

1. 複数の画像を処理する方法であって：
   複数の画像を受領する段階と、
   前記複数の画像から処理のための画像のセットを定義する段階と、
   前記画像のセット中の一つまたは複数の要素を整列させる段階と、
   整列された画像の一つまたは複数を、画像のクロッピング、サイズ変更および／または回転によって変換して一連の変換された画像を生成する段階と、
   前記一連の変換された画像を含む出力を生成する段階とを含み、前記出力は画像シーケンスまたは単一の画像を含む、
   方法。
2. 前記複数の画像から処理のための画像のセットを定義する段階は、画像に関連付けられたメタデータに基づいて密接に関連している一つまたは複数の画像を選択することを含む、請求項１記載の方法。
3. 前記複数の画像から処理のための画像のセットを定義する段階は、前記複数の画像中で、ある異なる画像に関して類似性閾値を下回る一つまたは複数の画像を破棄することを含む、請求項１または２記載の方法。
4. 前記整列された画像の変換に続いて、整列された画像内の一つまたは複数の関心の低い要素を検出し、整列された画像をクロッピングして検出された関心の低い要素（を除去する段階をさらに含む、請求項１ないし３のうちいずれか一項記載の方法。
5. 前記複数の画像から処理のための画像のセットを定義する段階は、一つまたは複数の画像を選択するユーザー入力を受領することを含む、請求項１ないし４のうちいずれか一項記載の方法。
6. 複数の画像を処理するシステムであって：
   複数の画像を受領するよう構成されている受領器と、
   前記複数の画像から処理のための画像のセットを定義し、前記画像のセット中の一つまたは複数の要素を整列させ、整列された画像の一つまたは複数を、画像のクロッピング、サイズ変更および／または回転によって変換して一連の変換された画像を生成するよう構成されたプロセッサと、
   前記一連の変換された画像を含む出力を表示するよう構成された表示装置とを有し、前記出力はストップモーション・ビデオ・シーケンスまたは単一の画像を含む、
   システム。
7. 前記プロセッサは、前記複数の画像から処理のための画像のセットを定義するときに、画像に関連付けられたメタデータに基づいて密接に関連している一つまたは複数の画像を選択するよう構成されている、請求項６記載のシステム。
8. 前記プロセッサは、前記複数の画像から処理のための画像のセットを定義するときに、前記複数の画像中で、ある異なる画像に関して類似性閾値を下回る一つまたは複数の画像を破棄するよう構成されている、請求項６または７記載のシステム。
9. 前記プロセッサはさらに、前記整列された画像の変換に続いて、整列された画像内の一つまたは複数の関心の低い要素を検出し、整列された画像をクロッピングして検出された関心の低い要素を除去するよう構成されている、請求項６ないし８のうちいずれか一項記載のシステム。
10. 一つまたは複数の画像を選択するユーザー入力を受領するよう構成されたユーザー・インターフェースをさらに有しており、前記プロセッサは、前記複数の画像から処理のための画像のセットを定義するときに、前記のユーザー選択を用いるよう構成されている、請求項６ないし９のうちいずれか一項記載のシステム。
11. 複数の画像を処理するためのコンピュータ可読媒体上のコンピュータ・プログラムであって：
    複数の画像を受領し、
    前記複数の画像から処理のための画像のセットを定義し、
    前記画像のセット中の一つまたは複数の要素を整列させ、
    整列された画像の一つまたは複数を、画像のクロッピング、サイズ変更および／または回転によって変換して一連の変換された画像を生成し、
    前記一連の変換された画像を含む出力を生成するための命令を含み、前記出力はストップモーション・ビデオ・シーケンスまたは単一の画像を含む、
    コンピュータ・プログラム。
12. 前記複数の画像から処理のための画像のセットを定義するための命令は、画像に関連付けられたメタデータに基づいて密接に関連している一つまたは複数の画像を選択するための命令を含む、請求項１１記載のコンピュータ・プログラム。
13. 前記複数の画像から処理のための画像のセットを定義するための命令は、前記複数の画像中で、ある異なる画像に関して類似性閾値を下回る一つまたは複数の画像を破棄するための命令を含む、請求項１１または１２記載のコンピュータ・プログラム。
14. 前記整列された画像の変換に続いて、整列された画像内の一つまたは複数の関心の低い要素を検出し、整列された画像をクロッピングして検出された関心の低い要素を除去するための命令をさらに含む、請求項１１ないし１３のうちいずれか一項記載のコンピュータ・プログラム。
15. 前記複数の画像から処理のための画像のセットを定義するための命令は、一つまたは複数の画像を選択するユーザー入力を受領するための命令を含む、請求項１１ないし１４のうちいずれか一項記載のコンピュータ・プログラム。

Images