JP6888098B2 - デジタル静止画像へのモーション効果の追加 - Google Patents

Description

本開示は、デジタル静止画像にモーション効果（ｍｏｔｉｏｎ ｅｆｆｅｃｔ）を追加する方法および装置に関する。

様々なアニメーション技法が当技術分野で既知であるが、そのような技法は、しばしば、モーション・データまたはビデオ・データを必要とし、単一の静止画像だけまたはビデオ・データによって関係付けられていない静止画像の小さいセットが使用可能である場合に、動画の作成に不適切である。

たとえば、グラフィック・ノベルの画像は、しばしば、伝統的な紙媒体上での印刷のために１コマごとに描かれる。電子媒体（たとえば、電子ブック）のために同一コンテンツを準備する時には、劇的な効果またはより人目を引く外見のために、モーション効果を用いてグラフィック・ノベルの１つまたは複数の静的画像の質を高めることが望ましい場合がある。さらなる例として、電子媒体での使用のために、印刷広告で使用される販売促進静止画像にモーション効果を追加することが望ましい場合がある。

しかし、静止画像へのモーション効果の追加は、アーティストまたはアニメータによるかなりの手作業の処理を必要とし、一部の応用に関してコストを禁止的に高める。さらに、高解像度画像がアニメーションされる場合に、アニメーションされる高解像度フレームを作るために必要なメモリは、所望の電子製品に適用されるメモリ限界を超える可能性がある。したがって、プロデューサは、モーション効果の追加または画像の品質の低下の間で選択する必要がある場合がある。

したがって、従来技術の上記および他の制限を克服し、単一の静止画像だけまたはビデオ・データによって関係付けられていない静止画像の小さいセットが使用可能である場合に動画を作成することのできる新しい方法、装置、およびシステムを開発することが望ましい。利点は、ある種のモーション効果の追加を自動化しまたは合理化することと、モーショナイズ（ｍｏｔｉｏｎｉｚｅ）された画像を保持するのに必要なコンピュータ・メモリの量を倹約しながら画像データの品質を保つこととを含むことができる。

この「発明の概要」および以下の「発明を実施するための形態」は、その諸部分が冗長な主題および／または補足的な主題を含む場合がある、統合された開示の相補的な部分と解釈されなければならない。いずれかのセクションでの省略は、統合された明細書で説明される要素の優先順位または相対的な重要性を示すものではない。セクションの間の相違は、それぞれの開示から明白になるように、代替実施形態の補足的な開示、追加の詳細、または異なる用語法を使用する同一実施形態の代替の説明を含む場合がある。

一態様では、デジタル静止画像にモーション効果を追加するためにメモリに結合されたプロセッサを含むコンピュータによる方法は、メモリからソース・デジタル静止画像を選択することと、ソース・デジタル静止画像を少なくとも２つの領域に分割することとを含むことができる。少なくとも２つの領域は、１つまたは複数のオーバーラップしない固定領域と固定領域の上にレイヤ化されるかのように扱われる１つまたは複数の可動領域とを含むことができる。分割することは、１つまたは複数の可動領域のそれぞれの幾何領域境界データ（たとえば、デジタル・マスク）およびモーション・データのセットに基づくものとすることができる。モーション・データは、メモリから取り出された、デジタル静止画像のモーショナイジング・パラメータのセットまたはデジタル静止画像のセットとすることができ、あるいはこれらを含むことができる。いくつかの実施形態では、オーバーラップしない領域のそれぞれは、単一の画素からなる。

この方法は、モーショナイズされた結果の任意のフレーム内の１つまたは複数の可動領域によって遮られる１つまたは複数の固定領域の各画素の値を判定することを含むことができる。これは、たとえば、画素が１つまたは複数の可動領域によって遮られていない第２のソース・デジタル画像から画素値を抽出することによって少なくとも部分的に、１つまたは複数の可動領域によって遮られる１つまたは複数の固定領域の各画素の値を判定することを含むことができる。その代わりにまたはそれに加えて、判定することは、連続する遮られた画素領域の境界に隣接する遮られていない画素値に基づいて値を手続き的に生成することによって少なくとも部分的に、１つまたは複数の可動領域によって遮られる１つまたは複数の固定領域の各画素の値を判定することを含むことができる。

この方法は、シーケンス内でビデオ・フレームのセットを生成することであって、ビデオ・フレームのセット内の各フレームは、１つまたは複数の固定領域の上にレイヤ化される各フレームの時刻に基づいてモーション・データによって変形される１つまたは複数の可動領域を含む、生成することと、不揮発性コンピュータ・メモリ内のビデオ・ファイルとしてビデオ・フレームのセットを記憶することとをさらに含むことができる。一態様では、ビデオ・フレームのセットを生成することは、ビデオ・フレームのセットをエンドレス・ループに配置することを含むことができる。

一態様では、１つまたは複数の可動領域のそれぞれのモーション・データは、独立に判定されたモーション・ベクトルを含むことができる。オプションで、独立に判定されたモーション・ベクトルは、ある経路上で経時的に変化する。したがって、１つまたは複数の可動領域のそれぞれのモーション・データは、経路上で経時的に変化するモーション・ベクトルを含むことができる。

この方法は、ビデオ・フレームのセットのそれぞれのフレームの１つまたは複数の可動領域を変形することをさらに含むことができる。変形することは、モーション・ベクトルと、各フレームの時刻と、カメラ位置および焦点距離を定義するデータとに基づいて１つまたは複数の可動領域をスケーリングすることを含むことができる。変形することは、選択されたぼかしアルゴリズムに基づいて各フレーム内の１つまたは複数の可動領域の少なくとも一部をぼかすことをさらに含むことができる。その代わりにまたはそれに加えて、変形することは、選択された鮮明化アルゴリズムに基づいて各フレーム内の１つまたは複数の可動領域の少なくとも一部を鮮明化することをさらに含むことができる。ぼかしまたは鮮明化は、経時的に変化し、または画素位置に伴って変化することができる。

別の態様では、この方法は、ビデオ・フレームのセットのそれぞれのフレームの１つまたは複数の固定領域を変形することを含むことができる。この変形することは、１つまたは複数の固定領域のうちの少なくとも１つに画素変形フィルタを適用することを含むことができる。フィルタの適用は、たとえば、各フレームの時刻に基づいてフィルタの入力パラメータを変更することを含むことができる。さらなる例として、フィルタの適用は、シーケンスの先行するフレームのフィルタの出力にフィルタを適用することを含むことができる。異なるフレームで異なるパラメータを有するフィルタを適用することは、固定領域内に現れる１つまたは複数の物体のモーションの幻覚または他の動的な視覚効果を作成するのに使用され得る。

したがって、本明細書で使用される時に、句「固定領域」は、画像のうちで、モーショナイズされた結果内で何も動かないように見える領域を記述しまたは暗示することを意図されたものではない。逆に、フィルタの動的適用またはパンもしくはズームなどの動作が、固定領域内の他の物体に対して、またはモーショナイズされた結果のフレーム（たとえば、ビデオ・フレーム）に対して、固定領域内でイメージングされる物体を動かし、または動いて見えさせる場合がある。その代わりに、用語「固定領域」は、経路に沿ってまたはモーション・ベクトルもしくはベクトルのセットに従ってなど、画像に対して相対的に全体としては移動しない領域を記述するのに使用される。しかし、可動領域は、なんらかの経路、ベクトルに従って、画像の他の部分に対して相対的に、移動し、増大し、縮小し、または回転する。さらに、可動領域が、可動領域自体の中で他の動的効果を得るために、固定領域と同一の形で処理されることも可能である。

本開示の別の態様では、デジタル静止画像にモーション効果を追加する装置は、画像プロセッサに結合されたメモリを含む。メモリは、プロセッサによって実行された時に、装置に、上で説明された方法およびオプションで１つまたは複数の追加動作を実行させるプログラム命令を保持することができる。

前述のおよび関連する目的の達成のために、１つまたは複数の例は、本明細書で後に十分に説明され、特許請求の範囲で具体的に指摘される特徴を含む。前述の説明および添付図面は、ある種の例の態様を詳細に示し、例の原理を使用できる様々な形のうちの少数を示す。他の利点および新規の特徴は、すべてのそのような態様およびその同等物を包含する、図面および開示される例に関連して検討される時に、以下の「発明を実施するための形態」から明白になる。

本開示の特徴、性質、および利点は、図面に関連して解釈される時に下に示された「発明を実施するための形態」から明白になり、図面では、同様の符号が、本明細書および図面の全体を通じて対応して同様の要素を識別する。

デジタル静止画像にモーション効果を追加する装置の態様を示すブロック図である。 デジタル・ディスプレイ・デバイスによって表示されるデジタル静止画像の部分を示す概略図である。 モーショナイズされたデジタル画像を生成する、デジタル・ディスプレイ・デバイスによって表示された２つのデジタル静止画像の部分を示す概略図である。 モーショナイジングに使用される様々なデータ・パラメータを示すデータ・テーブルである。 モーショナイジング装置によって実行され得るデジタル静止画像をモーショナイズする方法の要素を示す流れ図である。 図５によって示されるデジタル静止画像のモーショナイジングの一部であるビデオ・シーケンスの生成を示す流れ図である。 モーショナイジング装置によって実行され得るデジタル静止画像をモーショナイズする方法の他の要素を示す直線流れ図である。 デジタル静止画像にモーション効果を追加するモーショナイジング装置の態様を示すブロック図である。

これから、様々な態様を、図面を参照して説明する。以下の説明では、説明において、１つまたは複数の態様の完全な理解を提供するために、多数の特定の詳細を示す。しかし、様々な態様が、これらの特定の詳細なしで実践され得ることは明白であろう。他の場合には、これらの態様の説明を容易にするために、周知の構造およびデバイスをブロック図形式で示す。

図１を参照すると、本開示は、デジタル静止画像にモーション効果を追加する装置１０２およびシステム１００に関する。装置１０２およびシステム１００は、装置１０２のプロセッサ１０４によって実行された時に、静止画像データをモーショナイズする方法をプロセッサ１０４に実行させるプログラム命令１０８を保持するメモリ１０６を含むことができる。これらの方法は、たとえば、実際の運動データのビデオが問題のシーンに関して入手可能ではない時、または伝統的なアニメーション技法（たとえば、中割りまたはロトスコープ）を使用するそのようなビデオの処理が非効率的またはあまりに高コストである場合に、静止画像データをモーショナイズするのに有用である可能性がある。

本発明の一態様では、デジタル静止画像１１２（たとえば、ＴＩＦＦ、ＧＩＦ、ＪＰＥＧ、ＰＮＧなどのフォーマットのファイル）が、コンピュータ上で動作するアルゴリズム的モーショナイジング・プロセスに入力として供給される。たとえば、画像１１２は、デジタル形式で作成され、電子メモリ内にデジタル・ファイルとして常駐する場合があり、この電子メモリ内で、画像は、モーショナイジング・プロセスを実行するプロセッサによって読み取られ得る。代替案では、画像は、物理媒体から電子フォーマットにスキャンされ、メモリ内に配置され得る。本方法がその上で動作するプロセス１０８およびコンピュータ・ハードウェア１０４は、本明細書では時々、一緒に「モーショナイジング・モジュール」と呼ばれる。モーショナイジング・パラメータ１１０は、たとえばデータ・ストアから読み取られたバッチ・データとして、モーショナイジング・モジュールに供給され、あるいは、ユーザ・インターフェースを介して入力される。モーショナイジング・モジュールの様々なモーショナイジング・パラメータ１１０および関連するアルゴリズム１０８を、順番に説明する。これらのアルゴリズムは、並列動作または順次動作によって組み合わされ、デジタル・ディスプレイ・デバイス１２０上に表示され得るものなどの出力のモーショナイズされたデジタル画像１１２に追加される様々なモーション効果を作成することができる。ユーザは、端末１１８を介してモーショナイジング・モジュールと対話し、モーショナイジング・パラメータ１１０の値をセットすることを含むがこれに限定されないユーザ入力をモーショナイジング・モジュールに供給することができる。

一態様では、アルゴリズム１０８は、スチール（１つまたは複数）の物体またはレイヤを一意に識別することと、１）１つのみ（または複数）の異なるスチール写真ソースを提供することによって、遮られた情報を追加することとを含む。図２を参照すると、これらの画像のすべてが、本明細書では「キー」フレームと呼ばれ、たとえば、移動するサッカー・ボールのシーン２００では、キー・フレームは、サッカー・ボール２０４の背後にあるもの２０８を遮るはずである。図示の画像２００は、少なくとも３つの別個の領域すなわち、サッカー・ボール２０４、芝生２０６、および空２０２を含む。１つの代替案では、システム１００は、遮る物体２０４の周囲の境界条件に基づいて、遮られたデータ２０８を充填することができる。たとえば、ボール２０４が芝生によって囲まれている場合には、補間および転写アルゴリズムが、芝生領域２０６に類似するパターンを用いて遮られた空間２０８を充填し、遮られた領域の境界の周囲でこれをマッチさせるのに使用され得る。これは、複製されるか、遮られた部分を充填するのに必要な画素パターンを生成するための基礎として使用される、芝生画像２０６の部分をオペレータが選択することによって支援され得る。

図３を参照すると、出力画像３２０を作るために２つの入力静止画像３０２、３１０のセット３００を使用するアルゴリズムの動作が示されている。第１の画像３０２は、雲領域３０７、ボール３０６、芝生３０８、および空３０４を含む第１のキー・フレームを表す。ボールなしまたはＸ軸もしくはＹ軸に沿った（またはさらにＺ軸方向に）異なる位置にボール３１２があるのいずれかのシーンの単一のキー・フレーム３１０を、フレーム３１０に示されているように加算することによって、システム１００は、モーショナイズされた出力画像３２０を作成する時に、そうでなければ隠されている情報（たとえば、領域２０８）を充填し、３つすべての軸に沿った識別された物体（すなわち、サッカー・ボール）の様々な運動をも可能にし、同一の概念を、実際の画像データの代わりにメタデータを供給することによって達成することができる。

一態様では、Ｘ軸およびＹ軸に沿った（画像データの平面内の）運動だけではなく、Ｚ軸運動（画像平面に垂直）が、所与のカメラ位置および焦点距離に基づいてシミュレートされ得る。たとえば、アルゴリズムは、フレーム３０２内のボール３０６と第２のフレーム３１０内のボール３１２とが同一の物体であることを認識することと、その後、１つまたは複数の対応する点（この場合には、中央点）に基づいてベクトル３２２を計算することとによって、モーショナイジング・ベクトル３２２を導出することができる。同様に、システム１００は、Ｚ軸内でのカメラに対する相対的なボールの運動に対応するスケール・パラメータおよび／またはぼかし係数を計算することができる。たとえば、ボールがより近くに動く場合に、スケール係数（たとえば、２００％）が、ボール３０６、３１２の画像を比較することによって計算され得る。画像３０６または３１２が焦点ずれである場合には、ぼかし係数を計算することもできる。スケールおよびぼかしは、キー・フレーム３０２と３１０との間で線形補間され得、あるいは、より洗練された補間技法が、より興味深いまたは真に迫ったモーションを実現するのに使用され得る。たとえば、非線形補間法が、スケール、ぼかし、または別のパラメータの変化を、非線形曲線、たとえば指数曲線、二次曲線、または三角曲線に従わせるのに使用され得る。同様に、同一の入力画像３０２、３１０を使用して、システム１００は、任意の２つの他の対応する物体、たとえば第１の雲３０７および第２の雲３１４の異なる位置および方位に基づいて、異なる直線運動ベクトル３２４および回転ベクトル３２６を独立に計算することができる。

画像３０６、３１２は、剛体または弾性体としてモデル化され得る単一の物体（たとえば、ボール）としても分析され得る。したがって、この本体は、それ自体の回転ベクトルまたは変形ベクトルを与えられ得、その既知の表面の着色は、それに応じて回転されまたは変形され得る。すべてのビューで遮られている表面着色は、遮られた画像データを提供する、本明細書で説明される方法のいずれかを使用して提供され得る。

画像平面内の運動に関して、背景データの遮りは、オーバーレイによって計算され得、その後に、問題の物体（１つまたは複数）がある位置から第２の位置に十分に移動した後に完全に明らかにされ得る。たとえば、２枚の写真で、対象のサッカー・ボールがある位置から別の位置に再位置決めされ、これによって、その第１の位置によって遮られていた背景を完全に露出すると仮定する。Ｚ軸サッカー・ボールの例（図示せず）では、元々の遮られた情報の一部のみ（１００％ではない）が、たとえば最初にズーム・インされたキー・フレームからズーム・アウトした時に、サッカー・ボールの運動によって明らかにされる可能性がある。

知覚された運動の方向は、２つ（以上）のキー・フレームが処理される順序を変更することによって制御され得る。これは、２つ（以上）のキー・フレームがＸ軸、Ｙ軸、および／またはＺ軸での関心を持たれている物体（１つまたは複数）の位置決めにおいて異なる場合に、変化する度合であてはまる。キー・フレーム処理の順序は、運動の結果のビデオ方向（１つまたは複数）に関係し、これは、画素のベクトル（スカラではなく）変位によって判定される。運動の方向性は、キー・フレーム処理の順序に依存して変化する可能性があり、結果の運動は、異なる効果のために調整され得る。たとえば、少なくとも２つのキー・フレーム画像すなわち、ボールが見る人からより遠い（ｚ軸）第２のキー・フレーム（「ズーム・アウトされている」）とは異なってボールが見る人により近い（ｚ軸）（「ズーム・インされている」）第１のキー・フレームを与えられて、処理の順序は、モーショナイズされた出力がボールに「ズーム・イン」するのか「ズーム・アウト」するのかを判定するのに使用され得る。結果のモーションは、フレームが第１−第２のシーケンスで処理される場合にはズーム・アウトし、第２−第１のシーケンスで処理される場合にはズーム・インする可能性がある。

さらなる例として、モーションは、右から左へのキー・フレーム３０２、３１０および結果の運動とは異なって、第１のキー・フレームが、左側にサッカー・ボールを示し、第２のフレームが、右側にサッカー・ボールを示す場合に、右から左または左から右とすることができ、垂直運動も、同様に計算され得る。さらに、キー・フレーム処理順序の相違は、異なるぼかし効果すなわち、背景または前景またはその中の物体（１つまたは複数）の異なる焦点深度、その中の物体（１つまたは複数）の異なる運動特性、その中の物体（１つまたは複数）の一部のタイミングの異なる運動（１つまたは複数）、またはシーン内の一部の物体（１つまたは複数）の異なる詳細のレベルによって証明され得る。

様々なパラメータによってもたらされるモーショナイズされた効果を追加するアルゴリズム１０８は、異なる効果のためのフィルタまたは関数（たとえば、Ａｄｏｂｅ Ｐｈｏｔｏｓｈｏｐ（商標）、ＧＩＭＰ（商標）、および同様の画像処理ソフトウェアによって提供される）を含むことができる。したがって、不均一なぼかし、鮮明化、またはモーション（たとえば、ガウス・フィルタまたはガウス関数を使用する）が、不均一な分布での問題のぼかし、鮮明化、またはモーションを分散させるために使用され得る。たとえば、輪郭強調で使用されるものなどの鮮明化フィルタまたは鮮明化関数が、関連する物体エッジを検出することができ、識別されたエッジに対する低域フィルタリングを介して、結果のより鋭明なエッジを用いて高周波数を高めることができる。

たとえば、移動する宇宙カプセルの背後の星空の画像をモーショナイズする時には、相対的に固定された星（おそらく編集上関係する星）は、ぼかされるのではなく鮮明化される可能性がある。モーショナイジング効果は、たとえば、星のフィルタリングされていないキー・フレーム画像と鮮明化されたキー・フレーム画像との間でサイクルする可能性がある。いくつかの場合に、鮮明化効果またはぼかし効果は、明らかに異なる焦点深度（ｚ軸ズーム・イン／アウト）変化を示す２つのキー・フレームの間の差から、または窓、ガーゼのひだ、ちり雲、せっけんの泡、その他などの部分的に透過する、部分的に不透明な、または半透明な媒体を介して見る（あるキー・フレームの少なくとも重要な部分の部分的に透過する眺めが、他のキー・フレームとは異なる）ことから生じる可能性がある。ぼかすことまたは鮮明化と共に、アルゴリズムは、写真測量技法を適用することによるなど、光源を識別し（または導出し）、適当な影または陰影を追加するために、第２のキー・フレームを含むことができる。

一態様では、モーショナイジング・アルゴリズムは、たとえば単一のキー・フレームにズーム・インすることと、前景を鮮明化すると同時に背景をぼかす（おそらく、上で概要を示したように不均一な形で）ことによって、第２のキー・フレームを第１のキー・フレームから作成することによって（またはその逆）、少なくとも２つを要求するのではなく１つのキー・フレームだけに頼ることができる。やはり、サッカー・ボールの例を参照すると、現在は「より大きい」ボールは、ズーム・インされたフレーム内でより多くの背景を遮る。

図４を参照すると、デジタル静止画像をモーショナイズするパラメータ４００は、メタデータとして記録され、画像内のどの部分または物体（１つまたは複数）がモーショナイズされるのか、どの部分または物体が静的なままになるのか、およびどの画像変形が、たとえばぼかし、鮮明化、不均一な運動、均一な運動、一定のモーション、または一定ではないモーションなど、モーショナイジング効果の一部になるべきなのかを識別するのに使用され得る。

領域パラメータ４０２は、たとえば、モーショナイズされる画像領域および静的なままになる領域の位置および幾何形状と、領域の位置、形状、または方位が静的である（固定される）のか、モーショナイズの対象になるのかどうかと、モーショナイズされる領域が剛体または変形体のどちらとしてモーショナイズされるべきかとを含むことができる。

モーション・データ・パラメータ４０４は、たとえば、モーション経路と、回転の中心と、回転モーションまたは直線モーションの速度、加速度、および方向、モーショナイズされる物体または領域のスケール（たとえば、１００％、５０％、２００％）、非剛体パラメータ（たとえば、弾性、粘性、力ベクトル）と、任意のスカラまたはベクトルのモーション・データ・パラメータの変化の速度とを含むことができる。

画像の固定された（モーショナイズされない）領域または移動しない部分のパラメータ４０６は、モーショナイズされる領域の運動によって明らかにされる遮られた領域にテクスチャを与えるためのデータ、フィルタ（たとえば、ぼかし、鮮明化、エッジ検出、または様々な特殊効果）、フィルタ進行（たとえば、異なるフィルタが適用される順序）、および固定されたデータ・パラメータ４０６によって制御される画像内のすべての変化の速度を含むことができる。

照明および彩色を制御するパラメータ４０８は、たとえば、光源の位置および方向と、輝度と、色相、彩度、ならびに照明および彩色パラメータ４０８によって制御される画像内のすべての変化の速度とを含むことができる。

出力ビデオ・パラメータ４１０は、たとえば、画像フレーム・サイズ、ソース・キー・フレーム識別子、出力フレーム数、フレーム・レート、およびビデオ・フォーマットを含むことができる。適切なビデオ・フォーマットは、たとえば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ａｄｏｂｅ（商標）Ｆｌａｓｈ、Ｗｉｎｄｏｗｓ（商標）Ｍｅｄｉａ Ｖｉｄｅｏ、Ｑｕｉｃｋｔｉｍｅファイル・フォーマット、ＧＩＦ、ＷｅｂＭ、３ＧＰＰ、３ＧＰＰ２、Ｎｕｌｌｓｏｆｔ（商標）ストリーミング・ビデオ、または他の適切なフォーマットを含むことができる。通常、上記などの出力ビデオ・パラメータは、単一のファイルまたはストリーミング・セッション内で変更されない。

モーショナイジング・アルゴリズム１０８は、キー・フレーム内の相違と、望まれる運動のタイプ、距離、および／または速度とに基づいてフィルタに関する「スマートな」決断を行うように設計され得る。ユーザは、セッティングまたはプリファレンス・インターフェース内でそのような決断をオーバーライドすることを可能にされ得る。生の画像キー・フレームと一緒に提供されるメタデータが、出力、たとえば前述の「一定のまたは一定ではないモーション」の例を調整するのに使用され得る。一態様では、画像メタデータは、ＸＭＬタグ、ＶＲＭＬタグ、または別々のファイル内の２進データとしてさえ提供され得る。

メタデータは、たとえば、ユーザ・フィードバックに応答して同一のキー・フレームにメタデータの異なるセットを適用し、異なる結果を出力することによって、モーショナイズされた画像とのユーザ対話性をサポートするのにも使用され得る。モーショナイジング・モジュールは、メタデータ値に応じて、キー・フレーム・データまたは導出されたフレーム・データを異なってアニメートしまたは他の形で操作することができる。たとえば、バットマンがバットラング（コウモリ形のブーメラン・デバイス）を投げるシーンでは、モーショナイジング・モジュールは、ユーザがどのメタデータのセットを選択するのかに応じて、ｘ平面、ｙ平面、またはｚ平面内で移動させ、時計回りまたは反時計回りに回し、あるいは詳細のぼかしもしくは鮮明化の変化を他の形で変更して、バットラングをアニメートすることができる。

他の態様では、一意に識別された物体またはレイヤを使用して、モーショナイジングは、ａ）一定のモーションだけではなく、可変速モーション、たとえば、穀物を乱す風の可変風を伴う穀物の琥珀色の波、ｂ）モーションのレイヤ、すなわち、異なる平面またはレイヤの異なるモーションを示すレイヤ、たとえば、背景に雲を有する穀物の琥珀色の波および異なる速度またはレートで動く小麦を有する前景内の小麦対雲のパノラマ的キー・フレームを含むことができる。

パラメータをモーショナイジング・モジュールに追加して、結果の外見の質を高めるぼかし係数を制御することができる。たとえば、ぼかし係数は、システムがぼかすことを許されるソース画素（１つまたは複数）に隣接する画素の個数を指定することができる。この係数は、画像と共に、別々のデータとして帯域外で、または単純にメタデータとして提供され得る。

モーショナイジング・モジュールは、アニメートされた絵の任意の適切なデジタル・フォーマットのアニメーション・ループを含む、モーショナイズされたデジタル画像を出力する。出力のモーショナイズされたデジタル画像は、静止画像が、たとえば電子ブック、電子雑誌、デジタル・グラフィック・ノベル、ウェブサイト、絵画もしくはポスタ、またはユーザ・インターフェース内で使用される任意の文脈で、静止画像の代わりに使用され得る。一実施形態では、モーショナイズされた画像が、ユーザがそれに電子ソース画像を提供する電子的な「絵画用額縁」または「ポスタ額縁」内に表示される。電子的な額縁は、ある種の所定のモーショナイジング・アルゴリズムを自動的に作成するようにプログラムされ得る。たとえば、オーバーラップする画像領域を有する複数の供給された画像を検出する際に、モーショナイジング・モジュールは、自動的にパノラマ画像を縫い合わせ、パノラマ画像より実質的に小さいビュー・フレームを使用して画像上でゆっくりとパンすることによって、モーショナイズされたサイクルを作成することができる。さらなる例として、複数の画像の背景が同一であるが、前景物体が移動したことを検出する際に、モーショナイジング・モジュールは、前景物体のアニメーションを自動的に生成することができる。

前述の詳細は、モーショナイジング装置１０２によって実行され得る、１つまたは複数の静止画像をモーショナイズする方法に組み込まれ得る。図５は、デジタル静止画像をモーショナイズする１つのそのような方法５００の要素を示す。５０２では、装置が、モーショナイジングのために１つまたは複数の入力静止画像を選択し、１つまたは複数の選択された画像のセットをもたらす。一態様では、装置は、ユーザ入力、たとえば、装置がアクセス可能なコンピュータ・メモリ位置内の１つまたは複数の静止画像ファイルのユーザ選択に応答して画像を選択することができる。その代わりにまたはそれに加えて、装置は、指定された電子ディレクトリ・フォルダまたは他のデータ構造内に配置された静止画像ファイルを分析し、モーショナイジング方法５００への入力としての使用に適する複数の類似する画像を識別することができる。別の代替案では、装置は、技巧的な効果または他の効果のために代替のモーショナイズされたビデオを作成するモーショナイジング・プロセスへの入力としての使用の適切性に基づいて、ビデオ・ファイルから複数のビデオ・フレームを選択することができる。画像選択５０２は、モーショナイズされた出力との互換性を保証するための画像フォーマット、解像度、およびサイズのチェック、物体認識のための画像内容の分析、光源、露出セッティング、遮られた区域の識別、ならびに、選択されたモーショナイジング・プロセスおよび所望の出力に関係する他の動作を含むことができる。一般に、選択されたセット内の画像は、同一の画像サイズおよび画素解像度を有する必要があり、あるいは、それを有するように変換される必要がある。

入力画像の選択５０２と平行に、前記選択５０２の前に、または前記選択５０２の後に、モーショナイジング装置は、１つまたは複数の選択された画像のセットに適用すべきモーショナイジング・パラメータ５１８を判定することができる（５０４）。モーショナイジング・パラメータ５１８は、１つまたは複数の様々なソースから、すなわち、デフォルト（所定の）リストから導出され、ユーザ入力から導出され、アルゴリズム的に生成され、またはランダムに生成され得る。多くの実施形態では、パラメータ・ソースの混合物が使用され得る。たとえば、多くのパラメータは、固定されまたは所定のものとされるが、ユーザ・インターフェースを介するユーザ変更の対象とすることができ、他のパラメータは、入力画像の品質に基づいてアルゴリズムによって選択され得、他のパラメータは、ランダムに変更され得る。ユーザは、適切なユーザ・インターフェースを介してモーショナイジング・パラメータを選択することができる。特定のモーショナイジング・パラメータの例が、前述の説明および図４で提供されている。他のパラメータも適切である可能性がある。一般に、モーション・パラメータの判定５０４は、システム・ユーザによって指定されるなんらかの所望の結果を達成する可能性が高いパラメータの選択に基づくものでなければならない。

５０６では、モーショナイジング装置が、５０２で選択された入力画像および５０４で判定されたモーショナイジング・パラメータに基づいて、ビデオ・シーケンスを生成することができる。ビデオ・シーケンスの生成５０６は、モーショナイジング・パラメータに基づき、補間、選択的フィルタリング、および本明細書で説明される他のモーショナイジング技法（所望の出力フォーマットのために任意の適切なアニメーション・アルゴリズムと組み合わされ得る）を使用して、複数のキー・フレームおよびすべての介在するフレームを生成することを含むことができる。アニメーション・アルゴリズムは、元の静止画像からのモーショナイジングに適合されなければならず、既知の２Ｄまたは３Ｄのコンピュータ・アニメーション法を介して入手される情報をも含むことができる。ビデオ・シーケンスの生成５０６は、選択されたビデオ・フォーマットに従ってビデオ・ファイルを生成することと、生成されたビデオ・ファイルをコンピュータ・メモリまたは記憶媒体に保存することとをさらに含むことができる。ビデオ・シーケンスの生成のさらなる詳細は、図６に関連して、本開示の他所で提供する。

５０８では、モーショナイジング装置が、適切なディスプレイ・デバイス、たとえば、コンピュータ・モニタもしくは他のディスプレイ・スクリーン、ビデオ・プロジェクタ、または仮想現実感バイザを使用して、ビデオ・シーケンスの生成５０６から生じた１つまたは複数のビデオ・シーケンスを表示することができる。ユーザは、ビデオを再検討することができ、モーショナイジング装置は、５１０で、是認または不賛成を示す信号を受け取ることができる。ビデオが是認される場合には、モーショナイジング装置は、１つまたは複数の選択されたビデオ・ファイル・フォーマットでビデオ・シーケンスを記憶し５１４、方法５００を終了することができる。ビデオが是認されない場合には、モーショナイジング装置は、１つまたは複数のモーショナイジング・パラメータを調整し５１２、調整されたモーショナイジング・パラメータに基づいて新しいビデオ・シーケンスを生成することができる（５０６）。

モーショナイジング方法５００のクリティカルな動作は、ビデオ・シーケンスの生成５０６を含む可能性がある。図６は、デジタル静止画像のモーショナイジング５００の一部としてのビデオ・シーケンスの生成のより詳細な態様６００を示す。示された動作は、単なる例である。６０２では、モーショナイジング装置が、１つまたは複数のデジタル静止画像の領域を選択することができる。たとえば、領域は、画像を構成するグリッド・アレイ内の第１のグリッドとすることができる。代替案では、またはこれに加えて、領域を、画像内に現れる認識された移動する物体とすることができる。

６０４では、モーショナイジング装置が、モーショナイジング・パラメータに基づいて現在の領域を変形することができる。現在のフレームが、記憶された入力画像データから直接に供給されるキー・フレームである場合には、適用される変形を、ヌルとすることができ、これは、その領域が未変更のまま残され得ることを意味する。現在のフレームがキー・フレームではない場合には、１つまたは複数のモーショナイジング動作、たとえば、ぼかし、鮮明化、移動、以前に遮られていた部分の充填、光源の移動、照明の色または強度の変更などが、本明細書で説明されるように適用され得る。１つまたは複数の異なる変形が、１つもしくは複数の対応するレイヤまたは１つの共有されるレイヤに適用され得る。６０６では、モーショナイジング装置が、現在のフレームの領域キャッシュ６０８に結果を書き込むことができる。６１０では、モーショナイジング装置が、変形が現在のフレームに関して完了したかどうかを判定する。追加の領域が変形を必要とする場合には、装置は、画像の次の領域を選択し６１２、次の領域に関して動作６０４、６０６、６１０を繰り返す。

６１０で、装置が、領域が変形をこれ以上必要としないと判定する場合には、装置は、領域キャッシュ６０８内の領域データから一体化された変形されたフレームをコンパイルすることができる（６１４）。フレームをコンパイルした後に、装置は、領域キャッシュを空にするか（６１６）、現在のフレームの終了および次のフレームの開始を示すキャッシュ内のフラグをセットすることができる。６１８では、装置が、変形されたフレームをフレーム・キャッシュ６２４（フレーム・バッファとも呼ばれる）内に記憶することができる（６１８）。

その後、装置は、６２０で、終了したシーケンスの判定されたパラメータ（たとえば、フレーム数）に基づいて、現在のビデオ・シーケンスが終了したかどうかを判定することができる。ビデオ・シーケンスが終了していない場合には、装置は、次のフレームを処理するようにそれ自体をセットし（６２２）、箱６０２にループ・バックすることができる。ビデオ・シーケンスが終了している場合には、装置は、完了したフレームをシーケンス内に配置することと、フレーム・シーケンスを１つまたは複数の所望のビデオ・フォーマットに変換することとによって、フレーム・キャッシュ６２４内に記憶されたフレームからビデオ・シーケンスをコンパイルする６２６ことができる。所望のビデオ・ファイルが作成された後に、装置は、ビデオ生成動作６００の次の適用のためにフレーム・キャッシュを空にし（６２８）、結果のビデオ・ファイルをビデオ・プレイヤ、ストレージ・デバイス、またはその両方に出力することができる（６３０）。

方法５００およびより詳細な動作６００は、図７によって示される方法７００によって要約される。方法７００は、デジタル静止画像へのモーション効果の追加のためにメモリに結合されたプロセッサを含むコンピュータ、たとえばモーショナイジング装置１０２によって実行され得る。方法７００は、メモリからソース・デジタル静止画像を選択することを含むことができる（７１０）。この方法は、ソース・デジタル静止画像を少なくとも２つの領域に分割することをさらに含むことができる（７２０）。少なくとも２つの領域は、１つまたは複数のオーバーラップしない固定領域と固定領域の上にレイヤ化されるかのように扱われる１つまたは複数の可動領域とを含むことができる。「レイヤ化されるかのように扱われる」は、可動領域がソース画像内の固定領域とは別々の１つまたは複数のレイヤ内に存在しようとしまいと、ソース画像を処理する時に、可動領域が、一時的にのみの場合であっても固定領域とは別々の１つまたは複数のレイヤ内で処理されるか、または別々のレイヤ内に存在するかのように別々に処理されるかのいずれかであることを意味する。分割は、１つまたは複数の可動領域のそれぞれの幾何領域境界データ（たとえば、デジタル・マスク）およびモーション・データのセットに基づくものとすることができる。代替案ではまたはこれに追加して、分割は、グリッド内の正方形または長方形など、固定された幾何領域に基づくものとすることができる。モーション・データは、メモリから取り出された、１つのデジタル静止画像またはデジタル静止画像のセットのモーショナイジング・パラメータのセットとすることができ、あるいはこれを含むことができる。いくつかの実施形態では、オーバーラップしない領域のそれぞれは、単一画素ほどの少数からなるものとすることができる。

方法７００は、１つまたは複数の可動領域によって遮られる１つまたは複数の固定領域の各画素の値を判定することをさらに含むことができる（７３０）。これは、たとえば、画素が１つまたは複数の可動領域によって遮られていない第２のソース・デジタル静止画像から画素値を抽出することによって少なくとも部分的に、１つまたは複数の可動領域によって遮られる１つまたは複数の固定領域の各画素の値を判定することを含むことができる。代替案ではまたはこれに追加して、判定は、連続する遮られた画素領域の境界に隣接する遮られていない画素値に基づいて値を手続き的に生成することによって少なくとも部分的に、１つまたは複数の可動領域によって遮られる１つまたは複数の固定領域の各画素の値を判定することを含むことができる。

方法７００は、シーケンス内でビデオ・フレームのセットを生成することであって（７４０）、ビデオ・フレームのセット内の各フレームは、各フレームの時刻に基づいてモーション・データによって変形され、１つまたは複数の固定領域の上にレイヤ化される、１つまたは複数の可動領域を含む、生成することと、不揮発性コンピュータ・メモリ内のビデオ・ファイルとしてビデオ・フレームのセットを記憶することとをさらに含むことができる。一態様では、ビデオ・フレームのセットの生成は、ビデオ・フレームのセットをエンドレス・ループに配置することを含むことができる。

一態様では、１つまたは複数の可動領域のそれぞれのモーション・データは、独立に判定されたモーション・ベクトルを含むことができる。オプションで、独立に判定されたモーション・ベクトルは、経路上で経時的に変化する。したがって、１つまたは複数の可動領域のそれぞれのモーション・データは、経路上で経時的に変化するモーション・ベクトルを含むことができる。たとえば、プロセッサは、領域が経路に沿って移動する時にフレームの間で適用されるモーション・ベクトルのスケール・パラメータまたは方向パラメータを変更することができる。プロセッサは、たとえば異なるアルゴリズムまたは異なるパラメータを使用して、別の領域のモーション・ベクトルとは独立に各領域のモーション・ベクトルを判定することができる。

方法７００は、ビデオ・フレームのセットのそれぞれのフレームの１つまたは複数の可動領域を変形することをさらに含むことができる。変形は、モーション・ベクトルと、各フレームの時刻と、カメラ位置および焦点距離を定義するデータとに基づいて１つまたは複数の可動領域をスケーリングすることを含むことができる。変形は、選択されたぼかしアルゴリズムに基づいて各フレーム内の１つまたは複数の可動領域の少なくとも一部をぼかすことをさらに含むことができる。代替案ではまたはそれに加えて、変形は、選択された鮮明化アルゴリズムに基づいて各フレーム内の１つまたは複数の可動領域の少なくとも一部を鮮明化することをさらに含むことができる。ぼかしまたは鮮明化は、経時的にまたは画素位置に伴って変化することができる。たとえば、プロセッサは、フレームの間で、周期的に、または非周期的に、ぼかしアルゴリズムまたは鮮明化アルゴリズムを変更することができる（たとえば、ぼかしアルゴリズムまたは鮮明化アルゴリズムのパラメータを変更することによって）。この変化は、特殊視覚効果として出力内に可視の差を引き起こすことができる。さらに、プロセッサは、画素の位置または画素の領域に基づいてぼかしアルゴリズムまたは鮮明化アルゴリズムを変更することができる。たとえば、プロセッサは、画像の定義された参照フレーム内の画素の位置とパラメータ値との間の線形関係または非線形関係に基づいて、初期値とターゲット値との間でアルゴリズムのパラメータ値を補間することができる。そのような補間は、変形する領域と変形しない領域との間の滑らかな推移または他の特殊効果（たとえば、波、熱ノイズなど）を提供するのに使用され得る。

別の態様では、方法７００は、ビデオ・フレームのセットのそれぞれのフレームの１つまたは複数の固定領域を変形することを含むことができる。変形は、１つまたは複数の固定領域のうちの少なくとも１つに画素変形フィルタを適用することを含むことができる。フィルタの適用は、たとえば、各フレームの時刻に基づいてフィルタの入力パラメータを変更することを含むことができる。さらなる例として、フィルタの適用は、シーケンスの先行するフレームのフィルタの出力にフィルタを適用することを含むことができる。方法７００は、１つまたは複数の元のデジタル静止画像がその中でモーショナイズされているビデオ・ファイルとして、上で説明した動作によって準備されたビデオ・フレームのセットを記憶すること７５０を含むことができる。

前述の開示に鑑みて、開示される主題に従って実施され得る方法論が、複数の流れ図を参照して説明された。説明の単純さのために、方法論は、一連のブロックとして図示され、説明されるが、一部のブロックが、図示され本明細書で説明されるものとは異なる順序で、かつ／または他のブロックと同時に実行され得るので、請求される主題が、ブロックの順序によって限定されないことを理解し、了解されたい。さらに、すべての図示されたブロックが、本明細書で説明される方法論を実施するために必ずしも要求されるものではない。さらに、いくつかの動作は、説明されたが、図示の単純さのために図示されていない。

本開示の別の態様では、図８を参照すると、デジタル静止画像にモーション効果を追加する装置８００は、画像プロセッサ８１０に結合されたメモリ８１６を含む。メモリは、プロセッサ８１０によって実行された時に、装置８００に、上で説明された方法５００または７００およびオプションでこれらの方法に関連して説明した１つまたは複数の追加動作を実行させるプログラム命令を保持することができる。装置８００は、デジタル・ビデオ・ファイルをビデオ・ディスプレイ・デバイス、たとえばＬＣＤディスプレイまたは類似物による使用に適するビデオ信号に変換するディスプレイ・アダプタ８１４をさらに含むことができる。装置８００の構成要素は、バス８１９または別の電子コネクタによって結合され得る。

装置８００は、デジタル静止画像を固定領域および可動領域に分割する機能構成要素８０２を含むことができる。構成要素８０２は、デジタル静止画像を固定領域および可動領域に分割する手段を含むことができる。前記手段は、プロセッサ８１０およびメモリ８１６を含むことができ、メモリは、前記分割のためのアルゴリズムを保持し、プロセッサは、そのアルゴリズムを実行する。そのアルゴリズムは、たとえば、複数の静止画像内の物体を比較することと、可動領域から固定領域をマスク・オフすることとによって、画像を固定領域および可動領域に分割することを含むことができる。

装置８００は、可動領域および静止領域を変形する機能構成要素８０４を含むことができる。構成要素８０４は、前記変形のための手段を含むことができる。前記手段は、プロセッサ８１０およびメモリ８１６を含むことができ、メモリは、前記変形のためのアルゴリズムを保持し、プロセッサは、そのアルゴリズムを実行する。そのアルゴリズムは、たとえば、モーション・ベクトルに基づいて次のフレーム内の画素位置を計算することと、運動によって見せられる遮られた背景画像部分を充填することと、ぼかし、鮮明化、または色調整などのフィルタリング動作に基づいて画素の彩色を変更することとを含むことができる。

装置８００は、変形された固定領域および可動領域からビデオ・フレームを合成する機能構成要素８０５を含むことができる。構成要素８０５は、前記合成のための手段を含むことができる。前記手段は、プロセッサ８１０およびメモリ８１６を含むことができ、メモリは、前記合成のためのアルゴリズムを保持し、プロセッサは、そのアルゴリズムを実行する。そのアルゴリズムは、たとえば、移動される領域を固定領域の上でレイヤ化することと、固定された背景レイヤと一致するように、すべての見せられた画素内で着色することとを含むことができる。

装置８００は、ビデオ・ファイルのためにビデオ・フレームを順序付ける機能構成要素８０６を含むことができる。構成要素８０６は、前記順序付けのための手段を含むことができる。前記手段は、プロセッサ８１０およびメモリ８１６を含むことができ、メモリは、前記順序付けのためのアルゴリズムを保持し、プロセッサは、そのアルゴリズムを実行する。そのアルゴリズムは、たとえば、図６に関連して説明した動作６００を含むことができる。

当業者は、本明細書で開示される態様に関連して説明された様々な例の論理ブロック、モジュール、回路、およびアルゴリズム・ステップが、電子ハードウェア、コンピュータ・ソフトウェア、またはその両方の組合せとして実施され得ることをさらに了解するはずである。ハードウェアとソフトウェアとのこの交換可能性を明瞭に示すために、様々な例の構成要素、ブロック、モジュール、回路、およびステップが、上では全般的にその機能性に関して説明された。そのような機能性が、ハードウェアまたはソフトウェアのどちらとして実施されるのかは、特定の応用例と、システム全体に課せられる設計制約とに依存する。当業者は、特定の応用例ごとに変化する形で説明された機能性を実施することができるが、そのような実施判断が、本開示の範囲からの逸脱を引き起こすものと解釈してはならない。

本願で使用される時に、用語「構成要素」、「モジュール」、「システム」、および類似物は、ハードウェア、ハードウェアとソフトウェアとの組合せ、ソフトウェア、または実行中のソフトウェアのいずれであれ、コンピュータ関連の実体を指すことが意図されている。たとえば、構成要素またはモジュールは、プロセッサ上で走行するプロセス、プロセッサ、オブジェクト、実行可能ファイル、実行のスレッド、プログラム、および／またはコンピュータとすることができるが、これであることに限定はされない。例として、サーバ上で走行するアプリケーションとサーバとの両方を、構成要素またはモジュールとすることができる。１つまたは複数の構成要素またはモジュールが、１つのプロセスおよび／または実行のスレッド内に存在することができ、１つの構成要素またはモジュールが、１つのコンピュータ上に局所化され、かつ／または複数のコンピュータの間で分散され得る。

様々な態様が、複数の構成要素、モジュール、および類似物を含むことができるシステムに関して提示される。様々なシステムが、追加の構成要素、モジュールなどを含むことができ、かつ／または図面に関連して議論された構成要素、モジュールなどの一部を含まない場合があることを理解し、了解されたい。これらの手法の組合せを使用することもできる。本明細書で開示される様々な態様は、タッチ・スクリーン・ディスプレイ技術、ヘッドアップ・ユーザ・インターフェース、ウェアラブル・インターフェース、ならびに／またはマウスおよびキーボード・タイプのインターフェースを利用するデバイスを含む電子デバイス上で実行され得る。そのようなデバイスの例は、仮想現実感または増補現実感の出力デバイス（たとえば、ヘッドセット）、コンピュータ（デスクトップおよびモバイル）、スマート・フォン、携帯情報端末（ＰＤＡ）、および有線と無線との両方の他の電子デバイスを含む。

さらに、本明細書で開示される態様に関連して説明される様々な例の論理ブロック、モジュール、および回路は、本明細書で説明される機能を実行するように設計された、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）もしくは他のプログラム可能論理デバイス、ディスクリート・ゲート論理もしくはトランジスタ論理、ディスクリート・ハードウェア構成要素、またはそれらの任意の組合せを用いて実施されまたは実行され得る。汎用プロセッサは、マイクロプロセッサとすることができるが、代替案では、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械とすることができる。プロセッサは、コンピューティング・デバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアに関連する１つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成としても実施され得る。

本明細書で開示される動作態様は、ハードウェアで直接に、プロセッサによって実行されるソフトウェア・モジュール内で、またはこの２つの組合せで実施され得る。ソフトウェア・モジュールは、ＲＡＭメモリ、フラッシュ・メモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハード・ディスク、リムーバブル・ディスク、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、Ｂｌｕ−ｒａｙ（商標）、または当技術分野で既知の任意の他の形の記憶媒体内に存在することができる。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるようにプロセッサに結合される。代替案では、記憶媒体は、プロセッサに一体化され得る。プロセッサおよび記憶媒体は、ＡＳＩＣ内に存在することができる。ＡＳＩＣは、クライアント・デバイスまたはサーバ内に存在することができる。代替案では、プロセッサおよび記憶媒体は、クライアント・デバイスまたはサーバ内に別個の構成要素として存在することができる。

さらに、１つまたは複数のバージョンが、開示される態様を実施するようにコンピュータを制御するためのソフトウェア、ファームウェア、ハードウェア、またはその任意の組合せを作るための標準的なプログラミング技法および／または工学技法を使用して、方法、装置、または製造品として実施され得る。非一時的なコンピュータ可読媒体は、磁気ストレージ・デバイス（たとえば、ハード・ディスク、フロッピ・ディスク、磁気ストリップ、または他のフォーマット）、光ディスク（たとえば、コンパクト・ディスク（ＣＤ）、ＤＶＤ、Ｂｌｕ−ｒａｙ（商標）、または他のフォーマット）、スマート・カード、およびフラッシュ・メモリ・デバイス（たとえば、カード、スティック、または別のフォーマット）を含むことができるが、これに限定はされない。もちろん、当業者は、開示される態様の範囲から逸脱することなく、多数の変更がこの構成に対して行われ得ることを認めよう。

開示される態様の前の説明は、当業者が本開示を作りまたは使用することを可能にするために提供される。これらの態様に対する様々な変更は、当業者にたやすく明白になり、本明細書で定義される包括的な原理は、本開示の趣旨または範囲から逸脱することなく、他の実施形態に適用され得る。したがって、本開示は、本明細書で示される実施形態に限定されることを意図されたものではなく、本明細書で開示される原理および新規の特徴と一貫する最も広い範囲に従わなければならない。

Claims (15)

1. メモリに結合されたプロセッサを含むコンピュータによって実現される方法であって、
   前記メモリから二次元のソース・デジタル静止画像を選択することと、
   前記メモリ内において、１つまたは複数の可動領域のそれぞれにおける幾何領域境界データおよびモーション・データのセットに基づいて、１つまたは複数のオーバーラップしない固定領域と、前記固定領域の上にレイヤ化されるように扱われる前記１つまたは複数の可動領域と、を含む少なくとも２つの二次元の領域に前記ソース・デジタル静止画像を分割することと、
   前記１つまたは複数の可動領域のそれぞれにおける前記幾何領域境界データおよび前記モーション・データのセットから選択された情報と、各フレームの時刻と、カメラ位置および焦点距離を定義するデータと、アルゴリズムと、に基づいて、ビデオ・フレームのセットのそれぞれのフレームにおける１つまたは複数の可動領域を変形することと、
   前記１つまたは複数の可動領域によって遮られる前記１つまたは複数の固定領域の画素の値を判定することと、
   前記ソース・デジタル静止画像および前記モーション・データから、シーケンス内でビデオ・フレームのセットを生成することであって、
   前記ビデオ・フレームのセット内の各フレームは、前記１つまたは複数の固定領域の上にレイヤ化され、前記各フレームの時刻に基づいて前記モーション・データによって変形される、前記１つまたは複数の可動領域を含み、
   前記モーション・データは、前記固定領域に対して相対的に、前記１つまたは複数の可動領域のうちの１つに対応する運動として定義され、
   不揮発性コンピュータ・メモリ内のビデオ・ファイルとして前記ビデオ・フレームのセットを記憶することと
   を含む方法。
2. 前記オーバーラップしない固定領域のそれぞれは、単一の画素からなる、請求項１に記載の方法。
3. 前記１つまたは複数の可動領域におけるそれぞれの前記モーション・データは、経路上で経時的に変化するモーション・ベクトルを含む、請求項１に記載の方法。
4. 前記１つまたは複数の可動領域を変形することには、前記モーション・ベクトルと、前記各フレームの時刻と、カメラ位置および焦点距離を定義するデータとに基づいて、前記１つまたは複数の可動領域をスケーリングすることによって少なくとも部分的に、前記ビデオ・フレームのセットのそれぞれのフレームにおける前記１つまたは複数の可動領域を変形することをさらに含む、請求項３に記載の方法。
5. 前記１つまたは複数の可動領域を変形することには、選択されたぼかしアルゴリズムに基づいて、前記ビデオ・フレームのセットの各フレーム内において前記１つまたは複数の可動領域の少なくとも一部をぼかすこと、または選択された鮮明化アルゴリズムに基づいて、前記各フレーム内において前記１つまたは複数の可動領域の少なくとも一部を鮮明化すること、のうちの１つまたは複数によって少なくとも部分的に、前記各フレームの前記１つまたは複数の可動領域を変形することをさらに含む、請求項１に記載の方法。
6. 前記ぼかすことまたは鮮鋭化することのうちの少なくとも１つは、経時的に変化する、請求項５に記載の方法。
7. 前記ぼかすことまたは鮮鋭化することのうちの少なくとも１つは、画素位置に伴って変化する、請求項５に記載の方法。
8. 前記１つまたは複数の可動領域によって遮られる前記１つまたは複数の固定領域の画素の値を判定することは、前記固定領域の画素が前記１つまたは複数の可動領域によって遮られていない第２のソース・デジタル画像から画素値を抽出することを含む、請求項１に記載の方法。
9. 前記１つまたは複数の可動領域によって遮られる前記１つまたは複数の固定領域の画素の値を判定することは、連続する遮られた画素領域の境界に隣接する遮られていない画素値に基づいて、前記画素の値を手続き的に生成することを含む、請求項１に記載の方法。
10. 前記１つまたは複数の固定領域のうちの少なくとも１つに画素変形フィルタを適用することによって少なくとも部分的に、前記ビデオ・フレームのセットにおけるそれぞれのフレームの前記１つまたは複数の固定領域を変形することをさらに含む、請求項１に記載の方法。
11. 前記画素変形フィルタの適用は、前記各フレームの時刻に基づいて、前記画素変形フィルタの入力パラメータを変更することを含む、請求項１０に記載の方法。
12. 前記画素変形フィルタの適用は、前記シーケンスの先行するフレームの前記画素変形フィルタの出力に、前記画素変形フィルタを適用することをさらに含む、請求項１１に記載の方法。
13. メモリに結合された画像処理用のプロセッサを含む装置であって、前記メモリは、前記プロセッサによって実行される時に、前記装置に
    前記メモリから二次元のソース・デジタル静止画像を選択することと、
    前記メモリ内の１つまたは複数の可動領域のそれぞれにおける幾何領域境界データおよびモーション・データのセットに基づいて、１つまたは複数のオーバーラップしない固定領域と、前記固定領域の上にレイヤ化されるように扱われる前記１つまたは複数の可動領域と、を含む少なくとも２つの二次元の領域に前記ソース・デジタル静止画像を分割することと、
    前記１つまたは複数の可動領域のそれぞれにおける前記幾何領域境界データおよび前記モーション・データのセットから選択された情報と、各フレームの時刻と、カメラ位置および焦点距離を定義するデータと、アルゴリズムと、に基づいて、ビデオ・フレームのセットのそれぞれのフレームにおける１つまたは複数の可動領域を変形することと、
    前記１つまたは複数の可動領域によって遮られる前記１つまたは複数の固定領域の画素の値を判定することと、
    前記ソース・デジタル静止画像および前記モーション・データから、シーケンス内でビデオ・フレームのセットを生成することであって、
    前記ビデオ・フレームのセット内の各フレームは、前記１つまたは複数の固定領域の上にレイヤ化され、前記各フレームの時刻に基づいて前記モーション・データによって変形される、前記１つまたは複数の可動領域を含み、
    前記モーション・データは、前記固定領域に対して相対的に、前記１つまたは複数の可動領域のうちの１つに対応する運動として定義され、
    不揮発性コンピュータ・メモリ内のビデオ・ファイルとして前記ビデオ・フレームのセットを記憶することと
    を実行させる命令を含む、装置。
14. メモリから二次元のソース・デジタル静止画像を選択するための手段と、
    前記メモリ内の１つまたは複数の可動領域のそれぞれにおける幾何領域境界データおよびモーション・データのセットに基づいて、１つまたは複数のオーバーラップしない固定領域と、前記固定領域の上にレイヤ化されるように扱われる前記１つまたは複数の可動領域と、を含む少なくとも２つの二次元の領域に前記ソース・デジタル静止画像を分割するための手段と、
    前記１つまたは複数の可動領域のそれぞれにおける前記幾何領域境界データおよび前記モーション・データのセットから選択された情報と、各フレームの時刻と、カメラ位置および焦点距離を定義するデータと、アルゴリズムと、に基づいて、ビデオ・フレームのセットのそれぞれのフレームにおける１つまたは複数の可動領域を変形する手段と、
    前記１つまたは複数の可動領域によって遮られる前記１つまたは複数の固定領域の画素の値を判定するための手段と、
    前記ソース・デジタル静止画像および前記モーション・データから、シーケンス内でビデオ・フレームのセットを生成するための手段であって、
    前記ビデオ・フレームのセット内の各フレームは、前記１つまたは複数の固定領域の上にレイヤ化され、前記各フレームの時刻に基づいて前記モーション・データによって変形される、前記１つまたは複数の可動領域を含み、
    前記モーション・データは、前記固定領域に対して相対的に、前記１つまたは複数の可動領域のうちの１つに対応する運動として定義され、
    不揮発性コンピュータ・メモリ内のビデオ・ファイルとして前記ビデオ・フレームのセットを記憶するための手段と
    を含む装置。
15. 画像処理装置によって実行される時に、前記画像処理装置に、
    メモリから二次元のソース・デジタル静止画像を選択することと、
    前記メモリ内の１つまたは複数の可動領域のそれぞれにおける幾何領域境界データおよびモーション・データのセットに基づいて、１つまたは複数のオーバーラップしない固定領域と、前記固定領域の上にレイヤ化されるものとして扱われる前記１つまたは複数の可動領域と、を含む少なくとも２つの二次元の領域に前記ソース・デジタル静止画像を分割することと、
    前記１つまたは複数の可動領域のそれぞれにおける前記幾何領域境界データおよび前記モーション・データのセットから選択された情報と、各フレームの時刻と、カメラ位置および焦点距離を定義するデータと、アルゴリズムと、に基づいて、ビデオ・フレームのセットのそれぞれのフレームにおける１つまたは複数の可動領域を変形することと、
    前記１つまたは複数の可動領域によって遮られる前記１つまたは複数の固定領域の画素の値を判定することと、
    前記ソース・デジタル静止画像および前記モーション・データから、シーケンス内でビデオ・フレームのセットを生成することであって、
    前記ビデオ・フレームのセット内の各フレームは、前記１つまたは複数の固定領域の上にレイヤ化され、前記各フレームの時刻に基づいて前記モーション・データによって変形される、前記１つまたは複数の可動領域を含み、
    前記モーション・データは、前記固定領域に対して相対的に、前記１つまたは複数の可動領域のうちの１つに対応する運動として定義され、
    不揮発性コンピュータ・メモリ内のビデオ・ファイルとして前記ビデオ・フレームのセットを記憶することと
    を実行させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体。

Images