JP2017512398A - 映像を提示する方法及び装置 - Google Patents

Abstract

映像の向きを特定する方法及び装置が提案される。方法は、映像の動きを推定するステップと、映像の推定された動きから平行移動に基づくパラメータを抽出するステップと、平行移動に基づくパラメータに従って、垂直平行移動の展開に対する時間にわたる水平平行移動の展開を与える少なくとも１つの特徴を計算するステップとを有し、特徴は映像の向きを特定するために使用される。

Description

本開示は、概して、画像処理に関係がある。特に、本開示は、映像の向きを特定する方法及び装置に関係がある。

映像コンテンツのコンピュータ処理のいくつかの利用では、与えられている映像の向きを推定する必要がある。例えば、そのような利用の情況は、人が映像をブラウズし鑑賞したいと望む場合に、映像の正確な表示のために映像の正確な向きを有する必要があることである。他の情況は、顔検出、特定のオブジェクトの検出及び認識、空領域検出、並びに寄り一般的なセマンティック映像パーシングのような、コンピュータビジョン処理にある。この場合における最初の要件として、処理されるべき画像及び映像は、正確な向きで提案されるはずである。従って、映像の向きの特定は、そのようなコンピュータビジョン処理のための第１且つ必須の前処理として適用されてよい。

映像の正確な向きを得るための１つの既知の解決法は、映像の捕捉中に映像コンテンツとともに記憶される付加的なメタデータを使用する必要がある。例えば、そのような付加的なメタデータは、Ｅｘｉｆ（Exchangeable image file format）標準において定義されているメタデータタグからであることができる。向きを知ることは、ジャイロ情報に依存する。この場合に、そのようなメタデータの存在は、使用される捕捉デバイスに依存する。しかし、そのような情報は、低価格のデバイスには通常は利用可能でない。特定の携帯電話機（例えば、ｉＰｈｏｎｅ（登録商標））は、そのような情報を有さず、一方、低価格のスマートフォンは、情報を記憶しない。更には、映像の場合に、向きの情報は、映像の最初の画像に基づいてのみ計算され、捕捉中に回転が起こった場合に変化しない。この既知の解決法によれば、向きの情報は、従って、映像の最初の部分についてのみ正確であり得る。

他の既知の解決法は自動システムと呼ばれる。以下の非特許文献１〜３は、静止画の向きを自動的に検出することができる斯様な自動システムに関係がある。

しかし、映像を処理するシステムについての論及がないことから、上述されたように、以下の非特許文献１〜３の目的は静止画の向きを検出することであるように思われる。静止画のための提案されているシステムは、通常、画像からの特徴の抽出及び何らかの機械学習技術の使用に基づく。このことは、モデルのトレーニングの第１ステップが注釈付き画像のデータベースに対して必要とされ、費用のかかるオフライン処理を生じさせ得ることを暗示する。最適なパフォーマンスをあげるシステムはまた、色又はテクスチャに関連する低レベルの特徴（第１色モーメント、エッジ方向ヒストグラム、など）から高レベルのセマンティック情報（顔検出、空検出、ライン検出、など）に及ぶ、映像コンテンツから抽出された種々の特徴を使用する。このことは、システムの時間の大部分を費やし、重い計算負荷を生じさせる。静止画に対するそのような処理は、フレーム単位で映像の夫々のフレームに、あるいは、それらのフレームのサブサンプリングに適用されてよい。しかし、結果として、処理は、計算視点から、より一層高価になる。

従って、適度な計算負荷により、所与の映像の正確な向きを検出し、同時に、検出された向きが映像の各フレームについて正確であることを確かにする必要がある（映像を捕捉するデバイスは、捕捉フェーズの間に回転され得ると仮定する。）。

Cingovska, I.；Ivanovski, Z.；Martin, F.，"Automatic image orientation detection with prior hierarchical content-based classification"，Image Processing (ICIP)，2011 18th IEEE International Conference on，vol.，no.，pp.2985,2988，２０１１年９月１１〜１４日 G. Sharma，A. Dhall，S. Chaudhury及びR. Bhatt，"Hierarchical System for Content Based Categorization and Orientation of Consumer Images"，Pattern Recognition and Machine Intelligence，vol.5909，p 495-500，２００９年 Jiebo Luo；Boutell, M.，"Automatic image orientation detection via confidence-based integration of low-level and semantic cues"，Pattern Analysis and Machine Intelligence，IEEE Transactions on，vol.27，no.5，pp.715,726，２００５年５月 J.M. Odobez，P. Bouthemy，"Robust multiresolution estimation of parametric motion models"，Journal of Visual Communication and Image Representation，6(4):348-365，１９９５年１２月

従来技術における上記の問題を鑑みて、本開示は、映像の夫々の向き一様な部分について適度な計算負荷により映像の向きを特定する方法及び装置を提供する。

本開示に従って、いくつかの特徴は、映像シーンの推定された動き（ドミナント又はオブジェクトベース）に基づき抽出される。それらの動きに基づいた特徴から、あるフレームに基づく向き情報は、向きの潜在的な変化とともに計算される。時間的な向き情報とともに、本開示は、映像の向き一様な部分への関連するセグメンテーションももたらす。

本開示の第１実施形態に従って、映像の向きを特定する方法が提供される。方法は、前記映像の動きを推定するステップと、前記映像の前記推定された動きから、平行移動に基づくパラメータを抽出するステップと、前記平行移動に基づくパラメータに従って、垂直平行移動の展開に対する時間にわたる水平平行移動の展開を与える少なくとも１つの特徴を計算するステップであって、前記特徴は前記映像の向きを特定するために使用される、前記計算するステップとを有する。

第１実施形態において、方法は、前記映像の前記推定された動きから、回転に基づくパラメータを抽出するステップと、前記回転に基づくパラメータに従って検出された回転によって分けられる少なくとも１つのセグメントに前記映像を分割するステップと、前記少なくとも１つのセグメントの夫々にわたる前記少なくとも１つの特徴の積分の関数として前記映像の向きを特定するステップとを更に有する。

本開示の第２実施形態に従って、映像の向きを特定する装置が提供される。装置は、前記映像の動きを推定し、前記映像の前記推定された動きから、平行移動に基づくパラメータを抽出し、前記平行移動に基づくパラメータに従って、垂直平行移動の展開に対する時間にわたる水平平行移動の展開を与える少なくとも１つの特徴を計算し、前記特徴は前記映像の向きを特定するために使用される、よう構成されるプロセッサを有する。

本開示の第３実施形態に従って、通信ネットワークからダウンロード可能であり、及び／又はコンピュータによって読み出し可能な媒体において記録されており、及び／又はプロセッサによって実行可能であるコンピュータプログラム製品が提供される。コンピュータプログラム製品は、本開示の一態様に従う方法のステップを実施するプログラムコード命令を有する。

本開示の第４実施形態に従って、プロセッサによって実行されることが可能なコンピュータプログラム製品が記録されている非一時的なコンピュータ可読媒体が提供される。非一時的なコンピュータ可読媒体は、本開示の一態様に従う方法のステップを実施するプログラムコード命令を含む。

本開示の更なる態様及び利点は、本開示の以下の詳細な説明において見つけられることが理解されるべきである。

添付の図面は、実施形態の原理を説明するのに役立つ記載とともに本開示の実施形態の更なる理解を提供するために含まれている。本開示は、実施形態に制限されない。
本開示の実施形態に従って映像の向きを特定する方法を示すフローチャートである。 積分された状態で時間にわたる絶対的な水平及び垂直平行移動の差の展開を示す図である。 積分された状態で回転パラメータの展開の例を示す図である。 本開示の他の実施形態に従って映像の向きを特定する方法を示すフローチャートである。 時計回りのカメラの回転の前及び後の種々の起こり得る向きを示す例図である（表１における場合２）。 反時計回りのカメラの回転の前及び後の種々の起こり得る向きを示す例図である（表１における場合３）。 本開示の実施形態に従って映像の向きを特定する方法が実装され得るコンピュータデバイスを示すブロック図である。

本開示の実施形態は、これより、図面と併せて詳細に説明される。以下の記載では、既知の機能及び構成の一部の詳細な説明は、簡潔さのために省略されることがある。

本開示の実施形態は、映像の向きを特定する方法を提供する。次に、本開示の実施形態の方法が詳細に説明される。

図１は、本開示の実施形態に従って映像の向きを特定する方法を示すフローチャートである。

簡単のために、本開示の実施形態は、映像のフレームごとに０°、９０°、−９０°及び１８０°の４つの向きの間、すなわち、２つの横向き（０°、１８０°）及び縦向き（９０°、−９０°）の間、を区別することについてしか論じられない。従って、本開示は、それら４つのクラスへのフレーム分類のみを論じ、それ以上の正確な姿勢角度は抽出されない。更には、本開示のいくつかの実施形態において、システムは、２つの起こり得る縦向き（９０°、−９０°）の間及び２つの起こり得る横向き（０°、１８０°）の間を区別せずに縦／横への第１分類を提供する。なお、本開示は、より複雑な姿勢分類を伴う場合にも適用され得ることが知られる。

図１に示されるように、ステップＳ１０１で、映像の動きが推定される。映像のドミナント・モーションがステップＳ１０１での動き推定にとって好ましいことが留意されるべきである。しかし、映像におけるドミナント・モーションが推定されるべきでない場合には、何らかのオブジェクトベースの動き推定が頼りにされてよい。ドミナント・モーション推定は、映像のドミナント・モーションのパラメトリック近似を各瞬間において計算することによって、実施され得る。ドミナント・モーションの推定のために、何らかの既知の解決法が使用されてよい。例えば、上記の非特許文献４には、このための最新技術が開示されている。

次に、ステップＳ１０２で、映像の推定されたドミナント・モーションから、平行移動に基づくパラメータ及び回転に基づくパラメータが抽出される。

動き推定器は、推定された動きモデルを出力し、それから、回転の推定とともに、水平方向及び垂直方向の両方における平行移動の推定が抽出され得る。

動きモデルは、ドミナント・モーション推定から入手可能であり、推定される動きに応じたパラメータを含んでよいことが知られる。本明細書では、６つのパラメータを伴うアフィンモデルが、以下の行列として考えられ得る：

ａ０ ａ１ ａ２
ｂ０ ｂ１ ｂ２

上記のモデルにおいて、例えば、最初の２つのパラメータａ０及びｂ０は、ｘ軸及びｙ軸における平行移動値であるＴｘ及びＴｙに夫々対応する。残り４つのパラメータは、回転及びズームの動きに関する情報を提供する。ａ２−ｂ１の値を考えることによって、適用される回転のサイナス（sinus）に比例する量が入手され得る。

このステップにおいて、任意に、平行移動に基づくパラメータ及び回転に基づくパラメータは、ある期間にわたって積分され得る。積分のために、定積分を近似するためのよく知られた技術である台形則が、所与のウィンドウに対して適用され得る。この実施形態において、所与のウィンドウのサイズは、例えば２０フレームに、経験的に固定され得る。しかし、このサイズは、情況に応じて適応されてよい。ドミナント・モーション推定からは、小さな平行移動及び回転値しかフレームごとに入手され得ない。それらの値からは、回転及び平行移動を正確に検出することは困難である。積分の利点は、より長い期間における動きのより大きいビューを提供することである。

次に、ステップＳ１０３で、平行移動に基づくパラメータに従って、垂直平行移動の展開に対する時間にわたる水平平行移動の展開を与える少なくとも１つの特徴が計算される。そのような特徴は、映像が縦向き又は横向きモードにおいて捕捉されたかどうかに関する何らかの手掛かりを与えることができる。ほとんどの場合に、ドミナント・モーションの並進運動成分の振幅が垂直方向におけるよりも水平方向において相当に大きいときに、チルティングよりもパニングの方が映像のシーンの捕捉中に使用される傾向があるので、映像は横向きモードにおいて捕捉された可能性が高い。

以下、特徴の解析は、例えば、求められた情報を与える：

Featuretrans(frame)=abs(tx(frame))-abs(ty(frame))

図２は、Ｔｘ及びＴｙの積分値から、時間わたる斯様な特徴の展開の例を示す。正の値は、映像の横向きを示す傾向があり、一方、負の値は、映像の縦向きを示す傾向がある。任意のステップで、上記の特徴は、解析の精度を改善するよう、所与のスライディング・タイム・ウィンドウにわたって平滑化されてよい。

ステップＳ１０４で、ステップＳ１０３と並行して、積分されていようとなかろうと、回転に基づくパラメータに従って検出された回転によって分けられるセグメントに映像が分割される。

回転に基づくパラメータは、転じて、カメラが捕捉中に回転されたかどうかに関する何らかの情報を与えることが知られる。セグメンテーションは、抽出された回転に基づくパラメータの閾値化を通じて実施され得る。

図３は、積分後の回転に基づくパラメータの展開の例を示す図である。この場合に、閾値化は、３つのセグメント、回転前のセグメント１と、回転後のセグメント３と、回転に対応し、システムが当該実施形態において如何なる向き情報も与えないセグメント２と、を与える。図３は、簡単な閾値が適用されるところの、映像の分割の例を表す。閾値を上回る領域は時計回りの回転に対応し、反対側の閾値を下回る領域は反時計回りの回転に対応し、その間の領域は回転を伴わない領域に対応する。この例では、閾値は０．２の経験値に固定されている。しかし、映像コンテンツにおいて、更なる適応、例えば、単に値を平均−２シグマを下回ったままとする平滑化、が行われてよい。任意に、精緻化が回転境界の検出において加えられてよい。この精緻化は、潜在的な回転のマーカを与える高位閾値から始まる。次いで、それは、回転パラメータの絶対値が極めて低い（すなわち、イプシロン値よりも低い）フレームに対応する回転開始を見つけるために、時間的に後退する。次に、それは、回転パラメータの絶対値がイプシロンよりも低い最初のフレームに対応する回転の終わりを順方向検索する。

ステップＳ１０５で、ステップＳ１０４によって得られた夫々のセグメントにわたる、ステップＳ１０３で得られた少なくとも１つの特徴の積分に従って、映像の向きが特定される。

映像の向きは、セグメントごとにFeaturetransの１つの代表単一値を得るために、セグメントの全フレームについてFeaturetransを積分することによって、回転の前及び後に各セグメントの向きを計算することで、特定される。この実施形態において、それは、単に、セグメントにわたる図２における曲線の下の面積（ハッチングされた領域を参照。）の計算であることができる。他の実施形態では、更なる閾値Ｔが、平行移動に基づくパラメータに関して使用される。Featuretrans＞Ｔ及びFeaturetrans＜−Ｔである連続した部分の数は、それらの部分の存続期間とともに、数えられる。それら２つのカウンタの単純な正規化された和は、Featuretransの新たな‘積分された’値を与える。

回転が検出されない場合には、映像全体にわたる又は予め定義されたサイズのウィンドウにわたるFeaturetransの積分値が計算される。具体的に、回転が検出されなかった場合には、映像全体においてただ１つの大きいセグメントしか存在しない。この場合に、Featuretransのための同じ積分プロセスは、映像全体に行われるものであるがセグメントに行われるものとして単に適用され得る。変形例として、映像が非常に長い場合に、それはウィンドウごとに処理されてよい。この場合に、積分は、前と同じように、しかし、予め定義されたウィンドウサイズにわたって、行われる。

この実施形態において、各セグメントの向きは、次いで、次のように与えられる：
Featuretrans_integrated_over_segment（セグメントにわたって積分されたFeaturetrans）＞０の場合に、向きは横向きである。
Featuretrans_integrated_over_segment＜０の場合に、向きは縦向きである。

上述されたように、簡単のために、本開示の実施形態は、限られた数の向きを識別することについてしか論じられない。本開示の更なる改良において、例えば、顔検出のような、何らかの追加の処理は、２つの縦向き又は２つの横向きの間を更に区別するために適用されてよい。当業者に明らかなように、人々、従って顔は、逆さまである可能性が極めて低いので、ピクチャにおいて顔を検出することによって、ピクチャの最も可能性が高い向きの何らかの情報が取得され得る。また、立っている人々と比べて、画像において横たわっている人々、従って、顔を有する可能性も極めて低い。そのような情報は、映像の向きを更に識別するために使用され得る。これに関してこれ以上の詳細は与えられない。

図４は、本開示の他の実施形態に従って映像の向きを特定する方法を示すフローチャートである。

図４に示される実施形態において、ステップＳ４０１〜Ｓ４０５は、図１におけるステップＳ１０１〜Ｓ１０５と夫々同じである。更なるステップＳ４０６が加えられている。このステップは、回転の角度（例えば、この角度は、ステップＳ４０２で抽出された回転に基づくパラメータから抽出されてよい。）に従って、ステップＳ４０６で得られた映像の向きを更に識別する。図１を参照して記載される実施形態に関連して、加えられたステップＳ４０６は、ステップＳ４０５で特定された２つの縦向き及び２つの横向きを区別するのを助けることができる。

ステップＳ４０４から、回転が映像において起こったか否かに関する情報が、取得され得る（回転パラメータの絶対値は所与の閾値を上回る。）。ステップＳ４０２で得られた回転パラメータの符号に応じて、回転の方向に関する情報が入手され得る（rotation_parameter＞０の場合に、フレームの中心に対して、シーンは時計回りに回転し、すなわち、カメラは反時計回りに回転されており、rotation_parameter＜０の場合に、フレームの中心に対して、シーンは反時計回りに回転し、すなわち、カメラは時計回りに回転されている。）。回転に対応する映像の最終の回転値は、セグメントにわたる回転パラメータの積分、又は単に、±max_over_segment(abs(rotation_parameter))、のいずれかであってよい。この量の符号は、現在のセグメントに対するrotation_parameterの符号に依存する。

以下の記載では、フレームが３つのクラス０°、９０°、−９０°にしか属さない、より簡単な場合のみが検討される。逆さまの向きを有する映像は非常にまれであることが知られており、従って、以下の記載では検討されない。本開示の改良において、１８０°の向きクラスが、同様の論理的思考に従うことで加えられてよい。

表１は、以下で、推定された回転パラメータ（イプシロン１＞０）に従って、回転の前及び後で、セグメントの向きに関する情報を示す。

表１において、orient_before及びorient_afterは、回転前の全フレームの向き及び回転後の全フレームの向きを夫々意味する。回転パラメータは、各列において検討されている。パラメータの符号及び値に応じて、回転が起こるという事実、及びこの場合に、回転が起こる方向（時計回り、反時計回り）、の両方に関して、何らかの見識が取得され得る。

図５及び６は、表１で論じられている種々の場合を表す。図５及び６から、且つ、回転方向から、回転の前及び後で平行移動値にはほんのいくつかの可能性がある。

図５は、時計回りのカメラの回転（表１における場合２）の前及び後の種々の起こり得る向きを示す例図である。最初の２つの場合のみが以下の記載で検討される。図６は、反時計回りのカメラの回転（表２における場合３）の前及び後の種々の起こり得る向きを示す例図である。同様に、最初の２つの場合のみが以下の記載で検討される。

表１における状態Ａ及びＢ、又はＣ及びＤの間のあいまいさを更に解消するよう、ステップＳ４０５で記載されるように計算された、回転の前及び後の平行移動値の積分値は、もしあれば、場合に応じて回転の前及び後のフレームの０、１又は２つの起こり得る向きを求めるよう、次の表２に従って比較されて混合される。

表２は、平行移動及び回転のパラメータ／特徴に従う向きの決定を示す。場合１、２、３は表１において記載されている（イプシロン２は正である。）。

FeaturetransIntegrated（積分された平行移動の特徴）又はrotation（回転）の値が小さすぎる場合について、ある拒絶ポリシーが適用される：向き情報は出力されない。本開示の変形例において、未定義の場合（いくつかの起こり得る向き）は、拒絶される場合に変換されてよい。

加えて、回転の前及び後の平行移動パラメータがいずれも、回転の前及び後のセグメントを、例えば、縦向きセグメントとして分類することで一致する場合には、回転は誤って検出された可能性がある。この場合に、ステップＳ４０６の追加は、このフォールス・アラームを除く助けとなり得る。それら２つの継続中のプロシージャの一方又は他方を選択することは、我々が回転パラメータ及び平行移動パラメータの両方に関して有し得る信頼値に依存してよい。

いくつかの回転が映像において検出される場合に、表２において記載された規則のような、同様の規則が、未定義の場合を解決するよう、導出されて映像とともに伝搬されてよい。

有利なことに、平行移動がドミナント・モーション推定から検出されないときに、シーンにおけるいくつかのオブジェクトの動きが推定されてよく、それらのオブジェクトの何らかの平行移動情報は、もしあれば、ドミナント・モーションの平行移動情報の代わりに、使用され得る。

カメラ及びオブジェクトが動いている場合に、両方の領域の平行移動情報を積分するスキーマが使用され得る。それでもなお、一様な向きの映像セグメントへのセグメンテーションのために、ドミナント回転は唯一の信頼できる基準のままである。

方法のロバスト性を高めるよう、計算負荷が許すならば、静止画において使用されるいくつかの更なる機能も使用されてよい。例えば、顔の向きは、依然として、本開示で提案されている動きに基づいた機能と結合される興味深いキューのままである。

本開示は、有利なことに、回転が捕捉中に起こる場合でさえ、与えられている映像の全フレームについて向き情報を提供する。それは、映像に対して適用されている、ある簡単な動きに基づく処理に基づいており、従って、オフラインの学習プロセスを必要としない。動き推定のステップは実時間において実現され得、オンラインの向き検出プロセスは、映像全体にわたる、あるいは、ある予め定義されたタイム・ウィンドウにわたる動き推定の直後に、適用される。

本開示は、例えば、前もって捕捉された映像の再生を提供するビデオプレイヤーにおいて実装され得る。ビデオプレイヤーは、制限なしに、ＰＣ上のＶｉｄｅｏＬＡＮ、オンラインの映像ウェブサイト、及びスマートフォンを有する。

本開示の実施形態は、映像の向きを特定する、対応する装置を提供する。

図７は、本開示の実施形態に従って映像の向きを特定する方法が実装され得るコンピュータデバイス７００を示すブロック図であるコンピュータデバイス７００は、標準のパーソナル・コンピュータ（ＰＣ；Personal Computer）のような、計算を実施可能な如何なる種類の適切なコンピュータ又はデバイスであることもできる。デバイス７００は、少なくとも１つのプロセッサ７１０と、ＲＡＭメモリ７２０と、ユーザと相互作用するユーザインターフェイス７３０とを有する。当業者に明らかなように、表されているコンピュータは、明りょうさのために非常に簡略化されており、実際のコンピュータは、ネットワーク接続及び固定記憶デバイスのような機構を更に有する。

ユーザインターフェイス７３０によれば、ユーザは、再生のために映像を入力／選択することができる。映像の特定された向きの結果も、必要に応じて、ユーザインターフェイス７３０によってユーザに出力され得る。

プロセッサ７１０は、映像の動きを推定する第１ユニットを有する。

プロセッサ７１０は、映像の推定された動きから、平行移動に基づくパラメータ及び回転に基づくパラメータを抽出する第２ユニットを更に有する。

プロセッサ７１０は、平行移動に基づくパラメータに従って、垂直平行移動の展開に対する時間にわたる水平平行移動の展開を与える少なくとも１つの特徴を計算する第３ユニットを更に有する。

プロセッサ７１０は、回転に基づくパラメータに従って検出された回転によって分けられたセグメントへと映像を分割する第４ユニットを更に有する。

プロセッサ７１０は、セグメントの夫々にわたる少なくとも１つの特徴の積分の関数として映像の向きを特定する第５ユニットを更に有する。

本開示の実施形態は、通信ネットワークからダウンロード可能であり、及び／又はコンピュータによって読み出し可能な媒体において記録されており、及び／又はプロセッサによって実行可能であるコンピュータプログラム製品であって、上記の方法のステップを実施するプログラムコード命令を有するコンピュータプログラム製品を提供する。

本開示の実施形態は、プロセッサによって実行されることが可能であって、上記の方法のステップを実施するプログラムコード命令を含むコンピュータプログラム製品が記録されている非一時的なコンピュータ可読媒体を提供する。

本開示は、様々な形態のハードウェア、ソフトウェア、ファームウェア、特別目的のプロセッサ、又はそれらの組み合わせにおいて実装されてよいことが理解されるべきである。更には、ソフトウェアは、望ましくは、プログラム記憶デバイスにおいて有形に具現されているアプリケーションプログラムとして実装される。アプリケーションプログラムは、如何なる適切なアーキテクチャも有する機械へアップロードされてそれによって実行されてよい。望ましくは、機械は、１つ以上の中央演算処理装置（ＣＰＵ；central processing unit）、ランダムアクセスメモリ（ＲＡＭ；random access memory）、及び／又は入力／出力（Ｉ／Ｏ）インターフェイスのようなハードウェアを備えたコンピュータプラットフォームにおいて実装される。コンピュータプラットフォームは、オペレーティングシステム及びミクロ命令コードを更に含む。ここで記載されている様々なプロセス及び機能は、オペレーティングシステムを介して実行されるミクロ命令コードの部分又はアプリケーションプログラムの部分（あるいは、それらの組み合わせ）のいずれかであってよい。加えて、追加のデータ記憶デバイス及び印刷機のような、様々な他の周辺機器が、コンピュータプラットフォームへ接続されてよい。

添付の図面で表されている、構成するシステムコンポーネント及び方法ステップのいくつかは、望ましくは、ソフトウェアにおいて実装されるので、システムコンポーネント（又はプロセスステップ）間の実際の接続は、本開示がプログラミングされる様態に応じて様々であってよいことが更に理解されるべきである。ここでの教示を鑑み、当業者であれば、本開示のそれら及び同様の実装又は構成を考え付くことができる。

添付の図面で表されている、構成するシステムコンポーネント及び方法ステップのいくつかは、望ましくは、ソフトウェアにおいて実装されるので、システムコンポーネント（又はプロセスステップ）間の実際の接続は、本開示がプログラミングされる様態に応じて様々であってよいことが更に理解されるべきである。ここでの教示を鑑み、当業者であれば、本開示のそれら及び同様の実装又は構成を考え付くことができる。
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
映像の向きを特定する方法であって、
前記映像の動きを推定するステップと、
前記映像の前記推定された動きから、平行移動に基づくパラメータを抽出するステップと、
前記平行移動に基づくパラメータに従って、垂直平行移動の展開に対する時間にわたる水平平行移動の展開を与える少なくとも１つの特徴を計算するステップであって、前記特徴は前記映像の向きを特定するために使用される、前記計算するステップと
を有する方法。
（付記２）
前記映像の前記推定された動きから、回転に基づくパラメータを抽出するステップと、
前記回転に基づくパラメータに従って検出された回転によって分けられる少なくとも１つのセグメントに前記映像を分割するステップと、
前記少なくとも１つのセグメントの夫々にわたる前記少なくとも１つの特徴の積分の関数として前記映像の向きを特定するステップと
を更に有する付記１に記載の方法。
（付記３）
前記推定は、前記映像のドミナント・モーションを推定することを含む、
付記１に記載の方法。
（付記４）
前記特定された向きは、前記映像のフレームごとに横向き及び縦向きを有する、
付記２に記載の方法。
（付記５）
前記推定は、前記映像の動きのパラメトリック近似を各瞬間において計算することを含む、
付記１に記載の方法。
（付記６）
前記分割するステップは、前記抽出された回転に基づくパラメータの閾値化を含む、
付記２に記載の方法。
（付記７）
前記特定は、セグメントごとに前記少なくとも１つの特徴の１つの代表単一値を得るよう当該セグメントの全フレームについて前記少なくとも１つの特徴を積分することによって、回転の前及び後で各セグメントの向きを計算することを含む、
付記２に記載の方法。
（付記８）
スライディング・タイム・ウィンドウにわたって前記少なくとも１つの特徴を平滑化するステップ
を更に有する付記１に記載の方法。
（付記９）
前記回転に基づきパラメータの回転角度に従って前記特定された結果から前記映像の向きを特定するステップ
を更に有する付記２に記載の方法。
（付記１０）
前記回転角度は、前記回転に基づくパラメータのサイナスに従って決定される、
付記９に記載の方法。
（付記１１）
前記特定された向きは、前記映像のフレームごとに０°、９０°、−９０°及び１８０°の向きを有する、
付記９に記載の方法。
（付記１２）
映像の向きを特定する装置であって、
前記映像の動きを推定し、
前記映像の前記推定された動きから、平行移動に基づくパラメータを抽出し、
前記平行移動に基づくパラメータに従って、垂直平行移動の展開に対する時間にわたる水平平行移動の展開を与える少なくとも１つの特徴を計算し、前記特徴は前記映像の向きを特定するために使用される、
よう構成されるプロセッサを有する
装置。
（付記１３）
通信ネットワークからダウンロード可能であり、及び／又はコンピュータによって読み出し可能な媒体において記録されており、及び／又はプロセッサによって実行可能であるコンピュータプログラム製品であって、
付記１乃至１１のうちの少なくとも一つに記載される方法のステップを実施するプログラムコード命令を有する
コンピュータプログラム製品。
（付記１４）
プロセッサによって実行されることが可能であって、請求項１乃至１１のうちの少なくとも一項に記載される方法のステップを実施するプログラムコード命令を含むコンピュータプログラム製品が記録されている
非一時的なコンピュータ可読媒体。

Claims (14)

1. 映像の向きを特定する方法であって、
   前記映像の動きを推定するステップと、
   前記映像の前記推定された動きから、平行移動に基づくパラメータを抽出するステップと、
   前記平行移動に基づくパラメータに従って、垂直平行移動の展開に対する時間にわたる水平平行移動の展開を与える少なくとも１つの特徴を計算するステップであって、前記特徴は前記映像の向きを特定するために使用される、前記計算するステップと
   を有する方法。
2. 前記映像の前記推定された動きから、回転に基づくパラメータを抽出するステップと、
   前記回転に基づくパラメータに従って検出された回転によって分けられる少なくとも１つのセグメントに前記映像を分割するステップと、
   前記少なくとも１つのセグメントの夫々にわたる前記少なくとも１つの特徴の積分の関数として前記映像の向きを特定するステップと
   を更に有する請求項１に記載の方法。
3. 前記推定は、前記映像のドミナント・モーションを推定することを含む、
   請求項１に記載の方法。
4. 前記特定された向きは、前記映像のフレームごとに横向き及び縦向きを有する、
   請求項２に記載の方法。
5. 前記推定は、前記映像の動きのパラメトリック近似を各瞬間において計算することを含む、
   請求項１に記載の方法。
6. 前記分割するステップは、前記抽出された回転に基づくパラメータの閾値化を含む、
   請求項２に記載の方法。
7. 前記特定は、セグメントごとに前記少なくとも１つの特徴の１つの代表単一値を得るよう当該セグメントの全フレームについて前記少なくとも１つの特徴を積分することによって、回転の前及び後で各セグメントの向きを計算することを含む、
   請求項２に記載の方法。
8. スライディング・タイム・ウィンドウにわたって前記少なくとも１つの特徴を平滑化するステップ
   を更に有する請求項１に記載の方法。
9. 前記回転に基づきパラメータの回転角度に従って前記特定された結果から前記映像の向きを特定するステップ
   を更に有する請求項２に記載の方法。
10. 前記回転角度は、前記回転に基づくパラメータのサイナスに従って決定される、
    請求項９に記載の方法。
11. 前記特定された向きは、前記映像のフレームごとに０°、９０°、−９０°及び１８０°の向きを有する、
    請求項９に記載の方法。
12. 映像の向きを特定する装置であって、
    前記映像の動きを推定し、
    前記映像の前記推定された動きから、平行移動に基づくパラメータを抽出し、
    前記平行移動に基づくパラメータに従って、垂直平行移動の展開に対する時間にわたる水平平行移動の展開を与える少なくとも１つの特徴を計算し、前記特徴は前記映像の向きを特定するために使用される、
    よう構成されるプロセッサを有する
    装置。
13. 通信ネットワークからダウンロード可能であり、及び／又はコンピュータによって読み出し可能な媒体において記録されており、及び／又はプロセッサによって実行可能であるコンピュータプログラム製品であって、
    請求項１乃至１１のうちの少なくとも一項に記載される方法のステップを実施するプログラムコード命令を有する
    コンピュータプログラム製品。
14. プロセッサによって実行されることが可能であって、請求項１乃至１１のうちの少なくとも一項に記載される方法のステップを実施するプログラムコード命令を含むコンピュータプログラム製品が記録されている
    非一時的なコンピュータ可読媒体。