JP2016517195A - リスト駆動選択プロセスを利用してビデオ及びメディアの時系列的編集を改善する方法及び装置 - Google Patents

Abstract

本方法及び装置は、経時的に並べられたリストにおけるセグメント化されたビデオを表示することにより、セグメント化されたビデオを表示する。本システムは、更に、リストのコンテンツ及び順序を並べ替えることをユーザに許容し、セグメントを結合されたビデオに結合し、リスト中の結合されたセグメントを共有することをユーザに許容するように動作する。

Description

携帯可能な電子デバイスはますますユビキタスになりつつある。モバイルフォン、音楽プレーヤ、カメラ、タブレット等のようなこれらのデバイスは、しばしばデバイスの組み合わせを含み、所有する多くのメディアを豊富にする。例えば、アップルアイフォンやサムソンギャラクシアンドロイドフォンのような現在のタッチスクリーンモバイルフォンは、動画及び静止画カメラ、グローバルポジショニングナビゲーションシステム、インターネットブラウザ、テキスト電話、ビデオ及び音楽プレーヤ等を含む。これらのデバイスは、しばしば、WiFi、有線及び3G等のセルラのような複数のネットワークがデータを送信及び受信することを可能にする。

携帯可能な電子装置の副次的特徴の性能は常に進歩している。例えば、初期の「カメラ付き電話」は、固定焦点レンズでフラッシュが備わってない低解像度センサから構成されていた。現在、多くのモバイルフォンは、フルハイビジョンのビデオ機能、編集及びフィルタリングツールに加えて高解像度ディスプレイを有する。このような改善された機能とともに、多くのユーザは、これらのデバイスを基本的な写真撮影装置として使用している。従って、ますます改善されるパフォーマンス及び高性能に改善された撮影ツールに対する要請が存在する。更に、ユーザは、単に写真を印刷した形式以上の方法で各自のコンテンツを他者と共有することを希望する。これらの共有方法は、電子メール、テキスト又はソーシャルメディアウェブサイト(例えば、フェースブック、ツイッタ、ユーチューブ等)を含む。

ユーザはビデオコンテンツを他者と簡易に共有することを希望するかもしれない。現在、ユーザは、ユーチューブ等のようなソーシャルメディアサイト又はビデオストレージサイトにコンテンツをアップロードする必要がある。しかしながら、ビデオが長すぎる場合、ユーザは、コンテンツをアップロードする準備のために、個々のプログラム(番組)にコンテンツを編集する必要がある。一般にこれらの機能はモバイルデバイスでは利用可能ではないので、ユーザは、先ず、編集を実行するためにコンピュータにコンテンツをダウンロードしなければならない。これはしばしばユーザのスキルを超えてしまったり或いは作業に過剰に長い時間と労力を必要としたりするので、しばしばユーザはビデオコンテンツを共有することを断念してしまう。従って、モバイル電子デバイスに組み込まれる現在のカメラ及びソフトウェアに関するこれらの問題を克服することが望まれる。

本方法及び装置はメディアコンテンツ及びビデオセグメントのグラフィックリストを生成する。

本発明の一形態による装置は、複数のビデオデータのソースと、前記複数のビデオデータを時系列順に従うリストにおいて順序付けること、第1のユーザコマンドに応じて、前記リスト内の前記複数のビデオデータの順序を再び順序付けること、及び、第2のユーザコマンドに応じて、前記複数のビデオデータのうち少なくとも2つを結合し、結合されたビデオファイルを生成することを行うように動作するプロセッサと、前記結合されたビデオファイルを保存するように動作するメモリとを有する。

本発明の別の形態によれば、セグメント化されたビデオを表示する方法は、複数のビデオデータを受信するステップと、前記複数のビデオデータを時系列順に従うリストにおいて順序付けるステップと、前記リストを表示するステップと、第1のユーザコマンドに応じて、前記リスト内の前記複数のビデオデータの順序を再び順序付けるステップと、第2のユーザコマンドに応じて、前記複数のビデオデータのうち少なくとも2つを結合し、結合されたビデオファイルを生成するステップとを有する。

本発明の更に別の形態による方法は、第1のビデオファイルを受信するステップと、前記第1のビデオファイルを複数のビデオデータにセグメント化するステップと、前記複数のビデオデータを時系列順に従うリストにおいて順序付けるステップと、前記リストを表示するステップと、第1のユーザコマンドに応じて、前記リスト内の前記複数のビデオデータの順序を再び順序付けるステップと、第2のユーザコマンドに応じて、前記複数のビデオデータのうち少なくとも2つを結合し、結合されたビデオファイルを生成するステップとを有する。

本開示のこれら及び他の形態、特徴及び利点は、添付図面に関連して理解されるべき好ましい実施形態についての以下の詳細な記述により説明され明らかになるであろう。

図中、各図を通じて同様な参照番号は同様な要素を示す。
モバイル電子デバイスの例示的な形態についてのブロック図を示す。 本発明によるアクティブディスプレイを有する例示的なモバイルデバイスの表示を示す。 本開示による画像の安定化及びリフレーム化のための例示的なプロセスを示す。 本発明による初期捕捉を行う例示的なモバイルデバイスの表示400を示す。 本開示による画像又はビデオ取得を開始するための例示的なプロセス500を示す。 本発明の一形態による自動ビデオセグメンテーションの一形態を示す。 本発明によりビデオをセグメント化する方法700を示す。 本発明の一形態によるライトボックスアプリケーションを示す。 ライトボックスアプリケーションにおいて実行可能な様々な操作例を示す。

ここで説明される実施例は本発明の好ましい実施形態を示し、そのような実施例は如何なる方法によっても本発明の範囲を限定するように解釈されるべきでない。

図1を参照すると、モバイル電子デバイスの一形態のブロック図が示されている。描かれているモバイル電子デバイスはモバイルフォン100であるが、本発明は、音楽プレーヤ、カメラ、タブレット、グローバルポジショニングナビゲーションシステム等のような任意の様々なデバイスでも同様に実現されてよい。モバイルフォンは、典型的には、電話呼及びテキストメッセージを送受信する機能、セルラネットワーク又はローカルネットワークを介してインターネットに対するインタフェースの機能、写真及びビデオを撮影する機能、音声及び映像コンテンツを再生する機能、及び、ワードプロセッサ、プログラム及びビデオゲームのようなアプリケーションを実行する機能を含む。多くのモバイルフォンは、GPSを含み、ユーザインタフェースの一部としてタッチスクリーンパネルを含む。

モバイルフォンはメインプロセッサ150を含み、メインプロセッサ150は他の多くのコンポーネントの各々に結合される。メインプロセッサ又はプロセッサは、ネットワークインタフェース、カメラ140、タッチスクリーン170及び他の入力/出力I/Oインタフェース180等のような様々なコンポーネントの間で情報をルーティングする。メインプロセッサ150は、デバイスにおいて直接的に、或いは、オーディオ/ビデオインタフェースを介して外部デバイスにおいて再生するオーディオ及びビデオコンテンツを処理する。メインプロセッサ150は、カメラ140、タッチスクリーン170及びUSBインタフェース130等のような様々な二次的デバイス(サブデバイス)を制御するように動作する。メインプロセッサ150は、コンピュータと同様に、データを操作するために使用されるモバイルフォン内のサブルーチンを実行するように更に動作する。例えば、メインプロセッサは、カメラ機能140により写真が撮影された後に、画像ファイルを操作するために使用されてもよい。これらの操作は、トリミング、圧縮、色及び輝度の調整などを含んでもよい。

セルネットワーク110は、メインプロセッサ150により制御され、セルラ無線ネットワークを介して情報を受信及び送信するために使用される。その情報は、時分割多重接続(TDMA)、符号分割多重接続(CDMA)又は直交周波数分割多重(OFDM)などのような様々なフォーマットでエンコードされてよい。情報はセルネットワーク110を介してデバイスにより送受信される。インタフェースは、複数のアンテナエンコーダ、及び、情報を通信に適切なフォーマットにエンコード及びデコードするために使用される及びデモジュレータ等を有してもよい。セルネットワーク110は、音声又はテキストの送信を促すため、或いは、インターネットに及びインターネットから情報を送信及び受信するために使用されてよい。この情報はビデオ、オーディオ又は画像を含んでよい。

無線ネットワークインタフェース120又はwifiネットワークインタフェースは、wifiネットワークを介して情報を送受信するために使用される。この情報は、802.11g、802.11b、802.11ac等のような様々なwifi標準規格に従う様々なフォーマットでエンコードされることが可能である。インタフェースは、複数のアンテナエンコーダ、及び、情報を送信に適したフォーマットにエンコードし及び情報を復調に適したフォーマットにデコードするデモジュレータ等を有してよい。wifiネットワークインタフェース120は、音声又はテキストの送信を促すため、或いは、インターネットに及びインターネットから情報を送信及び受信するために使用されてよい。この情報はビデオ、オーディオ又は画像を含んでよい。

ユニバーサルシリアルバス(USB)インタフェース130は、ワイヤ等を介して、典型的にはコンピュータ又は他のUSB対応デバイスに対して情報を送受信するために使用される。USBインタフェース120は、情報を送受信し、インターネットに接続し、音声及びテキスト呼を送信及び受信するために使用される。更に、この有線リンクは、モバイルデバイスのセルネットワークインタフェース110又はwifiネットワークインタフェース120を用いて、USB対応デバイスを他のネットワークに接続するために使用されてよい。USBインタフェース120は、コンフィギュレーション情報をコンピュータとの間で送受信するためにメインプロセッサ150により使用されることが可能である。

メモリ160又はストレージデバイスは、メインプロセッサ150に結合される。メモリ160は、モバイルデバイスの動作に関連しかつメインプロセッサ150に必要な特定の情報を保存するために使用されてよい。メモリ160は、ユーザにより保存される及び取り出されるオーディオ、ビデオ、写真又は他のデータを保存するために使用されてよい。

入力出力(I/O)インタフェース180は、電話呼、オーディオ記録及び再生、或いは、音声駆動制御などに使用するためのボタン、スピーカ/マイクロフォンを含む。モバイルデバイスは、タッチスクリーン170を介してメインプロセッサ150に結合されるタッチスクリーン170を含んでもよい。タッチスクリーン170は、容量性及び抵抗性のタッチセンサの1つ以上を利用する単独のタッチスクリーン又は複数のタッチスクリーンであってもよい。スマートフォンは追加的なユーザ制御部を含んでもよく、ユーザ制御部は、例えば、オン/オフボタン、起動ボタン、ボリューム制御部、リンガー制御部、マルチボタンキーパッド又はキーボード等であるがこれらに限定されない。

図2を参照すると、本発明によるアクティブディスプレイ200を有する例示的なモバイルデバイスの表示が示されている。例示的なモバイルデバイスのアプリケーションは、撮影し、撮影の間にデバイスのビューファインダに最終的な出力を重ねて表示し、最終的な出力の向きを最終的に調整する間に、任意のフレームで記録を行いかつ各自のデバイスを自由に回転することをユーザに許容するように動作可能である。

例示的な実施形態によれば、ユーザが撮影を開始する場合に、その現在の向きが考慮に入れられ、デバイスのセンサに基づく重力ベクトルを利用して水平方向を記録する。デバイスのスクリーン及び関連する光学センサが横長ではなく縦長であるポートレート210や、デバイスのスクリーン及び関連する光学センサが縦長ではなく横長のランドスケープ250のような各々の可能な向きに関し、最適なターゲットアスペクト比が選択される。所与の(現在の)向きに関し、所望の最適アスペクト比で、センサの最大の境界に最も合致する挿入矩形(inset rectangle)225がセンサ全体の中に内接させられる(組み込まれる)。センサの境界は、調整のための「余白(breathing room)」を設けるために僅かに詰め込まれている。この挿入矩形225は、デバイス所有者による回転と基本的には逆に回転することにより、回転220、230、240を補うように変換され、回転はデバイスの内蔵ジャイロスコープによりサンプリングされる。変換された挿入矩形225は、センサ全体からパディング(詰め込まれた部分)を除外したうちの利用可能な最大境界の内側に最適に内接させられる。デバイスの現在の大凡の方向に応じて、変換される内側の四角形225の大きさは、回転量に対して、2つの最適アスペクト比の間で挿入されるように調整される。

例えば、ポートレートの向きについて選択される最適アスペクト比が正方形的(1:1)であり、ランドスケープの向きについて選択される最適アスペクト比が横長(16:9)である場合、組み込まれる四角形は、ある方向から別の方向へ回転される場合に、1:1ないし16:9の間で最適に挿入される。組み込まれる四角形は、サンプリングされ、最適な出力寸法に合わせて変換される。例えば、最適な出力寸法が4:3であり、サンプリングされた四角形が1:1である場合、サンプリングされた四角形は、アスペクトフィルド(aspect-filled)(必要に応じてデータを切り取りながら、1:1領域を最適に完全に埋め込む)又はアスペクトフィット(aspect fit)(未使用領域を「文字枠(letter boxing)」又は「柱状枠(pillar boxing)」により黒くして、1:1領域を最適に完全に埋め込む)により処理される。最終的に、結果は固定アスペクトアセット(fixed aspect asset)になり、コンテンツフレームは、補正の間に動的に提供されたアスペクト比に基づいて調整される。従って、例えば、1:1ないし16:9コンテンツにより形成される16:9コンテンツは、最適に埋め込まれるもの260(16:9の部分内)と柱状枠を伴うもの250(1:1の部分内)との間で変動する。

全ての動きの総合が考慮されかつ最適アスペクト比の選択により重み付けされる追加的な微調整が実行される。例えば、「ランドスケープ」コンテンツが多くポートレートコンテンツは少ないビデオをユーザが記録している場合、出力フォーマットはランドスケープアスペクト比となるであろう(ポートレートセグメントを柱状ボックス化する)。ユーザが多くはポートレートであるビデオを記録する場合には、他方の処理が適用される(ビデオはポートレートであり、出力矩形の境界の外に出るランドスケープコンテンツをトリミングし、出力を最適に埋め込む)。

図3を参照すると、本開示による画像の安定化及びリフレーム化のための例示的なプロセス300が示される。本システムは、カメラの捕捉モードが初期化されることに応じて開始される。この初期化は、ハードウェア又はソフトウェアボタンに応じて、或いは、ユーザの操作に応じて生成される他の制御信号に応じて開始されてもよい。デバイスの捕捉モードが初期化されると、モバイルデバイスのセンサが、ユーザの選択に応じて選択される(320)。ユーザの選択は、タッチスクリーンデバイスにおける設定により、メニューシステムにより、或いは、何れのボタンが起動したかに応じてなされてもよい。例えば、1回押されたボタンは写真センサを選択することであり、連続的に押され続けたボタンはビデオセンサを示してもよい。更に、例えば3秒間のような所定の時間にわたってボタンを維持することは、ビデオが選択され、ボタンが次回起動されるまで、モバイルデバイスにおけるビデオ記録が続くことを示してもよい。

適切な捕捉センサが選択されると、次にシステムは回転センサによる測定を要求する(330)。回転センサは、ジャイロスコープ、加速度計、軸方向センサ、光センサ等であってよく、モバイルデバイスの位置の水平及び/又は垂直方向の指標を決定するために使用される。測定センサは周期的に測定値を制御プロセッサに送信し、これにより、モバイルデバイスの水平及び/又は垂直方向を継続的に示す。従って、デバイスが回転すると、制御プロセッサは、表示を継続的に更新し、継続的に符合する(一貫した)水平方向を有するようにビデオ又は画像を保存する。

回転センサがモバイルデバイスの水平及び/又は垂直方向の指標を返した後に、モバイルデバイスは、ビデオ又は画像の捕捉方向を示す挿入矩形をディスプレイに表現する(340)。モバイルデバイスが回転するにつれて、システムプロセッサは、回転センサから受信した回転測定値に挿入矩形を継続的に適合させる(350)。ユーザは、選択的に、1:1、9:16、16:9或いはユーザにより指定される任意の比率のような好みの最終的なビデオ又は画像の比率を指定してもよい。システムは、モバイルデバイスの向きに従って、様々な比率に対するユーザの選択を保存してもよい。例えば、ユーザは、縦向きに記録されるビデオについては1:1の比率を指定するが、横向きに記録されるビデオについては16:9の比率を指定してもよい。この場合、システムは、モバイルデバイスが回転されるにつれて、連続的又は徐々にビデオをスケーリングし直す(360)。従って、ビデオは1:1の向きでスタートするかもしれないが、撮影中に、垂直方向から水平方向へユーザが回転することに応じて、最終的には16:9の比率に徐々に再スケーリングされる。選択的に、ユーザは、開始方向又は終了方向がビデオの最終的な比率を決定することを指定してもよい。

図4を参照すると、本発明による初期捕捉を行う例示的なモバイルデバイスの表示400が示されている。例示的なモバイルデバイスは、画像又はビデオを取得するタッチトーンディスプレイを有するように示される。本発明の一形態によれば、例示的なデバイスの捕捉モード(キャプチャモード)は、複数の動作に応じて開始されてもよい。捕捉シーケンスを起動するために、モバイルデバイスの任意のハードウェアボタン410が押下されてもよい。代替的に、捕捉シーケンスを起動するためにタッチスクリーンによりソフトウェアボタン420が起動されてもよい。ソフトウェアボタン420は、タッチスクリーンに表示される画像430に重ねられてもよい(オーバーレイされてもよい)。画像430は、画像センサにより取得される現在の画像を示すビューファインダとして機能する。上述した挿入矩形440は、捕捉される画像又はビデオのアスペクト比を示すために画像にオーバーレイされてもよい。

図5を参照すると、本開示による画像又はビデオ取得を開始するための例示的なプロセス500が示されている。イメージングソフトウェアが起動されると、システムは画像捕捉を開始する合図(又は指示)を待機する。画像捕捉の指示がメインプロセッサにより受信されると、デバイスは画像センサから送信されるデータを保存し始める(510)。更に、システムはタイマを起動する。そして、システムは、画像センサからのデータをビデオデータとして保存し続ける。捕捉は停止されることを示す、捕捉指示以降の第2指示に応じて、システムは画像センサからのデータを保存することを停止し、タイマを停止する。

システムは、次に、タイマ値を所定のタイマ閾値と比較する(540)。所定のタイマ閾値は、ソフトウェアプロバイダにより決定されるデフォルト値(例えば、1秒)であってもよいし、或いは、ユーザにより決定される変更可能な設定であってもよい。タイマ値が所定の閾値未満である場合(540)、システムは、静止画が望まれていたと判断し、捕捉したビデオの第1フレームを、例えばjpeg等のような静止画像フォーマットで静止画として保存する(560)。選択的に、システムは別のフレームを静止画として選択してもよい。タイマ値が所定の閾値より大きい場合(540)、システムは、ビデオ取得が望まれていたと判断する。システムは、捕捉したデータを、例えばmpeg等のようなビデオフォーマットでビデオファイルとして保存する。そして、システムは初期化モードに戻り、捕捉モードが再び初期化されるのを待機する。モバイルデバイスが、静止画捕捉及びビデオ捕捉のための異なるセンサを備えている場合、システムは、選択的に、静止画像センサからの静止画を保存し、かつ、ビデオ画像センサからの捕捉データを保存し始めてもよい。タイマ値が所定のタイマ閾値と比較される場合、所望のデータは保存されるが、不要なデータは保存されない。例えば、タイマ値が時間閾値を超える場合、ビデオデータは保存され、画像データは破棄される。

図6を参照すると、自動ビデオセグメンテーションの一例600が示される。システムは、セグメントにスライスされるビデオを演算して出力することを目指す自動ビデオセグメンテーションを指向し、セグメントは所定の時間間隔に可能な限り近い秒数である。更に、セグメントは、セグメント化されるビデオの属性に応じて、より長い或いはより短い依存性を有していてもよい。例えば、話している言葉の途中のような不適切な箇所でコンテンツを分断することは望ましくない。タイムライン610は、9つのセグメント(1-9)にセグメント化されたビデオを表すように示される。セグメントの各々は近似的に8秒の長さである。オリジナルの(本来の)ビデオは少なくとも1分ないし4秒の長さを有してもよい。

この例示的な形態において、各々のビデオセグメントについて選択される時間間隔は8秒である。この最初の時間間隔は、より長くてもよいし或いはより短くてもよく、或いは、選択的にユーザにより設定可能であってもよい。様々なネットワークタイプに対するダウンロードに妥当なデータ伝送サイズを有する管理可能なデータセグメントを現在のところ表現する等の理由により、8秒に基づく時間間隔が選択されている。近似的に8秒間のクリップは、モバイルプラットフォームで検索の形式で配信されるビデオコンテンツの単独クリップをエンドユーザが吟味することを期待する合理的な平均持続時間を有する。近似的に8秒のクリップは、知覚的に記憶しやすい時間期間であり、理論上、エンドユーザは表示されるコンテンツについての多くの適切な視覚的な記憶を保持することができる。更に、8秒は、1分当たり120ビートで8ビートのフレーズ長偶数個であり、現代の西洋音楽で最も一般的なテンポである。これは、近似的に、(音楽のテーマ又はセクションの全体を包含する時間期間の)最も一般的なフレーズ長である4バー(16ビート)の短いフレーズの期間である。このテンポは、平均的な活動する心拍に知覚的にリンクされ、動作及び活動を示唆し、注意を喚起する。更に、より短い既存のサイズのクリップを利用することは、所与の仮定に基づいて簡易な帯域幅計算を促し、その仮定の下では、ビデオ圧縮レート及び帯域幅は、例えば1秒当たりメガビットのように、一般に8に基づく数に関して算出され、ここで8メガビット=1メガバイトであり、従って、毎秒1メガビットでエンコードされる場合、ビデオの各セグメントは約1メガバイトになる。

図7を参照すると、本発明によりビデオをセグメント化する方法700が示されている。知覚的に適切な編集の境界に基づいてビデオコンテンツを理想的には8秒のセグメントに手続的に分断するために、ビデオコンテンツを分析する多くのアプローチがシステム内で適用されてもよい。先ず、ビデオコンテンツの性質に関連し、それが別のアプリケーションに由来するのか或いは現在のモバイルデバイスを用いて記録されたかについての判断が最初になされる(720)。別のソース又はアプリケーションに由来する場合、シーンブレイク検出(場面の切り替わりの検出)を用いて、明示的な編集境界について、ビデオコンテンツは先ず分析される(725)。所望の8秒間隔の場所又は最も近い場所の境界を強調して、何らかの統計的に重要な境界がマークされる(730)。ビデオコンテンツが現在のモバイルデバイスを用いて記録されていた場合、センサデータは記録しながらログをとってもよい(735)。これは、デバイスの加速度計による全ての軸に関するデバイスの運動及び/又はデバイスのジャイロスコープに基づく全ての軸に関するデバイスの回転についての差分又はデルタ(delta)を含む。記録されたデータは、運動の始まり又はオンセット(onset)や、所与の任意のベクトルに関する大きさの時間平均に対する統計的に重要なデルタを検出するために分析される。これらのデルタは、所望の8秒間隔に最も近い境界で強調しながら記録される(740)。

ビデオコンテンツは、編集の選択を通知することが可能な追加的な合図(キュー)を、知覚的に更に分析されることが可能である。デバイスのハードウェア、ファームウェア又はOSが、何らかの内蔵された関心領域(ROI)検出の機能(顔ROI選択を含む)を提供する場合、シーンの中で何らかのROIをマークするためにそれが使用されてもよい(745)。これらのROIのオンセットの登場又は消滅(すなわち、それらがフレームに登場する及びフレームから消える場合の最も近くの動き)は、所望の8秒インターバルに最も近い境界で強調しながら記録されることが可能である。

全体的な振幅に関するオーディオベースのオンセット検出は、ゼロ交差、ノイズフロア又は動作中の平均電力レベルに対する振幅の統計的に重要な変化(増加又は減少)を探索する(750)。統計的に重要な変化は、所望の8秒間隔に最も近いものに関する強調とともに記録される。スペクトルバンド範囲内の振幅に関するオーディオベースのオンセット検出は、FETアルゴリズムを利用して音声信号を多数の重複するFETビンに変換することを前提にする。変換されると、各々のビンは、各自の動作中の平均に対する統計的に重要な振幅変化について、個別的に分析される。全てのビンはともに平均化され、全てのバンドにわたって最も統計的に重要な結果が、所望の8ビット間隔に最も近いものに関する強調とともに、オンセットとして記録される。この方法に関し、オーディオは、あるバンドを選択的にエンファシス(強調)/デエンファシスするためにコムフィルタを用いて事前に処理されることが可能であり、例えば、通常の人間が喋る範囲内のバンドは強調される一方、ノイズを伴う高周波バンドの音はデエンファシスされることが可能である。

適切なセグメンテーションポイントを設定することを支援するために、ビデオコンテンツに関し、コンテンツ内の平均的な運動の視覚的な分析を判定することが可能である(755)。リアルタイムのパフォーマンス特性に必要な限られたフレーム分解能及びサンプリングレートにおいて、フレーム内の平均運動の大きさが、統計的に重要な時間的な変化を探索するために決定及び使用され、所望の8秒間隔に最も近いものに関する強調とともにその結果を記録する。追加的に、コンテンツの平均的な色及び輝度が、記録される単独の低解像度分析を利用して決定することが可能であり、所望の8秒間隔に最も近いものに関する強調とともにその結果を記録する。

上記の分析の全部又は何れかが完了すると、最終的に記録された出力が分析され、全体的な平均値に関して各々の結果を重み付けする(760)。分析データの事後処理を通過したものは、個々の全ての分析プロセスの重み付け及び平均化された結果に基づいて時間的に最も実行可能な(viable)ポイントを見出す。所望の8秒間隔における又は最も近い最終的な最も強い平均ポイントは、分断編集判断のためのモデルを形成する出力として算出される。

事後処理ステップ760は、好ましいセグメント化ポイントの目印としてビデオにマークされた上記のポイントのうちの全部又は一部と考えてよい。異なる判断要因が主も付けされてもよい。また、例えば8秒のような好ましいセグメント長から過剰に遠い決定ポイントは、好ましいセグメント長に近いものよりも小さく重み付けされてもよい。

図8を参照すると、本発明の一形態によるライトボックスアプリケーション800が示されている。ライトボックスアプリケーションは、リス得度失せたくプロセスを利用して、ビデオ及びメディアの時間に基づく編集を改善する方法及びシステムを指向する。ライトボックスアプリケーションは、垂直(縦)方向810及び水平(横)方向820の双方について示されている。ライトボックスアプリケーションは、セグメント化されたビデオが保存された後に起動されてもよい。代替的に、ライトボックスアプリケーションは、ユーザコマンドに応じて起動されてもよい。各々のセグメントは、始めに、各々について生成されるプレビューとともに時間順にリスト化される。プレビューは、ビデオセグメントから取得される単独の画像、或いは、ビデオセグメントの一部分であってもよい。追加的なメディアコンテンツ又はデータが、ライトボックスアプリケーションに追加されることが可能である。例えば、他のソースから受信した写真又はビデオが、ライトボックスリストに含められ、受信したコンテンツを共有又は編集すること、或いは、それら受信したコンテンツを新たに生成したコンテンツに結合することを、ユーザに許容してもよい。すなわち、このアプリケーションは、ビデオ及びメディアの時間ベースの編集を、簡易なリスト駆動選択プロセスにすることを許容する。

ライトボックスアプリケーションは、編集判断を共有するための中心的なポイントとして使用されてもよい。ライトボックスは、簡易かつ容易に、コンテンツを眺め、何を保持するか、何を破棄するか、何時どのように他と共有するかを判断することを、ユーザに許容する。ライトボックスの機能は、カメラとともに、チャネル閲覧とともに、或いは、他の場所からメディアを取り込むポイントとして動作してよい。ライトボックスの表示は、最近のメディア又はグループ化されたメディア群のリストを含んでよい。アイテム、画像又はビデオの各々は、キャプション(説明文)、持続時間、及び可能なグループ数とともにサムネイルとして表示される。キャプションは自動的に又はユーザにより生成されてもよい。メディアコンテンツのペース(pace)及びウエイトをユーザに提示するために、持続時間は簡略化されてもよい。ライトボックスタイトルバーは、「戻る」、「アイテムを取り込む」又は「メニューを開く」ためのナビゲーションとともに、アイテム数を有するライトボックスセットのカテゴリを含む。

ライトボックスのランドスケープ表示820は異なるレイアウトを提示し、メディアアイテムを一方の側にリスト化し、選択的に、何らかの速やかに評価可能な形式で共有方法を他方の側に示す。これは、フェースブック、ツイッタ又は他のソーシャルメディアアプリケーションのリンク又はプレビューを含んでもよい。

図9を参照すると、ライトボックスアプリケーションにおいて実行可能な様々な操作例900が示される。例えば、内蔵のカメラ機能により取得された、(おそらくは、他のアプリケーションにより記録又は作成された)デバイスの既存のメディアライブラリから取り込まれた、ウェブベースのソースからダウンロードされた、或いは、関連するアプリケーションにおいて直接的に公表されるコンテンツから作成されたメディアは、すべて、プレビューモードでライトボックスに収集される(905)。ライトボックスは、例えば、メディアが収集された時間によるグループ化のように、イベントに基づいてグループに分類される簡易な縦型リストでメディアを提示する。各々のアイテムは、サムネイル又は所与のメディア部分についての簡略形式の持続時間を含むリスト行により表現される。何らかのアイテムをタップすることにより、そのアイテムに直接関係するものを表示する拡張パネルでメディアがプレビューされることが可能である。

ライトボックスアプリケーションは、選択的に、アイテムをプレビューする拡張されたアイテム表示910を有してもよい。拡張されたアイテム表示910は、メディアアイテム、説明文及びその共有の仕方を処理する選択肢を明らかにする。クローズボタンをタップするとアイテムを閉じ、或いは、その下の別アイテムをタップするとそのアイテムを閉じて別アイテムを開く。

ライトボックスアプリケーションの中でスクロールアップ又はダウンすることは、ユーザが、メディアアイテムをナビゲートすることを許容する(915)。ヘッダは、リストのトップに残り、或いは、コンテンツの上に浮いていてもよい。リストの最後までスクロールすることは、ナビゲーションを、他の古いリストに移す(920)。ドラッグ中に受ける力の下で、より古いリストの見出しが現れてもよい。力を加えてドラッグして動かすことは、他の古いリストに移ることになる。アイテムを保持してドラッグすることは、アイテムを並べ替えること、或いは、あるものを別のものにドラッグすることによりアイテムを結合することを、ユーザに許容する(925)。アイテムを左側にスワイプすることは、そのアイテムをリストボックスから削除する。アイテムの削除は、単にライトボックスアプリケーションからの削除ではなく、デバイスからの削除であってもなくてもよい。アイテムをドラッグして他のアイテムに落とすことは、それらのアイテムをグループ化すること、或いは、ドラッグされたアイテムをグループに加えることをユーザに許容する(935)。複数のアイテムを一緒にはさむことは、はさんだ範囲内の全てのアイテムをグループに結合する(940)。結合されたアイテムをプレビューする場合、それらは順番に再生し、プレビューウィンドウの下に、結合されたアイテムを拡大するために、タップ可能なアイテム数を表示する(945)。標準のライトボックスアイテムは、拡大されるアイテムが行として表示されるように押し下げられてもよい。

ライトボックスアプリケーションにおいてアイテムをドラッグすることにより、アイテムを操作することが可能である。例えば、何らかの左側にドラッグすることにより、そのアイテムは、ライトボックスアプリケーションから削除されることが可能である。何らかのアイテムを右側にドラッグすることにより、そのアイテムは速やかに公表されるように促されることが可能であり(950)、スクリーンに移行すると、1つ以上の共有ロケーションで所与のアイテムのメディアを共有することをユーザに許容する(955)。プレビューする場合に共有ボタンをタップすると、そのアイテムの共有はイネーブルになる。何らかのアイテム上でホールドして押し続けることにより、それはドラッグ可能になり、そのポイントでそのアイテムはリスト全体の中でその場所を編成し直すように上下にドラッグされることが可能である。リストにおける時間は、上から下に縦向きに表示される。例えば、最上位のアイテムは時間的に最初であり、順番的に最初に実行さるメディアである。任意のアイテムグループ全体が(単一のイベントヘッダの配下であることを維持して)、まとめてプレビューされる(時間順に全てのアイテムを含む単独のプレビューとして順番に再生される)ことが可能であり、単一リストアイテムの場合と同じ操作(ジェスチャ)及び同じ仕方で、まとめて削除又は公表されることが可能である。ビデオ又は時間に基づくメディアを含む任意のアイテムをプレビューする場合、再生は、関連するリストアイテムの行を左から右へドラッグすることにより制御されることが可能である。時間的な現在の場所(時点)は、再生中に時間をずらすようにユーザによりドラッグされることが可能な小さなラインによりマークされる。ビデオ又は時間に基づくメディアを含む何らかのアイテムをプレビューする場合に、関連するリストのアイテム行において2本の指で水平にはさむことにより、オリジナルのメディアを最終的な再生出力として整えるために、はさんでドラッグされることが可能な選択範囲が決定される。画像又は静止メディアを含む何らかのアイテムをプレビューする場合に、関連するリストのアイテム行において左から右へ又は右から左へドラッグすることにより、捕捉される何らかの追加的な隣接フレームが選択的に「除外される(scrubbed)」ことが可能である。例えば、単独の写真撮影の間に、カメラが複数フレームの出力を記録得する場合に、この操作は、それらを巡回させ、最良のフレームを最終的な静止フレームとして選択することを、ユーザに許容する。

最近公表された(1つ以上の公表する宛先にアップロードされた)アイテムは、自動的にライトボックスから作成される。時間切れになった(タイムアウトになった)アイテム又は延長されたインアクティブ期間より長く(例えば、何日も)ライトボックスに存続しているアイテムは、ライトボックスリストから自動的にクリア(削除)される。ライトボックスメディアは、デバイス上の中心的なユビキタスなストレージのロケーションに構築され、同じライトボックスを組み込む他のアプリケーションが、同じ現在のメディアプール内の全てを共に閲覧できるようにする。これは、複数のアプリケーションが、マルチメディア資産の編集を、簡易にかつ同期して協調できるようにする。

上記に記載及び説明された要素はハードウェア、ソフトウェア又はそれらの組み合わせの様々な形式で実現されてよいことが理解されるべきである。好ましくは、これらの要素は1つ以上の適切にプログラムされる汎用コンピュータにおけるハードウェア及びソフトウェアの組み合わせにおいて実現され、汎用コンピュータはプロセッサ、メモリ及び入力/出力インタフェースを含んでよい。本説明は本開示の原理を示す。ここでは明示的に記述も図示もされていないが本開示の原理を組み込みかつ本願の範囲に包含される様々な形態を、当業者は工夫することが可能であることは、認められるであろう。ここで示される全ての具体例及び条件付きの言葉は、技術を進歩させるために当業者が貢献した概念及び開示の原理を理解する際に読者を支援する情報提供の目的に意図されており、そのような具体的に示される具体例や条件に限定することなく、本発明は解釈されるべきである。更に、本開示の原理、側面及び形態に加えてそれらの特定の具体例を示す本願における全ての説明は、それらの構造的及び機能的双方の均等物を包含するように意図される。更に、そのような均等物は、現在知られている均等物及び将来的に開発される均等物の双方を含み、すなわち構造によらず同じ機能を発揮するように開発される任意の要素を含むように意図される。従って、例えば、本願で提供されるブロック図は、開示の原理を組み込む例示的な回路の概念図を示すことが、当業者に認められるであろう。同様に、フローチャート、流れ図、状態遷移図、擬似コード等の何れもが様々なプロセスを表現することが認められ、そのプロセスは、コンピュータ又はプロセッサが明示的に示されているか否かによらず、コンピュータ読み取り可能な媒体により実質的に表現されかつコンピュータ又はプロセッサにより実質的にそのように実行される。

なお、本願は2013年3月8日付けで出願された米国仮出願第61/775,332号による優先的利益を享受する。

Claims (20)

1. セグメント化されたビデオを表示する方法であって、
   複数のビデオデータを受信するステップと、
   前記複数のビデオデータを時系列順に従うリストにおいて順序付けるステップと、
   前記リストを表示するステップと、
   第1のユーザコマンドに応じて、前記リスト内の前記複数のビデオデータの順序を再び順序付けるステップと、
   第2のユーザコマンドに応じて、前記複数のビデオデータのうち少なくとも2つを結合し、結合されたビデオファイルを生成するステップと、
   を有する方法。
2. 第3のユーザコマンドに応じて、前記複数のビデオデータのうち少なくとも1つを前記リストから除外するステップ
   を更に有する請求項1に記載の方法。
3. 第4のユーザコマンドに応じて、前記結合されたビデオファイルをネットワークを介して送信するステップ
   を更に有する請求項1に記載の方法。
4. 前記送信するステップを完了したことに応じて、前記結合されたビデオファイルを前記リストから除外するステップ
   を更に有する請求項3に記載の方法。
5. 第4のユーザコマンドに応じて、前記複数のビデオデータを再び順序付けるステップ
   を更に有する請求項1に記載の方法。
6. 前記結合されたビデオファイルのプレビューを生成するステップ
   を更に有する請求項1に記載の方法。
7. 複数のビデオデータのソースと、
   前記複数のビデオデータを時系列順に従うリストにおいて順序付けること、第1のユーザコマンドに応じて、前記リスト内の前記複数のビデオデータの順序を再び順序付けること、及び、第2のユーザコマンドに応じて、前記複数のビデオデータのうち少なくとも2つを結合し、結合されたビデオファイルを生成することを行うように動作するプロセッサと、
   前記結合されたビデオファイルを保存するように動作するメモリと、
   を有する装置。
8. 前記第1のユーザコマンド及び前記第2のユーザコマンドを受信し、前記リストを表示するように動作するインタフェースを更に有する請求項7に記載の装置。
9. 前記プロセッサは、第3のユーザコマンドに応じて、前記複数のビデオデータのうち少なくとも1つを前記リストから除外するように更に動作する、請求項7に記載の装置。
10. 前記プロセッサは、第4のユーザコマンドに応じて、前記結合されたビデオファイルをネットワークを介して送信するように更に動作する、請求項7に記載の装置。
11. 前記プロセッサは、前記送信することの完了に応じて、前記結合されたビデオファイルを前記リストから除外するように更に動作する、請求項10に記載の装置。
12. 前記プロセッサは、第4のユーザコマンドに応じて、前記複数のビデオデータを再び順序付けるように更に動作する、請求項7に記載の装置。
13. 前記プロセッサは、前記結合されたビデオファイルのプレビューを生成するように更に動作する、請求項7に記載の装置。
14. 前記リストを表示するディスプレイを更に有する請求項7に記載の装置。
15. 第1のビデオファイルを受信するステップと、
    前記第1のビデオファイルを複数のビデオデータにセグメント化するステップと、
    前記複数のビデオデータを時系列順に従うリストにおいて順序付けるステップと、
    前記リストを表示するステップと、
    第1のユーザコマンドに応じて、前記リスト内の前記複数のビデオデータの順序を再び順序付けるステップと、
    第2のユーザコマンドに応じて、前記複数のビデオデータのうち少なくとも2つを結合し、結合されたビデオファイルを生成するステップと、
    を有する方法。
16. 第3のユーザコマンドに応じて、前記複数のビデオデータのうち少なくとも1つを前記リストから除外するステップ
    を更に有する請求項15に記載の方法。
17. 第4のユーザコマンドに応じて、前記結合されたビデオファイルをネットワークを介して送信するステップ
    を更に有する請求項15に記載の方法。
18. 前記送信するステップを完了したことに応じて、前記結合されたビデオファイルを前記リストから除外するステップ
    を更に有する請求項17に記載の方法。
19. 第4のユーザコマンドに応じて、前記複数のビデオデータを再び順序付けるステップ
    を更に有する請求項15に記載の方法。
20. 前記結合されたビデオファイルのプレビューを生成するステップ
    を更に有する請求項15に記載の方法。
    

Images