JP6694829B2 - ルールに基づくビデオ重要度解析 - Google Patents
ルールに基づくビデオ重要度解析 Download PDFInfo
- Publication number
- JP6694829B2 JP6694829B2 JP2016572515A JP2016572515A JP6694829B2 JP 6694829 B2 JP6694829 B2 JP 6694829B2 JP 2016572515 A JP2016572515 A JP 2016572515A JP 2016572515 A JP2016572515 A JP 2016572515A JP 6694829 B2 JP6694829 B2 JP 6694829B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- frame
- video frame
- importance
- video file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims description 251
- 230000033001 locomotion Effects 0.000 claims description 122
- 210000000887 face Anatomy 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 41
- 230000001815 facial effect Effects 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 7
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 28
- 230000008569 process Effects 0.000 description 26
- 238000004364 calculation method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 12
- 238000005192 partition Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000010224 classification analysis Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 206010044565 Tremor Diseases 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000013477 bayesian statistics method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Picture Signal Circuits (AREA)
Description
図1は、ルールに基づくビデオ解析エンジンを使用してビデオファイルの集合の中のビデオファイルのビデオセクション又はビデオファイルを重要度に基づいてランク付けする一例示的なスキーム100を例示するブロック図である。例示的なスキーム100は、ビデオ解析エンジン102を含み得る。ビデオ解析エンジン102は、1つ以上のコンピューティング装置104上で実行されることができる。1つ以上のコンピューティング装置104には、汎用目的コンピュータ、例えば、デスクトップコンピュータ、タブレットコンピュータ、ラップトップコンピュータ、サーバなどが含まれ得る。しかしながら、他の実施形態において、コンピューティング装置104には、スマートフォン、ゲームコンソール、又は任意の他の電子装置が含まれてもよい。複数のコンピューティング装置104が、様々なプロセッサ、例えば、中央プロセッサユニット(CPU)、グラフィックスプロセッサユニット(GPU)、他のタイプのプロセッサ、又は上記のうち任意のものの組み合わせなどを含み得る。
図2は、ビデオファイルの集合の中のビデオファイルのセクション又はビデオファイルをその重要度に基づいてランク付けするルールに基づくビデオ解析エンジン102の例示的なコンポーネントを示す一例示的な図である。ビデオ解析エンジン102は、1つ以上のコンピューティング装置104によって実装されることができる。コンピューティング装置104は、1つ以上のプロセッサ202、インターフェース204、及びメモリ206を含み得る。プロセッサ202の各々は、シングルコアプロセッサ又はマルチコアプロセッサであり得る。インターフェース204には、ユーザインターフェース及びネットワークインターフェースが含まれ得る。ユーザインターフェースは、データ出力装置(例えば、ビジュアルディスプレイ、オーディオスピーカ)と、1つ以上のデータ入力装置とを含み得る。データ入力装置には、これらに限られないが、キーパッド、キーボード、マウス装置、ジェスチャを受け入れるタッチスクリーン、マイクロフォン、音声又は発話認識装置、及び任意の他の適切な装置又は他の電子/ソフトウェア選択方法のうち、1つ又は複数の組み合わせが含まれ得る。
図4〜図7は、ビデオファイルのルールに基づく重要度解析を実行する様々な例示的処理を説明する。各例示的処理において動作が記載される順序は、限定とみなされることは意図されず、説明される動作のうち任意数が、任意の順序で及び/又は並列に組み合わせられて各処理を実施してもよい。さらに、図4〜図7の各々における動作は、ハードウェア、ソフトウェア、及びこれらの組み合わせにおいて実装され得る。ソフトウェアの文脈において、動作はコンピュータ実行可能命令を表し、該命令は、1つ以上のプロセッサにより実行されるときに、列挙された動作を1つ以上のプロセッサに実行させる。一般に、コンピュータ実行可能命令には、特定機能が実行され又は特定抽象データタイプが実装されることを引き起こすルーチン、プログラム、オブジェクト、コンポーネント、データ構造、及び同様のものが含まれる。
は、ビデオフレームを捕捉したカメラに対面しているか、又はカメラに対して横向きであり得る。上記検出に基づいて、高レベル解析モジュール214は、検出された顔のリストを、ビデオフレーム内におけるその位置、各顔によりカバーされるビデオフレームのエリア、及び検出における信頼度を示す各顔の検出信頼度スコアと共に生成することができる。
最後に、様々な実施形態が構造的特徴及び/又は方法論的動作に固有の言語において説明されたが、別記の表現に定義される対象事項は必ずしも説明された特定の特徴又は動作に限定されないことが理解されるべきである。むしろ、上記特定の特徴及び動作は、請求される対象事項を実施する例示的形態として開示されている。
Claims (10)
- ビデオファイルをデコードして、ビデオフレーム及び該ビデオフレームに関連付けられたオーディオデータを取得することと、
前記ビデオフレーム及び前記ビデオフレームに関連付けられた前記オーディオデータの2つ以上の高レベルの特徴と、前記ビデオフレームの低レベルの特徴とを、局所的ルール及び大局的ルールのうち少なくとも1つに基づいて解析して、前記ビデオフレームの2つ以上の特徴スコアを取得することであって、前記2つ以上の高レベルの特徴は、前記ビデオフレーム内の人間の顔の動き又は位置に関連する少なくとも1つの特徴と、前記オーディオデータが、雑音を含むか、発話を含むか又は音楽を含むかと、を含み、前記低レベルの特徴は、露出品質、彩度品質、色相多様性、ビデオフレームの揺れ、平均明度、色エントロピー、及び隣接するビデオフレーム間におけるヒストグラム差のうち少なくとも1つを含む、ことと、
前記ビデオフレームの前記2つ以上の特徴スコアを組み合わせて、前記ビデオフレームのフレーム重要度スコアを導出することと、
前記ビデオファイルを、前記ビデオフレームの前記フレーム重要度スコアと前記ビデオファイルのさらなるビデオフレームの他フレーム重要度スコアとに少なくとも基づいて、異なるセクション重要度値のビデオセクションに区分することと、
を含む動作をプロセッサに実行させるプログラム。 - 前記動作は、前記セクション重要度値に従って前記ビデオセクションをランク付けすること、をさらに含む、請求項1に記載のプログラム。
- 前記動作は、
前記ビデオファイル内のすべてのビデオフレームの前記フレーム重要度スコアに少なくとも基づいて前記ビデオファイルのビデオ重要度値を算出することと、
前記ビデオファイルの前記ビデオ重要度値とさらなるビデオファイルの他ビデオ重要度値とに少なくとも基づいて、前記さらなるビデオファイルに対して前記ビデオファイルをランク付けすることと、
をさらに含む、請求項1に記載のプログラム。 - 前記解析することは、
前記ビデオフレームに対して顔検出を実行して1つ以上の人間の顔を検出することと、
顔追跡を実行して前記1つ以上の人間の顔を追跡することと、
前記ビデオフレーム内の少なくとも1つの人間の顔の顔サイズ、顔位置、又は1つ以上の顔面特徴に少なくとも基づいて、前記ビデオフレームに否定的スコアバイアス又は肯定的スコアバイアスを割り当てることであって、前記1つ以上の顔面特徴は、前記少なくとも1つの人間の顔内の笑み及び開いた目のうち少なくとも1つの、欠如又は存在を含む、ことと、
前記1つ以上の人間の顔のうち少なくとも1つの人間の顔に対して、顔認識及び顔グループ化のうち少なくとも1つを実行することと、
顔認識データ及び顔グループ化データのうち少なくとも1つに少なくとも基づいて1以上の主要人物を識別することと、
前記ビデオフレーム内における主要人物の存在に対して、前記ビデオフレームにさらなる肯定的スコアバイアスを割り当てることと、
前記否定的スコアバイアスと前記肯定的スコアバイアスとについて考慮する前記ビデオフレームの顔重要度スコアを計算することと、
を含む、請求項1に記載のプログラム。 - ビデオファイルをデコードして、ビデオフレーム及び該ビデオフレームに関連付けられたオーディオデータを取得することと、
前記ビデオフレーム及び前記ビデオフレームに関連付けられた前記オーディオデータの2つ以上の高レベルの特徴と、前記ビデオフレームの低レベルの特徴とを、局所的ルール及び大局的ルールのうち少なくとも1つに基づいて解析して、前記ビデオフレームの2つ以上の特徴スコアを取得することであって、前記2つ以上の高レベルの特徴は、前記ビデオフレーム内の人間の顔の動き又は位置に関連する少なくとも1つの特徴と、前記オーディオデータが、雑音を含むか、発話を含むか又は音楽を含むかと、を含み、前記低レベルの特徴は、露出品質、彩度品質、色相多様性、ビデオフレームの揺れ、平均明度、色エントロピー、及び隣接するビデオフレーム間におけるヒストグラム差のうち少なくとも1つを含む、ことと、
前記ビデオフレームの前記2つ以上の特徴スコアを組み合わせて、前記ビデオフレームのフレーム重要度スコアを導出することと、
前記ビデオファイルのビデオ重要度値を、前記ビデオフレームの前記フレーム重要度スコアと前記ビデオファイルのさらなるビデオフレームの他フレーム重要度スコアとに少なくとも基づいて算出することと、
前記ビデオファイルを、前記ビデオファイル内の複数のビデオフレームに関連付けられた、前記ビデオファイル内の複数のビデオフレームの前記フレーム重要度スコアに少なくとも基づいて、異なるセクション重要度のビデオセクションに区分することと、
前記ビデオファイルの前記ビデオ重要度値とさらなるビデオファイルの他ビデオ重要度値とに少なくとも基づいて、前記さらなるビデオファイルに対して前記ビデオファイルをランク付けすることと、
を含む、コンピュータにより実施される方法。 - 前記ビデオファイルを区分することは、
前記ビデオファイルの前記ビデオフレーム内の特徴点を、前記ビデオフレームの複数のダウンサンプリングされた画像間における共通点を検出することによって、検出することと、
前記ビデオフレーム内の前記特徴点を、前記ビデオファイルの前のビデオフレーム内の特徴点のさらなるセットに対してマッチさせることと、
前記ビデオフレーム間における前記特徴点の動きを説明するホモグラフィ変換マトリクスを算出することと、
前記ホモグラフィ変換マトリクスから前記ビデオフレームのモーションデータを計算することであって、前記モーションデータは、前記特徴点の動きのズーミング及び垂直並進成分の大きさ及び方向を含む、ことと、
前記ビデオフレームの前記モーションデータを、前記ビデオファイル内の1つ以上の残りのフレームのモーションデータと組み合わせることと、
前記ビデオファイル内の前記ビデオフレームの前記モーションデータの移動平均を算出することと、
ゼロ交差ゾーンを確認して、前記移動平均に少なくとも基づいて前記モーションデータの局所的ピーク及び谷情報を見つけることと、
前記ビデオファイルのビデオセクションを、前記モーションデータの前記局所的ピーク及び前記谷情報に少なくとも基づいて決定することと、
を含む、請求項5に記載のコンピュータにより実施される方法。 - 前記解析することは、
ビデオフレームに対して顔検出を実行して1つ以上の人間の顔を検出することと、
顔追跡を実行して前記1つ以上の人間の顔を追跡することと、
前記ビデオフレーム内の少なくとも1つの人間の顔の顔サイズ、顔位置、又は1つ以上の顔面特徴に少なくとも基づいて、前記ビデオフレームに否定的スコアバイアス又は肯定的スコアバイアスを割り当てることであって、前記1つ以上の顔面特徴は、前記少なくとも1つの人間の顔内の笑み及び開いた目のうち少なくとも1つの、欠如又は存在を含む、ことと、
前記1つ以上の人間の顔のうち少なくとも1つの人間の顔に対して、顔認識及び顔グループ化のうち少なくとも1つを実行することと、
顔認識データ及び顔グループ化データのうち少なくとも1つに少なくとも基づいて1以上の主要人物を識別することと、
前記ビデオフレーム内における主要人物の存在に対して、前記ビデオフレームに肯定的スコアバイアスを割り当てることと、
前記否定的スコアバイアスと前記肯定的スコアバイアスとについて考慮する前記ビデオフレームの顔重要度スコアを計算することと、
を含む、請求項5に記載のコンピュータにより実施される方法。 - システムであって、
1つ以上のプロセッサと、
複数の動作を実行するように前記1つ以上のプロセッサにより実行可能である複数のコンピュータ実行可能コンポーネントを含むメモリと、
を含み、前記複数の動作は、
ビデオファイルをデコードして、ビデオフレーム及び該ビデオフレームに関連付けられたオーディオデータを取得することと、
前記ビデオフレーム及び前記ビデオフレームに関連付けられた前記オーディオデータの2つ以上の高レベルの特徴と、前記ビデオフレームの低レベルの特徴とを、局所的ルール及び大局的ルールのうち少なくとも1つに基づいて解析して、前記ビデオフレームの2つ以上の特徴スコアを取得することであって、前記2つ以上の高レベルの特徴は、前記ビデオフレーム内の人間の顔の動き又は位置に関連する少なくとも1つの特徴と、前記オーディオデータが、雑音を含むか、発話を含むか又は音楽を含むかと、を含み、前記低レベルの特徴は、露出品質、彩度品質、色相多様性、ビデオフレームの揺れ、平均明度、色エントロピー、及び隣接するビデオフレーム間におけるヒストグラム差のうち少なくとも1つを含む、ことと、
前記ビデオフレームの前記2つ以上の特徴スコアを組み合わせて、前記ビデオフレームのフレーム重要度スコアを導出することと、
前記ビデオファイルを、前記ビデオファイル内の複数のビデオフレームに関連付けられた、前記ビデオファイル内の複数のビデオフレームの前記フレーム重要度スコアに少なくとも基づいて、異なるセクション重要度のビデオセクションに区分することと、
前記ビデオフレームと前記ビデオファイル内のさらなるビデオフレームとの前記フレーム重要度スコアに少なくとも基づいて算出された、前記ビデオセクションのセクション重要度値に従って、前記ビデオセクションをランク付けすることと、
を含む、システム。 - 前記複数の動作は、
前記ビデオファイル内の前記複数のビデオフレームの前記フレーム重要度スコアに少なくとも基づいて、前記ビデオファイルのビデオ重要度値を算出することと、
前記ビデオファイルの前記ビデオ重要度値とさらなるビデオファイルの他ビデオ重要度値とに少なくとも基づいて、前記さらなるビデオファイルに対して前記ビデオファイルをランク付けすることと、
をさらに含む、請求項8に記載のシステム。 - 請求項1乃至4いずれか一項に記載のプログラムを記憶している記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/303,466 | 2014-06-12 | ||
US14/303,466 US10664687B2 (en) | 2014-06-12 | 2014-06-12 | Rule-based video importance analysis |
PCT/US2015/034992 WO2015191650A1 (en) | 2014-06-12 | 2015-06-10 | Rule-based video importance analysis |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017528016A JP2017528016A (ja) | 2017-09-21 |
JP2017528016A5 JP2017528016A5 (ja) | 2018-06-28 |
JP6694829B2 true JP6694829B2 (ja) | 2020-05-20 |
Family
ID=53488465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016572515A Active JP6694829B2 (ja) | 2014-06-12 | 2015-06-10 | ルールに基づくビデオ重要度解析 |
Country Status (11)
Country | Link |
---|---|
US (1) | US10664687B2 (ja) |
EP (1) | EP3155557A1 (ja) |
JP (1) | JP6694829B2 (ja) |
KR (1) | KR102354692B1 (ja) |
CN (1) | CN106462744B (ja) |
AU (1) | AU2015274708B2 (ja) |
BR (1) | BR112016028586B1 (ja) |
CA (1) | CA2948529A1 (ja) |
MX (1) | MX2016016293A (ja) |
RU (1) | RU2693906C2 (ja) |
WO (1) | WO2015191650A1 (ja) |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016081856A1 (en) * | 2014-11-21 | 2016-05-26 | Whip Networks, Inc. | Media management and sharing system |
US9607224B2 (en) * | 2015-05-14 | 2017-03-28 | Google Inc. | Entity based temporal segmentation of video streams |
US9832484B2 (en) * | 2015-05-20 | 2017-11-28 | Texas Instruments Incorporated | Still block detection in a video sequence |
US9911202B2 (en) * | 2015-08-24 | 2018-03-06 | Disney Enterprises, Inc. | Visual salience of online video as a predictor of success |
US10063872B2 (en) | 2015-09-11 | 2018-08-28 | Facebook, Inc. | Segment based encoding of video |
US10375156B2 (en) | 2015-09-11 | 2019-08-06 | Facebook, Inc. | Using worker nodes in a distributed video encoding system |
US10602153B2 (en) | 2015-09-11 | 2020-03-24 | Facebook, Inc. | Ultra-high video compression |
US10602157B2 (en) | 2015-09-11 | 2020-03-24 | Facebook, Inc. | Variable bitrate control for distributed video encoding |
US10506235B2 (en) | 2015-09-11 | 2019-12-10 | Facebook, Inc. | Distributed control of video encoding speeds |
US10341561B2 (en) * | 2015-09-11 | 2019-07-02 | Facebook, Inc. | Distributed image stabilization |
US10499070B2 (en) | 2015-09-11 | 2019-12-03 | Facebook, Inc. | Key frame placement for distributed video encoding |
US10002435B2 (en) * | 2016-01-29 | 2018-06-19 | Google Llc | Detecting motion in images |
US10402945B2 (en) | 2016-02-18 | 2019-09-03 | Imint Image Intelligence Ab | System and method for video processing |
WO2017176808A1 (en) * | 2016-04-04 | 2017-10-12 | Twitter, Inc. | Live video classification and preview selection |
US10402436B2 (en) * | 2016-05-12 | 2019-09-03 | Pixel Forensics, Inc. | Automated video categorization, value determination and promotion/demotion via multi-attribute feature computation |
US10347294B2 (en) | 2016-06-30 | 2019-07-09 | Google Llc | Generating moving thumbnails for videos |
WO2018017836A1 (en) | 2016-07-21 | 2018-01-25 | Twitter, Inc. | Live video streaming services with machine-learning based highlight replays |
JP6866142B2 (ja) * | 2016-12-09 | 2021-04-28 | キヤノン株式会社 | プログラム、画像処理装置、および画像処理方法 |
JP6948787B2 (ja) * | 2016-12-09 | 2021-10-13 | キヤノン株式会社 | 情報処理装置、方法およびプログラム |
US10734027B2 (en) * | 2017-02-16 | 2020-08-04 | Fusit, Inc. | System and methods for concatenating video sequences using face detection |
EP3396964B1 (en) * | 2017-04-25 | 2020-07-22 | Accenture Global Solutions Ltd | Dynamic content placement in a still image or a video |
EP3396596B1 (en) * | 2017-04-25 | 2020-08-19 | Accenture Global Solutions Limited | Heat ranking of media objects |
EP3396963B1 (en) | 2017-04-25 | 2021-04-07 | Accenture Global Solutions Limited | Dynamic media content rendering |
US10409859B2 (en) * | 2017-05-15 | 2019-09-10 | Facebook, Inc. | Video heat maps personalized for online system users |
CN107437083B (zh) * | 2017-08-16 | 2020-09-22 | 广西荷福智能科技有限公司 | 一种自适应池化的视频行为识别方法 |
CN107578000B (zh) * | 2017-08-25 | 2023-10-31 | 百度在线网络技术(北京)有限公司 | 用于处理图像的方法及装置 |
WO2019070325A1 (en) * | 2017-10-03 | 2019-04-11 | Google Llc | MICRO-VIDEO SYSTEM, FORMAT AND METHOD OF GENERATION |
US10628486B2 (en) * | 2017-11-15 | 2020-04-21 | Google Llc | Partitioning videos |
EP3528196A1 (en) | 2018-02-16 | 2019-08-21 | Accenture Global Solutions Limited | Dynamic content generation |
CN108337535B (zh) * | 2018-03-21 | 2020-12-29 | 广州视源电子科技股份有限公司 | 客户端视频的转发方法、装置、设备和存储介质 |
US10942816B1 (en) * | 2018-09-06 | 2021-03-09 | NortonLifeLock Inc. | Systems and methods for dynamically adjusting a backup policy |
EP3672256A1 (en) | 2018-12-20 | 2020-06-24 | Accenture Global Solutions Limited | Dynamic media placement in video feed |
US11514713B2 (en) * | 2019-05-31 | 2022-11-29 | Apple Inc. | Face quality of captured images |
CN110087145B (zh) * | 2019-06-06 | 2020-04-21 | 北京字节跳动网络技术有限公司 | 用于处理视频的方法和装置 |
US11373407B2 (en) * | 2019-10-25 | 2022-06-28 | International Business Machines Corporation | Attention generation |
CN111125022A (zh) * | 2019-11-15 | 2020-05-08 | 浙江大华技术股份有限公司 | 录像覆盖权重的确定方法、装置、设备和存储介质 |
WO2021174118A1 (en) * | 2020-02-26 | 2021-09-02 | Nvidia Corporation | Object detection using image alignment for autonomous machine applications |
CN114697700B (zh) * | 2020-12-28 | 2024-07-16 | 北京小米移动软件有限公司 | 视频剪辑方法、视频剪辑装置及存储介质 |
CN112995676A (zh) * | 2021-04-25 | 2021-06-18 | 北京金和网络股份有限公司 | 一种音视频压缩方法、装置、设备、***及存储介质 |
US11824653B2 (en) | 2021-12-17 | 2023-11-21 | Lenovo (Singapore) Pte. Ltd. | Radio access network configuration for video approximate semantic communications |
US11917206B2 (en) | 2021-12-17 | 2024-02-27 | Lenovo (Singapore) Pte. Ltd. | Video codec aware radio access network configuration and unequal error protection coding |
US20240096102A1 (en) * | 2022-09-17 | 2024-03-21 | Nvidia Corporation | Freespace detection using machine learning for autonomous systems and applications |
CN115396622B (zh) * | 2022-10-28 | 2023-03-24 | 广东电网有限责任公司中山供电局 | 一种低码率视频重构的电子设备 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001160066A (ja) | 1998-12-25 | 2001-06-12 | Matsushita Electric Ind Co Ltd | データ処理装置、データ処理方法および記録媒体、並びに該データ処理方法をコンピュータに実行させるためのプログラム |
SE9902328A0 (sv) | 1999-06-18 | 2000-12-19 | Ericsson Telefon Ab L M | Förfarande och system för att alstra sammanfattad video |
EP1182584A3 (en) | 2000-08-19 | 2005-12-28 | Lg Electronics Inc. | Method and apparatus for video skimming |
US20020167537A1 (en) | 2001-05-11 | 2002-11-14 | Miroslav Trajkovic | Motion-based tracking with pan-tilt-zoom camera |
US7143352B2 (en) | 2002-11-01 | 2006-11-28 | Mitsubishi Electric Research Laboratories, Inc | Blind summarization of video content |
CN102509031B (zh) | 2003-06-23 | 2014-12-24 | 索尼电影娱乐公司 | 识别媒体来源的方法、加指纹的装置和*** |
DE602004003497T2 (de) | 2003-06-30 | 2007-09-13 | Koninklijke Philips Electronics N.V. | System und verfahren zur erzeugung einer multimedia-zusammenfassung von multimedia-strömen |
JP4453976B2 (ja) | 2004-03-30 | 2010-04-21 | 正彦 谷内田 | 画像生成装置、画像データ列生成システム、及び画像伝送システム |
US8879856B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Content driven transcoder that orchestrates multimedia transcoding using content information |
WO2007073347A1 (en) | 2005-12-19 | 2007-06-28 | Agency For Science, Technology And Research | Annotation of video footage and personalised video generation |
US7836050B2 (en) | 2006-01-25 | 2010-11-16 | Microsoft Corporation | Ranking content based on relevance and quality |
KR100749045B1 (ko) * | 2006-01-26 | 2007-08-13 | 삼성전자주식회사 | 음악 내용 요약본을 이용한 유사곡 검색 방법 및 그 장치 |
US7889794B2 (en) | 2006-02-03 | 2011-02-15 | Eastman Kodak Company | Extracting key frame candidates from video clip |
US20080019661A1 (en) | 2006-07-18 | 2008-01-24 | Pere Obrador | Producing output video from multiple media sources including multiple video sources |
US8200063B2 (en) | 2007-09-24 | 2012-06-12 | Fuji Xerox Co., Ltd. | System and method for video summarization |
JP2009118009A (ja) | 2007-11-02 | 2009-05-28 | Sony Corp | 撮像装置、その制御方法およびプログラム |
EP2112619B1 (en) | 2008-04-22 | 2012-07-25 | Universität Stuttgart | Video data processing |
US8364698B2 (en) * | 2008-07-11 | 2013-01-29 | Videosurf, Inc. | Apparatus and software system for and method of performing a visual-relevance-rank subsequent search |
JP4645707B2 (ja) | 2008-09-01 | 2011-03-09 | ソニー株式会社 | コンテンツデータ処理装置 |
US8145648B2 (en) | 2008-09-03 | 2012-03-27 | Samsung Electronics Co., Ltd. | Semantic metadata creation for videos |
US8195038B2 (en) | 2008-10-24 | 2012-06-05 | At&T Intellectual Property I, L.P. | Brief and high-interest video summary generation |
JP4623201B2 (ja) | 2008-10-27 | 2011-02-02 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP5247356B2 (ja) | 2008-10-29 | 2013-07-24 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
JP2011040860A (ja) | 2009-08-07 | 2011-02-24 | Nikon Corp | 画像処理装置及び画像処理プログラム |
US8553982B2 (en) * | 2009-12-23 | 2013-10-08 | Intel Corporation | Model-based play field registration |
CN101853286B (zh) | 2010-05-20 | 2016-08-10 | 上海全土豆网络科技有限公司 | 视频缩略图智能选取方法 |
US8619150B2 (en) | 2010-05-25 | 2013-12-31 | Intellectual Ventures Fund 83 Llc | Ranking key video frames using camera fixation |
US8599316B2 (en) | 2010-05-25 | 2013-12-03 | Intellectual Ventures Fund 83 Llc | Method for determining key video frames |
US8665345B2 (en) | 2011-05-18 | 2014-03-04 | Intellectual Ventures Fund 83 Llc | Video summary including a feature of interest |
US8649558B2 (en) * | 2011-05-31 | 2014-02-11 | Wisconsin Alumni Research Foundation | Video processing with region-based warping |
CN102263907B (zh) | 2011-08-04 | 2013-09-18 | 央视国际网络有限公司 | 比赛视频的播放控制方法及其片段信息的生成方法和装置 |
WO2013030634A1 (en) | 2011-08-31 | 2013-03-07 | Rocks International Group Pte Ltd | Virtual advertising platform |
US8873813B2 (en) | 2012-09-17 | 2014-10-28 | Z Advanced Computing, Inc. | Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities |
US20130179112A1 (en) * | 2012-01-09 | 2013-07-11 | Honeywell International Inc. | Robust method for signal segmentation for motion classification in personal navigation |
WO2013186958A1 (ja) | 2012-06-13 | 2013-12-19 | 日本電気株式会社 | 映像重要度算出方法、映像処理装置およびその制御方法と制御プログラムを格納した記憶媒体 |
US8995823B2 (en) | 2012-07-17 | 2015-03-31 | HighlightCam, Inc. | Method and system for content relevance score determination |
US10362977B2 (en) * | 2013-10-01 | 2019-07-30 | Sway Operations, Llc | System and method for measuring reaction time of a subject |
-
2014
- 2014-06-12 US US14/303,466 patent/US10664687B2/en active Active
-
2015
- 2015-06-10 JP JP2016572515A patent/JP6694829B2/ja active Active
- 2015-06-10 CA CA2948529A patent/CA2948529A1/en not_active Abandoned
- 2015-06-10 EP EP15731785.0A patent/EP3155557A1/en not_active Ceased
- 2015-06-10 RU RU2016148407A patent/RU2693906C2/ru active
- 2015-06-10 MX MX2016016293A patent/MX2016016293A/es active IP Right Grant
- 2015-06-10 KR KR1020177000955A patent/KR102354692B1/ko active IP Right Grant
- 2015-06-10 BR BR112016028586-7A patent/BR112016028586B1/pt active IP Right Grant
- 2015-06-10 CN CN201580031441.0A patent/CN106462744B/zh active Active
- 2015-06-10 WO PCT/US2015/034992 patent/WO2015191650A1/en active Application Filing
- 2015-06-10 AU AU2015274708A patent/AU2015274708B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
BR112016028586A8 (pt) | 2021-06-08 |
US20150363635A1 (en) | 2015-12-17 |
MX2016016293A (es) | 2017-03-31 |
CN106462744B (zh) | 2019-12-03 |
CN106462744A (zh) | 2017-02-22 |
RU2016148407A3 (ja) | 2019-01-22 |
US10664687B2 (en) | 2020-05-26 |
BR112016028586A2 (pt) | 2017-08-22 |
RU2016148407A (ru) | 2018-06-09 |
AU2015274708A1 (en) | 2016-11-17 |
AU2015274708B2 (en) | 2020-03-26 |
BR112016028586B1 (pt) | 2022-12-20 |
RU2693906C2 (ru) | 2019-07-05 |
KR20170018042A (ko) | 2017-02-15 |
JP2017528016A (ja) | 2017-09-21 |
EP3155557A1 (en) | 2017-04-19 |
WO2015191650A1 (en) | 2015-12-17 |
CA2948529A1 (en) | 2015-12-17 |
KR102354692B1 (ko) | 2022-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6694829B2 (ja) | ルールに基づくビデオ重要度解析 | |
WO2019218824A1 (zh) | 一种移动轨迹获取方法及其设备、存储介质、终端 | |
US10157318B2 (en) | Systems and methods for automatic key frame extraction and storyboard interface generation for video | |
CN106663196B (zh) | 用于识别主体的方法、***和计算机可读存储介质 | |
US8718324B2 (en) | Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation | |
CN109871490B (zh) | 媒体资源匹配方法、装置、存储介质和计算机设备 | |
US10546208B2 (en) | Method, system and apparatus for selecting a video frame | |
Nikouei et al. | Toward intelligent surveillance as an edge network service (isense) using lightweight detection and tracking algorithms | |
CN111209897A (zh) | 视频处理的方法、装置和存储介质 | |
US11647294B2 (en) | Panoramic video data process | |
Elloumi et al. | Anti-spoofing in face recognition: Deep learning and image quality assessment-based approaches | |
US11087121B2 (en) | High accuracy and volume facial recognition on mobile platforms | |
CN115004245A (zh) | 目标检测方法、装置、电子设备和计算机存储介质 | |
JP4449483B2 (ja) | 画像解析装置、および画像解析方法、並びにコンピュータ・プログラム | |
WO2023105635A1 (ja) | 判定装置、判定方法、および判定プログラム | |
US20230148112A1 (en) | Sports Neural Network Codec | |
Souza et al. | Generating an Album with the Best Media Using Computer Vision | |
Ramkissoon et al. | Fake Face2Face Video Detection Using a Novel Scene and Texture Based Feature Set | |
Yadav et al. | Datasets, clues and state-of-the-arts for multimedia forensics: An extensive review | |
KR20240059328A (ko) | 주요 객체 정보를 활용한 영상 구도 분석 및 개선을 위한 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 | |
CN115841704A (zh) | 活体检测方法、电子设备、存储介质及计算机程序产品 | |
do Nascimento Araújo | Human detection solution for a retail store environment | |
Gangi | AniVid: A Novel Anime Video Dataset with Applications in Animation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180516 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180516 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200420 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6694829 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |