JP5568178B2 - ビデオの要約方法 - Google Patents
ビデオの要約方法 Download PDFInfo
- Publication number
- JP5568178B2 JP5568178B2 JP2013512120A JP2013512120A JP5568178B2 JP 5568178 B2 JP5568178 B2 JP 5568178B2 JP 2013512120 A JP2013512120 A JP 2013512120A JP 2013512120 A JP2013512120 A JP 2013512120A JP 5568178 B2 JP5568178 B2 JP 5568178B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- digital video
- video sequence
- processor
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000012634 fragment Substances 0.000 claims description 116
- 238000000034 method Methods 0.000 claims description 67
- 230000004044 response Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 36
- 230000007704 transition Effects 0.000 description 33
- 230000008569 process Effects 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012552 review Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000006837 decompression Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/10537—Audio or video recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
- H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
前記デジタルビデオ取込装置を用いて、デジタルビデオシーケンスを取り込む段階であって、前記デジタルビデオシーケンスは、複数のビデオフレームを含む、段階と;
一以上の特徴量(feature value)を決定するために、前記デジタルビデオシーケンスが取り込まれたとき、プロセッサを用いて、前記デジタルビデオシーケンスの少なくとも一の前記ビデオフレームを自動的に分析する段階と;
前記デジタルビデオシーケンスを圧縮する段階であって、分析された前記ビデオフレームは、対応する前記特徴量が決定された後にのみ圧縮される、段階と;
圧縮された前記デジタルビデオシーケンスを、プロセッサがアクセス可能なメモリに格納する段階と;
圧縮された前記デジタルビデオシーケンスを格納した後に、該デジタルビデオシーケンスを展開することなく、プロセッサを用いて、前記特徴量を自動的に分析し、一以上のキーとなるビデオの断片(snippet)を特定する段階であって、前記キーとなるビデオの断片の夫々は、前記デジタルビデオシーケンスのビデオフレームの一組に対応する、段階と;
前記キーとなるビデオの断片を集め、ビデオ要約を形成する段階と;
前記ビデオ要約の表現を、プロセッサがアクセス可能なメモリに格納する段階と;
を有する。
ディーバ(Deever)による、米国特許出願12/786,471(タイトル「Method For Determining Key Video Frames」)において説明される方法を用いる。かかる方法は、最初に、デジタルビデオシーケンスを分析し、時間関数として、重要度を決定する。重要度は、全体的な(global)動きと局所的な(local)動きを含む、デジタルビデオシーケンスの特性の関数である。好ましくは、重要度は、特徴量決定ステップ220で決定された特徴量を用いて、算出される。重要度は、デジタルビデオシーケンスの、ゆがんだ時間の(warped-time)表現を形成するために、使用される。ゆがんだ時間の表現は、デジタルビデオシーケンスの中のいくつかのビデオフレームに、より大きな時間の重みを与え、他のビデオフレームに、より小さな時間の重みを与える。ゆがんだ時間のデジタルビデオシーケンスの表現は、等しくゆがめられた時間間隔の一組へと分割される。キーとなるビデオフレームは、ゆがめられた時間間隔のそれぞれの中のビデオフレームを分析することにより、ゆがめられた時間間隔のそれぞれから、選択される。好ましくは、ゆがめられた時間間隔のそれぞれに対する、キーとなるビデオフレームは、ゆがめられた時間間隔の中の対応するビデオフレームと関連付けられる、特徴量決定ステップ220から決定される特徴量を分析することにより、選択される。そのような基準は、ズームイン処理の完了の直後に生ずる、キーとなるビデオフレームの選択か、又は、ビデオフレームの中央領域における局所的な動きの適度なレベルを有する、キーとなるビデオフレームの選択を含む。
4 レンズ
6 調整可能な開口部及び調整可能なシャッター
8 ズーム・フォーカスモータドライブ
10 デジタルカメラ
12 タイミングジェネレータ
14 イメージセンサ
16 ASP及びA/Dコンバータ
18 バッファメモリ
20 プロセッサ
22 オーディオコーデック
24 マイク
25 圧力センサ
26 スピーカ
27 加速度計
28 ファームウェアメモリ
30 イメージメモリ
32 イメージディスプレイ
34 ユーザコントロール
36 ディスプレイメモリ
38 有線インタフェース
40 コンピュータ
42 チルトセンサ
44 ビデオインタフェース
46 ビデオディスプレイ
48 インタフェース/充電器
50 無線モデム
52 無線周波数帯
58 無線ネットワーク
70 インターネット
72 写真サービスプロバイダ
Claims (17)
- デジタルビデオ取込装置を用いて取り込まれるデジタルビデオシーケンスのビデオ要約を形成する方法であって:
前記デジタルビデオ取込装置を用いて、デジタルビデオシーケンスを取り込む段階であって、前記デジタルビデオシーケンスは、複数のビデオフレームを含む、段階と;
一以上の特徴量を決定するために、前記デジタルビデオシーケンスが取り込まれたとき、プロセッサを用いて、前記デジタルビデオシーケンスの少なくとも一の前記ビデオフレームを自動的に分析する段階と;
前記デジタルビデオシーケンスを圧縮する段階であって、分析された前記ビデオフレームは、対応する前記特徴量が決定された後にのみ圧縮される、段階と;
圧縮された前記デジタルビデオシーケンスを、プロセッサがアクセス可能なメモリに格納する段階と;
圧縮された前記デジタルビデオシーケンスを格納した後に、該デジタルビデオシーケンスを展開することなく、プロセッサを用いて前記特徴量を自動的に分析し、一以上のキーとなるビデオの断片を特定する段階であって、前記キーとなるビデオの断片の夫々は、前記デジタルビデオシーケンスのビデオフレームの一組に対応する、段階と;
前記キーとなるビデオの断片を集め、ビデオ要約を形成する段階と;
前記ビデオ要約の表現を、プロセッサがアクセス可能なメモリに格納する段階と;
を有する、方法。 - 前記デジタルビデオシーケンスが取り込まれたとき、プロセッサを用いて、前記デジタルビデオシーケンスの少なくとも一の音声サンプルを自動的に分析し、一以上の特徴量を決定する段階
をさらに含む、請求項1に記載の方法。 - 前記デジタルビデオが取り込まれたとき、プロセッサを用いて、少なくとも一の前記デジタルビデオ取込装置の設定を自動的に分析し、一以上の特徴量を決定する段階
をさらに含む、請求項1に記載の方法。 - 前記デジタルビデオが取り込まれたとき、プロセッサを用いて、加速度計により生成されたデータを自動的に分析し、一以上の特徴量を決定する段階
をさらに含む、請求項1に記載の方法。 - 決定された前記特徴量は、圧縮され、格納された前記デジタルビデオシーケンスと関連付けられたメタデータとして、プロセッサがアクセス可能なメモリに格納される、
請求項1に記載の方法。 - 決定された前記特徴量は、圧縮され、格納された前記デジタルビデオシーケンスと関連付けられた、別個のファイルとして、プロセッサがアクセス可能なメモリに格納される、
請求項1に記載の方法。 - 前記特徴量を自動的に分析する段階は、一以上のキーとなるビデオの断片を、ユーザ入力に応じて特定する段階をさらに含む、
請求項1に記載の方法。 - 前記ビデオ要約の表現を、プロセッサがアクセス可能なメモリに格納する段階は、さらに:
圧縮され、格納された前記デジタルビデオシーケンスの少なくとも一部を展開し、前記ビデオ要約に対応するビデオフレームを抽出する段階と;
抽出された前記ビデオフレームを圧縮し、圧縮されたビデオ要約を形成する段階と;
前記圧縮されたビデオ要約を、プロセッサがアクセス可能なメモリに格納する段階と;
をさらに含む、請求項1に記載の方法。 - 前記ビデオ要約に対応する音声サンプルを抽出する段階と;
抽出された前記音声サンプルを、前記圧縮されたビデオ要約に含める段階と;
をさらに含む、請求項8に記載の方法。 - 異なる空間解像度で、抽出されたビデオフレームを生成するために、抽出された前記ビデオフレームがリサンプリングされる、
請求項8に記載の方法。 - 格納される前記ビデオ要約の表現は、標準的なビデオプレーヤを用いて再生されるよう適合されたフォーマットの、デジタルビデオファイルである、
請求項1に記載の方法。 - 前記ビデオ要約の表現を、プロセッサがアクセス可能なメモリに格納する段階は、
前記ビデオ要約に対応する前記デジタルビデオシーケンスの前記ビデオフレームの指示を提供するメタデータを生成する段階
をさらに含み、
前記メタデータは、圧縮され、格納された前記デジタルビデオシーケンスと関連付けられて格納される、
請求項1に記載の方法。 - デジタルビデオ取込装置を用いて取り込まれるデジタルビデオシーケンスのビデオ要約を形成する方法であって:
前記デジタルビデオ取込装置を用いて、デジタルビデオシーケンスを取り込む段階であって、前記デジタルビデオシーケンスは、複数のビデオフレームを含む、段階と;
一以上の特徴量を決定するために、前記デジタルビデオシーケンスが取り込まれたとき、プロセッサを用いて、前記デジタルビデオシーケンスの少なくとも一の前記ビデオフレームを自動的に分析する段階と;
前記デジタルビデオシーケンスを圧縮する段階であって、分析された前記ビデオフレームは、対応する前記特徴量が決定された後にのみ圧縮される、段階と;
圧縮された前記デジタルビデオシーケンスを、プロセッサがアクセス可能なメモリに格納する段階と;
圧縮された前記デジタルビデオシーケンスを格納した後に、プロセッサを用いて、圧縮され、格納された前記デジタルビデオシーケンスに含まれる追加の情報とともに、前記特徴量を自動的に分析し、一以上のキーとなるビデオの断片を特定する段階であって、前記ビデオの断片の夫々は、前記デジタルビデオシーケンスのビデオフレームの一組に対応する、段階と;
前記キーとなるビデオの断片を集め、ビデオ要約を形成する段階と;
前記ビデオ要約の表現を、プロセッサがアクセス可能なメモリに格納する段階と;
を有する、方法。 - プロセッサを用いて、圧縮され、格納された前記デジタルビデオシーケンスに含まれる音声情報とともに、前記特徴量を自動的に分析し、一以上のキーとなるビデオの断片を特定し、
前記キーとなるビデオの断片の夫々は、前記デジタルビデオシーケンスのビデオフレームの一組に対応する、
請求項13に記載の方法。 - プロセッサを用いて、圧縮され、格納された前記デジタルビデオシーケンスに含まれるビデオ情報とともに、前記特徴量を自動的に分析し、一以上のキーとなるビデオの断片を特定する、
請求項13に記載の方法。 - デジタルビデオ取込装置を用いて取り込まれるデジタルビデオシーケンスのビデオ要約を形成する方法であって:
a)前記デジタルビデオ取込装置を用いて、デジタルビデオシーケンスを取り込む段階であって、前記デジタルビデオシーケンスは、複数のビデオフレームを含む、段階と;
b)一以上の特徴量を決定するために、前記デジタルビデオシーケンスが取り込まれたとき、プロセッサを用いて、前記デジタルビデオシーケンスの少なくとも一の前記ビデオフレームを自動的に分析する段階と;
c)前記デジタルビデオシーケンスを圧縮する段階であって、分析された前記ビデオフレームは、対応する前記特徴量が決定された後にのみ圧縮される、段階と;
d)圧縮された前記デジタルビデオシーケンスを、プロセッサがアクセス可能なメモリに格納する段階と;
e)圧縮された前記デジタルビデオシーケンスを格納した後に、圧縮され、格納された前記デジタルビデオシーケンスを展開することなく、プロセッサを用いて前記特徴量を自動的に分析し、一以上のキーとなるビデオの断片を特定する段階であって、前記ビデオの断片の夫々は、前記デジタルビデオシーケンスのビデオフレームの一組に対応する、段階と;
f)前記キーとなるビデオの断片を集め、ビデオ要約を形成する段階と;
g)ユーザに、前記ビデオ要約をプレビューさせる段階と;
h)前記ユーザから調整されたユーザ設定を受信する段階と;
i)圧縮され、格納された前記デジタルビデオシーケンスを展開することなく、プロセッサを用いて前記特徴量を自動的に分析し、前記調整されたユーザ設定に応じて、一以上の更新されたキーとなるビデオの断片を特定する段階であって、前記更新されたキーとなるビデオの断片の夫々は、前記デジタルビデオシーケンスのビデオフレームの一組に対応する、段階と;
j)前記更新されたキーとなるビデオの断片を集め、更新されたビデオ要約を形成する段階と;
k)前記更新されたビデオ要約の表現を、プロセッサがアクセス可能なメモリに格納する段階と;
を含む、方法。 - 前記g)乃至j)の段階は、前記ユーザが、プレビューされたビデオ要約に満足するまで繰り返される、
請求項16に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/786,483 US8432965B2 (en) | 2010-05-25 | 2010-05-25 | Efficient method for assembling key video snippets to form a video summary |
US12/786,483 | 2010-05-25 | ||
PCT/US2011/037530 WO2011149825A1 (en) | 2010-05-25 | 2011-05-23 | Video summary method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013533666A JP2013533666A (ja) | 2013-08-22 |
JP2013533666A5 JP2013533666A5 (ja) | 2014-05-15 |
JP5568178B2 true JP5568178B2 (ja) | 2014-08-06 |
Family
ID=44280684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013512120A Active JP5568178B2 (ja) | 2010-05-25 | 2011-05-23 | ビデオの要約方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8432965B2 (ja) |
EP (1) | EP2577662A1 (ja) |
JP (1) | JP5568178B2 (ja) |
CN (1) | CN102906816B (ja) |
WO (1) | WO2011149825A1 (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9520156B2 (en) * | 2010-08-31 | 2016-12-13 | Excalibur Ip, Llc | Content preview generation |
US9848158B2 (en) * | 2011-05-04 | 2017-12-19 | Monument Peak Ventures, Llc | Digital camera user interface for video trimming |
US9241101B2 (en) | 2011-05-04 | 2016-01-19 | Intellectual Ventures Fund 83 Llc | Digital camera user interface for text entry |
US8643746B2 (en) | 2011-05-18 | 2014-02-04 | Intellectual Ventures Fund 83 Llc | Video summary including a particular person |
US8665345B2 (en) | 2011-05-18 | 2014-03-04 | Intellectual Ventures Fund 83 Llc | Video summary including a feature of interest |
US8442265B1 (en) * | 2011-10-19 | 2013-05-14 | Facebook Inc. | Image selection from captured video sequence based on social components |
US8959022B2 (en) * | 2012-07-03 | 2015-02-17 | Motorola Solutions, Inc. | System for media correlation based on latent evidences of audio |
US8989503B2 (en) | 2012-08-03 | 2015-03-24 | Kodak Alaris Inc. | Identifying scene boundaries using group sparsity analysis |
US9076043B2 (en) | 2012-08-03 | 2015-07-07 | Kodak Alaris Inc. | Video summarization using group sparsity analysis |
US8913835B2 (en) | 2012-08-03 | 2014-12-16 | Kodak Alaris Inc. | Identifying key frames using group sparsity analysis |
AU2015206198B2 (en) * | 2014-01-20 | 2017-06-29 | H4 Engineering, Inc. | Neural network for video editing |
CN105530554B (zh) * | 2014-10-23 | 2020-08-07 | 南京中兴新软件有限责任公司 | 一种视频摘要生成方法及装置 |
US9479694B2 (en) * | 2014-10-28 | 2016-10-25 | Google Inc. | Systems and methods for autonomously generating photo summaries |
TWI554090B (zh) | 2014-12-29 | 2016-10-11 | 財團法人工業技術研究院 | 產生多媒體影音摘要的系統與方法 |
CN107810531B (zh) * | 2015-04-29 | 2020-11-27 | 通腾科技股份有限公司 | 数据处理*** |
US10090020B1 (en) * | 2015-06-30 | 2018-10-02 | Amazon Technologies, Inc. | Content summarization |
CN105100776B (zh) * | 2015-08-24 | 2017-03-15 | 深圳凯澳斯科技有限公司 | 一种立体视频截图方法及装置 |
US20170148488A1 (en) * | 2015-11-20 | 2017-05-25 | Mediatek Inc. | Video data processing system and associated method for analyzing and summarizing recorded video data |
KR102592904B1 (ko) * | 2016-02-19 | 2023-10-23 | 삼성전자주식회사 | 영상 요약 장치 및 방법 |
US20170323342A1 (en) * | 2016-05-04 | 2017-11-09 | International Business Machines Corporation | Advertisement management based on mobile resource performance |
US11042754B2 (en) * | 2017-05-05 | 2021-06-22 | Google Llc | Summarizing video content |
US10845956B2 (en) | 2017-05-31 | 2020-11-24 | Snap Inc. | Methods and systems for voice driven dynamic menus |
CN107920253B (zh) * | 2017-10-31 | 2020-08-18 | 北京赛思信安技术股份有限公司 | 一种基于gpu的视频处理方法 |
CN108133025B (zh) * | 2017-12-28 | 2020-12-08 | 和芯星通(上海)科技有限公司 | 传感器数据的批处理方法及装置、电子设备及存储介质 |
US10679069B2 (en) | 2018-03-27 | 2020-06-09 | International Business Machines Corporation | Automatic video summary generation |
CN108648195B (zh) * | 2018-05-09 | 2022-06-28 | 联想(北京)有限公司 | 一种图像处理方法及装置 |
CN112052841B (zh) * | 2020-10-12 | 2021-06-29 | 腾讯科技(深圳)有限公司 | 一种视频摘要的生成方法以及相关装置 |
Family Cites Families (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3971065A (en) | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
US4642678A (en) | 1984-09-10 | 1987-02-10 | Eastman Kodak Company | Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal |
US4774574A (en) | 1987-06-02 | 1988-09-27 | Eastman Kodak Company | Adaptive block transform image coding method and apparatus |
US5189511A (en) | 1990-03-19 | 1993-02-23 | Eastman Kodak Company | Method and apparatus for improving the color rendition of hardcopy images from electronic cameras |
AU7106294A (en) * | 1993-06-16 | 1995-01-03 | Abraham, Carmela R | System and method for transmitting video material |
US5493335A (en) | 1993-06-30 | 1996-02-20 | Eastman Kodak Company | Single sensor color camera with user selectable image record size |
US5668597A (en) | 1994-12-30 | 1997-09-16 | Eastman Kodak Company | Electronic camera with rapid automatic focus of an image upon a progressive scan image sensor |
US5828406A (en) | 1994-12-30 | 1998-10-27 | Eastman Kodak Company | Electronic camera having a processor for mapping image pixel signals into color display pixels |
JP3472659B2 (ja) | 1995-02-20 | 2003-12-02 | 株式会社日立製作所 | 映像供給方法および映像供給システム |
US5652621A (en) | 1996-02-23 | 1997-07-29 | Eastman Kodak Company | Adaptive color plane interpolation in single sensor color electronic camera |
US6956573B1 (en) * | 1996-11-15 | 2005-10-18 | Sarnoff Corporation | Method and apparatus for efficiently representing storing and accessing video information |
US5956026A (en) | 1997-12-19 | 1999-09-21 | Sharp Laboratories Of America, Inc. | Method for hierarchical summarization and browsing of digital video |
US6591058B1 (en) * | 1997-12-23 | 2003-07-08 | Intel Corporation | Time shifting by concurrently recording and playing a data stream |
TW501022B (en) * | 1998-03-16 | 2002-09-01 | Mitsubishi Electric Corp | Moving picture coding system |
US6192162B1 (en) | 1998-08-17 | 2001-02-20 | Eastman Kodak Company | Edge enhancing colored digital images |
US6833865B1 (en) | 1998-09-01 | 2004-12-21 | Virage, Inc. | Embedded metadata engines in digital capture devices |
US6625325B2 (en) | 1998-12-16 | 2003-09-23 | Eastman Kodak Company | Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel |
US6462754B1 (en) | 1999-02-22 | 2002-10-08 | Siemens Corporate Research, Inc. | Method and apparatus for authoring and linking video documents |
WO2001041451A1 (en) | 1999-11-29 | 2001-06-07 | Sony Corporation | Video/audio signal processing method and video/audio signal processing apparatus |
AUPQ535200A0 (en) | 2000-01-31 | 2000-02-17 | Canon Kabushiki Kaisha | Extracting key frames from a video sequence |
US7055168B1 (en) | 2000-05-03 | 2006-05-30 | Sharp Laboratories Of America, Inc. | Method for interpreting and executing user preferences of audiovisual information |
US20040125877A1 (en) | 2000-07-17 | 2004-07-01 | Shin-Fu Chang | Method and system for indexing and content-based adaptive streaming of digital video content |
GB0029880D0 (en) | 2000-12-07 | 2001-01-24 | Sony Uk Ltd | Video and audio information processing |
US7203620B2 (en) * | 2001-07-03 | 2007-04-10 | Sharp Laboratories Of America, Inc. | Summarization of video content |
US20030043292A1 (en) * | 2001-08-31 | 2003-03-06 | Pyle Norman C. | System and method for automatic capture of light producing scenes |
KR20030026529A (ko) * | 2001-09-26 | 2003-04-03 | 엘지전자 주식회사 | 키프레임 기반 비디오 요약 시스템 |
US7035435B2 (en) | 2002-05-07 | 2006-04-25 | Hewlett-Packard Development Company, L.P. | Scalable video summarization and navigation system and method |
AU2003249663A1 (en) | 2002-05-28 | 2003-12-12 | Yesvideo, Inc. | Summarization of a visual recording |
CA2443365C (en) | 2002-11-19 | 2010-01-12 | F. Hoffmann-La Roche Ag | Methods for the recombinant production of antifusogenic peptides |
US7483618B1 (en) | 2003-12-04 | 2009-01-27 | Yesvideo, Inc. | Automatic editing of a visual recording to eliminate content of unacceptably low quality and/or very little or no interest |
CN100452871C (zh) * | 2004-10-12 | 2009-01-14 | 国际商业机器公司 | 视频监视***的视频分析、存档和报警方法和设备 |
US20060103736A1 (en) * | 2004-11-12 | 2006-05-18 | Pere Obrador | Sequential processing of video data |
JP4849818B2 (ja) | 2005-04-14 | 2012-01-11 | イーストマン コダック カンパニー | ホワイトバランス調整装置及び色識別装置 |
JP4453603B2 (ja) * | 2005-05-23 | 2010-04-21 | カシオ計算機株式会社 | ダイジェスト作成装置およびダイジェスト作成処理のプログラム |
WO2007073347A1 (en) * | 2005-12-19 | 2007-06-28 | Agency For Science, Technology And Research | Annotation of video footage and personalised video generation |
US7558809B2 (en) * | 2006-01-06 | 2009-07-07 | Mitsubishi Electric Research Laboratories, Inc. | Task specific audio classification for identifying video highlights |
US7889794B2 (en) | 2006-02-03 | 2011-02-15 | Eastman Kodak Company | Extracting key frame candidates from video clip |
US8031775B2 (en) | 2006-02-03 | 2011-10-04 | Eastman Kodak Company | Analyzing camera captured video for key frames |
US20070226624A1 (en) * | 2006-02-23 | 2007-09-27 | Peker Kadir A | Content-based video summarization using spectral clustering |
US20070237225A1 (en) | 2006-03-30 | 2007-10-11 | Eastman Kodak Company | Method for enabling preview of video files |
CN101427250B (zh) * | 2006-04-20 | 2012-07-04 | Nxp股份有限公司 | 对数据流创建摘要的数据摘要***和方法 |
JP2009536490A (ja) * | 2006-05-05 | 2009-10-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ユーザの関連フィードバックによりビデオのサマリを更新する方法 |
EP2063635A4 (en) | 2006-09-12 | 2009-12-09 | Panasonic Corp | CONTENT IMAGE FORMATION DEVICE |
US20080155627A1 (en) * | 2006-12-04 | 2008-06-26 | O'connor Daniel | Systems and methods of searching for and presenting video and audio |
US7907789B2 (en) * | 2007-01-05 | 2011-03-15 | Freescale Semiconductor, Inc. | Reduction of block effects in spatially re-sampled image information for block-based image coding |
US8503523B2 (en) | 2007-06-29 | 2013-08-06 | Microsoft Corporation | Forming a representation of a video item and use thereof |
US8108398B2 (en) * | 2007-06-29 | 2012-01-31 | Microsoft Corporation | Auto-summary generator and filter |
WO2009066213A1 (en) * | 2007-11-22 | 2009-05-28 | Koninklijke Philips Electronics N.V. | Method of generating a video summary |
JP4737228B2 (ja) * | 2008-05-07 | 2011-07-27 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP4620150B2 (ja) | 2008-10-23 | 2011-01-26 | 株式会社東芝 | 電子機器および映像処理方法 |
US8446490B2 (en) | 2010-05-25 | 2013-05-21 | Intellectual Ventures Fund 83 Llc | Video capture system producing a video summary |
-
2010
- 2010-05-25 US US12/786,483 patent/US8432965B2/en active Active
-
2011
- 2011-05-23 WO PCT/US2011/037530 patent/WO2011149825A1/en active Application Filing
- 2011-05-23 CN CN201180025388.5A patent/CN102906816B/zh not_active Expired - Fee Related
- 2011-05-23 EP EP11724342.8A patent/EP2577662A1/en not_active Withdrawn
- 2011-05-23 JP JP2013512120A patent/JP5568178B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US8432965B2 (en) | 2013-04-30 |
CN102906816B (zh) | 2015-09-09 |
EP2577662A1 (en) | 2013-04-10 |
CN102906816A (zh) | 2013-01-30 |
WO2011149825A1 (en) | 2011-12-01 |
JP2013533666A (ja) | 2013-08-22 |
US20110293018A1 (en) | 2011-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5568178B2 (ja) | ビデオの要約方法 | |
US9124860B2 (en) | Storing a video summary as metadata | |
US8446490B2 (en) | Video capture system producing a video summary | |
KR101531783B1 (ko) | 특정한 사람을 포함하는 비디오 요약본 | |
TWI554096B (zh) | 包含興趣特徵之視訊摘要 | |
US20110292288A1 (en) | Method for determining key video frames | |
EP2577506A2 (en) | Determining key video snippets using selection criteria | |
US20110292229A1 (en) | Ranking key video frames using camera fixation | |
US20070297767A1 (en) | Image reproducing apparatus and reproducing program creation apparatus | |
JP5392244B2 (ja) | 撮像装置、制御方法およびプログラム | |
JP6332963B2 (ja) | 画像処理装置及び画像処理装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140328 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20140328 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20140519 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140527 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140620 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5568178 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |