JP6280323B2 - キャプチャしたイメージを用いた動画分析装置、方法およびコンピュータ読み取り可能な記録媒体 - Google Patents
キャプチャしたイメージを用いた動画分析装置、方法およびコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP6280323B2 JP6280323B2 JP2013145141A JP2013145141A JP6280323B2 JP 6280323 B2 JP6280323 B2 JP 6280323B2 JP 2013145141 A JP2013145141 A JP 2013145141A JP 2013145141 A JP2013145141 A JP 2013145141A JP 6280323 B2 JP6280323 B2 JP 6280323B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- image
- video
- frames
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 52
- 238000004458 analytical method Methods 0.000 title claims description 34
- 230000000007 visual effect Effects 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 19
- 238000011156 evaluation Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000010191 image analysis Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 5
- 238000003703 image analysis method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000699 topical effect Effects 0.000 description 2
- 241000239290 Araneae Species 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/40—Data acquisition and logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Description
図1は本発明に係るキャプチャしたイメージを用いた動画分析の概念を示す図である。図1を参照すると、まず、少なくとも一つの動画に対して複数のフレーム(frame)を抽出する。次に、抽出した各フレームの特徴値を数値化してデータベースに格納する。この際、本発明の実施形態により複数のフレームから代表フレームを抽出し、抽出した代表フレームに対してのみ数値化して格納することが好ましい。
図2は本発明の実施形態に係るキャプチャしたイメージを用いた動画分析装置の詳細構成を示すブロック図である。図2を参照すると、本発明の実施形態に係る動画分析装置は、ビデオフレーム抽出部210と、代表フレーム抽出部220と、抽出フレーム数値化部230と、イメージ情報収集部240と、イメージ数値化部250と、イメージ比較検索部260と、検索結果処理部270と、結果分析処理部280と、を含むことができる。また、前記動画分析装置は、動画コンテンツデータベース291と、フレーム特徴情報データベース292と、イメージ特徴情報データベース293と、イメージ関連情報データベース294と、イメージ分析情報データベース295などの、少なくとも一つのデータベースを含むことができる。
図3は本発明の実施形態に係る代表フレーム抽出のための特定のフレームのグレーヒストグラムを示すグラフである。図3を参照すると、本発明の実施形態により、フレーム間のグレーヒストグラムの差値を用いて代表フレームが抽出される。
前記図4および図5のような方法で代表フレームを選定すると、選定された各代表フレームの特徴を数値化してデータベースに格納する。図6は本発明の実施形態に係る代表フレームを数値化する方法の概念を示す図である。
図7は本発明の実施形態に係るキャプチャしたイメージを用いた動画分析処理を示すフローチャートである。図7を参照すると、上述したように、まず動画コンテンツから代表フレームを抽出してデータベースに格納(S701)する。次に、抽出した各代表フレームの特徴を数値化してデータベースに格納(S702)する。
図8から図10は本発明の実施形態に係るキャプチャしたイメージを用いた動画分析結果の例を示す図である。
220 代表フレーム抽出部
230 抽出フレーム数値化部
240 イメージ情報収集部
250 イメージ数値化部
260 イメージ比較検索部
270 検索結果処理部
280 結果分析処理部
291 動画コンテンツデータベース
292 フレーム特徴情報データベース
293 イメージ特徴情報データベース
294 イメージ関連情報データベース
295 イメージ分析情報データベース
Claims (19)
- 複数のフレームからなる動画から少なくとも一つのフレームを抽出するビデオフレーム抽出部と、
前記ビデオフレーム抽出部によって抽出された各フレームの特徴を数値化する抽出フレーム数値化部と、
少なくとも一つの収集した検索対象イメージの特徴を数値化するイメージ数値化部と、
前記検索対象イメージと前記複数のフレームから抽出した少なくとも一つのフレームとを数値化した値によって比較するイメージ比較検索部と、
前記比較の結果、前記検索対象イメージと一致するフレームが存在する場合、前記一致するフレームに前記収集した検索対象イメージの関連情報をマッピングして、前記関連情報をデータベースに格納する検索結果処理部と、を含み、
前記検索対象イメージの関連情報は、
前記収集した検索対象イメージが投稿された出所、前記イメージのソーシャルネットワークサービス上のリツイート数、コメント数、オススメ度および評価情報から選択されたいずれか一つ以上である、動画キャプチャ画面の分析装置。 - 前記ビデオフレーム抽出部を介して抽出した複数の連続したフレーム間のイメージ差が予め設定した所定範囲以内に該当する場合、前記複数のフレームから選択された一つのフレームを代表フレームと決定する代表フレーム抽出部をさらに含み、
前記抽出フレーム数値化部は、前記代表フレーム抽出部を介して決定された代表フレームを数値化してデータベースに格納する、請求項1に記載の動画キャプチャ画面の分析装置。 - 前記代表フレーム抽出部は、
前記複数のフレーム間のグレーヒストグラムの差分値が所定値以下の場合、前記複数のフレームから選択された一つのフレームを代表フレームと決定する、請求項2に記載の動画キャプチャ画面の分析装置。 - 前記代表フレーム抽出部は、
予め設定した時間ごとに少なくとも一つのフレームを代表フレームと決定する、請求項2に記載の動画キャプチャ画面の分析装置。 - 前記抽出フレーム数値化部は、
各フレームの不変点を数値化した後、予め定義したクラスタ(cluster)値に変換したビジュアルワードの頻度数で示す、請求項1に記載の動画キャプチャ画面の分析装置。 - 前記イメージ数値化部は、
各イメージの不変点を数値化した後、予め定義したクラスタ(cluster)値に変換したビジュアルワードの頻度数で示す、請求項1に記載の動画キャプチャ画面の分析装置。 - 前記イメージ比較検索部は、
前記各フレームのビジュアルワードと前記各イメージのビジュアルワードとを比較して同じビジュアルワードが予め設定した個数以上であるか最も多い場合、該フレームとイメージが一致すると決定する、請求項5または6に記載の動画キャプチャ画面の分析装置。 - 複数のフレームからなる動画から少なくとも一つのフレームを抽出するビデオフレーム抽出部と、
前記ビデオフレーム抽出部によって抽出された各フレームの特徴を数値化する抽出フレーム数値化部と、
少なくとも一つの収集した検索対象イメージの特徴を数値化するイメージ数値化部と、
前記検索対象イメージと前記複数のフレームから抽出した少なくとも一つのフレームとを数値化した値によって比較するイメージ比較検索部と、
前記比較の結果、前記検索対象イメージと一致するフレームが存在する場合、前記一致するフレームに前記収集した検索対象イメージの関連情報をマッピングして、前記関連情報をデータベースに格納する検索結果処理部と、
前記検索結果処理部によって格納された検索結果から特定の動画に関する各フレームに対する統計値を自動算出して分析結果を生成する結果分析処理部と、を含む動画キャプチャ画面の分析装置。 - 前記結果分析処理部は、
結果分析要請に応じて特定の動画の各フレームに対し動画内の該イメージを参照したニュース、ブログ、SNSサイトでの引用回数および該リンク情報から選択されたいずれか一つを提供する、請求項8に記載の動画キャプチャ画面の分析装置。 - 前記結果分析処理部は、
結果分析要請に応じて特定の動画の各フレームに対し動画内の該イメージを参照したニュース、ブログ、SNSサイトでの引用回数から各フレームのランキングを算出して提供する、請求項8に記載の動画キャプチャ画面の分析装置。 - コンピュータが実行する動画キャプチャ画面の分析方法であって、
複数のフレームからなる動画から少なくとも一つのフレームを抽出し、
前記抽出したフレームの特徴を数値化し、
少なくとも一つの収集した検索対象イメージの特徴を数値化し、
数値化した値により前記検索対象イメージと前記複数のフレームから抽出した少なくとも一つのフレームとを比較し、
前記比較結果、前記検索対象イメージと一致するフレームが存在する場合、前記一致するフレームに前記収集した検索対象イメージ関連情報をマッピングしてデータベースに格納すること、を含み、
前記検索対象イメージ関連情報は、
前記収集した検索対象イメージが投稿された出所、前記イメージのソーシャルネットワークサービス上のリツイート数、コメント数、オススメ度および評価情報から選択されたいずれか一つ以上である、動画キャプチャ画面の分析方法。 - 前記フレームを抽出した後に、
前記抽出した複数の連続したフレーム間のイメージ差が予め設定した所定範囲以内に該当する場合、前記複数のフレームから選択された一つのフレームを代表フレームと決定することをさらに含み、
前記抽出したフレームの特徴を数値化することは、前記決定された代表フレームを数値化することを特徴とする、請求項11に記載の動画キャプチャ画面の分析方法。 - 前記代表フレームと決定することは、
前記複数のフレーム間のグレーヒストグラムの差分値が所定値以下の場合、前記複数のフレームから選択された一つのフレームを代表フレームと決定することを特徴とする、請求12に記載の動画キャプチャ画面の分析方法。 - 前記代表フレームと決定することは、
予め設定した時間ごとに少なくとも一つのフレームを代表フレームと決定することを特徴とする、請求項12に記載の動画キャプチャ画面の分析方法。 - 前記抽出したフレームの特徴を数値化することは、
各フレームの不変点を数値化した後、予め定義したクラスタ(cluster)値に変換したビジュアルワードの頻度数で示すことを特徴とする、請求項11に記載の動画キャプチャ画面の分析方法。 - 前記検索対象イメージの特徴を数値化することは、
各イメージの不変点を数値化した後、予め定義したクラスタ(cluster)値に変換したビジュアルワードの頻度数で示すことを特徴とする、請求項11に記載の動画キャプチャ画面の分析方法。 - 前記検索対象イメージと前記複数のフレームから抽出した少なくとも一つのフレームとを比較することは、
前記各フレームのビジュアルワードと前記各イメージのビジュアルワードとを比較して同じビジュアルワードが予め設定した個数以上であるか最も多い場合、該フレームとイメージが一致すると決定することを特徴とする、請求項15または16に記載の動画キャプチャ画面の分析方法。 - コンピュータが実行する動画キャプチャ画面の分析方法であって、
複数のフレームからなる動画から少なくとも一つのフレームを抽出し、
前記抽出したフレームの特徴を数値化し、
少なくとも一つの収集した検索対象イメージの特徴を数値化し、
数値化した値により前記検索対象イメージと前記複数のフレームから抽出した少なくとも一つのフレームとを比較し、
前記比較結果、前記検索対象イメージと一致するフレームが存在する場合、前記一致するフレームに前記収集した検索対象イメージ関連情報をマッピングしてデータベースに格納すること、を含み、
前記データベースに格納することの後に、
前記格納された検索結果から特定の動画に関する各フレームに対する統計値を自動算出して分析結果を生成することをさらに含む、動画キャプチャ画面の分析方法。 - 請求項11から18のいずれか一項に記載の方法を実行するためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120089860A KR101541495B1 (ko) | 2012-08-17 | 2012-08-17 | 캡쳐된 이미지를 이용한 동영상 분석 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 |
KR10-2012-0089860 | 2012-08-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014038602A JP2014038602A (ja) | 2014-02-27 |
JP6280323B2 true JP6280323B2 (ja) | 2018-02-14 |
Family
ID=50100077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013145141A Active JP6280323B2 (ja) | 2012-08-17 | 2013-07-11 | キャプチャしたイメージを用いた動画分析装置、方法およびコンピュータ読み取り可能な記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9305215B2 (ja) |
JP (1) | JP6280323B2 (ja) |
KR (1) | KR101541495B1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10394882B2 (en) * | 2014-02-19 | 2019-08-27 | International Business Machines Corporation | Multi-image input and sequenced output based image search |
KR102340196B1 (ko) * | 2014-10-16 | 2021-12-16 | 삼성전자주식회사 | 동영상 처리 장치 및 방법 |
CN107122773A (zh) * | 2017-07-05 | 2017-09-01 | 司马大大(北京)智能***有限公司 | 一种视频广告检测方法、装置及设备 |
CN108647245B (zh) * | 2018-04-13 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 多媒体资源的匹配方法、装置、存储介质及电子装置 |
KR102129691B1 (ko) * | 2019-01-16 | 2020-07-02 | 인제대학교 산학협력단 | 이미지 기반 동영상 서비스 방법 및 시스템 |
CN112488153B (zh) * | 2020-11-06 | 2022-07-05 | 中国人民解放军国防科技大学 | 基于聚类趋向性原理的气味源自主搜索及定位方法 |
CN113139084B (zh) * | 2021-05-14 | 2024-07-19 | 北京爱奇艺科技有限公司 | 一种视频去重方法及装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6751776B1 (en) * | 1999-08-06 | 2004-06-15 | Nec Corporation | Method and apparatus for personalized multimedia summarization based upon user specified theme |
US6760042B2 (en) * | 2000-09-15 | 2004-07-06 | International Business Machines Corporation | System and method of processing MPEG streams for storyboard and rights metadata insertion |
US7016532B2 (en) * | 2000-11-06 | 2006-03-21 | Evryx Technologies | Image capture and identification system and process |
JP2004287646A (ja) * | 2003-03-20 | 2004-10-14 | Nri & Ncc Co Ltd | メタコンテンツ情報生成システム |
US7590309B1 (en) * | 2004-10-26 | 2009-09-15 | Advanced Micro Devices, Inc. | Image processing in integrated circuit technology development |
JP2006211311A (ja) * | 2005-01-28 | 2006-08-10 | Victor Co Of Japan Ltd | ダイジェスト映像生成装置 |
US8196045B2 (en) * | 2006-10-05 | 2012-06-05 | Blinkx Uk Limited | Various methods and apparatus for moving thumbnails with metadata |
JP2008217701A (ja) * | 2007-03-07 | 2008-09-18 | Sharp Corp | メタデータ付与装置,メタデータ付与方法,メタデータ付与プログラム,及びメタデータ付与プログラムを記録した記録媒体 |
JP2008278088A (ja) * | 2007-04-27 | 2008-11-13 | Hitachi Ltd | 動画コンテンツに関するコメント管理装置 |
JP5175852B2 (ja) * | 2007-07-31 | 2013-04-03 | パナソニック株式会社 | 映像解析装置、映像解析による人物間の評価値算出方法 |
US8605221B2 (en) * | 2010-05-25 | 2013-12-10 | Intellectual Ventures Fund 83 Llc | Determining key video snippets using selection criteria to form a video summary |
JP5014479B2 (ja) * | 2010-10-05 | 2012-08-29 | ヤフー株式会社 | 画像検索装置、画像検索方法及びプログラム |
KR101711218B1 (ko) * | 2010-11-23 | 2017-03-13 | 엘지전자 주식회사 | 복수의 컨텐츠 제공자로부터 제공되는 서비스를 제공/수신하기 위한 방법 및 그 방법을 이용한 시스템 및 장치 |
KR101969930B1 (ko) * | 2011-01-07 | 2019-04-18 | 삼성전자주식회사 | 컨텐트 수집 방법 및 그 장치 |
US10971191B2 (en) * | 2012-12-12 | 2021-04-06 | Smule, Inc. | Coordinated audiovisual montage from selected crowd-sourced content with alignment to audio baseline |
-
2012
- 2012-08-17 KR KR1020120089860A patent/KR101541495B1/ko active IP Right Grant
-
2013
- 2013-07-11 JP JP2013145141A patent/JP6280323B2/ja active Active
- 2013-07-12 US US13/940,984 patent/US9305215B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20140050400A1 (en) | 2014-02-20 |
KR20140023660A (ko) | 2014-02-27 |
KR101541495B1 (ko) | 2015-08-05 |
US9305215B2 (en) | 2016-04-05 |
JP2014038602A (ja) | 2014-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6280323B2 (ja) | キャプチャしたイメージを用いた動画分析装置、方法およびコンピュータ読み取り可能な記録媒体 | |
WO2017096877A1 (zh) | 一种推荐方法和装置 | |
US10572565B2 (en) | User behavior models based on source domain | |
CN103686231B (zh) | 影片的集成管理、失效替换与续播的方法及*** | |
Xie et al. | Visual memes in social media: tracking real-world news in youtube videos | |
US9367757B2 (en) | Content extracting device, content extracting method and program | |
WO2017096832A1 (zh) | 媒体数据推荐方法及服务器 | |
KR102066030B1 (ko) | 필터링된 인터넷 정보 스트림들의 디스플레이를 통한 라이브 브로드캐스트 시청 증대 | |
US9913001B2 (en) | System and method for generating segmented content based on related data ranking | |
US20150331856A1 (en) | Time-based content aggregator | |
JP2020521207A (ja) | ライブストリームコンテンツを推奨するための機械学習の使用 | |
CN104469508A (zh) | 基于弹幕信息内容进行视频定位的方法、服务器和*** | |
Tran et al. | Exploiting character networks for movie summarization | |
KR101252670B1 (ko) | 연관 콘텐츠 제공 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
US20220107978A1 (en) | Method for recommending video content | |
CN105378720A (zh) | 媒体内容发现以及角色组织技术 | |
CN103577593A (zh) | 一种基于微博热门话题的视频聚合方法及*** | |
WO2018113673A1 (zh) | 针对综艺类query的搜索结果的推送方法及装置 | |
US11720628B2 (en) | Playlist analytics | |
US9998554B2 (en) | Customized graphic identifiers | |
McParlane et al. | " Picture the scene..."; Visually Summarising Social Media Events | |
Zen et al. | Mouse activity as an indicator of interestingness in video | |
Hong et al. | Exploring large scale data for multimedia QA: an initial study | |
US8171020B1 (en) | Spam detection for user-generated multimedia items based on appearance in popular queries | |
US20130108180A1 (en) | Information processing device, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6280323 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |