JP4270118B2 - 映像シーンに対する意味ラベル付与方法及び装置及びプログラム - Google Patents
映像シーンに対する意味ラベル付与方法及び装置及びプログラム Download PDFInfo
- Publication number
- JP4270118B2 JP4270118B2 JP2004347275A JP2004347275A JP4270118B2 JP 4270118 B2 JP4270118 B2 JP 4270118B2 JP 2004347275 A JP2004347275 A JP 2004347275A JP 2004347275 A JP2004347275 A JP 2004347275A JP 4270118 B2 JP4270118 B2 JP 4270118B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- video
- comment
- similar
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Information Transfer Between Computers (AREA)
Description
(1)映像中のテロップ文字から抽出したテキスト情報を利用する方法;
(2)映像のシナリオから抽出したテキスト情報を利用する方法;
がある。
近藤博仁、孟洋、佐藤真一、坂内正夫「テロップ認識と顔照合を統合したニュース映像中人物の自動索引付けシステム」1999年電子情報通信学会総合大会講演論文集、D−12190(Mar.1999) 柳沼良知、坂内正夫「DPマッチングを用いたドラマ映像・音声・シナリオ文書の対応付け手法の一検討」電子情報通信学会論文誌、Vol.J79-D2, No.5, pp.747-755, 1996
記憶手段から映像コンテンツを読み出して、各シーン区間の画像情報の類似度に基づいて、類似したシーン区間を検出して同一グループとする類似シーン区間検出ステップ(ステップ1)と、
類似シーン区間検出ステップ(ステップ1)で検出された同一グループのシーン区間に付与されたコメントを記憶手段から読み出すコメント収集ステップ(ステップ2)と、
コメント収集ステップ(ステップ2)で収集されたコメント群のワード分布からキーワードを抽出するコメント分析ステップ(ステップ3)と、
コメント分析ステップ(ステップ3)で抽出したキーワードを類似シーン区間検出ステップ(ステップ1)で検出された同一グループのシーン区間に対する意味ラベルとして映像シーンにラベルを付与し、記憶手段に格納する意味ラベル付与ステップ(ステップ4)と、を行う。
映像コンテンツの各シーン区間から代表画像を選定し,選定した代表画像の画像全体の類似度を表す特徴量に基づいて、類似したシーン区間を検出し、
コメント分析ステップ(ステップ3)において、
コメント群のワードに基づいて、場所に関連するワードが格納された記憶手段の辞書を参照して、該辞書のワードに対するワード頻度分布を求める。
映像コンテンツの各シーン区間から代表画像を選定し、選定した代表画像から検出したオブジェクト領域内の画像情報の類似度に基づいて、類似したシーン区間を検出し、
コメント分析ステップにおいて、
コメント群のワードに基づいて、オブジェクトの名称に関するワードが格納された記憶手段の辞書を参照して、該辞書のワードに対するワード頻度分布を求める。
少なくとも、映像コンテンツと、視聴者から登録されたコメントとを格納する記憶手段2と、
記憶手段2から映像コンテンツを読み出して、各シーン区間の画像情報の類似度に基づいて、類似したシーン区間を検出して同一グループとする類似シーン区間検出手段3と、
類似シーン区間検出手段3で検出された同一グループのシーン区間に付与されたコメントを記憶手段から読み出すコメント収集手段4と、
コメント収集手段4で収集されたコメント群のワード分布からキーワードを抽出し、該キーワードを類似シーン区間検出手段3で検出された同一グループのシーン区間に対する意味ラベルとして映像シーンにラベルを付与し、記憶手段2に格納するコメント分析手段5と、を有する。
類似シーン区間検出手段3は、
映像コンテンツの各シーン区間から代表画像を選定し,選定した代表画像の画像全体の類似度を表す特徴量に基づいて、類似したシーン区間を検出する手段を含み、
コメント分析手段5は、
コメント群のワードに基づいて、辞書を参照して、該辞書のワードに対するワード頻度分布を求める手段を含む。
類似シーン区間検出手段3は、
映像コンテンツの各シーン区間から代表画像を選定し、選定した代表画像から検出したオブジェクト領域内の画像情報の類似度に基づいて、類似したシーン区間を検出する手段を含み、
コメント分析手段5は、
コメント群のワードに基づいて、辞書を参照して、該辞書のワードに対するワード頻度分布を求める手段を含む。
請求項1乃至3記載の映像シーンに対する意味ラベル付与方法を実現するための処理をコンピュータに実行させるプログラムである。
本実施例では、前述の図6及び、ワード辞書6の例を示した図7を用いて、上記の図5における、ステップ202の類似画像のグルーピング処理と、ステップ206のワードの頻度分布算出処理の例について詳しく説明する。
“海”の頻度=N1+w1・N2+w2・N3+w3・N4
により、“海”の頻度を算出する。
上記の第1の実施例では、特徴量に基づいて類似している代表画像をグルーピングする例を示したが、本実施例では、代表画像からオブジェクト検出を行う例を示す。
2 記憶手段、データ記憶部
3 類似シーン区間検出手段、類似シーン区間検出部
4 コメント収集手段、コメント収集処理部
5 コメント分析手段、コメント分析処理部
6 ワード辞書
Claims (7)
- 映像コンテンツをシーン区間に分割し、該シーン区間を単位として視聴者が登録したコメントと映像シーンを関連付けて提示する映像視聴システムにおいて、該映像シーンにラベルを付与する映像シーンに対する意味ラベル付与方法であって、
記憶手段から映像コンテンツを読み出して、各シーン区間の画像情報の類似度に基づいて、類似したシーン区間を検出して同一グループとする類似シーン区間検出ステップと、
前記類似シーン区間検出ステップで検出された同一グループのシーン区間に付与されたコメントを記憶手段から読み出すコメント収集ステップと、
前記コメント収集ステップで収集されたコメント群のワード分布からキーワードを抽出するコメント分析ステップと、
前記コメント分析ステップで抽出した前記キーワードを前記類似シーン区間検出ステップで検出された同一グループのシーン区間に対する意味ラベルとして前記映像シーンにラベルを付与し、前記記憶手段に格納する意味ラベル付与ステップと、
を行うことを特徴とする映像シーンに対する意味ラベル付与方法。 - 前記類似シーン区間検出ステップにおいて、
前記映像コンテンツの各シーン区間から代表画像を選定し,選定した代表画像の画像全体の類似度を表す特徴量に基づいて、類似したシーン区間を検出し、
前記コメント分析ステップにおいて、
前記コメント群のワードに基づいて、場所に関連するワードが格納された記憶手段の辞書を参照して、該辞書のワードに対するワード頻度分布を求める、請求項1記載の映像シーンに対する意味ラベル付与方法。 - 前記類似シーン区間検出ステップにおいて、
前記映像コンテンツの各シーン区間から代表画像を選定し、選定した代表画像から検出したオブジェクト領域内の画像情報の類似度に基づいて、類似したシーン区間を検出し、
前記コメント分析ステップにおいて、
前記コメント群のワードに基づいて、オブジェクトの名称に関するワードが格納された記憶手段の辞書を参照して、該辞書のワードに対するワード頻度分布を求める、請求項1記載の映像シーンに対する意味ラベル付与方法。 - 映像コンテンツをシーン区間に分割し、シーン区間を単位として視聴者が登録したコメントと映像シーンを関連付けて提示する映像視聴システムにおける、該映像シーンにラベルを付与する映像シーンに対する意味ラベル付与装置であって、
少なくとも、映像コンテンツと、視聴者から登録されたコメントとを格納する記憶手段と、
前記記憶手段から前記映像コンテンツを読み出して、各シーン区間の画像情報の類似度に基づいて、類似したシーン区間を検出して同一グループとする類似シーン区間検出手段と、
前記類似シーン区間検出手段で検出された同一グループのシーン区間に付与されたコメントを前記記憶手段から読み出すコメント収集手段と、
前記コメント収集手段で収集されたコメント群のワード分布からキーワードを抽出し、該キーワードを前記類似シーン区間検出手段で検出された同一グループのシーン区間に対する意味ラベルとして前記映像シーンにラベルを付与し、前記記憶手段に格納するコメント分析手段と、
を有することを特徴とする映像シーンに対する意味ラベル付与装置。 - 場所に関連するワードを格納した辞書を蓄積した辞書記憶手段を更に有し、
前記類似シーン区間検出手段は、
前記映像コンテンツの各シーン区間から代表画像を選定し,選定した代表画像の画像全体の類似度を表す特徴量に基づいて、類似したシーン区間を検出する手段を含み、
前記コメント分析手段は、
前記コメント群のワードに基づいて、前記辞書を参照して、該辞書のワードに対するワード頻度分布を求める手段を含む、請求項4記載の映像シーンに対する意味ラベル付与装置。 - オブジェクトの名称に関するワードを格納した辞書を蓄積した辞書記憶手段を更に有し、
前記類似シーン区間検出手段は、
前記映像コンテンツの各シーン区間から代表画像を選定し、選定した代表画像から検出したオブジェクト領域内の画像情報の類似度に基づいて、類似したシーン区間を検出する手段を含み、
前記コメント分析手段は、
前記コメント群のワードに基づいて、前記辞書を参照して、該辞書のワードに対するワード頻度分布を求める手段を含む、請求項4記載の映像シーンに対する意味ラベル付与装置。 - 映像コンテンツをシーン区間に分割し、シーン区間を単位として視聴者が登録したコメントと映像シーンを関連付けて提示する映像視聴システムにおいて、該映像シーンにラベルを付与する映像シーンに対する意味ラベル付与プログラムであって、
前記請求項1乃至3記載の映像シーンに対する意味ラベル付与方法を実現するための処理をコンピュータに実行させることを特徴とする映像シーンに対する意味ラベル付与プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004347275A JP4270118B2 (ja) | 2004-11-30 | 2004-11-30 | 映像シーンに対する意味ラベル付与方法及び装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004347275A JP4270118B2 (ja) | 2004-11-30 | 2004-11-30 | 映像シーンに対する意味ラベル付与方法及び装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006157688A JP2006157688A (ja) | 2006-06-15 |
JP4270118B2 true JP4270118B2 (ja) | 2009-05-27 |
Family
ID=36635394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004347275A Expired - Fee Related JP4270118B2 (ja) | 2004-11-30 | 2004-11-30 | 映像シーンに対する意味ラベル付与方法及び装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4270118B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4469868B2 (ja) | 2007-03-27 | 2010-06-02 | 株式会社東芝 | 説明表現付加装置、プログラムおよび説明表現付加方法 |
JP5065813B2 (ja) * | 2007-09-03 | 2012-11-07 | 株式会社東芝 | 動画像処理装置及び方法 |
JP5243366B2 (ja) * | 2009-08-18 | 2013-07-24 | 日本電信電話株式会社 | 映像要約方法および映像要約プログラム |
JP2014030180A (ja) * | 2012-06-27 | 2014-02-13 | Sharp Corp | 録画装置、テレビジョン受信機及び録画方法 |
CN110019955A (zh) * | 2017-12-15 | 2019-07-16 | 青岛聚看云科技有限公司 | 一种视频标签标注方法及装置 |
WO2020201780A1 (en) * | 2019-04-04 | 2020-10-08 | Google Llc | Video timed anchors |
CN110308848B (zh) * | 2019-06-14 | 2021-03-16 | 高新兴科技集团股份有限公司 | 标签的交互方法、装置及计算机存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11266449A (ja) * | 1998-03-17 | 1999-09-28 | Toshiba Corp | 映像構造化装置及び映像化のためのプログラムを記録した記録媒体 |
EP1367502B1 (en) * | 2001-03-08 | 2013-08-14 | Fujitsu Limited | Multimedia Cooperative Work System and Method |
JP4062908B2 (ja) * | 2001-11-21 | 2008-03-19 | 株式会社日立製作所 | サーバ装置および画像表示装置 |
JP3982295B2 (ja) * | 2002-03-20 | 2007-09-26 | 日本電信電話株式会社 | 映像コメント入力・表示方法およびシステムと、クライアント装置と、映像コメント入力・表示プログラム及びその記録媒体 |
JP4007550B2 (ja) * | 2002-07-02 | 2007-11-14 | 日本放送協会 | 番組インデックス収集付与方法、番組インデックス収集付与装置、番組インデックス収集付与プログラム |
JP4030440B2 (ja) * | 2003-02-26 | 2008-01-09 | 富士フイルム株式会社 | メッセージ再生装置、メッセージ記録および再生方法、およびプログラム |
-
2004
- 2004-11-30 JP JP2004347275A patent/JP4270118B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006157688A (ja) | 2006-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101616264B (zh) | 新闻视频编目方法及*** | |
Yang et al. | Content based lecture video retrieval using speech and video text information | |
CN102342124B (zh) | 用于提供与广播节目相关的信息的装置和方法 | |
JP5691289B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US8750681B2 (en) | Electronic apparatus, content recommendation method, and program therefor | |
JP5371083B2 (ja) | 顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録プログラム及び記録媒体 | |
JP5318115B2 (ja) | 場所別画像分類 | |
WO2012020667A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
EP2426917A1 (en) | Display control device, display control method, and program | |
US8068678B2 (en) | Electronic apparatus and image processing method | |
Chen et al. | Visual storylines: Semantic visualization of movie sequence | |
KR20070118635A (ko) | 오디오 및/또는 비주얼 데이터의 서머라이제이션 | |
CN103200463A (zh) | 一种视频摘要生成方法和装置 | |
JP2004533756A (ja) | 自動コンテンツ分析及びマルチメデイア・プレゼンテーションの表示 | |
JP2008257460A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Jou et al. | Structured exploration of who, what, when, and where in heterogeneous multimedia news sources | |
KR20110032347A (ko) | 동영상에서의 인물 정보 추출방법 및 그 장치 | |
JP4270118B2 (ja) | 映像シーンに対する意味ラベル付与方法及び装置及びプログラム | |
CN102073668B (zh) | 从数字视频文件搜索和提取数字图像 | |
Haloi et al. | Unsupervised story segmentation and indexing of broadcast news video | |
JP4995770B2 (ja) | 画像辞書生成装置,画像辞書生成方法,および画像辞書生成プログラム | |
CN114385859A (zh) | 一种面向视频内容的多模态检索方法 | |
JP2007060606A (ja) | ビデオの自動構造抽出・提供方式からなるコンピュータプログラム | |
Tapu et al. | TV news retrieval based on story segmentation and concept association | |
CN115858854B (zh) | 一种视频数据整理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060414 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080905 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090216 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130306 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |