JP2018025949A - 学習装置、映像検索装置、方法、及びプログラム - Google Patents
学習装置、映像検索装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP2018025949A JP2018025949A JP2016157008A JP2016157008A JP2018025949A JP 2018025949 A JP2018025949 A JP 2018025949A JP 2016157008 A JP2016157008 A JP 2016157008A JP 2016157008 A JP2016157008 A JP 2016157008A JP 2018025949 A JP2018025949 A JP 2018025949A
- Authority
- JP
- Japan
- Prior art keywords
- data
- lyrics
- keyword
- summary text
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】ランカ学習部64が、正解データのキーワードペア特徴量と、不正解データのキーワードペア特徴量と、正解データのトピックペア特徴量と、不正解データのトピックペア特徴量とに基づいて、ランキングモデルを学習することにより、楽曲の歌詞データに適した映像を精度よく検索するためのランキングモデルを学習する。
【選択図】図1
Description
今すぐにでも会いたいの
・・・
・場所キーワード:映像中の場所を表す単語や表現
・季節キーワード:映像中の季節を表す単語や表現
・イベントキーワード:映像中のイベントを表す単語や表現
・行動キーワード:映像中の行動や動作を表す単語や表現
・感情キーワード:映像中の感情を表す単語や表現
・場所キーワード:「場所」、「建造物」、「乗り物」、「仕事場」、および、これらの下位の意味属性に対応する単語
・季節キーワード:「季節」、および、これらの下位の意味属性に対応する単語
・イベントキーワード:「式・行事等」、「生活」、および、これらの下位の意味属性に対応する単語
少年が公園に行く
場所キーワード「公園」
季節キーワード「夏」
イベントキーワードなし
概要テキストのキーワードリスト:[カジュアル(2回),二人(2回),楽しい(1回),...]
概要テキストのトピックリスト:[33,2,27]
32、232 歌詞用キーワード抽出部
34 各歌詞のキーワードリスト
38 概要テキスト用キーワード抽出部
40、240 各概要テキストのキーワードリスト
42 歌詞用トピックモデル作成部
44、244 歌詞用トピックモデル
46、246 歌詞用トピック抽出部
48 各歌詞のトピックリスト
50 概要テキスト用トピックモデル作成部
52 概要テキスト用トピックモデル
54 概要テキスト用トピック抽出部
56、256 各概要テキストのトピックリスト
58 歌詞・概要テキストペア正解データ
60 不正解データ作成部
62 歌詞・概要テキストペア不正解データ
64 ランカ学習部
66 ランキングモデル記憶部
100 学習装置
200 映像検索装置
210 入力部
264 映像検索部
266 ランキングモデル記憶部
270 出力部
Claims (10)
- 楽曲の歌詞データに適した映像を検索するためのランキングモデルを学習する学習装置であって、
楽曲の歌詞データと、前記楽曲の歌詞データに適した映像に付与された概要テキストデータとのペアである正解データ、及び楽曲の歌詞データと、前記楽曲の歌詞データに適していない映像に付与された概要テキストデータとのペアである不正解データに含まれる歌詞データの各々から、歌詞用キーワードを抽出する歌詞用キーワード抽出部と、
前記正解データ及び前記不正解データに含まれる概要テキストデータの各々から、概要テキスト用キーワードを抽出する概要テキスト用キーワード抽出部と、
前記正解データの前記歌詞データから抽出された歌詞用キーワード及び前記正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、前記不正解データの前記歌詞データから抽出された歌詞用キーワード及び前記不正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量とに基づいて、前記ランキングモデルを学習するランカ学習部と、
を含む学習装置。 - 楽曲の歌詞データに適した映像を検索するためのランキングモデルを学習する学習装置であって、
楽曲の歌詞データと、前記楽曲の歌詞データに適した映像に付与された概要テキストデータとのペアである正解データ、及び楽曲の歌詞データと、前記楽曲の歌詞データに適していない映像に付与された概要テキストデータとのペアである不正解データに含まれる歌詞データの各々から、歌詞用トピックを抽出する歌詞用トピック抽出部と、
前記正解データ及び前記不正解データに含まれる概要テキストデータの各々から、概要テキスト用トピックを抽出する概要テキスト用トピック抽出部と、
前記正解データの前記歌詞データから抽出された歌詞用トピック及び前記正解データの前記概要テキストデータから抽出された概要テキスト用トピックの組み合わせを表すトピックペア特徴量と、前記不正解データの前記歌詞データから抽出された歌詞用トピック及び前記不正解データの前記概要テキストデータから抽出された概要テキスト用トピックの組み合わせを表すトピックペア特徴量とに基づいて、前記ランキングモデルを学習するランカ学習部と、
を含む学習装置。 - 楽曲の歌詞データに適した映像を検索するためのランキングモデルを学習する学習装置であって、
楽曲の歌詞データと、前記楽曲の歌詞データに適した映像に付与された概要テキストデータとのペアである正解データ、及び楽曲の歌詞データと、前記楽曲の歌詞データに適していない映像に付与された概要テキストデータとのペアである不正解データに含まれる歌詞データの各々から、歌詞用キーワードを抽出する歌詞用キーワード抽出部と、
前記正解データ及び前記不正解データに含まれる概要テキストデータの各々から、概要テキスト用キーワードを抽出する概要テキスト用キーワード抽出部と、
前記正解データ及び前記不正解データに含まれる歌詞データの各々から、歌詞用トピックを抽出する歌詞用トピック抽出部と、
前記正解データ及び前記不正解データに含まれる概要テキストデータの各々から、概要テキスト用トピックを抽出する概要テキスト用トピック抽出部と、
前記正解データの前記歌詞データから抽出された歌詞用キーワード及び前記正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、前記不正解データの前記歌詞データから抽出された歌詞用キーワード及び前記不正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、前記正解データの前記歌詞データから抽出された歌詞用トピック及び前記正解データの前記概要テキストデータから抽出された概要テキスト用トピックの組み合わせを表すトピックペア特徴量と、前記不正解データの前記歌詞データから抽出された歌詞用トピック及び前記不正解データの前記概要テキストデータから抽出された概要テキスト用トピックの組み合わせを表すトピックペア特徴量とに基づいて、前記ランキングモデルを学習するランカ学習部と、
を含む学習装置。 - 楽曲の歌詞データに適した映像を検索する映像検索装置であって、
入力された楽曲の歌詞データから、歌詞用キーワードを抽出する歌詞用キーワード抽出部と、
楽曲の歌詞データと、前記楽曲の歌詞データに適した映像に付与された概要テキストデータとのペアである正解データの前記歌詞データから抽出された歌詞用キーワード及び前記正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、楽曲の歌詞データと、前記楽曲の歌詞データに適していない映像に付与された概要テキストデータとのペアである不正解データの前記歌詞データから抽出された歌詞用キーワード及び前記不正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量とに基づいて予め学習された、楽曲の歌詞データに適した映像を検索するためのランキングモデルを記憶するランキングモデル記憶部と、
前記映像の各々に対する、前記歌詞用キーワード抽出部によって抽出された歌詞用キーワード及び前記映像に付与された概要テキストデータから抽出される概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、前記ランキングモデルとに基づいて、入力された楽曲の歌詞データに適した映像を検索する映像検索部と、
を含む映像検索装置。 - 楽曲の歌詞データに適した映像を検索する映像検索装置であって、
入力された楽曲の歌詞データから、歌詞用トピックを抽出する歌詞用トピック抽出部と、
楽曲の歌詞データと、前記楽曲の歌詞データに適した映像に付与された概要テキストデータとのペアである正解データの前記歌詞データから抽出された歌詞用トピック及び前記正解データの前記概要テキストデータから抽出された概要テキスト用トピックの組み合わせを表すトピックペア特徴量と、楽曲の歌詞データと、前記楽曲の歌詞データに適していない映像に付与された概要テキストデータとのペアである不正解データの前記歌詞データから抽出された歌詞用トピック及び前記不正解データの前記概要テキストデータから抽出された概要テキスト用トピックの組み合わせを表すトピックペア特徴量とに基づいて予め学習された、楽曲の歌詞データに適した映像を検索するためのランキングモデルを記憶するランキングモデル記憶部と、
前記映像の各々に対する、前記歌詞用トピック抽出部によって抽出された歌詞用トピック及び前記映像に付与された概要テキストデータから抽出される概要テキスト用トピックの組み合わせを表すトピックペア特徴量と、前記ランキングモデルとに基づいて、入力された楽曲の歌詞データに適した映像を検索する映像検索部と、
を含む映像検索装置。 - 楽曲の歌詞データに適した映像を検索する映像検索装置であって、
入力された楽曲の歌詞データから、歌詞用キーワードを抽出する歌詞用キーワード抽出部と、
前記入力された楽曲の歌詞データから、歌詞用トピックを抽出する歌詞用トピック抽出部と、
楽曲の歌詞データと、前記楽曲の歌詞データに適した映像に付与された概要テキストデータとのペアである正解データの前記歌詞データから抽出された歌詞用キーワード及び前記正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、楽曲の歌詞データと、前記楽曲の歌詞データに適していない映像に付与された概要テキストデータとのペアである不正解データの前記歌詞データから抽出された歌詞用キーワード及び前記不正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、前記正解データの前記歌詞データから抽出された歌詞用トピック及び前記正解データの前記概要テキストデータから抽出された概要テキスト用トピックの組み合わせを表すトピックペア特徴量と、前記不正解データの前記歌詞データから抽出された歌詞用トピック及び前記不正解データの前記概要テキストデータから抽出された概要テキスト用トピックの組み合わせを表すトピックペア特徴量とに基づいて予め学習された、楽曲の歌詞データに適した映像を検索するためのランキングモデルを記憶するランキングモデル記憶部と、
前記映像の各々に対する、前記歌詞用キーワード抽出部によって抽出された歌詞用キーワード及び前記映像に付与された概要テキストデータから抽出される概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、前記歌詞用トピック抽出部によって抽出された歌詞用トピック及び前記映像に付与された概要テキストデータから抽出される概要テキスト用トピックの組み合わせを表すトピックペア特徴量と、前記ランキングモデルとに基づいて、入力された楽曲の歌詞データに適した映像を検索する映像検索部と、
を含む映像検索装置。 - 前記概要テキスト用キーワードは、人物、場所、季節、又はイベントを表すキーワードである請求項1又は請求項3に記載の学習装置。
- 楽曲の歌詞データに適した映像を検索するためのランキングモデルを学習する学習装置における学習方法であって、
歌詞用キーワード抽出部が、楽曲の歌詞データと、前記楽曲の歌詞データに適した映像に付与された概要テキストデータとのペアである正解データ、及び楽曲の歌詞データと、前記楽曲の歌詞データに適していない映像に付与された概要テキストデータとのペアである不正解データに含まれる歌詞データの各々から、歌詞用キーワードを抽出するステップと、
概要テキスト用キーワード抽出部が、前記正解データ及び前記不正解データに含まれる概要テキストデータの各々から、概要テキスト用キーワードを抽出するステップと、
ランカ学習部が、前記正解データの前記歌詞データから抽出された歌詞用キーワード及び前記正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、前記不正解データの前記歌詞データから抽出された歌詞用キーワード及び前記不正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量とに基づいて、前記ランキングモデルを学習するステップと、
を含む学習方法。 - 歌詞用キーワード抽出部と、楽曲の歌詞データと、前記楽曲の歌詞データに適していない映像に付与された概要テキストデータとのペアである不正解データの前記歌詞データから抽出された歌詞用キーワード及び前記不正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量とに基づいて予め学習された、楽曲の歌詞データに適した映像を検索するためのランキングモデルを記憶するランキングモデル記憶部と、映像検索部とを備え、楽曲の歌詞データに適した映像を検索する映像検索装置における映像検索方法であって、
前記歌詞用キーワード抽出部が、入力された楽曲の歌詞データから、歌詞用キーワードを抽出するステップと、
前記映像検索部が、前記映像の各々に対する、前記歌詞用キーワード抽出部によって抽出された歌詞用キーワード及び前記映像に付与された概要テキストデータから抽出される概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、楽曲の歌詞データと、前記楽曲の歌詞データに適した映像に付与された概要テキストデータとのペアである正解データの前記歌詞データから抽出された歌詞用キーワード及び前記正解データの前記概要テキストデータから抽出された概要テキスト用キーワードの組み合わせを表すキーワードペア特徴量と、前記ランキングモデル記憶部に記憶されているランキングモデルとに基づいて、入力された楽曲の歌詞データに適した映像を検索するステップと、
を含む映像検索方法。 - コンピュータを、請求項1〜請求項3、請求項7のいずれか1項に記載の学習装置、又は請求項4〜請求項6のいずれか1項に記載の映像検索装置の各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016157008A JP6553557B2 (ja) | 2016-08-09 | 2016-08-09 | 学習装置、映像検索装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016157008A JP6553557B2 (ja) | 2016-08-09 | 2016-08-09 | 学習装置、映像検索装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018025949A true JP2018025949A (ja) | 2018-02-15 |
JP6553557B2 JP6553557B2 (ja) | 2019-07-31 |
Family
ID=61194065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016157008A Active JP6553557B2 (ja) | 2016-08-09 | 2016-08-09 | 学習装置、映像検索装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6553557B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111651660A (zh) * | 2020-05-28 | 2020-09-11 | 拾音智能科技有限公司 | 一种跨媒体检索困难样本的方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0863176A (ja) * | 1994-08-19 | 1996-03-08 | Pfu Ltd | 音楽映像データ再生装置 |
JPH09288681A (ja) * | 1996-04-23 | 1997-11-04 | Toshiba Corp | 背景映像検索表示装置および背景映像検索方法 |
JP2007293602A (ja) * | 2006-04-25 | 2007-11-08 | Nec Corp | 映像検索システム、映像検索方法およびプログラム |
JP2013020462A (ja) * | 2011-07-12 | 2013-01-31 | Yahoo Japan Corp | 関連度算出装置及び方法 |
JP2013254420A (ja) * | 2012-06-08 | 2013-12-19 | Nippon Telegr & Teleph Corp <Ntt> | 質問応答装置、モデル学習装置、方法、及びプログラム |
-
2016
- 2016-08-09 JP JP2016157008A patent/JP6553557B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0863176A (ja) * | 1994-08-19 | 1996-03-08 | Pfu Ltd | 音楽映像データ再生装置 |
JPH09288681A (ja) * | 1996-04-23 | 1997-11-04 | Toshiba Corp | 背景映像検索表示装置および背景映像検索方法 |
JP2007293602A (ja) * | 2006-04-25 | 2007-11-08 | Nec Corp | 映像検索システム、映像検索方法およびプログラム |
JP2013020462A (ja) * | 2011-07-12 | 2013-01-31 | Yahoo Japan Corp | 関連度算出装置及び方法 |
JP2013254420A (ja) * | 2012-06-08 | 2013-12-19 | Nippon Telegr & Teleph Corp <Ntt> | 質問応答装置、モデル学習装置、方法、及びプログラム |
Non-Patent Citations (1)
Title |
---|
貞光九月,外4名: "トピック情報を用いたブートストラップ法に基づく語彙獲得", 自然言語処理, vol. 第19巻,第2号, JPN6016050889, 6 July 2012 (2012-07-06), JP, pages 89 - 106, ISSN: 0003958167 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111651660A (zh) * | 2020-05-28 | 2020-09-11 | 拾音智能科技有限公司 | 一种跨媒体检索困难样本的方法 |
CN111651660B (zh) * | 2020-05-28 | 2023-05-02 | 拾音智能科技有限公司 | 一种跨媒体检索困难样本的方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6553557B2 (ja) | 2019-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hanselowski et al. | Ukp-athene: Multi-sentence textual entailment for claim verification | |
Speer et al. | Representing general relational knowledge in conceptNet 5. | |
US20180341871A1 (en) | Utilizing deep learning with an information retrieval mechanism to provide question answering in restricted domains | |
Perikos et al. | Recognizing emotion presence in natural language sentences | |
Imam et al. | An ontology-based summarization system for arabic documents (ossad) | |
KR20050032937A (ko) | 언어분석 기반 자동 질문/정답 색인 방법과 그 질의응답방법 및 시스템 | |
AU2020103004A4 (en) | Method to build a document semantic and entity relationship model | |
Gupta et al. | A novel hybrid text summarization system for Punjabi text | |
JP2011118689A (ja) | 検索方法及びシステム | |
Armouty et al. | Automated keyword extraction using support vector machine from Arabic news documents | |
JP2015045833A (ja) | 発話文生成装置とその方法とプログラム | |
Ranjan et al. | Question answering system for factoid based question | |
Lipczak et al. | Tulip: Lightweight entity recognition and disambiguation using wikipedia-based topic centroids | |
CN111178045A (zh) | 基于领域的非监督式中文语义概念词典的自动构建方法、电子设备及存储介质 | |
Hong et al. | Automatically extracting word relationships as templates for pun generation | |
Martınez-Cámara et al. | Ensemble classifier for twitter sentiment analysis | |
Chifu et al. | A system for detecting professional skills from resumes written in natural language | |
JP6735711B2 (ja) | 学習装置、映像検索装置、方法、及びプログラム | |
CN110750632B (zh) | 一种改进的中文alice智能问答方法及*** | |
Nguyen et al. | A novel approach for automatic extraction of semantic data about football transfer in sport news | |
JP6553557B2 (ja) | 学習装置、映像検索装置、方法、及びプログラム | |
Malandrakis et al. | Emotiword: Affective lexicon creation with application to interaction and multimedia data | |
Ullah et al. | Pattern and semantic analysis to improve unsupervised techniques for opinion target identification | |
Fareed et al. | Syntactic open domain Arabic question/answering system for factoid questions | |
Garrido et al. | NEREA: Named entity recognition and disambiguation exploiting local document repositories |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190704 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6553557 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |