JP2018073199A - 抽出装置、学習装置、抽出方法、抽出プログラム、学習方法および学習プログラム - Google Patents

Abstract

【課題】コンテンツに含まれる情報の抽出精度を向上させる。【解決手段】本願に係る抽出装置は、所定のコンテンツを受付ける受付部と、コンテンツに含まれるテキストの特徴および当該テキストの当該コンテンツにおける視覚的な状態の特徴と、当該コンテンツに含まれる情報との関係性を深層学習した学習器を用いて、前記所定のコンテンツから当該所定のコンテンツに含まれる情報を抽出する抽出部と、を有することを特徴とする。【選択図】図１

Description

本発明は、抽出装置、学習装置、抽出方法、抽出プログラム、学習方法および学習プログラムに関する。

従来、文章の解析を行う技術が知られている。このような解析技術の一例として、複数のノードを多段に接続したＤＮＮ（Deep Neural Network）等の学習器を用いて、文章の内容や意味等といったトピックを抽出し、抽出したトピックを用いて文章の要約を作成する技術等が知られている。

特開２０１６−００６６１７号公報

しかしながら、上記の方法では、文章のトピック等、コンテンツに含まれる情報を適切に抽出できるとは限らなかった。

例えば、新聞紙面やニュースサイトの記事等では、コンテンツに含まれるテキストそのものが有するトピックの内容が、テキストの配置や大きさ等により変化する場合がある。しかしながら、上述した従来技術では、文章のテキストデータからトピックの抽出を行うに過ぎないので、適切にトピックを抽出することができない恐れがある。

本願は、上記に鑑みてなされたものであって、コンテンツに含まれる情報の抽出精度を向上させることを目的とする。

本願に係る抽出装置は、所定のコンテンツを受付ける受付部と、コンテンツに含まれるテキストの特徴および当該テキストの当該コンテンツにおける視覚的な状態の特徴と、当該コンテンツに含まれる情報との関係性を深層学習した学習器を用いて、前記所定のコンテンツから当該所定のコンテンツに含まれる情報を抽出する抽出部と、を有することを特徴とする。

実施形態の一態様によれば、コンテンツに含まれる情報の抽出精度を向上させる。

図１は、実施形態に係る配信装置が実行する抽出処理の一例を示す図である。 図２は、実施形態に係る抽出装置の構成例を示す図である。 図３は、実施形態に係るモデルデータベースに登録される情報の一例を示す図である。 図４は、実施形態に係る学習コンテンツデータベースに登録される情報の一例を示す図である。 図５は、実施形態に係る配信コンテンツデータベースに登録される情報の一例を示す図である。 図６は、実施形態に係る学習コンテンツから抽出するトピックスの一例を説明する図である。 図７は、実施形態に係る配信装置が実行する学習処理の流れの一例を示すフローチャートである。 図８は、実施形態に係る配信装置が実行する抽出処理の流れの一例を示すフローチャートである。 図９は、ハードウェア構成の一例を示す図である。

以下に、本願に係る抽出装置、学習装置、抽出方法、抽出プログラム、学習方法および学習プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る抽出装置、学習装置、抽出方法、抽出プログラム、学習方法および学習プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

［実施形態］
〔１−１．抽出装置の一例〕
まず、図１を用いて、抽出装置の一例である配信装置が実行する抽出処理の一例について説明する。図１は、実施形態に係る配信装置が実行する抽出処理の一例を示す図である。なお、図１に示す例では、コンテンツに含まれる情報として、コンテンツのトピックを抽出する処理の一例について記載した。図１では、配信装置１０は、インターネット等の所定のネットワークＮを介して、任意の情報処理装置１００や利用者Ｕ０１が使用する端末装置２００と通信可能である。なお、配信装置１０は、任意の数の情報処理装置１００や任意の数の端末装置２００と通信可能であってよい。

情報処理装置１００は、端末装置２００への配信対象となるコンテンツである配信コンテンツを配信装置１０に登録する装置であり、例えば、ＰＣ（Personal Computer）やサーバ装置等により実現される。ここで、配信コンテンツとは、文章や単語等、利用者Ｕ０１に対して伝達したい情報を意味として有するテキスト等の文章を含むコンテンツである。例えば、配信コンテンツは、新聞記事、中吊り広告、ニュースサイトやポータルサイト等を介して配信されるニュース記事、利用者がＳＮＳ（Social Networking Service）等に投稿した文章、任意のウェブページやウェブコンテンツ等、テキストが含まれるコンテンツであれば、任意のコンテンツが採用可能である。より具体的には、配信コンテンツには、コンテンツのみが含まれていてもよく、静止画像や動画像、音声等が含まれていてもよい。

なお、配信コンテンツは、利用者Ｕ０１に対して配信される広告に関するコンテンツであってもよい。ここで、広告に関するコンテンツとは、営利若しくは非営利の広告だけではなく、ボランティアの募集、公共広告、公共に対する通知、その他任意のコンテンツであるものとする。すなわち、配信コンテンツは、いわゆる広告関連の情報を含むコンテンツのみならず、利用者に興味を抱かせ、配信コンテンツに含まれる情報、または、配信コンテンツと関連するコンテンツ（例えば、ランディングページ等）に含まれる情報を広く報知するものであれば、画像、動画像、文字、図形、記号、ハイパーリンク、その他任意のコンテンツがテキストと共に含まれていてよい。また、配信コンテンツが広告に関するコンテンツである場合、情報処理装置１００は、所謂広告主が使用する情報処理装置のみならず、広告主からの依頼により広告の作成や登録等を行う広告業者が使用する情報処理装置であってもよい。

端末装置２００は、利用者Ｕ０１が使用する端末装置であり、例えば、スマートフォンやタブレット等といった携帯移動端末装置やＰＣ端末、サーバ装置等により実現される。例えば、端末装置２００は、利用者が検索クエリとして入力したテキストや画像を配信装置１０へと送信する。そして、端末装置２００は、配信装置１０から検索結果として受信した配信コンテンツを表示する。

配信装置１０は、後述する配信処理や抽出処理を実行する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。例えば、配信装置１０は、以下の配信処理を実行する。まず、配信装置１０は、情報処理装置１００から配信コンテンツの登録を受付けると、配信コンテンツに含まれるテキストの解析を行うことで、配信コンテンツに含まれるテキストが示すトピックを抽出する。そして、配信装置１０は、抽出したトピックスと配信コンテンツとを対応付けて記憶する。

続いて、配信装置１０は、端末装置２００から検索クエリを受信すると、検索クエリとの関連性が高いトピックが対応付けられた配信コンテンツを選択し、選択した配信コンテンツを端末装置２００へと配信する。例えば、配信装置１０は、検索クエリと各トピックとの関連性を示すスコアを算出し、算出したスコアが高い方から順に所定の数の配信コンテンツを配置した検索結果を生成する。そして、配信装置１０は、生成した検索結果を端末装置２００へと送信する。

〔１−２．トピックスについて〕
ここで、配信コンテンツのトピックスについて説明する。例えば、配信コンテンツに含まれるテキストは、文字の並びによって生じる文脈そのものや文脈の意味等、配信先となる利用者Ｕ０１に対して伝えたい情報を示す情報と言える。このため、上述した配信処理において、配信コンテンツに含まれるテキストから、文脈そのものや文脈が内包する意味等といったトピックを精度良く抽出することができた場合、利用者Ｕ０１が入力した検索クエリと対応する配信コンテンツを精度良く選択することができると考えられる。また、配信コンテンツに含まれるテキストから、複数のトピック（すなわち、トピックス）を抽出し、各トピックと検索クエリとの関連性を算出した場合は、利用者Ｕ０１が入力した検索クエリと対応する配信コンテンツをさらに精度良く選択することができると考えられる。

ここで、配信コンテンツに含まれるテキストからトピックを抽出する手法として、形態素解析やｔｆ−ｉｄｆ（Term Frequency - Inverse Document Frequency）等、テキストそのものやテキスト全体またはテキストに含まれる各単語を解析する技術を用いて、トピックを抽出する手法が考えられる。また、ｗ２ｖ（word2vec）の技術を用いて、テキストそのものやテキストに含まれる各単語の意味を解析する手法が考えられる。しかしながら、このようにテキストの意味のみを用いて配信コンテンツのトピックを抽出した場合には、抽出精度が悪化する恐れがある。

例えば、配信コンテンツを表示する際には、テキストが様々なレイアウトで配置されて表示されると考えられる。このようなレイアウトは、テキストが利用者Ｕ０１に伝えようとする情報の重要度や内容等を示す場合がある。例えば、テキストが配信コンテンツのうちどこに配置されているか（配置位置）、表示サイズの大きさ、フォントの種別、字体（太字、斜体、影付き等）、下線の有無、強調の有無、縦書きであるか横書きであるか、背景色が設定されているか、白抜き文字であるか等といったテキストのレイアウトは、利用者Ｕ０１に伝えようとする情報の重要度や内容等を示すと考えられる。

より具体的な例を挙げると、配信コンテンツにテキスト＃１とテキスト＃２とが含まれており、テキスト＃１がテキスト＃２よりも大きな表示サイズで、配信コンテンツの右端に配置されている場合、テキスト＃１は、配信コンテンツの見出し（タイトル）であり、テキスト＃２は、配信コンテンツの本文であると予測される。このような場合、テキスト＃１から抽出されるトピックは、テキスト＃２から抽出されるトピックよりも、配信コンテンツ全体のトピックをより強く示していると予測される。

また、配信コンテンツには、テキストとともに静止画像や動画像などが含まれる場合がある。このような静止画像や動画像は、配信コンテンツに含まれるテキストから抽出可能なトピックスのうち、配信コンテンツ全体として利用者に伝えたいトピックを強調する情報であると予測される。

このように、配信コンテンツのトピックは、配信コンテンツに含まれるテキストが有する意味の特徴のみならず、レイアウト等といったテキストの表示形態、すなわち、配信コンテンツを表示する際のテキストの視覚的な状態の特徴に基づくと考えられる。

〔１−３．抽出処理について〕
そこで、配信装置１０は、以下の抽出処理を実行する。まず、配信装置１０は、配信コンテンツを受付ける。このような場合、配信装置１０は、任意のコンテンツに含まれるテキストの特徴およびそのコンテンツにおけるテキストの視覚的な状態の特徴と、そのコンテンツに含まれる情報（例えば、トピック）との間の関係性を深層学習した学習器を用いて、配信コンテンツからトピック等の情報を抽出する。例えば、配信装置１０は、コンテンツに含まれるテキストの特徴およびテキストのコンテンツにおける視覚的な状態の特徴と、コンテンツに含まれる情報の重要度との関係性を深層学習した学習器を用いて、所定のコンテンツから所定のコンテンツに含まれる情報を重要度を考慮して抽出する。

例えば、配信装置１０は、後述する学習処理により、任意のコンテンツに含まれるテキストの特徴およびそのコンテンツにおけるテキストの視覚的な状態の特徴と、そのコンテンツに含まれる情報との間の関係性を深層学習した学習器をあらかじめ記憶する。このような学習器は、例えば、ＲＮＮ（Recurrent Neural Network）やＣＮＮ（Convolutional Neural Network）等、複数のノードを多層に接続したＤＮＮ（Deep Neural Network）により実現される。

例えば、配信装置１０は、学習器の深層学習に用いられるコンテンツ（以下、「学習コンテンツ」と記載する。）に含まれるテキストと、学習コンテンツを表示する際におけるテキストの視覚的な状態とを入力した際に、かかる学習コンテンツのトピックを出力するように、バックプロパゲーション法等の学習技術を用いて、深層学習が行われた学習器をあらかじめ記憶する。より具体的には、配信装置１０は、学習コンテンツを表示した場合の画像（例えば、学習コンテンツを被写体とする画像）を入力した際に、かかる学習コンテンツのトピックを出力するように深層学習が行われた学習器をあらかじめ記憶する。例えば、配信装置１０は、学習コンテンツの画像から、学習コンテンツに含まれるトピックを、各トピックの重要度を考慮して出力するように深層学習が行われた学習器をあらかじめ記憶する。

このような深層学習が行われた場合、学習器は、学習コンテンツに含まれるテキストの特徴（例えば、単語や文章が有する意味の特徴）および、その学習コンテンツにおけるテキストの視覚的な状態の特徴と、その学習コンテンツに含まれる情報、例えばテキストが示す意味であるトピックとの間の関係性を深層学習すると考えられる。そこで、配信装置１０は、配信コンテンツを受信すると、受信した配信コンテンツに含まれるテキストと、テキストの視覚的な状態を示す情報とを学習器に入力する。より具体的には、配信装置１０は、配信コンテンツの画像を学習器に入力し、学習器が出力したトピックを配信コンテンツから抽出されたトピックとして取得する。この結果、配信装置１０は、配信コンテンツに含まれるテキストの特徴のみならず、そのテキストを表示した際の視覚的な状態の特徴をも考慮して、配信コンテンツに含まれるテキストのトピックを抽出することができる。

〔１−４．学習器について〕
ここで、配信装置１０は、テキストの特徴のみならず、テキストを表示した際の視覚的な状態の特徴を深層学習した学習器であれば、任意の学習処理により学習が行われた学習器を記憶してもよい。例えば、上述した説明では、配信装置１０は、学習コンテンツの画像を入力した際に学習コンテンツのトピックを出力するように深層学習が行われた学習器を用いた。しかしながら、実施形態は、これに限定されるものではない。

例えば、配信装置１０は、ＨＴＭＬ（Hyper Text Markup Language）やＸＭＬ（Extensible Markup Language）等、テキストそのものと、タグ等、テキストを表示する際の視覚的な態様を示す情報（以下、「視覚情報」と記載する。）とを含む配信コンテンツを取得する場合がある。このような場合、配信装置１０は、配信コンテンツとして受信したＨＴＭＬやＸＭＬを用いて配信コンテンツ全体の画像をレンダリングし、レンダリングした画像を学習器に入力することで、配信コンテンツのトピックを抽出してもよい。

また、配信装置１０は、学習コンテンツとしてＨＴＭＬやＸＭＬのコンテンツを取得する。また、配信装置１０は、学習コンテンツのテキストと視覚情報とを独立した情報として学習器に入力した際に、学習器が学習コンテンツのトピックを抽出するように、学習器の深層学習を行ってもよい。このような深層学習を行った場合にも、学習器は、学習コンテンツのテキストの特徴およびテキストの視覚的な状態の特徴と、学習コンテンツのトピックの特徴との間の関係を学習すると考えられる。このような場合、配信装置１０は、配信コンテンツに含まれるテキストと、視覚情報とを学習器に入力することで、配信コンテンツのトピックを抽出してもよい。

また、配信装置１０は、配信コンテンツのトピックを１つだけではなく、複数抽出する学習器を用いた抽出処理を行ってもよく、このような学習器の深層学習を行う学習処理を実行してもよい。例えば、配信装置１０は、学習コンテンツに含まれる複数のトピックのうち、重要度がより高いと予測される所定の数のトピックを、重要度の順序や重要度を示すスコアとともに出力する学習器の深層学習を行ってもよい。また、配信装置１０は、学習コンテンツに含まれる全てのトピック（すなわち、学習コンテンツのトピックス）を、重要度を示すスコアと共に出力する学習器の深層学習を行ってもよい。このような学習処理を実行した場合、配信装置１０は、配信コンテンツのトピックを全て抽出してもよく、重要度がより高い１つ又は複数のトピックを抽出してもよい。

なお、配信装置１０は、学習処理については実行せず、他の情報処理装置によって学習処理が行われた学習器を取得してもよい。そして、配信装置１０は、取得した学習器を用いて、抽出処理や配信処理などを実行してもよい。

ここで、学習器は、任意の入力および出力が行われるように深層学習が行われてもよい。例えば、配信装置１０は、学習コンテンツの画像を入力した際に、学習コンテンツに含まれるテキストが示す意味の特徴と、テキストの視覚的な状態の特徴とに基づいて、重要度が高いトピックを示すテキストを学習コンテンツに含まれるテキストから抽出して出力するように、学習器の深層学習を行ってもよい。このような深層学習が行われた場合、学習器は、学習コンテンツの画像内からテキストを抽出するＯＣＲ（Optical character recognition）機能と、テキストのレイアウト等といった視覚的な状態を抽出する機能と、テキストの意味の特徴およびテキストの視覚的な状態とに基づいて、抽出したテキストから重要度が高いと推定されるトピックを示すテキストを特定する機能と、特定したテキストを出力する機能とを有すると予測される。なお、学習器は、重要度が高いトピックを示すテキストの画像を出力するように深層学習が行われてもよい。

なお、配信装置１０は、上述した各機能を学習器が発揮することができるように、中間層ごとのプレトレーニングを行ってもよい。例えば、配信装置１０は、学習コンテンツの画像内からテキストを抽出するＯＣＲ機能を発揮するＤＮＮと、テキストのレイアウト等といった視覚的な状態を抽出する機能を発揮するＤＮＮと、テキストの意味の特徴およびテキストの視覚的な状態とに基づいて、抽出したテキストから重要度が高いと推定されるトピックを示すテキストを特定する機能を発揮するＤＮＮとをそれぞれ個別に深層学習する。そして、配信装置１０は、深層学習したＤＮＮを結合した学習器を生成し、抽出処理を発揮するように、生成した学習器のさらなる深層学習を行ってもよい。なお、例えば、配信装置１０は、テキストの視覚的な状態の特徴に基づいて、テキストからトピックを抽出するように中間層のプレトレーニングを行い、かかるプレトレーニングが行われた中間層を有する学習器を用いて、配信コンテンツからトピックの抽出をおこなってもよい。

〔１−５．学習内容について〕
ここで、配信装置１０は、学習コンテンツや配信コンテンツに含まれるテキストを表示する際の視覚的な状態の特徴を学習させるのであれば、任意の特徴を学習させてよい。例えば、配信装置１０は、学習コンテンツに含まれるテキストの特徴およびそのテキストのレイアウトの特徴に基づいて、学習コンテンツのトピック等の情報を抽出するように深層学習を行った学習器の学習処理を行ってもよく、かかる学習器を用いた抽出処理を実行してもよい。すなわち、配信装置１０は、学習コンテンツに含まれるテキストの特徴およびそのテキストの視覚的な状態の特徴とを入力した際に、学習コンテンツの情報を出力するように深層学習が行われた学習器を用いるのであれば、任意の深層学習が行われた学習器を用いてよい。

より具体的な例を挙げると、配信装置１０は、任意の操作者により、学習コンテンツに含まれるテキストの視覚的な状態を考慮して設定された学習コンテンツのトピックを学習データとして取得する。そして、配信装置１０は、学習コンテンツを入力した際に、任意の利用者によって設定されたトピックを出力するように、ノード間の接続係数を補正することで、学習器の深層学習を実行すればよい。

ここで、配信装置１０は、テキストのレイアウトの特徴として、任意の特徴を深層学習させた学習器を用いてよい。例えば、配信装置１０は、学習コンテンツにおけるテキストの配置位置、テキストの文字の大きさ、文字の色、または文字の字体の少なくともいずれか１つと、学習コンテンツのトピックとの間の関係性を深層学習した学習器を用いてもよい。このような学習器は、例えば、学習コンテンツにおけるテキストの配置位置、テキストの文字の大きさ、文字の色、または文字の字体の少なくともいずれか１つを考慮した学習コンテンツのトピックを教師データとし、学習コンテンツを入力した際に教師データを出力するように学習器の深層学習を行うことにより実現される。

例えば、配信装置１０は、学習コンテンツに含まれるテキストのうち、所定のフォントで表示されるテキストや、文字サイズがより大きなテキストが示すトピックをより重要なトピックとするように深層学習が行われた学習器を用いてもよい。また、配信装置１０は、太字のテキストや斜体のテキスト、影付きのテキストが示すトピックをより重要なトピックとするように深層学習が行われた学習器を用いてもよい。また、配信装置１０は、背景色が設定されているテキストや白抜き文字のテキスト、他のテキストとは異なる色彩が付されたテキストが示すトピックをより重要なトピックとするように深層学習が行われた学習器を用いてもよい。

また、配信装置１０は、学習コンテンツのうちテキストが占める面積の割合と、学習コンテンツのトピックとの間の関係性を深層学習した学習器を用いてもよい。例えば、配信装置１０は、学習コンテンツに複数のテキストが配置されている場合、各テキストが配置された領域の面積をそれぞれ算出する。より具体的には、配信装置１０は、各テキストの背景色や各テキストの配列等に基づいて、各テキストが配置されていると推定可能な領域を抽出し、抽出した領域のうち面積がより大きい領域に配置されているテキストのトピックをより重要なトピックとするように深層学習が行われた学習器を用いてもよい。

また、配信装置１０は、学習コンテンツに含まれるテキストの特徴、そのテキストの学習コンテンツにおける視覚的な状態の特徴、および、学習コンテンツに含まれる静止画像や動画像（以下、「画像」と総称する。）の特徴と、学習コンテンツのトピックとの間の関係性を深層学習した学習器を用いてもよい。例えば、配信装置１０は、学習コンテンツに複数のテキストと画像とが含まれている場合、画像に撮像されている被写体と関係性が高いテキスト（例えば、画像のキャプションやタイトル等）を特定し、特定したテキストのトピックをより重要なトピックとするように深層学習が行われた学習器を用いてもよい。

なお、配信装置１０は、上述した深層学習以外にも、テキストの視覚的な特徴とトピック等の情報の特徴との関係性を考慮した深層学習を行うのであれば、任意の深層学習が行われた学習器を用いてよい。例えば、配信装置１０は、テキストがひらがなであるか、漢字であるか、カタカナであるか、アルファベットであるか等といった情報を視覚的な特徴を示す情報としてもよい。すなわち、配信装置１０は、テキストの視覚的な特徴であって、学習コンテンツに含まれるテキストの画像を入力とした際にかかる画像から取得可能な情報であれば、任意の情報を考慮したトピックを抽出するように深層学習が行われた学習器を用いてよい。

すなわち、テキストの視覚的な状態とは、テキストを表示した際にどのような表示態様で表示されるかといった概念を示すものであり、テキストという文字の並びそのものが有する意味以外の情報を含みうる概念である。

〔１−６．抽出処理の一例〕
次に、図１を用いて、配信装置１０が実行する抽出処理の一例について説明する。例えば、配信装置１０は、新聞記事の画像や中吊り広告の画像等、テキストを含む学習コンテンツと、その学習コンテンツのトピックであって、その学習コンテンツに含まれるテキストの視覚的な特徴を考慮したトピックとの組を学習データとして予め記憶する。そして、配信装置１０は、学習コンテンツの画像を入力した際に学習コンテンツのトピックスを出力するようにＤＮＮを構成することで、学習コンテンツに含まれるテキストの特徴およびテキストの視覚的な特徴と、学習コンテンツのトピックとの関係性を深層学習させる（ステップＳ１）。

例えば、図１に示す例では、配信装置１０は、学習コンテンツであるコンテンツＣ１の画像Ｐ１および学習コンテンツであるコンテンツＣ２の画像Ｐ２を記憶する。ここで、コンテンツＣ１は、所謂新聞記事のコンテンツであり、テキストＴ１１〜Ｔ１３および画像Ｐ１１が含まれているものとする。また、コンテンツＣ２は、所謂中吊り広告のコンテンツであり、テキストＴ２１〜Ｔ２５、および画像Ｐ２１が含まれているものとする。

また、配信装置１０は、コンテンツＣ１から抽出可能なトピックスであって、テキストＴ１１〜Ｔ１３の視覚的な特徴や、テキストＴ１１〜Ｔ１３と画像Ｐ１１との関係性等が反映されているトピックス＃１を記憶する。また、配信装置１０は、コンテンツＣ２から抽出可能なトピックスであって、テキストＴ２１〜Ｔ２５の視覚的な特徴や、テキストＴ２１〜Ｔ２５と画像Ｐ２１との関係性等が反映されているトピックス＃２を記憶する。

ここで、図１に示す例では、画像Ｐ１において、テキストＴ１１の表示サイズが最も大きく、テキストＴ１２の表示サイズが２番目に大きく、テキストＴ１３の表示サイズが最も小さい。また、図１に示す例では、画像Ｐ１において、テキストＴ１１が横書きで構成され、テキストＴ１２およびテキストＴ１３が縦書きで構成されている。このため、テキストＴ１１は、コンテンツＣ１における「大見出し」であり、テキストＴ１２は、コンテンツＣ１における「小見出し」であり、テキストＴ１３は、コンテンツＣ１における「本文」であると予測される。このため、コンテンツＣ１が図１に示すレイアウトを有する場合、テキストＴ１１は、コンテンツＣ１に含まれるトピックのうち最も重要なトピックを含んでいると推定される。また、テキストＴ１２は、コンテンツＣ１に含まれるトピックのうち、テキストＴ１３のみから抽出可能なトピックよりも重要なトピックを含んでいると推定される。また、図１に示す例では、コンテンツＣ１には、画像Ｐ１１が含まれており、このような画像Ｐ１１は、コンテンツＣ１から抽出可能なトピックのうち、重要なトピックを示す（補完する）情報であると推定される。

そこで、配信装置１０は、各テキストＴ１１〜Ｔ１３から抽出可能なトピックのうち、テキストＴ１１から抽出可能なトピックを最も重要度が高いトピックとし、テキストＴ１２から抽出可能なトピックを重要度が所定の閾値よりも高いトピックとし、テキストＴ１３のみから抽出可能なトピックを重要度が所定の閾値よりも低いトピックとするトピックス＃１を記憶する。また、配信装置１０は、各テキストＴ１１〜Ｔ１３から抽出可能なトピックのうち、画像Ｐ１１との関連性を有するテキストから抽出可能なトピックを重要度が所定の閾値よりも高いトピックとして含むトピックス＃１を記憶する。このようなトピックス＃１については、予め所定の利用者によりコンテンツＣ１から作成されているものとする。

また、図１に示す例では、画像Ｐ２において、テキストＴ２１の表示サイズが最も大きく、テキストＴ２３の表示サイズが２番目に大きく、テキストＴ２２、Ｔ２４、Ｔ２５の表示サイズが最も小さい。また、画像Ｐ２において、テキストＴ２２のみが横書きで構成されている。このため、図１に示す例では、テキストＴ２１は、コンテンツＣ２における「大見出し」であり、テキストＴ２３は、コンテンツＣ２における「中見出し」であり、テキストＴ２２は、コンテンツＣ２における「小見出し」であると予測される。

また、図１に示す例では、画像Ｐ２において、テキストＴ２３〜Ｔ２５は、背景色が設定されており、白抜き文字で構成されている。一般に、白抜き文字で構成されるテキストは、他のテキストよりも強調するトピックを示すと予測される。このため、図１に示す例では、テキストＴ２３〜Ｔ２５は、テキストＴ２２よりも重要なトピックスを含むと予測される。

そこで、配信装置１０は、各テキストＴ２１〜Ｔ２５から抽出可能なトピックのうち、テキストＴ２１およびテキストＴ２３から抽出可能なトピックを最も重要度が高いトピックとし、テキストＴ２４、Ｔ２５から抽出可能なトピックを重要度が２番目に高いトピックとし、テキストＴ２２から抽出可能なトピックを重要度が３番目に高いトピックとするトピックス＃２を記憶する。また、配信装置１０は、画像Ｐ２１との関連性を有するテキストから抽出可能なトピックを重要度が高いトピックとして含むトピックス＃２を記憶する。このようなトピックス＃２は、あらかじめ所定の利用者により作成されているものとする。

このような場合、配信装置１０は、コンテンツＣ１の画像Ｐ１を学習器ＤＮ０１に入力した際に、学習器ＤＮ０１がコンテンツＣ１のトピックスであるトピックス＃１を出力するように、学習器ＤＮ０１が有するノード間の接続係数を補正する。同様に、配信装置１０は、コンテンツＣ２の画像Ｐ２を学習器ＤＮ０１に入力した際に、学習器ＤＮ０１がコンテンツＣ２のトピックスであるトピックス＃２を出力するように、学習器ＤＮ０１が有するノード間の接続係数を補正する。

この結果、配信装置１０は、コンテンツＣ１、Ｃ２に含まれるテキストＴ１１〜Ｔ１３、Ｔ２１〜Ｔ２５が示す意味の特徴とトピックの特徴との間の関係性のみならず、テキストＴ１１〜Ｔ１３、Ｔ２１〜Ｔ２５を表示する際の視覚的な特徴と、トピックの特徴との間の関係性を学習器ＤＮ０１に深層学習させることができる。

続いて、配信装置１０は、配信コンテンツを情報処理装置１００から取得する（ステップＳ２）。このような場合、配信装置１０は、配信コンテンツの画像を生成し、生成した画像をＤＮＮに入力することで、配信コンテンツのトピックスを抽出する（ステップＳ３）。

例えば、配信装置１０は、テキストＴ３１、Ｔ３２および画像Ｐ３１を含む配信コンテンツＣ３を取得する。このような場合、配信装置１０は、配信コンテンツＣ３の画像Ｐ３を生成する。ここで、図１に示す例では、画像Ｐ３において、テキストＴ３１の表示サイズが最も大きい。

一方、ステップＳ１にて説明したように、学習器ＤＮ０１は、学習コンテンツに含まれるテキストの特徴およびテキストの視覚的な特徴と、トピックの特徴との間の関係性を深層学習している。このため、画像Ｐ３を学習器ＤＮ０１に入力した場合、学習器ＤＮ０１は、テキストＴ３１、Ｔ３２から抽出可能なトピックスのうち、テキストＴ３１から抽出可能なトピックを最も重要度が高いトピックとし、画像Ｐ３１と関連性が高いトピックを２番目に重要度が高いトピックとするトピックス＃３を抽出することとなる。なお、配信装置１０は、他の配信コンテンツについても、同様の処理を実行することで、トピックスをあらかじめ抽出しておく。

また、配信装置１０は、端末装置２００から検索クエリを受信する（ステップＳ４）。このような場合、配信装置１０は、受信した検索クエリと対応するトピックスの配信コンテンツを配信する（ステップＳ５）。例えば、配信装置１０は、検索クエリと対応するトピックの重要度が最も高いトピックスを検索し、検索したトピックスと対応する配信コンテンツを端末装置２００へと配信する。

〔２．抽出装置の構成〕
以下、上記した抽出処理を実現する配信装置１０が有する機能構成の一例について説明する。図２は、実施形態に係る抽出装置の構成例を示す図である。図２に示すように、配信装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、情報処理装置１００や端末装置２００との間で情報の送受信を行う。

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、モデルデータベース３１、学習コンテンツデータベース３２、および配信コンテンツデータベース３３（以下、「各データベース３１〜３３」と総称する場合がある。）を記憶する。

モデルデータベース３１には、取引対象の分類を行うモデルが格納される。例えば、図３は、実施形態に係るモデルデータベースに登録される情報の一例を示す図である。図３に示すように、モデルデータベース３１には、「ニューロンＩＤ」、「結合先ニューロンＩＤ」、「結合係数」といった項目を有する情報が登録されている。

ここで、「ニューロンＩＤ」は、学習器ＤＮ０１に含まれるニューロン（すなわち、ノード）を識別するための識別情報を示す。「結合先ニューロンＩＤ」は、「ニューロンＩＤ」に対応するニューロンと結合するニューロンを識別するための識別情報を示す。「結合係数」は、ニューロン間の結合係数を示す。例えば、図３に示す例では、ニューロンＩＤ「Ｎ_１１」に対応するニューロンと、ニューロンＩＤ「Ｎ_２１」に対応するニューロンとの間の結合係数が「Ｗ_Ａ」である例を示している。図３に登録される情報で明らかとなるように、学習器ＤＮ０１は、複数のニューロンを多段に接続したニューラルネットワークにより構成される。

図２に戻り、説明を続ける。学習コンテンツデータベース３２には、学習コンテンツの画像データやトピックスが登録されている。例えば、図４は、実施形態に係る学習コンテンツデータベースに登録される情報の一例を示す図である。図４に示すように、学習コンテンツデータベース３２には、「コンテンツＩＤ（Identifier）」、「コンテンツデータ」、「画像データ」、「トピックス」といった項目を有する情報が登録されている。なお、学習コンテンツデータベース３２には、他にも、学習コンテンツに関連する情報であれば、任意の情報が登録されていてよい。

ここで、「コンテンツＩＤ」とは、学習コンテンツの識別子である。また、「コンテンツデータ」とは、対応付けられた「コンテンツＩＤ」が示す学習コンテンツのデータである。また、「画像データ」とは、対応付けられた「コンテンツＩＤ」が示す学習コンテンツの表示態様を示す画像データであり、学習コンテンツに含まれるテキストや画像等を被写体とする画像のデータである。また、「トピックス」とは、対応付けられた「コンテンツＩＤ」が示す学習コンテンツから、テキストの視覚的な特徴を考慮して予め設定された１つまたは複数のトピックである。

例えば、図４に示す例では、コンテンツＩＤ「コンテンツＩＤ＃１」、コンテンツデータ「コンテンツデータ＃１」、画像データ「画像データ＃１」、トピックス「トピック＃１−１、トピック＃１−２」が対応付けられた情報が登録されている。このような情報は、コンテンツＩＤ「コンテンツＩＤ＃１」が示す学習コンテンツのコンテンツデータが「コンテンツデータ＃１」であり、その学習コンテンツの画像データが「画像データ＃１」であり、その学習コンテンツから抽出されるトピックスが「トピック＃１−１、トピック＃１−２」である旨を示す。なお、トピックスには、対応付けられた学習コンテンツから抽出可能なトピックのうち、最も重要度が高いトピックと、２番目に重要度が高いトピックとが順に登録されているものとする。

図２に戻り、説明を続ける。配信コンテンツデータベース３３には、配信コンテンツの画像データやトピックスが登録されている。例えば、図５は、実施形態に係る配信コンテンツデータベースに登録される情報の一例を示す図である。図５に示すように、配信コンテンツデータベース３３には、「コンテンツＩＤ」、「コンテンツデータ」、「画像データ」、「トピックス」といった項目を有する情報が登録されている。なお、配信コンテンツデータベース３３には、他にも、配信コンテンツに関連する情報であれば、任意の情報が登録されていてよい。

ここで、「コンテンツＩＤ」とは、配信コンテンツの識別子である。また、「コンテンツデータ」とは、対応付けられた「コンテンツＩＤ」が示す配信コンテンツのデータである。また、「画像データ」とは、対応付けられた「コンテンツＩＤ」が示す配信コンテンツの表示態様を示す画像データであり、配信コンテンツに含まれるテキストや画像等を被写体とする画像のデータである。また、「トピックス」とは、対応付けられた「コンテンツＩＤ」が示す配信コンテンツから、テキストの視覚的な特徴を考慮して予め設定された１つまたは複数のトピックである。

例えば、図５に示す例では、コンテンツＩＤ「コンテンツＩＤ＃３」、コンテンツデータ「コンテンツデータ＃３」、画像データ「画像データ＃３」、トピックス「トピック＃３−１、トピック＃３−２」が対応付けられた情報が登録されている。このような情報は、コンテンツＩＤ「コンテンツＩＤ＃３」が示す配信コンテンツのコンテンツデータが「コンテンツデータ＃３」であり、その配信コンテンツの画像データが「画像データ＃３」であり、その配信コンテンツから抽出されるトピックスが「トピック＃３−１、トピック＃３−２」である旨を示す。

図２に戻り、説明を続ける。制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、配信装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

図２に示すように、制御部４０は、学習処理を実行する学習処理部５０と、抽出処理を実行する抽出処理部６０と、配信処理を実行する配信部７０とを有する。また、学習処理部５０は、取得部５１、および学習部５２を有する。また、抽出処理部６０は、受付部６１、および抽出部６２を有する。

取得部５１は、学習コンテンツに含まれるテキストと、そのテキストの学習コンテンツにおける視覚的な状態とを取得する。より具体的には、取得部５１は、学習コンテンツの画像を取得する。

例えば、取得部５１は、インターネット等を介して、新聞記事や中吊り広告等、テキストが予め設定された所定のレイアウトで表示されるコンテンツを学習コンテンツとして収集する。そして、取得部５１は、収集した学習コンテンツの画像、すなわち、画像データを生成し、学習コンテンツデータベース３２に登録する。また、取得部５１は、収集した学習コンテンツを所定の操作者等に提示し、操作者がテキストのレイアウト等といった視覚的な特徴を考慮して設定したトピックスを取得する。このような場合、取得部５１は、取得したトピックスを学習データと対応付けて学習コンテンツデータベース３２に登録する。

学習部５２は、取得部５１が取得したテキストとそのテキストの学習コンテンツにおける視覚的な状態とを入力した際に、学習コンテンツのトピックを出力するように、学習器ＤＮ０１を深層学習させる。例えば、学習部５２は、モデルデータベース３１から学習器ＤＮ０１を生成する。また、学習部５２は、学習コンテンツデータベース３２を参照し、画像データと、その画像データと対応付けられて登録されたトピックスとを抽出する。そして、学習部５２は、抽出した画像データを学習器ＤＮ０１に入力した際に、学習器ＤＮ０１が対応するトピックスを出力するように、学習器ＤＮ０１が有するニューロン間の接続係数を補正する。

例えば、学習部５２は、図４に示す画像データ＃１を入力した際に、最も重要度が高いトピックとしてトピック＃１−１を出力し、２番目に重要度が高いトピックとしてトピック＃１−２を出力するように、学習器ＤＮ０１が有するニューロン間の接続係数を補正する。この結果、学習部５２は、学習器ＤＮ０１に対し、学習コンテンツに含まれるテキストの意味的な特徴のみならず、テキストのレイアウト等といった視覚的な特徴と、学習コンテンツのトピックスの特徴との間の関係性を深層学習させることができる。

受付部６１は、配信コンテンツを受付ける。例えば、受付部６１は、情報処理装置１００から、配信コンテンツを受付ける。このような場合、受付部６１は、配信コンテンツの画像を生成し、配信コンテンツと配信コンテンツの画像とを対応付けて配信コンテンツデータベース３３に登録する。

抽出部６２は、学習処理部５０により深層学習が行われた学習器ＤＮ０１を用いて、配信コンテンツのトピックを抽出する。より具体的には、抽出部６２は、学習器ＤＮ０１として、学習コンテンツに含まれるテキストの特徴およびテキストの学習コンテンツにおける視覚的な状態の特徴とを入力した際に、学習コンテンツのトピックを出力するように深層学習が行われた学習器ＤＮ０１を用いる。例えば、抽出部６２は、モデルデータベース３１から学習器ＤＮ０１を生成し、生成した学習器ＤＮ０１に配信コンテンツのテキストやテキストの視覚的な特徴を入力することで、配信コンテンツのトピックを抽出する。

すなわち、抽出部６２は、配信コンテンツに含まれるテキストの特徴およびテキストの配信コンテンツにおける視覚的な状態の特徴と、配信コンテンツのトピックとの間の関係性を深層学習した学習器ＤＮ０１を用いて、配信コンテンツからトピックを抽出する。より具体的には、抽出部６２は、学習コンテンツの画像から学習コンテンツのトピックを抽出するように深層学習を行った学習器ＤＮ０１を用いて、配信コンテンツの画像から、配信コンテンツのトピックを抽出する。

また、抽出部６２は、学習コンテンツに含まれるテキストの特徴およびテキストのレイアウトの特徴に基づいて、学習コンテンツのトピックを抽出するように深層学習を行った学習器ＤＮ０１を用いて、配信コンテンツからトピックの抽出を行う。例えば、学習部５２は、学習コンテンツに含まれるテキストの特徴およびテキストのレイアウトの特徴に基づくトピックが学習コンテンツデータベース３２に登録されている場合、学習コンテンツに含まれるテキストの特徴およびテキストのレイアウトの特徴と、学習コンテンツのトピックの特徴との関係性を学習器ＤＮ０１に深層学習させる。この結果、学習器ＤＮ０１は、配信コンテンツに含まれるテキストの特徴およびテキストのレイアウトの特徴に基づいて、配信コンテンツのトピックを抽出することができる。

また、抽出部６２は、視覚的な特徴として、学習コンテンツにおけるテキストの配置位置、テキストの文字の大きさ、文字の色、または文字の字体の少なくともいずれか１つと、学習コンテンツのトピックとの間の関係性を深層学習した学習器ＤＮ０１を用いる。例えば、学習部５２は、学習コンテンツにおけるテキストの配置位置、テキストの文字の大きさ、文字の色、または文字の字体の少なくともいずれか１つの特徴に基づくトピックが学習コンテンツデータベース３２に登録されている場合、テキストの特徴のみならず、これらの視覚的な特徴と、学習コンテンツのトピックの特徴との関係性を学習器ＤＮ０１に深層学習させる。この結果、学習器ＤＮ０１は、視覚的な特徴として、配信コンテンツにおけるテキストの配置位置、テキストの文字の大きさ、文字の色、または文字の字体の少なくともいずれか１つに基づいて、配信コンテンツのトピックを抽出することができる。

また、抽出部６２は、視覚的な特徴として、学習コンテンツのうちテキストが占める面積の割合と、学習コンテンツのトピックとの間の関係性を深層学習した学習器ＤＮ０１を用いる。例えば、学習部５２は、学習コンテンツに含まれる各テキストが配置された領域の面積の割合に基づくトピックが学習コンテンツデータベース３２に登録されている場合、テキストの特徴のみならず、これらの割合と、学習コンテンツのトピックの特徴との関係性を学習器ＤＮ０１に深層学習させる。この結果、学習器ＤＮ０１は、配信コンテンツのうちテキストが占める面積の割合に基づいて、配信コンテンツのトピックを抽出することができる。

また、抽出部６２は、学習コンテンツに含まれるテキストの特徴、テキストの学習コンテンツにおける視覚的な状態の特徴および学習コンテンツに含まれる画像の特徴と、学習コンテンツのトピックとの間の関係性を深層学習した学習器ＤＮ０１を用いる。例えば、学習部５２は、学習コンテンツに含まれる画像の特徴に基づくトピックが学習コンテンツデータベース３２に登録されている場合、テキストの特徴やテキストの視覚的な特徴のみならず、学習コンテンツに含まれる画像の特徴と、学習コンテンツのトピックの特徴との関係性を学習器ＤＮ０１に深層学習させる。この結果、学習器ＤＮ０１は、配信コンテンツに含まれる画像を考慮して、配信コンテンツのトピックを抽出することができる。

例えば、抽出部６２は、配信コンテンツデータベース３３から、配信コンテンツの画像データを抽出し、抽出した画像データを学習器ＤＮ０１に入力する。このような処理を実行した場合、学習器ＤＮ０１は、配信コンテンツから抽出可能なトピックのうち、配信コンテンツに含まれるテキストの視覚的な特徴を考慮して、最も重要度が高いトピックと、２番目に重要度が高いトピックとを抽出する。そして、抽出部６２は、抽出したトピックスを配信コンテンツと対応付けて配信コンテンツデータベース３３に登録する。

ここで、学習処理において、学習コンテンツに含まれるテキストの視覚的な特徴のうち、どのような特徴を学習させるかによって、抽出部６２が配信コンテンツから抽出するトピックスが変化することとなる。そこで、以下では、図６を用いて、学習器ＤＮ０１に深層学習させる視覚的な特徴の一例について説明する。

図６は、実施形態に係る学習コンテンツから抽出するトピックスの一例を説明する図である。なお、図６に示す例では、コンテンツＣ２に含まれるテキストの視覚的な特徴のうち、深層学習させる特徴の一例について記載した。例えば、図６に示す例では、コンテンツＣ２には、テキストＴ２１〜Ｔ２８が含まれている。また、コンテンツＣ２においては、テキストＴ２１の表示サイズが最も大きく、テキストＴ２３の表示サイズが２番目に大きく、他のテキストＴ２２、Ｔ２４〜Ｔ２８の表示サイズが最も小さい。コンテンツＣ２においては、テキストＴ２２のみが横書きで構成されている。また、図６に示す例では、画像Ｐ２において、テキストＴ２３〜Ｔ２５は、背景色が設定されており、白抜き文字で構成されている。また、テキストＴ２８の下部には、テキストＴ２８が示すトピックと関連する画像Ｐ２１が配置されているものとする。

このようなレイアウトを有する場合、テキストＴ２１、Ｔ２３、Ｔ２４、Ｔ２５の順に重要度が高いトピックを示すものと考えられる。また、テキストＴ２２は、テキストＴ２６〜Ｔ２８の上部に横書で配置されているため、テキストＴ２６〜Ｔ２８よりも重要度が高いトピックを示すものと考えられる。また、テキストＴ２８は、トピックと関連する画像Ｐ２１が配置されているため、テキストＴ２６、Ｔ２７よりも重要度が高いトピックを示すものと考えられる。

そこで、操作者は、各テキストＴ２１〜Ｔ２８が示すトピック＃２１〜＃２８に対し、トピックの重要度が高い方から順に、トピック順位を付与したトピックスをコンテンツＣ２のトピックスとして生成する。例えば、図６に示す例では、トピック＃２１、トピック＃２３、トピック＃２４、トピック＃２５、トピック＃２２、トピック＃２８、トピック＃２７、トピック＃２６の順に、トピック順位１〜８を付与したトピックスを生成する。

このようなトピックスを学習コンテンツデータベース３２に登録した場合、学習部５２は、コンテンツＣ２に含まれる各テキストＴ２１〜Ｔ２８の視覚的な特徴を考慮して、トピックを抽出する学習器ＤＮ０１を生成することができる。また、抽出部６２は、配信コンテンツを受付けた場合に、コンテンツＣ２から操作者が生成したトピックス同様、表示サイズが大きいテキストや、白抜きのテキストが示すトピックをより重要度が高いトピックとして抽出することができる。

図２に戻り、説明を続ける。配信部７０は、抽出処理部６０が抽出した配信コンテンツのトピックに基づいて、配信コンテンツを配信する。例えば、配信部７０は、検索クエリを端末装置２００から受信する。このような場合、配信部７０は、受信した検索クエリと関連性が高いトピックスを配信コンテンツデータベース３３から検索する。例えば、配信部７０は、最も重要度が高いトピックが検索クエリと関連する配信コンテンツを配信コンテンツデータベース３３から検索する。そして、配信部７０は、検索した配信コンテンツを端末装置２００へと配信する。

〔３．処理の流れの一例〕
続いて、図７、図８を用いて、配信装置１０が実行する学習処理および抽出処理の流れの一例について説明する。まず、図７を用いて、配信装置１０が実行する学習処理の流れの一例を説明する。図７は、実施形態に係る配信装置が実行する学習処理の流れの一例を示すフローチャートである。

例えば、配信装置１０は、学習コンテンツを取得する（ステップＳ１０１）。このような場合、配信装置１０は、学習コンテンツの画像をＤＮＮに入力した際に、学習コンテンツのトピックを出力するようにＤＮＮを設定することで、学習コンテンツに含まれるテキストの特徴およびテキストの視覚的な状態の特徴と、学習コンテンツのトピックとの間の関係性をＤＮＮに深層学習させ（ステップＳ１０２）、処理を終了する。

次に、図８を用いて、配信装置１０が実行する抽出処理の流れの一例を説明する。図８は、実施形態に係る配信装置が実行する抽出処理の流れの一例を示すフローチャートである。例えば、配信装置１０は、配信コンテンツを受付ける（ステップＳ２０１）。このような場合、配信装置１０は、学習コンテンツに含まれるテキストの特徴およびテキストの視覚的な状態の特徴と、学習コンテンツのトピックとの間の関係性を深層学習させたＤＮＮに、配信コンテンツの画像を入力することで、配信コンテンツのトピックを抽出する（ステップＳ２０２）。そして、配信装置１０は、配信コンテンツと抽出したトピックとを対応付けて記憶し（ステップＳ２０３）、処理を終了する。

〔４．変形例〕
上記では、配信装置１０による付与処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、配信装置１０が実行する抽出処理のバリエーションについて説明する。

〔４−１．トピックの利用について〕
上述した抽出処理によって抽出されたトピックは、任意の処理に用いることができる。例えば、配信装置１０は、抽出したトピックに基づいて、配信コンテンツの配信態様を決定してもよい。より具体的には、配信装置１０は、検索クエリとトピックとの関連性を示すスコアを算出し、算出したスコアに基づいて、配信コンテンツの配信可否や配信順序、端末装置２００が表示する際の表示順序等を決定してもよい。すなわち、配信装置１０は、抽出したトピックに基づいて、配信コンテンツのリスティングを実現してもよい。

また、配信装置１０が抽出したトピックは、例えば、配信コンテンツの要約作成等に用いられてもよい。このような要約は、例えば、配信コンテンツのサムネイル等に利用可能である。

また、配信装置１０は、配信対象となる各配信コンテンツから抽出したトピックの数を、トピックごとに集計することで、話題となっているトピックのランキングを作成してもよい。ここで、配信装置１０は、各トピックの重要度に基づく重みづけを考慮して、トピックのランキングを生成してもよい。

〔４−２．学習器の利用について〕
ここで、利用者は、適切な配信コンテンツの生成に学習器ＤＮ０１を用いてもよい。例えば、配信装置１０は、配信候補となるコンテンツを取得し、取得した配信候補となるコンテンツから学習器ＤＮ０１を用いてトピックを抽出する。そして、利用者は、配信装置１０が抽出したトピックと、配信候補となるコンテンツを介して利用者に提供したいトピックとを比較し、各トピックに齟齬がある場合には、トピックの齟齬が解消されるように配信候補となるコンテンツの修正を行う。例えば、利用者は、より重要度が高いトピックに関する画像を追加する、より重要度が低いトピックを示すテキストの表示サイズを小さくする等、配信候補となるコンテンツのレイアウトの修正に、学習器ＤＮ０１を用いてもよい。なお、学習器ＤＮ０１を用いて、配信候補となるコンテンツのテキストと、重要なトピックを示す情報とを入力した際に、どのようなレイアウトを行えばよいか、どのような写真を付加すればよいか等といった情報を出力するモデルの学習を行ってもよい。例えば、学習器ＤＮ０１に、学習コンテンツのテキストと、重要なトピックを示す情報とを入力した際に、レイアウトを示す情報や、学習コンテンツそのものを出力するように、学習器ＤＮ０１の再学習を行ってもよい。

なお、上述した学習処理を実行した場合、学習器ＤＮ０１は、テキストの視覚的な特徴に基づいて、トピックの抽出を行う。このため、例えば、学習コンテンツと配信コンテンツとは、異なる言語に基づくコンテンツであってもよい。例えば、学習コンテンツがドイツ語のコンテンツである場合に、配信コンテンツがドイツ語のコンテンツである必要はなく、英語やフランス語等、他の言語のコンテンツであってもよい。また、学習器ＤＮ０１は、任意の１つ又は複数の学習コンテンツでプレトレーニングが行われた後で、配信コンテンツと同じ言語の学習コンテンツでトレーニングが行われてもよい。このような処理により、学習器ＤＮ０１は、各言語に共通した視覚的な特徴を学習できる。

〔４−３．トピックの重要度について〕
上述した例では、配信装置１０は、学習コンテンツに含まれるテキストが示すトピックのうち、最も重要度が高いトピックおよび２番目に重要度が高いトピックを抽出するように学習器ＤＮ０１の学習を行った。しかしながら、実施形態は、これに限定されるものではない。

例えば、配信装置１０は、学習コンテンツに含まれる全てのトピックを抽出するとともに、抽出した各トピックの重要度を示すスコアを出力するように学習器ＤＮ０１の深層学習を行ってもよい。このような処理を実行した場合、例えば、配信装置１０は、配信コンテンツに含まれる全てのトピックを抽出するとともに、抽出した各トピックの重要度を示すスコアを出力する。そして、配信装置１０は、検索クエリと各トピックとの関連性を、各トピックの重要度を示すスコアで重みづけを行うことで、検索クエリと配信コンテンツとの間の関連度を示すスコアを算出し、算出したスコアに基づいて、配信対象とする配信コンテンツを選択することとなる。

また、例えば、配信装置１０は、学習コンテンツに含まれる全てのトピックのうち、重要度が所定の閾値よりも高いトピックを出力するように、学習器ＤＮ０１の深層学習を行ってもよい。このような処理を実行した場合、配信装置１０は、配信コンテンツに含まれるトピックのうち、重要度が所定の閾値よりも高いトピックを抽出することとなる。

〔４−４．学習内容について〕
ここで、配信装置１０は、テキストの外観的な特徴を反映させた深層学習を実行するのであれば、任意の特徴を反映させてよい。例えば、配信装置１０は、テキストの色彩や字体等に基づいて、テキストが示すトピックがポジティブか否かという観点で生成されたトピックスを用いて、学習器ＤＮ０１の深層学習を行ってもよい。より具体的には、配信装置１０は、ポジティブなコンテキストのみを抽出するように学習器ＤＮ０１の深層学習を行ってもよい。このような深層学習を行った場合、配信装置１０は、配信コンテンツに含まれるテキストが示すトピックのうち、ポジティブなトピックのみを出力することとなる。

〔４−５．トピックに含まれる情報について〕
ここで、上述した説明では、コンテンツに含まれる情報を抽出する処理の一例として、コンテンツに含まれるトピックを抽出する処理の一例について記載した。しかしながら、実施形態は、これに限定されるものではない。例えば、配信装置１０は、コンテンツに含まれるテキストの特徴およびテキストのコンテンツにおける視覚的な状態の特徴と、コンテンツに含まれる情報との関係性を深層学習した学習器を用いて、配信コンテンツから配信コンテンツに含まれる情報のうち、所定の利用者に対してリコメンドする情報、すなわち、推奨対象となる情報を抽出してもよい。

例えば、配信装置１０は、商品の写真、名称、型番等（以下、「商品情報」と記載する。）と共に、商品の価格が記載されたチラシの画像を学習データとし、学習データを入力した際に、利用者Ｕ０１に対して購入を提案する商品の名称や写真を抽出するように学習器ＤＮ０１の学習を行う。より具体的には、配信装置１０は、所定のチラシに含まれるテキストのレイアウト等に基づいて、所定のチラシを利用者Ｕ０１が閲覧した際に、利用者Ｕ０１が選択するであろう商品や、利用者Ｕ０１が気に入るであろう商品をあらかじめ選択し、選択した商品の商品情報を教師信号とする。そして、配信装置１０は、学習データを学習器ＤＮ０１に入力した際に、教師信号と対応する商品情報を出力するように、学習器ＤＮ０１の学習を行う。

このような学習が行われた学習器ＤＮ０１は、配信コンテンツの画像を入力した際に、配信コンテンツに含まれる情報（商品情報等）の中から、利用者Ｕ０１に対してリコメンドする情報を抽出することとなる。そこで、配信装置１０は、学習器ＤＮ０１を用いて、配信コンテンツから推奨情報を抽出し、抽出した推奨情報を利用者Ｕ０１に対して提供してもよい。

なお、配信装置１０は、トピックの抽出と同様に、学習器ＤＮ０１を用いて、配信コンテンツに含まれる情報の中から、重要度が所定の閾値よりも高い情報を抽出し、抽出した情報を推奨情報として利用者Ｕ０１に提供してもよい。例えば、チラシに含まれる商品情報のうち、割引率が高い商品の商品情報や、目玉となる商品の商品情報、すなわち、重要度がより高い商品情報については、大きな文字や特徴的な色彩の文字により構成されると予測される。そこで、配信装置１０は、トピックの抽出と同様に、テキストの特徴とテキストの視覚的な状態の特徴と、コンテンツに含まれる情報との関係性を深層学習した学習器ＤＮ０１を用いて、チラシに含まれる商品情報のうち、重要度がより高い商品情報を抽出し、抽出した情報を推奨情報としてもよい。

また、配信装置１０は、利用者Ｕ０１の属性情報を考慮してもよい。例えば、配信装置１０は、学習データとなる所定のチラシを利用者Ｕ０１が閲覧した際に、利用者Ｕ０１が選択した商品の商品情報を教師信号とする。そして、配信装置１０は、学習データを学習器ＤＮ０１に入力した際に、利用者Ｕ０１が選択した商品の商品情報を出力するように、学習器ＤＮ０１の学習を行う。ここで、教師信号となる商品は、利用者Ｕ０１の選択に基づいて設定されてもよく、利用者Ｕ０１の属性に基づいて設定されてもよい。また、配信装置１０は、例えば、チラシの画像と共に、利用者Ｕ０１の属性情報を学習器ＤＮ０１に入力した際に、利用者Ｕ０１が選択した商品または利用者Ｕ０１が選択するであろう商品の商品情報を出力するように学習処理を行ってもよい。

このような学習を行った学習器ＤＮ０１は、コンテンツに含まれるテキストとテキストの視覚的な状態の特徴と利用者の属性との組と、コンテンツに含まれる情報の重要度との関係性を深層学習することとなる。そこで、配信装置１０は、このような学習を行った学習器ＤＮ０１を用いて、利用者Ｕ０１に対する推奨情報を抽出してもよい。この結果、配信装置１０は、利用者Ｕ０１が気に入る情報を精度良く抽出することができる。

〔４−６．装置構成〕
配信装置１０は、複数の装置が協調することにより、上述した学習処理や抽出処理、配信処理を実現してもよい。例えば、配信装置１０は、学習処理部５０を有する学習サーバ、抽出処理部６０を有する抽出サーバ、および配信部７０を有する配信サーバが協調して動作することにより、上述した学習処理、抽出処理、および配信処理が実現されてもよい。また、配信装置１０は、例えば、学習処理部５０および抽出処理部６０を有するバックエンドサーバと、配信部７０を有するフロントエンドサーバが強調することで実現されてもよい。また、記憶部３０に格納された各データベース３１〜３３は、配信装置１０の内部ではなく、例えば、外部のストレージサーバ等に格納されていてもよい。

〔４−７．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔５．プログラム〕
また、上述してきた実施形態に係る配信装置１０は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が配信装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。

〔６．効果〕
上述したように、配信装置１０は、配信コンテンツを受付ける。そして、配信装置１０は、学習コンテンツに含まれるテキストの特徴およびテキストの学習コンテンツにおける視覚的な状態の特徴と、配信コンテンツに含まれる情報との間の関係性を深層学習した学習器ＤＮ０１を用いて、配信コンテンツから情報を抽出する。このように、配信装置１０は、テキストそのものが有する意味のみならず、テキストの視覚的な特徴を考慮して、配信コンテンツから情報を抽出するので、情報の抽出精度を向上させることができる。

また、配信装置１０は、学習器ＤＮ０１として、学習コンテンツに含まれるテキストの特徴およびテキストの学習コンテンツにおける視覚的な状態の特徴と、配信コンテンツのトピックとの間の関係性を深層学習した学習器ＤＮ０１を用いて、配信コンテンツからトピックを抽出する。このため、配信装置１０は、配信コンテンツに含まれるトピックを精度良く抽出することができる。

また、配信装置１０は、配信コンテンツに含まれる情報のうち、推奨対象となる情報を抽出する。このため、配信装置１０は、利用者Ｕ０１に対して推奨する情報を精度良く抽出することができる。

また、配信装置１０は、配信コンテンツの画像を受付ける。そして、配信装置１０は、学習コンテンツの画像から学習コンテンツに含まれる情報を抽出するように深層学習を行った学習器ＤＮ０１を用いて、配信コンテンツの画像から、配信コンテンツに含まれる情報を抽出する。このように、配信装置１０は、テキストデータではなく、学習コンテンツや配信コンテンツの画像を用いて、深層学習や情報の抽出を行うので、テキストが有する意味のみならず、テキストを表示する際の視覚的な特徴に基づいて、情報の抽出を行うことができる。

また、配信装置１０は、学習コンテンツに含まれるテキストの特徴およびテキストのレイアウトの特徴に基づいて、学習コンテンツの情報を抽出するように深層学習を行った学習器ＤＮ０１を用いる。このため、配信装置１０は、配信コンテンツにおけるテキストのレイアウトの特徴を考慮して、配信コンテンツから情報を抽出するので、情報の抽出精度を向上させることができる。

また、配信装置１０は、視覚的な特徴として、学習コンテンツにおけるテキストの配置位置、テキストの文字の大きさ、文字の色、または文字の字体の少なくともいずれか１つと、学習コンテンツの情報との間の関係性を深層学習した学習器ＤＮ０１を用いる。このため、配信装置１０は、配信コンテンツから、テキストの配置位置や文字の大きさ、文字の色、字体といった視覚的な特徴を考慮して情報を抽出するので、情報の抽出精度を向上させることができる。

また、配信装置１０は、視覚的な特徴として、学習コンテンツのうちテキストが占める面積の割合と、学習コンテンツの情報との間の関係性を深層学習した学習器ＤＮ０１を用いる。このため、配信装置１０は、テキストが示す面積に割合を考慮して、配信コンテンツからトピックを抽出するので、情報の抽出精度を向上させることができる。

また、配信装置１０は、学習コンテンツに含まれるテキストの特徴およびテキストの学習コンテンツにおける視覚的な状態の特徴とを入力した際に、学習コンテンツの情報を出力するように深層学習が行われた学習器ＤＮ０１を用いる。このため、配信装置１０は、配信コンテンツに含まれるテキストの特徴およびテキストの配信コンテンツにおける視覚的な状態の特徴とを学習器ＤＮ０１に入力することで、配信コンテンツの情報を抽出することができる。

また、配信装置１０は、学習コンテンツに含まれるテキストの特徴、テキストの学習コンテンツにおける視覚的な状態の特徴、および学習コンテンツに含まれる画像の特徴と、学習コンテンツの情報との間の関係性を深層学習した学習器ＤＮ０１を用いる。このため、配信装置１０は、画像と関連するトピックを優先して抽出するなど、画像を考慮したトピックの抽出を行うことができる。

また、配信装置１０は、抽出した情報に基づいて、配信コンテンツを配信する。このため、配信装置１０は、例えば、検索クエリと関連性が高い配信コンテンツを精度良く配信することができる。

また、配信装置１０は、学習コンテンツに含まれるテキストの特徴およびテキストの視覚的な状態の特徴と、学習コンテンツに含まれる情報の重要度との関係性を深層学習した学習器ＤＮ０１を用いて、配信コンテンツから情報を重要度を考慮して抽出する。このため、配信装置１０は、配信コンテンツに含まれるトピックや推奨情報等の情報のうち、重要度がより高い情報を抽出することができる。

また、配信装置１０は、学習コンテンツに含まれるテキストと、テキストの学習コンテンツにおける視覚的な状態とを取得し、取得したテキストとテキストの学習コンテンツにおける視覚的な状態とを入力した際に、学習コンテンツに含まれる情報を出力するように、学習器ＤＮ０１を深層学習させる。このため、配信装置１０は、テキストの学習コンテンツにおける視覚的な状態を考慮して、学習コンテンツの情報を抽出する学習器ＤＮ０１の深層学習を実現することができる。

また、配信装置１０は、学習コンテンツの画像を取得し、学習コンテンツの画像を入力した際に、学習コンテンツの情報を抽出するように、学習器ＤＮ０１を深層学習させる。このため、配信装置１０は、テキストそのものが有する意味と、テキストのレイアウト等といった視覚的な状態とを同時に考慮して、学習コンテンツの情報を抽出する学習器ＤＮ０１の深層学習を実現することができる。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、学習部は、学習手段や学習回路に読み替えることができる。

１０ 配信装置
２０ 通信部
３０ 記憶部
３１ モデルデータベース
３２ 学習コンテンツデータベース
３３ 配信コンテンツデータベース
４０ 制御部
５０ 学習処理部
５１ 取得部
５２ 学習部
６０ 抽出処理部
６１ 受付部
６２ 抽出部
７０ 配信部
１００ 情報処理装置
２００ 端末装置

Claims (17)

1. 所定のコンテンツを受付ける受付部と、
   コンテンツに含まれるテキストの特徴および当該テキストの当該コンテンツにおける視覚的な状態の特徴と、当該コンテンツに含まれる情報との関係性を深層学習した学習器を用いて、前記所定のコンテンツから当該所定のコンテンツに含まれる情報を抽出する抽出部と、
   を有することを特徴とする抽出装置。
2. 前記抽出部は、前記学習器として、コンテンツに含まれるテキストの特徴および当該テキストの当該コンテンツにおける視覚的な状態の特徴と、当該コンテンツのトピックとの間の関係性を深層学習した学習器を用いて、前記所定のコンテンツから当該所定のコンテンツのトピックを抽出する
   ことを特徴とする請求項１に記載の抽出装置。
3. 前記抽出部は、前記所定のコンテンツから、当該所定のコンテンツに含まれる情報のうち、推奨対象となる情報を抽出する
   ことを特徴とする請求項１に記載の抽出装置。
4. 前記受付部は、前記所定のコンテンツの画像を受付け、
   前記抽出部は、前記学習器として、コンテンツの画像から当該コンテンツに含まれる情報を抽出するように前記深層学習を行った学習器を用いて、前記所定のコンテンツの画像から、当該所定のコンテンツに含まれる情報を抽出する
   ことを特徴とする請求項１〜３のうちいずれか１つに記載の抽出装置。
5. 前記抽出部は、前記学習器として、コンテンツに含まれるテキストの特徴および当該テキストのレイアウトの特徴に基づいて、当該コンテンツに含まれる情報を抽出するように深層学習を行った学習器を用いる
   ことを特徴とする請求項１〜４のうちいずれか１つに記載の抽出装置。
6. 前記抽出部は、前記視覚的な状態の特徴として、前記コンテンツにおける前記テキストの配置位置、当該テキストの文字の大きさ、当該文字の色、または当該文字の字体の少なくともいずれか１つと、当該コンテンツに含まれる情報との間の関係性を深層学習した学習器を用いる
   ことを特徴とする請求項１〜５のうちいずれか１つに記載の抽出装置。
7. 前記抽出部は、前記視覚的な状態の特徴として、前記コンテンツのうち前記テキストが占める面積の割合と、当該コンテンツに含まれる情報との間の関係性を深層学習した学習器を用いる
   ことを特徴とする請求項１〜６のうちいずれか１つに記載の抽出装置。
8. 前記抽出部は、前記学習器として、コンテンツに含まれるテキストの特徴および当該テキストの当該コンテンツにおける視覚的な状態の特徴とを入力した際に、当該コンテンツに含まれる情報を出力するように深層学習が行われた学習器を用いる
   ことを特徴とする請求項１〜７のうちいずれか１つに記載の抽出装置。
9. 前記抽出部は、前記学習器として、コンテンツに含まれるテキストの特徴、当該テキストの当該コンテンツにおける視覚的な状態の特徴および当該コンテンツに含まれる画像の特徴と、当該コンテンツに含まれる情報との間の関係性を深層学習した学習器を用いる
   ことを特徴とする請求項１〜８のうちいずれか１つに記載の抽出装置。
10. 前記抽出部が抽出した情報に基づいて、前記所定のコンテンツを配信する配信部
    を有することを特徴とする請求項１〜９のうちいずれか１つに記載の抽出装置。
11. 前記抽出部は、前記学習器として、コンテンツに含まれるテキストの特徴および当該テキストの当該コンテンツにおける視覚的な状態の特徴と、当該コンテンツに含まれる情報の重要度との関係性を深層学習した学習器を用いて、前記所定のコンテンツから当該所定のコンテンツに含まれる情報を重要度を考慮して抽出する
    事を特徴とする請求項１〜１０のうちいずれか１つに記載の抽出装置。
12. コンテンツに含まれるテキストと、当該テキストの当該コンテンツにおける視覚的な状態とを取得する取得部と、
    前記取得部が取得したテキストと当該テキストの前記コンテンツにおける視覚的な状態とを入力した際に、前記コンテンツに含まれる情報を出力するように、学習器を深層学習させる学習部と
    を有することを特徴とする学習装置。
13. 前記取得部は、前記コンテンツの画像を取得し
    前記学習部は、前記コンテンツの画像を入力した際に、前記コンテンツに含まれる情報を抽出するように、学習器を深層学習させる
    ことを特徴とする請求項１２に記載の学習装置。
14. 抽出装置が実行する抽出方法であって、
    所定のコンテンツを受付ける受付工程と、
    コンテンツに含まれるテキストの特徴および当該テキストの当該コンテンツにおける視覚的な状態の特徴と、当該コンテンツに含まれる情報との関係性を深層学習した学習器を用いて、前記所定のコンテンツから当該所定のコンテンツに含まれる情報を抽出する抽出工程と、
    を含むことを特徴とする抽出方法。
15. コンピュータに、
    所定のコンテンツを受付ける受付手順と、
    コンテンツに含まれるテキストの特徴および当該テキストの当該コンテンツにおける視覚的な状態の特徴と、当該コンテンツに含まれる情報との関係性を深層学習した学習器を用いて、前記所定のコンテンツから当該所定のコンテンツに含まれる情報を抽出する抽出手順と、
    を実行させるための抽出プログラム。
16. 学習装置が実行する学習方法であって、
    コンテンツに含まれるテキストと、当該テキストの当該コンテンツにおける視覚的な状態とを取得する取得工程と、
    前記取得工程で取得したテキストと当該テキストの前記コンテンツにおける視覚的な状態とを入力した際に、前記コンテンツに含まれる情報を出力するように、学習器を深層学習させる学習工程と
    を含むことを特徴とする学習方法。
17. コンピュータに、
    コンテンツに含まれるテキストと、当該テキストの当該コンテンツにおける視覚的な状態とを取得する取得手順と、
    前記取得手順で取得したテキストと当該テキストの前記コンテンツにおける視覚的な状態とを入力した際に、前記コンテンツに含まれる情報を出力するように、学習器を深層学習させる学習手順と
    を実行させるための学習プログラム。

Images