JP4967133B2 - 情報取得装置、そのプログラム及び方法 - Google Patents
情報取得装置、そのプログラム及び方法 Download PDFInfo
- Publication number
- JP4967133B2 JP4967133B2 JP2007085469A JP2007085469A JP4967133B2 JP 4967133 B2 JP4967133 B2 JP 4967133B2 JP 2007085469 A JP2007085469 A JP 2007085469A JP 2007085469 A JP2007085469 A JP 2007085469A JP 4967133 B2 JP4967133 B2 JP 4967133B2
- Authority
- JP
- Japan
- Prior art keywords
- similarity
- information
- search
- sentence
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
そこで、複数のデータベースを検索して所望の情報を取得し、その情報をユーザの望む形式に編集・加工する情報編集・加工方法が、特開平9−185632号公報に開示されている。
また、検索された情報の文中に含まれる品詞の係り受け関係を解析し、各文中の動詞を含む文節に係る文節中の名詞を抽出し、前記抽出された名詞の単体の名詞間の類似度S 1 及び名詞集合の類似度S 2 計算し、抽出された名詞の表示の一致する割合の類似度S 3 を計算し、前記類似度S 2 に類似度S 3 を加えて文類似度Sを計算し、検索情報の文タイプによる選定を行い、前記文類似度計算及び文タイプ選定された関連情報の内容を統合して出力するので、検索された関連情報について、重複個所、固有個所、補足説明等の情報内容を整理した状態で、関連情報を取得することができる。また、膨大な量の関連情報に含まれる重複情報が何度も繰り返し表示されることによるユーザの負担を軽減でき、整理された固有個所や補足説明の情報を効率よく利用者の要望に沿った形式により取得することができる。
さらに、検索順位決定によりスコアリングされた検索結果を開示し、前記検索結果の適否を入力し、特徴及び質問ベクトルを修正して、検索情報の内容を出力するので、特徴ベクトル及び質問ベクトルをユーザが適合していると判断した情報に近づけ、不適合であると判断した情報から遠ざけるように特徴ベクトル及び質問ベクトルを生成していくことができる。これを繰り返し適用することにより、確実にユーザの望む検索結果を得ることができる。
図1に本発明の実施形態における情報取得装置のハードウェア構成図を示す。コンピュータ1は、例えば、CPU(Central Processing Unit)2、メインメモリ3、HDD(Hard Disk Drive)4、ビデオカード5、マウス6、キーボード7、光学ディスク8等を含む。なお、必要に応じて、データベース等を接続することもできる。
図2に本発明の実施形態に係る情報取得装置のブロック構成図を示す。本発明は、主として、入力部10、続報情報検索部20、情報内容統合部30、出力部40を含む。ここで、続報情報検索部20は、ベクトル作成部21、検索順位決定部22、適合・非適合判定部23を含む。さらに、ベクトル作成部21は、形態素解析部211、TF計算部212、IDF計算部213、単語重み計算部214、特徴ベクトル作成部215、情報間類似度計算部216、類似度行列計算部217、固有ベクトル作成部218、質問ベクトル作成部219を含む。また、情報内容統合部30は、係り受け解析部31、名詞抽出部32、名詞集合間類似度比較計算部33、名詞表示一致割合計算部34、文類似度計算部35、文タイプ選定部36、要約文作成部37、記事集約部38を含む。
まず、入力部10により入力された記事データは、続報情報検索部20におけるベクトル作成部21送られて処理されることになる。ここで、本発明の実施形態の例として、検索対象に新聞記事を一例に挙げて、各構成の内容について以下に詳説する。
[2.1.1 ベクトル空間モデル]
ベクトル作成部21において、まず、記事データは形態素解析部211、TF計算部212、IDF計算部213、単語重み計算部214、特徴ベクトル作成部215で処理される。ここで、ベクトル空間モデル(vector−space model)は検索対象となる個々のデータの性質を表現するための特徴量として、多次元ベクトルを個々のデータに対応づける。この間に類似度(Similarity)を定義することにより、問い合わせ(質問)と類似したものを探し出す方法である。いま、検索対象の特徴としてn個の属性が備わっており、i番目の属性をwiとする。そしてj番目のデータに(数式1)のベクトルを対応させることを考える。これらのベクトルが線形独立であれば、n次元のベクトル空間が定義される。このように定義されたベクトル空間において、j番目データの特徴ベクトルは
情報検索において目的の文書を探すために、文書と単語の関連性の数値演算を行い、その値の高いものを候補とする。そこで用いられる評価値は文書中には重要な単語がどれくらい多く含まれているかを表している。文書中の単語がどの程度重要であるか重み付けに用いられているのが以下に述べるTF−IDF 法である。この手法は次の2つのキーワードの性質に注目している。
(1)文書に数多く、高い頻度で現れる単語は重要である
(2)少ない数の文書にしか現れない単語は重要である
単語出現頻度(Term Frequency:TF)単語tが文書dに高い頻度で現れるなら、tはdを良く特徴付ける。この考えによる尺度が単語出現頻度、tf(Term Frequency)である。ある文書dにおける単語tの出現頻度tf(d,t)は次式で定義され、TF計算部212において計算が行われる。
dfが小さいことが単語tの文書を特徴付ける能力が高いことを表すので、実際にはこの逆数をlogと文書集合中の文書総数Nにより正規化したidf(inverse document frequency)を用いる。
特徴ベクトル作成部215、質問ベクトル作成部219で処理されたデータは検索順位決定部22に送られる。ここで、ベクトル空間モデルにおいて、検索を行うためにはベクトル間の類似度を定義しなければならない。類似度の尺度としては様々なものがあるが、ここではベクトル間の余弦を用いる。
類似度として2つのベクトル間の余弦の値を利用する方法である。特徴ベクトルDと質問ベクトルQの類似度sim(D,Q)は以下のようになる。
検索順位決定部22において検索結果が得られた場合、出力部40で処理される。一度の検索で最終的な結果を得るのではなく、結果に対するユーザのフィードバックを元に新たな質問を生成し、繰り返し検索を行い、徐々に検索結果をユーザの求める結果に近づけていくフィードバック検索を行う。つまり、改めてユーザの検索結果に対する適否データを入力部10において入力する。
入力された検索結果の適否データは、適合・非適合判定部23に送られ、質問ベクトル作成部219及び単語重み計算部214に送られる。
具体的なユーザからのフィードバックとして、最も多いのは結果の正例(positive example)、負例(negative example)の提示である。また、正例のみをフィードバックするもの、それぞれの妥当性の度合いをランクづけてフィードバックするものなど、様々なものがある。また、ユーザからのフィードバックを検索に反映させる方法としては、大きく以下の二つに分けることができる。
(1)質問ベクトル修正(Query Vector Movement)は、検索質問のベクトルを修正・変換して、正例の特徴に近づけ、負例から遠ざける。
(2)再重みづけ(Feature Re−weighting)は、特徴ベクトルに対応するための重みをユーザのニーズにあわせて調節する。すなわち、正例を検索するのに好都合な次元を強調し、負な例のものの影響を減らすように重みづけを動的に変更する。本発明では、この両方のフィードバックを利用する。
ユーザのフィードバックした結果から、検索結果をユーザの求めるものに近づける手法として、質問ベクトルをユーザが適合していると判断した記事に近づけ、不適合であると判断した記事から遠ざけるように質問ベクトルを生成していく。これを繰り返し適用することにより、徐々にユーザの望む検索結果を得ることができる。このために良く利用されるのはRocchioフィードバック手法であり、Rocchioの式は以下のように与えられる。
情報間類似度計算部216、類似度行列計算部217、固有ベクトル作成部218は、特徴ベクトル作成部215からのデータを以下の内容で処理する。
図3は本発明の実施形態に係る情報取得装置の記事間の類似度による記事の重要度評価の説明図である。PageRankは、www上のハイパーリンクによって結ばれたWebページ群において、「多くの良質なページからリンクされているページは、やはり良質なページである」、という再帰的な関係をもとに、Webページの重要度を評価する理論、およびそれによって求められるページの重要度である。PageRankを用いることで、ハイパーリンク構造のような相互参照関係があるときに、どのページがもっとも重要であるかを定量的に求めることができる。
PageRankがページ間のリンクの重みを平等に扱っているのに対し、本発明では各記事との類似度で重み付けを行う。これによって新聞記事群を関連度の強さに応じたリンクによって結ばれたグラフ構造と考える。そのなかから、より関連性が高いとしてリンクされている記事を、PageRank同様、遷移確率の最大固有値における固有ベクトルを算出することで求める。図3(b)は 新聞記事間の類似度を示すものであり、その算出方法を以下に説示する。
まず、記事数をNとするとき、情報間類似度計算部216が、N×NのN次正方行列、要素に各記事間の類似度をそれぞれ計算し、類似度行列計算部217が類似度行列を作成する。図3(b)について、類似度行列を求めた結果である行列Aを以下に示す。
次に、各記事、すなわち各列について合計が1になるように正規化し行列Aを状態遷移確率行列Mとする。図3(C)は、新聞記事間の類似度による重み付けを行った遷移確率を示す。このときの記事間の関係は図3(C)のように示される。
続報情報検索部20で得られた続報記事の情報データは、情報内容統合部30において情報データの整理・分類処理される。その際に行われる重複箇所、固有箇所、補足説明の各カテゴリの設定、及びカテゴリ分けを行う類似度、文タイプによる判定について以下に説示する。
内容統合において、 複数新聞記事を文カテゴリに分類し、それらの組み合わせにより、利用者の要望に沿った形式の出力を目指す。よって、その際の各カテゴリは、ユーザの情報取得の選択肢を広げ、複数新聞記事を比較する際の利点に沿ったものでなければならない。そこで、各記事に共通の箇所である重複箇所、各記事に固有の箇所である固有箇所と、記事中における補足的な内容である補足説明という合計3つのカテゴリを設定する。なお、重複箇所中の文の対応の定義として、一方の文に比較対象の文の話題が、完全にまたは部分的に含まれていることとする。
対象記事を「重複箇所」、「固有箇所」、「補足説明」の3 つのカテゴリに分類するために、その判定基準として、「文単位の類似度」、「文タイプ」の2つを用いる。
また「文タイプ」では、文タイプ選定部36が、各文に対して文のタイプ付けを行う。以下に、それぞれの判定に関する詳細な説明を述べる。
重複箇所、固有箇所の選定の一基準として、文単位の類似度を採用している。以下に類似度の算出方法について述べる。一般に、文の類似度の指標には、構文構造の類似度と意味的な類似度が考えられる。類似文検索では、構文構造の類似度を求めるために「動詞への係り受け」を使用する。また、意味的な類似度を求めるために「動詞に直接係る文節中の名詞の意味属性」、「名詞表記の一致の割合」を利用する。類似文の検索は、次の4つのステップで行われる。
(1)動詞を含む文節に係る文節中の名詞の検出
(2)(1)で抽出した動詞をキーとする名詞集合毎の類似度の比較
(3)(2) の結果を利用した名詞表記の一致の割合
(4)(2)と(3)の結果を利用した類似度の算出
図5は、本発明の実施形態に係る情報取得装置の動詞を含む文節に係る文節中の名詞の抽出の例である。図5の場合には網掛け部分の名詞A,B,C,D,G,H,I,7,8,9を抽出する。かかる処理は、文中に含まれる動詞に関する係り受けを利用することから、例えば日本語係り受け解析器cabochaを用いて行うことができる。
前述の日本語形態素解析器cabochaにより部分的な重複を文間の類似度の情報に入れるため、各文中の動詞を含む文節に係る文節中の名詞を抽出し、各動詞に対する名詞集合を作成する。その際の集合中の各名詞間の類似度は、表記が異なるものはEDR電子化辞書により、概念間の距離からその値を求め、表記が同一のものはその値を最大値にする。そして、各名詞単体同士の類似度から名詞集合同士の類似度を算出し、その中で最も類似度が高い値をとる。名詞の類似度を測る方法としては、意味属性体系上での共通親属性の位置や、両意味属性間のパスの長さから類似度を求める方法が考えられる。しかし、一般に名詞には複数の意味属性を割り当てることができる。そのため、名詞の類似度を求めるために、その名詞がどの意味属性の名詞として使われているのかを、文脈情報などから一意に決定しなければならない。本発明においては、この多義性の問題には立ち入らずに、「EDR電子化辞書を用いた単語類似度計算法」[参考文献:崔ら,情報処理学会報告NL−93−1,pp1−6]で提案されている手法である名詞に割り当てられた複数の意味属性から総合的に名詞の類似度を求める。また、動詞に係る文節中の名詞を類似度の指標として特に取り上げているのは、一文に含まれる話題の数の違いを考慮したことによる。
図6は、本発明の実施形態に係る情報取得装置のEDR辞書の構造図である。EDR電子化辞書は、コンピュータによる先進的な言語処理のために開発され、単語辞書などのいくつかの大規模な個別辞書から構成されている。辞書は、単語辞書中で定義した概念の類義を記述する概念体系(シソーラス)、辞書記述の典拠としてのコーパスDB(例文集)を統合した日本語と英語の語彙知識総目録と呼ぶにふさわしい機械処理用の電子化辞書である。言語学的偏向を極力排除し、各種応用へのチューンアップの容易さを保持することを開発方針として採用してあるものである。EDR電子化辞書は単語辞書、対訳辞書、概念辞書、共起辞書、専門用語辞書とEDRコーパスから構成されている。
名詞集合間の類似度を算出するための処理について以下に述べる。名詞同士の比較を行い、表記が同じものは類似度を最大値の1として算出する。それ以外の表記が異なるものがある場合には、概念辞書を利用した比較を行う。概念辞書による名詞の比較の手順を以下に示す。まず、名詞の概念を表す概念識別子を日本語単語辞書からとりだし、それを利用して概念辞書から意味属性のリストを得る。次に両名詞の持つ意味属性から名詞間の関係を「類似文の比較による省略可能な格要素の認定」[参考文献:篠原ら,情報処理学会研究報告,NL−139−14,pp101−108]の提案による同義関係と類似関係とに分類する。
同義関係の類似度a
Nni: 名詞nの意味属性iの上位概念数
Dij:意味属性i,jの上位概念の重複数
求めた類似度a、bを使用し、次式により概念間の距離による名詞同士の類似度S1を求める。
概念間の距離による名詞同士の類似度S1
同様に、名詞集合2と名詞集合3を比較し、集合間の類似度を求める。そこで名詞集合1と名詞集合3、名詞集合2と名詞集合3の類似度をそれぞれ比較し、値が高い方を動詞をキーとする名詞集合間の類似度とする。ここでは名詞集合1と名詞集合3の類似度S2 とする。
前工程では名詞の概念間の距離を利用して最も類似度が高い動詞をキーとした名詞集合を各文で選んだ。ここでは、そこで選んだ名詞集合以外の文中の名詞単語中の表記が同じ名詞の割合を算出する。以下にその類似度S3 を示す。
表記の一致の割合によるS3
文の類似度Sは前述のS2 とS3 により以下のようになる。
文の類似度S
より新聞記事の特色を利用した重複箇所の選定方法として、各文に新聞記事の特徴を考慮した文タイプを設定し、それに基づいた重複文・固有文・補足説明の選定を行う新しい手法を提案する。この手法により、新たに新聞記事特有の言い回し、表現というものを選定の指標として採り入れることが可能となる。
また、各文タイプは従来の要約処理において定義されていた多くの文タイプの中から、新聞記事の特徴から要旨、予定、理由、分析、補足説明の5つの文タイプを、また「日本語のシンクタンスと意味2」[参考文献:寺村秀夫:くろしお出版]の記載による概言のムードと上記データ解析から様態・伝聞、比況・推量の2つの文タイプを本発明の実施の一例とする。以下に要旨、予定、理由、分析、補足説明の5つの文タイプと様態・伝聞、比況・推量の2つの文タイプの特徴、判断基準等について述べる。
要旨、予定、理由、分析、補足説明の5種類の文タイプについて、判断基準と特徴に付いて述べる。また判断基準に際し、断定的表現、日時を表す表現に関しては判断基準中においてはそれぞれ#[dantei],#[nitizi?](?=1or2or3)としている。断定的表現に関しては実験データ 記事を解析した結果以下のように設定する。なお、以下の判断基準の表記形式はrubyの正規表現の表現形式に準ずる。
要旨は新聞記事中で第一文としてある全体の要約が述べられていると考えられる文である。判断基準は記事中の第一文を要旨の文タイプとしている。
(1)記事における登場人物の素性の紹介
(2)記事内の出来事に関しての識者、関係者の話
(3)記事内容に対する捕足的説明(専門用語等)
補足説明の際には記事中においてその箇所に特殊な記号が記事中で使用されていることに着目した。そこで、その記号が出現した後の部分を捕足説明として文タイプを設定する。補足説明の判断に用いた特殊記号は、「○」、「<」、「>」、「*」、「◇」、「◆」である。
後述の様態・伝聞、比況・推量という2つの文タイプについてその採用理由と判断基準について述べる。様態・伝聞は様態と伝聞が合わさった文タイプである。様態とは物の存在や行動のありさまを伝える文タイプである。また、伝聞とは直接にではなく人から伝え聞いているような文タイプである。判断基準を以下に示す。
以上のように7種類の文タイプを設定したが、文によっては複数の文タイプを兼ねるものも多数存在する。その際に文タイプを設定する優先順位というものを考慮にいれる必要が出てくる。そこで、前述の実験データ200記事に対して文タイプの優先順位が未実装である装置を試作し、各文に対し文タイプを設定した結果を示す。図9は、本発明の実施形態に係る情報取得装置の文タイプごとの割合である。このうち、要旨は記事全体の要約であるという性質上、各文に一文程度設定されていると考えられるので、優先順位は最上位とする。また補足説明も補足的な説明を表すという性質上優先順位を最上位とする。それ以外の文タイプ(予定、理由、分析、様態・伝聞、比況・推量)を出現数が少ないものから優先する。結果、優先順位については以下のようになる。
「要旨=補足説明>比況・推量>理由>分析>予定>様態・伝聞」
図10は、本発明の実施形態に係る情報取得装置の重複箇所,固有箇所、補足説明のカテゴリ分けである。文タイプによる重複箇所、固有箇所、補足説明の出力までの流れである。図10のように同じ文タイプがない場合には前の工程で算出した類似度を利用した重複文選定を行っている。また要旨、補足説明については先に述べた性質から前もって対象文タイプを抜き取る。
文タイプ選定部36から送られたデータは要約文作成部37又は記事集約部38に送られる。
2記事間の集約は、1つめの記事の重複箇所、固有箇所の文章に、2つめの記事の固有箇所を合わせた文章を2記事の集約としている。これにより、2記事間で重複しているものや、補足的なものをカットした集約ができる。
3つの記事がある場合、2記事同士の集約を3つ作成する。3つの記事を記事A、記事B、記事Cとする。続報記事を分類するので、時系列順でみた初めの2記事A、Bを集約したものを基本とする。この集約と、記事B、Cを集約したものを1文づつ比較し、含まれていない文を集約として追加する。これにより、記事A、B、Cについての内容についての集約ができる。記事A、Cの集約において、C、の重複箇所と判断されたものが、もし集約に含まれていた場合、それを削除することによって、新しい集約とする。もちろん、この手法を応用することで、3つ以上の記事を一度に集約することもできる。
上記の方法に、各記事間の関連度を考慮にいれて集約を行う。記事間の関連度は、各記事を1つのベクトルで表し、そのベクトルを比較して求める。検索を行う際に記事間の関連度を得るが、続報記事であるため、1つめの記事と2つめの記事、2つめの記事と3つ目の記事は繋がりがあっても、1つめの記事と3つめの記事の繋がりが弱い場合がある。記事同士の関連度が低い場合は、記事A、Cの比較を行わないようにすることで、無駄な処理をしなくて済む。
ユーザは結果を見ながら記事の適合,非適合の選択、あるいはパラメータを修正することで記事の重要度の変更を行う。システムはそれをフィードバックとして得て、質問ベクトルの修正を行い、順位付けをして再びユーザに検索結果を返す。
図11は、本発明の実施形態に係る情報取得装置の続報記事検索のフローシートである。データが入力される(S100)。形態素解析部211が形態素解析により品詞分解し、名詞(普通、固有、サ変)のみを取り出す(S110)。ここで、形態素解析器茶筌を利用することもできる。TF計算部212が、各記事毎に単語とその単語の出現回数(tf)を記事データベースに登録し、TFを計算する(S120)。IDF計算部213が記事データベースに登録された全単語について文書頻度(df)及びそのIDFを計算する(S130)。単語重み計算部214が各記事の各単語についてTF−IDF法を用いて評価値を求め、単語重みを計算する(S140)。特徴ベクトル作成部215が評価値から各文書の特徴ベクトルを作成する(S150)。つまり、各記事はその記事に出現する全名詞のTF−IDF値を要素にもつベクトルである。情報間類似度計算部216が、全記事ベクトルの組み合わせについて類似度を計算する(S160)。類似度行列計算部217が類似度行列を計算する(S170)。固有ベクトル作成部218がその結果を数値解析プログラムOctaveに渡し、そのベクトルの最大固有値の固有ベクトルを求めることで各記事の参照重要度を計算する(S180)。質問ベクトル作成部219が質問ベクトルを作成する(S190)。検索順位決定部22が検索結果のための類似度計算により検索順位を決定する(S200)。ここで、ある記事Diのスコアは、ユーザからの質問ベクトルQとの類似度によるスコアsim(Di,Q)と固有ベクトルにより求められた重要度を掛け合わせることで求められる。
本発明の実施の形態に係る情報取得装置は、情報を分類する機能を用いて続報記事の情報をユーザに見やすいように整理し、その機能に応じたインターフェースを表示する。そこで、以下にその内容を詳説する。
図13は、本発明の実施形態に係る情報取得装置の実行図である。情報検索においてインタラクションを促進する関連技術として、情報の可視化は欠くことのできない存在である。可視化によって、システムが提示するデータを効率的にユーザに伝えることができるだけでなく、ユーザのより柔軟なデータへのアクセスが可能になる。Aは関連記事のタイトル表示、Bは記事内容の表示、Cはレーダーチャート、Dは各種コマンド、Eは記事間の関連表示である。
図13のEには記事間の関連表示である検索結果をグラフィカルに表示する領域をそなえている。X軸に時間、Y軸に検索ベクトルに対するスコアをとり、その空間上に記事を表す点を配置している。また、記事を表す点をクリックすることで、その記事本文を図13のBの本文表示用領域に表示する。各記事からはその記事に対する関連性の強さに応じたリンクが結ばれている。各リンクの関連性の強さを線の太さや種類等で識別することができる。図15では関連性の強いものを実線で表し、関連性の弱いものを点線で表している。ここで、各リンクは強さに応じて色分けをすることもできる。また、ユーザの全体的な興味に対する指標をY軸の座標で、ユーザの局所的な興味に対する指標を記事間を結ぶリンクで表現しているため、例えば、ユーザはこの中から、できるだけY座標が大きく、また、現在見ている記事とのリンクが関連の強い色のリンクで結ばれた記事を読み進めることで、関連記事の中から続報性を持つ記事を発見することができる。
2 CPU
3 メインメモリ
4 HDD
5 ビデオカード
6 マウス
7 キーボード
8 光学ディスク
10 入力部
20 続報情報検索部
21 ベクトル作成部
22 検索順位決定部
23 適合・非適合判定部
30 情報内容統合部
31 係り受け解析部
32 名詞抽出部
33 名詞集合間類似度比較計算部
34 名詞表示一致割合計算部
35 文類似度計算部
36 文タイプ選定部
37 要約文作成部
38 記事集約部
40 出力部
211 形態素解析部
212 TF計算部
213 IDF計算部
214 単語重み計算部
215 特徴ベクトル作成部
216 情報間類似度計算部
217 類似度行列計算部
218 固有ベクトル作成部
219 質問ベクトル作成部
Claims (4)
- 少なくとも1つの検索情報を取得している情報取得装置において、
重み付けされた検索情報の特徴ベクトルを作成する特徴ベクトル作成手段と、
全検索情報の特徴ベクトルの組み合わせの類似度を計算する情報間類似度計算手段と、
前記情報間類似度計算によって得られた数値の類似度行列を計算する類似度行列計算手段と、
前記類似度計算結果を数値解析し、特徴ベクトルの最大固有値の固有ベクトルを求める固有ベクトル作成手段と、
前記検索情報の問い合わせ内容の質問ベクトルを作成する質問ベクトル作成手段と、
前記特徴ベクトルと質問ベクトルの余弦の計算値に固有ベクトルの数値を乗じて求められる関連情報の検索順位を決定する検索順位決定手段と、
検索された情報の文中に含まれる品詞の係り受け関係を解析する係り受け解析手段と、
各文中の動詞を含む文節に係る文節中の名詞を抽出する名詞抽出手段と、
前記抽出された名詞の単体の名詞間の類似度S 1 及び名詞集合の類似度S 2 を計算する名詞集合間類似度比較計算手段と、
抽出された名詞の表示の一致する割合の類似度S 3 を計算する名詞表示一致割合計算手段と、
前記類似度S 2 に類似度S 3 を加えて文類似度Sを計算する文類似度計算手段と、
検索情報の文タイプによる選定を行う文タイプ選定手段と、
前記文類似度計算及び文タイプ選定された関連情報の内容を統合したもの、並びに、前記検索順位決定手段によりスコアリングされた検索結果を出力すると共に、前記検索結果の適否及び/又はパラメータの重み付けの度合いを入力するための入力フォームを出力する出力手段と、
前記入力フォームに入力された情報に基づいて、前記特徴ベクトル及び質問ベクトルを修正する修正手段とを備え、
前記検索順位決定手段が、前記修正手段にて修正された前記特徴ベクトル及び質問ベクトルに基づいて、再度前記関連情報の検索順位を決定し、前記出力手段が、前記検索順位決定手段によりスコアリングされた検索結果を、前記検索情報間の経時的な関連性を含めて出力することを特徴とする情報取得装置。 - 前記請求項1に記載された情報取得装置において、
前記特徴ベクトル作成手段は、
検索情報の文の形態素解析を行う形態素解析手段と、
情報毎に単語とその単語の出現回数TFを計算するTF計算手段と、
全単語について文書頻度DF及びそのIDFを計算するIDF計算手段と、
各情報の各単語についてTF−IDF法を用いて単語重み付けを計算する単語重み計算手段と、
前記単語重み付けから各文書の特徴ベクトルを作成する特徴ベクトル作成手段とを備えることを特徴とする情報取得装置。 - 少なくとも1つの検索情報を取得している情報取得装置としてコンピュータを機能させる情報取得プログラムにおいて、
重み付けされた検索情報の特徴ベクトルを作成する特徴ベクトル作成手段、
全検索情報の特徴ベクトルの組み合わせの類似度を計算する情報間類似度計算手段、
前記情報間類似度計算によって得られた数値の類似度行列を計算する類似度行列計算手段、
前記類似度計算結果を数値解析し、特徴ベクトルの最大固有値の固有ベクトルを求める固有ベクトル作成手段、
前記検索情報の問い合わせ内容の質問ベクトルを作成する質問ベクトル作成手段、
前記特徴ベクトルと質問ベクトルの余弦の計算値に固有ベクトルの数値を乗じて求められる関連情報の検索順位を決定する検索順位決定手段、
検索された情報の文中に含まれる品詞の係り受け関係を解析する係り受け解析手段、
各文中の動詞を含む文節に係る文節中の名詞を抽出する名詞抽出手段、
前記抽出された名詞の単体の名詞間の類似度S 1 及び名詞集合の類似度S 2 を計算する名詞集合間類似度比較計算手段、
抽出された名詞の表示の一致する割合の類似度S 3 を計算する名詞表示一致割合計算手段、
前記類似度S 2 に類似度S 3 を加えて文類似度Sを計算する文類似度計算手段、
検索情報の文タイプによる選定を行う文タイプ選定手段、
前記文類似度計算及び文タイプ選定された関連情報の内容を統合したもの、並びに、前記検索順位決定手段によりスコアリングされた検索結果を出力すると共に、前記検索結果の適否及び/又はパラメータの重み付けの度合いを入力するための入力フォームを出力する出力手段、
前記入力フォームに入力された情報に基づいて、前記特徴ベクトル及び質問ベクトルを修正する修正手段としてコンピュータを機能させ、
前記検索順位決定手段が、前記修正手段にて修正された前記特徴ベクトル及び質問ベクトルに基づいて、再度前記関連情報の検索順位を決定し、前記出力手段が、前記検索順位決定手段によりスコアリングされた検索結果を、前記検索情報間の経時的な関連性を含めて出力することを特徴とする情報取得プログラム。 - 少なくとも1つの検索情報を取得している情報取得装置のコンピュータが、
重み付けされた検索情報の特徴ベクトルを作成する特徴ベクトル作成ステップと、
全検索情報の特徴ベクトルの組み合わせの類似度を計算する情報間類似度計算ステップと、
前記情報間類似度計算によって得られた数値の類似度行列を計算する類似度行列計算ステップと、
前記類似度計算結果を数値解析し、特徴ベクトルの最大固有値の固有ベクトルを求める固有ベクトル作成ステップと、
前記検索情報の問い合わせ内容の質問ベクトルを作成する質問ベクトル作成ステップと、
前記特徴ベクトルと質問ベクトルの余弦の計算値に固有ベクトルの数値を乗じて求められる関連情報の検索順位を決定する検索順位決定ステップと、
検索された情報の文中に含まれる品詞の係り受け関係を解析する係り受け解析ステップと、
各文中の動詞を含む文節に係る文節中の名詞を抽出する名詞抽出ステップと、
前記抽出された名詞の単体の名詞間の類似度S 1 及び名詞集合の類似度S 2 を計算する名詞集合間類似度比較計算ステップと、
抽出された名詞の表示の一致する割合の類似度S 3 を計算する名詞表示一致割合計算ステップと、
前記類似度S 2 に類似度S 3 を加えて文類似度Sを計算する文類似度計算ステップと、
検索情報の文タイプによる選定を行う文タイプ選定ステップと、
前記文類似度計算及び文タイプ選定された関連情報の内容を統合したもの、並びに、前記検索順位決定手段によりスコアリングされた検索結果を出力すると共に、前記検索結果の適否及び/又はパラメータの重み付けの度合いを入力するための入力フォームを出力する出力ステップと、
前記入力フォームに入力された情報に基づいて、前記特徴ベクトル及び質問ベクトルを修正する修正ステップとを実行し、
前記検索順位決定ステップが、前記修正手段にて修正された前記特徴ベクトル及び質問ベクトルに基づいて、再度前記関連情報の検索順位を決定し、前記出力ステップが、前記検索順位決定手段によりスコアリングされた検索結果を、前記検索情報間の経時的な関連性を含めて出力することを特徴とする情報取得方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007085469A JP4967133B2 (ja) | 2007-03-28 | 2007-03-28 | 情報取得装置、そのプログラム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007085469A JP4967133B2 (ja) | 2007-03-28 | 2007-03-28 | 情報取得装置、そのプログラム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008243024A JP2008243024A (ja) | 2008-10-09 |
JP4967133B2 true JP4967133B2 (ja) | 2012-07-04 |
Family
ID=39914253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007085469A Active JP4967133B2 (ja) | 2007-03-28 | 2007-03-28 | 情報取得装置、そのプログラム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4967133B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5533272B2 (ja) * | 2010-05-28 | 2014-06-25 | 日本電気株式会社 | データ出力装置、データ出力方法およびデータ出力プログラム |
JP6537340B2 (ja) * | 2015-04-28 | 2019-07-03 | ヤフー株式会社 | 要約生成装置、要約生成方法、及び要約生成プログラム |
CN110020189A (zh) * | 2018-06-29 | 2019-07-16 | 武汉掌游科技有限公司 | 一种基于中文相似性计算的文章推荐方法 |
JP7474459B2 (ja) * | 2019-04-16 | 2024-04-25 | 株式会社ユニバーサルエンターテインメント | 情報提供システム、及び、情報提供方法 |
CN110990437A (zh) * | 2019-12-05 | 2020-04-10 | 大众问问(北京)信息科技有限公司 | 一种数据融合方法、装置及计算机设备 |
CN112559691B (zh) * | 2020-12-22 | 2023-11-14 | 珠海格力电器股份有限公司 | 语义相似度的确定方法及确定装置、电子设备 |
CN115186660B (zh) * | 2022-07-07 | 2023-05-05 | 东航技术应用研发中心有限公司 | 基于文本相似度模型的航空安全报告分析评价方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10134066A (ja) * | 1996-10-29 | 1998-05-22 | Matsushita Electric Ind Co Ltd | 文章集約装置 |
JP4003468B2 (ja) * | 2002-02-05 | 2007-11-07 | 株式会社日立製作所 | 適合性フィードバックによる類似データ検索方法および装置 |
JP2004185515A (ja) * | 2002-12-05 | 2004-07-02 | Ricoh Co Ltd | テキストデータ評価装置、その方法、そのプログラム、及びその記録媒体 |
JP2005327225A (ja) * | 2004-05-12 | 2005-11-24 | Asuya Eto | 文書管理システム、文書管理方式、文書管理プログラム及びプログラム記録媒体 |
-
2007
- 2007-03-28 JP JP2007085469A patent/JP4967133B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2008243024A (ja) | 2008-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6442540B2 (en) | Information retrieval apparatus and information retrieval method | |
JP4241934B2 (ja) | テキスト処理及び検索システム及び方法 | |
US6772148B2 (en) | Classification of information sources using graphic structures | |
EP2315135B1 (en) | Document search system | |
JP4967133B2 (ja) | 情報取得装置、そのプログラム及び方法 | |
JP2005526317A (ja) | ドキュメントコーパスからコンセプト階層構造を自動に捜索する方法及びシステム | |
JPH0424869A (ja) | 文書処理システム | |
JPH0991314A (ja) | 情報探索装置 | |
Kerremans et al. | Using data-mining to identify and study patterns in lexical innovation on the web: The NeoCrawler | |
Brook Wu et al. | Finding nuggets in documents: A machine learning approach | |
CN110688559A (zh) | 一种检索方法及装置 | |
Husain | Critical concepts and techniques for information retrieval system | |
Abi Chahine et al. | Context and keyword extraction in plain text using a graph representation | |
JP3652086B2 (ja) | 速読支援装置 | |
JP2000105769A (ja) | 文書表示方法 | |
Elmenshawy et al. | Automatic arabic text summarization (AATS): A survey | |
Ababneh et al. | An efficient framework of utilizing the latent semantic analysis in text extraction | |
Chaabene et al. | Semantic annotation for the “on demand graphical representation” of variable data in Web documents | |
JP4085568B2 (ja) | テキストマイニング方法およびテキストマイニング装置並びにコンピュータ読み取り可能な記憶媒体 | |
JP3088805B2 (ja) | 文書管理装置 | |
JP3444223B2 (ja) | データベース登録装置 | |
Ericson et al. | Tracing Class and Capitalism in Critical AI Research | |
Araya | Interactive query formulation and feedback experiments in information retrieval | |
Haroon et al. | Social Media Analysis using Fuzzy Natural Language Processing with an extension of semantic queries | |
Liu et al. | Modeling and analysis of the social network of Dream of Red Mansions based on natural language processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090925 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111101 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120306 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |