JP6828335B2 - 検索プログラム、検索装置および検索方法 - Google Patents

検索プログラム、検索装置および検索方法 Download PDF

Info

Publication number
JP6828335B2
JP6828335B2 JP2016181003A JP2016181003A JP6828335B2 JP 6828335 B2 JP6828335 B2 JP 6828335B2 JP 2016181003 A JP2016181003 A JP 2016181003A JP 2016181003 A JP2016181003 A JP 2016181003A JP 6828335 B2 JP6828335 B2 JP 6828335B2
Authority
JP
Japan
Prior art keywords
word
feature vector
term
sentence
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016181003A
Other languages
English (en)
Other versions
JP2018045537A (ja
Inventor
信子 高瀬
信子 高瀬
和夫 嶺野
和夫 嶺野
尚洋 伊藤
尚洋 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016181003A priority Critical patent/JP6828335B2/ja
Priority to US15/692,842 priority patent/US10521510B2/en
Publication of JP2018045537A publication Critical patent/JP2018045537A/ja
Application granted granted Critical
Publication of JP6828335B2 publication Critical patent/JP6828335B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/338Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/242Dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/247Thesauruses; Synonyms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/268Morphological analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Description

本発明は、検索プログラムなどに関する。
近年、ネットワークの発達により増大している情報量の情報の中から目的の情報が高精度に検索されることが求められている。
情報量が少ない場合には、ノイズを含んだ(意図しない)検索結果が出力されても、利用者が検索結果を吟味して目的の文章を探し出すことができる。ところが、情報量が多くなると、検索結果が多くなり、利用者が検索結果を吟味することは困難である。このため、ノイズを減らして検索結果が出力されることが求められる。
検索手法の一例を、図18を参照して説明する。図18は、検索手法の一例である。図18に示すように、情報を検索する検索装置は、検索文として文章が入力された場合に、入力された文章を形態素解析し、単語単位に分割する(S100)。そして、検索装置は、分割された単語を、予め同義語を記憶した同義語辞書と照合し(S110)、一致した単語を含む同義語を検索語として生成する(S120)。かかる同義語辞書は、単語単位の表記で意味が同じと思われる単語同士を同義語として格納する。そして、検索装置は、検索対象文書から検索語が含まれる文章を検索結果として検索する(S130、S140)。
例えば、図18では、検索文として「画像をクリアに表示するには」という文章が入力されたとする。すると、検索装置は、入力された文章を形態素解析し、単語単位に分割する。この結果、分割された単語は、「画像」、「クリア」、「表示」を示す。そして、検索装置は、分割された単語を、同義語辞書と照合し、一致した単語を含む同義語を検索語として生成する。同義語辞書に「クリア、消去」、「表示、表現」が同義語として含まれるとする。すると、検索語として、「画像」と、「クリア」または「消去」と、「表示」または「表現」が生成される。そして、検索装置は、検索対象文書から検索語が含まれる文章を検索結果として検索する。この結果、検索装置は、検索結果として、「画像データをクリアするには・・・」「過去の画像の表示を消去して・・・」「正規表現をいったんクリア・・・」の文章を検索する。
特開2015−60243号公報
しかしながら、従来の検索手法では、検索対象文書から特定の文章を検索する場合に、検索結果に含まれるノイズを低減することができないという問題がある。例えば、図18で示す従来の検索手法では、検索語として、検索文の「クリア」とは違う意味の「消去」や、検索文の「表示」とは違う意味になり得る「表現」が含まれる。このため、検索装置は、検索対象文書から特定の文章を検索するときに、意味が違う検索語が含まれる文章を検索結果として検索してしまう。すなわち、検索文の「クリア」とは違う意味の「クリア」や「消去」、検索文の「表現」とは違う意味の「表現」を含んだ文章を検索結果として検索してしまう。この結果、検索装置は、検索結果に含まれるノイズを低減することができない。
本発明は、1つの側面では、検索対象文書から特定の文章を検索する場合に、検索結果に含まれるノイズを低減することを目的とする。
1つの態様では、検索プログラムは、文章データから特定の文章を検索する検索プログラムにおいて、文章を受け付け、受け付けた前記文章を意味解析して、受け付けた前記文章に含まれる単語の意味を示す情報を生成し、単語と当該単語の意味を示す情報とを対応付けて記憶する記憶部を参照して、生成した前記情報に対応付けられた単語を特定し、特定した前記単語が前記文章データに含まれるか否かの判定を行い、判定結果に応じた情報を出力する、処理をコンピュータに実行させる。
1実施態様によれば、検索結果に含まれるノイズを低減することができる。
図1は、実施例に係る情報処理装置の構成の一例を示す機能ブロック図である。 図2は、実施例に係る同義語辞書の一例を示す図である。 図3Aは、意味構造の一例を示す図(1)である。 図3Bは、意味構造の一例を示す図(2)である。 図3Cは、用語の意味構造の一例を示す図である。 図4は、実施例に係る特徴ベクトルの構成の一例を示す図である。 図5は、重みベクトルの導出の一例を示す図である。 図6Aは、実施例に係る第1の検索処理の一例を示す図(1)である。 図6Bは、実施例に係る第1の検索処理の一例を示す図(2)である。 図6Cは、実施例に係る第1の検索処理の一例を示す図(3)である。 図6Dは、実施例に係る第1の検索処理の一例を示す図(4)である。 図6Eは、実施例に係る第1の検索処理の一例を示す図(5)である。 図6Fは、実施例に係る第1の検索処理の一例を示す図(6)である。 図7は、実施例に係る第1の検索処理の流れを示す図である。 図8Aは、実施例に係る第2の検索処理の一例を示す図(1)である。 図8Bは、実施例に係る第2の検索処理の一例を示す図(2)である。 図9は、実施例に係る第2の検索処理の流れを示す図である。 図10は、実施例に係る同義語辞書生成処理のフローチャートの一例を示す図である。 図11は、同義語判定結果情報のデータ構造の一例を示す図である。 図12は、実施例に係る検索処理のフローチャートの一例を示す図である。 図13は、実施例に係る第1の特徴ベクトル生成処理のフローチャートの一例を示す図である。 図14は、実施例に係る第2の特徴ベクトル生成処理のフローチャートの一例を示す図である。 図15は、実施例に係る機械学習処理のフローチャートの一例を示す図である。 図16は、実施例に係る検索語生成処理のフローチャートの一例を示す図である。 図17は、検索プログラムを実行するコンピュータの一例を示す図である。 図18は、検索手法の一例を示す図である。
以下に、本願の開示する検索プログラム、検索装置および検索方法の実施例を図面に基づいて詳細に説明する。なお、実施例では、検索装置を情報処理装置として説明する。本発明は、実施例により限定されるものではない。
[実施例に係る情報処理装置の構成]
図1は、実施例に係る情報処理装置の構成の一例を示す機能ブロック図である。図1に示す情報処理装置1は、機械翻訳などで利用される自然言語の意味解析処理の結果(「意味構造」という)を用いて、2段階の機械学習で評価を行い、複数の検索対象文を含む検索対象文書から検索文と意味が同じ用語を含む検索対象文を抽出する。1段階目の機械学習では、情報処理装置1は、検索文の用語に対する意味構造と、同義語辞書の用語に対する意味構造とを組み合わせて評価し、同義語辞書から検索文に含まれる用語と意味が同じ同義語を検索語として抽出する。2段階目の機械学習では、情報処理装置1は、検索語により検索対象文書の用語を検索し、ヒットした検索対象文の用語に対する意味構造と、検索文の用語に対する意味構造とを組み合わせて評価する。そして、情報処理装置1は、多義語を含む検索対象文を排除し、検索文と意味が同じ用語を含む検索対象文を複数の検索対象文書から抽出する。「同義語」とは、異なる表記であるが同じ意味を表す表記の用語同士のことをいう。「多義語」とは、同じ表記であるが別の意味を表す表記の用語同士のことをいう。
なお、実施例で用いられる「文章」とは、意味のある文の最小単位であり、必ずしも主語および述語を含まなくても良いが、日本語では一般的に句点(。)で区切られ、英語ではピリオド(.)で区切られる。「文章」とは、「文」と同義である。「文書」とは、複数の文章として構成されるテキストのことをいう。また、実施例で用いられる「意味構造」とは、文章の意味解析処理の結果として生成され、文章の意味を表す、概念(意味)を示すノードと、概念の関連を示す有向アークとで表わしたグラフ構造のことをいう。また、実施例で用いられる「意味属性」とは、「意味構造」のノードについて、文法的、意味的な性質を示す記号(属性)のことをいう。また、実施例で用いられる用語とは、単語の一例であるとする。
情報処理装置1は、制御部10と記憶部20とを有する。
制御部10は、CPU(Central Processing Unit)などの電子回路に対応する。そして、制御部10は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部10は、同義語辞書生成部11と、意味解析部12と、特徴ベクトル生成部13と、機械学習部14と、検索語生成部15とを有する。特徴ベクトル生成部13は、第1の特徴ベクトル生成部131と、第2の特徴ベクトル生成部132とを有する。なお、意味解析部12、第1の特徴ベクトル生成部131、機械学習部14および検索語生成部15は、第1の検索部10Aに含まれる。第2の特徴ベクトル生成部132および機械学習部14は、第2の検索部10Bに含まれる。なお、第1の検索部10Aは、1段階目の機械学習に対応し、第2の検索部10Bは、2段階目の機械学習に対応する。
記憶部20は、例えば、RAM、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。記憶部20は、同義語辞書21、検索対象文書22、意味構造23、第1の特徴ベクトル24、第2の特徴ベクトル25、重みベクトル26、判定結果27および検索語28を有する。なお、意味構造23は、意味を示す情報の一例である。
検索対象文書22は、複数の検索対象文を含む文書である。検索対象文書22は、文書に含まれる検索対象文ごとに、意味構造23を対応付けて記憶する。
同義語辞書21は、意味が同じと判定される用語同士を同義語としてグループ化した辞書である。同義語辞書21は、同義語として判定されたそれぞれの用語を、それぞれの用語を意味で判定できる範囲の意味構造23と対応付けて記憶する。
ここで、実施例に係る同義語辞書21の一例を、図2を参照して説明する。図2は、実施例に係る同義語辞書の一例を示す図である。図2に示すように、同義語辞書21は、フラグ21aと、用語の表記21bと、意味構造21cとを対応付けて記憶する。
フラグ21aは、1つの同義語に含まれる用語の区別を示すフラグである。1つの同義語に含まれる一方の用語を示すフラグを用語1とし、他方の用語を示すフラグを用語2とする。なお、1つの同義語に含まれる用語は、2つに限定されず、3つ以上であっても良い。例えば、3つの場合には、フラグを、用語1、用語2および用語3とすれば良い。
用語の表記21bは、同義語に含まれる用語の表記を表す。意味構造21cは、用語の表記21bで示される用語の意味を判定できる範囲の意味構造23である。言い換えれば、意味構造21cは、用語の表記21bで示される用語を含む文章の意味構造23から当該用語の意味を判定できる範囲を切り出したものである。なお、以降、用語を意味で判定できる範囲の意味構造23のことを「用語の意味構造」というものとする。
一例として、フラグ21aが「用語1」である場合に、用語の表記21bとして「一意」、意味構造21cとして「z1」を記憶する。フラグ21aが用語2である場合に、用語の表記21bとして「ユニーク」、意味構造21cとして「z2」を記憶する。つまり、「一意」と「ユニーク」とが同義であることを示す。フラグ21aが用語1である場合に、用語の表記21bとして「クリア」、意味構造21cとして「x1」を記憶する。フラグ21aが「用語2」である場合に、用語の表記21bとして「クリア」、意味構造21cとして「x2」を記憶する。つまり、「クリア」と「クリア」とが同義であることを示す。
ここで、意味構造23の一例を、図3A、図3Bおよび図3Cを参照して説明する。図3Aおよび図3Bは、意味構造の一例を示す図である。図3Aは、意味構造23の内部表現を示す図であり、図3Bは、意味構造23を図式化したものである。また、図3Cは、用語の意味構造の一例を示す図である。なお、図3Aおよび図3Bで示す意味構造23
は、原文「運用環境のカスタマイズが必要です。」の意味解析処理の結果である。
図3Aに示すように、意味構造23の内部表現は、用語一覧とグラフ構造を含む。
用語一覧には、用語の一覧が表わされる。1つの用語は、「表記」「品詞」「意味属性」「概念記号」で表わされる。「意味属性」は、対応する用語の文法的、意味的な性質を示す記号(属性)であり、例えば、シソーラス属性や、可算規則、変化形規則などがある。シソーラス属性とは、用語の意味的な階層関係を記述した属性のことをいう。「概念記号」とは、意味的な観点(概念レベル)において単語が指し示す概念を識別する記号のことをいう。用語の一例として、表記が「カスタマイズ」である場合に、品詞としてサ変名詞「SN」、意味属性として「S1,S2,・・・」、概念記号として「CUSTOMIZE」と記載されている。
グラフ構造は、(Fromノード)−−<アーク>−−>(Toノード)で表現され、(Fromノード)の用語から(Toノード)の用語に向かって、<アーク>で接続されていることを示す。各ノードには、用語の概念記号が付与されている。一例として、(CUSTOMIZE)−−<OBJ>−−>(EJR01)について、ノードが示す概念記号(CUSTOMIZE)の用語「カスタマイズ」とアーク<OBJ>で接続するノードが概念記号(EJR01)の用語「運用環境」であることを示す。各ノードは、用語一覧に示されている「表記」「品詞」「意味属性」「概念記号」を持っている。
図3Bに示すように、例えば、「カスタマイズ」という用語は、「CUSTOMIZE」という概念記号で表わされている。括弧内の記号が概念記号である。そして、「CUSTOMIZE」という概念記号のノードは、「EJR01」という概念記号で表わされる「運用環境」という用語と、「OBJ」という記号を持つアークで接続されている。さらに、「CUSTOMIZE」という概念記号のノードには、他方のノードが存在しないアークが接続されている。このアークは、「J.GA」という記号を示す。また、「CUSTOMIZE」という概念記号のノードは、「NEED」という概念記号で表わされる「必要」という用語と、「OBJA」という記号を持つアークで接続されている。つまり、意味構造23は、用語と用語の意味的な関係を表す有向グラフで表される。
図3Cに示す意味構造23は、用語1「カスタマイズ」の意味構造23である。かかる「カスタマイズ」の意味構造23は、「カスタマイズ」の「概念記号」「品詞」「意味属性」と、「カスタマイズ」の前後1ノード(NULLのノードを含む)とノード間を結ぶアークとを含む。ここでは、用語1「カスタマイズ」の概念記号は、「CUSTOMAIZE」であり、品詞は、「SN」であり、意味属性は、「S1,S2,・・・」である。「カスタマイズ」の前1ノードは、概念記号を「NEED」として表される用語「必要」のノードであり、「カスタマイズ」の後1ノードは、概念記号を「EJR01」として表される用語「運用環境」のノードである。そして、「カスタマイズ」と「必要」との間を結ぶアークは、「OBJA」で表わされ、「カスタマイズ」と「運用環境」との間を結ぶアークは、「OBJ」で表わされる。また、「カスタマイズ」とNULLのノードとの間を結ぶアークは、「J.GA」で表わされる。すなわち、用語1「カスタマイズ」の意味構造23は、「運用環境のカスタマイズが必要です。」という原文の意味構造23から用語1「カスタマイズ」の意味を判定できる範囲を切り出したものである。
図1に戻って、同義語辞書生成部11は、意味構造23を含む同義語辞書21を生成し、記憶部20に格納する。例えば、同義語辞書生成部11は、同義語判定結果情報に設定された同義語ごとに、同義語の各用語(用語1、用語2)について、意味構造23を生成する。ここでいう同義語判定結果情報とは、特定分野の複数の文章に含まれる複数の用語を対象にして、同義語か否かが判定された各用語(用語1、用語2)と、各用語が出現する文章の行番号と、同義語か否かを示すフラグとを予め設定したものである。なお、同義語判定結果情報は、各用語が出現する文章の行番号の代わりに、各用語が出現する文章の意味構造23の行番号としても良い。
一例として、同義語辞書生成部11は、同義語判定結果情報の同義語と判定された各用語(用語1、用語2)が出現する行番号に対応するそれぞれの文章について、自然言語の意味解析処理により、それぞれの意味構造23を生成する。そして、同義語辞書生成部11は、用語1が出現する文章の意味構造23から用語1の周辺を分離した、用語1の意味構造23を生成する。すなわち、同義語辞書生成部11は、用語1が出現する文章の意味構造23から用語1の意味を判定できる範囲を切り出し、用語1の意味構造23を生成する。同様に、同義語辞書生成部11は、用語2が出現する文章の意味構造23から用語2の周辺を分離した、用語2の意味構造23を生成する。すなわち、同義語辞書生成部11は、用語2が出現する文章の意味構造23から用語2の意味を判定できる範囲を切り出し、用語2の意味構造23を生成する。そして、同義語辞書生成部11は、用語1および用語2について、各用語のフラグ、各用語の表記、各用語の意味構造23を同義語辞書21に書き出す。
また、同義語辞書生成部11は、同義語辞書21の中で、用語1の表記および意味構造23と用語2の表記および意味構造23とが同じものを削除する。同義語辞書生成部11は、同義語辞書21の中で、用語1と用語2のペアが、他の用語1と用語2のペアと同じ場合、どちらか一方のペアを削除する。
意味解析部12は、検索対象の検索文を意味解析する。なお、意味解析部12は、第1の検索部10Aに含まれる。例えば、意味解析部12は、検索対象の検索文について、形態素解析および意味解析を行い、意味構造23を生成する。すなわち、意味解析部12は、検索対象の検索文について、自然言語の意味解析処理により意味構造23を生成する。
なお、同義語辞書生成部11によって行われる意味解析処理および意味解析部12によって行われる意味解析処理は、既存の機械翻訳技術を使って実現できる。例えば、かかる意味解析処理は、例えば、特開平6−68160号公報、特開昭63−136260号公報や特開平4−372061号公報に開示されている機械翻訳技術を使って行えば良い。また、意味構造23は、例えば、特開2012−73951号公報に開示されている。
第1の特徴ベクトル生成部131は、検索文の用語と、同義語辞書21の用語とを組み合わせて、機械学習で用いられる第1の特徴ベクトル24を生成する。なお、第1の特徴ベクトル生成部131は、第1の検索部10Aに含まれる。
例えば、第1の特徴ベクトル生成部131は、検索文の用語の意味構造23を生成する。用語の意味構造23の生成方法は、同義語辞書生成部11で用いた方法と同様である。すなわち、第1の特徴ベクトル生成部131は、意味解析部12によって生成された検索文の意味構造23から検索文の用語の周辺を分離した、用語の意味構造23を生成する。そして、第1の特徴ベクトル生成部131は、生成した検索文の用語の意味構造23から、特徴ベクトルを生成する。
ここでいう特徴ベクトルとは、用語の意味構造23の情報を素性とする特徴情報のことである。例えば、特徴ベクトルは、用語を示す情報(品詞、意味属性および概念記号)と、当該用語と直接アークで接続する用語を示す情報(品詞、意味属性および概念記号)とを素性とする特徴情報である。なお、特徴ベクトルの詳細は、後述する。
また、第1の特徴ベクトル生成部131は、同義語辞書21から、検索文の用語と表記が一致した用語と同じグループ内の当該用語と異なる用語を抽出する。つまり、第1の特徴ベクトル生成部131は、同義語辞書21から、検索文の用語と意味が同じである可能性がある用語を抽出する。そして、第1の特徴ベクトル生成部131は、同義語辞書21において、抽出した用語に対応付けられた意味構造21cを取得する。そして、第1の特徴ベクトル生成部131は、取得した意味構造21cから、特徴ベクトルを生成する。なお、特徴ベクトルの構成は、後述する。
ここで、特徴ベクトルの構成の一例を、図4を参照して説明する。図4は、実施例に係る特徴ベクトルの構成の一例を示す図である。なお、図4で示す特徴ベクトルは、対象の用語に対応する対象ノードの情報i0と、対象の用語と直接アークで接続する用語に対応する関連ノードの情報i10とを素性とする特徴情報の一例である。図4に示すように、特徴ベクトルには、対象の用語に対応する対象ノードに対して、各種品詞の素性、各種意味属性の素性および各種概念記号の素性が含まれる。各種品詞の素性は、例えば、30種存在する。各種意味属性の素性は、例えば、10000種存在する。そして、各種品詞の素性の中で対象の用語の素性と合致する素性の値として1が設定される。各種意味属性の素性の中で判定すべき用語の素性と合致する素性の値として1が設定される。各種概念記号の素性の中で判定すべき用語の素性と合致する素性の値として1が設定される。加えて、特徴ベクトルには、対象の用語と直接アークで接続する用語に対応する対象ノードに対して、各種アークの数分の、方向の素性、各種品詞の素性、各種意味属性の素性および各種概念記号の素性が含まれる。各種アークは、例えば、700種存在する。方向の素性は、1種存在する。各種品詞の素性は、例えば、30種存在する。各種意味属性の素性は、例えば、10000種存在する。そして、対象ノードが直接アークで接続する関連ノードの情報は、当該アークに対応する領域に設定される。各種品詞の素性の中で、関連ノードに対応する用語の素性と合致する素性の値として1が設定される。各種意味属性の素性の中で、関連ノードに対応する用語の素性と合致する素性の値として1が設定される。各種概念記号の素性の中で、関連ノードに対応する用語の素性と合致する素性の値として1が設定される。なお、図4で示す特徴ベクトルは、品詞について、先頭の素性をADJとし、意味属性について、素性の順番をS1、S2、S3としたが、これに限定されず、予め定められた素性の順番であれば良い。
図1に戻って、第1の特徴ベクトル生成部131は、生成された2種の特徴ベクトルを比較し、比較結果の特徴ベクトルを生成する。一例として、第1の特徴ベクトル生成部131は、生成された2種の特徴ベクトルについて、先頭の素性から順次素性の値を比較し、一致する素性の値を1とし、一致しない値を0とする比較結果の特徴ベクトルを生成する。
そして、第1の特徴ベクトル生成部131は、生成された3種の特徴ベクトル、すなわち、2種の意味構造23からそれぞれ生成された2種の特徴ベクトルと比較結果の特徴ベクトルとを連結して機械学習用の第1の特徴ベクトル24を生成する。このような第1の特徴ベクトル24を用いて、同じ意味を持つ可能性が高い用語同士が同じ意味か否かが機械学習器により評価可能になる。
機械学習部14は、第1の特徴ベクトル24を教師あり学習を行う機械学習器で評価し、検索文の用語と、同義語辞書21から抽出された用語とが同義語であるか否かを判定する。なお、ここでいう機械学習器には、例えば、サポートベクトルマシン(SVM)が挙げられる。以降では、機械学習器としてSVMを採用した場合について説明する。例えば、機械学習部14は、第1の検索部10Aの場合には、第1の特徴ベクトル24と予め教師例に基づいて学習された重みベクトル26との内積を計算し、総合評価値を導出する。そして、機械学習部14は、導出した総合評価値を予め設定された閾値で判定することにより、同義語であるか否かの判定結果27を決定する。
また、機械学習部14は、後述する第2の特徴ベクトル25を教師あり学習を行う機械学習器で評価し、検索文の用語と、検索対象文書22から抽出された用語とが同義語であるか否かを判定する。例えば、機械学習部14は、第2の検索部10Bの場合には、第2の特徴ベクトル25と、予め教師例に基づいて学習された重みベクトル26との内積を計算し、総合評価値を導出する。そして、機械学習部14は、導出した総合評価値を予め設定された閾値で判定することにより、同義語であるか否かの判定結果27に基づいて検索結果を出力する。
検索語生成部15は、第1の検索部10Aにおいて、検索文の用語と、検索文の用語と同義語であると判定された用語とを検索語28として生成する。例えば、検索語生成部15は、検索文の用語を検索語28とする。検索語生成部15は、機械学習部14によって決定された判定結果27の中から同義語と判定された判定結果27を取得する。検索語生成部15は、取得した判定結果27を有する、同義語辞書21から抽出された用語を検索語28とする。そして、検索語生成部15は、検索語28とされた用語の中で、用語の表記が重複している場合には、重複しないように用語を削除する。
第2の特徴ベクトル生成部132は、検索文の用語と、検索語を含む検索対象文書22の用語とを組み合わせて、機械学習で用いられる第2の特徴ベクトル25を生成する。なお、第2の特徴ベクトル生成部132は、第2の検索部10Bに含まれる。
例えば、第2の特徴ベクトル生成部132は、検索対象文書22に含まれる複数の検索対象文から、検索語28の表記と一致する用語を含む検索対象文を抽出する。そして、第2の特徴ベクトル生成部132は、抽出した検索対象文に含まれる用語の意味構造23を生成する。用語の意味構造23の生成方法は、同義語辞書生成部11で用いた方法と同様である。すなわち、第2の特徴ベクトル生成部132は、検索対象文の意味構造23から、検索語28の表記と一致する用語の周辺を分離した、検索対象文の用語の意味構造23を生成する。そして、第2の特徴ベクトル生成部132は、生成した検索対象文の用語の意味構造23から、特徴ベクトルを生成する。
また、第2の特徴ベクトル生成部132は、第1の特徴ベクトル生成部131によって生成された、検索文の用語の特徴ベクトルを受け取る。
また、第2の特徴ベクトル生成部132は、2種の特徴ベクトルを比較し、比較結果の特徴ベクトルを生成する。一例として、第2の特徴ベクトル生成部132は、2種の特徴ベクトルについて、先頭の素性から順次素性の値を比較し、一致する素性の値を1とし、一致しない値を0とする比較結果の特徴ベクトルを生成する。
そして、第2の特徴ベクトル生成部132は、3種の特徴ベクトル、すなわち、2種の意味構造23からそれぞれ生成された2種の特徴ベクトルと比較結果の特徴ベクトルとを連結して機械学習用の第2の特徴ベクトル25を生成する。この後、生成された第2の特徴ベクトル25を、機械学習部14が、評価することにより、検索文の用語と、検索対象文の用語とが同義であるか否かを判定することができる。加えて、機械学習部14は、検索文の用語と、検索対象文の用語とが表記が同じであっても、意味が同じであるか否かを判定することができる。すなわち、機械学習部14は、検索文の用語と、検索対象文の用語とが多義語でないか否かを判定することができる。そして、機械学習部14は、判定結果27に基づいて、同義語であると判定された用語を含む検索対象文を検索結果として出力する。
なお、機械学習部14により使用される重みベクトル26は、以下のように導出される。図5は、重みベクトルの導出の一例を示す図である。図5に示すように、重みベクトルの導出には、正例の教師例および負例の教師例が使用される。正例の教師例は、同義語であると判定すべき用語と当該用語を含む文章とを併せた情報同士の組である。負例の教師例は、同義語でないと判定すべき用語と当該用語を含む文章とを併せた情報同士の組である。例えば、文章「運用環境のカスタマイズが必要です。」の中の用語「カスタマイズ」と、文章「運用環境の変更により、対処が必要です。」の中の用語「変更」とは、同じ意味を表す異なる表記同士であるため、同義語である。そこで、文章「運用環境のカスタマイズが必要です。」と併せて判定すべき用語「カスタマイズ」と、文章「運用環境の変更により、対処が必要です。」と併せて判定すべき用語「変更」との対は、正例の教師例の一例である。これに対して、文章「運用環境のカスタマイズが必要です。」の中の用語「カスタマイズ」と、文章「組織変更による対象が必要である。」の中の用語「変更」とは、同じ意味を表す異なる表記同士でないため、同義語でない。そこで、文章「運用環境のカスタマイズが必要です。」と併せて判定すべき用語「カスタマイズ」と、文章「組織変更による対象が必要である。」と併せて判定すべき用語「変更」との組は、負例の教師例の一例である。
図5に示すように、正例の教師例から生成された機械学習用の特徴ベクトルと、負例の教師例から生成された機械学習用の特徴ベクトルとが機械学習部14に入力される。ここでは、正例の教師例として(x12,1)(x34,1)(x56,1)が入力され、負例の教師例として(x17,−1)(x38,−1)(x59,−1)が入力される。例えば、(x12,1)のx12は、文書1と文書2とから生成された特徴ベクトルであることを示し、(x12,1)の1は、正例であることを示す。(x17,−1)のx17は、例題の文書1と例題の文書7とから生成された特徴ベクトルであることを示し、(x17,−1)の−1は、負例であることを示す。
このような状況の下、機械学習部14は、入力されたそれぞれの機械学習用の特徴ベクトルに対応する重みベクトル26を学習結果として導出する。ここでは、2つの用語に対応する重みベクトル26が表されている。重みベクトル26は、入力された学習用の特徴ベクトルと同じ構造を有する。そして、重みベクトル26には、各素性について、評価用の重みが設定される。この重みベクトル26を用いて、機械学習部14は、第1の特徴ベクトル24を機械学習器で評価し、検索文の用語と、同義語辞書21から抽出された用語とが同義語であるか否かを判定する。この重みベクトル26を用いて、機械学習部14は、第2の特徴ベクトル25を機械学習器で評価し、検索文の用語と、検索対象文書22から抽出された用語とが同義語であるか否かを判定する。
[第1の検索処理の一例]
図6A〜図6Fは、実施例に係る第1の検索処理の一例を示す図である。なお、図6A〜図6Fでは、検索文が「画像をクリアに表示するには」である場合について説明する。
図6Aに示すように、意味解析部12は、検索文「画像をクリアに表示するには」を受け取ると、受け取った検索文について、意味解析処理により検索文の意味構造23を生成する。ここでは、検索文の意味構造23には、検索文に含まれる用語(「画像」、「クリア」および「表示」)のノードが示される。
第1の特徴ベクトル生成部131は、検索文に含まれる用語の意味構造23を生成する。以降では、検索文に含まれる用語「画像」、「クリア」および「表示」のうち用語「クリア」についての説明をする。ここでは、検索文に含まれる用語「クリア」は、用語xとする。第1の特徴ベクトル生成部131は、検索文の意味構造23から用語xの周辺を分離して、用語xの意味構造23を生成する。
図6Bに示すように、第1の特徴ベクトル生成部131は、用語xの意味構造23から特徴ベクトルを生成する。用語xの特徴ベクトルには、用語xの品詞、意味属性を素性とする特徴情報、用語xと直接アークで接続する用語の品詞、意味属性を素性とする特徴情報が表されている。なお、ここでは、素性として概念記号や方向は、省略している。
図6Cに示すように、第1の特徴ベクトル生成部131は、同義語辞書21から、検索文の用語xと表記が一致した用語を検索し、検索した用語とペアである他方の用語を抽出する。つまり、同義語辞書21から、検索文の用語xと意味が同じである可能性がある用語が抽出される。抽出される用語は、用語yとする。ここでは、用語yとして、「消去」、「クリア」、「クリア」、「明確」および「鮮明」が抽出される。
そして、第1の特徴ベクトル生成部131は、同義語辞書21から、抽出されたそれぞれの用語yに対応付けられた意味構造21cを取得し、取得したそれぞれの用語yの意味構造21cからそれぞれ特徴ベクトルを生成する。図6Cの下段1段目に、用語yとして抽出された「消去」の特徴ベクトルが表されている。2段目に、用語yとして抽出された「クリア」の特徴ベクトルが表されている。3段目に、用語yとして抽出された「クリア」の特徴ベクトルが表されている。4段目に、用語yとして抽出された「明確」の特徴ベクトルが表されている。5段目に、用語yとして抽出された「鮮明」の特徴ベクトルが表されている。
図6Dに示すように、第1の特徴ベクトル生成部131は、用語xの特徴ベクトルと用語yの特徴ベクトルとを比較し、比較結果の特徴ベクトルを生成する。ここでは、図6Dの1段目に、用語xの特徴ベクトルと用語yとして抽出された「消去」の特徴ベクトルとの比較結果の特徴ベクトルが表されている。2段目に、用語xの特徴ベクトルと用語yとして抽出された「クリア」の特徴ベクトルとの比較結果の特徴ベクトルが表されている。3段目に、用語xの特徴ベクトルと用語yとして抽出された「クリア」の特徴ベクトルとの比較結果の特徴ベクトルが表されている。4段目に、用語xの特徴ベクトルと用語yとして抽出された「明確」の特徴ベクトルとの比較結果の特徴ベクトルが表されている。5段目に、用語xの特徴ベクトルと用語yとして抽出された「鮮明」の特徴ベクトルとの比較結果の特徴ベクトルが表されている。
図6Eに示すように、第1の特徴ベクトル生成部131は、用語xの特徴ベクトルと、用語yの特徴ベクトルと、用語xの特徴ベクトルと用語yの特徴ベクトルとの比較結果の特徴ベクトルとを連結して第1の特徴ベクトル24を生成する。ここでは、図6Eの1行目に、用語xの特徴ベクトルと用語yとして抽出された「消去」の特徴ベクトルと比較結果の特徴ベクトルとを連結した第1の特徴ベクトル24が表されている。2行目に、用語xの特徴ベクトルと用語yとして抽出された「クリア」の特徴ベクトルと比較結果の特徴ベクトルとを連結した第1の特徴ベクトル24が表されている。3行目に、用語xの特徴ベクトルと用語yとして抽出された「クリア」の特徴ベクトルと比較結果の特徴ベクトルとを連結した第1の特徴ベクトル24が表されている。4行目に、用語xの特徴ベクトルと用語yとして抽出された「明確」の特徴ベクトルと比較結果の特徴ベクトルとを連結した第1の特徴ベクトル24が表されている。5行目に、用語xの特徴ベクトルと用語yとして抽出された「鮮明」の特徴ベクトルと比較結果の特徴ベクトルとを連結した第1の特徴ベクトル24が表されている。
機械学習部14は、第1の特徴ベクトル24を機械学習器で評価し、用語xと用語yとが同義語であるか否かを判定する。ここでは、用語xである「クリア」と、用語yとして抽出された「クリア」「クリア」「明確」「鮮明」のそれぞれとが、同義語であると判定される。
図6Fに示すように、検索語生成部15は、検索文の用語xである「クリア」を検索語28とする。そして、検索語生成部15は、同義語と判定された、用語yとして抽出された「クリア」「クリア」「明確」「鮮明」を検索語28とする。そして、検索語生成部15は、検索語28の中で用語の表記が重複している「クリア」を重複しないように「クリア」を1つ残して削除する。これにより、検索文の用語xである「クリア」に対する検索語は、「クリア」「明確」「鮮明」となる。
[第1の検索処理の流れ]
つまり、第1の検索処理の流れは、以下のようになる。図7は、実施例に係る第1の検索処理の流れを示す図である。図7に示すように、意味解析部12は、検索文「画像をクリアに表示するには」を受け取ると、意味構造を持つ同義語辞書21と付き合わせるために、検索文を形態素解析した後意味解析して意味構造23を生成する。
そして、第1の特徴ベクトル生成部131は、用語xの特徴ベクトルと、用語yの特徴ベクトルと、用語xの特徴ベクトルと用語yの特徴ベクトルとの比較結果の特徴ベクトルとを連結して第1の特徴ベクトル24を生成する。ここでは、用語xは、検索文の用語の1つである「クリア」である。用語yは、検索文の用語xと表記が一致した用語とペアである他方の用語であり、「明確」「消去」「鮮明」である。検索文の用語xである「クリア」の特徴ベクトルが「ZZ3」であり、用語yとして抽出された「明確」の特徴ベクトルが「Z2」であるとする。すると、用語xである「クリア」と用語yとして抽出された「明確」の第1の特徴ベクトル24は、「ZZ3_Z2_ZZ3Z2」となる。「_」は、結合していることを示す。用語yとして抽出された「消去」の特徴ベクトルが「X2」であるとする。すると、用語xである「クリア」と用語yとして抽出された「消去」の第1の特徴ベクトル24は、「ZZ3_X2_ZZ3X2」となる。用語yとして抽出された「鮮明」の特徴ベクトルが「Z6」であるとする。すると、用語xである「クリア」と用語yとして抽出された「鮮明」の第1の特徴ベクトル24は、「ZZ3_Z6_ZZ3Z6」となる。
そして、機械学習部14は、生成されたそれぞれの第1の特徴ベクトル24を機械学習器で評価し、それぞれの判定結果27を出力する。ここでは、用語xである「クリア」と用語yとして抽出された「明確」の第1の特徴ベクトル24を評価した判定結果27は、同義語であることを示す「○」である。用語xである「クリア」と用語yとして抽出された「消去」の第1の特徴ベクトル24を評価した判定結果27は、同義語でないことを示す「×」である。用語xである「クリア」と用語yとして抽出された「鮮明」の第1の特徴ベクトル24を評価した判定結果27は、同義語であることを示す「○」である。これにより、機械学習部14は、検索文の用語「クリア」と同じ意味の可能性のある「クリア」「消去」「明確」「鮮明」から違う意味の「消去」を対象外とすることができ、同じ意味の同義語だけを抽出できる。
そして、検索語生成部15は、表記の重複を削除し、「クリア」「明確」「鮮明」を検索語として生成する。
[第2の検索処理の一例]
図8Aおよび図8Bは、実施例に係る第2の検索処理の一例を示す図である。なお、図8Aおよび図8Bでは、第2の特徴ベクトル生成部132は、検索語生成部15によって生成された検索語「クリア」「明確」「鮮明」を受け取るものとする。
図8Aに示すように、第2の特徴ベクトル生成部132は、検索対象文書22に含まれる複数の文(検索対象文)から、検索語28の表記と一致する用語を含む文を抽出する。検索語28の用語の表記と一致する用語は、用語yとする。ここでは、検索語28の「クリア」の表記と一致する用語yを含む文1が抽出される。検索語28の「クリア」の表記と一致する用語yを含む文3が抽出される。検索語28の「明確」の表記と一致する用語yを含む文5が抽出される。検索語28の「クリア」の表記と一致する用語yを含む文6が抽出される。
そして、第2の特徴ベクトル生成部132は、抽出したそれぞれの文の意味構造28から、検索語28の表記と一致するそれぞれの用語yの意味構造23を生成する。
図8Bに示すように、第2の特徴ベクトル生成部132は、検索文の用語xの特徴ベクトルと、用語yの特徴ベクトルと、用語xの特徴ベクトルと用語yの特徴ベクトルとの比較結果の特徴ベクトルとを連結して第2の特徴ベクトル25を生成する。ここでは、図8Bの1行目に、用語xの特徴ベクトルと文1の用語y「クリア」の特徴ベクトルと比較結果の特徴ベクトルとを連結した第2の特徴ベクトル25が表されている。2行目に、用語xの特徴ベクトルと文3の用語y「クリア」の特徴ベクトルと比較結果の特徴ベクトルとを連結した第2の特徴ベクトル25が表されている。3行目に、用語xの特徴ベクトルと文5の用語y「明確」の特徴ベクトルと比較結果の特徴ベクトルとを連結した第2の特徴ベクトル25が表されている。4行目に、用語xの特徴ベクトルと文6の用語y「クリア」の特徴ベクトルと比較結果の特徴ベクトルとを連結した第2の特徴ベクトル25が表されている。
この後、機械学習部14は、生成された第2の特徴ベクトル25を機械学習器で評価し、用語xと用語yとが同義語であるか否かを判定する。加えて、機械学習部14は、用語xと用語yとが表記が同じであっても、意味が同じであるか否かを判定する。そして、機械学習部14は、判定結果27に基づいて、同義語であると判定された用語yを含む文を検索結果として出力する。
[第2の検索処理の流れ]
つまり、第2の検索処理の流れは、以下のようになる。図9は、実施例に係る第2の検索処理の流れを示す図である。図9に示すように、第2の特徴ベクトル生成部132は、検索語28により検索対象文書22を検索し、検索語28の表記と一致する用語を含む文を抽出し、抽出した文の意味構造23から当該用語の意味構造23の周辺を分離する。ここでは、文1について、文1の意味構造23から該当用語「クリア」の意味構造23として「pzz1」が生成される。文3について、文3の意味構造23から該当用語「クリア」の意味構造23として「pxx1」が生成される。文5について、文5の意味構造23から該当用語「明確」の意味構造23として「pzz5」が生成される。文6について、文6の意味構造23から該当用語「クリア」の意味構造23として「pww6」が生成される。
そして、第2の特徴ベクトル生成部132は、用語xの特徴ベクトルと、用語yの特徴ベクトルと、用語xの特徴ベクトルと用語yの特徴ベクトルとの比較結果の特徴ベクトルとを連結して第2の特徴ベクトル25を生成する。ここでは、用語xは、検索文の用語の1つである「クリア」である。用語yは、検索語28の表記と一致する文の用語であり、文1の「クリア」、文3の「クリア」、文6の「クリア」および文5の「明確」である。検索文の用語xである「クリア」の特徴ベクトルが「ZZ3」であり、用語yである文1の「クリア」の特徴ベクトルが「PZZ1」であるとする。すると、第2の特徴ベクトル25は、「ZZ3_PZZ1_ZZ3PZZ1」となる。「_」は、結合していることを示す。用語yである文3の「クリア」の特徴ベクトルが「PXX1」であるとする。すると、第2の特徴ベクトル25は、「ZZ3_PXX1_ZZ3PXX1」となる。用語yである文6の「クリア」の特徴ベクトルが「PWW6」であるとする。すると、第2の特徴ベクトル25は、「ZZ3_PWW6_ZZ3PWW6」となる。用語yである文5の「明確」の特徴ベクトルが「PZZ5」であるとする。すると、第2の特徴ベクトル25は、「ZZ3_PZZ5_ZZ3PZZ5」となる。
そして、機械学習部14は、生成されたそれぞれの第2の特徴ベクトル25を機械学習器で評価し、それぞれの判定結果27を出力する。ここでは、検索文の用語「クリア」と文1の用語「クリア」の第2の特徴ベクトル25を評価した判定結果27は、同義語であることを示す「○」である。検索文の用語「クリア」と文3の用語「クリア」の第2の特徴ベクトル25を評価した判定結果27は、同義語でないことを示す「×」である。検索文の用語「クリア」と文6の用語「クリア」の第2の特徴ベクトル25を評価した判定結果27は、同義語でないことを示す「×」である。検索文の用語「クリア」と文5の用語「明確」の第2の特徴ベクトル25を評価した判定結果27は、同義語であることを示す「○」である。
そして、機械学習部14は、判定結果27に基づいて、同義語であると判定された用語を含む文を検索結果として出力する。ここでは、文1および文5が検索結果として出力される。これにより、機械学習部14は、検索対象文書22内の「クリア」「明確」から、検索語28と表記が同じでも意味が違う「クリア」を対象外とすることができ、意味が同じ「クリア」「明確」を抽出できる。
[同義語辞書生成処理のフローチャート]
図10は、実施例に係る同義語辞書生成処理のフローチャートの一例を示す図である。図10に示すように、同義語辞書生成部11は、同義語判定結果情報を1行ずつ読み込む(ステップS11)。
そして、同義語辞書生成部11は、同義語判定結果情報のフラグが同義語であることを示す「True」である場合に、用語1、用語2の行番号に基づいて、各用語を含む文章の意味構造23を探索し、各用語の意味構造23を生成する(ステップS12)。例えば、同義語辞書生成部11は、用語1の行番号にある文章の意味構造23から用語1の周辺を分離した、用語1の意味構造23を生成する。同義語辞書生成部11は、用語2の行番号にある文章の意味構造23から用語2の周辺を分離した、用語2の意味構造23を生成する。
そして、同義語辞書生成部11は、用語1と用語2の区別、各用語の表記、各用語の意味構造23を同義語辞書21に書き出す(ステップS13)。例えば、同義語辞書生成部11は、フラグ21aとして「用語1」、用語の表記21bとして用語1の表記、意味構造21cとして用語1の意味構造をペアの一方として同義語辞書21に格納する。同義語辞書生成部11は、フラグ21aとして「用語2」、用語の表記21bとして用語2の表記、意味構造21cとして用語2の意味構造をペアの他方として同義語辞書21に格納する。
そして、同義語辞書生成部11は、同義語判定結果情報の最終行であるか否かを判定する(ステップS14)。最終行でないと判定した場合には(ステップS14;No)、同義語辞書生成部11は、次の行を読むべく、ステップS11に移行する。
一方、最終行であると判定した場合には(ステップS14;Yes)、同義語辞書生成部11は、同義語辞書21の中で、用語1と用語2の、それぞれの表記と意味構造23が全く同じペアを削除する(ステップS15)。加えて、同義語辞書生成部11は、同義語辞書21の中で、用語1と用語2のペアが、他の用語1と用語2のペアと同じ場合には、重複を削除する(ステップS16)。そして、同義語辞書生成部11は、同義語辞書生成処理を終了する。
なお、図10のフローチャートで用いた同義語判定結果情報のデータ構造を、図11を参照して説明する。図11は、同義語判定結果情報のデータ構造の一例を示す図である。図11に示すように、同義語判定結果情報は、フラグ、用語1の表記、用語1を含む文章の意味構造の行番号、用語2の表記および用語2を含む文章の意味構造の行番号を対応付ける。フラグは、同義語であるか否かを示す。同義語である場合には、「True」が設定され、同義語でない場合には、「False」が設定される。用語1の表記は、同義語であるか否かを判定したペアの用語の一方の表記である。用語1を含む文章の意味構造の行番号は、用語1を含む文章の意味構造がある行番号を示す。用語2の表記は、同義語であるか否かを判定したペアの用語の他方の表記である。用語2を含む文章の意味構造の行番号は、用語2を含む文章の意味構造がある行番号を示す。なお、文章中に、表記の同じ用語が複数ある場合には、同義語判定結果情報のデータ構造に、文章中のカラム位置の情報が付加されても良い。
[検索処理のフローチャート]
図12は、実施例に係る検索処理のフローチャートの一例を示す図である。なお、同義語辞書21は、同義語辞書生成部11によって生成され、記憶部20に記憶されているものとする。
図12に示すように、意味解析部12は、検索文を受け取ると(ステップS21)、日本語の意味解析処理を実行し、検索文の意味構造23を生成する(ステップS22)。
続いて、第1の特徴ベクトル生成部131は、生成された検索文の意味構造23と、同義語辞書21とを用いて、第1の特徴ベクトル24を生成する(ステップS23)。なお、第1の特徴ベクトル24の生成処理のフローチャートは、後述する。
そして、機械学習部14は、生成された第1の特徴ベクトル24の評価をすべく、機械学習を実行する(ステップS24)。機械学習部14は、予め、教師例に基づいて機械学習し、学習結果として重みベクトル26を導出するものとする。そして、機械学習部14は、学習結果である重みベクトル26を用いて、機械学習を実行する。なお、機械学習の実行処理のフローチャートは、後述する。
そして、検索語生成部15は、機械学習の判定結果27に基づいて、検索語28を生成する(ステップS25)。なお、検索語28の生成処理のフローチャートは、後述する。
続いて、第2の特徴ベクトル生成部132は、生成された検索語28と、検索対象文書22とを用いて、第2の特徴ベクトル25を生成する(ステップS26)。なお、第2の特徴ベクトル25の生成処理のフローチャートは、後述する。
そして、機械学習部14は、生成された第2の特徴ベクトル25の評価をすべく、機械学習を実行する(ステップS27)。機械学習部14は、ステップS24で用いた重みベクトル26を用いて、機械学習を実行する。なお、機械学習の実行処理のフローチャートは、後述する。
そして、機械学習部14は、機械学習の判定結果27に基づいて、検索文に対応する検索対象文を検索結果として出力する(ステップS28)。そして、制御部10は、検索処理を終了する。
[第1の特徴ベクトル生成処理のフローチャート]
図13は、実施例に係る第1の特徴ベクトル生成処理のフローチャートの一例を示す図である。
第1の特徴ベクトル生成部131は、検索文の意味構造23を受け取る(ステップS31)。第1の特徴ベクトル生成部131は、検索文の意味構造23の用語の表記から、検索文の用語を特定する(ステップS32)。第1の特徴ベクトル生成部131は、検索文の用語(用語x)の意味構造23から、用語xの特徴ベクトルを生成する(ステップS33)。例えば、第1の特徴ベクトル生成部131は、検索文の意味構造23から用語xの周辺を分離した、用語xの意味構造23を生成し、生成した用語xの意味構造23から、用語xの特徴ベクトルを生成する。
続いて、第1の特徴ベクトル生成部131は、同義語辞書21から、検索文の用語xと表記が一致する用語を検索する(ステップS34)。そして、第1の特徴ベクトル生成部131は、検索した用語とペアである他方の用語(用語y)を抽出し、用語yに対応付けられた意味構造21cから、用語yの特徴ベクトルを生成する(ステップS35)。
続いて、第1の特徴ベクトル生成部131は、検索文の用語xの特徴ベクトルと用語yの特徴ベクトルとを比較し、比較結果の特徴ベクトルを生成する(ステップS36)。そして、第1の特徴ベクトル生成部131は、検索文の用語x、用語y、比較結果の特徴ベクトルを連結して、第1の特徴ベクトル24を生成する(ステップS37)。
そして、第1の特徴ベクトル生成部131は、未処理の検索文の用語は有るか否かを判定する(ステップS38)。未処理の検索文の用語は有ると判定した場合には(ステップS38;Yes)、第1の特徴ベクトル生成部131は、次の検索文の用語を特定すべく、ステップS32に移行する。
一方、未処理の検索文の用語は無いと判定した場合には(ステップS38;No)、第1の特徴ベクトル生成部131は、第1の特徴ベクトル生成処理を終了する。
[第2の特徴ベクトル生成処理のフローチャート]
図14は、実施例に係る第2の特徴ベクトル生成処理のフローチャートの一例を示す図である。
第2の特徴ベクトル生成部132は、検索文の用語に対する検索語28を受け取る(ステップS41)。第2の特徴ベクトル生成部132は、検索語28をキーとして、検索対象文書22の意味構造23の表記を検索する(ステップS42)。第2の特徴ベクトル生成部132は、検索語28と表記が一致した用語について、検索対象文書22の意味構造23から、用語の意味構造23を生成する(ステップS43)。
第2の特徴ベクトル生成部132は、検索語28と表記が一致した用語、検索対象文書22中の当該用語の位置情報および当該用語の意味構造23を対応付けて、一時的に保持する(ステップS44)。
そして、第2の特徴ベクトル生成部132は、検索文の用語(用語x)の特徴ベクトルを取得する(ステップS45)。例えば、第2の特徴ベクトル生成部132は、第1の特徴ベクトル生成部131によって生成された用語xの特徴ベクトルを取得すれば良い。
そして、第2の特徴ベクトル生成部132は、検索対象文書22中で、検索語28と表記が一致した用語(用語y)の意味構造23から特徴ベクトルを生成する(ステップS46)。例えば、第2の特徴ベクトル生成部132は、一時的に保持した、検索語28と表記が一致した用語に対応付けられた当該用語の意味構造23から特徴ベクトルを生成する。
続いて、第2の特徴ベクトル生成部132は、検索文の用語xの特徴ベクトルと用語yの特徴ベクトルとを比較し、比較結果の特徴ベクトルを生成する(ステップS47)。そして、第2の特徴ベクトル生成部132は、検索文の用語x、用語y、比較結果の特徴ベクトルを連結して、第2の特徴ベクトル25を生成する(ステップS48)。
そして、第2の特徴ベクトル生成部132は、未処理の検索文の用語は有るか否かを判定する(ステップS49)。未処理の検索文の用語は有ると判定した場合には(ステップS49;Yes)、第2の特徴ベクトル生成部132は、次の検索文の用語を処理すべく、ステップS42に移行する。
一方、未処理の検索文の用語は無いと判定した場合には(ステップS49;No)、第2の特徴ベクトル生成部132は、第2の特徴ベクトル生成処理を終了する。
[機械学習処理のフローチャート]
図15は、実施例に係る機械学習処理のフローチャートの一例を示す図である。
図15に示すように、機械学習部14は、第1または第2の特徴ベクトル25,25を受け取る(ステップS51)。例えば、機械学習部14は、第1の特徴ベクトル生成部131から第1の特徴ベクトル24を受け取る。機械学習部14は、第2の特徴ベクトル生成部132から第2の特徴ベクトル25を受け取る。
機械学習部14は、受け取った第1の特徴ベクトル24または第2の特徴ベクトル25を機械学習器に入力し、機械学習器による評価を行う(ステップS52)。例えば、機械学習部14は、第1の特徴ベクトル24を受け取った場合には、第1の特徴ベクトル24と重みベクトル26との内積を計算し、総合評価値を導出する。そして、機械学習部14は、導出した総合評価値を予め設定された閾値で判定することにより、同義語であるか否かの判定結果27を決定し、決定した判定結果27を出力する(ステップS53)。また、機械学習部14は、第2の特徴ベクトル25を受け取った場合にも、第1の特徴ベクトル24を受け取った場合と同様に、重みベクトル26および予め設定された閾値を用いて、判定結果27を決定し、決定した判定結果27を出力する(ステップS53)。
機械学習部14は、受け取った特徴ベクトルが第1の特徴ベクトル24であるか否かを判定する(ステップS54)。受け取った特徴ベクトルが第1の特徴ベクトル24であると判定した場合には(ステップS54;Yes)、機械学習部14は、検索語28の生成処理を行う(ステップS55)。なお、検索語生成処理のフローチャートは、後述する。そして、機械学習部14は、機械学習処理を終了する。
一方、受け取った特徴ベクトルが第1の特徴ベクトル24でないと判定した場合には(ステップS54;No)、機械学習部14は、同義語であると判定された用語について、その位置情報から検索対象文書22内の検索対象文を取得する(ステップS56)。そして、機械学習部14は、検索対象文を検索結果として出力する(ステップS57)。そして、機械学習部14は、機械学習処理を終了する。
[検索語生成処理のフローチャート]
図16は、実施例に係る検索語生成処理のフローチャートの一例を示す図である。
図16に示すように、検索語生成部15は、機械学習部14から判定結果27を受け取る(ステップS61)。検索語生成部15は、判定結果27から、同義語として判定された用語xと用語yを読み込む(ステップS62)。そして、検索語生成部15は、用語xに対する用語yの表記の重複を削除する(ステップS63)。
検索語生成部15は、検索文の用語xに対する用語yを検索語として出力する(ステップS64)。そして、検索語生成部15は、未処理の検索文の用語は有るか否かを判定する(ステップS65)。未処理の検索文の用語は有ると判定した場合には(ステップS65;Yes)、検索語生成部15は、次の検索文の用語に対する判定結果27を処理すべく、ステップS62に移行する。
一方、未処理の検索文の用語は無いと判定した場合には(ステップS65;No)、検索語生成部15は、検索語生成処理を終了する。
[実施例の効果]
このようにして、情報処理装置1は、検索対象文書22から特定の文章を検索する場合に、検索文を受け付ける。情報処理装置1は、受け付けた検索文を意味解析して、受け付けた検索文に含まれる単語の意味を示す意味構造23を生成する。情報処理装置1は、単語と当該単語の意味を示す意味構造23とを対応付けて記憶する同義語辞書21を参照して、生成した意味構造23に対応付けられた単語を特定する。情報処理装置1は、特定した単語が検索対象文書22に含まれるか否かの判定を行い、判定結果に応じた情報を出力する。かかる構成によれば、情報処理装置1は、検索文の単語の意味と、同義語辞書21の単語の意味とを組み合わせて得られる単語を特定することで、検索対象文書22から特定の文書を検索する際の検索語を特定することができる。この結果、情報処理装置1は、検索語を用いて、検索対象文書22から特定の文章を検索すると、検索結果に含まれるノイズを低減することが可能となる。すなわち、情報処理装置1は、検索対象文書22から意図しない特定の文章を検索することを低減することが可能となる。
また、情報処理装置1は、特定した単語が検索対象文書22に含まれると判定した場合には、以下の処理を行う。情報処理装置1は、検索対象文書22に含まれる複数の単語それぞれを該複数の単語それぞれの意味を示す意味構造23に対応付けて記憶する第2の記憶部を参照して、検索文に含まれる単語の意味構造23に対応付けられた単語を特定する。情報処理装置1は、該特定した単語が検索対象文書22の中のいずれの文章に含まれるか否かの判定を行い、判定結果に応じた情報を出力する。かかる構成によれば、情報処理装置1は、検索文の単語の意味と、検索対象文書22に含まれる、特定した単語(検索語28)の意味とを組み合わせて、検索対象文書22から特定の文章を検索することで、検索結果に含まれるノイズを低減することができる。例えば、情報処理装置1は、表記が同じで意味が異なる多義語を持つ特定の文章を排除することができる。
また、情報処理装置1は、第2の記憶部を参照して、同義語辞書21を参照して特定した単語と一致する単語に対応付けられた意味構造23を特定する。情報処理装置1は、特定した意味構造23と、検索文に含まれる単語の意味構造23とを用いて、検索文に含まれる単語の意味構造23に対応付けられた単語を特定する。かかる構成によれば、情報処理装置1は、検索文の単語の意味と、検索対象文書22に含まれる、特定した単語(検索語28)の意味とを組み合わせて得られる単語を特定することで、検索対象文書22内の特定の文章に含まれる単語を特定することができる。この結果、情報処理装置1は、特定した単語を用いて、検索対象文書22内の特定の文章を検索でき、特定の文章がノイズとなることを低減することができる。
また、情報処理装置1は、受け付けた検索文の意味構造23から、検索文に含まれる単語と、当該単語と直接関係する他の単語との関係を示す情報を抽出する。情報処理装置1は、抽出した情報を意味構造23として生成する。かかる構成によれば、情報処理装置1は、検索文に含まれる単語と直接関係のある他の単語との関係を示す情報を単語の意味構造23として生成することで、検索文に含まれる単語の意味を示す情報を生成できる。
[その他]
なお、実施例に係る同義語辞書21は、同義語として判定されたそれぞれの用語(用語1、用語2)を、それぞれの用語の意味構造23と対応付けて記憶すると説明した。しかしながら、同義語辞書21は、これに限定されず、同義語として判定されたそれぞれの用語をそれぞれの用語の特徴ベクトルと対応付けて記憶しても良い。かかる場合には、同義語辞書生成部11は、同義語と判定された各用語が出現する文章について、意味解析処理により、それぞれの意味構造23を生成する。同義語辞書生成部11は、用語1が出現する文章の意味構造23から用語1の周辺を分離した、用語1の意味構造23を生成する。同義語辞書生成部11は、用語2が出現する文章の意味構造23から用語2の周辺を分離した、用語2の意味構造23を生成する。そして、同義語辞書生成部11は、生成した用語1の意味構造23から用語1の特徴ベクトルを生成する。同義語辞書生成部11は、生成した用語2の意味構造23から用語2の特徴ベクトルを生成する。そして、同義語辞書生成部11は、用語1と用語2について、用語の表記、用語の特徴ベクトルを同義語辞書21に書き出せば良い。これにより、第1の特徴ベクトル生成部131は、同義語辞書21から、該当する用語の意味構造23の代わりに該当する用語の特徴ベクトルを直接取得することができる。
また、図示した情報処理装置1の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、情報処理装置1の分散・統合の具体的態様は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、意味解析部12と、第1の特徴ベクトル生成部131とを1つの部として統合しても良い。また、機械学習部14を、重みベクトル26を学習する第1の機械学習部と、第1の特徴ベクトル24を評価する第2の機械学習部と、第2の特徴ベクトル25を評価する第3の機械学習部とに分散しても良い。また、記憶部20を情報処理装置1の外部装置としてネットワーク経由で接続するようにしても良い。
また、上記実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図1に示した情報処理装置1と同様の機能を実現する検索プログラムを実行するコンピュータの一例を説明する。図17は、検索プログラムを実行するコンピュータの一例を示す図である。
図17に示すように、コンピュータ200は、各種演算処理を実行するCPU203と、ユーザからのデータの入力を受け付ける入力装置215と、表示装置209を制御する表示制御部207とを有する。また、コンピュータ200は、記憶媒体からプログラムなどを読み取るドライブ装置213と、ネットワークを介して他のコンピュータとの間でデータの授受を行う通信制御部217とを有する。また、コンピュータ200は、各種情報を一時記憶するメモリ201と、HDD205を有する。そして、メモリ201、CPU203、HDD205、表示制御部207、ドライブ装置213、入力装置215、通信制御部217は、バス219で接続されている。
ドライブ装置213は、例えばリムーバブルディスク211用の装置である。HDD205は、検索プログラム205aおよび検索処理関連情報205bを記憶する。
CPU203は、検索プログラム205aを読み出して、メモリ201に展開し、プロセスとして実行する。かかるプロセスは、情報処理装置1の各機能部に対応する。検索処理関連情報205bは、例えば、同義語辞書21、検索対象文書22、意味構造23、第1の特徴ベクトル24、第2の特徴ベクトル25、重みベクトル26、判定結果27および検索語28に対応する。そして、例えばリムーバブルディスク211が、検索プログラム205aなどの各情報を記憶する。
なお、検索プログラム205aについては、必ずしも最初からHDD205に記憶させておかなくても良い。例えば、コンピュータ200に挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に当該プログラムを記憶させておく。そして、コンピュータ200がこれらから検索プログラム205aを読み出して実行するようにしても良い。
1 情報処理装置
10 制御部
10A 第1の検索部
10B 第2の検索部
11 同義語辞書生成部
12 意味解析部
13 特徴ベクトル生成部
131 第1の特徴ベクトル生成部
132 第2の特徴ベクトル生成部
14 機械学習部
15 検索語生成部
20 記憶部
21 同義語辞書
22 検索対象文書
23 意味構造
24 第1の特徴ベクトル
25 第2の特徴ベクトル
26 重みベクトル
27 判定結果
28 検索語

Claims (5)

  1. 文章データから特定の文章を検索する検索プログラムにおいて、
    第1の文章を受け付け、
    受け付けた前記第1の文章を意味解析することによって、前記第1の文章に含まれる対象の単語と他の単語との接続関係に基づいて決定される前記対象の単語の意味を示す情報を生成し、
    単語と当該単語の意味を示す情報および当該単語と同じ意味を持つ単語と当該単語の意味を示す情報を対応付けて記憶する記憶部を参照して、前記対象の単語に対応付けられた第1の単語を特定し、
    前記対象の単語の意味を示す情報から第1の特徴ベクトルを生成し、特定した前記第1の単語の意味を示す情報から第2の特徴ベクトルを生成し、前記第1の特徴ベクトルと前記第2の特徴ベクトルとの比較によって生成される第3の特徴ベクトルを機械学習モデルを用いて評価し、前記対象の単語と特定した前記第1の単語とが同義語であるか否かを判定し、
    前記対象の単語と特定した前記第1の単語とが同義語であると判定した場合には、前記文章データから前記第1の単語に対応する第2の単語を含む第2の文章を特定し、
    前記第2の文章に含まれる前記第2の単語と他の単語との接続関係に基づいて決定される前記第2の単語の意味を示す情報を生成し、
    前記第2の単語の意味を示す情報から第4の特徴ベクトルを生成し、前記第1の特徴ベクトルと前記第4の特徴ベクトルとの比較によって生成される第5の特徴ベクトルを機械学習モデルを用いて評価し、前記対象の単語と前記第2の単語とが同義語であるか否かを判定し、
    前記対象の単語と前記第2の単語とが同義語であると判定した場合には、前記第2の文章を検索結果として出力する、
    処理をコンピュータに実行させることを特徴とする検索プログラム。
  2. 前記意味を示す情報は、該当する文章に含まれる単語と、他の単語との意味的な関係を示す有向グラフを含む
    ことを特徴とする請求項1に記載の検索プログラム。

  3. 前記対象の単語の意味を示す情報を生成する処理は、受け付けた前記第1の文章の前記意味を示す情報から、前記第1の文章に含まれる前記対象の単語と、前記対象の単語と直接関係する他の単語との意味的な関係を示す情報を抽出し、抽出した情報を前記対象の単語の意味を示す情報として生成し、
    前記第2の単語の意味を示す情報を生成する処理は、特定した第2の文章の前記意味を示す情報から、前記第2の文章に含まれる前記第2の単語と、前記第2の単語と直接関係する他の単語との意味的な関係を示す情報を抽出し、抽出した情報を前記第2の単語の意味を示す情報として生成する、
    ことを特徴とする請求項に記載の検索プログラム。
  4. 文章データから特定の文章を検索する検索装置において、
    第1の文章を受け付ける受付部と、
    前記受付部によって受け付けられた前記第1の文章を意味解析することによって、前記第1の文章に含まれる対象の単語と他の単語との接続関係に基づいて決定される前記対象の単語の意味を示す情報を生成する第1の生成部と、
    単語と当該単語の意味を示す情報および当該単語と同じ意味を持つ単語と当該単語の意味を示す情報を対応付けて記憶する記憶部を参照して、前記対象の単語に対応付けられた第1の単語を特定する第1の特定部と、
    前記対象の単語の意味を示す情報から第1の特徴ベクトルを生成し、特定した前記第1の単語の意味を示す情報から第2の特徴ベクトルを生成し、前記第1の特徴ベクトルと前記第2の特徴ベクトルとの比較によって生成される第3の特徴ベクトルを機械学習モデルを用いて評価し、前記対象の単語と特定した前記第1の単語とが同義語であるか否かを判定する第1の判定部と、
    前記第1の判定部によって前記対象の単語と特定した前記第1の単語とが同義語であると判定された場合には、前記文章データから前記第1の単語に対応する第2の単語を含む第2の文章を特定する第2の特定部と、
    前記第2の文章に含まれる前記第2の単語と他の単語との接続関係に基づいて決定される前記第2の単語の意味を示す情報を生成する第2の生成部と、
    前記第2の単語の意味を示す情報から第4の特徴ベクトルを生成し、前記第1の特徴ベクトルと前記第4の特徴ベクトルとの比較によって生成される第5の特徴ベクトルを機械学習モデルを用いて評価し、前記対象の単語と前記第2の単語とが同義語であるか否かを判定する第2の判定部と、
    前記対象の単語と前記第2の単語とが同義語であると判定した場合には、前記第2の文章を検索結果として出力する出力部と、
    を有することを特徴とする検索装置。
  5. 文章データから特定の文章を検索する検索方法において、
    第1の文章を受け付け、
    受け付けた前記第1の文章を意味解析することによって、前記第1の文章に含まれる対象の単語と他の単語との接続関係に基づいて決定される前記対象の単語の意味を示す情報を生成し、
    単語と当該単語の意味を示す情報および当該単語と同じ意味を持つ単語と当該単語の意味を示す情報を対応付けて記憶する記憶部を参照して、前記対象の単語に対応付けられた第1の単語を特定し、
    前記対象の単語の意味を示す情報から第1の特徴ベクトルを生成し、特定した前記第1の単語の意味を示す情報から第2の特徴ベクトルを生成し、前記第1の特徴ベクトルと前記第2の特徴ベクトルとの比較によって生成される第3の特徴ベクトルを機械学習モデルを用いて評価し、前記対象の単語と特定した前記第1の単語とが同義語であるか否かを判定し、
    前記対象の単語と特定した前記第1の単語とが同義語であると判定した場合には、前記文章データから前記第1の単語に対応する第2の単語を含む第2の文章を特定し、
    前記第2の文章に含まれる前記第2の単語と他の単語との接続関係に基づいて決定される前記第2の単語の意味を示す情報を生成し、
    前記第2の単語の意味を示す情報から第4の特徴ベクトルを生成し、前記第1の特徴ベクトルと前記第4の特徴ベクトルとの比較によって生成される第5の特徴ベクトルを機械学習モデルを用いて評価し、前記対象の単語と前記第2の単語とが同義語であるか否かを判定し、
    前記対象の単語と前記第2の単語とが同義語であると判定した場合には、前記第2の文章を検索結果として出力する、
    各処理をコンピュータが実行することを特徴とする検索方法。
JP2016181003A 2016-09-15 2016-09-15 検索プログラム、検索装置および検索方法 Active JP6828335B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016181003A JP6828335B2 (ja) 2016-09-15 2016-09-15 検索プログラム、検索装置および検索方法
US15/692,842 US10521510B2 (en) 2016-09-15 2017-08-31 Computer-readable recording medium, retrieval device, and retrieval method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016181003A JP6828335B2 (ja) 2016-09-15 2016-09-15 検索プログラム、検索装置および検索方法

Publications (2)

Publication Number Publication Date
JP2018045537A JP2018045537A (ja) 2018-03-22
JP6828335B2 true JP6828335B2 (ja) 2021-02-10

Family

ID=61559929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016181003A Active JP6828335B2 (ja) 2016-09-15 2016-09-15 検索プログラム、検索装置および検索方法

Country Status (2)

Country Link
US (1) US10521510B2 (ja)
JP (1) JP6828335B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10558747B2 (en) * 2016-11-03 2020-02-11 International Business Machines Corporation Unsupervised information extraction dictionary creation
US10558756B2 (en) * 2016-11-03 2020-02-11 International Business Machines Corporation Unsupervised information extraction dictionary creation
JP6972711B2 (ja) * 2017-06-30 2021-11-24 富士通株式会社 語義ベクトル生成プログラム、語義ベクトル生成方法および語義ベクトル生成装置
WO2019193796A1 (ja) * 2018-04-03 2019-10-10 株式会社Nttドコモ 対話サーバ
CN110928994B (zh) * 2019-11-28 2022-07-19 北京华宇元典信息服务有限公司 相似案例检索方法、相似案例检索装置和电子设备
EP4080379A4 (en) * 2019-12-19 2022-12-28 Fujitsu Limited INFORMATION PROCESSING PROGRAM, METHOD AND DEVICE
US11663402B2 (en) * 2020-07-21 2023-05-30 International Business Machines Corporation Text-to-vectorized representation transformation
US20230306055A1 (en) * 2020-10-29 2023-09-28 Nec Corporation Search device, search method, and recording medium
US20230177077A1 (en) * 2021-12-08 2023-06-08 International Business Machines Corporation Enhancing input to conversational agents through feedback

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5565568B2 (ja) 2010-03-30 2014-08-06 日本電気株式会社 情報推薦装置、情報推薦方法およびプログラム
JP6144968B2 (ja) 2013-06-05 2017-06-07 日本電信電話株式会社 情報提示装置、方法、及びプログラム
JP6176017B2 (ja) 2013-09-17 2017-08-09 富士通株式会社 検索装置、検索方法、およびプログラム

Also Published As

Publication number Publication date
US10521510B2 (en) 2019-12-31
US20180075017A1 (en) 2018-03-15
JP2018045537A (ja) 2018-03-22

Similar Documents

Publication Publication Date Title
JP6828335B2 (ja) 検索プログラム、検索装置および検索方法
US11327978B2 (en) Content authoring
US10831762B2 (en) Extracting and denoising concept mentions using distributed representations of concepts
US9373075B2 (en) Applying a genetic algorithm to compositional semantics sentiment analysis to improve performance and accelerate domain adaptation
JP5071373B2 (ja) 言語処理装置、言語処理方法および言語処理用プログラム
JP6870421B2 (ja) 判定プログラム、判定装置および判定方法
JP5710581B2 (ja) 質問応答装置、方法、及びプログラム
JP6729095B2 (ja) 情報処理装置及びプログラム
US20150169676A1 (en) Generating a Table of Contents for Unformatted Text
JP5238034B2 (ja) 近似照合装置、近似照合方法、プログラム及び記録媒体
KR102519955B1 (ko) 토픽 키워드의 추출 장치 및 방법
JP7135730B2 (ja) 要約生成方法及び要約生成プログラム
JP4478042B2 (ja) 頻度情報付き単語集合生成方法、プログラムおよびプログラム記憶媒体、ならびに、頻度情報付き単語集合生成装置、テキスト索引語作成装置、全文検索装置およびテキスト分類装置
Le et al. CRYPTEXT: Database and Interactive Toolkit of Human-Written Text Perturbations in the Wild
JP6805927B2 (ja) インデックス生成プログラム、データ検索プログラム、インデックス生成装置、データ検索装置、インデックス生成方法、及びデータ検索方法
JP2009176148A (ja) 未知語判定システム、方法及びプログラム
Wood et al. OpBerg: Discovering causal sentences using optimal alignments
JP2001101184A (ja) 構造化文書生成方法及び装置及び構造化文書生成プログラムを格納した記憶媒体
JP5998779B2 (ja) 検索装置、検索方法、及びプログラム
US20220092260A1 (en) Information output apparatus, question generation apparatus, and non-transitory computer readable medium
JP5538268B2 (ja) 文書要約装置、文書要約方法、及びプログラム
JP5160120B2 (ja) 情報検索装置、情報検索方法及び情報検索プログラム
JP2010282453A (ja) 機械翻訳方法、及びシステム
Bhowmik et al. Development of A Word Based Spell Checker for Bangla Language
JP5038881B2 (ja) 情報検索装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210104

R150 Certificate of patent or registration of utility model

Ref document number: 6828335

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150