JP3725837B2 - 知識情報収集システムおよび知識情報収集方法 - Google Patents
知識情報収集システムおよび知識情報収集方法 Download PDFInfo
- Publication number
- JP3725837B2 JP3725837B2 JP2002108478A JP2002108478A JP3725837B2 JP 3725837 B2 JP3725837 B2 JP 3725837B2 JP 2002108478 A JP2002108478 A JP 2002108478A JP 2002108478 A JP2002108478 A JP 2002108478A JP 3725837 B2 JP3725837 B2 JP 3725837B2
- Authority
- JP
- Japan
- Prior art keywords
- file
- setting
- collection
- information
- knowledge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【発明の属する技術分野】
本発明はナレッジマネジメントシステムで用いられる知識情報収集システムおよび知識情報収集方法に関し、特に知識データベースに登録すべき文書情報をネットワーク上から収集するための知識情報収集システムおよび知識情報収集方法に関する。
【0002】
【従来の技術】
近年、企業を中心に複数のユーザ間で情報共有を行うためのグループウェアの導入が進められている。代表的なグループウェアとしては、電子メールシステムやワークフローシステムなどが知られているが、最近では、知識情報の共有支援を図るためのナレッジマネジメントシステムも開発され始めている。
【0003】
このナレッジマネジメントシステムは、個人のノウハウなどの知識情報を知識データベースに蓄積・管理するためのものであり、自然言語検索などの検索機能と組み合わせることにより、蓄積された知識情報の効率的な活用が可能となる。
【0004】
ところで、このようなナレッジマネジメントシステムに於いては、知識情報をいかに効率よく収集・蓄積するかが重要なポイントとなる。特にインターネット上のWeb情報は知識の宝庫であるので、インターネット上から必要な情報を効率良く収集するための仕組みが必要とされている。
【0005】
【発明が解決しようとする課題】
しかし、最近では、ホームページにはHTMLドキュメントなどのテキストベースの文書ファイルのみならず、各種アプリケーションプログラムによって作成された様々なファイル形式の文書ファイルも利用され始めている。この場合、インターネットから取得した文書ファイルをそのまま知識データベースに登録したのでは知識データベース上の文書ファイルの検索が困難となり、知識の有効活用を行うことができなくなる。
【0006】
本発明はこのような事情を考慮してなされたものであり、インターネット上からファイル形式の異なる様々な種類の文書ファイルを知識情報として効率よく収集することが可能な知識情報収集システムおよび知識情報収集方法を提供することを目的とする。
【0007】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、知識データベースに登録すべき文書情報をネットワーク上から収集する知識情報収集システムに於いて、前記知識データベースに登録すべき文書情報を収集するための起点URLの設定フィールド、および収集可能な複数種の文書ファイル形式を選択可能に提示した収集ファイル形式の設定項目を含んだ設定画面を表示する設定画面表示手段と、前記設定画面表示手段により表示された設定画面上の設定内容をもとに記述した設定ファイルを作成する設定ファイル作成手段と、前記設定ファイル作成手段で作成された設定ファイルの記述内容をもとに前記知識データベースに登録すべき文書情報を前記ネットワーク上から収集する情報収集手段とを具備し、前記情報収集手段は、前記設定ファイルに記述された起点URLおよび辿るリンク先より文書情報を取得する際に、当該文書情報が前記設定ファイルに記述された収集ファイル形式に合致するか否かを調べ、前記設定ファイルに記述された収集ファイル形式に合致する文書情報のみを選択して前記ネットワーク上から収集し、前記収集した文書情報各々を予め定めた登録用のファイル形式に変換して前記知識データベースに共通のフォーマットで登録することを特徴とする。
【0008】
この知識情報収集システムに於いては、ネットワークからの情報の収集条件を指定する設定情報に基づいて、ネットワーク上からの文書ファイルの収集が情報収集手段によって実行される。前記情報収集手段は、前記設定ファイルに記述された起点URLおよび辿るリンク先より文書情報を取得する際に、当該文書情報が前記設定ファイルに記述された収集ファイル形式に合致するか否かを調べ、前記設定ファイルに記述された収集ファイル形式に合致する文書情報のみを選択して前記ネットワーク上から収集する。これにより、収集対象となる文書情報のファイル形式を、必要に応じ選択的に指定して、所望するファイル形式の文書情報を選択的に指定して収集でき、ネットワーク上の知識情報を効率よく収集できる。更に、所望する知識情報をより適切に絞り込んで収集することができることから、より高度の知識データベースを容易かつ迅速に効率よく構築できる。
【0009】
また、本発明は、知識データベースに登録すべき文書情報をネットワーク上から収集する知識情報収集方法に於いて、前記知識データベースに登録すべき文書情報を収集するための起点URLの設定フィールド、および収集可能な複数種の文書ファイル形式を選択可能に提示した収集ファイル形式の設定項目を含んだ設定画面を表示する設定画面表示ステップと、前記設定画面表示ステップにより表示された設定画面上の設定内容をもとに記述した設定ファイルを作成する設定ファイル作成ステップと、前記設定ファイル作成ステップで作成された設定ファイルの記述内容をもとに前記知識データベースに登録すべき文書情報を前記ネットワーク上から収集する収集ステップとを有し、前記収集ステップは、前記設定ファイルに記述された起点URLおよび辿るリンク先より文書情報を取得する際に、当該文書情報が前記設定ファイルに記述された収集ファイル形式に合致するか否かを調べ、前記設定ファイルに記述された収集ファイル形式に合致する文書情報のみを選択して予め定めた登録用のファイル形式に変換し、前記知識データベースに共通のフォーマットで登録する処理ステップを具備することを特徴とする。
【0010】
この知識情報収集方法によれば、設定画面上で設定したファイル形式に合致する文書情報のみを前記ネットワーク上から収集することができ、収集対象となる文書情報のファイル形式を、必要に応じ選択的に指定して、任意のファイル形式の文書情報を選択的に収集できる。これにより、所望する知識情報をより適切に絞り込んで収集することができ、より高度の知識データベースを容易かつ迅速に効率よく構築できる。
【0011】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図1には、本発明の一実施形態に係る知識情報収集システムを用いたナレッジマネジメントシステム全体の構成が示されている。このナレッジマネジメントシステムは知識情報の収集・分析・検索等のサービスを提供するためのものであり、Web収集システム11、登録モジュール12、および知識エンジン13などから構成されている。これらWeb収集システム11、登録モジュール12および知識エンジン13は、サーバコンピュータ上で実行されるプログラムとして実現されている。Web収集システム11および登録モジュール12は、ナレッジマネジメントシステムで用いられる知識情報を収集するための知識情報システムを構成する。この知識情報収集システムは、Webページなどの文書をインターネット/イントラネット30上から収集して、その文書の内容をナレッジマネジメントシステムの知識データベース(知識DB)131に登録するという処理を実行する。Web収集システム11は、Web収集モジュール111、管理インターフェース112、および登録ディレクトリ113から構成されている。
【0012】
Web収集モジュール111は、インターネット/イントラネット30上の各種文書ファイルを収集して、それを知識DB131に登録できる形式で出力するためプログラムである。このWeb収集モジュール111は、マルチスレッド構造を有しており、HTTP(HyperText Transfer Protocol)によるインターネット/イントラネット30上からの文書ファイル取得処理を並列的に行うことができる。HTTPはインターネット/イントラネット30上の情報サイトである各Webサーバ31からHTML(Hyper Text Markup Language)で記述された文書を取得するための通信プロトコルである。Web収集モジュール111は、Web収集条件を指定する設定情報で指定されたURL(Uniform Resource Locator)の文書ファイルをインターネット/イントラネット30上から取得し、取得した文書ファイルにリンク先のURLが含まれていれば、そのURLの文書ファイルをさらに取得する、という再帰的な処理を行って、インターネット/イントラネット30上から関連する文書ファイル群を順次取得する。この場合、他の文書ファイルへのリンク情報(URL)を検出するためには取得した文書ファイルを解析することが必要となるが、その解析処理の中では、リンク情報の検出のみならず、知識DB131に登録すべきテキストデータの抽出も併せて実行される。
【0013】
収集対象の文書ファイルは、他のファイルへのリンク情報であるURLを記述可能なハイパーテキストファイル(HTMLファイル)のみならず、テキストファイル(plane text)、さらには各種アプリケーションプログラムによって作成された様々なファイル形式の文書ファイル(例えば、Portable Document Format形式のファイル、ワードプロッセッサソフトウェアで作成した文書ファイル、表計算ソフトウェアで作成したファイル、プレゼンテーションデータの作成ソフトウェアで作成したプレゼンテーションデータのファイルなど、各種汎用ファイル形式の添付ファイル)も収集対象となる。
【0014】
Web収集モジュール111では、インターネット/イントラネット30上から収集した各文書ファイルに対して知識DB131に登録すべき属性情報の取得と上述のテキストデータの抽出が行われる。各文書ファイルから取得される属性情報は、例えば、当該文書ファイルのURL、ファイル作成日時(更新日時)等である。そして、Web収集モジュール111では、それら各文書ファイルの属性情報とテキストデータが記述された登録ファイルが作成されて、それが登録ディレクトリ113上に出力される。ここで、登録ファイルとは、ファイル形式の異なる複数種の文書ファイルそれぞれの文書情報を知識DB131に登録するための共通インターフェースとして予め決められた記述形式を持つファイルを意味する。この登録ファイルは、複数種の文書ファイルそれぞれの文書情報を知識DB131に共通フォーマットで登録するために利用される。本実施形態では、登録ファイルとしてXML(eXtensible Markup Language)を使用する。
【0015】
管理インターフェース112は、Web収集モジュール111に実行させる各Web収集処理(以下、Web収集処理タスクという)の内容を設定するためのプログラムであり、各Web収集処理タスク毎にそのWeb収集条件の設定および管理、Web収集モジュール111の起動・停止の制御、さらには各Web収集処理タスクの収集状況の管理・提示等の機能を有している。この管理インターフェース112は、管理者ユーザがそのユーザ端末のWebブラウザ21上から必要な操作を行えるように、Webサーバ22がCGI(Common Gateway Interface)を通じて起動可能な外部プログラム(CGIプログラム)として実現されている。
【0016】
またWeb収集システム11には、Web収集モジュール111の動作を管理・制御するためのファイルとして、図示のように、ロックファイル201、制御ファイル202、設定ファイル203、結果ファイル204、およびログファイル205が設けられている。
【0017】
ロックファイル201はWeb収集モジュール111の2重起動を防止するための排他制御用のファイルである。制御ファイル202は管理インターフェース112がWeb収集モジュール111を停止させるために使用するファイルであり、例えば、管理者ユーザからの指示に応答して、実行中のWeb収集処理タスクを途中で中断させる場合などに利用される。収集実行中における中断の指定は、管理者ユーザが管理インターフェース112を通じて行うことができる。
【0018】
設定ファイル203は、各Web収集処理タスク毎にそのWeb収集条件を指定する設定情報を記述するためのファイルであり、ここには複数のWeb収集処理タスクそれぞれに対応する複数の設定情報を保持することができる。各Web収集処理タスクのWeb収集条件は、管理者ユーザによって設定される。Web収集条件には、少なくとも、インターネット/イントラネット30からの情報収集の起点とすべき文書ファイルの所在を示す起点アドレス情報(起点URL)と、収集範囲をドメイン内のみに指定したり、収集するURLのパターン、収集しないURLのパターンを指定したり、収集対象とすべき文書ファイル数またはリンク段数の上限値を指定したり、収集するファイル形式を指定したりする複数種の収集範囲情報等が含まれている。このWeb収集条件に基づいてWeb収集モジュール111のWeb収集動作が制御される。すなわち、Web収集モジュール111は、起点URLで指定される文書ファイルを起点にそれに関連する文書ファイル群を、収集範囲情報で規定される範囲内で順次収集する。尚、上記設定ファイル203に記述される複数種の収集範囲情報と、その設定手段については、後にGUI画面を参照して説明する。
【0019】
また、Web収集条件には、登録先の知識データベースを指定する知識データベース名も含まれている。すなわち、知識DB131に於いては蓄積文書の種類が互いに異なる複数の知識データベースが定義されており、それら複数の知識データベースがそれぞれの知識データベース名で管理されている。上記した設定ファイル203の設定情報によって、Web収集タスク毎に登録先の知識データベース名を指定することにより、収集した文書情報を知識DB131内の任意の知識データベースに登録することができる。
【0020】
さらに、収集範囲情報として、再収集を行う時の収集条件を設定することもできる。ここで、再収集とは、例えばWeb収集モジュール111に同一のWeb収集処理タスクを定期的に実行させる場合における2度目以降のWeb収集処理や、一旦中断したWeb収集処理タスクを再開させた場合のWeb収集処理を言う。
【0021】
結果ファイル204は、Web収集処理の結果として収集した文書ファイルの一覧等を各Web収集タスク毎に管理するためのファイルであり、ここには、Web収集の結果として取得したURLのリスト、取得した文書ファイル件数、などが各Web収集処理タスク毎に出力される。この結果ファイル204はWeb収集処理タスクそれぞれの収集状況をユーザに提示する目的と、再収集の効率化の目的に用いられる。この結果ファイル204を用いることにより、過去に収集済みの文書ファイルの中でインターネット/イントラネット30上の情報サイトから削除された文書ファイルを検出したり、Web収集処理を途中で中断した場合における再開ポイントを検出することもできる。
【0022】
ログフィル205は、Web収集モジュール111による文書ファイルの取得の成否やエラーの種類などを管理するファイルである。
【0023】
登録ディレクトリ113は、知識DB113に登録すべき文書内容を出力するための記憶領域である。ここには、Web収集モジュール111によって各文書ファイルから抽出された属性情報とテキストデータが記述された上述の登録ファイル114が出力される。Web収集モジュール111は、テキストデータの抽出に関して第1および第2の2つの処理モードを有する。
【0024】
第1処理モードでは、全てのファイル形式の文書ファイルを対象に解析処理を行ってテキストデータの抽出、さらにはリンク情報(URL)の検出が行われる(URLの検出はHTMLファイルのみが対象)。第2処理モードでは、HTMLファイルとテキストファイル(PlainText)のみを対象に解析処理を行ってテキストデータの抽出、さらにはリンク情報(URL)の検出が行われ(URLの検出はHTMLファイルのみが対象)、例えばPortable Document Format形式のファイル等、他のファイル形式の文書ファイル(以下、コンテンツファイルという)に対しては解析処理は行われない。
【0025】
第2処理モードを使用した場合、HTMLとPlainTextについては、そのテキストデータと属性情報が登録ファイル114上に記述されて登録ディレクトリ113上に出力される。一方、Portable Document Format形式のファイル等、他の形式のファイルについてはそのコンテンツファイル115がそのまま登録ディレクトリ113上に出力され、登録ファイル114上には当該ファイルの属性情報とコンテンツファイル115のパス名が記述される。尚、第2処理モードに於いては、リンク情報の検出のための解析処理が必要なファイルを対象にその解析処理の中でテキストデータの抽出も併せて実行するという点が肝要であるので、HTMLファイルのみを対象にテキストデータの抽出を行うようにしてもよい。
【0026】
第1および第2のどちらの処理モードに於いても、Web収集モジュール111は実行中のWeb収集タスクの処理が完了した時に、登録モジュール12に対して登録要求ファイルを発行して、文書の登録を登録モジュール12に要求する。登録要求ファイルには、登録ファイルのファイル名、登録先の知識データベース名などが記述されている。
【0027】
登録モジュール12は、Web収集モジュール111によって収集された各文書ファイルの属性情報およびテキストデータを知識DB131に登録する。すなわち、登録モジュール12は、Web収集モジュール111からの登録要求に応答して該当する登録ファイル114を取得し、その登録ファイル114上に文書ファイル毎に記述されている属性情報およびテキストデータを取り出して、知識DB131の登録先知識データベースに登録する。また、この登録モジュール12はテキストデータの抽出機能も有しており、登録ファイル114にコンテンツファイル115のパス名が記述されている場合は、登録モジュール12は、そのパス名で指定されるコンテンツファイル115からテキストデータを抽出して知識DB131の該当する登録先知識データベースに登録する。
【0028】
さらに、登録モジュール12は、Web収集モジュール111以外の他の収集モジュールによって収集された文書の登録処理も実行する。他の収集モジュールとしては、例えば、電子ファイリングシステムのファイルサーバから文書情報を収集するファイル収集モジュール、RDBデータベースサーバからそこに管理されている文書情報を収集するRDB収集モジュール、電子掲示板形式のコミュニティからそこに投稿された文書情報を収集するコミュニティ収集モジュール、ユーザが任意の各種アプリケーションプログラムの文書ファイルを登録ファイル(XML)の出力形式に変換するために使用するユーザ収集モジュール等がある。登録モジュール12はこれら各収集モジュールによって共通に利用される。どの収集モジュールについても、登録モジュール12に対するインターフェースとしては上述のXML形式の登録ファイルが用いられる。
【0029】
知識エンジン13は、知識DB131に蓄積された情報を活用するための知識分析処理を行う。この知識分析処理では、知識DB131に蓄積された大量の文書情報それぞれの特徴を分析して重要語を抽出する処理や、特徴別に複数のカテゴリに分類および整理するクラスタリング処理などが行われる。この知識エンジン13には自然言語検索を行うための知識エンジン132が設けられており、各ユーザはそのユーザ端末のWebブラウザ41からWebサーバ42を通じて知識エンジン132をアクセスすることにより、Webブラウザ41上から知識DB131に蓄積された知識の検索を行うことができる。知識DB131に蓄積された各文書の属性情報にはその文書のURLも含まれているので、そのオリジナル文書を該当する情報サイトから取得してWebブラウザ41上に表示することができる。尚、、検索処理は、ある知識データベース名を選択してその選択した知識データベースのみを対象に行ったり、あるいは知識DB131内の全ての知識データベースを対象に行うことができる。
【0030】
次に、図2を参照して、Web収集モジュール111の機能構成について説明する。
Web収集モジュール111は、図示のように、収集制御部301、属性抽出部302、テキスト抽出部303、およびフォーマット変換部304を有している。収集制御部301は、設定ファイル203に保持されている全ての設定情報それぞれについて、その設定情報で指定されたWeb収集タスクを順番に一つずつ実行する。各Web収集タスク毎に設定情報で指定された起点URLを起点として、インターネット/イントラネット30から関連する文書ファイル群を順次収集する。取得した文書ファイルに含まれるリンク先文書へのURLはURLリスト305に追加されて行き、URLリスト305からURLを取得しながらが収集処理が再帰的に実行される。URLリスト305としては、上述の結果ファイル204を用いることができる。収集範囲は設定ファイル203に保持されている収集条件によって制限される。
【0031】
収集された各文書ファイルは、まず属性抽出部302に送られ、そこで各文書ファイルの属性情報が取得される。次いで、テキスト抽出部303にて文書の解析処理が行われ、知識DB131に登録すべきテキストデータと、次に取得すべきリンク先URLの抽出が行われる。例えば、HTMLファイルに対しては、テキストデータの抽出は、HTMLのタグ以外の部分を抜き出すことによって行う。抽出されたテキストはタイトルとボディ(本文)とに分けられる。リンク先URLの取得は、Aタグ、AREFタグのHREFの値、FRAMEタグ、IFRAMEタグ、LAYERタグのSRCの値、METAタグのREFRESHの値を取得することによって行われる。上述の第2の処理モードで動作する場合には、テキスト抽出部303の処理はHTMLファイルとテキストファイルに対してのみ行われ、Portable Document Format形式のファイル等、他のファイル形式の文書ファイルに対しては行われない。
【0032】
各文書ファイルから取得された属性情報とテキストデータは、フォーマット変換部304に送られ、そこでXMLの登録ファイルの記述形式に従う出力フォーマットに整形されて登録ディレクトリ113上に出力される。一つの登録ファイル114には、例えば1000個程度の文書ファイルについての属性情報およびテキストデータが記述される。テキスト抽出が行われなかった文書ファイルについては属性情報とパス名が登録ファイル114上に記述される。
【0033】
次に、図3および図4を参照して、登録ファイル114の出力フォーマットの例を説明する。
【0034】
図3は、テキスト抽出部303にてテキスト抽出を行う場合の出力フォーマットの例を示している。ファイルの先頭のタグ<?xml version="1.0" encoding="Shift_JIS"?>、<KnowledgeSystem>はファイルの始まりを示し、また末尾のタグ</KnowledgeSystem>はファイルの終わりを示している。
【0035】
<RECORD>と</RECORD>で囲まれた各レコード内に、1つの文書ファイルの属性情報とテキストデータが記述される。各レコード内のタグの意味は次の通りである。
【0036】
MODE :登録モジュール12の動作モードを指定するモード情報である。このモード情報は、各文書ファイル毎に知識DB131に対する文書情報(テキストデータおよび属性)の登録または削除を指示する。2=登録(上書き)か、0=削除、のいずれかとなる。削除の場合は、下記のタグのうち、TYPEとUNIQUE以外は出力されない。
【0037】
TYPE :収集のタイプを示す。本例では常に“Web収集”となる。
UNIQUE :知識DB131に登録される当該文書ファイルを識別するためのユニークキーである。通常は、当該文書のURLがユニークキーとして用いられる。
【0038】
ORGDATE :文書ファイルの作成日時(または更新日時)を示す。
TITLE :文書ファイルのタイトルを示す。HTMLファイルのタイトル部から抽出されたテキストデータがタイトルとなる。HTMLファイル以外のファイルについてはタイトルは出力されない。このタイトルは、検索画面上の文書ファイルのタイトルとして出力される。
【0039】
AUTHOR :文書ファイルを所有する情報サイトのホスト名(URLのホストアドレス)を記述する。
DATE :上記ORGDATEの日付部分を記述する。
URL :文書ファイルのURL。UNIQUEと同じ値である。
BODY :文書ファイルから抽出されたテキストデータが記述される。
【0040】
図4は、テキスト抽出部303にてテキスト抽出を行わなかった文書ファイルに関する出力フォーマットの例を示している。
【0041】
BODYにはテキストデータは記述されず、<BDYFILE></BDYFILE>で囲まれた領域のPATH1に、登録ディレクトリ113上に出力される上記コンテンツファイル115へのパス名が記述される。DEL=1は、登録モジュール12に対してコンテンツファイル115からのテキストデータの抽出後に登録ディレクトリ113上の元ファイルを削除することを指示するものである。Web収集モジュール111が第2処理モードで動作する場合には、HTMLファイルとプレーンテキストについてはBODYにはテキストデータが記述され、他のファイル形式の文書ファイル(コンテンツファイル)についてはBDYFILEにそのコンテンツファイルのパス名が記述されることになる。
【0042】
次に、図5のフローチャートを参照して、収集した文書ファイルに対してWeb収集モジュール111内で実行される一連の処理の手順について説明する。
【0043】
まず、収集した文書ファイルから知識DB131に登録すべき属性情報(URL、AUTHOR、ORGDATE、DATE)が取得される(ステップS101)。属性情報の取得は、HTTPによって情報サイトから返される値や、収集した文書ファイル内に付加されている値などを用いることができる。この後、第2処理モードに於いては、収集した文書ファイルの拡張子などに基づいてそのファイル種別が判定され、HTMLファイルまたはプレーンテキストファイルであるか、あるいはそれ以外の他のファイル形式のファイルであるかが判別される(ステップS102,S103)。収集した文書ファイルがHTMLファイルまたはプレーンテキストファイルである場合には(ステップS103のYES)、上述のテキスト抽出処理(HTMLファイルの場合はテキスト抽出とリンクURLの検出)が実行され(ステップS104)、そして属性情報とテキストデータを上述の形式で登録ファイル114上に記述する処理(テキストデータをBODYに挿入)が行われる(ステップS105)。一方、HTMLファイルまたはプレーンテキストファイル以外の他のファイル形式のファイルであれば(ステップS103のNO)、当該ファイルが登録ディレクトリ113上にそのまま出力され(ステップS106)、その後、属性情報と当該ファイルのパス名を登録ファイル114上に記述する処理(パス名をBDYFILEに記述)が行われる(ステップS107)。
【0044】
尚、、目的のURLの文書ファイルがインターネット/イントラネット30上から取得できなかった場合には、当該文書ファイルの内容が既に知識DB131に登録されていることを条件に、モード情報(MODE)=0(削除)が登録ファイル114上に記述される。
【0045】
また、第1処理モードに於いては、ステップS102,S103の処理は行われず、全ての取得ファイルを対象にステップS104,S105の処理が実行される。
【0046】
次に、図6のフローチャートを参照して、登録モジュール12によって実行される登録処理の手順を説明する。
【0047】
Web収集モジュール111から登録要求を受けた登録モジュール12は、Web収集モジュール111からの登録要求ファイルで指定された登録ファイル(XMLファイル)から1つずつレコードを取り出しながら、レコード毎に以下の処理を行う。まず、処理対象レコード内のモード情報がMODE=0であるかMODE=2であるかが調べられる(ステップS111,S112)。
【0048】
MODE=2の場合は、登録モジュール12は、レコード内の各タグに従って、そのタグ内に記述されたデータ項目(TYPE、UNIQUE、ORGDATE、TITLE、AUTHOR、DATE、URL、BODYそれぞれの内容)を、登録要求ファイルで指定された知識DB131内の登録先知識データベースに登録する(ステップS113)。BODYのタグ内にテキストデータが存在しない場合には、そのテキストデータの登録は行われない。次いで、BDYFILEのタグ内にパス名が記述されているかどうかが判定される(ステップS114)。パス名が記述されている場合には(ステップS114のYES)、そのパス名で指定される記憶領域から該当するコンテンツファイルが取得され(ステップS115)、そのコンテンツファイルからテキストデータを抽出する処理が行われる(ステップS116)。そして、その抽出された内容が該当する文書ファイルのテキストデータとして登録先知識データベースに登録される(ステップS117)。
【0049】
MODE=0の場合は、レコード内のUNIQUEで指定される登録済みの文書ファイルの属性情報とテキストデータが知識DB131からサーチされ、その登録内容が登録先知識データベースから削除される(ステップS118)。
【0050】
図7には、インターネット/イントラネット30上における文書ファイル(Webコンテンツ)の状態と知識DB131に対して行うべき登録/削除処理との関係が示されている。本実施形態に於いては、できる限りインターネット/イントラネット30上における最新のWebコンテンツの状態を知識DB131に反映させるというポリシーに基づき、以下の処理が行われる。
【0051】
(1)更新されたWebコンテンツは、知識DB131に上書きする(MODE=2)。更新されたWebコンテンツの属性情報およびテキストデータを登録する場合、そのUNIQUEは、知識DB131に既に登録されている更新前のWebコンテンツのUNIQUEと同一である。よって、MODE=2により、知識DB131に既に登録されている更新前のWebコンテンツの属性情報およびテキストデータが、更新されたWebコンテンツの属性情報およびテキストデータに更新(上書き)される。
【0052】
(2)追加されたWebコンテンツは、知識DB131に追加登録する(MODE=2)。追加されたWebコンテンツの属性情報およびテキストデータを登録する場合、そのUNIQUEは、知識DB131に未登録である。よって、MODE=2により、追加されたWebコンテンツの属性情報およびテキストデータを知識DB131に追加登録することができる。
【0053】
(3)削除されたWebコンテンツは、知識DB131からも削除する(MODE=0)。
【0054】
次に、管理インターフェース112によって提供される機能を具体的に説明する。管理インターフェース112は上述のようにWeb収集タスクの設定・管理・実行を行うためのユーザインタフェースであり、1)Web収集タスクの設定を複数個作成して設定ファイル204に保存する機能、2)収集の設定の、一覧、削除、などの管理作業を行う機能、3)収集の起動と終了(中断と再開)を行う機能、4)収集の状況や実績をリアルタイムに確認する機能、を管理者ユーザに提供する。
【0055】
管理インターフェース112によって管理者ユーザのWebブラウザ21に表示される画面は、図8に示すように、「一覧画面」、「設定画面」、「状況画面」の3つの画面より構成され、管理インターフェース112を起動すると、一覧画面が最初に表示される。3つの画面は各画面上で管理者ユーザによって行われる操作に応じて遷移する。一覧画面には、現在作成されている設定の一覧と各設定の最新の収集結果が表示される。この一覧画面上で、例えば、作成済みの設定を選択してその選択して設定に関する設定画面または状況画面に遷移した場合には、設定画面上では当該設定内容の追加/削除等を行うことが出来、また状況画面上では当該設定に関する起動と終了(中断と再開)の指定などを行うことができる。また、一覧画面上で、設定の新規作成を選択すると設定画面に遷移し、その設定画面上で設定の新規作成のための処理を行うことができる。以下、一覧画面、設定画面、状況画面それぞれについて具体的に説明する。
【0056】
図9には、一覧画面の例が示されている。この一覧画面上には、図示のように、「一覧」アンカ501、「設定アンカ」502、「状況」アンカ503が表示される。これら「一覧」アンカ501、「設定アンカ」502、「状況」アンカ503は、それぞれ一覧画面、設定画面、状況画面それぞれに対するリンクである。一覧画面上で「一覧」アンカ501がクリックされると、一覧画面の表示内容が最新状態に更新される。さらに、一覧画面上には、「新規設定」フィールド504、「作成」ボタン505、および状態一覧表示部506が設けられている。新規作成すべきWeb収集タスクの設定名を「新規設定」フィールド504に入力して、「作成」ボタン505をクリックすると、設定画面に遷移してその設定名に関する設定情報を新規作成することができる。
【0057】
状態一覧表示部506には、上述の結果ファイル204に保持されている内容等に基づき、既に作成・登録済みのWeb収集タスクそれぞれについての収集状況が一覧表示される。Web収集タスク毎に以下の項目が表示される。
【0058】
「設定名」:登録してある設定の名称
「知識データベース名」:収集したデータを登録するデータベース名
「状態」:設定の現在の状態(未収集/収集中/終了/中断/異常終了のいずれか)
「開始」:最後に起動した日時
「終了」:最後に終了した日時
「ファイル」:前回のタスク実行で収集したファイル数(今回)と、これまでに実行した中で収集されたファイルの総数の最大値(全体)
このように、本実施形態に於いては、複数のWeb収集タスクを設定することが出来、しかもそれら複数のWeb収集タスクそれぞれの収集状況を一覧画面上で確認することができる。
【0059】
次に、図10を参照して、設定画面の例について説明する。設定画面上には、図示のように、上述の「一覧」アンカ501、「設定アンカ」502、「状況」アンカ503の他、「設定名」フィールド601、「知識データベース名」フィールド602、「プロキシサーバ」設定フォーム603、「収集ファイル形式」設定フォーム604、「取得要求」設定フォーム605、「認証情報」設定フォーム606、および収集サイト設定画面を構成する「収集サイト」設定フォーム607等が設けられており、これらを用いて以下の設定編集操作を行うことができる。
【0060】
(1)設定名: 「設定名」フィールド601には一覧画面にて新規設定の作成または既存の設定の選択により指定された設定名が表示される。
(2)DB選択: 「知識データベース名」フィールド602に知識データベース名を入力することにより、収集したデータを登録する登録先知識データベースを選択する。
【0061】
(3)プロキシ: 「プロキシサーバ」設定フォーム603を用いて、収集に使用するプロキシサーバの設定を行う。
(4)収集するファイル形式: 「収集ファイル形式」設定フォーム604上で収集対象のファイル形式を選択する。本実施形態では、HTMLおよびTEXTファイルは、デフォルトで選択されており(HTMLおよびTEXTファイルの指定を解除できない)、この他、例えば、Portable Document Format形式のファイル、ワードプロッセッサソフトウェアで作成した文書ファイル、表計算ソフトウェアで作成したファイル、プレゼンテーションデータの作成ソフトウェアで作成したプレゼンテーションデータのファイルのファイルなど、各種汎用ファイル形式の添付ファイルを収集対象として選択することができる。本実施形態では収集可能な文書ファイルのファイル形式を6種とした例を示し、それぞれチェックボックスにより、任意に指定することができる。例えば6種のファイル形式(HTML,PDF,PPT,DOC,XLOS,JBW)のすべてをチェックボックスで指定することにより、その指定されたすべてのファイル形式の文書ファイルを収集対象とすることができる。また、不要となったファイル形式の文書ファイルについて、チェックボックスで指定を解除することにより、そのファイル形式の文書ファイルが、知識DB131から削除される。
【0062】
(5)取得要求: 「取得要求」設定フォーム605上でURL取得時のタイムアウト時間、リトライ回数を指定する。
(6)認証情報: 「認証情報」設定フォーム606上で、ユーザ認証が必要なURLをアクセスするときに必要な認証情報を設定する。
【0063】
(7)収集サイト: 「収集サイト」設定フォーム607上では以下の項目の設定を行う。
【0064】
・起点URLの設定 : 収集の起点となるURLを指定する。本実施形態では、起点URLの設定フィールド上で、半角、特殊文字を除いた最大1000文字まで入力可能としている。
【0065】
・リンク段数の上限設定: 収集する起点URLからの最大リンク段数を指定する。
・ファイル数の上限設定: 収集する最大ファイル数を指定する。
・収集範囲: 「ドメイン内のみ収集する」を指定すると、起点URLのドメイン内のみ収集を行う。デフォルトは指定無しである。この「ドメイン内のみ収集する」をチェックボックスで指定すると、上記起点URLの設定フィールドに設定された起点URLについて、そのドメイン内のみを対象に、インターネット/イントラネット30上の該当する情報サイトから文書情報を収集する。
【0066】
・収集するURLのパターン: 収集対象とすべきURLの文字列のパターンを指定する。収集しようとするURLの中で、指定された文字列のパターンを含んだURLのファイルのみが収集される。本実施形態では、この収集するURLのパターンを設定する設定フィールドに、1行に1パターンずつ、最大1000バイトの設定を可能としている。
【0067】
・ 収集しないURLのパターン: 収集対象から除外すべきURLの文字列のパターンを指定する。収集しようとするURLの中で、指定された文字列のパターンを含んだURLのファイルは収集されない。本実施形態では、この収集しないURLのパターンを設定する設定フィールドに、1行に1パターンずつ、最大1000バイトの設定を可能としている。
【0068】
尚、収集するパターンと、収集しないパターンの両方に適合するURLが存在した場合は、収集しないパターンが優先する。即ち、収集するパターンと、収集しないパターンの両方に適合するURLが存在した場合は、そのURLのファイルは収集されない。
【0069】
・再収集の設定: 設定対象の収集タスクが同じ起点URLからの再収集を行った時の振る舞いを指定する。再収集には3つのモード(「全てのファイルを新たに収集」、「未収集のファイルのみ収集」、「更新されたファイルのみ収集(削除機能あり)」)があり、任意の一つのモードを指定することができる。ここで、「全てのファイルを新たに収集」モードとは、収集対象のURLを全て再収集するモードを意味する。即ち、過去に取得したどうかにかかわらず、起点URLから新たに収集しなおす。また、「未収集のファイルのみ収集」モードは、以前収集したURLは収集しないモードである。「更新されたファイルのみ収集(削除機能あり)」モードは、以前の収集時点から更新された文書ファイルのみ収集するモードである。更新の有無のチェック対象となる文書は、以前の収集に於いて、現在よりも指定日数以上前に収集したURLである。「更新チェック頻度」フィールドに入力された値が指定日数となる。指定日数のデフォルトは「1日」である。以前の収集に於いて、現在よりも指定日数以上前に収集したURLがインターネット/イントラネット30上の該当する情報サイトから削除されており、当該URLから文書ファイルを取得できなかった場合には、その文書ファイルに対応する登録情報は知識DB131から削除される。
【0070】
図11には、状況画面の例が示されている。例えば、一覧画面または設定画面上で「状況」アンカ503を選択することで、現在表示しているタスクの状況画面に遷移する。この状況画面上には、当該タスクの「設定名」、「知識データベース名」、「状態」等が表示される。「設定名」の横には、収集開始/中止(再開/中断)を指示するためのボタン701が表示されている。「状態」には、タスクの状態(収集中/終了/未収集/中断/異常終了)が表示され、さらに、当該タスクの起点URL、収集したリンク段数(今回/最大/上限)、およびファイル数(今回/全体/上限)等の状況情報702も表示される。
【0071】
当該タスクの状態が未収集、終了、または中断の場合には、図11に示すように、ボタン701には「収集開始」と表示される。「収集開始」ボタン701を選択すると、当該タスクの実行がWeb収集モジュール111によって開始される。現在の状態が終了または中断の場合には、再収集が開始されることになる。また、当該タスクの現在の状態が収集中である場合には、図12に示すように、ボタン701には「収集中断」と表示される。「収集中断」ボタン701を選択すると、稼働中の収集タスクは中断される。中断される以前までに収集されたURLのリストは結果ファイル204内に保持される。
【0072】
次に、図13乃至図15を参照して、状況画面上のボタン操作による収集処理の中断および再開(再収集)動作について具体的に説明する。
【0073】
この中断・再開機能は、実行中のWeb収集処理を一旦停止して、後日再開する様な場合に利用される機能である。Web収集モジュール111によるWeb収集処理は、インターネット/イントラネット30からの文書ファイルの取得を行う度にそのURLや成否を示すステータスコード等を進捗状況情報として結果ファイル204に書き込みながら実行される。取得した文書ファイルにリンク先のURLがあればそのURLが結果ファイル204に追加され、結果ファイル204に未収集のURLが無くなるまで、処理が繰り返される。この収集処理の途中で「収集中断」ボタン701が押されると、実行中のWeb収集タスクはその時点で中断される。そして、後に、その中断されたWeb収集タスクを選択した状態で「収集開始」ボタン701が押されると、中断されていたWeb収集タスクが再開されて再収集が開始される。例えば、再収集モードとして「未収集のファイルのみ収集」モードが選択されていた場合には、結果ファイル204に保持されている未収集のURLから収集処理が再開されることになる。
【0074】
図14には、結果ファイル204に進捗状況情報として保持されるURLリストの例が示されている。結果ファイル204には、図示のように、取得対象のURL毎にその「URL」に加え、「収集日」、「収集日時」、「ステータスコード」、「起点URL」、および「リンク段数」が記録される。「リンク段数」は、起点URLから見た場合の取得対象URLのリンクの段数を示す。未収集のURLについては「収集日」、「収集日時」、「ステータスコード」の情報は空欄となる。これにより、Web収集処理を途中で中断した場合における再開ポイントを検出することができる。「ステータスコード」は収集処理の成否を示すものであり、これは、Webページ取得先の相手先Webサーバから返されるHTTPステータスコードである。このHTTPステータスコードの種類には、ファイル取得が成功したこと(正常終了)を示す「200」、アクセス権限によるエラーを示す「403」、該当ファイルが見つからない(削除された文書ファイルの取得要求に対するレスポンス)場合のエラーを示す「404」、タイムアウトエラー「408」等が含まれる。
【0075】
図15のフローチャートには、Web収集が開始されてから中断されるまでの一連の処理手順が示されている。
【0076】
Web収集モジュール111は、最初に、起点URLで指定される文書ファイルの取得を行い(ステップS121)、その結果(収集日、収集日時、ステータスコード、起点URL、リンク段数、URL(起点URLと同じ)を結果ファイル204に登録して進捗状況情報の更新を行う(ステップS122)。取得が成功した場合には、収集した文書ファイルから知識DB131に登録すべき属性情報が取得され(ステップS122)、次いでテキスト抽出処理(HTMLファイルの場合はテキスト抽出とリンク先URLの検出)が実行される(ステップS124)。リンク先URLが検出された場合には、そのURLと、上述の起点URLおよびリンク段数が結果ファイル204のURLリストに追加登録される(ステップS125)。この後、属性情報とテキストデータを登録ファイル上に記述する処理が行われる(ステップS126)。ここで、中断指示の有無が判定される(ステップS127)。中断指示が無い場合には(ステップS127のNO)、結果ファイル204に未収集のURLが登録されているかどうかによってWeb収集処理が完了したかどうかが判断される(ステップS128)。
【0077】
結果ファイル204に未収集のURLが登録されている場合には(ステップS128のNO)、上述のステップS121からの処理が繰り返される。すなわち、結果ファイル204に追加されたURLで指定される文書ファイルの取得を行い(ステップS121)、その結果(収集日、収集日時、ステータスコード)を結果ファイル204に登録して進捗状況情報の更新を行う(ステップS122)。取得が成功した場合には、収集した文書ファイルから知識DB131に登録すべき属性情報が取得され(ステップS122)、次いでテキスト抽出処理(HTMLファイルの場合はテキスト抽出とリンク先URLの検出)が実行される(ステップS124)。リンク先URLが検出された場合には、そのURLと、起点URLおよびリンク段数が結果ファイル204のURLリストに追加登録される(ステップS125)。この後、属性情報とテキストデータを登録ファイル114上に記述する処理が行われる(ステップS126)。このようなWeb収集処理が、設定ファイル203に設定されたWeb収集条件の収集範囲に於いて収集完了となるまで再帰的に実行される。このWeb収集時に於いて、「収集中断」ボタン701が押されると、制御ファイル202を通じて管理インターフェース112からWeb収集モジュール111に中断指示が発行されされ(ステップS127のYES)、Web収集モジュール111によって実行中のWeb収集タスクが中断される。
【0078】
ここで、収集範囲として、図10に示す設定画面の「収集ファイル形式」設定フォーム604上で設定された収集対象のファイル形式に従い、Web収集モジュール111で実行されるWeb収集処理について、図16に示すフローチャートを参照して説明する。
【0079】
図9に示される一覧画面上で「設定アンカ」502をクリックすると、図8の画面遷移図に示すように、図9に示される一覧画面から図10に示される設定画面に遷移し、当該設定画面上で、「収集ファイル形式」設定フォーム604、「収集サイト」設定フォーム607等の設定を行うことにより、その各設定フォームの設定内容を含んだ設定ファイル203が作成される(ステップS241,242)。
【0080】
本実施形態では、上記「収集ファイル形式」設定フォーム604に於いて、収集したい文書情報(文書ファイル)のファイル形式を設定する。ここでは、収集可能な6種の文書ファイル形式(HTML,PDF,PPT,DOC,XLOS,JBW)の中から、デフォルトで設定されたHTMLおよびTEXTファイル以外に収集したい文書ファイル形式がある際に、その収集したい文書ファイル形式をチェックボックスで指定することにより、その指定されたすべてのファイル形式の文書ファイルを収集対象とすることができる。
【0081】
更に、上記設定画面上の「収集サイト」設定フォーム607に於いて、起点URLの設定フィールドに、収集するサイトの起点URLを設定する。この際、起点URLの設定と同時に、収集するURLパターンの設定、収集しないURLパターンの設定、ドメイン内のみ収集の設定、収集対象とすべき文書ファイル数の上限値設定、リンク段数の上限値設定等の各種収集範囲の設定が可能であり、これらの設定を上記文書ファイル形式の設定と組み合わせることによって、収集する文書ファイル形式に加え、収集するURLパターン、収集しないURLパターン、ドメイン内のみ収集、文書ファイル数の上限、リンク段数の上限等の各絞り込み(フィルタリング)機能が可能となるが、本実施形態では、収集するファイル形式の設定以外の収集範囲の設定については特に言及しない。
【0082】
図10に示される設定画面上で、上記したように「収集ファイル形式」設定フォーム604、および「収集サイト」設定フォーム607の設定を行った後、当該設定画面上で「状況アンカ」503をクリックすると、図8の画面遷移図に示すように、図10に示される設定画面から図11に示される状況画面に遷移し(ステップS243)、当該状況画面上で、「収集開始」ボタン701を選択すると、図15に示したWeb収集の処理が開始され、当該Web収集処理に於いて、上記「収集ファイル形式」設定フォーム604の設定内容に従う収集範囲の絞り込みによるWeb収集が可能となる。
【0083】
この収集範囲の絞り込みとして、本実施形態では「収集ファイル形式」設定フォーム604に設定されたファイル形式に従い、収集する文書情報(文書ファイル)を選り分けて収集処理を行う。
【0084】
この収集処理では、設定ファイル203を参照して、まず起点URLを読み込み(ステップS244〜S246)、URLで指定するサイト、即ちWebサーバ31をアクセスして、ファイル要求を行う。この要求に応じてWebサーバ31からは収集対象ファイルのコンテンツタイプを返す。
【0085】
Web収集モジュール111は上記URLで指定した各Webサーバ31からコンテンツタイプを取得すると、そのコンテンツタイプの内容をチェックして(ステップS247)、収集しようとする文書ファイルが、上記「収集ファイル形式」設定フォーム604で設定されたファイル形式に合致するか否かを判断する(ステップS248)。
【0086】
ここで、収集しようとする文書ファイルが、上記「収集ファイル形式」設定フォーム604で設定されたファイル形式に合致する場合は(ステップS248のYES)、収集処理が開始される(ステップS249)。
【0087】
また、収集しようとする文書ファイルが、上記「収集ファイル形式」設定フォーム604で設定されたファイル形式に合致しない場合は(ステップS248のNO)、リンク先を調べ、リンク先があるときは(ステップS250のNO)、そのリンク先の各Webサーバ31に対して上記同様のアクセスを行う(ステップS246,S247,…)。
【0088】
このようにして、Web収集モジュール111は、設定ファイル203に設定された、収集するファイル形式に従って、収集する文書ファイルを選り分け、ネットワーク上から文書情報を収集する。これにより、必要とするファイル形式の文書ファイルを指定してネットワーク上より収集でき、収集する文書ファイルを絞り込むことで、ネットワーク上の知識情報を効率よく収集できる。
【0089】
更に、上記した、収集するファイル形式の指定に加えて、収集するURLのパターンの設定、収集しないURLのパターンの設定、ドメイン内のみ収集の設定、収集対象とすべき文書ファイル数の上限値設定、リンク段数の上限値設定、収集するファイル形式の設定等、複数種の収集範囲が同時に設定可能であり、これらを組み合わせて収集する文書ファイルにフィルタリングを施すことで、所望する知識情報を、より適切に絞り込んで収集することができ、これにより、より高度の知識データベースを容易かつ迅速に効率よく構築できる。例えば、上記した、収集するファイル形式と、収集するURLのパターン、収集しないURLのパターンとを組み合わせて設定することにより、指定したファイル形式の中で、かつ収集するURLのパターン、収集しないURLのパターンを指定して、所望の知識情報を収集することができる。また、上記した、収集するファイル形式と、ドメイン内のみ収集とを組み合わせて設定することにより、起点URLのドメイン内のみで、指定したファイル形式の知識情報を収集することができる。更に、これに加えて、文書ファイル数の上限値、リンク段数の上限値等を設定することで、収集するリンク段数、ファイル数等を任意に規制できる。
【0090】
尚、本実施形態の知識情報収集システムの機能は全てコンピュータプログラムにより実現されているので、そのコンピュータプログラムをコンピュータ読み取り可能な記憶媒体に記憶しておき、その記憶媒体を通じて本コンピュータプログラムを、コンピュータネットワーク接続可能な通常のコンピュータに導入して実行させるだけで、本実施形態と同様の効果を容易に得ることができる。
【0091】
また本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0092】
【発明の効果】
以上説明したように、本発明によれば、インターネット上からファイル形式の異なる様々な種類の文書ファイルを知識情報として効率よく収集することが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る知識情報収集システムの構成を示すブロック図。
【図2】同実施形態の知識情報収集システムに設けられたWeb収集モジュールの機能構成を示すブロック図。
【図3】同実施形態の知識情報収集システムで用いられる登録ファイルの出力形式の例を示す図。
【図4】同実施形態の知識情報収集システムで用いられる登録ファイルの出力形式の他の例を示す図。
【図5】同実施形態の知識情報収集システムに設けられたWeb収集モジュールの処理手順を示すフローチャート。
【図6】同実施形態の知識情報収集システムに設けられた登録モジュールの処理手順を示すフローチャート。
【図7】同実施形態の知識情報収集システムおけるWebコンテンツとその登録処理との関係を示す図。
【図8】同実施形態の知識情報収集システムによる提供される3つの画面とその遷移を説明するための図。
【図9】同実施形態の知識情報収集システムで用いられる一覧画面の例を示す図。
【図10】同実施形態の知識情報収集システムで用いられる設定画面の例を示す図。
【図11】同実施形態の知識情報収集システムで用いられる状況画面の例を示す図。
【図12】同実施形態の知識情報収集システムで用いられる状況画面の例を示す図。
【図13】同実施形態の知識情報収集システムにおけるWeb収集処理の中断/再開動作を説明するための図。
【図14】同実施形態の知識情報収集システムに設けられた結果ファイルの内容の例を示す図。
【図15】同実施形態の知識情報収集システムにおけるWeb収集処理の開始から中断までの処理手順を示すフローチャート。
【図16】同実施形態の知識情報収集システムにおける、収集するファイル形式の設定、並びにその設定に伴うWeb収集処理の手順を示すフローチャート。
【符号の説明】
11…Web収集システム
12…登録モジュール
13…知識エンジン
30…インターネット/イントラネット
111…Web収集モジュール
112…管理インターフェース
113…登録ディレクトリ
131…知識データベース
132…検索エンジン
201…ロックファイル
202…制御ファイル
203…設定ファイル
204…結果ファイル
205…ログファイル
301…収集制御部
302…属性抽出部
303…テキスト抽出部
304…フォーマット変換部
604…「収集ファイル形式」設定フォーム
607…「収集サイト」設定フォーム
Claims (6)
- 知識データベースに登録すべき文書情報をネットワーク上から収集する知識情報収集システムに於いて、
前記知識データベースに登録すべき文書情報を収集するための起点URLの設定フィールド、および収集可能な複数種の文書ファイル形式を選択可能に提示した収集ファイル形式の設定項目を含んだ設定画面を表示する設定画面表示手段と、
前記設定画面表示手段により表示された設定画面上の設定内容をもとに記述した設定ファイルを作成する設定ファイル作成手段と、
前記設定ファイル作成手段で作成された設定ファイルの記述内容をもとに前記知識データベースに登録すべき文書情報を前記ネットワーク上から収集する情報収集手段とを具備し、
前記情報収集手段は、前記設定ファイルに記述された起点URLおよび辿るリンク先より文書情報を取得する際に、当該文書情報が前記設定ファイルに記述された収集ファイル形式に合致するか否かを調べ、前記設定ファイルに記述された収集ファイル形式に合致する文書情報のみを選択して前記ネットワーク上から収集し、前記収集した文書情報各々を予め定めた登録用のファイル形式に変換して前記知識データベースに共通のフォーマットで登録することを特徴とする知識情報収集システム。 - 前記情報収集手段は、全てのファイル形式の文書ファイルを対象に解析処理を行ってテキストデータの抽出を行う処理モードと、リンク情報の検出のための解析処理が必要なファイルを対象にその解析処理の中でテキストデータの抽出も併せて実行する処理モードとを具備する請求項1記載の知識情報収集システム。
- 前記収集ファイル形式の設定項目には、前記知識データベースに登録可能なファイル形式が初期設定される請求項1または2記載の知識情報収集システム。
- 前記収集ファイル形式の設定項目上で、前記初期設定されたファイル形式を除くファイルが設定解除された際に、前記知識データベースに登録されている、前記設定解除したファイル形式の文書情報を前記知識データベースから削除する処理手段を具備したことを特徴とする請求項3記載の知識情報収集システム。
- 前記設定画面表示手段により表示される設定画面には、収集範囲をドメイン内とする設定項目、収集するURLの文字列パターンを設定する項目、収集しないURLの文字列パターンを設定する項目、収集するリンクの上限を設定する項目、収集するファイル数の上限を設定する項目の少なくともいずれかを含み、前記各項目の設定内容が前記収集ファイル形式の設定項目の設定内容に反映される請求項1または2記載の知識情報収集システム。
- 知識データベースに登録すべき文書情報をネットワーク上から収集する知識情報収集方法に於いて、
前記知識データベースに登録すべき文書情報を収集するための起点URLの設定フィールド、および収集可能な複数種の文書ファイル形式を選択可能に提示した収集ファイル形式の設定項目を含んだ設定画面を表示する設定画面表示ステップと、
前記設定画面表示ステップにより表示された設定画面上の設定内容をもとに記述した設定ファイルを作成する設定ファイル作成ステップと、
前記設定ファイル作成ステップで作成された設定ファイルの記述内容をもとに前記知識データベースに登録すべき文書情報を前記ネットワーク上から収集する収集ステップとを有し、
前記収集ステップは、前記設定ファイルに記述された起点URLおよび辿るリンク先より文書情報を取得する際に、当該文書情報が前記設定ファイルに記述された収集ファイル形式に合致するか否かを調べ、前記設定ファイルに記述された収集ファイル形式に合致する文書情報のみを選択して予め定めた登録用のファイル形式に変換し、前記知識データベースに共通のフォーマットで登録する処理ステップを具備することを特徴とする知識情報収集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002108478A JP3725837B2 (ja) | 2002-04-10 | 2002-04-10 | 知識情報収集システムおよび知識情報収集方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002108478A JP3725837B2 (ja) | 2002-04-10 | 2002-04-10 | 知識情報収集システムおよび知識情報収集方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003303202A JP2003303202A (ja) | 2003-10-24 |
JP3725837B2 true JP3725837B2 (ja) | 2005-12-14 |
Family
ID=29392248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002108478A Expired - Lifetime JP3725837B2 (ja) | 2002-04-10 | 2002-04-10 | 知識情報収集システムおよび知識情報収集方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3725837B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006285506A (ja) * | 2005-03-31 | 2006-10-19 | Ricoh Co Ltd | 電子情報公開証明装置、電子情報公開証明方法、電子情報公開証明プログラム及び記録媒体 |
JP5477083B2 (ja) * | 2010-03-17 | 2014-04-23 | 株式会社リコー | 索引生成装置、索引生成方法、索引生成プログラム及びデータベース検索システム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3445912B2 (ja) * | 1997-01-24 | 2003-09-16 | シャープ株式会社 | ハイパーテキスト自動取得装置 |
JP2000122912A (ja) * | 1998-10-12 | 2000-04-28 | Fuji Xerox Co Ltd | 資源収集方法及び資源収集装置 |
JP3429225B2 (ja) * | 1999-07-22 | 2003-07-22 | 株式会社ジャストシステム | データ検索プログラムを記憶した記憶媒体 |
-
2002
- 2002-04-10 JP JP2002108478A patent/JP3725837B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2003303202A (ja) | 2003-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6631369B1 (en) | Method and system for incremental web crawling | |
US6199081B1 (en) | Automatic tagging of documents and exclusion by content | |
US7246316B2 (en) | Methods and apparatus for automatically generating presentations | |
US6832220B1 (en) | Method and apparatus for file searching, accessing file identifiers from reference page | |
US8037107B2 (en) | Document transfer assisting system, monitor apparatus, document transfer assisting apparatus, method and computer readable recording medium | |
US20090094327A1 (en) | Method and apparatus for mapping a site on a wide area network | |
US20050216825A1 (en) | Local storage of script-containing content | |
US20050216837A1 (en) | Unread-state management | |
CN101484892B (zh) | 使用集成文档管理网络服务的方法 | |
JPWO2004111877A1 (ja) | 情報処理方法及びその装置、及びそのプログラム | |
JP4422742B2 (ja) | 全文検索システム | |
JP4253315B2 (ja) | 知識情報収集システムおよび知識情報収集方法 | |
WO2010138112A1 (en) | Retrieval system, retrieval space map server apparatus and program | |
JP2009075908A (ja) | ウェブ・ページ閲覧履歴管理システム及びウェブ・ページ閲覧履歴管理方法、並びにコンピュータ・プログラム | |
JP3725088B2 (ja) | 知識情報収集システムおよび知識情報収集方法 | |
JP3725837B2 (ja) | 知識情報収集システムおよび知識情報収集方法 | |
JP3725087B2 (ja) | 知識情報収集システムおよび知識情報収集方法 | |
KR100756421B1 (ko) | 해외 과학기술 전자원문 수집/색인/추출 시스템 및 그 방법 | |
JP3708893B2 (ja) | 知識情報収集システムおよび知識情報収集方法 | |
JP4513437B2 (ja) | 木構造情報作成のためのプログラム及び装置 | |
JP3708894B2 (ja) | 知識情報収集システムおよび知識情報収集方法 | |
JP3725836B2 (ja) | 知識情報収集システムおよび知識情報収集方法 | |
WO2021049272A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP3725835B2 (ja) | 知識情報収集システムおよび知識情報収集方法 | |
JP2003303198A (ja) | 知識情報収集方法および知識情報収集システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050315 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050922 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080930 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090930 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090930 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100930 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100930 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110930 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120930 Year of fee payment: 7 |