JP4801555B2 - 文書処理装置、文書処理方法および文書処理プログラム - Google Patents
文書処理装置、文書処理方法および文書処理プログラム Download PDFInfo
- Publication number
- JP4801555B2 JP4801555B2 JP2006267887A JP2006267887A JP4801555B2 JP 4801555 B2 JP4801555 B2 JP 4801555B2 JP 2006267887 A JP2006267887 A JP 2006267887A JP 2006267887 A JP2006267887 A JP 2006267887A JP 4801555 B2 JP4801555 B2 JP 4801555B2
- Authority
- JP
- Japan
- Prior art keywords
- tag
- comparison
- data
- document file
- adjacency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
- G06F16/83—Querying
- G06F16/838—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/131—Fragmentation of text files, e.g. creating reusable text-blocks; Linking to fragments, e.g. using XInclude; Namespaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/14—Tree-structured documents
- G06F40/143—Markup, e.g. Standard Generalized Markup Language [SGML] or Document Type Definition [DTD]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明者は、この閲読にともなうユーザの負荷に着目し、情報取得効率をいっそう高めるためには、求める情報を含む可能性が高い文書ファイルを高精度で特定する技術だけでなく、文書ファイルに含まれる情報をユーザに効果的に提供するための技術も重要であると想到した。
ユーザが検索文入力領域170に検索文字列を入力し、検索ボタン180をマウスクリックすると、文書処理装置100は所定の文書ファイル群の中から検索文字列を含む文書ファイルを検索する。同図においては、「カブトムシの生態」という検索文字列を含む文書ファイルが検出される。こうして検出された構造化文書ファイルのことを、「被検出文書」とよぶ。
文書処理装置100による情報検索の利便性を高める上で、内容表示領域184にどの程度の量の情報を表示させるかは重要なポイントとなる。
一方、内容表示領域184において表示対象となる情報を限定すれば、確認負荷は小さくなる。反面、ユーザは検索画面160だけで各被検出文書の内容を把握するのが難しくなる。
本実施例に示す文書処理装置100は、内容表示領域184に表示すべき情報の量や範囲を被検出文書におけるタグの階層構造に基づいて特定している。具体的な処理方法を説明する前に、被検出文書における関連情報領域について説明する。
本実施例において処理対象となる文書ファイルは、XMLファイルやXHTMLファイルのようにタグによって構造化された構造化文書ファイルである。同図に示す構造化文書ファイル150は、XTHMLファイルである。この文書ファイルにおいては、経路式「//body/div/head/title」の<title>というタグの要素データに「カブトムシの生態」という検索文字列が存在する。文書処理装置100は、この<title>タグを「基準タグ」として特定する。基準タグの位置を基準領域152とよぶ。以下、所定のタグの要素データや属性、属性値、あるいはタグ名といったタグに関連するデータ、または、そのようなデータの範囲を、そのタグの「スコープ」とよぶことにする。同図に示す構造化文書ファイル150の場合、基準タグ<title>のスコープは、「<title>カブトムシの生態</title>」であり、そのスコープ内に検索文字列を含むことになる。同様にして、その上位の<head>タグのスコープは、「<head>・・・</head>」であり、<no>タグのスコープや<title>タグのスコープを包含している。
以下、文書処理装置100の構成について説明した上で、関連情報領域154を特定するための処理方法について述べる。
ここに示す各ブロックは、ハードウェア的には、コンピュータのCPUをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。
ユーザインタフェース処理部110は、ユーザからの入力処理やユーザに対する情報表示のようなユーザインタフェース全般に関する処理を担当する。本実施例においては、ユーザインタフェース処理部110により文書処理装置100のユーザインタフェースサービスが提供されるものとして説明する。別例として、ユーザはインターネットを介して文書処理装置100を操作してもよい。この場合、図示しない通信部が、ユーザ端末からの操作指示情報を受信し、またその操作指示に基づいて実行された処理結果情報をユーザ端末に送信することになる。
文書保持部140は、検索対象となる構造化文書ファイルを保持する。
基準タグ選択部122は、検索条件に適合するデータ(以下、「検索対象データ」とよぶ)を含む文書ファイルを文書保持部140から検出し、検索対象データをスコープに含むタグを基準タグとして選択する。比較タグ選択部124は、被検出文書から、基準タグ以外のタグを順次選択する。比較タグ選択部124に選択されているタグのことを「比較タグ」とよぶ。ただし、</head>のようないわゆる「終了タグ」は比較タグとして選択対象とはならない。
共通タグ特定部130は、基準タグと比較タグの親タグのうち、最もルートノードからみてタグ階層が深い位置にあるタグを「共通タグ」として特定する。たとえば、図2の構造化文書ファイル150の場合、「//body/div/head/no」のタグ<no>を比較タグとすると、「//body/div/head/title」の基準タグ<title>と比較タグ<no>の親タグは、<head>や<div>、<body>である。このうち、ルートからみて最も深い位置にあるのは「//body/div/head」の<head>タグであるから、この<head>タグが共通タグとなる。
<A>
<B>
<C>・・</C>
<D>・・</D>
<E>・・</E>
</B>
</A>
というタグ構造において、<C>タグと<D>タグの共通タグ、<C>タグと<E>の共通タグはいずれも<B>である。<B>タグから<C>タグへの経路と<C>タグから<D>タグへの経路は隣り合っている。このとき、brotherhood(C,D)は「1」となる。これに対し、<C>タグへの経路と<E>タグへの経路の間には、<D>タグへの経路が挟まっている。このとき、brotherhood(C,E)は「2」となる。すなわち、brotherhood(n1,n2)は、基準タグn1への経路と比較タグn2への経路の間に存在する経路の数に1を加算した値である。なお、<B>タグと<C>タグの共通タグは<B>であり、「//A/B/C」のように2つのタグは同じ経路式上に並ぶことになる。この場合、brotherhood(B,C)は「0」となる。
次に、上記した式(1)に基づいて、実際にタグ隣接度を計算し、関連情報領域を特定するまでの処理を例示する。
ノードとは、構造化文書ファイルにおいてタグに基づいて特定されるデータの単位であるが、特に断らない限りは、タグと同義であるとして説明する。ここでは、ノードCのタグ(以下、単に「タグC」のように表記する)を基準タグとして説明する。また、α=2、β=0.5として説明する。
比較タグ選択部124がタグDを比較タグとして選択するとき、共通タグ特定部130はタグBを共通タグとして特定する。このとき、タグC、タグDの深さは共に「3」、タグBの深さは「2」であるから
深度要素値Near_Depth(C,D)=(2×2/(3+3))=2/3
となる。また、共通タグBからタグCへの経路と共通タグBからタグDへの経路の間には、他の経路が存在しないので、brotherhood(C,D)は「1」となる。したがって、
順序要素値Near_Width(C,D)=(2^2/(1+1))=2
となる。「^」は、べき乗を示す。以上により、
タグ隣接度Near(C,D)=0.5×(2/3)+0.5×(2)=4/3=1.33・・
となる。
比較タグ選択部124がタグEを比較タグとして選択するとき、共通タグ特定部130はタグBを共通タグとして特定する。共通タグBからタグCへの経路と共通タグBからタグEへの経路の間には、タグDへの経路が存在するので、brotherhood(C,D)は「2」となる。したがって、
タグ隣接度Near(C,E)=0.5×(2×2/(3+3))+0.5×(2^2/(1+2))=1となる。
比較タグ選択部124がタグBを比較タグとして選択するときには、共通タグ特定部130は、タグBを共通タグとして特定する。タグBとタグCは、同じ経路上に並ぶため、brotherhood(C,B)は「0」となる。したがって、
タグ隣接度Near(C,B)=0.5×(2×2/(2+3))+0.5×(2^2/(1+0))=2.4となる。
タグ隣接度Near(C,A)=0.5×(2×1/(1+3))+0.5×(1^2/(1+0))=0.75となる。
ルートノード(ルートタグ):
タグ隣接度Near(C,root)=0.5×(2×0/(0+3))+0.5×(0^2/(1+0))=0となる。
比較タグ選択部124がタグFを比較タグとして選択するときには、共通タグ特定部130はタグAを共通タグとして特定する。共通タグAからタグCへの経路と共通タグAからタグFへの経路は、タグBへの経路とタグFへの経路において枝分かれしている。このような場合、brotherhood(C,F)=brotherhood(B,F)=1とする。したがって、
タグ隣接度Near(C,F)=0.5×(2×1/(2+3))+0.5×(1^2/(1+1))=0.45となる。以下、同様にしてタグ隣接度を計算すると、
タグ隣接度Near(C,G)=0.5×(2×1/(3+3))+0.5×(1^2/(1+1))=0.416・・・となる。
ノードH(タグH):
タグ隣接度Near(C,H)=0.5×(2×1/(3+3))+0.5×(1^2/(1+1))=0.416・・・となる。
ノードI(タグI):
タグ隣接度Near(C,I)=0.5×(2×1/(3+4))+0.5×(1^2/(1+1))=0.392・・・となる。
1.ある近傍タグαが子タグを持たないときには、近傍タグαのスコープにある全てのデータが近傍データに含まれる。
2.ある近傍タグβが子タグを持つときには、近傍タグβの開始タグから最初の子タグの開始タグの直前までのデータが近傍データに含まれる。ただし、近傍タグβの全ての子タグも近傍タグであれば、近傍タグβのスコープにある全てのデータが近傍データに含まれる。
<A>
<B>
<C></C>
<D></D>
<E></E>
</B>
<F>
<G></G>
<H>
<I></I>
</H>
</F>
</A>
となるので、「<A>・・・</B>」までが関連情報領域となる。すなわち、<A>のスコープの一部に含まれるデータと、<B>のスコープの全てに含まれるデータが近傍データとなる。
入力部112が検索条件を取得すると(S10)、基準タグ選択部122は検索対象データを含む文書ファイルを特定した上で、基準タグを選択する(S12)。比較タグ選択部124は、被検出文書から比較タグを選択する(S14)。タグ隣接度計算部128は、上述した計算式に基づいて、基準タグと比較タグのタグ隣接度を算出する(S16)。近傍データ特定部126は、タグ隣接度が所定の閾値T以上であれば(S18のY)、その比較タグを近傍タグとして特定するとともに、近傍タグのスコープにあるデータの一部または全部を近傍データとして追加する(S20)。タグ隣接度が閾値T未満であれば(S18のN)、S20の処理はスキップされる。
最後に、深度要素値と順序要素値の全般的な特性について説明する。
ここでは、タグBとタグBの共通タグはタグAであるとする。タグAの深さをd、タグBやタグCのタグAからの深さをaとする。また、brotherhood(B,C)を「w」とする。
親子間(タグAとタグB):
親子関係にあるタグAとタグBの深度要素値は、
深度要素値Near_Depth(A,B)=2×d/(d+d+a)=2d/(2d+a)となる。深度要素値Near_Depth(A,C)についても同様である。
兄弟間(タグBとタグC):
兄弟関係にあるタグBとタグCの深度要素値は、
深度要素値Near_Depth(B,C)=2×d/(d+a+d+a)=d/(d+a)となる。
いずれの場合においても、深度要素値は、dが大きいほど、また、aが小さいほど大きな値となる。ただし、深度要素値は1以上とはならない値である。
親子間(タグAとタグB):
親子関係にあるタグAとタグBの順序要素値は、
順序要素値Near_Width(A,B)=d^2/(1+0)=d^2となる。深度要素値Near_Width(A,C)についても同様である。深度要素値は、dが大きいほど、無限に大きくなる値となる。
兄弟間(タグBとタグC):
兄弟関係にあるタグBとタグCの順序要素値は、
順序要素値Near_Width(B,C)=d^2/(1+w)となる。深度要素値は、dが大きいほど、また、wが小さいほど無限に大きくなる値となる。
Claims (6)
- タグの階層構造に基づく経路式によってデータの位置が特定される構造化文書ファイルから、調査対象となるタグとして基準タグを選択する基準タグ選択部と、
前記構造化文書ファイルから、比較対象となるタグとして比較タグを選択する比較タグ選択部と、
前記構造化文書ファイルにおける基準タグと比較タグの階層構造上における位置の近さを所定の計算式によりタグ隣接度として算出するタグ隣接度計算部と、
タグ隣接度が所定の閾値以上となる比較タグを近傍タグとして特定する近傍タグ特定部と、
前記構造化文書ファイルにおいて1以上の近傍タグによって特定されるデータを基準タグに対する近傍データとして出力する近傍データ出力部と、
を備えることを特徴とする文書処理装置。 - 前記構造化文書ファイルにおいて検出対象となるデータが充足すべき検索条件の入力を受け付ける検索条件入力部、を更に備え、
前記基準タグ選択部は、前記検索条件に適合するデータを特定するタグを基準タグとして選択することを特徴とする請求項1に記載の文書処理装置。 - 前記比較タグ選択部は、既に特定されている近傍データの大きさが所定値以下であることを条件として、新たな比較タグを選択することを特徴とする請求項1に記載の文書処理装置。
- 前記タグ隣接度計算部は、
基準タグと比較タグの最も近い共通の親タグを共通タグとして特定する共通タグ特定部と、
タグの階層構造における共通タグの深さに対する所定の単調増加関数により、深度要素値を算出する深度要素値計算部と、
共通タグから基準タグに至る経路と共通タグから比較タグに至る経路の間に存在する経路の数に対する所定の単調減少関数により、順序要素値を算出する順序要素値計算部と、
深度要素値と順序要素値のそれぞれに対する所定の単調増加関数によりタグ隣接度を算出する統合計算部と、
を含むことを特徴とする請求項1から3のいずれかに記載の文書処理装置。 - タグの階層構造に基づく経路式によってデータの位置が特定される構造化文書ファイルから、調査対象となるタグとして基準タグを選択するステップと、
前記構造化文書ファイルから、比較対象となるタグとして比較タグを選択するステップと、
前記構造化文書ファイルにおける基準タグと比較タグの階層構造上における位置の近さを所定の計算式によりタグ隣接度として算出するステップと、
タグ隣接度が所定の閾値以上となる比較タグを近傍タグとして特定するステップと、
前記構造化文書ファイルにおいて1以上の近傍タグによって特定されるデータを基準タグに対する近傍データとして出力するステップと、
を備えることを特徴とする文書処理方法。 - タグの階層構造に基づく経路式によってデータの位置が特定される構造化文書ファイルから、調査対象となるタグとして基準タグを選択する機能と、
前記構造化文書ファイルから、比較対象となるタグとして比較タグを選択する機能と、
前記構造化文書ファイルにおける基準タグと比較タグの階層構造上における位置の近さを所定の計算式によりタグ隣接度として算出する機能と、
タグ隣接度が所定の閾値以上となる比較タグを近傍タグとして特定する機能と、
前記構造化文書ファイルにおいて1以上の近傍タグによって特定されるデータを基準タグに対する近傍データとして出力する機能と、
をコンピュータに発揮させることを特徴とする文書処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006267887A JP4801555B2 (ja) | 2006-09-29 | 2006-09-29 | 文書処理装置、文書処理方法および文書処理プログラム |
PCT/JP2007/001064 WO2008041365A1 (fr) | 2006-09-29 | 2007-09-28 | Dispositif de traitement de documents, procédé de traitement de documents et programme de traitement de documents |
US12/443,323 US20100114913A1 (en) | 2006-09-29 | 2007-09-28 | Document processing device, document processing method, and document processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006267887A JP4801555B2 (ja) | 2006-09-29 | 2006-09-29 | 文書処理装置、文書処理方法および文書処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008090402A JP2008090402A (ja) | 2008-04-17 |
JP4801555B2 true JP4801555B2 (ja) | 2011-10-26 |
Family
ID=39268231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006267887A Expired - Fee Related JP4801555B2 (ja) | 2006-09-29 | 2006-09-29 | 文書処理装置、文書処理方法および文書処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20100114913A1 (ja) |
JP (1) | JP4801555B2 (ja) |
WO (1) | WO2008041365A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5559104B2 (ja) * | 2011-07-29 | 2014-07-23 | 日本電信電話株式会社 | 情報抽出方法、情報抽出装置、情報抽出プログラム |
WO2013038519A1 (ja) * | 2011-09-14 | 2013-03-21 | 株式会社マイニングブラウニー | ウェブページ解析装置およびウェブページ解析用プログラム |
EP3432540A1 (en) * | 2017-07-20 | 2019-01-23 | Thomson Licensing | Access control device and method |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7305336B2 (en) * | 2002-08-30 | 2007-12-04 | Fuji Xerox Co., Ltd. | System and method for summarization combining natural language generation with structural analysis |
JP3999093B2 (ja) * | 2002-09-30 | 2007-10-31 | 株式会社東芝 | 構造化文書検索方法及び構造化文書検索システム |
JP2004178291A (ja) * | 2002-11-27 | 2004-06-24 | Hitachi Software Eng Co Ltd | 検索プログラム、検索方法及び検索装置 |
JP2005115457A (ja) * | 2003-10-03 | 2005-04-28 | Matsushita Electric Ind Co Ltd | 文書ファイル検索方法 |
AU2004292680B2 (en) * | 2003-11-28 | 2010-04-22 | Canon Kabushiki Kaisha | Method of constructing preferred views of hierarchical data |
JP4149940B2 (ja) * | 2004-02-23 | 2008-09-17 | 株式会社テックコミュニケーションズ | 文書処理装置、文書処理方法、および文書処理プログラム |
JP4557142B2 (ja) * | 2004-06-30 | 2010-10-06 | キヤノンマーケティングジャパン株式会社 | 検索システム、表示処理方法、及びプログラム |
US9031898B2 (en) * | 2004-09-27 | 2015-05-12 | Google Inc. | Presentation of search results based on document structure |
-
2006
- 2006-09-29 JP JP2006267887A patent/JP4801555B2/ja not_active Expired - Fee Related
-
2007
- 2007-09-28 WO PCT/JP2007/001064 patent/WO2008041365A1/ja active Application Filing
- 2007-09-28 US US12/443,323 patent/US20100114913A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2008090402A (ja) | 2008-04-17 |
WO2008041365A1 (fr) | 2008-04-10 |
US20100114913A1 (en) | 2010-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10796076B2 (en) | Method and system for providing suggested tags associated with a target web page for manipulation by a useroptimal rendering engine | |
US10289649B2 (en) | Webpage advertisement interception method, device and browser | |
US7895598B2 (en) | Page and device-optimized cascading style sheets | |
US7085999B2 (en) | Information processing system, proxy server, web page display method, storage medium, and program transmission apparatus | |
JP4189875B2 (ja) | 密集したハイパーリンクを含む領域を再フォーマットする方法 | |
CA2783344C (en) | Resource search operations | |
JP5222581B2 (ja) | 文書に注釈を付するシステムと方法 | |
KR101067398B1 (ko) | 전자 문서로부터 콘텐츠를 선택적으로 임포트 및 익스포트하는 방법, 및 컴퓨터 저장 매체 | |
US8584009B2 (en) | Automatically propagating changes in document access rights for subordinate document components to superordinate document components | |
JP2002373043A (ja) | ブラウザ内で文書の一部分を拡大する方法、装置、およびプログラム | |
JP2006053926A (ja) | 小型スクリーンコンピューティング装置にコンテンツを表示するシステムと方法 | |
US20090024583A1 (en) | Techniques in using feedback in crawling web content | |
US7065704B1 (en) | Methods for fast HTML rendering | |
CN111381809B (zh) | 一种焦点页面的查找方法及装置 | |
JP4801555B2 (ja) | 文書処理装置、文書処理方法および文書処理プログラム | |
WO2008132706A1 (en) | A web browsing method and system | |
US6934907B2 (en) | Method for providing a description of a user's current position in a web page | |
JP2008262339A (ja) | 検索最適化装置、方法、及びコンピュータプログラム | |
US8230327B2 (en) | Identifying statements requiring additional processing when forwarding a web page description | |
JP2000222326A (ja) | 学習支援方法及びシステム及び学習支援プログラムを格納した記憶媒体 | |
Hostetler et al. | Web accessibility trends and implementation in dynamic web applications | |
JP5276903B2 (ja) | 閲覧システム、プラグインプログラム、ならびに、紹介プログラム | |
JP4700637B2 (ja) | Web文書分割方法、システム及びプログラム | |
JP2004348418A (ja) | Webページ更新・管理装置及びそのプログラム | |
Sonnenberg | Maintaining Thematic Consistency within Mobile Content Adaptation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090629 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110726 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110805 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140812 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |