JP2018152015A - Storage controller, storage control program and storage control method - Google Patents
Storage controller, storage control program and storage control method Download PDFInfo
- Publication number
- JP2018152015A JP2018152015A JP2017049658A JP2017049658A JP2018152015A JP 2018152015 A JP2018152015 A JP 2018152015A JP 2017049658 A JP2017049658 A JP 2017049658A JP 2017049658 A JP2017049658 A JP 2017049658A JP 2018152015 A JP2018152015 A JP 2018152015A
- Authority
- JP
- Japan
- Prior art keywords
- data
- web page
- unit
- structure information
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明の実施形態は、記憶制御装置、記憶制御プログラムおよび記憶制御方法に関する。 Embodiments described herein relate generally to a storage control device, a storage control program, and a storage control method.
インターネット上に公開されている情報を収集するためのツールとして、クローラツールが知られている。クローラツールは、インターネット上のWebサイトで公開されているホームページ(以下、Webサイトと呼ぶ)を巡回して、URL(Uniform Resource Locator)単位、すなわちページ単位で内容を保存する。このとき、クローラツールは、Webサイトのドキュメントを解析して取得したデータを保存する。このドキュメントの解析については、ドキュメント構造に基づいて関連情報を決定する方法、文書の持つ論理構造を解析する方法が提案されている。 A crawler tool is known as a tool for collecting information disclosed on the Internet. The crawler tool circulates a home page (hereinafter referred to as a Web site) published on a Web site on the Internet, and stores contents in URL (Uniform Resource Locator) units, that is, page units. At this time, the crawler tool stores data obtained by analyzing the document on the website. As for the analysis of the document, a method for determining related information based on the document structure and a method for analyzing the logical structure of the document have been proposed.
しかしながら、上記の従来技術では、データのクロールを行う際に、Webサイトごとにドキュメントの解析を行うことから、処理に時間を要するという問題がある。 However, the above-described conventional technique has a problem in that it takes time for processing since document analysis is performed for each Web site when data is crawled.
1つの側面では、データのクロールに要する時間を短縮できる記憶制御装置、記憶制御プログラムおよび記憶制御方法を提供することを目的とする。 In one aspect, an object is to provide a storage control device, a storage control program, and a storage control method that can reduce the time required for crawling data.
第1の案では、ウェブページから取得したデータを記憶する記憶制御装置において、記憶部と、制御部とを備える。記憶部は、ウェブページから取得した第1のデータに対応づけて、取得元のウェブページのうち第1のデータの取得元の位置を示すタグ構造情報を記憶する。制御部は、記憶部に記憶されたタグ構造情報に基づいて、ウェブページから新たに第2のデータを取得し、新たに取得した第2のデータをタグ構造情報と対応付けて記憶部に記憶させる。 In the first proposal, a storage control device that stores data acquired from a web page includes a storage unit and a control unit. A memory | storage part matches the 1st data acquired from the web page, and memorize | stores the tag structure information which shows the position of the acquisition source of 1st data among the web pages of an acquisition source. The control unit newly acquires second data from the web page based on the tag structure information stored in the storage unit, and stores the newly acquired second data in association with the tag structure information in the storage unit. Let
本発明の1実施態様によれば、データのクロールに要する時間を短縮できる。 According to one embodiment of the present invention, the time required for crawling data can be shortened.
以下、図面を参照して、実施形態にかかる記憶制御装置、記憶制御プログラムおよび記憶制御方法を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する記憶制御装置、記憶制御プログラムおよび記憶制御方法は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。 Hereinafter, a storage control device, a storage control program, and a storage control method according to embodiments will be described with reference to the drawings. In the embodiment, configurations having the same functions are denoted by the same reference numerals, and redundant description is omitted. Note that the storage control device, the storage control program, and the storage control method described in the following embodiments are merely examples, and do not limit the embodiments. In addition, the following embodiments may be appropriately combined within a consistent range.
図1は、実施形態にかかる記憶制御装置の構成の一例を示すブロック図である。図1に示すデータ取得装置100は、例えば、ネットワークNを介してインターネットに接続され、管理者に指定されたインターネット上のWebサイト300を巡回する。そして、データ取得装置100は、Webサイト300で公開されているWeb(ウェブ)ページを取得してデータベースに蓄積する。すなわち、データ取得装置100は、記憶制御装置の一例である。
FIG. 1 is a block diagram illustrating an example of the configuration of the storage control device according to the embodiment. A
データ取得装置100は、例えば、ある地域の観光情報を取得するために、観光スポットのサイトや都道府県が設けた観光情報サイトを巡回して、各観光スポットの住所、電話番号、説明文等のデータを取得する。
For example, the
このとき、データ取得装置100は、ウェブページから取得した各観光スポットの住所、電話番号、説明文等のデータに対応づけて、取得元のウェブページのうちデータの取得元の位置を示すタグ構造情報を記憶する。このタグ構造情報は、ウェブページより取得したデータにかかるタグの階層構造上の位置を示す情報である(詳細は後述する)。
At this time, the
ここで、タグ構造情報を含む文書としては、例えば、マークアップ言語で記述された文書が挙げられ、例えばHTML(HyperText Markup Language)文書、XML(Extensible Markup Language)文書等が挙げられる。なお、以下の説明では、一例として、HTML文書を用いたウェブページを巡回する場合について説明する。 Here, examples of the document including the tag structure information include a document described in a markup language, such as an HTML (HyperText Markup Language) document, an XML (Extensible Markup Language) document, and the like. In the following description, as an example, a case of circulating a web page using an HTML document will be described.
データ取得装置100は、ウェブページの初回の巡回時や、ウェブページ自体のレイアウトの更新があった場合に、ウェブページから取得したデータに対応付けてタグ構造情報を記憶する。そして、データ取得装置100は、ウェブページの次回の巡回時には記憶されたタグ構造情報に基づいて、ウェブページ内のタグ構造情報が示す位置から新たにデータを取得し、新たに取得したデータをタグ構造情報と対応付けて記憶する。
The
これにより、データ取得装置100は、ウェブページの初回の巡回またはウェブページ自体のレイアウト更新後の巡回の後に再度巡回する際には、ウェブサイトごとにドキュメントの解析を行うことなくデータを取得できるので、データのクロールに要する時間を短縮できる。
As a result, the
次に、データ取得装置100の構成について説明する。図1に示すように、データ取得装置100は、入力部101と、出力部102と、通信部110と、記憶部120と、制御部130とを有する。なお、データ取得装置100は、図1に示す機能部以外にも既知のコンピュータが有する各種の機能部を有することとしてもかまわない。
Next, the configuration of the
入力部101は、例えば、キーボードやマウス等の入力デバイスであり、データ取得装置100の管理者から各種情報の入力を受け付ける。例えば、入力部101は、データ取得装置100の管理者により、巡回するサイトのURL、取得するデータ項目等が入力され、入力結果を制御部130に出力する。また、入力部101は、例えば、SD(Secure Digital)メモリカード等のリーダライタであってもよい。入力部101は、例えば、SDメモリカードから読み込んだ、巡回するサイトのURL、取得するデータ項目等を制御部130に出力する。なお、入力部101は、入力デバイスとSDメモリカード等のリーダライタとの双方を有してもよい。
The input unit 101 is an input device such as a keyboard and a mouse, for example, and receives input of various information from the administrator of the
出力部102は、例えば、各種情報を表示するための表示デバイスである。出力部102は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。また、出力部102は、SDメモリカード等のリーダライタであってもよい。出力部102は、制御部130から出力データが入力されると、出力データについて表示又はメモリカードへの書き込みを行う。なお、入力部101および出力部102は、一体化されてもよく、例えば、SDメモリカード等のリーダライタのように、双方の機能を有するデバイスであってもよい。また、出力部102は、例えば、表示デバイスとSDカードリーダライタの双方を有してもよい。
The output unit 102 is a display device for displaying various types of information, for example. The output unit 102 is realized by, for example, a liquid crystal display as a display device. The output unit 102 may be a reader / writer such as an SD memory card. When the output data is input from the
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。通信部110は、ネットワークNを介して、例えばインターネットと有線又は無線で接続され、インターネット上のWebサイト300のサーバとの間で情報の通信を司る通信インタフェースである。通信部110は、インターネット上のWebサイト300からウェブページの内容、例えば、HTML文書、画像ファイル等を受信する。通信部110は、受信したウェブページ内容を制御部130に出力する。また、通信部110は、制御部130から入力されたページ要求等をインターネット上のWebサイト300に送信する。
The communication unit 110 is realized by, for example, a NIC (Network Interface Card). The communication unit 110 is a communication interface that is connected to the Internet, for example, via the network N in a wired or wireless manner and manages information communication with the server of the
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部120は、対象記憶部121と、項目記憶部122と、ページ記憶部123と、抽出データ記憶部124と、通知先記憶部125とを有する。また、記憶部120は、制御部130での処理に用いる情報を記憶する。
The
対象記憶部121は、データを取得するクロール処理の対象となるWebサイト300のURL(以下、対象URLという)と、HTML文書よりデータを抽出した対象部分のタグ構造情報とを対応付けて記憶する。すなわち、対象記憶部121は、ウェブページから取得したデータに対応づけて、取得元のウェブページのうちデータの取得元の位置を示すタグ構造情報を記憶する。
The
図2は、対象記憶部121の一例を示す図である。図2に示すように、対象記憶部121は、「URLID」、「対象URL」、「タグ構造情報」といった項目を有する。また、「タグ構造情報」は、「タイトル」、「住所」といった取得元のデータ項目を有する。なお、タグ構造情報は、図示はしないが、他にも、電話番号、更新日、位置情報、説明文といったデータ項目を有する。対象記憶部121は、例えば、1つの対象URLごとに1レコードとして記憶する。
FIG. 2 is a diagram illustrating an example of the
「URLID」は、対象URLを識別する。「対象URL」は、クロール処理でアクセスする対象となるHTML文書のURLを示す。対象URLは、例えば、管理者によって入力部101の入力デバイスにより入力される。「タグ構造情報」は、対象URLのHTML文書内における、データを抽出した対象部分の位置を特定するための情報を示す。「タイトル」は、対象となるHTML文書内のタイトルについて、タグの名称、タグの文書内における順番、及び、タグの階層構造のうち1つ以上を組み合わせて、タグの階層構造上の位置を示す。「住所」は、対象となるHTML文書内の住所について、タグの名称、タグの文書内における順番、及び、タグの階層構造のうち1つ以上を組み合わせて、タグの階層構造上の位置を示す。 “URLID” identifies the target URL. “Target URL” indicates the URL of an HTML document to be accessed in the crawl process. The target URL is input by the administrator using the input device of the input unit 101, for example. “Tag structure information” indicates information for specifying the position of the target portion from which data is extracted in the HTML document of the target URL. “Title” indicates the position of the tag in the hierarchical structure of the target HTML document by combining one or more of the tag name, the order of the tag in the document, and the hierarchical structure of the tag. . “Address” indicates the position of the tag in the hierarchical structure of the target HTML document by combining one or more of the tag name, the tag order in the document, and the hierarchical structure of the tag. .
図2の1行目の例では、URLIDが「1」の対象URL「http://aaaa.bbb.ccc/ddd/eee/001.html」のHTML文書内における、「タイトル」および「住所」のタグ構造情報を示す。「タイトル」のタグ構造情報は、例えば、「<DIV class="title"> </DIV>,順番:1,/title/」と表現される。「<DIV class="title"> </DIV>」は、例えば、CSS(Cascading Style Sheets)セレクタを用いて抽出したタイトルを示すタグの名称を示す。「順番:1」は、当該HTML文書内のタイトルを示すタグのうち、1番目のタグを示す。「/title/」は、当該HTML文書のタイトルを示すタグの階層構造を示す。なお、当該HTML文書からタイトルとして抜き出されるデータは、DIVタグに囲まれた部分となる。 In the example of the first line in FIG. 2, “title” and “address” in the HTML document of the target URL “http: //aaaa.bbb.ccc/ddd/eee/001.html” whose URL ID is “1”. Shows the tag structure information. The tag structure information of “title” is expressed as, for example, “<DIV class =“ title ”> </ DIV>, order: 1, / title /”. “<DIV class =“ title ”> </ DIV>” indicates the name of a tag indicating a title extracted using, for example, a CSS (Cascading Style Sheets) selector. “Order: 1” indicates the first tag among the tags indicating the title in the HTML document. “/ Title /” indicates a hierarchical structure of tags indicating the title of the HTML document. Note that data extracted as a title from the HTML document is a portion surrounded by DIV tags.
同様に、「住所」のタグ構造情報は、例えば、「<DIV class="address"> </DIV>,順番:1,/info/address/」と表現される。「<DIV class="address"> </DIV>」は、例えば、CSSセレクタを用いて抽出した住所を示すタグの名称を示す。「順番:1」は、当該HTML文書内の住所を示すタグのうち、1番目のタグを示す。「/info/address/」は、当該HTML文書の住所を示すタグの階層構造を示す。なお、当該HTML文書から住所として抜き出されるデータは、DIVタグに囲まれた部分となる。また、データを抽出した対象部分のタグ構造情報は、タグの名称、タグの順番およびタグの階層構造のうち1つ以上を用いて特定してもよい。 Similarly, the tag structure information of “address” is expressed, for example, as “<DIV class =“ address ”> </ DIV>, order: 1, / info / address /”. “<DIV class =“ address ”> </ DIV>” indicates, for example, the name of a tag indicating an address extracted using a CSS selector. “Order: 1” indicates the first tag among the tags indicating the address in the HTML document. “/ Info / address /” indicates a hierarchical structure of tags indicating the address of the HTML document. Note that the data extracted from the HTML document as an address is a portion surrounded by DIV tags. Further, the tag structure information of the target part from which the data is extracted may be specified using one or more of the tag name, the tag order, and the tag hierarchical structure.
また、タグの名称は、正規表現を用いて表してもよい。図2の2行目の例では、住所を示すタグの名称を「/<DIV.*>(.+)</DIV>/ /住所:(.+)$/」と表現している。正規表現では、DIVタグに囲まれた箇所、又は、「住所:」の後ろに続く箇所が、住所として抜き出されるデータとなる。さらに、抽出対象部分の位置特定情報は、CSSセレクタと正規表現を組み合わせてもよい。 The tag name may be expressed using a regular expression. In the example of the second line of FIG. 2, the name of the tag indicating the address is expressed as “/<DIV.*>(.+)</DIV>//address: (. +) $ /”. In the regular expression, the portion surrounded by the DIV tag or the portion following “Address:” is the data extracted as the address. Furthermore, the position specifying information of the extraction target part may be a combination of a CSS selector and a regular expression.
また、図2の3行目の例のように、データを抽出した対象部分のタグ構造情報は、切り出し手法を用いて表現してもよい。この場合には、タイトルの位置特定情報は、例えば、CSSセレクタを用いて「div#left h2,順番:3,/tps/table/」と表現される。また、住所の位置特定情報は、例えば、CSSセレクタと正規表現とを用いて「#infoContent @<h3>所在地</h3>\s+?<p>(.+?)</p>@is,順番:5,/info/address/」と表現される。 Further, as in the example of the third line in FIG. 2, the tag structure information of the target portion from which the data is extracted may be expressed using a clipping method. In this case, the title position specifying information is expressed as “div # left h2, order: 3, / tps / table /” using a CSS selector, for example. In addition, the address location information is, for example, “#infoContent @ <h3> location </ h3> \ s +? <P> (. +?) </ P> @is, using a CSS selector and a regular expression. "Order: 5, / info / address /".
図1の説明に戻り、項目記憶部122は、対象URLのページ内容から抽出するデータ項目の定義を記憶する。図3は、項目記憶部122の一例を示す図である。図3に示すように、項目記憶部122は、「項目ID」、「データ名」、「データ型」、「切り出し手法」といった項目を有する。項目記憶部122は、例えば、1つのデータ名ごとに、1レコードとして記憶する。
Returning to the description of FIG. 1, the
「項目ID」は、データ項目、すなわちデータ名を識別する。「データ名」は、Webサイト300をクロールする際に抽出するデータの名前を示す。データ名は、例えば、タイトル、住所、電話番号、更新日、位置情報、説明文といったデータが挙げられる。「データ型」は、抽出したデータを抽出データ記憶部124に記憶する際の当該データの型を示す。データ型は、例えば、文字、数字、日付、緯度経度といった型が挙げられる。「切り出し手法」は、対象URLのページ内容からデータを切り出す、つまり抜き出す手法を示す。切り出し手法は、例えば、CSSセレクタ、正規表現といった手法が挙げられる。
“Item ID” identifies a data item, that is, a data name. “Data name” indicates the name of data to be extracted when the
図1の説明に戻り、ページ記憶部123は、対象URLについて、クロール処理でアクセスして取得したページ内容、すなわち、HTML文書、画像ファイル等を記憶する。図4は、ページ記憶部123の一例を示す図である。図4に示すように、ページ記憶部123は、「URLID」、「対象URL」、「記憶領域」といった項目を有する。ページ記憶部123は、例えば、1つの対象URLごとに1レコードとして記憶する。
Returning to the description of FIG. 1, the
「URLID」は、対象URLを識別する。「対象URL」は、クロール処理でアクセスしたHTML文書のURLを示す。「記憶領域」は、取得したHTML文書や画像ファイル等を記憶した記憶領域を示す。記憶領域は、例えば、記憶部120のファイルシステムのディレクトリを記憶し、対応するディレクトリにHTML文書や画像ファイル等を記憶する。なお、ページ記憶部123は、記憶領域に、取得したHTML文書や画像ファイルを直接記憶するようにしてもよい。
“URLID” identifies the target URL. “Target URL” indicates the URL of the HTML document accessed by the crawl process. The “storage area” indicates a storage area that stores the acquired HTML document, image file, and the like. The storage area stores, for example, a file system directory in the
図1の説明に戻り、抽出データ記憶部124は、HTML文書から抽出された、抽出対象部分のデータを記憶する。すなわち、抽出データ記憶部124は、クロール処理によって収集されたデータを格納するデータベースである。図5は、抽出データ記憶部124の一例を示す図である。図5に示すように、抽出データ記憶部124は、「URLID」、「タイトル」、「住所」、「電話番号」、「更新日」、「位置情報」、「説明文」といった項目を有する。抽出データ記憶部124は、例えば、1つのURLIDごとに1レコードとして記憶する。
Returning to the description of FIG. 1, the extracted
「URLID」は、対象URLを識別する。「タイトル」は、対象URLのHTML文書から抽出されたデータ項目の1つであり、対象URLのHTML文書のタイトルを示す。「住所」は、対象URLのHTML文書から抽出されたデータ項目の1つであり、対象URLのHTML文書内に記載された住所を示す。「電話番号」は、対象URLのHTML文書から抽出されたデータ項目の1つであり、対象URLのHTML文書内に記載された電話番号を示す。「更新日」は、対象URLのHTML文書から抽出されたデータ項目の1つであり、対象URLのHTML文書内に記載された更新日を示す。「位置情報」は、緯度経度を示す。緯度経度は、対象URLのHTML文書から抽出された住所に基づいて、例えば、外部のAPI(Application Programming Interface)サービスを利用することで取得される。なお、位置情報は、HTML文書内に緯度経度の記載があれば、当該緯度経度であってもよい。「説明文」は、対象URLのHTML文書から抽出されたデータ項目の1つであり、例えば、対象URLのHTML文書が観光スポットに関する文書であれば、文書内の観光スポットに関する説明文を示す。なお、住所は、HTML文書内に記載がない場合には、例えば、タイトルに記載された観光スポット名を用いて、外部のAPIサービスを利用することで取得された住所であってもよい。 “URLID” identifies the target URL. “Title” is one of the data items extracted from the HTML document of the target URL, and indicates the title of the HTML document of the target URL. “Address” is one of the data items extracted from the HTML document of the target URL, and indicates an address described in the HTML document of the target URL. “Telephone number” is one of the data items extracted from the HTML document of the target URL, and indicates the telephone number described in the HTML document of the target URL. “Update date” is one of the data items extracted from the HTML document of the target URL, and indicates the update date described in the HTML document of the target URL. “Position information” indicates latitude and longitude. The latitude and longitude are acquired by using, for example, an external API (Application Programming Interface) service based on the address extracted from the HTML document of the target URL. Note that the position information may be the latitude and longitude as long as the latitude and longitude are described in the HTML document. The “descriptive text” is one of data items extracted from the HTML document of the target URL. For example, if the HTML document of the target URL is a document related to a tourist spot, an explanatory text related to a tourist spot in the document is shown. In addition, when there is no description in an HTML document, the address acquired by using an external API service using the tourist spot name described in the title may be used, for example.
図1の説明に戻り、通知先記憶部125は、例えば管理者のメールアドレスなどの、通知先(宛先)の情報を記憶する。制御部130は、通知先記憶部125を基に、管理者などの所定の宛先に対してWebサイト300のクロール結果などの通知を行う。
Returning to the description of FIG. 1, the notification
制御部130は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、内部の記憶装置に記憶されているプログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されるようにしてもよい。制御部130は、設定部131と、クロール部132と、抽出部133と、出力制御部134とを有し、以下に説明する情報処理の機能や作用を実現又は実行する。なお、制御部130の内部構成は、図1に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
The
設定部131は、クロールの対象とするWebサイト300の対象URLおよびクロールの抽出対象とするデータ項目の定義などの設定を行う。設定部131は、例えば、管理者が入力部101を操作することにより、クロールの対象とするWebサイト300の対象URLの入力を受け付ける。設定部131は、受け付けた対象URLを、URLIDを付与して対象記憶部121に登録する。
The
また、設定部131は、例えば、管理者が入力部101を操作することにより、抽出対象部分とするデータ名、データ型及び切り出し手法の入力を受け付ける。設定部131は、受け付けたデータ名、データ型及び切り出し手法を対応付けて、データ項目の定義を生成する。設定部131は、生成したデータ項目の定義を項目記憶部122に記憶する。つまり、登録部131は、クロールの抽出対象とするデータ項目の定義を項目記憶部122に登録する。
In addition, for example, the
クロール部132は、対象記憶部121を参照して、対象URLを含むホームページ、例えば、ある観光情報を公開するWebサイト300のトップページにアクセスする。すなわち、クロール部132は、Webサイト300のサーバに対して通信部110を介してページ要求を送信し、当該サーバから通信部110を介してページ内容を受信する。
The
クロール部132は、例えば、定期的または不定期に、つまり予め管理者によって指定された間隔又は任意のタイミングで、対象URLを含むホームページにアクセスする。指定された間隔は、例えば、1日、1週間、1ヶ月等のように任意の間隔とすることができる。
For example, the
クロール部132は、対象記憶部121を参照して、ホームページ内の全リンクのうち、ページ内容を取得する対象URLを選定する。クロール部132は、例えば、観光スポットごとのページの対象URLを選定する。クロール部132は、選定した対象URLからページ内容を取得する。クロール部132は、取得したページ内容をページ記憶部123に記憶する。また、クロール部132は、ページ内容の取得が完了したことを示す取得完了情報を抽出部133に出力する。
The
抽出部133は、クロール部132から取得完了情報が入力されると、対象記憶部121のタグ構造情報を参照して、ページ記憶部123に記憶された対象URLのページ内容から、抽出対象部分のデータ項目のデータを抽出する。抽出部133は、抽出したデータをURLIDと対応付けて、項目記憶部122のデータ項目の定義に従って、抽出データ記憶部124に記憶する。抽出部133は、抽出したデータを抽出データ記憶部124に記憶すると、出力制御部134に、抽出完了情報を出力する。
When the acquisition completion information is input from the
例えば、抽出部133は、URLIDが「1」の対象URL「http://aaaa.bbb.ccc/ddd/eee/001.html」のHTML文書から「タイトル」のデータを抽出する場合、対象記憶部121より「タイトル」のタグ構造情報を参照する(図2参照)。これにより、抽出部133は、対象URLのウェブページより「タイトル」のデータを抽出する位置を「<DIV class="title"> </DIV>,順番:1,/title/」とするタグ構造情報を得る。抽出部133は、「<DIV class="title"> </DIV>,順番:1,/title/」とするタグ構造情報より、HTML文書の1番目のタグで、タグの構造におけるタイトルを示す「/title/」のタグのDIVタグに囲まれた部分のデータ(タイトル)を抽出する。次いで、抽出部133は、「タイトル」と同様にして「住所」などのタグ構造情報に含まれるデータを順次抽出する。そして、抽出部133は、抽出したデータを抽出データ記憶部124に記憶する。
For example, when the
なお、対象記憶部121に記憶された対象URLの初回巡回時には、タグ構造情報が未登録である。また、対象URLのウェブページ自体にレイアウトの更新がある場合は、以前のタグ構造情報ではデータが得られないこととなる。したがって、抽出部133は、タグ構造情報が未登録の初回巡回時や、登録済みのタグ構造情報からデータが得られないレイアウト更新時には、項目記憶部122の切出し手法を用いてウェブページの解析を行う。このウェブページの解析により、抽出部133は、項目記憶部122で定義された項目のデータを取得する。
Note that the tag structure information is not registered when the target URL stored in the
例えば、抽出部133は、抽出対象部分のデータ項目のデータを抽出する場合に、項目記憶部122の切り出し手法で指定された手法を用いて抽出する。抽出部133は、例えば、住所を示すタグの階層が「/info/address/」で定義され、例えば「.address」と記述されたCSSセレクタを用いることで住所を抽出する。この場合には、抽出部133は、例えば、タグ内に「address」を含む項目を、住所として切り出すことができる。
For example, when extracting data of the data item of the extraction target portion, the
また、抽出部133は、例えば、1行目に「.info」と記述され、2行目に「/<DIV.*>(.+)</DIV>/」と記述され、3行目に「/住所:(.+)$/」と記述された正規表現を用いることで住所を抽出する。この場合には、抽出部133は、例えば、DIVタグのクラスが「info」であるタグに含まれる階層から、「住所:」の文字列の後に続く文字列を住所として切り出すことができる。
Further, the
初回巡回時やレイアウト更新時に抽出したデータも同様、抽出部133は、抽出したデータをURLIDと対応付けて、項目記憶部122のデータ項目の定義に従って、抽出データ記憶部124に記憶する。また、抽出部133は、抽出したデータの項目ごとに、タグ構造情報を求めて対象記憶部121に記憶する。
Similarly to the data extracted at the first patrol or layout update, the extracting
例えば、抽出部133は、項目記憶部122における項目ID「1」の「タイトル」の項目について(図3参照)、「CSSセレクタ」の切り出し手法によりデータ(タイトル)を抽出した場合、抽出したデータに関連するタグの情報を得る。具体的には、抽出部133は、HTML文書におけるタグの順番と、HTML文書のタイトルを示すタグの階層構造を示す「/title/」とを得る。抽出部133は、得られたタグの情報をタグ構造情報として対象記憶部121に記憶する。
For example, when the
出力制御部134は、抽出部133から抽出完了情報が入力されると、抽出データ記憶部124を参照して、抽出したデータを出力データとして出力部102に出力して表示させる。なお、出力制御部134は、出力部102がSDメモリカード等のリーダライタである場合には、抽出したデータを出力データとして出力部102に出力して、SDメモリカード等に記憶させてもよい。
When the extraction completion information is input from the
また、出力制御部134は、過去のクロール処理によって取得して抜き出したデータと、今回のクロール処理によって取得して抜き出したデータとが異なる場合には、通知先記憶部125をもとに、管理者のメールアドレスなどの所定の宛先に変更内容を通知する。なお、変更内容の通知については、例えば、今回のクロール処理によって取得したデータにおける、過去からの変更部分(差分)を表示色を変更するようにしてもよい。これにより、管理者は、Webサイト300におけるデータの変更を容易に知ることができる。
In addition, the
次に、記憶制御装置の一例であるデータ取得装置100におけるクロール処理の動作例を説明する。図6は、実施形態にかかる記憶制御装置の動作例を示すフローチャートである。なお、対象記憶部121の対象URLにかかるウェブページの内容は取得済みであり、クロールされたウェブページの内容はページ記憶部123に記憶されているものとする。
Next, an operation example of the crawl process in the
図6に示すように、処理が開始されると、抽出部133は、対象記憶部121の対象URLを順次読み出して、クロール処理の対象とするウェブページを指定する(S1)。
As shown in FIG. 6, when the process is started, the
次いで、抽出部133は、対象記憶部121における対象URLのタグ構造情報が未登録であるか否かにより、初回の巡回であるか否かを判定する。また、抽出部133は、対象記憶部121に登録済みのタグ構造情報からデータが得られたか否かにより、ウェブページ自体の更新の有無を判定する(S2)。
Next, the
初回またはウェブページ自体の更新がある場合(S2:YES)、抽出部133は、項目記憶部122の切出し手法を用いてウェブページの解析を行い(S3)、項目記憶部122で定義された項目のデータを抽出する(S4)。次いで、抽出部133は、抽出したデータを記憶部120へ格納する(S5)。具体的には、抽出部133は、抽出したデータをURLIDと対応付けて、項目記憶部122のデータ項目の定義に従って、抽出データ記憶部124に記憶する。また、抽出部133は、抽出したデータの項目ごとに、タグ構造情報を求めて対象記憶部121に記憶する。
When there is an update for the first time or the web page itself (S2: YES), the
初回の巡回ではなく、ウェブページ自体の更新もない場合(S2:NO)は、対象記憶部121のタグ構造情報を参照してウェブページからデータの抽出ができることとなる。
If the web page is not updated for the first time (S2: NO), data can be extracted from the web page with reference to the tag structure information in the
したがって、S2が否定判定の場合、抽出部133は、ウェブページ(対象URL)のタグ構造情報を対象記憶部121より取得する(S6)。次いで、抽出部133は、ページ記憶部123に記憶された対象URLのページ内容から、タグ構造情報をもとに、抽出対象部分のデータ項目のデータを抽出する(S7)。
Therefore, if S2 is negative, the
次いで、抽出部133は、抽出したデータをURLIDと対応付けて、項目記憶部122のデータ項目の定義に従って、抽出データ記憶部124に記憶し、記憶部120のデータ更新を行う(S8)。具体的には、抽出部133は、今回新たに抽出したデータと、前に抽出データ記憶部124に記憶したデータとを比較し、データに変更がある場合に、今回新たに抽出したデータ(変更の内容)を抽出データ記憶部124に記憶する。
Next, the
次いで、出力制御部134は、通知先記憶部125をもとに、管理者のメールアドレスなどの所定の宛先に結果通知を行う(S9)。具体的には、出力制御部134は、過去のクロール処理によって取得して抜き出したデータ(以前の抽出データ記憶部124のデータ)と、今回のクロール処理によって取得して抜き出したデータ(今回抽出データ記憶部124に格納したデータ)とが異なるか否かを判定する。異なる場合、出力制御部134は、通知先記憶部125に設定されている通知先に変更部分(差分)を通知する。
Next, the
以上のように、データ取得装置100は、記憶部120と、制御部130とを有する。記憶部120は、ウェブページから取得したデータに対応づけて、取得元のウェブページのうちデータの取得元の位置を示すタグ構造情報を記憶する。制御部130は、記憶部120に記憶されたタグ構造情報に基づいて、ウェブページから新たにデータを取得し、新たに取得したデータをタグ構造情報と対応付けて記憶部120に記憶させる。したがって、データ取得装置100は、例えば、ウェブページの初回の巡回またはウェブページ自体のレイアウト更新後の巡回の後に再度巡回する際には、ウェブサイトごとにドキュメントの解析を行うことなくデータを取得できる。このように、データ取得装置100は、ドキュメントの解析を省くことで、データのクロールに要する時間を短縮できる。
As described above, the
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、クロール部132と、抽出部133と、出力制御部134とを統合して、出力制御部としてもよい。
In addition, each component of each part illustrated does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each part is not limited to the one shown in the figure, and all or a part thereof may be functionally or physically distributed / integrated in arbitrary units according to various loads and usage conditions. Can be configured. For example, the
さらに、各装置で行われる各種処理機能は、CPU(又はMPU、MCU(Micro Controller Unit)等のマイクロ・コンピュータ)上で、その全部又は任意の一部を実行するようにしてもよい。また、各種処理機能は、CPU(又はMPU、MCU等のマイクロ・コンピュータ)で解析実行されるプログラム上、又はワイヤードロジックによるハードウェア上で、その全部又は任意の一部を実行するようにしてもよいことは言うまでもない。 Furthermore, various processing functions performed in each device may be executed entirely or arbitrarily on a CPU (or a microcomputer such as an MPU or MCU (Micro Controller Unit)). The various processing functions may be executed entirely or arbitrarily on a program that is analyzed and executed by a CPU (or a microcomputer such as an MPU or MCU) or hardware based on wired logic. Needless to say, it is good.
ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図7は、記憶制御プログラムを実行するコンピュータの一例を示す図である。 By the way, the various processes described in the above embodiments can be realized by executing a program prepared in advance by a computer. Therefore, in the following, an example of a computer that executes a program having the same function as in the above embodiment will be described. FIG. 7 is a diagram illustrating an example of a computer that executes a storage control program.
図7が示すように、コンピュータ200は、各種演算処理を実行するCPU201と、データ入力を受け付ける入力装置202と、モニタ203とを有する。また、コンピュータ200は、記憶媒体からプログラム等を読み取る媒体読取装置204と、各種装置と接続するためのインタフェース装置205と、他の情報処理装置等と有線又は無線により接続するための通信装置206とを有する。また、コンピュータ200は、各種情報を一時記憶するRAM207と、ハードディスク装置208とを有する。また、各装置201〜208は、バス209に接続される。
As illustrated in FIG. 7, the
ハードディスク装置208には、図1に示した設定部131、クロール部132、抽出部133および出力制御部134の各処理部と同様の機能を有する記憶制御プログラムが記憶される。また、ハードディスク装置208には、対象記憶部121、項目記憶部122、ページ記憶部123、抽出データ記憶部124および記憶制御プログラムを実現するための各種データが記憶される。入力装置202は、入力部101と同等の機能を有し、例えば、コンピュータ200の管理者から、対象URL、定義、管理情報等の各種情報の入力を受け付ける。モニタ203は、出力部102と同等の機能を有し、例えば、コンピュータ200の管理者に対して管理情報の画面、受付画面、データ表示画面等の各種画面を表示する。インタフェース装置205は、例えば、印刷装置等が接続される。通信装置206は、例えば、図1に示した通信部110と同様の機能を有し、ネットワークNと接続され、インターネット上のWebサイト300と各種情報をやりとりする。
The
CPU201は、ハードディスク装置208に記憶された各プログラムを読み出して、RAM207に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ200を図1に示した設定部131、クロール部132、抽出部133および出力制御部134として機能させることができる。
The
なお、上記の記憶制御プログラムは、必ずしもハードディスク装置208に記憶されている必要はない。例えば、コンピュータ200が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ200が読み出して実行するようにしてもよい。コンピュータ200が読み取り可能な記憶媒体は、例えば、CD−ROMやDVDディスク、USB(Universal Serial Bus)メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、LAN等に接続された装置にこの記憶制御プログラムを記憶させておき、コンピュータ200がこれらから記憶制御プログラムを読み出して実行するようにしてもよい。
Note that the above storage control program is not necessarily stored in the
以上の実施形態に関し、さらに以下の付記を開示する。 Regarding the above embodiment, the following additional notes are disclosed.
(付記1)ウェブページから取得したデータを記憶する記憶制御装置において、
ウェブページから取得した第1のデータに対応づけて、前記取得元のウェブページのうち前記第1のデータの取得元の位置を示すタグ構造情報を記憶する記憶部と、
前記記憶部に記憶された前記タグ構造情報に基づいて、前記ウェブページから新たに第2のデータを取得し、新たに取得した前記第2のデータを前記タグ構造情報と対応付けて前記記憶部に記憶させる制御部と、
を備えることを特徴とする記憶制御装置。
(Supplementary note 1) In a storage control device for storing data acquired from a web page,
A storage unit that stores tag structure information indicating the position of the acquisition source of the first data among the acquisition source web pages in association with the first data acquired from the web page;
Based on the tag structure information stored in the storage unit, the second data is newly acquired from the web page, and the newly acquired second data is associated with the tag structure information in the storage unit. A control unit to be stored in
A storage control device comprising:
(付記2)前記制御部は、前記第2のデータの取得から所定の間隔後に、前記タグ構造情報に基づいて前記ウェブページから新たに第3のデータを取得する、
ことを特徴とする付記1に記載の記憶制御装置。
(Additional remark 2) The said control part acquires 3rd data newly from the said web page based on the said tag structure information after the predetermined space | interval from acquisition of the said 2nd data,
The storage control device according to
(付記3)前記制御部は、前記ウェブページから取得した前記第1のデータと、前記ウェブページから取得した前記第2のデータの比較に基づき変更を検知すると、検知した前記変更の内容を記憶させる、
ことを特徴とする付記1に記載の記憶制御装置。
(Supplementary Note 3) When the control unit detects a change based on a comparison between the first data acquired from the web page and the second data acquired from the web page, the control unit stores the content of the detected change. Let
The storage control device according to
(付記4)前記制御部は、前記ウェブページから取得した前記第1のデータと、前記ウェブページから取得した前記第2のデータとの比較に基づき変更を検知すると、検知した前記変更の内容を所定の宛先に通知する、
ことを特徴とする付記1に記載の記憶制御装置。
(Supplementary Note 4) When the control unit detects a change based on a comparison between the first data acquired from the web page and the second data acquired from the web page, the control unit displays the content of the detected change. Notify the specified destination,
The storage control device according to
(付記5)ウェブページから取得したデータを記憶する処理をコンピュータに実行させる記憶制御プログラムであって、
ウェブページから取得した第1のデータに対応づけて、前記取得元のウェブページのうち前記第1のデータの取得元の位置を示すタグ構造情報を記憶し、
記憶された前記タグ構造情報に基づいて、前記ウェブページから新たに第2のデータを取得し、新たに取得した前記第2のデータを前記タグ構造情報と対応付けて記憶する、
処理をコンピュータに実行させることを特徴とする記憶制御プログラム。
(Supplementary Note 5) A storage control program for causing a computer to execute processing for storing data acquired from a web page,
In association with the first data acquired from the web page, the tag structure information indicating the position of the acquisition source of the first data of the acquisition source web page is stored,
Based on the stored tag structure information, new second data is acquired from the web page, and the newly acquired second data is stored in association with the tag structure information.
A storage control program for causing a computer to execute processing.
(付記6)前記記憶する処理は、前記第2のデータの取得から所定の間隔後に、前記タグ構造情報に基づいて前記ウェブページから新たに第3のデータを取得する、
ことを特徴とする付記5に記載の記憶制御プログラム。
(Additional remark 6) The said process to memorize | stores 3rd data newly from the said web page based on the said tag structure information after the predetermined space | interval from acquisition of the said 2nd data,
The storage control program according to
(付記7)前記記憶する処理は、前記ウェブページから取得した前記第1のデータと、前記ウェブページから新たに取得した前記第2のデータの比較に基づき変更を検知すると、検知した前記変更の内容を記憶する、
ことを特徴とする付記5に記載の記憶制御プログラム。
(Supplementary note 7) When the process to be stored is detected based on a comparison between the first data acquired from the web page and the second data newly acquired from the web page, Remember the contents,
The storage control program according to
(付記8)前記記憶する処理は、前記ウェブページから取得した前記第1のデータと、前記ウェブページから新たに取得した前記第2のデータとの比較に基づき変更を検知すると、検知した前記変更の内容を所定の宛先に通知する、
ことを特徴とする付記5に記載の記憶制御プログラム。
(Additional remark 8) The said process to memorize | stores, if the change is detected based on the comparison with the said 1st data acquired from the said web page, and the said 2nd data newly acquired from the said web page, the said detected change To notify the destination of the contents of
The storage control program according to
(付記9)ウェブページから取得したデータを記憶する処理をコンピュータが実行する記憶制御方法であって、
ウェブページから取得した第1のデータに対応づけて、前記取得元のウェブページのうち前記第1のデータの取得元の位置を示すタグ構造情報を記憶し、
記憶された前記タグ構造情報に基づいて、前記ウェブページから新たに第2のデータを取得し、新たに取得した前記第2のデータを前記タグ構造情報と対応付けて記憶する、
処理をコンピュータが実行することを特徴とする記憶制御方法。
(Supplementary Note 9) A storage control method in which a computer executes a process of storing data acquired from a web page,
In association with the first data acquired from the web page, the tag structure information indicating the position of the acquisition source of the first data of the acquisition source web page is stored,
Based on the stored tag structure information, new second data is acquired from the web page, and the newly acquired second data is stored in association with the tag structure information.
A storage control method, wherein a computer executes a process.
(付記10)前記記憶する処理は、前記第2のデータの取得から所定の間隔後に、前記タグ構造情報に基づいて前記ウェブページから新たに第3のデータを取得する、
ことを特徴とする付記9に記載の記憶制御方法。
(Additional remark 10) The said process to memorize | stores newly acquires 3rd data from the said web page based on the said tag structure information after the predetermined space | interval from acquisition of the said 2nd data.
The storage control method according to appendix 9, wherein
(付記11)前記記憶する処理は、前記ウェブページから取得した前記第1のデータと、前記ウェブページから新たに取得した前記第2のデータの比較に基づき変更を検知すると、検知した前記変更の内容を記憶する、
ことを特徴とする付記9に記載の記憶制御方法。
(Additional remark 11) If the process to memorize | stores a change based on the comparison of the 1st data acquired from the web page and the 2nd data newly acquired from the web page, the change of the detected change Remember the contents,
The storage control method according to appendix 9, wherein
(付記12)前記記憶する処理は、前記ウェブページから取得した前記第1のデータと、前記ウェブページから新たに取得した前記第2のデータとの比較に基づき変更を検知すると、検知した前記変更の内容を所定の宛先に通知する、
ことを特徴とする付記9に記載の記憶制御方法。
(Additional remark 12) The said process to memorize | stores, if the change detected based on the comparison with the said 1st data acquired from the said web page, and the said 2nd data newly acquired from the said web page, the said detected change To notify the destination of the contents of
The storage control method according to appendix 9, wherein
100…データ取得装置
101…入力部
102…出力部
110…通信部
120…記憶部
121…対象記憶部
122…項目記憶部
123…ページ記憶部
124…抽出データ記憶部
125…通知先記憶部
130…制御部
131…設定部
132…クロール部
133…抽出部
134…出力制御部
200…コンピュータ
201…CPU
202…入力装置
203…モニタ
204…媒体読取装置
205…インタフェース装置
206…通信装置
207…RAM
208…ハードディスク装置
209…バス
300…Webサイト
N…ネットワーク
DESCRIPTION OF
202 ...
208 ...
Claims (6)
ウェブページから取得した第1のデータに対応づけて、前記取得元のウェブページのうち前記第1のデータの取得元の位置を示すタグ構造情報を記憶する記憶部と、
前記記憶部に記憶された前記タグ構造情報に基づいて、前記ウェブページから新たに第2のデータを取得し、新たに取得した前記第2のデータを前記タグ構造情報と対応付けて前記記憶部に記憶させる制御部と、
を備えることを特徴とする記憶制御装置。 In a storage control device for storing data acquired from a web page,
A storage unit that stores tag structure information indicating the position of the acquisition source of the first data among the acquisition source web pages in association with the first data acquired from the web page;
Based on the tag structure information stored in the storage unit, the second data is newly acquired from the web page, and the newly acquired second data is associated with the tag structure information in the storage unit. A control unit to be stored in
A storage control device comprising:
ことを特徴とする請求項1に記載の記憶制御装置。 The control unit newly acquires third data from the web page based on the tag structure information after a predetermined interval from the acquisition of the second data.
The storage control device according to claim 1.
ことを特徴とする請求項1に記載の記憶制御装置。 When the control unit detects a change based on the comparison between the first data acquired from the web page and the second data acquired from the web page, the control unit stores the content of the detected change.
The storage control device according to claim 1.
ことを特徴とする請求項1に記載の記憶制御装置。 When the control unit detects a change based on the comparison between the first data acquired from the web page and the second data acquired from the web page, the detected content of the change is set to a predetermined destination. Notice,
The storage control device according to claim 1.
ウェブページから取得した第1のデータに対応づけて、前記取得元のウェブページのうち前記第1のデータの取得元の位置を示すタグ構造情報を記憶し、
記憶された前記タグ構造情報に基づいて、前記ウェブページから新たに第2のデータを取得し、新たに取得した前記第2のデータを前記タグ構造情報と対応付けて記憶する、
処理をコンピュータに実行させることを特徴とする記憶制御プログラム。 A storage control program for causing a computer to execute processing for storing data acquired from a web page,
In association with the first data acquired from the web page, the tag structure information indicating the position of the acquisition source of the first data of the acquisition source web page is stored,
Based on the stored tag structure information, new second data is acquired from the web page, and the newly acquired second data is stored in association with the tag structure information.
A storage control program for causing a computer to execute processing.
ウェブページから取得した第1のデータに対応づけて、前記取得元のウェブページのうち前記第1のデータの取得元の位置を示すタグ構造情報を記憶し、
記憶された前記タグ構造情報に基づいて、前記ウェブページから新たに第2のデータを取得し、新たに取得した前記第2のデータを前記タグ構造情報と対応付けて記憶する、
処理をコンピュータが実行することを特徴とする記憶制御方法。 A storage control method in which a computer executes a process of storing data acquired from a web page,
In association with the first data acquired from the web page, the tag structure information indicating the position of the acquisition source of the first data of the acquisition source web page is stored,
Based on the stored tag structure information, new second data is acquired from the web page, and the newly acquired second data is stored in association with the tag structure information.
A storage control method, wherein a computer executes a process.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017049658A JP2018152015A (en) | 2017-03-15 | 2017-03-15 | Storage controller, storage control program and storage control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017049658A JP2018152015A (en) | 2017-03-15 | 2017-03-15 | Storage controller, storage control program and storage control method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018152015A true JP2018152015A (en) | 2018-09-27 |
Family
ID=63679505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017049658A Pending JP2018152015A (en) | 2017-03-15 | 2017-03-15 | Storage controller, storage control program and storage control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018152015A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023096804A (en) * | 2021-12-27 | 2023-07-07 | データ・フォアビジョン株式会社 | Evaluation support system and evaluation support program |
-
2017
- 2017-03-15 JP JP2017049658A patent/JP2018152015A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023096804A (en) * | 2021-12-27 | 2023-07-07 | データ・フォアビジョン株式会社 | Evaluation support system and evaluation support program |
JP7452801B2 (en) | 2021-12-27 | 2024-03-19 | データ・フォアビジョン株式会社 | Evaluation support system and evaluation support program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20150012811A1 (en) | Interactive sitemap with user footprints | |
US10769216B2 (en) | Data acquisition method, data acquisition apparatus, and recording medium | |
JP5533291B2 (en) | Privacy protection device, privacy protection method and program | |
KR101556743B1 (en) | Apparatus and method for generating poi information based on web collection | |
JP4722697B2 (en) | Information display system | |
JP2007102583A (en) | Patent information management system, patent information management method, and program | |
JP2018152015A (en) | Storage controller, storage control program and storage control method | |
JP2006313484A (en) | Document management system, document management method, information processor, program and storage medium | |
JP2008123425A (en) | Web document data providing device, method, and system | |
WO2016075832A1 (en) | Automatic page editing method, automatic page editing program, and automatic page editing device | |
US10726076B2 (en) | Information acquisition method, and information acquisition device | |
JP6828277B2 (en) | Client devices, information information systems and programs | |
JP6915322B2 (en) | Website comparison processing program, website comparison method and device for comparing websites | |
US20170242839A1 (en) | Data acquisition method, data acquisition device, and recording medium | |
JP6520955B2 (en) | Data verification program, data verification method and data verification apparatus | |
JP2018147169A (en) | Feature word classification program, feature word classification method, and information processing device | |
JP2017037437A (en) | Information processing system, information processor, information processing method and information processing program | |
JP2012048343A (en) | Document browsing system, document image delivery device, and document browsing method | |
JP5589932B2 (en) | Information providing program, information providing apparatus, and information providing method | |
KR100573091B1 (en) | Personal banner creating program | |
WO2016113887A1 (en) | Information-processing device, information-processing method, and information-processing program | |
JP6805636B2 (en) | Information extraction program, information extraction method and information extraction device | |
JP2017107479A (en) | Web page creation processing program and electronic apparatus | |
JPWO2016117012A1 (en) | Information processing apparatus, information processing method, and information processing program | |
JP2006072494A (en) | Url information management system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201208 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210122 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210216 |