JP6033070B2 - Data management apparatus and data management program - Google Patents

Data management apparatus and data management program Download PDF

Info

Publication number
JP6033070B2
JP6033070B2 JP2012273029A JP2012273029A JP6033070B2 JP 6033070 B2 JP6033070 B2 JP 6033070B2 JP 2012273029 A JP2012273029 A JP 2012273029A JP 2012273029 A JP2012273029 A JP 2012273029A JP 6033070 B2 JP6033070 B2 JP 6033070B2
Authority
JP
Japan
Prior art keywords
storage device
data
processing
collected data
browsing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012273029A
Other languages
Japanese (ja)
Other versions
JP2014119846A (en
Inventor
大輔 杉森
大輔 杉森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EXA CO Ltd
Original Assignee
EXA CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EXA CO Ltd filed Critical EXA CO Ltd
Priority to JP2012273029A priority Critical patent/JP6033070B2/en
Publication of JP2014119846A publication Critical patent/JP2014119846A/en
Application granted granted Critical
Publication of JP6033070B2 publication Critical patent/JP6033070B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、例えば収集して記録したデータを管理する装置等に関するものである。   The present invention relates to an apparatus for managing data collected and recorded, for example.

例えば、何らかの目的のために、データを収集して記録しておき、人、他の装置等が記録したデータを利用することがある。このような利用において、データの検索、参照、閲覧等（以下、閲覧という）をするための速度を向上させ、効率化をはかるため、インデックス処理等を行うことがある（例えば特許文献１参照）。インデックス処理とは、例えば記録したデータの内容に基づいて、閲覧の際に用いる索引データ（インデックス）を作成する処理である。   For example, data may be collected and recorded for some purpose, and data recorded by a person or another device may be used. In such use, index processing or the like may be performed in order to improve the speed and efficiency of data search, reference, browsing, etc. (hereinafter referred to as browsing) (see, for example, Patent Document 1). . The index process is a process for creating index data (index) used for browsing based on the contents of recorded data, for example.

特開２０１２−０７９０４４号公報（図１）JP2012-079044 (FIG. 1)

ここで、収集したデータに対してインデックス処理等を行っている間、例えば索引データを利用することができず、記録したデータの閲覧を行うことができない。このようなとき、例えば稼働時間（閲覧時間）が定まっているシステムにおいては、例えばバッチ処理等にて稼働時間以外の時間にインデックス処理を行っておけば、データの閲覧を行うにあたっては支障がない。   Here, while index processing or the like is performed on the collected data, for example, the index data cannot be used, and the recorded data cannot be browsed. In such a case, for example, in a system in which operation time (viewing time) is fixed, if index processing is performed at a time other than the operation time, for example, in batch processing, there is no problem in browsing data. .

しかし、例えば電気通信回線網（ネットワーク）を流れる信号から、ＳＮＳ（Social Networking Service ）等においてなされたドキュメント（文章、文字）等による発言（情報発信）内容をデータとして収集するような場合がある。このとき、ネットワークに常時流れる信号からデータを収集して記録することになる。収集により記録するデータ量が多くなるとインデックス処理に時間がかかるため、閲覧する際に支障がある可能性がある。また、インデックス処理を行っている間に収集したデータについては、索引データに反映されないため、処理に時間がかかると、新たに収集等したデータを閲覧できるまでの時間がますます長くなることになる。   However, in some cases, for example, the contents of utterances (information transmission) by documents (sentences, characters) made in SNS (Social Networking Service) or the like are collected as data from signals flowing through a telecommunication network (network). At this time, data is collected and recorded from signals constantly flowing through the network. If the amount of data to be recorded increases due to the collection, the index processing takes time, which may hinder browsing. Also, since the data collected during index processing is not reflected in the index data, if processing takes time, it will take longer to view newly collected data. .

そこで、例えば常に新たなデータを収集するような場合でも、新しいデータができるだけはやく閲覧に供することができるような処理を行うデータ管理装置等の実現が望まれていた。   Therefore, for example, even when new data is always collected, it has been desired to realize a data management device or the like that performs processing that allows new data to be browsed as soon as possible.

上述の課題を解決するため、本発明に係るデータ管理装置は、収集した収集データを処理して閲覧可能に管理するデータ管理装置において、収集データを記録する複数の書き込み用記憶装置と、処理を行う収集データと収集データを処理することで作成された索引データを記憶する処理用記憶装置と、収集データ及び収集データを閲覧可能にする索引データを各々記憶する１又は複数の閲覧用記憶装置と、収集データを収集処理して、１の書き込み用記憶装置に記録させ、所定単位毎に処理用記憶装置に複製する処理を行う収集処理手段と、処理用記憶装置に記憶された収集データに基づいて索引データを作成し、収集データと共に処理用記憶装置に記憶させる処理を行うインデックス処理手段と、処理用記憶装置と１の閲覧用記憶装置とを交換処理して、処理用記憶装置を新たな閲覧用記憶装置とし、処理用記憶装置に記憶された収集データを閲覧可能にする処理を行う利用可能処理手段とを備えるものである。 In order to solve the above-described problem, a data management device according to the present invention is a data management device that processes collected data and manages the data so that it can be browsed. Processing storage device for storing collected data to be performed and index data created by processing the collected data, and one or a plurality of browsing storage devices for storing the collected data and the index data for allowing the collected data to be browsed Based on the collected data stored in the processing storage device and the collection processing means for collecting the collected data, recording it in one writing storage device, and copying it to the processing storage device every predetermined unit create an index data Te, and indexing means for processing to be stored in the processing storage device with the collected data, processing for storage and 1 and a viewing storage device And conversion process, the process for storage and for the storage device a new viewing, in which and a available for performing processing to a viewable collected data stored in the processing memory.

本発明によれば、収集処理手段が、収集した収集データを書き込み用記憶装置に記録させていき、所定時間毎に複製処理をし、インデックス処理手段は、処理用記憶装置に記憶された複製に係る収集データに基づいてインデックス処理を行って索引データを作成して処理用記憶装置に記憶させ、利用可能処理手段により収集データを閲覧可能にするようにしたので、索引データの作成時間を短くし、収集データが閲覧に供されるまでの時間を短くすることができる。   According to the present invention, the collection processing means records the collected collected data in the writing storage device, and performs replication processing at predetermined time intervals, and the index processing means stores the replication data stored in the processing storage device. Since index processing is performed based on the collected data, index data is created and stored in the processing storage device, and the collected data can be viewed by the available processing means, the creation time of the index data is shortened. It is possible to shorten the time until the collected data is used for browsing.

本発明の実施の形態１に係るデータ管理装置１００を中心とするシステムの構成を示す図である。It is a figure which shows the structure of the system centering on the data management apparatus 100 which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係るデータ管理装置１００の文書データが閲覧できるようになるまでの流れを説明する図である。It is a figure explaining the flow until it becomes possible to browse the document data of the data management apparatus 100 which concerns on Embodiment 1 of this invention.

実施の形態１．
図１は本発明の実施の形態１に係るデータ管理装置１００を中心とするシステムの構成を示す図である。ここで、同様の機能を有する複数の機器において、特に区別する必要がない場合には、添字を省略することがある。 Embodiment 1 FIG.
FIG. 1 is a diagram showing a system configuration centering on a data management apparatus 100 according to Embodiment 1 of the present invention. Here, in a plurality of devices having the same function, subscripts may be omitted if it is not necessary to distinguish between them.

本実施の形態のシステムにおいては、データ管理装置１００は例えばインターネット等の電気通信回線２００に接続して、通信を行うことができる。ここで、本実施の形態のデータ管理装置１００が収集して管理するデータ（収集データ）としては、電気通信回線２００を流れる信号を受信して発言に係る文書データ（以下、文書データという）を収集し、閲覧できるように管理する。図１に示すように、本実施の形態のデータ管理装置１００は、その用途に応じて各種記憶装置を有している。ここで、本実施の形態における記憶装置については、記憶可能なデータの容量は同じであるものとする。また、特に限定するものではないが、すぐに記憶装置の記録上限を超えない程度（例えば、後述する複製処理を約１００回行える程度）の記憶容量にしておくことが望ましい。   In the system of the present embodiment, the data management apparatus 100 can communicate by connecting to an electric communication line 200 such as the Internet. Here, as the data (collected data) collected and managed by the data management apparatus 100 of the present embodiment, the document data (hereinafter referred to as document data) related to the utterance received from the signal flowing through the telecommunication line 200 is received. Collect and manage it for viewing. As shown in FIG. 1, the data management apparatus 100 according to the present embodiment has various storage devices depending on the application. Here, it is assumed that the storage devices in this embodiment have the same storable data capacity. Although not particularly limited, it is desirable to set the storage capacity so as not to immediately exceed the recording upper limit of the storage device (for example, about 100 times of duplication processing described later).

書き込み用記憶装置１０Ａ、１０Ｂは、管理処理装置５０が収集した文書データを一時的に記憶する。管理処理装置５０は、いずれか一方の書き込み用記憶装置１０に収集した文書データを時系列に記録させ、記録の上限に達したものと判断すると、他方の書き込み用記憶装置１０に収集した文書データを記録させるようにする。   The storage devices 10A and 10B for writing temporarily store the document data collected by the management processing device 50. When the management processing device 50 records the document data collected in one of the writing storage devices 10 in time series and determines that the upper limit of recording has been reached, the document data collected in the other writing storage device 10 To be recorded.

スワップ用記憶装置２０は、主として管理処理装置５０がインデックス処理等によるデータ加工をするためのデータ、処理されたデータ等を記憶するための加工処理用記憶装置となる。このため、書き込み用記憶装置１０の文書データが複製（コピー）される。また、管理処理装置５０がインデックス処理等を行って作成した索引データを複製した文書データとともに記憶する。索引データを記憶したスワップ用記憶装置２０については、交換処理により、１台の閲覧用記憶装置３０と交換されて新たに閲覧用記憶装置３０となって閲覧利用に供される。そして、交換された閲覧用記憶装置３０は新たにスワップ用記憶装置２０となる。   The swap storage device 20 is a processing storage device for storing data for the management processing device 50 to process data by index processing or the like, processed data, and the like. Therefore, the document data in the writing storage device 10 is duplicated (copied). Further, the index data created by the management processing device 50 by performing index processing or the like is stored together with the copied document data. The swap storage device 20 storing the index data is exchanged for one browsing storage device 30 by the exchange process and becomes a browsing storage device 30 for browsing. The exchanged browsing storage device 30 becomes a new swap storage device 20.

閲覧用記憶装置３０Ａ、３０Ｂ、３０Ｃ、３０Ｄは、索引データが作成され、閲覧を行えるようにした文書データが記憶される。索引データは、各閲覧用記憶装置３０が有しており、交換に係る閲覧用記憶装置３０以外は、索引データの再構築等は行われない。ここで、本実施の形態では、４台の閲覧用記憶装置３０を有しているが、閲覧できるデータの数量に応じて台数を増減することができる。   In the browsing storage devices 30A, 30B, 30C, and 30D, index data is created and document data that can be browsed is stored. Each browsing storage device 30 has index data, and the index data is not reconstructed except for the browsing storage device 30 related to the exchange. Here, in the present embodiment, four browsing storage devices 30 are provided, but the number can be increased or decreased according to the amount of data that can be browsed.

管理処理装置５０はデータの管理処理を行う装置である。管理処理装置５０は信号に含まれる文書データを収集して書き込み用記憶装置１０に記録させる収集処理を行い、所定単位毎に複製処理、インデックス処理、交換処理を行って、閲覧利用できるようにする。また、閲覧用端末３００からの要求に基づいて文書データを含む信号を閲覧用端末３００に送る閲覧処理を行う。以上の処理を行うため、収集処理手段５１、インデックス処理手段５２、利用可能処理手段５３及び閲覧処理手段５４を有している。   The management processing device 50 is a device that performs data management processing. The management processing device 50 collects the document data included in the signal and performs a collecting process for recording the document data in the writing storage device 10, and performs a duplication process, an index process, and an exchange process for each predetermined unit so as to be used for browsing. . Further, based on a request from the browsing terminal 300, a browsing process is performed in which a signal including document data is sent to the browsing terminal 300. In order to perform the above-described processing, a collection processing unit 51, an index processing unit 52, an available processing unit 53, and a browsing processing unit 54 are provided.

収集処理手段５１は、電気通信回線２００を流れる信号を受信して文書データを収集し、書き込み用記憶装置１０に記録させる記録処理を行う。そして、記録したスワップ用記憶装置２０に複製（コピー）する複製処理を行う。ここで、本実施の形態の収集処理手段５１は、計時するためのタイマ（図示せず）を有している。また、収集した文書データ数をカウントするためのカウンタ（図示せず）を有している。本実施の形態では、書き込み用記憶装置１０の記録できる文書データの上限を文書データ数により管理する。文書データ数の方が記憶容量よりも簡単にデータを得ることができるからである。他の記憶装置も同様となる。   The collection processing unit 51 receives a signal flowing through the telecommunication line 200, collects document data, and performs a recording process for recording in the writing storage device 10. Then, a duplication process of duplicating (copying) the recorded swap storage device 20 is performed. Here, the collection processing means 51 of the present embodiment has a timer (not shown) for timing. Also, a counter (not shown) for counting the number of collected document data is provided. In the present embodiment, the upper limit of document data that can be recorded in the writing storage device 10 is managed by the number of document data. This is because the number of document data can be obtained more easily than the storage capacity. The same applies to other storage devices.

インデックス処理手段５２は、書き込み用記憶装置１０の文書データがスワップ用記憶装置２０に複製されると、複製された文書データに基づいてインデックス処理を行い、スワップ用記憶装置２０に文書データと共に索引データを記憶させる。インデックス処理とは、文書データを分類分け等し、索引データを作成する処理である。他にも、例えば、文書データのソート等の最適化に関する処理を行うことにより、閲覧の要求に対して応答を速くし、高速な閲覧を行うことができるように最適化する処理を行うようにしてもよい。   When the document data in the writing storage device 10 is copied to the swap storage device 20, the index processing means 52 performs index processing based on the copied document data, and the index data is stored in the swap storage device 20 together with the document data. Remember. The index process is a process for creating index data by classifying document data. In addition, for example, by performing processing related to optimization such as sorting of document data, the processing for optimizing so that the response to the browsing request can be made faster and the browsing can be performed at high speed is performed. May be.

利用可能処理手段５３は、スワップ用記憶装置２０に記憶されたデータを閲覧に供することができるように処理を行う。本実施の形態では、交換処理手段となり、索引データが記憶されたスワップ用記憶装置２０を、ある１台の閲覧用記憶装置３０と交換処理する。ここで、交換は物理的な交換を意味するものではない。閲覧処理手段５４は、閲覧用端末３００からの要求に基づいて文書データを検索し、検索に係る文書データを含む信号を閲覧用端末３００に送る閲覧処理を行う。   The available processing means 53 performs processing so that the data stored in the swap storage device 20 can be used for browsing. In the present embodiment, the swap storage device 20 that serves as an exchange processing unit and that stores the index data is exchanged with a single browsing storage device 30. Here, exchange does not mean physical exchange. The browsing processing unit 54 searches the document data based on a request from the browsing terminal 300 and performs a browsing process of sending a signal including the document data related to the search to the browsing terminal 300.

ここで、管理処理装置５０の各処理手段について、それぞれ異なる専用機器（ハードウェア）で構成することもできるが、例えば、ＣＰＵ（Central Processing Unit ）を中心とする演算制御手段（コンピュータ）でハードウェアを構成し、各部が行う処理の処理手順をあらかじめプログラム化し、ソフトウェア、ファームウェア等で構成しておいてもよい。そして、プログラムを実行により処理を行うことにより、上記の各部が行う処理を実現するようにしてもよい。これらのプログラムに係るデータは、例えば上述した記憶装置とは別の記憶手段（図示せず）に記憶しておくようにする。   Here, each processing means of the management processing device 50 can be configured by different dedicated devices (hardware). For example, the arithmetic control means (computer) centered on a CPU (Central Processing Unit) is used as hardware. The processing procedure of each part may be programmed in advance and configured with software, firmware, or the like. And you may make it implement | achieve the process which said each part performs by performing a process by executing a program. Data related to these programs is stored in, for example, storage means (not shown) different from the storage device described above.

図２は本発明の実施の形態１に係るデータ管理装置１００の文書データが閲覧できるようになるまでの流れを説明する図である。図２に基づいて、さらに詳細に説明する。収集処理手段５１は、電気通信回線２００を流れる信号を受信して文書データを収集し、書き込み用記憶装置１０に記録させる処理を行う（図２（１））。ここで、収集処理手段５１は、書き込み用記憶装置１０Ａ、１０Ｂのいずれに記録させるかを決定し、記録の上限に達するまで一方の書き込み用記憶装置１０に収集した文書データを記録させるようにする。記録上限に達すると他方の書き込み用記憶装置１０に収集した文書データを記録させる。また、所定時間（例えば１時間）毎に書き込み用記憶装置１０に記録したデータをスワップ用記憶装置２０に複製する（図２（２））。ここで、複製処理した後も書き込み用記憶装置１０に記録した文書データは削除せず、記録上限に達するまで蓄積していく。   FIG. 2 is a diagram for explaining a flow until the document data of the data management apparatus 100 according to Embodiment 1 of the present invention can be browsed. Further details will be described with reference to FIG. The collection processing means 51 receives the signal flowing through the telecommunication line 200, collects the document data, and performs a process of recording it in the writing storage device 10 (FIG. 2 (1)). Here, the collection processing means 51 determines which of the writing storage devices 10A and 10B is to be recorded, and records the collected document data in one writing storage device 10 until the upper limit of recording is reached. . When the recording upper limit is reached, the other document storage device 10 records the collected document data. Further, the data recorded in the write storage device 10 is replicated to the swap storage device 20 every predetermined time (for example, one hour) (FIG. 2 (2)). Here, the document data recorded in the storage device for writing 10 is not deleted even after the duplication processing, and is accumulated until the recording upper limit is reached.

インデックス処理手段５２は、書き込み用記憶装置１０の文書データがスワップ用記憶装置２０に複製されると、複製された文書データに基づいて索引データを作成し、作成した索引データを複製した文書データとともにスワップ用記憶装置２０に記憶する（図２（３））。したがって、所定時間の間に増えた文書データを加味して再構築した索引データが作成されることになる。   When the document data in the writing storage device 10 is copied to the swap storage device 20, the index processing means 52 creates index data based on the copied document data, and together with the document data copied from the created index data The data is stored in the swap storage device 20 (FIG. 2 (3)). Accordingly, index data reconstructed taking into account the document data increased during the predetermined time is created.

利用可能処理手段５３は、索引データが記憶されたスワップ用記憶装置２０を、例えば記録上限に達していない閲覧用記憶装置３０と交換する処理を行う（図２（４））。図２では閲覧用記憶装置３０Ａと交換している。これにより、スワップ用記憶装置２０が新たに閲覧用記憶装置３０となり、すぐに閲覧に供することができる。そして、交換に係る閲覧用記憶装置３０が次のスワップ用記憶装置２０となる。ここで、すべての閲覧用記憶装置３０がデータの上限まで記憶している場合には、時間的に古い文書データを記憶している閲覧用記憶装置３０と交換処理を行う。そして、閲覧処理手段５４は、閲覧用端末３００からの要求に基づいて閲覧処理を行う（図２（５））。   The available processing means 53 performs processing for exchanging the swap storage device 20 in which the index data is stored with, for example, the browsing storage device 30 that has not reached the recording upper limit ((4) in FIG. 2). In FIG. 2, it is replaced with a browsing storage device 30A. Thus, the swap storage device 20 becomes a new browsing storage device 30 and can be immediately used for browsing. The browsing storage device 30 related to the replacement becomes the next swap storage device 20. Here, when all the browsing storage devices 30 store up to the upper limit of the data, an exchange process is performed with the browsing storage device 30 that stores the old document data in terms of time. And the browsing process means 54 performs a browsing process based on the request | requirement from the terminal 300 for browsing (FIG. 2 (5)).

ここで、処理時間内に記録上限に達すると、２つの書き込み用記憶装置１０に跨がって記録処理が行われる。このような場合には、時系列的に古い方の文書データを記録する書き込み用記憶装置１０から複製処理、インデックス処理、交換処理を行った後、新しい方の文書データを記録する書き込み用記憶装置１０の処理を行うようにする。   Here, when the recording upper limit is reached within the processing time, the recording process is performed across the two write storage devices 10. In such a case, after performing replication processing, index processing, and exchange processing from the writing storage device 10 that records the older document data in time series, the writing storage device that records the newer document data. 10 processes are performed.

以上のように本実施の形態のデータ管理装置１００によれば、収集処理手段５１は、収集した文書データを書き込み用記憶装置１０に記録させていき、所定時間毎に複製処理をし、インデックス処理手段５２は、複製に係る文書データに基づいてインデックス処理を行って索引データを作成し、利用可能処理手段５３は、索引データが記憶されたスワップ用記憶装置２０と閲覧用記憶装置３０と交換処理して閲覧できるようにしたので、収集しながらもインデックス処理を行えないことにより閲覧利用に供することができない文書データを少なくすることができる。そして、新たに収集した文書データを反映することができるまでのタイムラグを短くすることができる。そして、索引データは閲覧用記憶装置３０毎に作成されることになる。本構成では、閲覧用のすべての文書データに対して、１つの索引データを作成することはないため、インデックス処理の時間を短縮することができる。また、全体として検索データのデータ量を少なくすることができる。時系列にデータを蓄積する場合において、古い文書データのために索引データを新たに再構築する必要がなく、時間的に新しいデータほど閲覧価値があるデータにおいては特に有効である。また、時系列的に新しいデータについてインデックス処理等を行って、古いデータはあらためて処理を行わないような構成であるため、新しい閲覧用の文書データを記憶する閲覧用記憶装置３０を追加するだけで、閲覧用端末３００が閲覧可能な文書データ数を増やすことができる。   As described above, according to the data management apparatus 100 of the present embodiment, the collection processing unit 51 records the collected document data in the writing storage device 10, performs a replication process every predetermined time, and performs an index process. The means 52 performs index processing based on the document data related to replication to create index data, and the usable processing means 53 exchanges the swap storage device 20 and the browsing storage device 30 in which the index data is stored. Thus, it is possible to reduce the amount of document data that cannot be used for browsing due to the inability to perform index processing while collecting. Then, the time lag until the newly collected document data can be reflected can be shortened. The index data is created for each browsing storage device 30. In this configuration, since one index data is not created for all document data for browsing, the index processing time can be shortened. In addition, the amount of search data as a whole can be reduced. In the case of accumulating data in time series, it is not necessary to newly rebuild the index data for the old document data, and this is particularly effective for data that is worth browsing as new data in time. In addition, since index processing or the like is performed on new data in time series and old data is not processed again, it is only necessary to add a browsing storage device 30 for storing new browsing document data. The number of document data that can be browsed by the browsing terminal 300 can be increased.

実施の形態２．
上述の実施の形態１においては、文書データを収集するようにしたが、データ内容については特に限定するものではない。また、記憶装置に記憶可能な上限を文書データ数により管理したが、これに限定するものではない。例えば文書データとは異なるデータのような場合には記憶容量に基づいて行うようにしてもよい。また、上述の実施の形態では、所定時間毎に複製処理を行うようにしたが、例えば所定データ数毎に複製処理をし、インデックス処理、交換処理を行うようにしてもよい。 Embodiment 2. FIG.
In the first embodiment described above, document data is collected, but the data content is not particularly limited. Further, although the upper limit that can be stored in the storage device is managed by the number of document data, the present invention is not limited to this. For example, in the case of data different from the document data, it may be performed based on the storage capacity. In the above-described embodiment, the replication process is performed every predetermined time. However, for example, the replication process may be performed every predetermined number of data, and the index process and the exchange process may be performed.

また、上述の実施の形態では、利用可能処理手段５３は、索引データが記憶されたスワップ用記憶装置２０と閲覧用記憶装置３０とを交換処理することで、閲覧に供することができる交換処理手段とした。交換処理を行う方が速く閲覧に供することができるが、例えば索引データが記憶されたスワップ用記憶装置２０のデータ内容を、閲覧用記憶装置３０に複製処理（データの移動も含む）する複製処理手段としてもよい。   Further, in the above-described embodiment, the available processing unit 53 performs exchange processing between the swap storage device 20 in which the index data is stored and the browsing storage device 30 so that the exchange processing unit can be used for browsing. It was. The exchange process can be used for browsing faster. For example, the data processing of the swap storage device 20 in which the index data is stored is copied to the browsing storage device 30 (including data movement). It may be a means.

１０，１０Ａ，１０Ｂ 書き込み用記憶装置
２０ スワップ用記憶装置
３０，３０Ａ，３０Ｂ，３０Ｃ，３０Ｄ 閲覧用記憶装置
５０ 管理処理装置
５１ 収集処理手段
５２ インデックス処理手段
５３ 利用可能処理手段
５４ 閲覧処理手段
１００ データ管理装置
２００ 電気通信回線
３００ 閲覧用端末 10, 10A, 10B Write storage device 20 Swap storage device 30, 30A, 30B, 30C, 30D Browse storage device 50 Management processing device 51 Collection processing means 52 Index processing means 53 Available processing means 54 Browse processing means 100 Data Management device 200 Telecommunications line 300 Terminal for browsing

Claims (6)

収集した収集データを処理して閲覧可能に管理するデータ管理装置において、
前記収集データを記録する複数の書き込み用記憶装置と、
処理を行う前記収集データと該収集データを処理することで作成された索引データを記憶する処理用記憶装置と、
前記収集データ及び前記収集データを閲覧可能にする索引データを各々記憶する１又は複数の閲覧用記憶装置と、
前記収集データを収集処理して、１の前記書き込み用記憶装置に記録させ、所定単位毎に前記処理用記憶装置に複製する処理を行う収集処理手段と、
前記処理用記憶装置に記憶された前記収集データに基づいて索引データを作成し、前記収集データと共に前記処理用記憶装置に記憶させる処理を行うインデックス処理手段と、
前記処理用記憶装置と１の前記閲覧用記憶装置とを交換処理して、前記処理用記憶装置を新たな閲覧用記憶装置とし、前記処理用記憶装置に記憶された前記収集データを閲覧可能にする処理を行う利用可能処理手段と
を備えることを特徴とするデータ管理装置。 In a data management device that processes collected data and manages it so that it can be viewed,
A plurality of write storage devices for recording the collected data;
A storage device for processing for storing the collected data to be processed and index data created by processing the collected data;
One or a plurality of browsing storage devices each storing the collected data and index data enabling browsing of the collected data;
Collection processing means for collecting the collected data, recording it in one of the write storage devices, and performing a process of copying to the processing storage device every predetermined unit;
Index processing means for creating index data based on the collected data stored in the processing storage device, and storing the collected data together with the collected data in the processing storage device;
The processing storage device and the one browsing storage device are exchanged so that the processing storage device becomes a new browsing storage device, and the collected data stored in the processing storage device can be browsed. A data management apparatus comprising: an available processing means for performing the processing to perform. 収集した収集データを処理して閲覧可能に管理するデータ管理装置において、
前記収集データを記録する複数の書き込み用記憶装置と、
処理を行う前記収集データと該収集データを処理することで作成された索引データを記憶する処理用記憶装置と、
前記収集データ及び前記収集データを閲覧可能にする索引データを各々記憶する１又は複数の閲覧用記憶装置と、
前記収集データを収集処理して、１の前記書き込み用記憶装置に記録させ、所定単位毎に前記処理用記憶装置に複製する処理を行う収集処理手段と、
前記処理用記憶装置に記憶された前記収集データに基づいて索引データを作成し、前記収集データと共に前記処理用記憶装置に記憶させる処理を行うインデックス処理手段と、
前記処理用記憶装置に記憶された前記収集データと前記索引データとを、１の前記閲覧用記憶装置に複製処理して、前記処理用記憶装置に記憶された前記収集データを閲覧可能にする処理を行う利用可能処理手段と
を備えることを特徴とするデータ管理装置。 In a data management device that processes collected data and manages it so that it can be viewed,
A plurality of write storage devices for recording the collected data;
A storage device for processing for storing the collected data to be processed and index data created by processing the collected data;
One or a plurality of browsing storage devices each storing the collected data and index data enabling browsing of the collected data;
Collection processing means for collecting the collected data, recording it in one of the write storage devices, and performing a process of copying to the processing storage device every predetermined unit;
Index processing means for creating index data based on the collected data stored in the processing storage device, and storing the collected data together with the collected data in the processing storage device;
A process of replicating the collected data and the index data stored in the processing storage device to one of the browsing storage devices to enable browsing of the collected data stored in the processing storage device A data management apparatus comprising: an available processing means for performing 前記書き込み用記憶装置、前記処理用記憶装置及び前記閲覧用記憶装置における前記収集データの記憶量を同じにすることを特徴とする請求項１又は２に記載のデータ管理装置。 The data management device according to claim 1 or 2 , wherein the storage amounts of the collected data in the writing storage device, the processing storage device, and the browsing storage device are the same. 前記収集処理手段は、ソーシャルネットワークサービス及び掲示板の少なくとも１つのサービスにて行われた、電気通信回線を介して流布される文書に係るデータを、前記収集データとして収集処理することを特徴とする請求項１〜３のいずれか一項に記載のデータ管理装置。 The collection processing means collects, as the collected data, data related to a document distributed through a telecommunication line performed by at least one of a social network service and a bulletin board service. Item 4. The data management device according to any one of Items 1 to 3 . 収集データを収集処理して、書き込み用記憶装置に記録させ、所定時間毎に処理用記憶装置に複製する処理を行う工程と、
前記処理用記憶装置に複製された収集データに基づいて、前記収集データを閲覧可能にする索引データを作成し、該索引データを前記処理用記憶装置に記憶する工程と、
前記収集データ及び前記索引データを閲覧可能に記憶する１又は複数の閲覧用記憶装置のうち、１の前記閲覧用記憶装置を前記処理用記憶装置と交換処理して、前記処理用記憶装置を新たな閲覧用記憶装置とし、前記処理用記憶装置に記憶された前記収集データを閲覧可能にする工程と
をコンピュータに行わせることを特徴とするデータ管理プログラム。 Collecting the collected data, recording it in the storage device for writing, and performing a process of copying it to the storage device for processing every predetermined time;
Creating index data that allows browsing of the collected data based on the collected data replicated in the processing storage device, and storing the index data in the processing storage device;
Of the one or more browsing storage devices that store the collected data and the index data so as to be browsed, one browsing storage device is exchanged with the processing storage device, and the processing storage device is renewed. and Do browsing storage device, the data management program characterized by causing a step of viewable said collected data stored in the processing storage device to the computer. 収集データを収集処理して、書き込み用記憶装置に記録させ、所定時間毎に処理用記憶装置に複製する処理を行う工程と、
前記処理用記憶装置に複製された収集データに基づいて、前記収集データを閲覧可能にする索引データを作成し、該索引データを前記処理用記憶装置に記憶する工程と、
前記処理用記憶装置に記憶された前記収集データと前記索引データとを、前記収集データ及び前記索引データを閲覧可能に記憶する１又は複数の閲覧用記憶装置のうち、１の前記閲覧用記憶装置に複製処理して、前記処理用記憶装置に記憶された前記収集データを閲覧可能にする工程と
をコンピュータに行わせることを特徴とするデータ管理プログラム。 Collecting the collected data, recording it in the storage device for writing, and performing a process of copying it to the storage device for processing every predetermined time;
Creating index data that allows browsing of the collected data based on the collected data replicated in the processing storage device, and storing the index data in the processing storage device;
One of the browsing storage devices that stores the collected data and the index data stored in the processing storage device so that the collected data and the index data can be browsed. duplicating process, the data management program characterized by causing a step of viewable said collected data stored in the processing storage device to the computer.
JP2012273029A 2012-12-14 2012-12-14 Data management apparatus and data management program Expired - Fee Related JP6033070B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012273029A JP6033070B2 (en) 2012-12-14 2012-12-14 Data management apparatus and data management program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012273029A JP6033070B2 (en) 2012-12-14 2012-12-14 Data management apparatus and data management program

Publications (2)

Publication Number Publication Date
JP2014119846A JP2014119846A (en) 2014-06-30
JP6033070B2 true JP6033070B2 (en) 2016-11-30

Family

ID=51174654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012273029A Expired - Fee Related JP6033070B2 (en) 2012-12-14 2012-12-14 Data management apparatus and data management program

Country Status (1)

Country Link
JP (1) JP6033070B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3578092B2 (en) * 2001-02-15 2004-10-20 日本電信電話株式会社 Document search method and system, document search program, and storage medium storing document search program
JP4219607B2 (en) * 2002-04-03 2009-02-04 三菱電機株式会社 Data search apparatus and server update method
JP5108252B2 (en) * 2006-04-27 2012-12-26 株式会社日立製作所 Index updating method and system
JP4874828B2 (en) * 2007-02-02 2012-02-15 ヤフー株式会社 Method and apparatus for creating search index by community extraction

Also Published As

Publication number Publication date
JP2014119846A (en) 2014-06-30

Similar Documents

Publication Publication Date Title
CN113626525B (en) System and method for implementing scalable data storage services
CN105144142B (en) Use the information storage object of the multiple dimensions of object
US10812560B2 (en) System and method for packet transmission using segment routing
CN105190622B (en) Quick collapse for distributed data base system restores
CN105210062B (en) System scope checkpoint for distributed data base system avoids
CN103116661B (en) A kind of data processing method of database
CN104536904B (en) A kind of method of data management, equipment and system
CN106446159B (en) A kind of method of storage file, the first virtual machine and name node
CN106844108B (en) A kind of date storage method, server and storage system
CN102317901B (en) Methods for object adjustment and devices for remove control, node and storage system
CN104182898A (en) Additional recording method of on-line transaction during night mode for bank system
CN101901275A (en) Distributed storage system and method thereof
CN103631967B (en) A kind of processing method and processing device of the tables of data with independent increment identification field
CN104054071A (en) Method for accessing storage device and storage device
US20230020268A1 (en) Evaluating Recommended Changes To A Storage System
CN105205175A (en) Data operation method and system for distributed database cluster
CN107665219A (en) A kind of blog management method and device
CN104484131A (en) Device and corresponding method for processing data of multi-disk servers
CN110147203A (en) A kind of file management method, device, electronic equipment and storage medium
CN110727664A (en) Method and device for executing target operation on public cloud data
CN104199963A (en) Method and device for HBase data backup and recovery
JP6293709B2 (en) Storage system and storage system program
CN107798063A (en) Snap processing method and snapshot processing unit
CN106506647A (en) A kind of client has the intelligence community cloud storage system of data backup device
CN107220248A (en) A kind of method and apparatus for data storage

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161025

R150 Certificate of patent or registration of utility model

Ref document number: 6033070

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees