CN102576360A - 检索装置及*** - Google Patents
检索装置及*** Download PDFInfo
- Publication number
- CN102576360A CN102576360A CN2009801610420A CN200980161042A CN102576360A CN 102576360 A CN102576360 A CN 102576360A CN 2009801610420 A CN2009801610420 A CN 2009801610420A CN 200980161042 A CN200980161042 A CN 200980161042A CN 102576360 A CN102576360 A CN 102576360A
- Authority
- CN
- China
- Prior art keywords
- result
- retrieval
- request
- storage part
- object data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 claims abstract description 164
- 230000001052 transient effect Effects 0.000 claims description 56
- 230000015654 memory Effects 0.000 claims description 15
- 239000012141 concentrate Substances 0.000 claims description 13
- 238000012217 deletion Methods 0.000 claims description 7
- 230000037430 deletion Effects 0.000 claims description 7
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 abstract description 18
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000006185 dispersion Substances 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000005055 memory storage Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
指令接收部(12)从客户端装置(5)接收检索指令。分析部(30)分析检索指令，制作分别针对多个管理装置(3)的检索请求，该多个管理装置(3)对检索对象数据进行分散管理。第一切换部(32)根据结果存储部(22)中存储的检索结果的数据量，切换第一许可状态和第一禁止状态。请求发送部(14)分别向管理装置(3)发送检索请求，并且在是第一许可状态的情况下，分别向管理装置(3)逐次发送请求规定尺寸量的检索结果的结果请求。结果接收部(16)分别从管理装置(3)逐次接收规定尺寸量的检索结果，并存储在结果存储部(22)中。集中部(34)将结果存储部(22)中存储的检索结果集中，生成集中结果，并从结果存储部(22)中删除已集中的检索结果。集中结果发送部(18)向客户端装置(5)发送集中结果。
Description
技术领域
本发明涉及检索。
背景技术
以往已知有无分享构成的分散检索***，该无分享构成的分散检索***具有：多个管理装置，对检索对象数据进行分散管理；以及检索装置，向各管理装置请求检索，并集中各管理装置的检索结果(例如参照非专利文献1)。
在针对来自客户端装置的检索请求检索大量的检索对象数据的情况下，如果由检索装置保持各管理装置的所有检索结果，则存储器中需要较多的存储容量。因此，在以往的分散检索***中，检索装置每次从客户端装置请求取得集中结果时，向各个管理装置请求检索结果，并将所请求的检索结果集中，返回给客户端装置。
现有技术文献：
非专利文献：
非专利文献1：M.TAMER OZSU et al.，“Principle of DISTRIBUTEDDATABASE SYSTEMS”，PRENTICE HALL；Second Edition，1999.13.2.3Parallel System Architectures.pp.424-430
发明内容
发明要解决的课题
但是，在以往的检索***中，集中结果的取得需要时间。
本发明就是鉴于上述问题而完成的，其目的在于提供一种不增加存储容量而缩短集中结果的取得时间的检索装置及***。
用于解决课题的手段
为了解决上述课题并达到目的，本发明的一个形态涉及的检索装置的特征在于，包括：指令接收部，从客户端装置接收检索指令；分析部，分析所述检索指令，制作分别针对多个管理装置的检索请求，该多个管理装置对检索对象数据进行分散管理；第一切换部，根据结果存储部中存储的针对所述检索请求的检索结果的数据量，切换许可请求所述检索结果的第一许可状态和禁止请求所述检索结果的第一禁止状态，所述结果存储部暂时存储所述检索结果；请求发送部，分别向所述管理装置发送所述检索请求，并且在是所述第一许可状态的情况下，分别向所述管理装置逐次发送请求规定尺寸量的所述检索结果的结果请求；结果接收部，分别从所述管理装置逐次接收所述规定尺寸量的所述检索结果，存储在所述结果存储部中；集中部，将所述结果存储部中存储的所述检索结果集中，生成集中结果，并从所述结果存储部中删除已集中的所述检索结果；以及集中结果发送部，向所述客户端装置发送所述集中结果。
此外，本发明的另一形态涉及的检索***的特征在于，包括：所述检索装置以及经由网络与所述检索装置连接的多个所述管理装置，所述管理装置的每一个包括：请求接收部，从所述检索装置接收所述检索请求，并逐次接收所述结果请求；检索部，从存储所述检索对象数据的数据存储部中逐次检索表示满足所述检索请求的所述检索对象数据的存储位置的地址；第二切换部，根据暂时存储部中存储的所述检索对象数据的数据量，切换许可取得所述检索对象数据的第二许可状态和禁止取得所述检索对象数据的第二禁止状态，所述暂时存储部暂时存储从所述数据存储部取得的所述检索对象数据；取得部，在是所述第二许可状态的情况下，从所述数据存储部取得检索到的所述地址所示的所述检索对象数据，存储到所述暂时存储部中；以及检索结果发送部，每次所述结果请求被接收时，从所述暂时存储部取得所述规定尺寸量的所述检索对象数据，将所取得的所述检索对象数据发送给所述检索装置作为所述检索结果，并从所述暂时存储部删除已发送的所述检索对象数据。
发明效果：
根据本发明，取得了能够不增加存储容量而缩短集中结果的取得时间的效果。
附图说明
图1是表示本实施方式的检索***的概要的框图。
图2是表示本实施方式的检索***的详情的框图。
图3是表示本实施方式的检索装置的状态转变图。
图4是表示本实施方式的管理装置的状态转变图。
图5是表示本实施方式的检索装置的处理顺序的流程图。
图6是表示本实施方式的管理装置的处理顺序的流程图。
具体实施方式
以下，一边参照附图一边详细说明本发明的检索***的实施方式。
图1是表示本实施方式的检索***1的概要构成的框图。如图1所示，包括对检索对象数据进行分散管理的多个管理装置3以及向各管理装置3请求检索并集中各管理装置3的检索结果的检索装置2。检索装置2和多个管理装置3经由网络4相连接。
本实施方式的检索***1是所谓的无分享构成(shared nothing)的分散检索***，多个管理装置3分别独立地具有计算机资源。也就是说，各管理装置3不与其他管理装置共有计算机资源，而是分别独立地管理检索对象数据。由各管理装置3管理的检索对象数据是将检索***1管理的检索对象数据的整体集合分割成部分集合而成的。此外，在本实施方式中，以检索装置2的台数是1台、管理装置3的台数是100台的情况为例进行说明，但检索装置2和管理装置3的台数并不限于此。
此外，网络4上连接有客户端装置5，该客户端装置5命令检索装置2进行检索，并接收检索装置2的集中结果。此外，网络4并不限于无线或有线、LAN(Local Area Network：局域网)或公共通信线路，无论怎样的网络都可以。
图2是表示本实施方式的检索***1的详细构成的一例的框图。如图2所示，检索装置2包括通信部10、存储部20、分析部30、第一切换部32以及集中部34。
通信部10经由网络4与客户端装置5或多个管理装置3之间进行通信，例如能够通过通信接口等已有的通信装置或者CPU(Central ProcessingUnit：中央处理单元)等已有的控制装置加以实现。并且，通信部10包括指令接收部12、请求发送部14、结果接收部16以及集中结果发送部18。此外，关于这些各部分的详情以后叙述。
存储部20存储由检索装置2执行的各种程序或由检索装置2进行的各种处理中使用的信息等。存储部20例如通过HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态驱动器)、存储卡、光盘、ROM(ReadOnly Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)等能够磁性、光学或电气地进行存储的已有存储装置加以实现。并且，存储部20包括结果存储部22。此外，关于结果存储部22的详情以后叙述。
指令接收部12从客户端装置5接收检索指令。检索指令是以检索***1管理的所有检索对象数据(整体集合)作为检索对象的指令。此外，指令接收部12从客户端装置5接收发送指令，该发送指令指示发送由后述的集中部34集中的集中结果。
分析部30对由指令接收部12接收的检索指令进行分析，并制作针对各管理装置3的检索请求。也就是说，分析部30将由指令接收部12接收的检索指令分割为针对由各管理装置3管理的检索对象数据(部分集合)的检索请求。例如，设分析部30分析检索指令的结果是名称为“patent”的数据库中存储的检索对象数据所有都是必要的。该情况下，分析部30针对管理被称为“patent”的数据库的管理装置3，制作db(“patent”)/patent这样的检索式作为检索请求。此外，在该例中，被称为“patent”的数据库的根文件夹(根目录)成为patent。
此外，分析部30制作用于集中针对所制作的各检索请求的检索结果的集中规则。
结果存储部22暂时存储针对由分析部30制作的检索请求的检索结果。在本实施方式中，由RAM实现。
第一切换部32根据结果存储部22中存储的检索结果的数据量，切换许可请求检索结果的第一许可状态和禁止请求检索结果的第一禁止状态。
具体来说，在是第一许可状态时结果存储部22中存储的检索结果的数据量是第一阈值以上的情况下，第一切换部32从第一许可状态切换为第一禁止状态。此外，在是第一禁止状态时结果存储部22中存储的检索结果的数据量是第二阈值以下且该第二阈值小于第一阈值的情况下，第一切换部32从第一禁止状态切换为第一许可状态。
此外，第一切换部32在是第一许可状态的情况下，参照结果存储部22中存储的检索结果的数据量，决定由后述的请求发送部14请求的检索结果的请求尺寸。具体来说，第一切换部32参照第一阈值减去结果存储部22中存储的检索结果的数据量后得到的空闲容量，决定检索结果的请求尺寸。例如，在第一阈值是1GB，结果存储部22中存储的检索结果的数据量是0B的情况下，第一切换部32将针对100台管理装置3的每一个管理装置3的检索结果的请求尺寸决定为10MB。
此外，在本实施方式中，利用存储部20中存储的标志等管理是第一许可状态还是第一禁止状态。并且，第一切换部32通过切换该标志，切换第一许可状态和第一禁止状态。此外，在本实施方式中，预先在存储部20等中存储第一阈值和第二阈值。
请求发送部14向各管理装置3发送由分析部30制作的检索请求。此外，请求发送部14在第一许可状态的情况下向各管理装置3逐次发送请求规定尺寸量的检索结果的结果请求。此外，如前所述，由第一切换部32决定规定尺寸(请求尺寸)。
结果接收部16从各管理装置3逐次接收规定尺寸量的检索结果，并存储在结果存储部22中。此外，在管理装置3发送了所有检索结果的情况下，结果接收部16从该管理装置3接收表示发送了所有检索结果的发送结束信息。在由结果接收部16接收了发送结束信息时，第一切换部32从检索结果的请求对象中排除已发送了发送结束信息的管理装置3。
集中部34将结果存储部22中存储的检索结果集中，生成集中结果，并从结果存储部22中删除已集中的检索结果。具体来说，每次由指令接收部12接收到发送指令时，集中部34按照由分析部30制作的集中规则，集中检索结果。
集中结果发送部18向客户端装置5发送由集中部34生成的集中结果。
此外，关于分析部30、第一切换部32以及集中部34，例如由已有的控制装置加以实现。此外，在本实施方式中，构成为结果接收部16和集中部34并列动作。
图3是表示本实施方式的检索装置2的状态转变的一例的状态转变图。此外，在图3所示的例子中，表示出第一阈值是1GB，第二阈值是700MB的情况下的状态转变。
首先，在检索装置2开始处理的时刻，结果存储部22中没有存储有检索结果。因此，第一切换部32判断为结果存储部22中存储的检索结果的数据量不足1GB，设定为第一许可状态(参照箭头40)。
在第一许可状态下，许可请求检索结果，所以请求发送部14向各管理装置3逐次发送结果请求。随之，结果接收部16从各管理装置3逐次接收检索结果，存储到结果存储部22中。另一方面，集中部34按照来自客户端装置5的发送指令，集中结果存储部22中存储的检索结果，生成集中结果，并从结果存储部22中删除已集中的检索结果。其中，来自客户端装置5的发送指令并不限于逐次进行。因此，在第一许可状态下，存在与从结果存储部22删除的检索结果相比新存储到结果存储部22中的检索结果变多的倾向，从而存在结果存储部22中存储的检索结果的数据量也增加的倾向。
在由第一切换部32判断为结果存储部22中存储的检索结果的数据量不足1GB的期间，继续第一许可状态(参照箭头41)。并且，第一切换部32判断为结果存储部22中存储的检索结果的数据量是1GB以上时，从第一许可状态切换为第一禁止状态(参照箭头42)。
在第一禁止状态下，禁止请求检索结果，所以请求发送部14停止向管理装置3发送结果请求。随之，来自管理装置3的检索结果的发送也停止，由结果接收部16进行的对结果存储部22的检索结果存储也停止。另一方面，集中部34在第一禁止状态下也按照来自客户端装置5的发送指令，集中结果存储部22中存储的检索结果，生成集中结果，并从结果存储部22中删除已集中的检索结果。因此，在第一禁止状态下，存在结果存储部22中存储的检索结果的数据量减少的倾向。
在由第一切换部32判断为结果存储部22中存储的检索结果的数据量超过700MB的期间，继续第一禁止状态(参照箭头43)。并且，第一切换部32判断为结果存储部22中存储的检索结果的数据量是700MB以下时，从第一禁止状态切换为第一许可状态(参照箭头44)。
返回图2，管理装置3包括通信部50、存储部60、检索部70、第二切换部72和取得部74。
通信部50经由网络4与检索装置2之间进行通信，例如能够通过已有的通信装置或已有的控制装置加以实现。并且，通信部50包含请求接收部52和检索结果发送部54。此外，关于这些各部分的详情以后叙述。
存储部60存储由管理装置3执行的各种程序或由管理装置3进行的各种处理中使用的信息等，与检索装置2同样地，能够通过已有的存储装置加以实现。并且，存储部60包括数据存储部62和暂时存储部64。此外，关于这些各部分的详情以后叙述。
请求接收部52从检索装置2接收检索请求。此外，请求接收部52从检索装置2逐次接收结果请求。
数据存储部62存储检索对象数据，例如能够通过HDD等加以实现。数据存储部62作为管理XML(Extensible Markup Language：可扩展标记语言)文件那样的结构化文件的数据库或RDB(relational database：关系数据库)等发挥作用。
检索部70从数据存储部62逐次检索表示满足检索请求的检索对象数据的存储位置的地址。例如，检索部70在通过请求接收部52接收到db(“patent”)/patent这样的检索请求时，从数据存储部62逐次检索满足该检索请求的检索对象数据的地址。
暂时存储部64暂时存储由后述的取得部74从数据存储部62取得的检索对象数据，在本实施方式中，能够通过RAM加以实现。
第二切换部72根据暂时存储部64中存储的检索对象数据的数据量，切换许可取得检索对象数据的第二许可状态和禁止取得检索对象数据的第二禁止状态。
具体来说，在是第二许可状态时暂时存储部64中存储的检索对象数据的数据量是第三阈值以上的情况下，第二切换部72从第二许可状态切换为第二禁止状态。此外，在是第二禁止状态时暂时存储部64中存储的检索对象数据的数据量是第四阈值以下且该第四阈值小于第三阈值的情况下，第二切换部72从第二禁止状态切换为第二许可状态。此外，在本实施方式中，第三阈值及第四阈值是预先设定的。
此外，在本实施方式中，利用存储部60中存储的标志等管理是第二许可状态还是第二禁止状态。并且，第二切换部72通过切换该标志，切换第二许可状态和第二禁止状态。此外，在本实施方式中，预先在存储部60中存储第三阈值和第四阈值。
在是第二许可状态的情况下，取得部74从数据存储部62取得由检索部70检索到的地址所示的检索对象数据，存储到暂时存储部64中。取得部74所进行的检索对象数据的取得仅在第二许可状态下进行，但是，检索部70所进行的检索对象数据的地址检索与第二许可状态和第二禁止状态无关，持续进行检索，直到结束为止。此外，检索对象数据的数据尺寸与地址的数据尺寸相比成为几百倍到几百万倍程度的大尺寸。特别是，在数据存储部62是管理结构化文件的数据库的情况下，存在检索对象数据的数据尺寸与地址的数据尺寸相比显著变大的倾向。
每次由请求接收部52接收到结果请求时，检索结果发送部54从暂时存储部64取得由结果请求指定的规定尺寸量的检索对象数据，将所取得的检索对象数据发送给检索装置2作为检索结果，并从暂时存储部64删除已发送的检索对象数据。例如，在由请求接收部52接收到请求10MB的检索结果的结果请求时，检索结果发送部54从暂时存储部64取得10MB的检索对象数据发送给检索装置2，并从暂时存储部64删除已发送的检索对象数据。此外，在检索结果发送部54发送了由取得部74取得的所有检索对象数据的情况下，向检索装置2发送表示发送了所有检索结果的发送结束信息。
此外，关于检索部70、第二切换部72以及取得部74，例如能够通过已有的控制装置加以实现。此外，在本实施方式中，检索部70、取得部74以及检索结果发送部54构成为进行并列动作。
图4是表示本实施方式的管理装置3的状态转变的一例的状态转变图。此外，在图4所示的例子中，示出第三阈值是100MB、第四阈值是50MB的情况下的状态转变。
首先，在管理装置3开始处理的时刻，暂时存储部64中没有存储有检索对象数据。因此，第二切换部72判断为暂时存储部64中存储的检索对象数据的数据量不足100MB，设定为第二许可状态(参照箭头80)。
在第二许可状态下，许可取得检索对象数据，所以取得部74从数据存储部62逐次取得由检索部70检索到的地址所示的检索对象数据，并存储到暂时存储部64中。另一方面，每当由请求接收部52接收到结果请求时，检索结果发送部54从暂时存储部64取得规定尺寸量的检索对象数据，将所取得的检索对象数据发送给检索装置2作为检索结果，并从暂时存储部64删除已发送的检索对象数据。但是，在检索装置2是第一许可状态的情况下，不从检索装置2发送结果请求，请求接收部52不接收结果请求。因此，在第二许可状态下，存在与从暂时存储部64删除的检索对象数据相比、新存储到暂时存储部64中的检索对象数据变多的倾向，存在暂时存储部64中存储的检索对象数据的数据量也增加的倾向。
在由第二切换部72判断为暂时存储部64中存储的检索对象数据的数据量不足100MB的期间，持续第二许可状态(参照箭头81)。并且，第二切换部72在判断为暂时存储部64中存储的检索对象数据的数据量是100MB以上时，从第二许可状态切换为第二禁止状态(参照箭头82)。
在第二禁止状态下，禁止取得检索对象数据，所以取得部74停止从数据存储部62取得检索对象数据以及对暂时存储部64存储检索对象数据。另一方面，检索结果发送部54即使在第二禁止状态下，在由请求接收部52接收到结果请求时，也从暂时存储部64取得规定尺寸量的检索对象数据，将所取得的检索对象数据发送给检索装置2作为检索结果，并从暂时存储部64删除已发送的检索对象数据。因此，在第二禁止状态下，存在暂时存储部64中存储的检索对象数据的数据量减少的倾向。
在由第二切换部72判断为暂时存储部64中存储的检索对象数据的数据量超过50MB的期间，持续第二禁止状态(参照箭头83)。并且，在第二切换部72判断为暂时存储部64中存储的检索对象数据的数据量是50MB以下时，从第二禁止状态切换为第二许可状态(参照箭头84)。
图5是表示本实施方式的检索装置2中进行处理的顺序流程的一例的流程图。
在步骤S10，指令接收部12从客户端装置5接收检索指令。
在步骤S12，分析部30分析由指令接收部12接收的检索指令，制作针对各管理装置3的检索请求。
在步骤S14，请求发送部14向各管理装置3发送由分析部30制作的检索请求。
在步骤S16，第一切换部32确认是第一许可状态还是第一禁止状态，在是第一许可状态的情况下(步骤S16中“是”)，进入步骤S18，在是第一禁止状态的情况下(步骤S16中“否”)，进入步骤S24。
在步骤S18，第一切换部32参照由结果接收部16接收的发送结束信息(参照步骤S24)，确认是否存在检索结果的请求对象的管理装置3，在存在请求对象的管理装置3的情况下(步骤S18中“是”)，进入步骤S20，在不存在请求对象的管理装置3的情况下(步骤S18中“否”)，进入步骤S24。
在步骤S20，第一切换部32参照结果存储部22中存储的检索结果的数据量，决定向请求对象的管理装置3请求的检索结果的请求尺寸。详细来说，第一切换部32参照检索结果的发送没有完成的管理装置3的台数和结果存储部22中存储的检索结果的数据量，决定向请求对象的管理装置3请求的检索结果的请求尺寸。
在步骤S22，请求发送部14向各管理装置3发送结果请求。
在步骤S24，结果接收部16确认是否从管理装置3接收到检索结果，在接收到检索结果的情况下(步骤S24中“是”)，进入步骤S26，在没有接收到检索结果的情况下(步骤S24中“否”)，进入步骤S33。此外，在管理装置3发送了所有检索结果的情况下，结果接收部16从该管理装置3接收表示发送了所有检索结果的发送结束信息。
在步骤S26，结果接收部16将从管理装置3接收到的规定尺寸量的检索结果存储到结果存储部22中。
在步骤S28，第一切换部32确认是第一许可状态还是第一禁止状态，在是第一许可状态的情况下(步骤S28中“是”)，进入步骤S30，在是第一禁止状态的情况下(步骤S28中“否”)，进入步骤S34。
在步骤S30，第一切换部32确认结果存储部22中存储的检索结果的数据量是否是第一阈值以上，在是第一阈值以上的情况下(步骤S30中“是”)，进入步骤S32，在不是第一阈值以上的情况下(步骤S30中“否”)，进入步骤S34。
在步骤S32，第一切换部32从第一许可状态切换到第一禁止状态。
在步骤S33，指令接收部12确认是否从客户端装置5接收到指示发送集中结果的发送指令，在接收到的情况下(步骤S33中“是”)，进入步骤S34，在没有接收到的情况下(步骤S33中“否”)，进入步骤S16。
在步骤S34，集中部34按照由分析部30制作的集中规则，将结果存储部22中存储的检索结果集中，生成集中结果。
在步骤S35，集中结果发送部18将由集中部34生成的集中结果发送到客户端装置5。
在步骤S36，集中部34从结果存储部22删除已集中的检索结果。
在步骤S38，第一切换部32确认是第一禁止状态还是第一许可状态，在是第一禁止状态的情况下(步骤S38中“是”)，进入步骤S40，在是第一许可状态的情况下(步骤S38中“否”)，进入步骤S44。
在步骤S40，第一切换部32确认结果存储部22中存储的检索结果的数据量是否是第二阈值以下，在是第二阈值以下的情况下(步骤S40中“是”)，进入步骤S42，在不是第二阈值以下的情况下(步骤S40中“否”)，进入步骤S44。
在步骤S42，第一切换部32从第一禁止状态切换为第一许可状态。
在步骤S46，检索装置2确认是否完成了所有集中结果的发送，在完成了所有的情况下(步骤S46中“是”)，结束处理，在没有完成的情况下(步骤S46中“否”)，进入步骤S16。
图6是表示本实施方式的管理装置3中进行的处理的顺序流程的一例的流程图。
在步骤S60，请求接收部52从检索装置2接收检索请求。
在步骤S62，检索部70从数据存储部62逐次检索满足检索请求的检索对象数据的地址。
在步骤S64，取得部74确认是第二许可状态还是第二禁止状态，在是第二许可状态的情况下(步骤S64中“是”)，进入步骤S66，在是第二禁止状态的情况下(步骤S64中“否”)，进入步骤S72。
在步骤S66，取得部74从数据存储部62取得由检索部70检索到的地址所示的检索对象数据，并存储到暂时存储部64中。
在步骤S68，第二切换部72确认暂时存储部64中存储的检索对象数据的数据量是否是第三阈值以上，在是第三阈值以上的情况下(步骤S68中“是”)，进入步骤S70，在不是第三阈值以上的情况下(步骤S68中“否”)，进入步骤S72。
在步骤S70，第二切换部72从第二许可状态切换为第二禁止状态。
在步骤S72，请求接收部52确认是否从检索装置2接收到结果请求，在接收到结果请求的情况下(步骤S72中“是”)，进入步骤S74，在没有接收到结果请求的情况下(步骤S72中“否”)，进入步骤S84。
在步骤S74，在由请求接收部52接收到结果请求时，检索结果发送部54将由结果请求指定的尺寸作为上限，从暂时存储部64取得检索对象数据，将所取得的检索对象数据发送给检索装置2作为检索结果。此外，在检索结果发送部54发送了由取得部74取得的所有检索对象数据的情况下，向检索装置2发送表示发送了所有检索结果的发送结束信息。
在步骤S76，检索结果发送部54从暂时存储部64删除已发送的检索对象数据。
在步骤S78，第二切换部72确认是第二禁止状态还是第二许可状态，在是第二禁止状态的情况下(步骤S78中“是”)，进入步骤S80，在是第二许可状态的情况下(步骤S78中“否”)，进入步骤S84。
在步骤S80，第二切换部72确认暂时存储部64中存储的检索对象数据的数据量是否是第四阈值以下，在是第四阈值以下的情况下(步骤S80中“是”)，进入步骤S82，在不是第四阈值以下的情况下(步骤S80中“否”)，进入步骤S84。
在步骤S82，第二切换部72从第二禁止状态切换为第二许可状态。
在步骤S84，管理装置2确认是否完成了所有检索结果(检索对象数据)的发送，在完成所有的情况下(步骤S84中“是”)，结束处理，在没有完成的情况下(步骤S84中“否”)，进入步骤S62。
此外，本实施方式的检索装置及各管理装置包括CPU等控制装置、ROM或RAM等存储装置、HDD或可移动驱动装置等外部存储装置、显示器等显示装置和键盘或鼠标等输入装置，成为利用了通常的计算机的硬件构成。
如上所述，本实施方式的检索装置向各管理装置请求检索结果，使得结果存储部中存储的检索结果的数据量成为与结果存储部的存储容量相应的数据量。并且，本实施方式的检索装置在从客户端装置被命令取得集中结果的情况下，不向各管理装置请求检索结果，而将结果存储部中存储的检索结果集中，返回给客户端装置。
因此，根据本实施方式的检索装置，即使大量检索到检索结果的情况下，也不会产生缓冲区溢出等，而能够依次处理检索结果，并且能够在不增加存储容量的情况下缩短客户端装置的集中结果取得时间。
例如，本实施方式的检索装置集中100台管理装置的检索结果，在从各管理装置发送了100GB的检索结果的情况下，成为合计10TB的检索结果。即使在这种情况下，本实施方式的检索装置向各管理装置请求检索结果，将结果存储部中存储的检索结果依次集中并返回给客户端装置，使得结果存储部中存储的检索结果的数据量在700MB～1GB程度的范围内。因此，本实施方式的检索装置即使在检索到10TB的检索结果的情况下，也能够依次处理检索结果，取得上述的效果。
此外，本实施方式的各管理装置取得检索对象数据，使得暂时存储部中存储的检索对象数据的数据量成为与暂时存储部的存储容量相对应的数据量。并且，本实施方式的各管理装置在从检索装置被请求取得检索结果时，将暂时存储部中存储的检索对象数据发送到检索装置。
因此，根据本实施方式的各管理装置，即使检索到大量检索结果，作为检索结果取得大量的检索对象数据的情况下，也能够依次处理所取得的检索对象数据而不产生缓冲区溢出等。此外，根据本实施方式的各管理装置，能够不增加存储容量而缩短检索装置进行的检索对象数据的取得时间。
例如，本实施方式的管理装置管理100万件的检索对象数据，其平均数据尺寸是100KB。并且，在从检索装置进行了检索由管理装置管理的所有检索对象数据的检索请求的情况下，100GB的检索对象数据被存储到暂时存储部中。即使在这种情况下，本实施方式的管理装置取得检索对象数据，按照来自检索装置的请求，将暂时存储部中存储的检索对象数据依次发送给检索装置，使得暂时存储部中存储的检索对象数据的数据量在50MB～100MB程度的范围内。因此，本实施方式的管理装置即使在取得了100GB的检索对象数据的情况下，也能够依次处理所取得的检索对象数据，取得上述的效果。
此外，在本实施方式的管理装置中，检索部、取得部以及检索结果发送部构成为并列动作，所以能够提高检索对象数据的取得处理速度。特别是，在本实施方式的管理装置中，并不是控制检索部、取得部以及检索结果发送部进行的并列动作整体，而是根据暂时存储部中存储的检索对象数据的数据量，仅控制取得部进行的检索对象数据的取得，不必进行复杂的控制就能够提高检索对象数据的取得处理速度。
此外，本发明并不原样限定上述实施方式，在实施阶段能够在不脱离其要旨的范围内使构成要素变形来具体化。此外，通过适当组合上述实施方式中公开的多个构成要素，能够形成各种发明。例如，也可以从实施方式中示出的全部构成要素中删除几个构成要素。
例如，也可以通过执行程序来分别实现本实施方式的检索装置及管理装置的功能。
这种情况下，由上述实施方式的检索装置及管理装置分别执行的程序以能够安装的形式或者能够执行的文件形式被存储在计算机可读取的存储介质中，作为计算机程序产品加以提供。此外，上述实施方式的检索装置及管理装置分别执行的程序也可以预先嵌入ROM等加以提供。
由上述实施方式的检索装置及管理装置分别执行的程序成为用于在计算机上实现上述各部的模块结构。作为实际的硬件，CPU从HDD等中将程序读取到RAM上加以执行，由此在计算机上实现上述各部。
工业上的实用性
如上所述，本发明涉及的检索装置及***适用于大量的检索对象数据被检索的分散检索***。
符号说明：
2 检索装置
3 管理装置
5 客户端装置
12 指令接收部
14 请求发送部
16 结果接收部
18 集中结果发送部
22 结果存储部
30 分析部
32 第一切换部
34 集中部
Claims (5)
1.一种检索装置，其特征在于，包括：
指令接收部，从客户端装置接收检索指令；
分析部，分析所述检索指令，制作分别针对多个管理装置的检索请求，该多个管理装置对检索对象数据进行分散管理；
第一切换部，根据结果存储部中存储的针对所述检索请求的检索结果的数据量，切换许可请求所述检索结果的第一许可状态和禁止请求所述检索结果的第一禁止状态，所述结果存储部暂时存储所述检索结果；
请求发送部，分别向所述管理装置发送所述检索请求，并且在是所述第一许可状态的情况下，分别向所述管理装置逐次发送请求规定尺寸量的所述检索结果的结果请求；
结果接收部，分别从所述管理装置逐次接收所述规定尺寸量的所述检索结果，存储在所述结果存储部中；
集中部，将所述结果存储部中存储的所述检索结果集中，生成集中结果，并从所述结果存储部中删除已集中的所述检索结果；以及
集中结果发送部，向所述客户端装置发送所述集中结果。
2.根据权利要求1所述的检索装置，其特征在于，
在是所述第一许可状态时所述结果存储部中存储的所述检索结果的数据量是第一阈值以上的情况下，所述第一切换部从所述第一许可状态切换为所述第一禁止状态，在是所述第一禁止状态时所述结果存储部中存储的所述检索结果的数据量是第二阈值以下且该第二阈值小于所述第一阈值的情况下，所述第一切换部从所述第一禁止状态切换为所述第一许可状态。
3.根据权利要求1所述的检索装置，其特征在于，
在是所述第一许可状态的情况下，所述第一切换部参照所述结果存储部中存储的所述检索结果的数据量，决定所述规定尺寸。
4.一种检索***，包括：权利要求1所述的检索装置以及经由网络与所述检索装置连接的多个所述管理装置，其特征在于，
所述管理装置的每一个包括：
请求接收部，从所述检索装置接收所述检索请求，并逐次接收所述结果请求；
检索部，从存储所述检索对象数据的数据存储部中逐次检索表示满足所述检索请求的所述检索对象数据的存储位置的地址；
第二切换部，根据暂时存储部中存储的所述检索对象数据的数据量，切换许可取得所述检索对象数据的第二许可状态和禁止取得所述检索对象数据的第二禁止状态，所述暂时存储部暂时存储从所述数据存储部取得的所述检索对象数据；
取得部，在是所述第二许可状态的情况下，从所述数据存储部取得检索到的所述地址所示的所述检索对象数据，存储到所述暂时存储部中；以及
检索结果发送部，每次所述结果请求被接收时，从所述暂时存储部取得所述规定尺寸量的所述检索对象数据，将所取得的所述检索对象数据发送给所述检索装置作为所述检索结果，并从所述暂时存储部删除已发送的所述检索对象数据。
5.根据权利要求4所述的检索***，其特征在于，
在是所述第二许可状态时所述暂时存储部中存储的所述检索对象数据的数据量是第三阈值以上的情况下，所述第二切换部从所述第二许可状态切换为所述第二禁止状态，在是所述第二禁止状态时所述暂时存储部中存储的所述检索对象数据的数据量是第四阈值以下且该第四阈值小于所述第三阈值的情况下，所述第二切换部从所述第二禁止状态切换为所述第二许可状态。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2009/066959 WO2011039841A1 (ja) | 2009-09-29 | 2009-09-29 | 検索装置、及びシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102576360A true CN102576360A (zh) | 2012-07-11 |
| CN102576360B CN102576360B (zh) | 2015-04-01 |
Family
ID=43825698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200980161042.0A Active CN102576360B (zh) | 2009-09-29 | 2009-09-29 | 检索装置及*** |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP5514220B2 (zh) |
| CN (1) | CN102576360B (zh) |
| WO (1) | WO2011039841A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106547807A (zh) * | 2015-09-23 | 2017-03-29 | 财团法人工业技术研究院 | 数据分析方法与装置 |
| CN107835328A (zh) * | 2016-09-15 | 2018-03-23 | 精工爱普生株式会社 | 设备管理装置及存储设备管理程序的记录介质 |
| CN107870967A (zh) * | 2016-09-23 | 2018-04-03 | 卡西欧计算机株式会社 | 信息检索装置、信息检索方法、信息检索***、记录介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3004102B2 (ja) * | 1991-10-04 | 2000-01-31 | 株式会社東芝 | データベース演算処理装置 |
| JP4021287B2 (ja) * | 2002-09-09 | 2007-12-12 | 日立ソフトウエアエンジニアリング株式会社 | データベース検索プログラム、データベース検索方法及びデータベース検索装置 |
| WO2005106713A1 (ja) * | 2004-04-28 | 2005-11-10 | Shinji Furusho | 情報処理方法及び情報処理システム |
| US7624118B2 (en) * | 2006-07-26 | 2009-11-24 | Microsoft Corporation | Data processing over very large databases |
-
2009
- 2009-09-29 JP JP2011533981A patent/JP5514220B2/ja active Active
- 2009-09-29 CN CN200980161042.0A patent/CN102576360B/zh active Active
- 2009-09-29 WO PCT/JP2009/066959 patent/WO2011039841A1/ja active Application Filing
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106547807A (zh) * | 2015-09-23 | 2017-03-29 | 财团法人工业技术研究院 | 数据分析方法与装置 |
| CN106547807B (zh) * | 2015-09-23 | 2021-01-22 | 财团法人工业技术研究院 | 数据分析方法与装置 |
| US11086881B2 (en) | 2015-09-23 | 2021-08-10 | Industrial Technology Research Institute | Method and device for analyzing data |
| CN107835328A (zh) * | 2016-09-15 | 2018-03-23 | 精工爱普生株式会社 | 设备管理装置及存储设备管理程序的记录介质 |
| CN107835328B (zh) * | 2016-09-15 | 2019-06-11 | 精工爱普生株式会社 | 设备管理装置及存储设备管理程序的记录介质 |
| US10810186B2 (en) | 2016-09-15 | 2020-10-20 | Seiko Epson Corporation | Device management device, and recording medium storing a device management program |
| CN107870967A (zh) * | 2016-09-23 | 2018-04-03 | 卡西欧计算机株式会社 | 信息检索装置、信息检索方法、信息检索***、记录介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2011039841A1 (ja) | 2011-04-07 |
| CN102576360B (zh) | 2015-04-01 |
| JP5514220B2 (ja) | 2014-06-04 |
| JPWO2011039841A1 (ja) | 2013-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9672235B2 (en) | Method and system for dynamically partitioning very large database indices on write-once tables | |
| US20160275094A1 (en) | Compaction policy | |
| US10049049B2 (en) | Method and system for caching data managed by plural information processing apparatuses | |
| US20020040376A1 (en) | Process for managing data in which existing data item is moved to neighbor page before insertion or after deletion of another data item | |
| CN109690521A (zh) | 一种数据库合并的方法以及装置 | |
| CN102640125A (zh) | 分布式内容存储和取回 | |
| CN103020255A (zh) | 分级存储方法和装置 | |
| CN110958300B (zh) | 一种数据的上传方法、***、装置、电子设备和计算机可读介质 | |
| CN103559229A (zh) | 基于MapFile的小文件管理服务SFMS***及其使用方法 | |
| Fu et al. | Optimized data replication for small files in cloud storage systems | |
| CN111159176A (zh) | 一种海量流数据的存储和读取的方法和*** | |
| KR20220031110A (ko) | 데이터 처리 방법 및 관련 장치 | |
| US8818971B1 (en) | Processing bulk deletions in distributed databases | |
| Changtong | An improved HDFS for small file | |
| CN102576360A (zh) | 检索装置及*** | |
| CN113485635A (zh) | 数据存储方法、装置、设备及存储介质 | |
| CN111625203A (zh) | 一种分级存储的方法、***、设备及介质 | |
| EP3267329A1 (en) | Data processing method having structure of cache index specified to transaction in mobile environment dbms | |
| Yan et al. | Hmfs: efficient support of small files processing over HDFS | |
| US11853229B2 (en) | Method and apparatus for updating cached information, device, and medium | |
| Kvet et al. | Concept of dynamic index management in temporal approach using intelligent transport systems | |
| Anand et al. | Working with cassandra database | |
| US20170177615A1 (en) | TRANSACTION MANAGEMENT METHOD FOR ENHANCING DATA STABILITY OF NoSQL DATABASE BASED ON DISTRIBUTED FILE SYSTEM | |
| CN113544683A (zh) | 数据一般化装置、数据一般化方法、程序 | |
| EL-SAYED et al. | Impact of small files on hadoop performance: literature survey and open points |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |