JP4909290B2 - Stream data processing method, stream data processing program, and stream data processing system - Google Patents
Stream data processing method, stream data processing program, and stream data processing system Download PDFInfo
- Publication number
- JP4909290B2 JP4909290B2 JP2008011786A JP2008011786A JP4909290B2 JP 4909290 B2 JP4909290 B2 JP 4909290B2 JP 2008011786 A JP2008011786 A JP 2008011786A JP 2008011786 A JP2008011786 A JP 2008011786A JP 4909290 B2 JP4909290 B2 JP 4909290B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- stream data
- unit
- information
- sid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、ストリームデータ処理技術に関する。 The present invention relates to a stream data processing technique.
従来、各種センサやICタグ、携帯電話等により様々なデータを収集し、この収集したデータにフィルタ処理を行い、所定の利用先へ流通させるストリームデータ処理技術がある。このようなストリームデータ処理技術として、telegraphCQ(非特許文献1参照)が提案されている。また、このようなストリームデータ処理技術において、受信したデータをDB(データベース)に蓄積し、このデータの検索を可能とする技術も提案されている(非特許文献2参照)。
前記した技術のいずれもが、単一のサーバがストリームデータ処理を実行するものである。つまり、前記した複数のサーバがストリームデータ処理を実行することについては考慮されていない。このため、多数の情報源からストリームデータを受信する場合、システム全体の処理能力が低下してしまうという問題があった。また、サーバが複数のストリームデータの取得先からストリームデータを取得する場合において、このストリームデータの取得先を変更した場合でも、このサーバが一連のストリームデータに対し重複や漏れのないフィルタ処理を行うことについて考慮されていなかった。 In any of the above-described techniques, a single server executes stream data processing. That is, it is not considered that the plurality of servers execute the stream data processing. For this reason, when stream data is received from a large number of information sources, there is a problem that the processing capacity of the entire system is reduced. In addition, when the server acquires stream data from a plurality of stream data acquisition destinations, even if the stream data acquisition destination is changed, the server performs a filtering process without duplication or omission on the series of stream data. Was not taken into account.
そこで、本発明は前記した問題を解決し、様々な情報源からストリームデータを受信する場合であっても、システム全体の処理能力が低下しないようにし、かつ、サーバが一連のストリームデータに対し重複や漏れのないフィルタ処理を行うことを目的とする。 Therefore, the present invention solves the above-described problem, and even when stream data is received from various information sources, the processing capacity of the entire system is not deteriorated, and the server duplicates a series of stream data. The purpose is to perform filtering without leaks.
請求項1に記載の発明は、(1)複数の情報源端末より送信されたストリームデータを蓄積する複数のデータ蓄積装置と、(2)このデータ蓄積装置から取得した前記ストリームデータに対しフィルタ処理を実行する複数のフィルタ処理装置と、(3)前記ストリームデータの種別を示すSIDごとに、このSIDを持つストリームデータに対し実行すべき前記フィルタ処理およびそのフィルタ処理の適用手順を示した処理手順情報を前記フィルタ処理装置へ送信する情報管理装置とを備えるストリームデータ処理システムにおけるストリームデータ処理方法であって、前記データ蓄積装置はそれぞれ、前記ストリームデータを蓄積する蓄積データ記憶部と、前記ストリームデータの前記蓄積データ記憶部への出力および自身のキュー部への蓄積を行う1以上の追記部と、前記蓄積データ記憶部から前記ストリームデータを取得し、この取得したストリームデータを前記追記部へ送信する蓄積データ取得部とを備え、前記情報管理装置は、外部装置から、前記フィルタ処理装置による前記ストリームデータの取得先となる追記部の変更と、前記取得先となる追記部が変更されるストリームデータのSIDとを含むキュータイプ変更通知を受信したとき、前記処理手順情報のうち、前記ストリームデータのSIDに関する情報に前記追記部の変更内容を反映し、前記データ蓄積装置へ、前記キュータイプ変更通知を送信し、前記新たな取得先となる追記部を備える前記データ蓄積装置は、前記新たな取得先となる追記部へ、前記キュータイプ変更通知を送信し、前記キュータイプ変更通知を受信した追記部は、当該追記部での処理中のストリームデータのSIDと、前記キュータイプ変更通知の受信時刻とを前記データ蓄積装置の記憶部の追記部情報に記録し、前記蓄積データ取得部は、前記蓄積データ記憶部から前記ストリームデータを取得するとき、前記記憶部の追記部情報を参照し、前記取得したストリームデータの送信先となる前記追記部のキュータイプが変更されたと判断した場合、前記追記部情報に示される前記キュータイプ変更通知の受信時刻と、前記取得したストリームデータの受信時刻とを参照して、そのストリームデータの受信時刻が前記キュータイプの変更通知の受信時刻より前の前記ストリームデータを、前記変更前の追記部へ送信し、その受信時刻が前記キュータイプの変更通知の受信時刻以降の前記ストリームデータを、前記変更前の追記部へ送信しないことを特徴とするストリームデータ処理方法とした。
The invention according to
請求項6に記載の発明は、(1)複数の情報源端末より送信されたストリームデータを蓄積する蓄積データ記憶部、前記ストリームデータの前記蓄積データ記憶部への出力と自身のキュー部への蓄積を行う1以上の追記部、および、前記蓄積データ記憶部から前記ストリームデータを取得し、この取得したストリームデータを前記追記部へ送信する蓄積データ取得部を備える複数のデータ蓄積装置と、(2)このデータ蓄積装置から取得した前記ストリームデータに対しフィルタ処理を実行する複数のフィルタ処理装置と、(3)前記ストリームデータの種別を示すSIDごとに、このSIDを持つストリームデータに対し実行すべき前記フィルタ処理およびそのフィルタ処理の適用手順を示した処理手順情報を前記フィルタ処理装置へ送信する情報管理装置とを備えるストリームデータ処理システムに用いられるコンピュータである前記情報管理装置において、外部装置から、前記フィルタ処理装置による前記ストリームデータの取得先となる追記部の変更と、前記取得先となる追記部が変更されるストリームデータのSIDとを含むキュータイプ変更通知を受信するステップと、前記処理手順情報のうち、前記ストリームデータのSIDに関する情報に前記追記部の変更内容を反映するステップと、前記データ蓄積装置へ、前記キュータイプ変更通知を送信するステップと、を実行させ、前記新たな取得先となる追記部を備えるコンピュータである前記データ蓄積装置に、前記新たな取得先となる追記部へ、前記キュータイプ変更通知を送信するステップと、前記キュータイプ変更通知を受信した追記部において、当該追記部での処理中のストリームデータのSIDと、前記キュータイプ変更通知の受信時刻とを前記データ蓄積装置の記憶部の追記部情報に記録するステップと、を実行させ、前記蓄積データ記憶部から前記ストリームデータを取得するとき、前記記憶部の追記部情報を参照し、前記取得したストリームデータの送信先となる前記追記部のキュータイプが変更されたと判断した場合、前記追記部情報に示される前記キュータイプ変更通知の受信時刻と、前記取得したストリームデータの受信時刻とを参照して、そのストリームデータの受信時刻が前記キュータイプの変更通知の受信時刻より前の前記ストリームデータを、前記変更前の追記部へ送信させ、その受信時刻が前記キュータイプの変更通知の受信時刻以降の前記ストリームデータを、前記変更前の追記部へ送信させないことを特徴とするストリームデータ処理プログラムとした。 The invention according to claim 6 is: (1) an accumulated data storage unit for accumulating stream data transmitted from a plurality of information source terminals, an output of the stream data to the accumulated data storage unit, and an own queue unit A plurality of data storage devices including one or more additional recording units that perform storage, and an accumulated data acquisition unit that acquires the stream data from the stored data storage unit and transmits the acquired stream data to the additional recording unit; 2) A plurality of filter processing devices that execute filter processing on the stream data acquired from the data storage device, and (3) for each SID that indicates the type of the stream data, for the stream data having this SID. Processing procedure information indicating the filtering processing and the application procedure of the filtering processing is transmitted to the filtering device In the information management apparatus, which is a computer used in a stream data processing system including the information management apparatus, a change of the appending unit that is the acquisition destination of the stream data by the filter processing apparatus from an external device, and the acquisition destination And a step of receiving a queue type change notification including the SID of stream data to be changed, and a step of reflecting the change contents of the write-once portion in the information regarding the SID of the stream data in the processing procedure information. Transmitting the queue type change notification to the data storage device, and adding the new acquisition destination to the data storage device, which is a computer including an additional recording unit to be the new acquisition destination. Sending the queue type change notification to a section, and the queue type In the appending unit that has received the update notification, the step of recording the SID of the stream data being processed in the appending unit and the reception time of the queue type change notification in the appending unit information of the storage unit of the data storage device; When the stream data is acquired from the accumulated data storage unit, it is determined that the queue type of the additional recording unit that is the transmission destination of the acquired stream data is changed by referring to the additional recording unit information of the storage unit In this case, the reception time of the queue type change notification is referred to the reception time of the queue type change notification indicated in the additional recording section information and the reception time of the acquired stream data. The previous stream data is transmitted to the post-change appending unit, and the reception time is received by the queue type change notification. The stream data processing program is characterized in that the stream data after the transmission time is not transmitted to the post-change appending unit.
請求項7に記載の発明は、(1)複数の情報源端末より送信されたストリームデータを蓄積する蓄積データ記憶部、前記ストリームデータの前記蓄積データ記憶部への出力と自身のキュー部への蓄積を行う1以上の追記部、および、前記蓄積データ記憶部から前記ストリームデータを取得し、この取得したストリームデータを前記追記部へ送信する蓄積データ取得部を備える複数のデータ蓄積装置と、(2)このデータ蓄積装置から取得した前記ストリームデータに対しフィルタ処理を実行する複数のフィルタ処理装置と、(3)前記ストリームデータの種別を示すSIDごとに、このSIDを持つストリームデータに対し実行すべき前記フィルタ処理およびそのフィルタ処理の適用手順を示した処理手順情報を前記フィルタ処理装置へ送信する情報管理装置とを備えるストリームデータ処理システムであって、前記情報管理装置は、外部装置から、前記フィルタ処理装置による前記ストリームデータの取得先となる追記部の変更と、前記取得先となる追記部が変更されるストリームデータのSIDとを含むキュータイプ変更通知を受信したとき、前記処理手順情報のうち、前記ストリームデータのSIDに関する情報に前記追記部の変更内容を反映し、前記ストリームデータの新たな取得先となる前記追記部を備える前記データ蓄積装置へ、前記キュータイプ変更通知を送信するデータ再フィルタ制御部を備え、前記データ蓄積装置は、前記キュータイプ変更通知を受信したとき、前記新たな取得先となる追記部へ、前記キュータイプ変更通知を送信するプロセス管理部を備え、前記追記部は、前記キュータイプ変更通知を受信したとき、当該追記部での処理中のストリームデータのSIDと、前記キュータイプ変更通知の受信時刻とを前記データ蓄積装置の記憶部の追記部情報に記録し、前記蓄積データ取得部は、前記蓄積データ記憶部から前記ストリームデータを取得するとき、前記記憶部の追記部情報を参照し、前記取得したストリームデータの送信先となる前記追記部のキュータイプが変更されたと判断した場合、前記追記部情報に示される前記キュータイプ変更通知の受信時刻と、前記取得したストリームデータの受信時刻とを参照して、そのストリームデータの受信時刻が前記キュータイプの変更通知の受信時刻より前の前記ストリームデータを、前記変更前の追記部へ送信し、その受信時刻が前記キュータイプの変更通知の受信時刻以降の前記ストリームデータを、前記変更前の追記部へ送信しないことを特徴とするストリームデータ処理システムとした。 The invention according to claim 7 is: (1) an accumulated data storage unit for accumulating stream data transmitted from a plurality of information source terminals, an output of the stream data to the accumulated data storage unit, and an own queue unit A plurality of data storage devices including one or more additional recording units that perform storage, and an accumulated data acquisition unit that acquires the stream data from the stored data storage unit and transmits the acquired stream data to the additional recording unit; 2) A plurality of filter processing devices that execute filter processing on the stream data acquired from the data storage device, and (3) for each SID that indicates the type of the stream data, for the stream data having this SID. Processing procedure information indicating the filtering processing and the application procedure of the filtering processing is transmitted to the filtering device A stream data processing system comprising: an information management device, wherein the information management device changes, from an external device, a change in an additional recording unit that is an acquisition destination of the stream data by the filter processing device, and an additional writing that is the acquisition destination When the queue type change notification including the SID of the stream data to be changed is received, the change content of the appending unit is reflected in the information regarding the SID of the stream data in the processing procedure information, and the stream data A data refilter control unit that transmits the queue type change notification to the data storage device including the appending unit as a new acquisition destination, and when the data storage device receives the queue type change notification, A process management unit that transmits the queue type change notification to the appending unit as a new acquisition destination, When the recording / adding unit receives the queue type change notification, the recording unit adds the SID of the stream data being processed in the additional recording unit and the reception time of the queue type change notification to the appending unit information of the storage unit of the data storage device When the stream data is acquired from the stored data storage unit, the stored data acquisition unit refers to the additional recording unit information of the storage unit, and transmits the acquired stream data to the additional recording unit. When it is determined that the queue type has been changed, the reception time of the stream data is determined by referring to the reception time of the queue type change notification indicated in the additional recording unit information and the reception time of the acquired stream data. The stream data prior to the reception time of the type change notification is transmitted to the appending unit before the change, and the reception time is the queue The stream data processing system is characterized in that the stream data after the reception time of the type change notification is not transmitted to the post-change appending unit.
このようにすることで、ストリームデータ処理システムは、複数のデータ蓄積装置および複数のフィルタ処理装置を用いるので、様々な情報源からストリームデータを受信する場合であっても、システム全体の処理能力が低下しないようにすることができる。また、フィルタ処理装置がストリームデータの取得先となるデータ蓄積装置(データ蓄積装置の追記部)を変更した場合でも、フィルタ処理装置は一連のストリームデータに対し、漏れや重複なくフィルタ処理を行うことができる。 By doing so, the stream data processing system uses a plurality of data storage devices and a plurality of filter processing devices, so that even when stream data is received from various information sources, the processing capacity of the entire system can be improved. It can be prevented from decreasing. Even when the filter processing device changes the data storage device (data recording device appending unit) from which the stream data is acquired, the filter processing device performs the filtering process on a series of stream data without omission or duplication. Can do.
請求項2に記載の発明は、請求項1に記載のストリームデータ処理方法において、前記情報管理装置が、前記情報源端末から、前記SIDを含む当該ストリームデータの送信先割り当て要求を受信したとき、記憶部に記憶された、前記SIDごとに、当該SIDのストリームデータの送信先であるデータ蓄積装置の識別情報を示したシステム情報を参照して、当該情報源端末へこのストリームデータの送信先である前記データ蓄積装置の識別情報を送信し、前記情報源端末は、前記情報管理装置から送信された識別情報に対応する前記データ蓄積装置へ前記ストリームデータを送信し、前記データ蓄積装置の蓄積データ取得部はそれぞれ、前記ストリームデータを取得したとき、この取得したストリームデータを前記追記部に出力するとともに、前記蓄積データ記憶部に出力し、前記フィルタ処理装置は、前記データ蓄積装置の追記部のキュー部におけるキュー状態に基づき、前記ストリームデータの取得先となる前記データ蓄積装置を選択し、前記選択されたデータ蓄積装置の追記部から前記ストリームデータを取得し、前記情報管理装置から受信した前記処理手順情報と、前記取得したストリームデータに付されたSIDとを参照して、前記取得したストリームデータに対し実行すべきフィルタ処理を決定し、前記決定したフィルタ処理を実行し、前記データ蓄積装置はそれぞれ、前記情報源端末からストリームデータを受信し、この受信したストリームデータを前記蓄積データ記憶部に出力したとき、このストリームデータのSIDと、このストリームデータの受信時刻と、自データ蓄積装置の識別情報およびこのストリームデータの記憶領域を示す情報とを対応付けた追記データ位置情報を作成し、前記情報管理装置へ送信し、前記情報管理装置は、前記データ蓄積装置それぞれから送信された前記追記データ位置情報を記憶部に記憶し、前記外部装置から、当該ストリームデータのSIDおよび受信時刻を含む前記ストリームデータの検索要求を受信したとき、前記検索要求に含まれる前記SIDおよび前記受信時刻をキーとして、前記記憶部から、当該ストリームデータに関する前記追記データ位置情報を検索し、前記検索した追記データ位置情報を前記外部装置へ送信することを特徴とするストリームデータ処理方法とした。 According to a second aspect of the present invention, in the stream data processing method according to the first aspect, when the information management apparatus receives a transmission destination assignment request for the stream data including the SID from the information source terminal, For each SID stored in the storage unit, with reference to the system information indicating the identification information of the data storage device that is the transmission destination of the stream data of the SID, the transmission destination of the stream data to the information source terminal The identification information of the data storage device is transmitted, and the information source terminal transmits the stream data to the data storage device corresponding to the identification information transmitted from the information management device, and the stored data of the data storage device Each of the acquisition units outputs the acquired stream data to the appending unit when acquiring the stream data. Output to the accumulated data storage unit, the filter processing device selects the data storage device from which the stream data is acquired based on the queue state in the queue unit of the appending unit of the data storage device, and the selection The stream data obtained from the appending unit of the data storage device obtained and the stream data obtained with reference to the processing procedure information received from the information management device and the SID attached to the obtained stream data The filter processing to be executed is determined, the determined filter processing is executed, and each of the data storage devices receives stream data from the information source terminal, and stores the received stream data in the stored data storage unit. When output, the SID of this stream data, the reception time of this stream data, Additional write data position information in which identification information of the data storage device and information indicating the storage area of the stream data are associated with each other is created and transmitted to the information management device, and the information management device is transmitted from each of the data storage devices. When the stream data search request including the SID of the stream data and the reception time is received from the external device, the SID included in the search request and the The stream data processing method is characterized in that the additional data position information regarding the stream data is retrieved from the storage unit using the reception time as a key, and the retrieved additional data position information is transmitted to the external device.
このような方法によれば、ストリームデータ処理システムは、複数のデータ蓄積装置および複数のフィルタ処理装置を用いるので、様々な情報源からストリームデータを受信する場合であっても、システム全体の処理能力が低下しないようにすることができる。また、このフィルタ処理装置はそれぞれ、データ蓄積装置からストリームデータを取得するとき、各データ蓄積装置におけるキュー状態に基づき、ストリームデータを取得するデータ蓄積装置を決定する。例えば、フィルタ処理装置は、より入力スループットが大きいデータ蓄積装置からストリームデータを取得するようにする。これにより、フィルタ処理装置同士で処理負荷の情報をやりとりしなくても、各フィルタ処理装置同士のフィルタ処理負荷のバランスをとることができる。さらに、データ蓄積装置はそれぞれ、この情報源端末から受信したストリームデータをキュー部に送信するとともに、蓄積データ記憶部にも蓄積する。そして、データ蓄積装置はそれぞれ、自データ蓄積装置に蓄積したストリームデータの記憶位置を情報管理装置に送信し、情報管理装置は、この記憶位置(追記データ位置情報)を記憶部に記憶する。このようにすることで、情報管理装置は外部装置から再フィルタ処理の対象となるストリームデータの検索要求を受け付けたとき、このストリームデータの記憶位置を外部装置へ応答することができる。つまり、外部装置は、再フィルタ処理の対象のストリームデータの記憶位置を知ることができる。なお、このような追記データ位置情報を受信した外部装置は、情報管理装置へ再フィルタ処理の指示を送信するとき、この追記データ位置情報をそのまま送信してしてもよいし、この追記データ位置情報に示されるストリームデータのうち、所定のストリームデータを選択して、再フィルタ処理の指示を送信してもよい。 According to such a method, since the stream data processing system uses a plurality of data storage devices and a plurality of filter processing devices, even when receiving stream data from various information sources, the processing capacity of the entire system Can be prevented from dropping. In addition, when each of the filter processing devices acquires stream data from the data storage device, the filter processing device determines a data storage device from which the stream data is acquired based on a queue state in each data storage device. For example, the filter processing device acquires stream data from a data storage device having a higher input throughput. Thereby, even if it does not exchange the processing load information between filter processing apparatuses, the filter processing load of each filter processing apparatus can be balanced. Further, each data storage device transmits the stream data received from the information source terminal to the queue unit and also stores it in the stored data storage unit. Each of the data storage devices transmits the storage position of the stream data stored in the own data storage device to the information management device, and the information management device stores this storage location (additional data position information) in the storage unit. In this way, when the information management apparatus receives a search request for stream data to be refiltered from the external apparatus, the information management apparatus can respond to the storage position of the stream data to the external apparatus. That is, the external device can know the storage position of the stream data to be refiltered. The external device that has received such additional write data position information may transmit the additional write data position information as it is when transmitting the refilter processing instruction to the information management apparatus. Of the stream data indicated in the information, a predetermined stream data may be selected and a refiltering instruction may be transmitted.
請求項3に記載の発明は、請求項2に記載のフィルタ処理方法において、前記情報管理装置が、情報源端末から、前記SIDを含む当該ストリームデータの送信先割り当て要求を受信したとき、記憶部に記憶された、前記SIDごとに、当該SIDのストリームデータの送信先であるデータ蓄積装置の識別情報を示したシステム情報を参照して、当該情報源端末へこのストリームデータの送信先である前記データ蓄積装置の識別情報を送信し、前記外部装置から、前記再フィルタ処理の対象であるストリームデータに関する追記データ位置情報と前記再フィルタ処理の内容とを示した再フィルタ指示情報を受信したとき、前記再フィルタ処理の対象とするストリームデータに用いる再フィルタ用SIDを発行し、前記記憶部のシステム情報に、前記再フィルタ用SIDと、このSIDを持つストリームデータを蓄積するデータ蓄積装置の識別情報とを対応付けた情報を追加し、前記記憶部の前記処理手順情報に、前記発行した再フィルタ用SIDと、このSIDを持つストリームデータに対する前記再フィルタ処理の内容と対応付けた情報を追加することで、前記再フィルタ処理の内容を前記処理手順情報に反映し、前記再フィルタ処理の内容を反映した処理手順情報を、前記フィルタ処理装置へ送信し、前記複数のデータ蓄積装置のうち、いずれか1つのデータ蓄積装置を選択し、この選択したデータ蓄積装置へ前記発行した再フィルタ用SIDを含む前記再フィルタ処理指示情報を送信し、前記再フィルタ処理指示情報を受信したデータ蓄積装置は、前記受信した再フィルタ指示情報に示される前記データ蓄積装置の記憶領域から、前記再フィルタ処理の対象であるストリームデータを取得し、前記取得した再フィルタ処理の対象であるストリームデータに前記再フィルタ用SIDを付与し、前記再フィルタ指示情報に含まれる再フィルタ用SIDをキーとして、前記情報管理装置から、このデータ蓄積装置が接続すべき前記データ蓄積装置の識別情報を取得し、前記取得した識別情報に示される前記データ蓄積装置へ接続して、このデータ蓄積装置へ前記ストリームデータを送信し、前記フィルタ処理装置は、前記データ蓄積装置の追記部から、前記再フィルタ用SIDを持つストリームデータを取得したとき、前記情報管理装置から受信した前記再フィルタ処理の内容を反映した処理手順情報を参照して、前記フィルタ処理を実行することを特徴とするストリームデータ処理方法とした。 According to a third aspect of the present invention, in the filter processing method according to the second aspect, when the information management apparatus receives a transmission destination assignment request for the stream data including the SID from the information source terminal, the storage unit The system information indicating the identification information of the data storage device that is the transmission destination of the stream data of the SID is stored for each SID, and the transmission destination of the stream data to the information source terminal is referred to When transmitting the identification information of the data storage device and receiving from the external device refilter instruction information indicating additional data position information regarding the stream data to be refiltered and the content of the refilter processing, Issue a refilter SID to be used for the stream data to be refiltered, and store it in the system information of the storage Information that associates the re-filter SID with identification information of a data storage device that stores stream data having the SID is added, and the issued re-filter SID and the processing procedure information in the storage unit are added. By adding information associated with the contents of the refiltering process for the stream data having this SID, the contents of the refiltering process are reflected in the processing procedure information, and the process reflecting the contents of the refiltering process is performed. Procedure information is transmitted to the filter processing device, one of the plurality of data storage devices is selected, and the re-filter including the re-filter SID issued to the selected data storage device is selected. The data storage device that has transmitted the filtering process instruction information and received the refiltering instruction information receives the received refiltering instruction. The stream data that is the target of the refiltering process is acquired from the storage area of the data storage device indicated in the information, and the refiltering SID is given to the stream data that is the target of the acquired refiltering process, Using the refilter SID included in the refilter instruction information as a key, the data management device acquires identification information of the data storage device to be connected to the data storage device from the information management device, and the data indicated by the acquired identification information When connecting to a storage device and transmitting the stream data to the data storage device, the filter processing device acquires the stream data having the SID for refiltering from the additional recording unit of the data storage device, and the information Refer to the processing procedure information reflecting the contents of the re-filtering process received from the management apparatus, and The stream data processing method is characterized in that filter processing is executed.
このような方法によれば、外部装置は、情報管理装置から、再フィルタ処理の対象のストリームデータの記憶位置を受信することができる。つまり、外部装置は、情報管理装置に、この再フィルタ処理の対象のストリームデータの記憶位置を含む再フィルタ指示情報を送信する。そして、この情報管理装置は、システム内のデータ蓄積装置に、この再フィルタ処理指示情報に示されるデータ蓄積装置から当該ストリームデータを取得させる。そして、このストリームデータを取得したデータ蓄積装置は、このストリームデータを自データ蓄積装置のキュー部に流し込む。次に、フィルタ処理装置は、このデータ蓄積装置のキュー部に流し込まれた再フィルタ処理の対象のストリームデータを取得すると、情報管理装置から受信しておいた処理手順情報(再フィルタ処理の内容を反映した処理手順情報)を参照して、このストリームデータに対し、再フィルタ処理を実行することができる。 According to such a method, the external apparatus can receive the storage position of the stream data to be refiltered from the information management apparatus. That is, the external device transmits refilter instruction information including the storage position of the stream data to be refiltered to the information management device. Then, the information management device causes the data storage device in the system to acquire the stream data from the data storage device indicated by the refilter processing instruction information. Then, the data storage device that has acquired this stream data flows this stream data into the queue section of its own data storage device. Next, when the filter processing apparatus acquires the stream data to be refiltered into the queue unit of the data storage apparatus, the filter processing apparatus receives the processing procedure information received from the information management apparatus (the contents of the refiltering process). With reference to the reflected processing procedure information, re-filtering processing can be executed on this stream data.
請求項4に記載の発明は、請求項3に記載のストリームデータ処理方法において、前記情報管理装置が、前記外部装置から、前記再フィルタ処理の対象とするストリームデータのSID、受信時刻および当該ストリームデータに対し実行すべき再フィルタ処理の内容を示した再フィルタ指示情報を受信したとき、前記再フィルタ処理の対象とするストリームデータのSIDおよび受信時刻をキーとして、前記記憶部から、当該ストリームデータに関する前記追記データ位置情報を検索し、前記検索した追記データ位置情報および前記再フィルタ処理の内容を示した再フィルタ指示情報を、前記複数のデータ蓄積装置のうち、いずれか1つのデータ蓄積装置へ送信することを特徴とするストリームデータ処理方法とした。 According to a fourth aspect of the present invention, in the stream data processing method according to the third aspect, the information management apparatus receives an SID, a reception time, and a stream of the stream data to be refiltered from the external apparatus. When refilter instruction information indicating the content of the refilter process to be performed on the data is received, the stream data is received from the storage unit using the SID and reception time of the stream data to be refiltered as a key. The postscript data position information relating to the rewrite processing is searched for, and the refilter instruction information indicating the content of the refilter process is sent to any one of the plurality of data storage devices. The stream data processing method is characterized by transmitting.
このような方法によれば、情報管理装置は、外部装置へ再フィルタ処理の対象のストリームデータに関する追記データ位置情報を送信しなくても、フィルタ処理装置において再フィルタ処理を実行することができる。 According to such a method, the information management apparatus can execute the refiltering process in the filter processing apparatus without transmitting additional data position information regarding the stream data to be refiltered to the external apparatus.
請求項5に記載の発明は、請求項3または請求項4に記載のストリームデータ処理方法において、前記情報管理装置が、前記受信した再フィルタ指示情報に示される再フィルタ処理の内容が、当該ストリームデータに対するウィンドウ処理を含むか否かを判断し、前記受信した再フィルタ指示情報に示される再フィルタ処理の内容が、当該ストリームデータに対するウィンドウ処理を含まないと判断した場合、前記再フィルタ処理指示情報の送信先である前記データ蓄積装置を選択するとき、前記記憶部から検索された当該ストリームデータに関する追記データ位置情報を、当該ストリームデータを有するデータ蓄積装置ごとに分け、前記分けた追記データ位置情報を前記再フィルタ指示情報に含め、当該ストリームデータを有するデータ蓄積装置それぞれへ送信することを特徴とするストリームデータ処理方法とした。 According to a fifth aspect of the present invention, in the stream data processing method according to the third or fourth aspect, the content of the refiltering process indicated in the received refiltering instruction information by the information management device is the stream. If it is determined whether or not the window processing for the data is included, and the content of the refiltering process indicated in the received refiltering instruction information does not include the window processing for the stream data, the refiltering instruction information When the data storage device that is the transmission destination is selected, the additional write data position information related to the stream data retrieved from the storage unit is divided for each data storage device having the stream data, and the divided additional write data position information Is included in the refilter instruction information, and the data storage having the stream data is included. And a stream data processing method and transmitting to the device, respectively.
このような方法によれば、情報管理装置は、再フィルタ処理の内容が、当該ストリームデータに対するウィンドウ処理を行う必要がなければ、当該ストリームデータを有するデータ蓄積装置それぞれが、自データ蓄積装置の蓄積データ記憶部からストリームデータを取得し、追記部に流し込むことになる。従って、各データ蓄積装置は再フィルタ処理の対象のストリームデータの読み出しを効率よく行うことができる。 According to such a method, if the content of the refiltering process does not need to perform window processing on the stream data, the information management apparatus stores each data storage apparatus having the stream data in its own data storage apparatus. Stream data is acquired from the data storage unit and poured into the appending unit. Therefore, each data storage device can efficiently read out the stream data to be refiltered.
本発明によれば、ストリームデータ処理システムが様々な情報源からストリームデータを受信する場合であっても、システム全体の処理能力を低下させない。また、ストリームデータ処理システムは、一連のストリームデータに対し漏れや重複なくフィルタ処理を行うことができる。 According to the present invention, even when the stream data processing system receives stream data from various information sources, the processing capacity of the entire system is not reduced. Further, the stream data processing system can perform a filtering process on a series of stream data without omission or duplication.
以下、本発明を実施するための最良の形態(以下、実施の形態という)を、第1の実施の形態ないし第3の実施の形態に分けて説明する。なお、各実施の形態におけるストリームデータは、例えば、XML(Extensible Markup Language)形式のデータ等である。 Hereinafter, the best mode for carrying out the present invention (hereinafter referred to as an embodiment) will be described by dividing it into a first embodiment to a third embodiment. Note that the stream data in each embodiment is, for example, data in XML (Extensible Markup Language) format.
≪第1の実施の形態≫
図1は、第1の実施の形態のストリームデータ処理システムを示すブロック図である。ストリームデータ処理システム(以下、適宜システムと略す)は、計測データやログデータ等の時系列で作成されるデータにサービスID(SID)を付し、このデータをストリームデータとして送信する追記クライアント(情報源端末)50(50A〜50N)と、追記クライアント50から送信されたストリームデータを蓄積するデータ蓄積装置20(20A〜20N)と、このデータ蓄積装置20からストリームデータを取得し、フィルタ処理を行うフィルタ処理装置10(10A〜10N)と、フィルタ処理後のストリームデータを蓄積するデータベース装置60(60A〜60N)と、このデータベース装置60からデータの検索を行う参照クライアント(外部装置)70(70A〜70N)と、このデータ蓄積装置20やフィルタ処理装置10を動作させるための各種情報を管理する情報管理装置30とを含んで構成される。なお、SIDとは、ストリームデータの種類や、このストリームデータの送信元(情報源)を識別するための識別情報である。
<< First Embodiment >>
FIG. 1 is a block diagram illustrating a stream data processing system according to the first embodiment. A stream data processing system (hereinafter, abbreviated as a system as appropriate) adds a service ID (SID) to data created in time series such as measurement data and log data, and adds a client (information) that transmits this data as stream data Source terminal) 50 (50A to 50N), data storage device 20 (20A to 20N) that stores stream data transmitted from the
なお、(1)追記クライアント50と、情報管理装置30およびデータ蓄積装置20(20A〜20N)との間、(2)情報管理装置30と、データ蓄積装置20(20A〜20N)との間、(3)データ蓄積装置20(20A〜20N)同士、(4)データ蓄積装置20(20A〜20N)と、フィルタ処理装置10(10A〜10N)との間、(5)フィルタ処理装置10(10A〜10N)と、データベース装置60(60A〜60N)との間、(6)データベース装置60(60A〜60N)と、参照クライアント70(70A〜70N)との間はそれぞれ、図示しないネットワークにより接続される。さらに、追記クライアント50、データ蓄積装置20、フィルタ処理装置10、データベース装置60、参照クライアント70の数は、それぞれN個としたが、これに限定されない。
In addition, (1) between the
<追記クライアント>
追記クライアント(外部装置)50は、通信インタフェース等を備えるコンピュータである。この追記クライアント50は、当該追記クライアント50に割当てられたSIDを付したデータを順次ストリームデータとしてデータ蓄積装置20へ送信する。
<Append client>
The additional recording client (external device) 50 is a computer having a communication interface and the like. The
このとき送信するストリームデータは、各地の気温データや、コンピュータのログ等、時系列で計測されるデータであり、例えば、XML形式で記述される。また、追記クライアント50の接続先、つまり、ストリームデータの送信先であるデータ蓄積装置20の追記部221,222は、情報管理装置30から指示された(割り当てられた)ものとする。
The stream data to be transmitted at this time is data measured in time series such as temperature data of various places, computer logs, and the like, and is described in XML format, for example. Further, it is assumed that the appending
<情報管理装置>
情報管理装置30は、フィルタ処理に用いる各種データを蓄積するともに、追記クライアント50の接続先の割り当て、データ蓄積装置20(20A〜20N)におけるストリームデータの蓄積情報(追記データ位置情報)の記録、参照クライアント70からの再フィルタ指示の受け付け等を行う。
<Information management device>
The
このような情報管理装置30は、記憶部32と、接続先割当部31と、データ再フィルタ制御部33と、データ位置管理部34と、情報管理部35と、再起動処理部36とを備える。なお、ここでは図示を省略しているが、情報管理装置30は、各種データの入力を司る入力部と、出力を司る出力部と、CPU(Central Processing Unit)、メモリ、通信インタフェース等を備えるコンピュータにより実現される。
Such an
記憶部32は、システム情報321、情報源情報(SID情報)322、スキーマ情報323、処理手順情報324、データ位置管理DB(データベース)325および再起動情報326を所定領域に備える。
The
システム情報321は、SIDごとに、そのSIDのストリームデータの送信先を示した情報である。ここでの送信先は、例えばデータ蓄積装置20の識別情報(IPアドレス等)およびそのデータ蓄積装置20における追記部221,222の識別情報(ID)を示した情報(表1参照)である。このシステム情報321は、接続先割当部31や、データ蓄積装置20の蓄積データ取得部25(後記)により参照される。なお、この追記部221,222のIDは、追記部221,222に割当てられたポート番号を用いてもよい。
The
図2は、図1の情報源情報およびスキーマ情報を例示した図である。 FIG. 2 is a diagram illustrating information source information and schema information of FIG.
情報源情報(SID情報)322は、当該SIDの定義情報であり、図2の符号201に示すようにSIDと、当該SIDを持つストリームデータのスキーマ情報の識別情報(SCHEMA)と、このストリームデータに用いるフィルタの識別情報(FILTER)、このストリームデータのウィンドウサイズ(WINDOW_SIZE)等を示した情報である。図2の符号201に示す情報源情報は、SID「DML001」の定義情報であり、このストリームデータのスキーマは「DML001_SCHEMA」に定義されるスキーマであり、このストリームデータに用いるフィルタは「XpathFilter(“update”)」であり、このストリームデータのウィンドウサイズは「1」であることを示す。
The information source information (SID information) 322 is definition information of the SID, as shown by
スキーマ情報323は、当該SIDを持つストリームデータのスキーマの定義情報である。図2の符号202に示すスキーマ情報は、「DML001_SCHEMA」、つまり、SID「DML001」のスキーマ情報であり、このストリームデータのスキーマは、「col_t」は「timestamp」であり、「col_id」は「int」であり、「col_d」は「xml」であることを示す。
The
処理手順情報324は、SIDごとに、そのSIDのストリームデータに対しフィルタ処理装置10が適用すべきフィルタ処理、つまり、フィルタオペレーション(FOP)系列(適用すべきFOPおよびそのFOPの適用手順)が示される。また、この処理手順情報は、表2に例示するように、ストリームデータのスキーマ情報(スキーマ定義情報)やフィルタ処理を行うときのウィンドウサイズ(表2のスキーマ情報における括弧内の値参照)を含んでいてもよい。
The
例えば、表2に示す処理手順情報のSID「10」のスキーマ情報には、「NAME」に関するフィルタ処理を行うときには、10個のデータ(レコード)が必要であることを示す。また、このストリームデータには「FOP102、FOP103、FOP104」というFOPを適用することを示す。なお、このスキーマ情報は、スキーマ情報323に記憶されるものと同じものである。
For example, the schema information of the SID “10” in the processing procedure information shown in Table 2 indicates that 10 data (records) are required when the filter processing related to “NAME” is performed. Further, it is indicated that FOPs “FOP102, FOP103, FOP104” are applied to this stream data. The schema information is the same as that stored in the
データ位置管理DB325は、システム内の各データ蓄積装置20(20A〜20N)に蓄積されるストリームデータの記憶位置を示した追記データ位置情報を蓄積する。この追記データ位置情報は、後記する図6に例示するように、ストリームデータのSIDと、このデータ蓄積装置20がストリームデータを受信した時刻、このストリームデータの記憶位置(追記データ位置)とを対応付けて記憶したものである。なお、追記データ位置とは、このストリームデータを記憶するデータ蓄積装置20の識別情報およびこのデータ蓄積装置20における記憶位置を示した情報である。
The data
このように、情報管理装置30がデータ位置管理DB325により、各データ蓄積装置20に蓄積されるストリームデータの記憶位置を把握することで、情報管理装置30は各データ蓄積装置20に蓄積されたストリームデータから再フィルタの対象のストリームデータを効率的に見つけられる。なお、この追記データ位置情報は、各データ蓄積装置20から受信したものである。また、この追記データ位置情報におけるストリームデータを受信した時刻(受信時刻)に代えて、このストリームデータがデータ蓄積装置20の蓄積データ記憶部24(後記)に記憶された時刻を用いてよい。このデータ位置管理DB325における追記データ位置情報の管理方法は、例えば、B-Tree、B+Tree、R-Tree、Red Black Tree等を用いる。
As described above, the
図1の説明に戻る。再起動情報326は、システム内において再起動を許可するフィルタ処理装置10の数を示した情報である。例えば、システム全体において、再起動によりフィルタ処理を停止してもよいフィルタ処理装置10の数が「10」の場合、この再起動情報326の初期値として、「10」を設定しておく。この再起動情報326は、再起動処理部36(後記)がフィルタ処理装置10の再起動を許可するか否かを判断するときに参照される。
Returning to the description of FIG. The
接続先割当部31は、外部装置(追記クライアント50またはデータ蓄積装置20)から接続先割当要求を受信すると、この接続先割当要求に含まれるSIDをキーとしてシステム情報321から、この外部装置が接続すべき接続先(データ蓄積装置20における追記部221,222)を検索する。そして、接続先割当部31は、この検索した接続先(データ蓄積装置20における追記部221,222)を、この外部装置の接続先として指示する。なお、ここで指示する接続先は、例えば、データ蓄積装置20の識別情報(IPアドレス等)と、追記部221,222のポート番号との組み合わせ等である。また、接続先割当部31は、各データ蓄積装置20の負荷状態を考慮して、より処理負荷の少ない接続先を選択するようにしてもよい。つまり、接続先割当部31は、接続先を変更し、各データ蓄積装置20間のロードバランスをとるようにしてもよい。
When the connection
図3は、図1のストリームデータ処理システムの動作概要を示すブロック図である。データ再フィルタ制御部33は、図3に示すように、参照クライアント70から、再フィルタ指示(再フィルタ処理の対象のストリームデータのSID、時区間(または、始まりの時刻)等を示した情報、再フィルタ処理の内容)を受信すると、システム内の任意のマシン(データ蓄積装置20)を決定する。この後、データ再フィルタ制御部33は、この決定したデータ蓄積装置20のプロセス管理部26(後記)へ再フィルタ指示を送信する。なお、ここでの再フィルタ処理とは、例えば、フィルタ処理に用いる閾値やパラメータの変更、フィルタ処理の手順の変更等である。また、この再フィルタ指示には、この再フィルタ処理の対象のストリームデータに関する追記データ位置情報を含める。この追記データ位置情報は、データ位置管理部34により、データ位置管理DB325から取得する。
FIG. 3 is a block diagram showing an outline of the operation of the stream data processing system of FIG. As shown in FIG. 3, the data
このとき、データ再フィルタ制御部33は、再フィルタ処理用(再フィルタ用)に新たなSID(再フィルタ用SID)を発行し、この再フィルタ指示に含める。なお、このデータ再フィルタ制御部33は、情報管理部35(後記)に、この再フィルタ用SIDと、当該SIDをもつストリームデータに関する情報を、システム情報321、情報源情報322、スキーマ情報323、処理手順情報324に追加登録するよう指示する。
At this time, the data
例えば、データ再フィルタ制御部33は、SID「10」、時区間「A〜B」(または、時刻「A」)のストリームデータに対し再フィルタ処理を行うという再フィルタ指示を受信したとき、当該ストリームデータに対し再フィルタ用SID「30」という新たなSIDを発行する。そして、データ再フィルタ制御部33は、情報管理部35(後記)に、当該SIDをもつストリームデータに関する情報を、システム情報321、情報源情報322、スキーマ情報323、処理手順情報324に追加するよう指示する。また、データ再フィルタ制御部33は、情報管理部35(後記)に、当該再フィルタ用SIDに関する処理手順情報324に、この再フィルタ指示に示される再フィルタ処理の内容(例えば、フィルタにおける閾値の変更等)を書き加えるよう指示する。なお、データ再フィルタ制御部33がこのように新たなSID(再フィルタ用SID)を発行し、再フィルタ処理の対象のストリームデータに割当てるのは、もともと同じSIDを持つストリームデータであっても、再フィルタ処理の対象としたいストリームデータのみに再フィルタ処理を適用することができるからである。
For example, when the data
データ位置管理部34は、各データ蓄積装置20から受信した追記データ位置情報を、データ位置管理DB325に記憶する。
The data
図4は、図1のストリームデータ処理システムの動作概要を示すブロック図である。例えば、図4に示すように、データ位置管理部34は、データ蓄積装置20の各追記部221,222(後記)からSID、時刻および追記データ位置を含む追記データ位置情報を受信すると、この追記データ位置情報を順次、データ位置管理DB325に追加登録していく。また、このデータ位置管理部34は、当該ストリームデータの時区間(受信時刻の始まりから終わりまでの時間)または、始まりの時刻とSIDとを含む再フィルタ指示(または追記データ位置情報の検索要求)を受信すると、この時区間およびSIDをキーとして、データ位置管理DB325から追記データ位置情報を検索する。つまり、再フィルタ指示に示されるストリームデータがどのデータ蓄積装置20のどの記憶位置に記憶されているかを検索する。なお、このデータ位置管理部34は、この検索した追記データ位置情報を追記データ位置リストとして参照クライアント70へ送信するようにしてもよい。
FIG. 4 is a block diagram showing an outline of the operation of the stream data processing system of FIG. For example, as shown in FIG. 4, when the data
図1の説明に戻る。情報管理部35は、記憶部32の各情報を追加したり変更したりする。例えば、参照クライアント70から送信された再フィルタ処理の内容であるフィルタ処理の閾値変更情報を、処理手順情報324に反映する。また、各フィルタ処理装置10の要求に応じて、情報源情報322、スキーマ情報323、処理手順情報324等をフィルタ処理装置10へ送信する。これにより、この情報管理装置30に新たに追加された再フィルタ処理の内容を、フィルタ処理装置10へ反映させることができる。
Returning to the description of FIG. The
再起動処理部36は、フィルタ処理装置10から、再起動を許可するか否かの問い合わせを受信すると、再起動情報326を参照して、このフィルタ処理装置10の再起動を許可するか否かを応答する。例えば、再起動情報326に示される値が「1」以上であれば再起動を許可するが、「0」なら再起動を許可しない。また、再起動処理部36が、1台のフィルタ処理装置10の再起動を許可したとき、この再起動情報の値を「1」減らす。そして、このフィルタ処理装置10の再起動が完了すると、再起動処理部36は、再起動情報326の値を元に戻す。このようにすることで、システム内において再起動によりフィルタ処理を停止するフィルタ処理装置の数を所定数以下にすることができ、システム内のフィルタ処理の効率が極端に低下するのを防止できる。
When the
なお、前記した記憶部は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)等により実現される。また、接続先割り当て部31、データ再フィルタ制御部33、データ位置管理部34、情報管理部35、再起動処理部36は、CPUによるプログラム実行処理または専用のハードウェアにより実現される。CPUによるプログラム実行処理により実現する場合、記憶部32はこれらのプログラムを記憶する。
The storage unit described above is realized by a RAM (Random Access Memory), a ROM (Read Only Memory), a HDD (Hard Disk Drive), or the like. The connection
<データ蓄積装置>
データ蓄積装置20(20A〜20N)はそれぞれ、追記クライアント50から送信されたストリームデータを一時的に蓄積する。このようなデータ蓄積装置20は、入力部21と、出力部23と、追記部221,222と、蓄積データ記憶部24と、蓄積データ取得部25と、プロセス管理部26とを含む。なお、追記部221,222の数は図1に示した数に限定されない。
<Data storage device>
Each of the data storage devices 20 (20A to 20N) temporarily stores the stream data transmitted from the
入力部21は、追記クライアント50からストリームデータを受信する。出力部23は、追記部221,222から出力されたストリームデータをフィルタ処理装置10へ出力する。また、追記部221,222はそれぞれ、受信したストリームデータをキュー部226(後記)に出力するとともに、蓄積データ記憶部24に蓄積する。このような追記部221,222は、ストリーム受付部223と、追記データ蓄積部224と、キュー管理部225と、キュー部226と、追記データ位置情報送信部227と、を含んで構成される。
The
ストリーム受付部223は、追記クライアント50から、入力部21経由でストリームデータを受信する。そして、この受信したストリームデータを追記データ蓄積部224とキュー管理部225へ出力する。
The
追記データ蓄積部224は、ストリームデータを蓄積データ記憶部24に蓄積する。なお、追記データ蓄積部224は、追記クライアント50から受信したストリームデータをそのまま蓄積データ記憶部24に蓄積するようにするのが好ましい。これは、この蓄積データ記憶部24内のストリームデータの管理に、例えば、DBMS(DataBaseManagement System)等を用いると、データのトランザクション処理に伴う、各種ジャーナル、チェックポイント等が必要になり、大量のストリームデータを追記するとき、効率が悪いからである。
The additional
なお、この蓄積データ記憶部24に蓄積されるデータファイルは、所定時間または所定のデータサイズで区切られる。この区切られたデータファイルそれぞれの終端には、次のデータファイルへのパスが記載される。図5は、図1の蓄積データ記憶部に蓄積されるデータファイルを例示した図である。蓄積データ記憶部24は、Type(データタイプ)、Length(長さ)、Value(データの中身)等から構成されるデータファイルを蓄積する。例えば、追記データ蓄積部224は、データファイルを、所定のデータサイズでファイルA,B,Cに区切り、蓄積する。図5に示すように、ファイルAの終端には、次のファイルであるファイルBへのパスが記載され、ファイルBの終端には次のファイルであるファイルCへのパスが記載される。このようにすることで、フィルタ処理装置10がこの蓄積データ記憶部24に蓄積されるデータに対し再フィルタ処理を行うとき、途切れることなく再フィルタ処理を行うことができる。また、このように所定のデータサイズや、所定時間でファイルを区切ってデータファイルを蓄積することで、データファイルに障害が発生したときのリカバリやバックアップを行いやすくなる。
The data file stored in the stored
図1の説明に戻る。キュー管理部225はストリーム受付部223から出力されたデータ(ストリームデータ)をキュー部226に出力する。そして、フィルタ処理装置10からストリームデータの取得要求があったとき、このキュー部226に蓄積されたストリームデータをフィルタ処理装置10へ送信する。
Returning to the description of FIG. The
追記データ位置情報送信部227は、この追記部221,222において、蓄積データ記憶部24にストリームデータが蓄積(記憶)されると、このストリームデータの追記データ位置情報を作成し、この追記データ位置情報を情報管理装置30へ送信する。なお、この追記データ位置情報に示される追記データ位置は、例えば、URI(Uniform Resource Identifier)、ファイルパス、ロケーションID等により記述される。
When the stream data is accumulated (stored) in the accumulated
キュー部226は、キュー管理部225から出力されたストリームデータをキューとして蓄積する。
The
蓄積データ記憶部24は、追記部221,222から出力されたストリームデータを蓄積する。
The accumulated
蓄積データ取得部25は、前記した図3に示すように、プロセス管理部26からの再フィルタ指示を受信すると、この再フィルタ指示に基づき、自データ蓄積装置20、または他のデータ蓄積装置20の蓄積データ記憶部24から、ストリームデータを取得する。そして、この取得したストリームデータに、プロセス管理部26から指示された再フィルタ用SIDを付与する。ここで、蓄積データ取得部25は、蓄積データ記憶部24(図5参照)のデータファイルの終端まで読み込み、次のデータファイルへのパスが記載されているときは、このパスに示される次のデータファイルを読み込んでいく。そして、この蓄積データ取得部25は、この再フィルタ用SIDを付与したストリームデータの送信先を、前記した情報管理装置30の接続先割当部31に問い合わせ、この接続先割当部31から指示されたデータ蓄積装置20の追記部(例えば、追記部222)へ、このストリームデータを流し込む。そして、このストリームデータは、追記部221,222のキュー部226に蓄積された後、フィルタ処理装置10が取得し、再フィルタ処理が行われる。
As shown in FIG. 3, when the accumulated
プロセス管理部26は、データ蓄積装置20内の蓄積データ取得部25や、追記部221,222の制御を行う。例えば、プロセス管理部26は、情報管理装置30から再フィルタ指示を受信したとき、この指示内容に基づき、自データ蓄積装置20の蓄積データ取得部25に対し、再フィルタ処理の対象となるストリームデータの取得を指示する。
The
なお、入力部21および出力部23は、追記クライアント50やフィルタ処理装置10との間でデータ入出力可能な入出力インタフェースにより実現される。
The
このデータ蓄積装置20もコンピュータにより実現され、蓄積データ記憶部24は、例えば、RAM、HDD等により実現される。また、蓄積データ取得部25、プロセス管理部26、追記部221,222のストリーム受付部223、追記データ蓄積部224、キュー管理部225、追記データ位置情報送信部227は、CPUによるプログラムの実行処理または専用ハードウェア等により実現される。キュー部226は、このデータ蓄積装置20のRAM等に形成される。
The
なお、このキュー管理部225は、キュー部226のキュー状態(入力スループット、出力スループットおよびCPUコスト等)を監視する。そして、このキュー状態が所定の閾値以上に変化したとき、このデータ蓄積装置20におけるキュー状態情報を各フィルタ処理装置10へ送信するようにしてもよい。このときのキュー状態情報には、自身のデータ蓄積装置20の識別情報が付されたものである。また、このときのキュー状態情報の送信は、各フィルタ処理装置10への同報送信等により行われる。このようにすることで、データ蓄積装置20は、自身のキュー状態に変化があったとき、自身のキュー状態をいち早く各フィルタ処理装置10へ通知することができる。
The
<フィルタ処理装置>
フィルタ処理装置10は、データ蓄積装置20(20A〜20N)から、ストリームデータを取得し、この取得したストリームデータに対しフィルタ処理を実行する。このようなフィルタ処理装置10は、入力部11と、出力部13と、処理部12(12A,12B)を備える。なお、この処理部の数は、図1に示す数に限定されない。
<Filter processing device>
The
入力部11は、データ蓄積装置20からストリームデータを受信する。出力部13は、フィルタ処理後のストリームデータをデータベース装置60へ出力する。
The
処理部12は、キュー選択部121と、データ取得部122と、フィルタ実行制御部123と、フィルタ処理部124(124A〜124N)と、再起動問い合わせ部125とを備える。
The
キュー選択部121は、ストリームデータの取得元となるデータ蓄積装置20を選択する。このときのデータ蓄積装置20の選択は、例えば、データ蓄積装置20から送信されてきた、当該データ蓄積装置20のキュー状態情報(入力スループット、出力スループット、CPUコスト(フィルタコスト)等を示した情報)をもとに、入力スループットの値の大きいデータ蓄積装置20ほど高確率で(優先的に)選択するようにする。
The
データ取得部122は、キュー選択部121により選択されたデータ蓄積装置20からストリームデータを取得する。なお、このストリームデータを取得するタイミングは、例えば、自身のフィルタ処理装置10において処理しているデータがなくなったときでもよいし、処理中のデータが所定の閾値以下となったときでもよい。
The
フィルタ実行制御部123は、データ取得部122から取得したストリームデータに付されたSIDと、情報管理装置30から受信しておいた、情報源情報322、スキーマ情報323、処理手順情報324とを参照して、このSIDを持つストリームデータに対し実行すべきフィルタ処理を決定する。なお、ここでのフィルタ処理とは、FOPおよびそのFOPの適用手順を含むものである。そして、フィルタ実行制御部123は、決定したフィルタ処理をフィルタ処理部124に実行させる。なお、この情報管理装置30から取得した、情報源情報322、スキーマ情報323、処理手順情報324は、フィルタ処理装置10の図示しない記憶部に記憶され、フィルタ処理を決定するときに適宜参照される。
The filter
なお、このフィルタ実行制御部123は、このストリームデータに対し実行すべきフィルタ処理機能が自身のフィルタ処理装置10にないとき(例えば、再フィルタ用SIDが付与されたストリームデータを受信したが、このSIDに対する処理手順情報がなかったとき)、情報管理装置30から、このフィルタ処理機能を実現するためのファイルデータ(フィルタオペレーションを含む)をダウンロードし、機能追加を行う。このようにすることで、フィルタ処理装置10は、再フィルタ処理を確実に実行できる。
Note that the filter
フィルタ処理部124は、フィルタ実行制御部123からの指示に基づき、ストリームデータに対しフィルタ処理を実行する。このフィルタ処理部124におけるフィルタ処理の内容はFOPにより記述され、フィルタ処理部124は、このFOPに基づきフィルタ処理を実行する。このFOPは例えば「X℃以上の温度の情報を持つストリームデータを抽出する」というものや、「処理後のデータをデータベース装置60Aに出力する」というものである。このFOPは、フィルタ処理装置10の記憶部(図示せず)に処理手順情報の一部として記憶される。
Based on an instruction from the filter
なお、再起動問い合わせ部125は、フィルタ取得部127がスキーマ情報323を取得した後、情報管理装置30に対し、自身のフィルタ処理装置10の再起動を許可するか否かを問い合わせる。そして、情報管理装置30から、自身のフィルタ処理装置10の再起動を許可する旨の応答を受信したとき、自フィルタ処理装置10を再起動させる。このようにすることで、ストリームデータ処理システムにおいて、所定数を超えたフィルタ処理装置10が再起動のため停止し、システム全体のフィルタ処理能力が著しく低下することを防止できる。
Note that after the filter acquisition unit 127 acquires the
なお、この後、フィルタ処理部124は、出力部13経由でフィルタ処理後のストリームデータをデータベース装置60へ出力する。
Thereafter, the filter processing unit 124 outputs the stream data after the filtering process to the
フィルタ処理装置10も、CPU、RAM、HDD、通信インタフェース等を備えるコンピュータにより実現される。キュー選択部121、データ取得部122、フィルタ実行制御部123、フィルタ処理部124、再起動問い合わせ部125は、CPUによるプログラムの実行処理または専用ハードウェア等により実現される。
The
<データベース装置>
データベース装置60は、フィルタ処理装置10においてフィルタ処理されたストリームデータを受け付ける受付部62(62A〜62N)、このストリームデータを蓄積するDB(データベース)61(61A〜61N)、参照クライアント70からの検索要求に応じてDB61(61A〜61N)からデータを検索する検索部63(63A〜63N)を備える。このデータ蓄積装置20も、CPU、RAM、HDD、通信インタフェース等を備えるコンピュータにより実現される。なお、この受付部62、検索部63は、CPUによるプログラムの実行処理または専用ハードウェア等により実現される。また、DB61は、HDD等により実現される。なお、この検索部63に代えて、プッシュ型で参照クライアント70へDB61に蓄積されたデータを送信する配信部を用いるようにしてもよい。
<Database device>
The
<参照クライアント>
参照クライアント70は、データベース装置60からデータの検索を行ったり、情報管理装置30に対し、再フィルタ指示(再フィルタ処理の内容、再フィルタ処理の対象のストリームデータのSID、時区間等を示した情報)を送信し、データ蓄積装置20に蓄積されたストリームデータの再フィルタ処理を指示したりする。この参照クライアント70もCPU、RAM、HDD、通信インタフェース等を備えるコンピュータにより実現される。
<Reference client>
The
なお、フィルタ処理装置10(10A〜10N)およびデータ蓄積装置20(20A〜20N)は、それぞれ別個のコンピュータ(装置)により実現するようにしてもよいし、これらをまとめて1つのコンピュータにより実現するようにしてもよい。 The filter processing device 10 (10A to 10N) and the data storage device 20 (20A to 20N) may be realized by separate computers (devices) or may be realized by a single computer. You may do it.
<動作手順>
次に、図1を参照しつつ、図6および図7を用いて、図1のシステムの動作手順を説明する。図6および図7は、図1のストリームデータ処理システムの動作手順を示す図である。まず、図6を用いて、情報管理装置30が、追記データ位置情報を取得し、蓄積する手順を説明する。
<Operation procedure>
Next, the operation procedure of the system shown in FIG. 1 will be described with reference to FIG. 1 and FIG. 6 and FIG. 6 and 7 are diagrams showing an operation procedure of the stream data processing system of FIG. First, the procedure in which the
追記クライアント50は、情報源からデータ(ストリームデータ)100を受信すると、このデータに付されたSID(例えば「SID-kana99」)を含む追記先払出し依頼を情報管理装置30の接続先割当部31へ送信する(S41)。つまり、追記クライアント50は、ストリームデータの送信先の追記部221,222(当該追記部を備えるデータ蓄積装置20のIPアドレス、当該追記部と接続するためのポート番号)を情報管理装置30に問い合わせる。
When the
接続先割当部31は、S41で送信された追記先払出し依頼を受信すると、この追記先払出し依頼に示されるSIDをキーとして、システム情報321を検索する。そして、接続先割当部31は、ストリームデータの送信先の追記部(例えば、追記部221)のあるデータ蓄積装置20のIPアドレスと、追記部221のPort(ポート番号)を示した追記先を払出す(S42)。
Upon receiving the additional write destination payout request transmitted in S41, the connection
追記クライアント50は、S42で払い出された追記部(例えば、追記部221)へ接続する(S43)。そして、追記クライアント50は、例えば、「SID-kana99」を持つ追記データ100をこの接続した追記部221へ送信する。つまり、ストリームデータを追記する(S44)。
The
追記部221は、ストリーム受付部223(図1参照)によりこの追記データ100を受信すると、この追記データ100の受信時刻(受取時刻)を取得する(S45)。つまり、この追記データ100の受信時刻を記録する。また、追記部221は、追記データ蓄積部224(図1参照)により、この受信したストリームデータ(追記データ)を蓄積データ記憶部24へ蓄積する(S46)。次に、追記データ位置情報送信部227は、この蓄積した追記データ100の追記データ位置情報を作成する。そして、この追記データ位置情報送信部227は、作成した追記データ位置情報を情報管理装置30へ送信する(S47)。この追記データ位置情報は、この蓄積した追記データ100のSID(「SID-kana99」)、S45で取得した受信時刻(「2007/02/20T 10:00」)、追記データ位置(「macA.ntt/app99/b.log」)を含むものである。なお、この追記データ位置は、この追記データ100を記憶するデータ蓄積装置20は「macA.ntt」であり、そのデータ蓄積装置20の蓄積データ記憶部24における記憶領域は「/app99/b.log」であることを示す。
When the
このような追記データ位置情報を受信した情報管理装置30のデータ位置管理部34は、この追記データ位置情報をデータ位置記憶DB61に記憶する(図6の追記データ位置情報401参照)。
The data
また、データ蓄積装置20の追記部221は、キュー管理部225(図1参照)により、追記データ100をキュー部226に蓄積する(S48:キュー管理)。
Further, the
この後、追記部221は、ストリーム受付部223(図1参照)により、同じSID「SID-kana99」を持つ追記データ101を受信すると(S49)、前記した手順と同様に、この追記データ101の受信時刻(受取時刻)を取得する(S50)。また、追記部221は、追記データ蓄積部224により、追記データ101を蓄積データ記憶部24へ蓄積すると(S51)、前記した手順と同様に、この蓄積したデータ101の追記データ位置情報(SID(「SID-kana99」)、S50で取得した受信時刻(「2007/02/20T 11:00」)、追記データ位置(「macA.ntt/app99/b.log」)を含む)を作成し、この追記データ位置情報を情報管理装置30へ送信する(S52)。
Thereafter, when the
このような追記データ位置情報を受信した情報管理装置30のデータ位置管理部34は、この追記データ位置情報をデータ位置記憶DB61に記憶する(図6の符号404参照)。
The data
そして、データ蓄積装置20の追記部221は、受信した追記データ101をキュー部226に蓄積する(S53:キュー管理)。
Then, the
以上のような処理を繰り返し、各データ蓄積装置20は、ストリームデータを蓄積し、情報管理装置30は、各データ蓄積装置20に蓄積されるストリームデータの追記データ位置情報をデータ位置記憶DB61に記憶していく。
By repeating the processing as described above, each
続いて、図7を用いて、参照クライアント70が再フィルタ指示を送信してから、フィルタ処理装置10で再フィルタ処理が実行されるまでの手順を説明する。
Next, a procedure from when the
参照クライアント70は、再フィルタ処理の対象とするストリームデータのSIDと、時区間と、再フィルタ処理の内容とを含む再フィルタ指示を情報管理装置30のデータ再フィルタ制御部33へ送信する(S61)。
The
再フィルタ指示を受信した情報管理装置30のデータ再フィルタ制御部33は、この再フィルタ処理用のSID(再フィルタ用SID)を発行し、再フィルタ用SIDの割当を行う(S62)。すなわち、データ再フィルタ制御部33は、情報管理部35に、発行した再フィルタ用SIDと、当該SIDをもつストリームデータに関する情報を、システム情報321、情報源情報322、スキーマ情報323、処理手順情報324に登録するよう指示する。
The data refilter
また、データ再フィルタ制御部33は、処理手順情報324に再フィルタ処理を登録する(S63)。つまり、データ再フィルタ制御部33は、情報管理部35に対し、この再フィルタ用SIDに関する処理手順情報324として、この再フィルタ指示に示される再フィルタ処理の内容(例えば、フィルタにおける閾値の変更等)を書き加えるよう指示する。また、データ再フィルタ制御部33は、情報管理部35に対し、システム情報321に、再フィルタ用SIDと、このSIDを持つストリームデータの送信先であるデータ蓄積装置20の追記部221,222の情報とを対応付けた情報を追加する。
Further, the data
次に、データ再フィルタ制御部33は、データ位置管理DB325から、この再フィルタ処理の対象となるストリームデータの追記データ位置情報を検索する(S64)。具体的には、データ再フィルタ制御部33は、データ位置管理部34(図1参照)に対し、再フィルタ指示に含まれるSIDと、時区間(または、始まりの時刻)とをキーとして、追記データ位置情報を検索するよう指示する。そして、その検索結果を受け取る。
Next, the data
そして、データ再フィルタ制御部33は、システム内のデータ蓄積装置20の中から、再フィルタ追記クライアントとなるマシン(データ蓄積装置20)を1つ決定する(S65)。このときのマシン(データ蓄積装置20)の決定は、例えばラウンドロビン等により行われる。
Then, the data
次に、データ再フィルタ制御部33は、この決定したデータ蓄積装置20のプロセス管理部26に対し、S64において検索した追記データ位置情報と、再フィルタ用SIDとを含む再フィルタ指示を送信する(S66)。
Next, the data
データ再フィルタ制御部33からの再フィルタ指示を受信したデータ蓄積装置20のプロセス管理部26は、蓄積データ取得部25を起動させ、自データ蓄積装置20を再フィルタ追記クライアントとして起動させる(S67)。そして、蓄積データ取得部25に対し、S66で受信した追記データ位置情報と、再フィルタ用SIDとを含む再フィルタ指示を転送する(S68)。
The
そして、蓄積データ取得部25は、この再フィルタ指示を受信すると、情報管理装置30の接続先割当部31に対し、追記先払出し依頼を送信する(S69)。このときの追記先払出し依頼は、この再フィルタ指示に含まれる再フィルタ用SIDを含むものである。つまり、蓄積データ取得部25は、再フィルタの対象であるストリームデータを読み出した後、どの追記部221,222に流し込めばよいのかを接続先割当部31へ問い合わせる。
When the re-filtering instruction is received, the accumulated
そして、このような払出し依頼を受信した接続先割当部31は、この再フィルタ用SIDをキーとして、システム情報321(図1参照)から、この再フィルタ用SIDを持つストリームデータを流し込む追記部221のIPアドレスとPort(ポート番号)とを検索する。そして、接続先割当部31は、この検索したIPアドレスとPort(ポート番号)とを追記先として払出す(S70)。
Then, the connection
そして、蓄積データ取得部25は、この接続先割当部31から払出されたIPアドレスとPort(ポート番号)に示される追記部221に接続する(S71)。
The accumulated
そして、蓄積データ取得部25は、S68で転送された再フィルタ指示の追記データ位置情報に示される蓄積データ記憶部24の記憶位置(記憶領域)から、再フィルタ処理の対象のデータ(ストリームデータ)を読み込む(S72)。
Then, the accumulated
なお、このS72において、この再フィルタ処理の対象のデータが、自データ蓄積装置20の蓄積データ記憶部24に蓄積されていれば、自データ蓄積装置20の蓄積データ記憶部24から読み出し、他のデータ蓄積装置20の蓄積データ記憶部24に蓄積されていれば、図示しないネットワーク経由でこの他のデータ蓄積装置20の蓄積データ記憶部24から読み出すことになる。
In S72, if the data to be refiltered is stored in the stored
このようにして蓄積データ取得部25が再フィルタ処理の対象のデータを読み込むと、この読み込んだデータ(追記データ)のSIDを、S68で送信された再フィルタ指示に含まれる再フィルタ用IDに付け替え、S71で接続した追記部221へ流し込む。つまり、追記部221へストリームデータを追記する(S73)。そして、追記部221は、前記した図6のS48やS53と同様にキュー管理を行う(S74)。
When the accumulated
この後、フィルタ処理装置10は、データ蓄積装置20の追記部221からデータを取得すると(S75)、このデータに対しフィルタ処理を行う(S76)。つまり、追記部221から取得したデータが再フィルタ用SIDを持つデータであれば、このデータに対し再フィルタ処理を行う。次に、図1を参照しつつ、図8を用いて、図7のS75およびS76の処理を詳細に説明する。図8は、図7のS75およびS76の処理を詳細に説明する図である。
Thereafter, when the
図1のデータ取得部122は、自身に処理すべきデータがあるか否かをチェックし(S701)、処理すべきデータがないことを検知すると(S701のYes)、キュー選択部121において次にデータを取得するデータ蓄積装置20を選択する(S702)。このときのデータ蓄積装置20の選択は、前記した通り、例えば、各データ蓄積装置20から送信されてきたキュー状態情報をもとに、入力スループットの値の大きいデータ蓄積装置20ほど優先的に選択する。
The
そして、データ取得部122は、S702で選択したデータ蓄積装置20からデータを取得する(S703)。取得したデータは、フィルタ実行制御部123に出力する。
The
次に、フィルタ実行制御部123は、処理手順情報324を参照して、この取得したデータに付されたSIDをキーとして、このデータに対し必要なフィルタ処理機能を判断する(S704)。そして、フィルタ実行制御部123は、このデータに対し必要なフィルタ処理機能が自身のフィルタ処理装置10にあるか否かを判断する(S705)。ここで、必要なフィルタ処理機能が自身のフィルタ処理装置10にないとき(S705のNo)、フィルタ実行制御部123は、情報管理装置30から、必要なフィルタ処理機能(情報源情報322や、スキーマ情報323、処理手順情報324等を含む)を取得する(S706)。例えば、フィルタ実行制御部123が取得したデータが、再フィルタ用SIDが付されたデータである場合、この再フィルタ用SIDに対応するフィルタ処理機能をまだフィルタ処理装置10にダウンロード(取得)していない可能性が高い。そこで、フィルタ実行制御部123は、この再フィルタ用SIDを含むストリームデータを受信すると、このSIDに対応するフィルタ処理機能を情報管理装置30からダウンロードする。つまり、情報管理装置30は、このSIDに対応するフィルタ処理機能をフィルタ処理装置10へ送信する。そして、フィルタ処理装置10のフィルタ実行制御部123はフィルタ処理部124にフィルタ処理機能を追加する。
Next, the filter
一方、ここで、必要なフィルタ処理機能が自身のフィルタ処理装置10にあるとき(S705のYes)、S707へ進む。 On the other hand, when the necessary filter processing function is present in the own filter processing apparatus 10 (Yes in S705), the process proceeds to S707.
そして、フィルタ実行制御部123は、S703で取得したデータに対し、フィルタ処理を実行する(S707)。すなわち、フィルタ実行制御部123は、このストリームデータのSIDと、情報源情報322や、スキーマ情報323、処理手順情報324とを参照して、このストリームデータに対するフィルタ処理の内容を判断し、このフィルタ処理を実行するためのFOPを記憶部から読み出す。そして、フィルタ実行制御部123は、このFOPに基づきフィルタ処理部124に所定の順序でフィルタ処理を実行させ、フィルタ処理部124はフィルタ処理後、このデータを所定のデータベース装置60へ出力する(S708)。
Then, the filter
このようにすることで、情報管理装置30は、各フィルタ処理装置10に再フィルタ処理を実行させることができる。
In this way, the
なお、ここでは説明を省略しているが、図8のS706で、フィルタ処理装置10のフィルタ実行制御部123が情報管理装置30から必要なフィルタ処理機能を取得した後、再起動処理部36は、情報管理装置30に対し、自身のフィルタ処理装置10の再起動を許可するか否かを問い合わせる。そして、再起動処理部36は、情報管理装置30から、再起動許可の応答を受信したとき、自身のフィルタ処理装置10を再起動する。次に、再起動処理部36は、再起動を完了すると、再起動完了の通知を情報管理装置30へ送信する。一方、再起動処理部36は、情報管理装置30から、再起動許可の応答を受信できなかった場合、自身のフィルタ処理装置10は再起動させず、例えば所定時間経過後に、再起動を許可するか否かを問い合わせる。このようにすることで、他のフィルタ処理装置10の再起動により、自身のフィルタ処理装置10が再起動できなかった場合でも、時間をずらして、再起動することができる。従って、システム全体のフィルタ処理能力が著しく低下することを防止できる。
Although not described here, after the filter
≪第2の実施の形態≫
続いて、第2の実施の形態を説明する。第2の実施の形態は、再フィルタの対象となるストリームデータを蓄積するそれぞれのデータ蓄積装置が、自身の蓄積データ記憶部から再フィルタの対象となるストリームデータを読み出し、追記部へ流し込む(ストリームデータの追記)ことを特徴とする。つまり、再フィルタの対象となるストリームデータが複数のデータ蓄積装置にまたがって蓄積されている場合、このストリームデータの追記部への(送信)流し込みを、各データ蓄積装置それぞれが実行することを特徴とする。図9は、第2の実施の形態のストリームデータ処理システムを示すブロック図である。図9を用いて、第2の実施の形態の概要を説明する。前記した第1の実施の形態と同様の構成要素は同じ符号を付して、説明を省略する。
<< Second Embodiment >>
Next, a second embodiment will be described. In the second embodiment, each data storage device that stores stream data to be refiltered reads out the stream data to be refiltered from its stored data storage unit and flows it into the appending unit (stream). (Addition of data). That is, when stream data to be refiltered is stored across a plurality of data storage devices, each data storage device executes (transmission) pouring of the stream data into the appending unit. And FIG. 9 is a block diagram illustrating a stream data processing system according to the second embodiment. The outline of the second embodiment will be described with reference to FIG. Constituent elements similar to those in the first embodiment described above are denoted by the same reference numerals, and description thereof is omitted.
図9に示すように、第2の実施の形態のストリームデータ処理システムにおける情報管理装置30は、データ再フィルタ制御部33Aを備える。このデータ再フィルタ制御部33Aは、参照クライアント70から、再フィルタ処理の対象とするストリームデータのSIDおよび時区間と、再フィルタ処理の内容とを含む再フィルタ指示を受信すると、データ位置管理部34に、データの存在するマシンを特定させる。つまり、データ位置管理部34は、データ位置管理DB325の追記データ位置情報を参照して、当該再フィルタ処理の対象とするストリームデータを蓄積するデータ蓄積装置20を検索して、このストリームデータの存在するマシン(データ蓄積装置20)を特定する。そして、データ再フィルタ制御部33は、このストリームデータの存在するデータ蓄積装置20を、ストリームデータの追記を行うデータ蓄積装置20(マシン)として決定し、このデータ蓄積装置20のプロセス管理部26に対し、ストリームデータの読み出しを指示する。
As shown in FIG. 9, the
この後、このような指示を受けたデータ蓄積装置20はそれぞれ、蓄積データ取得部25により、自データ蓄積装置20の蓄積データ記憶部24から、再フィルタ処理の対象となるストリームデータを読み出す。そして、蓄積データ取得部25は、情報管理装置30の接続先割当部31にこのストリームデータを流し込む追記先を問い合わせ、この接続先割当部31から指示された追記部222へ、ストリームデータを流し込む。次に、各フィルタ処理装置10は、この再フィルタ処理の対象のストリームデータをデータ蓄積装置20それぞれのキュー部226から取得し、再フィルタ処理を実行する。そして、再フィルタ処理後のデータをデータベース装置60へ送信する。つまり、データ蓄積装置20それぞれが、並列して再フィルタの対象となるストリームデータの読み出し、および、追記部222への流し込みを行う。
Thereafter, each of the
<動作手順>
このような第2の実施の形態のストリームデータ処理システムの動作手順を、図10を用いて説明する。図10は、図9のストリームデータ処理システムの動作手順を示す図である。
<Operation procedure>
The operation procedure of the stream data processing system according to the second embodiment will be described with reference to FIG. FIG. 10 is a diagram showing an operation procedure of the stream data processing system of FIG.
図10のS91の処理は、図7のS61の処理と同様なので、説明を省略し、S92から説明する。 Since the process of S91 of FIG. 10 is the same as the process of S61 of FIG. 7, description is abbreviate | omitted and it demonstrates from S92.
情報管理装置30のデータ再フィルタ制御部33Aは、S91で送信された再フィルタ指示に示される再フィルタ処理の内容がウィンドウ処理を含むか否かを判断する(S92)。ここでの再フィルタ処理の内容がウィンドウ処理を含むか否かの判断は、再フィルタ指示に含まれる再フィルタ処理の内容そのものから判断してもよいし、情報源情報322に登録されているこの再フィルタ対象のストリームデータのSIDに関する情報源情報322を参照して判断してもよい。情報源情報322を参照して判断する場合、当該SIDの情報源情報322(図2の符号201参照)に定義されているウィンドウサイズが「2」以上であるか否かにより判断すればよい。
The data refilter
例えば、図2の符号201に例示したSID「DML001」の情報源情報において、ウィンドウサイズは「1」である。従って、データ再フィルタ制御部33Aは、再フィルタ処理の内容がウィンドウ処理を含まないと判断する。
For example, in the information source information of the SID “DML001” illustrated by
図10のS92において再フィルタ処理の内容がウィンドウ処理を含むと判断したとき(S92のYes)、データ再フィルタ制御部33Aは、前記した図7のS62以降と同様の処理を行う。つまり、データ再フィルタ制御部33Aが選択したいずれか1つのデータ蓄積装置20が、各データ蓄積装置20から再フィルタ対象のストリームデータを読み出し、追記部221,222へ流し込む処理を行う。
When it is determined in S92 in FIG. 10 that the content of the refiltering process includes the window process (Yes in S92), the data
一方、S92において再フィルタ処理の内容がウィンドウ処理を含まないと判断したとき(S92のNo)、情報管理装置30は、前記した図7のS62、S63と同様に、再フィルタ用SIDの割当(S93)と、再フィルタ処理の登録(S94)とを行う。そして、S64と同様に、データ位置管理DB325から、再フィルタ指示に示されるSIDと時区間(または、始まりの時刻)とをキーとして、追記データ位置情報の検索を行う(S95)。
On the other hand, when it is determined in S92 that the content of the refiltering process does not include the window process (No in S92), the
データ再フィルタ制御部33Aは、S95で検索した追記データ位置情報(追記データ位置情報のリスト)における追記データ位置に示されるデータ蓄積装置20の識別情報を参照して、この追記データ位置情報をデータ蓄積装置20ごとに分ける(S96)。
The data refilter
例えば、データ再フィルタ制御部33Aは、再フィルタ指示においてSID「SID−kana99」と、時区間「2007/02/20T 10:00〜2007/02/20T 12:00」という指示が含まれていた場合、図6に例示したデータ位置管理DB325から、この条件に合う追記データ位置情報402,403,405を検索する。ここで、これらの追記データ位置情報402,403,405の追記データ位置の識別情報の記載部分(追記データ位置情報の冒頭の部分)を見ると、「macA.ntt」となっているものと、「macB.ntt」となっているものとがある。つまり、再フィルタ処理の対象となるストリームデータは異なるデータ蓄積装置20に蓄積されている。したがって、データ再フィルタ制御部33Aは、この追記データ位置情報402,403,405を、「macA.ntt」から始まる追記データ位置情報402,403と、「macB.ntt」から始まる追記データ位置情報405とに分ける。つまり、「macA.ntt」のデータ蓄積装置20へ送信する追記データ位置情報402,403と、「macB.ntt」のデータ蓄積装置20へ送信する追記データ位置情報405とに分ける。
For example, the data
そして、データ再フィルタ制御部33Aは、再フィルタ処理の対象のストリームデータを蓄積するそれぞれのデータ蓄積装置20へ、S96で分けた追記データ位置情報を含む再フィルタ指示を送信する(S97)。例えば、データ再フィルタ制御部33Aは、「macA.ntt」のデータ蓄積装置20へは追記データ位置情報402,403を含む再フィルタ指示を送信し、「macB.ntt」のデータ蓄積装置20へは追記データ位置情報405を含む再フィルタ指示を送信する。そして、各データ蓄積装置20における再フィルタ処理の対象のストリームデータの読み出し、追記部221,222への流し込み、フィルタ処理装置10によるフィルタ処理の手順は、第1の実施の形態と同様なので説明を省略する。
Then, the data
このようにすることで、再フィルタ処理の対象のストリームデータが複数のデータ蓄積装置20にまたがって蓄積されている場合、それぞれのデータ蓄積装置20において、蓄積データ記憶部24から再フィルタ処理の対象のストリームデータの読み出し、キュー部226へ流し込むので、再フィルタ処理の対象のストリームデータの読み出しを効率よく行うことができる。
In this way, when stream data to be refiltered is stored across a plurality of
≪第3の実施の形態≫
次に、本発明の第3の実施の形態を説明する。第3の実施の形態のストリームデータ処理システムは、フィルタ処理装置10が、データの取得先である追記部(追記部221,222等)を変更した場合でも、漏れや重複なくストリームデータ(データ)のフィルタ処理を行うようにすることを特徴とする。前記した各実施の形態と同様の構成要素は同じ符号を付して、説明を省略する。
<< Third Embodiment >>
Next, a third embodiment of the present invention will be described. In the stream data processing system according to the third embodiment, even when the
図12は、第3の実施の形態のストリームデータ処理システムを示すブロック図である。図12に示すように、第3の実施の形態のストリームデータ処理システムのデータ蓄積装置20は、追記部情報81を備える。この追記部情報81は、追記部221,222において処理中のデータのSIDや、追記部221,222のキュータイプ、キュータイプの変更時刻等を示した情報である。
FIG. 12 is a block diagram illustrating a stream data processing system according to the third embodiment. As illustrated in FIG. 12, the
このキュータイプについては、図13を用いて後記するが、大きく2つのパターンがある。つまり、(1)追記部221,222が受信したデータを蓄積データ記憶部24へデータを出力し、かつ、フィルタ処理装置10からのデータ取得も受け付けているパターンと(このパターンを仮にキュータイプ「B」とする)、(2)追記部221,222が蓄積データ記憶部24へデータを出力するが、フィルタ処理装置10からのデータ取得を受け付けていないパターン(このパターンを仮にキュータイプ「A」とする)である。
This queue type will be described later with reference to FIG. That is, (1) a pattern in which data received by the appending
蓄積データ取得部25は、この追記部情報81を参照して、各追記部221,222のキュータイプを判断し、各追記部221,222へのデータの流し込みの制御を行う。このようにすることで、フィルタ処理装置10において、フィルタ処理対象のデータに漏れや重複が無いようにする。例えば、フィルタ処理装置10は、データ取得先を追記部222から、追記部221へ変更した場合でも一連のストリームデータに対し、漏れや重複なくフィルタ処理を実行できる。この追記部情報81は、各データ蓄積装置20内のRAM等の記憶手段(図示省略)に記憶される。なお、当該SIDのストリームデータに関するキュータイプやフィルタ処理内容は、図12の処理手順情報324に記録される。この処理手順情報324は、例えば、情報管理装置30が外部装置(参照クライアント70等)からキュータイプの変更通知を受信したとき、このキュータイプの変更通知に示される内容が記録される。なお、このキュータイプの変更通知には、キュータイプが変更されるストリームデータのSIDを含む。
The accumulated
図13は、第3の実施の形態のストリームデータ処理システムの動作概要を概念的に説明する図である。図13を用いて、第3の実施の形態のストリームデータ処理システムの動作概要を説明する。ここでは、追記部221により蓄積データ記憶部24に蓄積されたデータをフィルタ処理装置10が追記部222経由で取得し、フィルタ処理を行う。その後、フィルタ処理装置10は、直接、追記部221からデータを取得してフィルタ処理を行い、その後、追記部222からのデータ取得を中止する場合を例に説明する。なお、ここでは説明の簡単のため、図12に示した構成のうち、追記部221,222、蓄積データ記憶部24、蓄積データ取得部25、プロセス管理部26、追記部情報81およびフィルタ処理装置10以外の構成は記載を省略している。
FIG. 13 is a diagram for conceptually explaining the operation outline of the stream data processing system according to the third embodiment. An outline of the operation of the stream data processing system according to the third embodiment will be described with reference to FIG. Here, the
(1)まず、追記部221は、ストリームデータ(データ)を受信すると、このデータを蓄積データ記憶部24に出力(蓄積)する。なお、この段階では、図12の処理手順情報324には、SID「1」のストリームデータを扱う追記部のキュータイプは「A」であり、フィルタ処理装置10によるフィルタ処理は「無し(null)」であることが記録される。フィルタ処理装置10は、このような処理手順情報324により、追記部221に対しデータ取得を行なわないことになる。また、この追記部221は、処理中のデータのSID(例えば「1」)と、キュータイプ(例えば「A」)を追記部情報81に書き込む。
(1) First, when the
(2)次に、追記部221により蓄積データ記憶部24に蓄積されたデータに対し、フィルタ処理装置10がフィルタ処理を開始する場合、以下のようになる。まず、図12の処理手順情報324に、例えば、SID「2」に対し、フィルタ処理「P」を実行することを登録しておく。そして、蓄積データ取得部25は、追記部221により蓄積されたデータ(SID「1」のデータ)を蓄積データ記憶部24から読み出し、追記部222へ流し込む。そして、追記部222は、蓄積データ取得部25により流し込まれたデータ(SID「1」のデータ)のSIDを「2」に変更する。そして、フィルタ処理装置10は、処理手順情報324に基づき、この追記部222経由で、SID「2」のデータを取得し、フィルタ処理(例えば「P」)を開始する。
(2) Next, when the
(3)プロセス管理部26は、追記部221へ、キュータイプの変更を指示する。このキュータイプの変更の指示は、図12の情報管理装置30が参照クライアント70等から、キュータイプの変更通知を受け付けたとき、この情報管理装置30が各データ蓄積装置20へこのキュータイプの変更通知を送信することにより行われる。なお、このとき、情報管理装置30は、処理手順情報324に、例えば、SID「1」のデータに対して、キュータイプは「B」で、フィルタ処理「P」を実行するよう変更されたことを登録する。このようなキュータイプの変更指示を受けた追記部221は、受信したデータを蓄積データ記憶部24に蓄積するとともに、受信したデータを図1のキュー管理部225に蓄積し、フィルタ処理装置10からのデータ取得要求に応じる。そして、この追記部221は、変更したキュータイプ(例えば「B」)、処理中のストリームデータのSID(例えば「1」)、キュータイプの変更時刻(例えば「2008/01/11T11:00」)を追記部情報81に書き込む。なお、このキュータイプの変更時刻は、例えば、追記部221がキュータイプの変更指示を受信した時刻とする。
(3) The
(4)次に、蓄積データ取得部25は、追記部情報81を参照して、追記部221で処理中のSIDのキュータイプが変更されたことを検知したとき、以下のような処理を行う。まず、蓄積データ取得部25は、追記部情報81を参照して、キュータイプが変更された時刻を読み出す。そして、蓄積データ記憶部25からデータを読み出し、追記部222へ流し込むとき、データに付された受信時刻を参照しながら、その時刻(変更時刻)までのデータを流し終えたところで、この追記部222への流し込みを終了する。つまり、キュータイプを変更した後、所定時間、フィルタ処理装置10は、追記部(追記部221,222)からのデータ取得をパラレルで行うことになるが、蓄積データ取得部25は追記部222へのデータの流し込みをキュータイプの変更時刻までで終了するので、結果的にフィルタ処理装置10で処理するデータの重複はなくなる。
(4) Next, when the accumulated
これにより、フィルタ処理装置10は、追記部221が蓄積データ記憶部24への蓄積のみを行っていた間のデータ(例えばSID「1」のデータ)を取得しつつ、追記部221から直接データを取得するようにできる。つまり、フィルタ処理装置10が結果的に特定のSIDを持つデータについて、指定された時刻(キュータイプの変更時刻)以降のすべてのデータを重複なくフィルタ処理を行うことができる。
Thus, the
<動作手順>
このような第3の実施の形態のストリームデータ処理システムの動作手順を、図14を用いて説明する。図14は、図12のストリームデータ処理システムの動作手順を示す図である。ここでも、追記部221がいったん蓄積データ記憶部24に蓄積したデータをフィルタ処理装置10が追記部222経由で取得し、フィルタ処理を行う。その後、フィルタ処理装置10は、直接、追記部221からデータを取得するようにし、追記部222からのデータ取得を中止する場合を例に説明する。
<Operation procedure>
The operation procedure of the stream data processing system of the third embodiment will be described with reference to FIG. FIG. 14 is a diagram showing an operation procedure of the stream data processing system of FIG. Also in this case, the
なお、ここでは図示を省略しているが、追記部221が蓄積データ記憶部24へ蓄積したデータを、蓄積データ取得部25は、前記した図7のS61〜S72に示したような手順により、再フィルタ用のデータとして読み込み、追記部222へ追記する。
Although not shown here, the accumulated
つまり、参照クライアント70が、再フィルタ処理の対象とするストリームデータのSIDと、開始時刻と、再フィルタ処理の内容とを含む再フィルタ指示を情報管理装置30のデータ再フィルタ制御部33へ送信すると(図7のS61)、これをトリガとして、データ再フィルタ制御部33は、再フィルタ用SIDの発行、割当てと、再フィルタ処理の登録、追記データ位置情報の検索を行う(S62〜S64)。そして、データ再フィルタ制御部33は、再フィルタ追記クライアントとなるマシン(データ蓄積装置20)を決定し(S65)、そのデータ蓄積装置20へ再フィルタ指示を行う(S66)。そして、このような再フィルタ指示を受け付けたプロセス管理部26は、自データ蓄積装置20を再フィルタ追記クライアントとして起動させ(S67)、蓄積データ取得部25へ再フィルタ用SID、追記データ位置情報を含む再フィルタ指示を行う(S68)。そして、蓄積データ取得部25は、情報管理装置30の接続先割当部31へ再フィルタ用SIDを含む追記先払出し依頼を送信し(S69)、この応答として、追記部(追記部222)の払い出しを受ける(S70)。この後、蓄積データ取得部25は、この払い出しを受けた追記部222へ接続し(S71)、蓄積データ記憶部24から読み出した(S72)、データに再フィルタ用SID(例えば「2」)を付して、追記部222へ追記する(S73)準備をしておく。
That is, when the
まず、図12の追記部221は蓄積データ記憶部24にデータを蓄積し(S100)、蓄積データ取得部25は、この蓄積データ記憶部24からデータの読み込みを行う(S101)。この段階では、フィルタ処理装置10は、この追記部221からのデータ取得は行わない。
First, the
図12のデータ蓄積装置20のプロセス管理部26が、情報管理装置30からキュータイプ変更通知を受信すると、追記部221へキュータイプの変更を指示する情報を送信する(S102)。そして、このキュータイプの変更を指示する情報を受信した追記部221は、追記部情報81へキュータイプの変更に関する情報を書きこむ(S103)。例えば、追記部221は、キュータイプ後のキュータイプと、SIDと、そのキュータイプの変更を指示する情報の受信時刻(キュータイプの変更時刻)とを追記部情報81に書き込む。
When the
蓄積データ取得部25は、この追記部情報81を参照し(S104)、キュータイプの変更があるか否かを判断する(S105)。ここで、キュータイプの変更がなければ(S105のNo)、S106,107をスキップして、S108へ進む。S108については後記する。一方、この追記部情報81を参照して、キュータイプが変更されていたとき(S105のYes)、このキュータイプの変更時刻を読み出し、蓄積データ記憶部24からの当該SIDのデータの読み込み終了時刻を設定する(S106)。この読み込み終了時刻は、このデータ蓄積装置20内の記憶部に記録しておく。
The accumulated
そして、蓄積データ取得部25は、蓄積データ記憶部24から読み込んだデータのうち、このSIDの変更を行ったデータについて、そのデータに付された時刻を参照して、S106で設定された終了時刻より前のデータか否かを判断する(S107)。ここで、蓄積データ取得部25が、S106で設定された終了時刻より前のデータと判断したもの(S107のYes)については、追記部222へ追記し(S108)、追記部222においてキュー管理を行う(S109)。なお、蓄積データ取得部25は、追記部222へデータを追記した後、S101へ戻る。そして、フィルタ処理装置10は、この追記部222からデータを取得し(S110)、フィルタ処理を実行する(S111)。一方、蓄積データ記憶部24から読み込んだデータが、S106で設定された終了時刻以後のデータと判断したとき(S107のNo)、追記部222への追記を終了する(S112)。これにより、フィルタ処理装置10は、追記部221で受信したストリームデータを、追記部222から取得することがなくなる。つまり、フィルタ処理装置10は、キュータイプ変更前に追記部221により蓄積されたデータを追記部222経由で取得しつつ、追記部221からも直接データを取得することができる。このようにすることで、この追記部221で受信した一連のストリームデータについて、フィルタ処理装置10は、漏れなくフィルタ処理を行うことができる。また、追記部221から取得したものと同じデータを、追記部222からも重複して取得しないので、フィルタ処理を重複して行うことがなくなる。
The accumulated
なお、本発明は前記した各実施の形態に限定されず、広く変形可能である。 The present invention is not limited to the above-described embodiments, and can be widely modified.
例えば、情報管理装置30において参照クライアント70から再フィルタ指示を受信した後(図7のS61の後)、この再フィルタ指示の対象である追記データ位置情報(追記データ位置リスト)を参照クライアント70へ送信するようにしてもよい。図11は、図1および図9の情報管理装置および参照クライアントの動作手順を示す図である。
For example, after receiving the refilter instruction from the
すなわち、図11に示すように、情報管理装置30のデータ位置管理部34は、参照クライアント70から、SIDと時区間とを含む追記データ位置情報の検索要求を受信する(S151)。そして、データ位置管理部34は、この検索要求に含まれるSIDと時区間とをキーとして、データ位置管理DB325から追記データ位置情報を検索し、この検索結果をまとめた結果リスト(追記データ位置リスト)を作成する(S152)。そして、データ位置管理部34は、この作成した追記データ位置リストを前記検索要求に対する検索結果として返却する(送信する)(S153)。
That is, as shown in FIG. 11, the data
そして、このような追記データ位置リストを受信した参照クライアント70は、再フィルタ処理の内容と、追記データ位置リストに示される追記データ位置情報とを含む再フィルタ指示を情報管理装置30のデータ再フィルタ制御部33Aへ送信する(S154)。
Then, the
この後、データ再フィルタ制御部33Aは、追記フィルタ用SIDの割当と、再フィルタ処理の登録とを行った後、S54で参照クライアント70から送信された再フィルタ指示に含まれる追記データ位置情報に従い、データ蓄積装置20に再フィルタ指示を行う。
Thereafter, the data
なお、参照クライアント70は、S54において、情報管理装置30から受信した追記データ位置リストに示される追記データ位置情報の中から、所定の情報を選択し、この選択した追記データ位置情報を再フィルタ指示に含めて送信するようにしてもよい。このようにすることで、参照クライアント70は、SIDおよび時区間を指定して検索されたストリームデータが、どのデータ蓄積装置20の、どの記憶位置に蓄積されているか、どの程度のデータ数があるか等を確認した上で、再フィルタ指示することができる。
In S54, the
なお、このようにいったん参照クライアント70が追記データ位置リストを受信してから再フィルタ指示を送信する場合、参照クライアント70はこの追記データ位置リストそのものではなく、このリストを示す識別情報を送信するようにしてもよい。
When the
また、前記した各実施の形態において、データ蓄積装置20が、自データ蓄積装置20の追記データ位置情報を、情報管理装置30へ送信するタイミングは、このデータ蓄積装置20の接続先割当部31から接続先の払い出しを受けたときでもよいし、追記クライアント50がデータ蓄積装置20に接続したときでもよいし、データ蓄積装置20が追記クライアント50からストリームデータを受信したときでもよい。
In each of the above-described embodiments, the timing at which the
さらに、前記した各実施の形態のフィルタ処理装置10におけるウィンドウ処理は、現在のデータを基準にして、過去n件分のデータを使うウィンドウ処理(Touple-based Window)のほかに、過去所定時区間分のデータを使うウィンドウ処理(Time-based Window)等、様々なウィンドウ処理を用いてよい。
Further, the window processing in the
また、追記クライアント50が送信するストリームデータは、XMLデータ以外でも、CLOB(Character Large Object)型データでもよいし、BLOB(Binary Large OBject)型データでもよい。
Further, the stream data transmitted by the
さらに、前記した第1の実施の形態において、情報管理装置30は、再フィルタ追記クライアントとして1つのデータ蓄積装置20を選択することとしたが、複数のデータ蓄積装置20を選択するようにしてもよい。
Furthermore, in the first embodiment described above, the
さらに、前記した第2の実施の形態において、再フィルタ処理の内容がウィンドウ処理を含まない場合、情報管理装置30は、再フィルタ処理の対象のストリームデータを蓄積するデータ蓄積装置20それぞれを追記クライアントとして割り当てる(つまり、各データ蓄積装置20における並列処理を指示する)こととしたが、これに限定されない。例えば、情報管理装置30は、参照クライアント70から受信した再フィルタ指示に、前記並列処理を要求するフラグが含まれていたときに、各データ蓄積装置20を追記クライアントとして割り当て、この並列処理を要求するフラグが含まれていなかったときには、第1の実施の形態のように、いずれか1つのデータ蓄積装置20を追記クライアントとして割り当てるようにしてもよい。
Further, in the second embodiment described above, when the content of the refiltering process does not include the window process, the
また、前記した各実施の形態のシステムは、様々な分野に適用可能である。 Moreover, the system of each embodiment described above can be applied to various fields.
例えば、本システムを、冷蔵庫メーカのメンテナンスセンタ等において各冷蔵庫の庫内温度を監視するために用いてもよい。この場合、図1の追記クライアント50は、所定時間ごとに冷蔵庫の庫内温度を示したストリームデータを送信し、フィルタ処理装置10において、このストリームデータに示される庫内温度(特定のカラム(例えば、C1)に記録)が所定の閾値超えた場合、異常として検出する。そして、このメンテナンスセンタ等の参照クライアント70は、この検出結果を、データベース装置60経由で受信する。
For example, this system may be used to monitor the internal temperature of each refrigerator at a maintenance center of a refrigerator manufacturer. In this case, the write-
このような場合において、参照クライアント70により、所定の冷蔵庫の異常検出を受信すると、冷蔵庫メーカのメンテナンスセンタ等はこのような異常が発生するまでの過程を調査したい場合もある。
In such a case, when the
このような場合、以下のようにすればよい。すなわち、異常が検出された冷蔵庫の種別を示すSID、フィルタ処理装置10のフィルタ処理部124における庫内温度の異常検出のための閾値を変更する。そして、情報管理装置30は、データ蓄積装置20の過去のストリームデータを再度この閾値変更後のフィルタ処理装置10に流すという処理を何度か繰り返す。
In such a case, the following may be performed. That is, the SID indicating the type of the refrigerator in which the abnormality is detected and the threshold value for detecting the abnormality of the internal temperature in the filter processing unit 124 of the
具体例を用いて説明すると、過去3ヶ月分さかのぼって、庫内温度が3℃以上の頻度はどれくらいあったかを調べたい場合、参照クライアント70から、異常が検出された冷蔵庫のSID、過去3ヶ月分という時区間、庫内温度が3℃以上のときに異常検出という再フィルタ処理の内容を含む再フィルタ指示を情報管理装置30へ送信する。また、同様に、過去1年分さかのぼって、庫内温度が0℃以上の頻度はどれくらいあったかを調べたい場合、参照クライアント70から、異常が検出された冷蔵庫のSID、過去1年分という時区間、庫内温度が0℃以上のときに異常検出という再フィルタ処理の内容を含む再フィルタ指示を情報管理装置30へ送信する。
Using a specific example, if you want to find out how often the internal temperature is 3 ° C or higher, go back the past 3 months, the
このような処理を何度か繰り返すことで、各冷蔵庫の庫内温度が、前記異常検出の温度まで徐々に上昇していったのか、急激に上昇していったのか、またその時期はいつ頃か等の分析を行うことができる。 By repeating this process several times, the temperature inside each refrigerator gradually increased to the temperature at which the abnormality was detected, or suddenly increased, and when Such analysis can be performed.
また、本システムを全国各地の気温の監視に用いるようにしてもよい。この場合、例えば複数の追記クライアント50はそれぞれ、1分ごとに気温を計測する。次に、この計測した気温データに、各地に割当てられたSIDを付したストリームデータを、データ蓄積装置20へ送信する。そして、フィルタ処理装置10において、40℃以上の気温データを検出したとき、警報を出すよう設定しておく。
In addition, this system may be used for monitoring the temperature in various parts of the country. In this case, for example, each of the plurality of
ここで、フィルタ処理装置10において5年間、気温を監視していて、ある日、A地点で40℃以上の警報が出たとする。このような場合、参照クライアント70は、A地点のSID、過去3年分という時区間、気温が38℃以上のときに警報を出すという再フィルタ処理の内容を含む再フィルタ指示を情報管理装置30へ送信する。このようにすることで、A地点について、過去3年分の気温のデータのうち、気温が38℃以上のデータを調べることができる。
Here, it is assumed that the temperature of the
つまり、本システムによれば、複数のデータ蓄積装置20およびフィルタ処理装置10を用いて処理を行うので、莫大な数の冷蔵庫の庫内温度や全国の各地点の気温監視等、多数のストリームデータのフィルタ処理を効率的に実行できる。また、このように複数のデータ蓄積装置20に過去のストリームデータを蓄積する場合でも、情報管理装置30が追記データ位置情報により過去のストリームデータがどのデータ蓄積装置20に蓄積されているか把握しているので、効率的に再フィルタ対象のストリームデータを探すことができる。
That is, according to this system, since processing is performed using a plurality of
なお、本システムは、情報管理装置30に新しいフィルタが追加され、フィルタ処理装置10においてこの新しいフィルタで再度過去のストリームデータを流しなおす場合にも有効である。
This system is also effective when a new filter is added to the
例えば、本システムのフィルタ処理装置10において街角の監視画像のストリームデータから人物を検出する人物検出ツール用い、その地点の人の流量を測定する場合において、人物検出ツールの人物検出精度が向上したとき(例えば、親子関係を判別できるようになった場合や、人物の移動方向も検出できるようになった場合等)、まず、フィルタ処理装置10における人物検出ツールを、この人物検出精度の向上した人物検出ツールに入れ替える。そして、追記クライアント50からの再フィルタ指示に基づき、本システムはこの新たな人物検出ツールで、過去のストリームデータに対し再フィルタ処理を実行する。このようにすることで、新しいフィルタができたとき、この新しいフィルタを用いて過去のストリームデータの洗い直しをすることができる。
For example, when using the person detection tool for detecting a person from stream data of a street corner monitoring image in the
なお、このように新しいフィルタ処理を追加したフィルタ処理装置10は、再起動のため一時的に停止するが、前記したとおり、情報管理装置30が再起動処理部36により、再起動するフィルタ処理装置10の数を制限する。従って、新しいフィルタ処理の追加のため多数のフィルタ処理装置10が停止し、システム全体のフィルタ処理能力が著しく低下することを防止できる。
The
さらに、本システムは、前記した例以外にも、ホームゲートウェイのログの監視や、携帯電話機の機器状態の監視等に適用してもよい。 Furthermore, the present system may be applied to monitoring of a home gateway log, monitoring of a device state of a mobile phone, and the like other than the above-described example.
本実施の形態に係る情報管理装置30、データ蓄積装置20、フィルタ処理装置10は、前記したような処理を実行させるプログラムによって実現することができ、そのプログラムをコンピュータによる読み取り可能な記憶媒体(CD−ROM等)に記憶して提供することが可能である。また、そのプログラムを、ネットワークを通して提供することも可能である。
The
10(10A〜10N) フィルタ処理装置
11,21 入力部
12,32 処理部
13,23 出力部
20(20A〜20N) データ蓄積装置
24 蓄積データ記憶部
25 蓄積データ取得部
26 プロセス管理部
30 情報管理装置
31 接続先割当部
33,33A データ再フィルタ制御部
34 データ位置管理部
35 情報管理部
36 再起動処理部
50(50A〜50N) 追記クライアント(情報源端末)
60 データベース装置
61 データ位置記憶DB
62 受付部
63 検索部
70 参照クライアント(外部装置)
81 追記部情報
121 キュー選択部
122 データ取得部
123 フィルタ実行制御部
124 フィルタ処理部
125 再起動問い合わせ部
126 処理手順情報
127 フィルタ取得部
124 フィルタ処理部
221,222 追記部
223 ストリーム受付部
224 追記データ蓄積部
225 キュー管理部
226 キュー部
227 追記データ位置情報送信部
321 システム情報
322 情報源情報
323 スキーマ情報
324 処理手順情報
325 データ位置管理DB
326 再起動情報
10 (10A to 10N)
60
62
81 Additional
326 Restart information
Claims (7)
前記データ蓄積装置はそれぞれ、前記ストリームデータを蓄積する蓄積データ記憶部と、前記ストリームデータの前記蓄積データ記憶部への出力および自身のキュー部への蓄積を行う1以上の追記部と、前記蓄積データ記憶部から前記ストリームデータを取得し、この取得したストリームデータを前記追記部へ送信する蓄積データ取得部とを備え、
前記情報管理装置は、
外部装置から、前記フィルタ処理装置による前記ストリームデータの取得先となる追記部の変更と、前記取得先となる追記部が変更されるストリームデータのSIDとを含むキュータイプ変更通知を受信したとき、
前記処理手順情報のうち、前記ストリームデータのSIDに関する情報に前記追記部の変更内容を反映し、
前記データ蓄積装置へ、前記キュータイプ変更通知を送信し、
前記新たな取得先となる追記部を備える前記データ蓄積装置は、
前記新たな取得先となる追記部へ、前記キュータイプ変更通知を送信し、
前記キュータイプ変更通知を受信した追記部は、
当該追記部での処理中のストリームデータのSIDと、前記キュータイプ変更通知の受信時刻とを前記データ蓄積装置の記憶部の追記部情報に記録し、
前記蓄積データ取得部は、
前記蓄積データ記憶部から前記ストリームデータを取得するとき、前記記憶部の追記部情報を参照し、前記取得したストリームデータの送信先となる前記追記部のキュータイプが変更されたと判断した場合、
前記追記部情報に示される前記キュータイプ変更通知の受信時刻と、前記取得したストリームデータの受信時刻とを参照して、そのストリームデータの受信時刻が前記キュータイプの変更通知の受信時刻より前の前記ストリームデータを、前記変更前の追記部へ送信し、その受信時刻が前記キュータイプの変更通知の受信時刻以降の前記ストリームデータを、前記変更前の追記部へ送信しないことを特徴とするストリームデータ処理方法。 (1) A plurality of data storage devices that store stream data transmitted from a plurality of information source terminals, and (2) a plurality of filter processing devices that perform a filtering process on the stream data acquired from the data storage device. (3) For each SID indicating the type of the stream data, processing procedure information indicating the filter processing to be executed on the stream data having this SID and the application procedure of the filter processing is transmitted to the filter processing device. A stream data processing method in a stream data processing system comprising an information management device,
Each of the data storage devices includes a storage data storage unit that stores the stream data, one or more appending units that output the stream data to the storage data storage unit and store the stream data in its own queue unit, and the storage A storage data acquisition unit that acquires the stream data from a data storage unit and transmits the acquired stream data to the appending unit;
The information management device includes:
When a queue type change notification is received from an external device, including a change of the appending unit that is the acquisition destination of the stream data by the filter processing device and an SID of the stream data in which the appending unit that is the acquisition destination is changed,
Of the processing procedure information, reflect the change of the appending unit in the information related to the SID of the stream data,
Sending the queue type change notification to the data storage device;
The data storage device including the additional recording unit as the new acquisition destination,
Send the queue type change notification to the appending unit that is the new acquisition destination,
The appending unit that has received the queue type change notification,
Record the SID of the stream data being processed in the appending unit and the reception time of the queue type change notification in the appending unit information of the storage unit of the data storage device,
The accumulated data acquisition unit
When acquiring the stream data from the accumulated data storage unit, referring to the additional recording unit information of the storage unit, if it is determined that the queue type of the additional recording unit as a transmission destination of the acquired stream data has been changed,
With reference to the reception time of the queue type change notification indicated in the additional recording section information and the reception time of the acquired stream data, the reception time of the stream data is earlier than the reception time of the change notification of the queue type. The stream data is transmitted to the appending unit before the change, and the stream data whose reception time is after the reception time of the change notification of the queue type is not transmitted to the appending unit before the change Data processing method.
前記情報源端末から、前記SIDを含む当該ストリームデータの送信先割り当て要求を受信したとき、記憶部に記憶された、前記SIDごとに、当該SIDのストリームデータの送信先であるデータ蓄積装置の識別情報を示したシステム情報を参照して、当該情報源端末へこのストリームデータの送信先である前記データ蓄積装置の識別情報を送信し、
前記情報源端末は、
前記情報管理装置から送信された識別情報に対応する前記データ蓄積装置へ前記ストリームデータを送信し、
前記データ蓄積装置の蓄積データ取得部はそれぞれ、前記ストリームデータを取得したとき、この取得したストリームデータを前記追記部に出力するとともに、前記蓄積データ記憶部に出力し、
前記フィルタ処理装置は、
前記データ蓄積装置の追記部のキュー部におけるキュー状態に基づき、前記ストリームデータの取得先となる前記データ蓄積装置を選択し、
前記選択されたデータ蓄積装置の追記部から前記ストリームデータを取得し、
前記情報管理装置から受信した前記処理手順情報と、前記取得したストリームデータに付されたSIDとを参照して、前記取得したストリームデータに対し実行すべきフィルタ処理を決定し、前記決定したフィルタ処理を実行し、
前記データ蓄積装置はそれぞれ、
前記情報源端末からストリームデータを受信し、この受信したストリームデータを前記蓄積データ記憶部に出力したとき、このストリームデータのSIDと、このストリームデータの受信時刻と、自データ蓄積装置の識別情報およびこのストリームデータの記憶領域を示す情報とを対応付けた追記データ位置情報を作成し、前記情報管理装置へ送信し、
前記情報管理装置は、
前記データ蓄積装置それぞれから送信された前記追記データ位置情報を記憶部に記憶し、
前記外部装置から、当該ストリームデータのSIDおよび受信時刻を含む前記ストリームデータの検索要求を受信したとき、
前記検索要求に含まれる前記SIDおよび前記受信時刻をキーとして、前記記憶部から、当該ストリームデータに関する前記追記データ位置情報を検索し、
前記検索した追記データ位置情報を前記外部装置へ送信することを特徴とする請求項1に記載のストリームデータ処理方法。 The information management device includes:
When receiving a destination allocation request for the stream data including the SID from the information source terminal, for each SID stored in the storage unit, identification of the data storage device that is the destination of the stream data of the SID With reference to the system information indicating the information, the identification information of the data storage device that is the transmission destination of this stream data is transmitted to the information source terminal,
The information source terminal is
Transmitting the stream data to the data storage device corresponding to the identification information transmitted from the information management device;
Each of the stored data acquisition units of the data storage device, when acquiring the stream data, outputs the acquired stream data to the appending unit and outputs to the stored data storage unit,
The filter processing device includes:
Based on the queue state in the queue unit of the appending unit of the data storage device, select the data storage device as the acquisition destination of the stream data,
Obtaining the stream data from the appending unit of the selected data storage device;
Referring to the processing procedure information received from the information management device and the SID attached to the acquired stream data, a filtering process to be executed on the acquired stream data is determined, and the determined filtering process Run
Each of the data storage devices is
When stream data is received from the information source terminal and the received stream data is output to the stored data storage unit, the SID of the stream data, the reception time of the stream data, the identification information of the own data storage device, and Create additional write data position information in association with the information indicating the storage area of the stream data, and transmit to the information management device,
The information management device includes:
Storing the additional data location information transmitted from each of the data storage devices in a storage unit;
When receiving the stream data search request including the SID and reception time of the stream data from the external device,
Using the SID and the reception time included in the search request as keys, the additional data location information regarding the stream data is searched from the storage unit,
The stream data processing method according to claim 1, wherein the searched postscript data position information is transmitted to the external device.
前記情報源端末から、前記SIDを含む当該ストリームデータの送信先割り当て要求を受信したとき、記憶部に記憶された、前記SIDごとに、当該SIDのストリームデータの送信先であるデータ蓄積装置の識別情報を示したシステム情報を参照して、当該情報源端末へこのストリームデータの送信先である前記データ蓄積装置の識別情報を送信し、
前記外部装置から、前記再フィルタ処理の対象であるストリームデータに関する追記データ位置情報と前記再フィルタ処理の内容とを示した再フィルタ指示情報を受信したとき、
前記再フィルタ処理の対象とするストリームデータに用いる再フィルタ用SIDを発行し、
前記記憶部のシステム情報に、前記再フィルタ用SIDと、このSIDを持つストリームデータを蓄積するデータ蓄積装置の識別情報とを対応付けた情報を追加し、
前記記憶部の前記処理手順情報に、前記発行した再フィルタ用SIDと、このSIDを持つストリームデータに対する前記再フィルタ処理の内容と対応付けた情報を追加することで、前記再フィルタ処理の内容を前記処理手順情報に反映し、
前記再フィルタ処理の内容を反映した処理手順情報を、前記フィルタ処理装置へ送信し、
前記複数のデータ蓄積装置のうち、いずれか1つのデータ蓄積装置を選択し、
この選択したデータ蓄積装置へ前記発行した再フィルタ用SIDを含む前記再フィルタ処理指示情報を送信し、
前記再フィルタ処理指示情報を受信したデータ蓄積装置は、
前記受信した再フィルタ指示情報に示される前記データ蓄積装置の記憶領域から、前記再フィルタ処理の対象であるストリームデータを取得し、
前記取得した再フィルタ処理の対象であるストリームデータに前記再フィルタ用SIDを付与し、
前記再フィルタ指示情報に含まれる再フィルタ用SIDをキーとして、前記情報管理装置から、このデータ蓄積装置が接続すべき前記データ蓄積装置の識別情報を取得し、
前記取得した識別情報に示される前記データ蓄積装置へ接続して、このデータ蓄積装置へ前記ストリームデータを送信し、
前記フィルタ処理装置は、
前記データ蓄積装置の追記部から、前記再フィルタ用SIDを持つストリームデータを取得したとき、
前記情報管理装置から受信した前記再フィルタ処理の内容を反映した処理手順情報を参照して、前記フィルタ処理を実行することを特徴とする請求項2に記載のストリームデータ処理方法。 The information management device includes:
When receiving a destination allocation request for the stream data including the SID from the information source terminal, for each SID stored in the storage unit, identification of the data storage device that is the destination of the stream data of the SID With reference to the system information indicating the information, the identification information of the data storage device that is the transmission destination of this stream data is transmitted to the information source terminal,
When receiving from the external device refilter instruction information indicating additional data position information relating to the stream data to be refiltered and the content of the refilter processing,
Issue a refilter SID to be used for the stream data to be refiltered,
Adding information that associates the re-filtering SID with identification information of a data storage device that stores stream data having the SID, to the system information of the storage unit;
By adding information relating to the issued refilter SID and the content of the refilter process for the stream data having the SID to the processing procedure information of the storage unit, the content of the refilter process is added. Reflected in the processing procedure information,
Processing procedure information reflecting the contents of the refiltering process is transmitted to the filter processing apparatus;
Select one of the plurality of data storage devices,
Transmitting the refiltering instruction information including the issued refiltering SID to the selected data storage device;
The data storage device that has received the refilter processing instruction information,
From the storage area of the data storage device indicated in the received refilter instruction information, obtain the stream data that is the target of the refiltering process,
The refiltering SID is given to the stream data that is the target of the refiltering acquired,
Using the refilter SID included in the refilter instruction information as a key, from the information management device, obtain identification information of the data storage device to which the data storage device is to be connected,
Connect to the data storage device indicated by the acquired identification information, and transmit the stream data to the data storage device,
The filter processing device includes:
When the stream data having the SID for refiltering is acquired from the appending unit of the data storage device,
3. The stream data processing method according to claim 2, wherein the filtering process is executed with reference to processing procedure information reflecting the contents of the re-filtering process received from the information management apparatus.
前記外部装置から、前記再フィルタ処理の対象とするストリームデータのSID、受信時刻および当該ストリームデータに対し実行すべき再フィルタ処理の内容を示した再フィルタ指示情報を受信したとき、
前記再フィルタ処理の対象とするストリームデータのSIDおよび受信時刻をキーとして、前記記憶部から、当該ストリームデータに関する前記追記データ位置情報を検索し、
前記検索した追記データ位置情報および前記再フィルタ処理の内容を示した再フィルタ指示情報を、前記複数のデータ蓄積装置のうち、いずれか1つのデータ蓄積装置へ送信することを特徴とする請求項3に記載のストリームデータ処理方法。 The information management device includes:
When receiving the refilter instruction information indicating the SID of the stream data to be refiltered, the reception time and the content of the refilter process to be performed on the stream data from the external device,
Using the SID and reception time of the stream data to be refiltered as a key, the additional data location information regarding the stream data is retrieved from the storage unit,
4. The re-filter instruction information indicating the searched additional write data position information and the content of the re-filter process is transmitted to any one of the plurality of data storage devices. 2. The stream data processing method described in 1.
前記受信した再フィルタ指示情報に示される再フィルタ処理の内容が、当該ストリームデータに対するウィンドウ処理を含むか否かを判断し、
前記受信した再フィルタ指示情報に示される再フィルタ処理の内容が、当該ストリームデータに対するウィンドウ処理を含まないと判断した場合、
前記再フィルタ処理指示情報の送信先である前記データ蓄積装置を選択するとき、前記記憶部から検索された当該ストリームデータに関する追記データ位置情報を、当該ストリームデータを有するデータ蓄積装置ごとに分け、前記分けた追記データ位置情報を前記再フィルタ指示情報に含め、当該ストリームデータを有するデータ蓄積装置それぞれへ送信することを特徴とする請求項3または請求項4に記載のストリームデータ処理方法。 The information management device includes:
Determining whether the content of the refiltering process indicated in the received refiltering instruction information includes a window process for the stream data;
When it is determined that the content of the refilter process indicated in the received refilter instruction information does not include the window process for the stream data,
When selecting the data storage device that is the transmission destination of the refiltering instruction information, the additional data position information regarding the stream data retrieved from the storage unit is divided for each data storage device having the stream data, 5. The stream data processing method according to claim 3, wherein the additional write data position information is included in the refilter instruction information and transmitted to each data storage device having the stream data.
外部装置から、前記フィルタ処理装置による前記ストリームデータの取得先となる追記部の変更と、前記取得先となる追記部が変更されるストリームデータのSIDとを含むキュータイプ変更通知を受信するステップと、
前記処理手順情報のうち、前記ストリームデータのSIDに関する情報に前記追記部の変更内容を反映するステップと、
前記データ蓄積装置へ、前記キュータイプ変更通知を送信するステップと、
を実行させ、
前記新たな取得先となる追記部を備えるコンピュータである前記データ蓄積装置に、
前記新たな取得先となる追記部へ、前記キュータイプ変更通知を送信するステップと、
前記キュータイプ変更通知を受信した追記部において、
当該追記部での処理中のストリームデータのSIDと、前記キュータイプ変更通知の受信時刻とを前記データ蓄積装置の記憶部の追記部情報に記録するステップと、
を実行させ
前記蓄積データ記憶部から前記ストリームデータを取得するとき、前記記憶部の追記部情報を参照し、前記取得したストリームデータの送信先となる前記追記部のキュータイプが変更されたと判断した場合、
前記追記部情報に示される前記キュータイプ変更通知の受信時刻と、前記取得したストリームデータの受信時刻とを参照して、そのストリームデータの受信時刻が前記キュータイプの変更通知の受信時刻より前の前記ストリームデータを、前記変更前の追記部へ送信させ、その受信時刻が前記キュータイプの変更通知の受信時刻以降の前記ストリームデータを、前記変更前の追記部へ送信させないことを特徴とするストリームデータ処理プログラム。 (1) an accumulated data storage unit that accumulates stream data transmitted from a plurality of information source terminals, one or more appending units that perform output of the stream data to the accumulated data storage unit and accumulation in the own queue unit, And a plurality of data storage devices including a storage data acquisition unit that acquires the stream data from the storage data storage unit and transmits the acquired stream data to the appending unit, and (2) acquired from the data storage device A plurality of filter processing devices that perform filter processing on the stream data; and (3) for each SID indicating the type of the stream data, the filter processing to be executed on the stream data having this SID and the filter processing thereof An information management device that transmits processing procedure information indicating an application procedure to the filter processing device. In the information management device is a computer used for the stream data processing system,
Receiving, from an external device, a queue type change notification including the change of the additional recording unit that is the acquisition destination of the stream data by the filter processing device and the SID of the stream data in which the additional recording unit that is the acquisition destination is changed; ,
Of the processing procedure information, reflecting the change content of the additional recording unit in information related to the SID of the stream data;
Sending the queue type change notification to the data storage device;
And execute
In the data storage device, which is a computer provided with an additional recording section to be the new acquisition destination,
Sending the queue type change notification to the appending unit as the new acquisition destination;
In the appending unit that has received the queue type change notification,
Recording the SID of the stream data being processed in the additional recording unit and the reception time of the queue type change notification in the additional recording unit information of the storage unit of the data storage device;
When the stream data is acquired from the accumulated data storage unit, it is determined that the queue type of the additional recording unit that is the transmission destination of the acquired stream data has been changed by referring to the additional recording unit information of the storage unit If
With reference to the reception time of the queue type change notification indicated in the additional recording section information and the reception time of the acquired stream data, the reception time of the stream data is earlier than the reception time of the change notification of the queue type. The stream data is transmitted to the appending unit before the change, and the stream data whose reception time is after the reception time of the change notification of the queue type is not transmitted to the appending unit before the change Data processing program.
前記情報管理装置は、
外部装置から、前記フィルタ処理装置による前記ストリームデータの取得先となる追記部の変更と、前記取得先となる追記部が変更されるストリームデータのSIDとを含むキュータイプ変更通知を受信したとき、
前記処理手順情報のうち、前記ストリームデータのSIDに関する情報に前記追記部の変更内容を反映し、前記ストリームデータの新たな取得先となる前記追記部を備える前記データ蓄積装置へ、前記キュータイプ変更通知を送信するデータ再フィルタ制御部を備え、
前記データ蓄積装置は、
前記キュータイプ変更通知を受信したとき、前記新たな取得先となる追記部へ、前記キュータイプ変更通知を送信するプロセス管理部を備え、
前記追記部は、
前記キュータイプ変更通知を受信したとき、当該追記部での処理中のストリームデータのSIDと、前記キュータイプ変更通知の受信時刻とを前記データ蓄積装置の記憶部の追記部情報に記録し、
前記蓄積データ取得部は、
前記蓄積データ記憶部から前記ストリームデータを取得するとき、前記記憶部の追記部情報を参照し、前記取得したストリームデータの送信先となる前記追記部のキュータイプが変更されたと判断した場合、
前記追記部情報に示される前記キュータイプ変更通知の受信時刻と、前記取得したストリームデータの受信時刻とを参照して、そのストリームデータの受信時刻が前記キュータイプの変更通知の受信時刻より前の前記ストリームデータを、前記変更前の追記部へ送信し、その受信時刻が前記キュータイプの変更通知の受信時刻以降の前記ストリームデータを、前記変更前の追記部へ送信しないことを特徴とするストリームデータ処理システム。 (1) an accumulated data storage unit that accumulates stream data transmitted from a plurality of information source terminals, one or more appending units that perform output of the stream data to the accumulated data storage unit and accumulation in the own queue unit, And a plurality of data storage devices including a storage data acquisition unit that acquires the stream data from the storage data storage unit and transmits the acquired stream data to the appending unit, and (2) acquired from the data storage device A plurality of filter processing devices that perform filter processing on the stream data; and (3) for each SID indicating the type of the stream data, the filter processing to be executed on the stream data having this SID and the filter processing thereof An information management device that transmits processing procedure information indicating an application procedure to the filter processing device. A stream data processing system,
The information management device includes:
When a queue type change notification is received from an external device, including a change of the appending unit that is the acquisition destination of the stream data by the filter processing device and an SID of the stream data in which the appending unit that is the acquisition destination is changed,
Of the processing procedure information, the change type of the additional recording unit is reflected in the information regarding the SID of the stream data, and the queue type change is made to the data storage device including the additional recording unit as a new acquisition destination of the stream data. A data refilter control unit for sending notifications,
The data storage device includes:
When the queue type change notification is received, the process management unit transmits the queue type change notification to the additional recording unit as the new acquisition destination,
The appending part is
When the queue type change notification is received, the SID of the stream data being processed by the additional recording unit and the reception time of the queue type change notification are recorded in the additional recording unit information of the storage unit of the data storage device,
The accumulated data acquisition unit
When acquiring the stream data from the accumulated data storage unit, referring to the additional recording unit information of the storage unit, if it is determined that the queue type of the additional recording unit as a transmission destination of the acquired stream data has been changed,
With reference to the reception time of the queue type change notification indicated in the additional recording section information and the reception time of the acquired stream data, the reception time of the stream data is earlier than the reception time of the change notification of the queue type. The stream data is transmitted to the appending unit before the change, and the stream data whose reception time is after the reception time of the change notification of the queue type is not transmitted to the appending unit before the change Data processing system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008011786A JP4909290B2 (en) | 2008-01-22 | 2008-01-22 | Stream data processing method, stream data processing program, and stream data processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008011786A JP4909290B2 (en) | 2008-01-22 | 2008-01-22 | Stream data processing method, stream data processing program, and stream data processing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009177335A JP2009177335A (en) | 2009-08-06 |
JP4909290B2 true JP4909290B2 (en) | 2012-04-04 |
Family
ID=41032003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008011786A Active JP4909290B2 (en) | 2008-01-22 | 2008-01-22 | Stream data processing method, stream data processing program, and stream data processing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4909290B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3808394B2 (en) * | 2002-04-02 | 2006-08-09 | 松下電器産業株式会社 | STREAM DATA PROCESSING DEVICE, STREAM DATA PROCESSING METHOD, PROGRAM, AND MEDIUM |
JP4320004B2 (en) * | 2005-07-04 | 2009-08-26 | 日本電信電話株式会社 | XPath processing method, XPath processing device, XPath processing program, and storage medium storing the program |
US7636703B2 (en) * | 2006-05-02 | 2009-12-22 | Exegy Incorporated | Method and apparatus for approximate pattern matching |
-
2008
- 2008-01-22 JP JP2008011786A patent/JP4909290B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009177335A (en) | 2009-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2015140927A1 (en) | Data transfer monitoring system, data transfer monitoring method, and site system | |
US7757164B2 (en) | Page information collection program, page information collection method, and page information collection apparatus | |
JP6870466B2 (en) | Control programs, control methods, controls, and database servers | |
JP4466615B2 (en) | Operation management system, monitoring device, monitored device, operation management method and program | |
CN107748790B (en) | Online service system, data loading method, device and equipment | |
JP4871213B2 (en) | Stream data processing method, stream data processing program, and stream data processing system | |
US9514176B2 (en) | Database update notification method | |
CN106980572B (en) | Online debugging method and system for distributed system | |
CN111859076B (en) | Data crawling method, device, computer equipment and computer readable storage medium | |
US9461884B2 (en) | Information management device and computer-readable medium recorded therein information management program | |
CN106815223B (en) | Mass picture management method and device | |
JP5024453B2 (en) | Business flow distributed processing system and method | |
JP4741301B2 (en) | Information search system, information search device, information search method, recording medium, and program | |
JP4909290B2 (en) | Stream data processing method, stream data processing program, and stream data processing system | |
JP6855364B2 (en) | Log collection system and program | |
JP6855798B2 (en) | Equipment inspection support method, equipment inspection support device and equipment inspection support system | |
CN112732765B (en) | Method and device for determining experimental path and electronic equipment | |
US9009073B1 (en) | Product availability check using image processing | |
US7703106B2 (en) | Discovering and monitoring process executions | |
JP2007264921A (en) | Performance information extraction program and apparatus | |
JP2006155064A (en) | Information processor and program used therefor | |
CN110083509A (en) | A kind of regular method and device of daily record data | |
JP4793387B2 (en) | POSITION INFORMATION MANAGEMENT DEVICE AND PROGRAM | |
JP7482003B2 (en) | Information processing system, information processing method and computer | |
JP2011129146A (en) | Information search system for automatically searching information on network, information search device, information search method, recording medium and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110811 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120110 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150120 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4909290 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |