JP4789021B2 - データ処理装置及びデータ処理方法 - Google Patents

データ処理装置及びデータ処理方法 Download PDF

Info

Publication number
JP4789021B2
JP4789021B2 JP2009025817A JP2009025817A JP4789021B2 JP 4789021 B2 JP4789021 B2 JP 4789021B2 JP 2009025817 A JP2009025817 A JP 2009025817A JP 2009025817 A JP2009025817 A JP 2009025817A JP 4789021 B2 JP4789021 B2 JP 4789021B2
Authority
JP
Japan
Prior art keywords
data
collation
backup
holding area
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009025817A
Other languages
English (en)
Other versions
JP2010182141A (ja
Inventor
剛志 畔出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2009025817A priority Critical patent/JP4789021B2/ja
Priority to US12/700,487 priority patent/US8812530B2/en
Priority to FR1050773A priority patent/FR2942054B1/fr
Priority to CN201010113712.6A priority patent/CN101799779B/zh
Publication of JP2010182141A publication Critical patent/JP2010182141A/ja
Application granted granted Critical
Publication of JP4789021B2 publication Critical patent/JP4789021B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/1666—Error detection or correction of the data by redundancy in hardware where the redundant component is memory or memory area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023—Failover techniques
    • G06F11/2028—Failover techniques eliminating a faulty processor or activating a spare
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2035—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant without idle spare hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2048—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant where the redundant components share neither address space nor persistent storage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023—Failover techniques
    • G06F11/2025—Failover techniques using centralised failover control functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、データの照合に関する。
高並列照合プロセッサを用いて指紋などの照合を行う高性能データ照合装置が知られている。このような装置では、複数の照合プロセッサの各々の配下に個別メモリが用意される。各々の個別メモリには、上位装置からあらかじめファイルデータ（照合対象となる探索データの照合に用いるために予め登録され蓄積されたデータであり、本明細書においてはＦデータと記載する）が転送される。個々のＦデータは、上位装置から照合対象として与えられる対象データと比較されるために予め登録される登録データである。高性能データ照合装置は、複数のプロセッサが並列にそれぞれの配下の個別メモリ内のＦデータと対象データとの照合を行うことにより、高速で照合を行う。
参考例として、特許文献１には、分散制御形のサービス制御ノードシステムが記載されている。このシステムは、独立に動作し得る複数のモジュールとそれらの結合機構とから構成され、サービス制御のためのデータベースを複数のモジュールに分散配備する。
特開２００３−２５８９９７号公報
高並列照合プロセッサを用いた高性能データ照合装置を無停止運転させる場合、冗長系を用意する方法が考えられる。すなわち、搭載された複数のプロセッサ及びメモリと同等数のプロセッサ及びメモリをバックアップとして用意し、通常Ｆデータとバックアップデータとで同時に照合を実行することにより、フォールトトレラントな照合を行うことができる。しかしながら、冗長系を用いた高性能データ照合装置は、プロセッサ数が膨大となり、コスト・消費電力・設置スペースが増大してしまうといった問題があった。
また、少数の予備プロセッサを障害時に切り替えて照合させることにより無停止運転を行う方式が考えられる。しかしながら、この方式では、障害プロセッサのデータが消失してしまう。そのため、上位装置に障害を報告し、上位装置から障害プロセッサの個別メモリに格納されていたＦデータ全てと探索データを転送し直して、最初から照合をやり直さなければならない。その結果、障害処理に時間がかかり、全体の照合時間が増大してしまうといった問題があった。
本発明の一側面におけるデータ処理装置は、それぞれ通常データ保持領域とバックアップデータ保持領域とを有する複数の照合ノードと、照合のために予め登録されるファイルデータを複数含むファイルデータ群が入力されたとき、そのファイルデータ群を複数の照合ノードのうちの第ｊ照合ノード（ｊは整数）の通常データ保持領域に格納し、且つそのファイルデータ群に含まれる複数のファイルデータを分散して第ｊ照合ノード以外の複数の照合ノードの各々のバックアップデータ保持領域に格納するバックアップ処理を実行するデータ分配部とを備える。バックアップ処理は、ファイルデータ群に含まれる複数のファイルデータの各々を、複数の照合ノードのうち先行して保存されているファイルデータの最も少ない最少バックアップデータ保持領域から順にバックアップデータ保持領域に分配することによって実行される。
本発明の一側面におけるデータ処理方法は、それぞれ通常データ保持領域とバックアップデータ保持領域とを有する複数の照合ノードを提供する工程と、照合のために予め登録されるデータであるファイルデータを複数含むファイルデータ群が入力されたとき、そのファイルデータ群を複数の照合ノードのうちの第ｊ照合ノードの通常データ保持領域に格納する工程と、そのファイルデータ群に含まれる複数のファイルデータを分散して第ｊ照合ノード以外の複数の照合ノードの各々のバックアップデータ保持領域に格納するバックアップ処理を実行する工程とを備える。バックアップ処理は、ファイルデータ群に含まれる複数のファイルデータの各々を、複数の照合ノードのうち先行して保存されているファイルデータの最も少ない最少バックアップデータ保持領域から順にバックアップデータ保持領域に分配することによって実行される。
本発明により、データ照合の実行時に障害が発生した時、バックアップ処理を速やかに行うことができる。
図１は、データ照合装置の構成を示す。 図２は、データを格納する順序の一例を示す。 図３は、照合用の登録データを蓄積する処理を示すフローチャートである。 図４は、照合処理のフローチャートである。
以下、図面を参照して本発明の実施形態を説明する。図１を参照すると、本発明のデータ照合装置１は、探索データの転送と照合指示を出す上位制御装置２に接続される。データ照合装置１は、複数の照合ノード１１〜１Ｎを備えている。各照合ノード１１〜１Ｎは、探索データ保持領域１０３と複数のＦデータ（ファイルデータ）＃１１〜＃ＮＭを保持するデータ保持部１１１〜１Ｎ１と、照合プロセッサ１１２〜１Ｎ２とを備える。各照合プロセッサ１１２〜１Ｎ２は、全体制御部３を経由して上位制御装置２からの照合指示に従って、自照合ノード１１〜１Ｎ内での探索データとＦデータを照合する。データ保持部１１１〜１Ｎ１は、通常は複数のプログラムが動作する領域として使用されているが、使用されないプログラムがある場合に、使用されないプログラム領域をデータ保持部として使用する。
各データ保持部１１１〜１Ｎ１は、探索データ保持領域１０３、通常Ｆデータ保持領域Ａ４及びバックアップデータ保持領域Ａ５を備える。探索データ保持領域１０３は、上位制御装置２から転送され、照合の対象となるデータである探索データ（ｔａｒｇｅｔ ｄａｔａ）を格納する。通常Ｆデータ保持領域Ａ４は、照合用に予め登録され蓄積されたデータであるＦデータ＃１１〜＃ＮＭを保持する。バックアップデータ保持領域Ａ５は、ある照合ノードに障害が発生した場合、通常ならばその照合ノードの通常Ｆデータ保持領域Ａ４に格納されているデータについて、他の照合ノードで照合を行うことができるようにするためのバックアップ用のＦデータを保持する。
Ｆデータ及び探索データは、指紋、掌紋、虹彩、顔などの個人識別情報で構成することができる。例えば一つのＦデータは、指紋と、名前や一意的に割り当てられた識別番号などその指紋の人物を特定する識別情報とを対応付けた情報である。
Ｆデータは、グループ属性を有する。例えばある集団に属する人に関するデータの集合や、ある年齢層などの属性を共有する人に関するデータの集合が、Ｆデータとして、その集団の識別情報と共に登録される。すなわち、上位制御装置２は、個々の人に関するＦデータを複数含む集団のデータであるＦデータ群を、そのグループ属性と共にデータ照合装置１に与える。Ｆデータは、グループを単位として照合ノード１１〜１Ｎに登録される。
全体制御部３は、照合結果格納部３１、データ分配部３２、データ照合切替部３３、照合結果編集部３４及びテーブル３５を備える。これらの各部は、全体制御部３が備えるＣＰＵが、記憶装置に格納されたプログラムを読み出し、そのプログラムに記述された手順に従って動作することによって実現される機能ブロックである。
データ分配部３２は、通常Ｆデータ保持処理と、バックアップ処理とを実行する。通常Ｆデータ保持処理においては、データ分配部３２は、各照合ノード１１〜１Ｎの通常Ｆデータ保持領域Ａ４にＦデータを均一に分散して保持させる。詳しくは、データ分配部３２は、複数のＦデータを含むＦデータ群が入力されたとき、そのＦデータ群を、複数の照合ノード１１〜１Ｎのうち先行して登録されている通常Ｆデータが少ない照合ノードである第ｊ照合ノード１ｊ（ｊは整数）の通常Ｆデータ保持領域Ａ４に格納する。
バックアップ処理においては、データ分配部３２は、各照合ノード１１〜１ＮのＦデータを自照合ノード１ｊ以外の照合ノードのデータ保持部１１１〜１Ｎ１に均一に分散して、バックアップデータ保持領域Ａ５にバックアップデータ＃１〜＃Ｎとして保持させる。詳しくは、データ分配部３２は、通常Ｆデータ保持処理においてＦデータ群に含まれる複数のＦデータを、上記第ｊ照合ノード１ｊ以外の複数の照合ノードの各々のバックアップデータ保持領域Ａ５に分配して格納する。このバックアップ処理は、複数の照合ノード１１〜１Ｎのバックアップデータ保持領域Ａ５の使用量が均一になるように行われる。すなわち、Ｆデータ群に含まれる複数のＦデータの各々は、複数の照合ノード１１〜１Ｎのうち先行して保存されているＦデータが最も少ない最少バックアップデータ保持領域から順に分配される。
テーブル３５は、バックアップ処理において、複数のＦデータの各々が、複数の照合ノード１１〜１Ｎのバックアップデータ保持領域Ａ５のどこに格納されたかを示すバックアップアドレス情報を格納する。
データ照合切替部３３は、ある照合ノードに障害が発生したときに、その照合ノード（以下、障害ノードと記載）を切り離し、障害ノード以外の照合ノードに分散して保持していたバックアップデータに切り替えて照合を継続する。障害ノード以外の各照合ノードでは、当該照合ノードのバックアップデータ５と探索データとの照合が行われる。照合結果編集部３４は、各照合ノード１１〜１Ｎの照合結果を編集して照合結果格納部３１に格納する。以下、より詳細に説明する。
データ照合切替部３３は、照合ノード１１〜１Ｎに障害が発生していないときは、通常の照合を行う。すなわち、上位制御装置２から探索データを入力したとき、複数の照合ノード１１〜１Ｎの各々の通常Ｆデータ保持領域Ａ４に格納されたＦデータと探索データとの照合を行う。複数の照合ノードのうちの第ｊ照合ノード１ｊに障害が発生した場合、データ照合切替部３３は、テーブル３５を参照してバックアップ照合処理を行う。すなわちデータ照合切替部３３は、バックアップアドレス情報を参照して、複数の照合ノード１１〜１Ｎのうち、第ｊ照合ノード１ｊ以外の各々のバックアップデータ保持領域Ａ５に格納されたＦデータと、探索データとの照合を行う。
次に、図１、図２、図３、図４を参照して本実施形態におけるデータ処理装置の動作について詳細に説明する。
（照合用データ蓄積処理）
図３は、照合用のＦデータを格納する処理を示すフローチャートである。上位制御装置２から通常Ｆデータ４がデータ照合装置１に転送されると（ステップＡ１）、全体制御部３のデータ分配部３２は、通常Ｆデータ分配処理を行う。この分配処理は、グループ毎に見た場合に、各照合ノード１１〜１Ｎの通常Ｆデータ保持領域Ａ４に格納されるＦデータ群（複数のＦデータからなる）の数ができるだけ均一となるように行われる。すなわちデータ分配部３２は、各照合ノード１１〜１Ｎの同一グループで比較して、最もＦデータ群が分配されている数の少ない照合ノードである最少照合データノード１ｊを選択する。入力したＦデータ群は、最少照合データノード１ｊの通常Ｆデータ保持領域Ａ４に格納される（ステップＡ２）。
図２は、通常Ｆデータ分配処理の一例を示す。例えばグループＮｏ．１の属性を有するＦデータからなるＦデータ群が上位制御装置２から順次、データ照合装置１に与えられたとする。データ分配部３２は、それらをグループＮｏ．１のＦデータ群が最も少ない照合ノードである最少照合データノード１ｊから順に格納する。その結果、データ分配部３２は、Ｎ個のＦデータ群を入力したとき、それらをＮ個の照合ノード１１〜１Ｎの通常Ｆデータ保持領域Ａ４に均等に分配する（図２のＦデータ＃１１−１〜ｘ１）。以下同様に、グループＮｏ．２以降のＦデータ群についても、同グループのＦデータ群が各照合ノード１１〜１Ｎにできるだけ均等に割り当てられる。
データ分配部３２は更に、上位制御装置２からＦデータを入力したとき、入力したＦデータのバックアップを取るバックアップ処理を実行する。バックアップ処理は、Ｆデータ群を構成する個々のＦデータが、各照合ノード１１〜１Ｎにできるだけ均等に分配されるように行われる。詳しくは、データ分配部３２は、入力したＦデータ群を通常Ｆデータ保持処理により第ｊ照合ノード１ｊに格納すると、その照合ノード１ｊ以外の照合ノードのうちで、入力したＦデータ群と同一のグループ属性を有するＦデータの格納量が少ない方のバックアップデータ保持領域Ａ５から順に、そのＦデータ群を構成する個々のＦデータを格納する（ステップＡ３）。
図２は、バックアップ処理におけるデータ分配方法の一例を示す。第３の照合ノード１３の通常Ｆデータ保持領域Ａ４に通常Ｆデータ４としてＦデータ群＃３１−１〜ｘ３を格納したときのバックアップ処理について説明する。Ｆデータ群＃３１−１〜ｘ３は、照合ノード１３以外の照合ノードのバックアップデータ保持領域Ａ５にバックアップデータ５として格納される。その際、データ分配部３２は、Ｆデータ群＃３１−１〜ｘ３を構成する個々のＦデータについて順次、各照合ノードにできるだけ均等に割り当てる。具体的には、第１のＦデータ＃３１−１は、先行してグループＮｏ．１のＦデータが保存されている量が最も少ない照合ノードのバックアップデータ５として格納される。次いで第２のＦデータ＃３１−２は、グループＮｏ．１のＦデータ＃３１−１が既に第１の照合ノード１１のバックアップデータとして格納されているため、それを避けて第２の照合ノード１２のバックアップデータ５として格納される。
バックアップ処理の際、データ分配部３２は、テーブル３５を作成する。テーブル３５は、個々のＦデータをそのグループと共に特定する識別情報と、そのＦデータが格納されたバックアップデータ保持領域Ａ５の照合ノードとアドレスとを示すバックアップアドレス情報とを対応づけて格納する。
以上のステップＡ１〜Ａ３の動作が、転送されるＦデータ群の数（図２のｘ１〜ｘＮ）だけ繰り返され（ステップＡ４）、さらに転送されるグループ（図２の＃３１〜＃３３）の数だけ繰り返される（ステップＡ５）。
（照合処理）
図４は、データ照合装置１に蓄積されたＦデータと、上位制御装置２から問い合わせがあった探索データとの照合処理を示すフローチャートである。全体制御部３は上位制御装置２から照合指示（ステップＢ１）を受信する。照合指示には、探索データ（例えばデータ照合装置に照会を依頼する指紋データ）と、その探索データと照合をすべき登録されたＦデータのグループ属性（例えばグループＮｏ．１）とが含まれる。全体制御部３は、探索データと照合すべきグループのＦデータを選択し、そのＦデータを保持する照合ノード１ｊの照合プロセッサ１ｊ２に照合指示を出す。データ照合切替部３３は、新たな照合指示が入力された場合には、まず通常の照合処理を行う。照合プロセッサ１ｊ２は、その照合指示に応答して、探索データと、自照合ノード１ｊに格納され照合指示にて指示されたグループに属する通常Ｆデータ４とを照合する（ステップＢ２）。
全体制御部３は、各照合ノードでの障害の発生の有無を確認する（ステップＢ３）。障害が発生していない場合は、照合の結果（すなわち探索データと一致するＦノードの有無と、一致するＦノードがあった場合はその識別情報）を照合結果編集部３４によって編集して照合結果格納部３１に格納する（ステップＢ４）。以上のステップＢ２〜Ｂ４の処理が、グループ内に含まれる通常Ｆデータの数だけ繰り返される（ステップＢ５）。探索データと通常Ｆデータとの照合がすべて完了した場合は、全体制御部３が集計した照合結果を上位制御装置２に送付する（ステップＢ６）。
照合ノードで障害が発生した場合、データ照合切替部３３は、障害ノードの履歴リストにその障害ノードの識別情報を記録する。データ照合切替部は更に、照合ノードで障害が発生した場合、障害ノードの履歴リストを参照して、新たに発生した障害ノードが、データ照合装置１内で初めての障害ノードであるか否かを確認する（ステップＢ７）。障害ノード１ｊが初めての障害ノードである場合は（ステップＢ７ＮＯ）、その障害ノードを処理の流れから切り離す（ステップＢ８）。そして障害ノード１ｊの通常Ｆデータ４を、他の照合ノードのバックアップデータ５に切り替えて（ステップＢ９）、継続して照合を実行させる。新たに発生した障害ノードが２個目の障害ノードである場合は、照合処理を終了させる（ステップＢ７ＹＥＳ）。
ステップＢ９の後にステップＢ２を実行するとき、データ照合切替部３３は、テーブル３５を参照して、照合指示された探索データとの照合が行われるバックアップデータ５が存在するアドレスを示すバックアップアドレス情報を認識し、そのアドレスに基づいて各照合ノードに照合指示を出す。
（本実施形態の達成する効果）
第１の効果は、照合すべき多数のＦデータをあらかじめ転送して保持させておく、高並列プロセッサ構成のデータ照合装置において、コストを抑え、消費電力が少なく、設置面積の小さい無停止運転可能な照合装置を提供できるということである。その理由は次の通りである。本実施形態では、障害ノードのＦデータ群が、障害ノード以外の照合ノードの各データ保持部上に、グループごとかつＦデータごとにバックアップされ多重化される。バックアップデータは、各照合ノード間で均等に分配される。照合中に障害が発生すると、障害データのＦデータ群が、それに対応するバックアップデータに切り替えられることにより、照合が継続され、無停止運転が実現される。その結果、照合プロセッサおよびデータ保持部から構成される照合ノードのどれか１つが故障しても、バックアップデータにより照合を続行することができる。このような方法によれば、搭載された複数プロセッサ・メモリと同等数のプロセッサ・メモリをバックアップとして構築する必要なく無停止運転をすることが可能である。
第２の効果は、高並列プロセッサ構成のデータ照合装置において、照合ノードに障害が発生した場合、短時間で障害ノードを切り離し、照合が継続できるということである。その理由は次の通りである。本実施形態では、照合ノードに通常のＦデータ保持を行うとき、その照合ノード以外の照合ノードのバックアップデータ保持領域にＦデータのバックアップデータを均等に分配することにより、Ｆデータが多重化される。そして照合ノードに障害が発生した場合、通常Ｆデータを他の照合ノードに格納されたバックアップ用のＦデータに切り替えて照合を継続し、無停止運転を実現することができる。このような動作により、次の利点が得られる。障害時に照合プロセッサを予備プロセッサに切り替えて照合させる装置の場合は、上位装置から障害プロセッサの個別メモリに格納されていたＦデータ全てと探索データを予備プロセッサへ転送し直して、最初から照合をやり直す必要がある。本実施形態では、このようなやり直し処理が不要であり、短い障害処理時間で照合を続行することができる。
第３の効果は、照合ノードを構成するプロセッサ、メモリ、メモリ制御部などのどれか一つが障害となっても無停止運転が可能であるということである。その理由は次の通りである。照合プロセッサが障害となった場合に、他のノードのプロセッサが障害ノードのメモリからデータを読み込んで照合を継続させる構成では、メモリ障害時には照合を継続することができない。しかし本実施形態では、障害ノードのどれか一つの部品が障害となっても、障害ノードごと切り離して、他の照合ノードにバックアップしてあったデータで照合を継続して実行させることにより、無停止運転が可能となる。
１ データ照合装置
２ 上位制御装置
３ 全体制御部
４ 通常Ｆデータ
５ バックアップデータ
１１〜１Ｎ 照合ノード
３１ 照合結果格納部
３２ データ分配部
３３ データ照合切替部
３４ 照合結果編集部
１０３ 探索データ保持領域
１１１〜１Ｎ１ データ保持部
Ａ４ 通常Ｆデータ保持領域
Ａ５ バックアップデータ保持領域

Claims (6)

  1. それぞれ通常データ保持領域とバックアップデータ保持領域とを有する複数の照合ノードと、
    照合のために予め登録されるファイルデータを複数含むファイルデータ群が入力されたとき、前記ファイルデータ群を前記複数の照合ノードのうちの第ｊ照合ノード（ｊは整数）の前記通常データ保持領域に格納し、且つ前記ファイルデータ群に含まれる複数のファイルデータを分散して前記第ｊ照合ノード以外の前記複数の照合ノードの各々の前記バックアップデータ保持領域に格納するバックアップ処理を実行するデータ分配部とを具備し、
    前記バックアップ処理は、前記ファイルデータ群に含まれる複数のファイルデータの各々を、前記複数の照合ノードのうち先行して保存されているファイルデータの最も少ない照合ノードの前記バックアップデータ保持領域である最少バックアップデータ保持領域から順に前記バックアップデータ保持領域に分配することによって実行され、
    更に、照合の対象となる対象データが入力されたとき、前記第ｊ照合ノードの前記通常データ保持領域に格納された前記ファイルデータ群と前記対象データとを照合する通常処理を行い、且つ前記第ｊ照合ノードに障害が発生した場合、前記通常処理を、前記第ｊ照合ノード以外の前記複数の照合ノードの各々の前記バックアップデータ保持領域に格納された前記複数のファイルデータと前記対象データとの照合を行うバックアップ照合処理に切り替えるデータ照合切替部を具備する
    データ処理装置。
  2. 請求項１に記載されたデータ処理装置であって、
    前記データ分配部は、前記バックアップ処理の際にテーブルを作成し、
    前記テーブルは、前記バックアップ処理において前記複数のファイルデータの各々が前記複数の照合ノードのうちのどこに格納されたかを示す情報を格納し、
    前記バックアップ照合処理は、前記テーブルを参照することによって前記複数の照合ノードのうち前記第ｊ照合ノードのバックアップ用データが格納されている前記バックアップデータ保持領域を検索することによって行われる
    データ処理装置。
  3. それぞれ通常データ保持領域とバックアップデータ保持領域とを有する複数の照合ノードと、
    照合のために予め登録されるファイルデータを複数含むファイルデータ群が入力されたとき、前記ファイルデータ群を前記複数の照合ノードのうちの第ｊ照合ノード（ｊは整数）の前記通常データ保持領域に格納し、且つ前記ファイルデータ群に含まれる複数のファイルデータを分散して前記第ｊ照合ノード以外の前記複数の照合ノードの各々の前記バックアップデータ保持領域に格納するバックアップ処理を実行するデータ分配部とを具備し、
    前記バックアップ処理は、前記ファイルデータ群が入力されたとき、前記ファイルデータ群に含まれる複数のファイルデータの各々を、前記複数の照合ノードのうち、先行して保存されており前記ファイルデータ群と同一のグループに属するファイルデータ群が最も少ない照合ノードの前記バックアップデータ保持領域である最少バックアップデータ保持領域から順に前記バックアップデータ保持領域に分配することによって実行される
    データ処理装置。
  4. それぞれ通常データ保持領域とバックアップデータ保持領域とを有する複数の照合ノードを有するデータ処理装置の動作方法であって、
    照合のために予め登録されるデータであるファイルデータを複数含むファイルデータ群が前記データ処理装置に入力されたとき、前記ファイルデータ群を前記複数の照合ノードのうちの第ｊ照合ノード（ｊは整数）の前記通常データ保持領域に格納する工程と、
    前記ファイルデータ群に含まれる複数のファイルデータを分散して前記第ｊ照合ノード以外の前記複数の照合ノードの各々の前記バックアップデータ保持領域に格納するバックアップ処理を実行する工程とを具備し、
    前記バックアップ処理は、前記ファイルデータ群に含まれる複数のファイルデータの各々を、前記複数の照合ノードのうち先行して保存されているファイルデータの最も少ない照合ノードの前記バックアップデータ保持領域である最少バックアップデータ保持領域から順に前記バックアップデータ保持領域に分配することによって実行され、
    更に、照合の対象となる対象データが前記データ処理装置に入力されたとき、前記第ｊ照合ノードの前記通常データ保持領域に格納された前記ファイルデータ群と前記対象データとを照合する通常処理を行う工程と、
    前記第ｊ照合ノードに障害が発生した場合、前記通常処理を、前記第ｊ照合ノード以外の前記複数の照合ノードの各々の前記バックアップデータ保持領域に格納された前記複数のファイルデータと前記対象データとの照合を行うバックアップ照合処理に切り替える工程を具備する
    データ処理方法。
  5. 請求項４に記載されたデータ処理方法であって、
    更に、前記バックアップ処理の際にテーブルを作成する工程を具備し、
    前記テーブルは、前記バックアップ処理において前記複数のファイルデータの各々が前記複数の照合ノードのうちのどこに格納されたかを示す情報を格納し、
    前記バックアップ照合処理は、前記テーブルを参照することによって前記複数の照合ノードのうち前記第ｊ照合ノードのバックアップ用データが格納されている前記バックアップデータ保持領域を検索することによって行われる
    データ処理方法。
  6. それぞれ通常データ保持領域とバックアップデータ保持領域とを有する複数の照合ノードを有するデータ処理装置の動作方法であって、
    照合のために予め登録されるデータであるファイルデータを複数含むファイルデータ群が前記データ処理装置に入力されたとき、前記ファイルデータ群を前記複数の照合ノードのうちの第ｊ照合ノード（ｊは整数）の前記通常データ保持領域に格納する工程と、
    前記ファイルデータ群に含まれる複数のファイルデータを分散して前記第ｊ照合ノード以外の前記複数の照合ノードの各々の前記バックアップデータ保持領域に格納するバックアップ処理を実行する工程とを具備し、
    前記ファイルデータ群は複数のグループのいずれかに属し、
    前記バックアップ処理は、前記ファイルデータ群が前記データ処理装置に入力されたとき、前記複数の照合ノードのうち、先行して保存されており前記ファイルデータ群と同一のグループに属するファイルデータ群が最も少ない照合ノードの前記バックアップデータ保持領域である最少バックアップデータ保持領域から順に前記バックアップデータ保持領域に分配することによって実行される
    データ処理方法。
JP2009025817A 2009-02-06 2009-02-06 データ処理装置及びデータ処理方法 Expired - Fee Related JP4789021B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009025817A JP4789021B2 (ja) 2009-02-06 2009-02-06 データ処理装置及びデータ処理方法
US12/700,487 US8812530B2 (en) 2009-02-06 2010-02-04 Data processing device and data processing method
FR1050773A FR2942054B1 (fr) 2009-02-06 2010-02-04 Dispositif de traitement de donnees et procede traitement de donnees
CN201010113712.6A CN101799779B (zh) 2009-02-06 2010-02-08 数据处理设备和数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009025817A JP4789021B2 (ja) 2009-02-06 2009-02-06 データ処理装置及びデータ処理方法

Publications (2)

Publication Number Publication Date
JP2010182141A JP2010182141A (ja) 2010-08-19
JP4789021B2 true JP4789021B2 (ja) 2011-10-05

Family

ID=42430357

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009025817A Expired - Fee Related JP4789021B2 (ja) 2009-02-06 2009-02-06 データ処理装置及びデータ処理方法

Country Status (4)

Country Link
US (1) US8812530B2 (ja)
JP (1) JP4789021B2 (ja)
CN (1) CN101799779B (ja)
FR (1) FR2942054B1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8510270B2 (en) 2010-07-27 2013-08-13 Oracle International Corporation MYSQL database heterogeneous log based replication
US9298878B2 (en) 2010-07-29 2016-03-29 Oracle International Corporation System and method for real-time transactional data obfuscation
WO2012049794A1 (ja) * 2010-10-14 2012-04-19 日本電気株式会社 分散処理装置及び分散処理システム
JP2012150632A (ja) * 2011-01-19 2012-08-09 Nec Corp データ照合装置
JP5516620B2 (ja) * 2012-03-09 2014-06-11 日本電気株式会社 照合処理装置及びその制御方法、並びにコンピュータ・プログラム
JP5757276B2 (ja) * 2012-07-31 2015-07-29 日本電気株式会社 無停止演算処理装置、無停止演算処理システム、無停止演算処理方法、及び、無停止演算処理プログラム
WO2019067911A1 (en) * 2017-09-29 2019-04-04 Oracle International Corporation SYSTEM AND METHOD FOR CAPTURING CHANGE DATA FROM DISTRIBUTED DATA SOURCES FOR USE ON HETEROGENEOUS TARGETS
US11645261B2 (en) 2018-04-27 2023-05-09 Oracle International Corporation System and method for heterogeneous database replication from a remote server

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08314875A (ja) * 1995-03-14 1996-11-29 Mitsubishi Electric Corp 協調分散処理方法、および分散共有メモリ監視装置、分散共有メモリネットワーク追跡装置、分散共有メモリネットワーク設定支援装置
JPH09146812A (ja) * 1995-11-27 1997-06-06 Sanyo Electric Co Ltd データベース装置
JP2853624B2 (ja) * 1995-12-19 1999-02-03 日本電気株式会社 データ格納システム
US6049853A (en) * 1997-08-29 2000-04-11 Sequent Computer Systems, Inc. Data replication across nodes of a multiprocessor computer system
US6088330A (en) * 1997-09-09 2000-07-11 Bruck; Joshua Reliable array of distributed computing nodes
JP3866466B2 (ja) 1999-12-13 2007-01-10 株式会社東芝 データ構造管理装置、データ構造管理システム、データ構造管理方法およびデータ構造管理プログラムを格納する記録媒体
US6922791B2 (en) * 2001-08-09 2005-07-26 Dell Products L.P. Failover system and method for cluster environment
JP2003067232A (ja) * 2001-08-28 2003-03-07 Nec Infrontia Corp コンピュータのデータのバックアップ方式及びそのリストア方式
JP2003258997A (ja) 2002-02-27 2003-09-12 Nippon Telegr & Teleph Corp <Ntt> サービス制御ノードシステムの予備方式
JP2004102450A (ja) * 2002-09-05 2004-04-02 Toshiba Corp サーバ装置、車載用電子機器、及びコンテンツ処理方法
US8676843B2 (en) * 2002-11-14 2014-03-18 LexiNexis Risk Data Management Inc. Failure recovery in a parallel-processing database system
US20040230862A1 (en) * 2003-05-16 2004-11-18 Arif Merchant Redundant data assigment in a data storage system
US7225356B2 (en) * 2003-11-06 2007-05-29 Siemens Medical Solutions Health Services Corporation System for managing operational failure occurrences in processing devices
JP4313650B2 (ja) * 2003-11-07 2009-08-12 株式会社日立製作所 ファイルサーバ、冗長度回復方法、プログラム及び記録媒体
US20050283658A1 (en) * 2004-05-21 2005-12-22 Clark Thomas K Method, apparatus and program storage device for providing failover for high availability in an N-way shared-nothing cluster system
JP4575059B2 (ja) 2004-07-21 2010-11-04 株式会社日立製作所 ストレージ装置
JP4725150B2 (ja) * 2005-03-22 2011-07-13 日本電気株式会社 指紋照合システム、指紋照合処理装置および指紋照合処理方法
US7480817B2 (en) * 2006-03-31 2009-01-20 International Business Machines Corporation Method for replicating data based on probability of concurrent failure
US7512836B2 (en) * 2006-12-11 2009-03-31 International Business Machines Corporation Fast backup of compute nodes in failing midplane by copying to nodes in backup midplane via link chips operating in pass through and normal modes in massively parallel computing system
US7779074B2 (en) * 2007-11-19 2010-08-17 Red Hat, Inc. Dynamic data partitioning of data across a cluster in a distributed-tree structure
US7849178B2 (en) * 2008-04-11 2010-12-07 International Business Machines Corporation Grid computing implementation
US8051205B2 (en) * 2008-10-13 2011-11-01 Applied Micro Circuits Corporation Peer-to-peer distributed storage

Also Published As

Publication number Publication date
US20100205151A1 (en) 2010-08-12
CN101799779A (zh) 2010-08-11
FR2942054B1 (fr) 2015-03-06
US8812530B2 (en) 2014-08-19
CN101799779B (zh) 2014-06-18
FR2942054A1 (fr) 2010-08-13
JP2010182141A (ja) 2010-08-19

Similar Documents

Publication Publication Date Title
JP4789021B2 (ja) データ処理装置及びデータ処理方法
JP5068056B2 (ja) 障害回復方法、計算機システム及び管理サーバ
JP5080140B2 (ja) Ｉ／ｏデバイス切り替え方法
CN110807064B (zh) Rac分布式数据库集群***中的数据恢复装置
JP2019101703A (ja) 記憶システム及び制御ソフトウェア配置方法
US9152491B2 (en) Job continuation management apparatus, job continuation management method and job continuation management program
KR20110044858A (ko) 데이터 센터들에 걸쳐 데이터 서버들내 데이터 무결정의 유지
US8694827B2 (en) Job migration in response to loss or degradation of a semi-redundant component
CN103294167B (zh) 一种基于数据行为的低能耗集群存储复制装置和方法
JP4461262B2 (ja) コンピュータ障害発生時に複数のコンピュータの配列を操作する方法
JP4491482B2 (ja) 障害回復方法、計算機、クラスタシステム、管理計算機及び障害回復プログラム
CN102262591A (zh) 用于内存复制***进行垃圾回收的方法和***
CN105893171A (zh) 存储设备中用于故障恢复的方法和装置
CN100574220C (zh) 数据备份方法与应用处理***
JP5058582B2 (ja) ストレージデバイスのマルチパスシステム、その障害箇所特定方法及びプログラム
KR100323255B1 (ko) 업무인계시스템
JP2005055995A (ja) ストレージ制御方法、および、冗長化機能を有するサーバシステム
US20080250421A1 (en) Data Processing System And Method
JP5266347B2 (ja) 引継方法、計算機システム及び管理サーバ
CN105988885A (zh) 基于补偿回滚的操作***故障自恢复方法
CN105339911A (zh) 恢复滞留数据
JP5757276B2 (ja) 無停止演算処理装置、無停止演算処理システム、無停止演算処理方法、及び、無停止演算処理プログラム
JPH05314085A (ja) 複数計算機間の相互稼動待機方式
Patil et al. Cost Effective Failover Clustering
JP4604666B2 (ja) 入出力対象変更制御方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110624

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110707

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4789021

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees