JP2023507301A - データフローグラフのコンポーネントのユニットテスト - Google Patents

Abstract

データ処理システムは、複数の実行可能コンポーネントを含むデータフローグラフのためのユニットテストを定義する。システムは、テストのためのデータフローグラフの一部分のインジケーションを受信する。システムは、グラフのコンポーネントの実行によって生成される期待される出力データを示すパラメータセットを受信する。システムは、コンポーネントの入力データを受信する。入力データは、パラメータセットによって示され、コンポーネントの機能をテストするように構成される。システムは、パラメータセットに基づいてコンポーネントのユニットテストを定義する。ユニットテストは、データフローグラフの入力に入力データを提供し、データフローグラフのコンポーネントによる入力データの処理を引き起こして出力データを生成し、出力データと、パラメータによって示される期待される出力データとの間の対応を示す結果データを生成する。

Description

（優先権の主張）
本出願は、２０１９年１２月２３日に出願された米国仮特許出願第６２／９５２，６３１号及び２０２０年５月２７日に出願された米国特許出願第１６／８８４，１３８号に対する優先権を主張し、それぞれの全内容が参照により本明細書に組み込まれる。

（発明の分野）
本文書は、実行可能コードのテストに関する。より具体的には、この文書は、実行可能コードを表すグラフベースのプログラムのコンポーネントのユニットテストに関する。

データ処理アプリケーションの開発中、開発者は生産環境外で作業することができ、生産データにアクセスできない場合がある。データ処理アプリケーションが実際のデータを用いて生産中に正しく動作することを保証するために、データ処理アプリケーションの開発及びテスト中に現実的なデータを使用することができる。

本明細書に記載のデータ処理システムは、データフローグラフなどのコンピュータプログラムの実行可能コードをテストするように構成されている。より具体的には、データ処理システムは、データフローグラフの少なくとも１つの実行可能コンポーネントのユニットテストを構成するように構成される。データフローグラフのコンポーネントは、少なくとも１つの動作を実行するための実行可能コードを含む。コンポーネントは、コンポーネントによって受信された入力データに対して動作して、少なくとも１つの動作を受信された入力データに適用することによって出力データを生成する。データ処理システムは、ユーザ（例えば、開発者）からの入力に基づいて、実行可能コンポーネント又は複数のコンポーネントなどのデータフローグラフの少なくとも一部を分離し、データフローグラフのちょうどその分離された部分（すなわち、のみ）のテストを可能にするために、実行可能コンポーネント又は複数のコンポーネントへの入力データとして、テスト入力データを提供する、ように構成される。テスト入力データは、コンポーネントの現実的な入力データを複製することができる。テスト入力データは、一般に、コンポーネントの呼び出された（テストされた）各動作がユーザによって意図されたように機能することを保証するために、実行可能コンポーネントによって実行され得る１つ以上の動作（例えば、各動作）を呼び出す（テストする）ように構成される。出力データは、テスト入力データに対して動作を実行することによって実行可能コンポーネントによって生成される。出力データは、コンポーネントが意図したように動作したかどうかを判定するためにデータ処理システムによって分析することができる。例えば、コンポーネントの出力データは、コンポーネントが意図したように機能している場合、テスト入力データの受信に応答してコンポーネントによって生成されるべき期待される出力データと比較することができる。データ処理システムによる出力データの分析の結果は、テストの結果データとして記憶することができる。データ処理システムは、結果データを、コンポーネントを含むデータフローグラフのバージョンと関連付けることができる。結果データは、テストに合格したか、不合格であったかなどを示すレポート、テスト結果などを含むことができる。結果データは、コンポーネントがどのように動作しているかを示すことができ、該当する場合、コンポーネントがどのように及び／又はなぜ不合格であったかを示す情報を提供することができる。結果データ及び／又は構造データはまた、コンポーネントの適切な将来の動作を保証するために、故障したコンポーネントに関連するエラーをどのように訂正するか、特にコンポーネントの故障を引き起こすエラーをどのように訂正するかについて、ユーザ又はデータ処理システムにガイダンスを提供するデータを含むことができる。修正された入力データ、期待される出力データ、及び／又は関連する実行可能コンポーネントの機能が受信されてもよく、関連する実行可能コンポーネントは、出力データを生成するためにこの修正に従って再実行されてもよく、この場合、このエラーは再実行中に発生しないことがある。これは、データ処理のテスト中に発生したエラーを解決する技術的タスクを実行する際にユーザを支援するガイド付き人間機械対話プロセスを提供する。これにより、（実際の生産環境外でテストを実行する場合であっても）ソフトウェアアプリケーションの適切な実行及び基礎となるデータ処理システムの適切な機能を保証することができる。

データ処理システムは、アプリケーションを形成するデータフローグラフの少なくとも一部の機能をユニットテストするように構成される。ユニットテストは、アプリケーションの同じ又は他のデータフローグラフの残りの部分の機能とは独立して、データフローグラフの少なくとも一部の機能をテストするように構成される。ユニットテストは、データフローグラフのテストされた部分の機能ロジックを分離するように構成される。データフローグラフのテストされた部分の機能ロジックを分離することにより、テストされたロジックによって導入されたすべてのエラーを識別及び訂正できることを保証することができる。これは、開発者が、それらのエラー又は望ましくない結果を引き起こす他の問題の修復のためのアプリケーションを形成するデータフローグラフにおいてエラーが発生している場所を判定するのに役立つ。

実行されているユニットテストのタイプは、データフローグラフの部分の機能がテストされているため、機能テストと呼ばれる。データフローグラフの部分は、データフローグラフの１つ以上の実行可能コンポーネントを含む。データ処理システムは、パラメータのセットに基づいてデータフローグラフのテストを構成する。パラメータは、テストがどのように構成されるかを指定する。パラメータは、入力データと、コンポーネントから出力されることが期待されるデータとを指定する。しかしながら、パラメータは、テストの構成の追加の態様を指定することもできる。例えば、パラメータは、データフローのどのコンポーネントをテストするか、コンポーネントへの入力のためのソースデータの位置などを指定することができる。テストは、１つ以上のパラメータの値を設定することによって正確に定義される。パラメータの値は、適切な入力がテストされたコンポーネントに提供され、コンポーネントの所望の機能がテストされることを保証し、コンポーネントの出力データが正しいことの検証を可能にする。

データ処理システムは、コンピュータプログラムの一部（実行可能コンポーネント又はデータフローグラフの複数のコンポーネントなど）のみのテストを容易にするように構成される。例えば、コンポーネントの入力データは、ユニットテストのために複製される。一般に、コンポーネントの入力データは、実行可能コンポーネントによって受信及び処理されて出力データを生成するときに、実行可能コンポーネントのすべて又は本質的にすべての動作を呼び出すように構成され得る。入力データは、外部データソースのソースデータ（通常は生産環境で使用される生産データ）のプロファイリングに基づいてこのように構成することができ、プロファイリングは、ソースデータを分析することと、ソースデータに生じる値の統計などのソースデータに関する統計データを取得することとを含む。例えば、コンポーネントの動作のサブセットをテストしたい場合があり、入力データは、コンポーネントの動作のサブセットの各動作を呼び出すように設計することができる。いくつかの実装形態では、データフローグラフのコンポーネントは、データフローグラフが例えば生産環境で実行されるときに、遠隔ソースからデータを受信するように構成される。遠隔ソースからのデータを使用するのではなく、上記の入力データをコンポーネントに提供してコンポーネントをテストする。開発環境でコンポーネントをテストするために、遠隔ソースからのデータがエミュレートされ（例えば、上記のように現実的な方法で複製される）、その結果、コンポーネントは現実的なデータを使用してテストされ、従って、コンポーネントからの出力データは現実的な出力データを表す。エミュレートされた入力データは、コンポーネントの各動作（例えば、各ロジック機能、ロジックケース、規則など）が呼び出されるか又はトリガされ、対応する出力が生成されることを保証するために、コンポーネントのすべての可能なテストケースの実行を引き起こすことができる。いくつかの実装形態では、エミュレートされたデータは、エラーを有する可能性があるコンポーネントのロジック機能の特定の部分をテストするなどのために、コンポーネントの可能なテストケースの一部をカバーする。

いくつかの例では、第１のコンポーネントの出力データは、データフローグラフ内のデータフローによって第１のコンポーネントに接続された第２のコンポーネントの入力データとして提供される。記載された本発明の実施形態によって、データ処理システムは、データフローグラフ全体又はアプリケーション全体を同時にテストすることによって導入される技術的な困難を克服するように構成され、その結果、非常に多数の可能なテストケースが潜在的にテスト全体を減速させ、特定のテストに実際には関連しない実行可能コードが出力データを実行及び生成するのを妨げる可能性がある。このような場合、データフローグラフの出力を解析する際に故障が検出されると、データフローグラフのどの部分が故障したのかを判定することが困難になる可能性がある。データ処理システムは、データフローグラフのエラーがより容易に識別及び訂正されるように、必要に応じてデータフローグラフの部分を正確にテストすることを可能にする。

更に、コンポーネントのテストを実行するとき、可能な各入力をテストする必要がないと判定することができる。例えば、所与のコンポーネントの入力データの特定のフィールドがコンポーネントの実行に使用されない可能性がある。テストは、重要な入力データ及びコンポーネントの動作に焦点を合わせるようにテストを訓練するために更新することができる。いくつかの実装形態では、ユーザ（例えば、開発者）は、コンポーネントの特定の部分を繰り返しテストすることを望む場合がある。開発者（又は他のユーザ）は、デバッグ動作中に、データフローグラフのその特定の部分に対する更新の間に、データフローグラフの小さな部分にテストを集中させたい場合がある。開発者がデータフローグラフの変更を繰り返しながらテストの形でフィードバックを受け取ることは有用である。

本明細書に記載の実施態様は、以下の技術的利点のうちの１つ以上を提供することができる。例えば、本明細書に記載の技術は、データフローグラフの他の部分又は他の接続されたデータフローグラフを構成する必要なく、データフローグラフの少なくとも一部のユニットテストを単独で迅速に構成することを可能にする。例えば、上流のコンポーネントが所望通りに動作していること、（データソースとして参照され得る）ネットワークリソースがオンラインであることなどが保証される必要はない。例えば、コンポーネントの入力データの位置は、データフローグラフ自体を変更することなく、テスト入力データを含むデータストアに設定することができる。パラメータセットは、データフローグラフのどの部分がテストされているか、どのデータが分析又は検証されるか、どのベースラインデータが比較に使用されるか、検証機能の値などを変更するために迅速に更新することができる。

データ処理システムによるデータフローグラフのユニットテストは、追加の利点を有する。ユニットテストは、より大きなシステムと統合される。例えば、データ処理システムは、複数のユニットテストを統合することができる。データフローグラフ又は複数のデータフローグラフの少なくとも一部に対して実行された各ユニットテストの結果は、包括的なレポートに組み合わせることができる。ユニットテストは、テストされたロジックの生産環境をエミュレートするために、生産中のシステムの他の部分と相互作用するように構成される。データ処理システムは、データフローグラフの異なる部分に対するユニットテストをスケジュールすることができる。各ユニットテストの結果は、テストされたデータフローグラフのバージョンと共にバージョン制御データベースに記憶される。エラーが発見された場合（例えば、生産中、更新後など）、データ処理システムは、展開されたロジックを最新の合格バージョンに自動的に戻し、障害が発生したことをシステム管理者に警告することができる。結果データ及び／又は構造化データは、エラーが発生したことを示すデータ（場合によっては、どの種類のエラーが発生したか）、エラーが発生したテストされたロジック内の位置（例えば、どの演算又はグラフコンポーネントでエラーが発生したか）、及びエラーを訂正する方法のガイダンスを含むことができる。

データフローグラフのユニットテストは、ほとんどの用途に使用することができる。例えば、データ処理システムを使用して、任意のアプリケーション用のグラフベースのソフトウェアを構築及び／又は監査することができる。例えば、テストされているデータフローグラフは、データウェアハウス又はデータレイクの管理、データ処理ロジスティクス、ウェブサービス実行などのために構成することができる。これらのアプリケーションの各々の機能は、テスト可能である。ここではいくつかのアプリケーションが列挙されているが、リストは網羅的ではない。従って、ユニットテストは、より大きなシステムと統合されたデータフローグラフの部分の機能テストを可能にし、ユニットテスト自体がテストされているロジックを分離することができる。データ処理システムは、不変であり、いつでも実行することができる反復可能なテストを可能にする。データ処理システムは、ユニットテストを任意のシステム（例えば、クライアント、サーバなど）用に構成し、いつでも他のシステムに再構成可能にするパラメータ化されたテストを可能にする。従って、ユニットテストは携帯可能であり、促進可能である。データ処理システムは、基礎となるシステムの適切な機能を確実にするためにガイドされる人間と機械との対話を実施するために、ユーザに（例えば、連続的に）報告される可視結果を有する自動化されたバージョン管理されたユニットテストを可能にする。

一態様では、データ処理システムによって実施されるプロセスは、複数の実行可能コンポーネントを含むデータフローグラフのためのユニットテストを定義する。プロセスは、テストのためのデータフローグラフの一部のインジケーションを受信することを含み、その部分は、データフローグラフの少なくとも１つの実行可能コンポーネントを含む。データ処理システムは、少なくとも１つの実行可能コンポーネントの実行によって生成される期待される出力データを示すパラメータを含むパラメータセットを受信する。データ処理システムは、少なくとも１つの実行可能コンポーネントの入力データを受信する。入力データは、一般に、パラメータセットによって示され、少なくとも１つの実行可能コンポーネントの機能をテストするように構成される。データ処理システムは、パラメータセットに基づいて少なくとも１つの実行可能コンポーネントのユニットテストを定義する。ユニットテストは、データフローグラフの１つ以上の入力に入力データを提供するように構成される。ユニットテストは、データフローグラフの少なくとも１つの実行可能コンポーネントによる入力データの処理を引き起こして出力データを生成するように構成される。ユニットテストは、出力データと、パラメータによって示される期待される出力データとの間の対応関係を示す結果データを生成するように構成される。ユニットテストは、結果データ、入力データ、及びデータフローグラフの間の関連付けを示す構造化データの生成を引き起こすように構成される。

実施形態は、以下の特徴のうちの任意の１つ以上を含むことができる。

いくつかの実装では、予想データは、ベースラインデータを含む。結果データを生成することは、出力データをベースラインデータと比較することを含む。いくつかの実装では、ベースラインデータは、異なるソースからの複数のデータセットを含む。いくつかの実施形態では、期待される出力データは、検証機能の予期される結果を含み、結果データを生成することは、結果を生成するために出力データの少なくとも一部に検証機能を適用することと、結果を予期される結果と比較することと、を含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、パラメータセットは、出力データを抽出するためのデータフローグラフ内の少なくとも１つの位置、期待される出力データの位置、出力データと比較するためのベースラインデータの位置、出力データを検証するための検証機能の価値、のうちの１つを示す少なくとも１つの追加のパラメータを含む。

いくつかの実装形態では、プロセスは、ユニットテストの実行中に、無視する入力データの１つ以上の部分のインジケーションを受信することと、受信したインジケーションに基づいてパラメータセットを更新することとを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、少なくとも１つの実行可能コンポーネントは、実行中にデータフローグラフの外部のソースからソースデータを受信するように構成されており、入力データは、データフローグラフの外部のソースからのソースデータに対応する値を含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、プロセスは、少なくとも１つの実行可能コンポーネントの少なくとも１つの機能のために少なくとも１つの実行可能コンポーネントに入力値を提供するルックアップファイルの一部を検索することを含み、ルックアップファイルは遠隔ソースによって提供される。プロセスは、少なくとも１つの実行可能コンポーネントの実行中に、少なくとも１つの実行可能コンポーネントによってアクセス可能なデータ記憶装置にルックアップファイルの一部分を記憶することを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、プロセスは、少なくとも１つの実行可能コンポーネントのためのデータソースが機能呼び出しを含むことを決定することを含む。機能呼び出しの機能入力のセットの各機能入力について、プロセスは、機能呼び出しを実行して、機能出力のセットを取得することであって、各機能出力は機能入力に対応する、ことを含む。プロセスは、少なくとも１つの実行可能コンポーネントの実行中に、少なくとも１つの実行可能コンポーネントによってアクセス可能なデータ記憶装置に機能呼び出しの機能出力のセットを記憶することを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、プロセスは、データフローグラフをトラバースしてデータフローグラフの少なくとも１つのデータフローを発見することを含む。プロセスは、少なくとも１つの実行可能コンポーネントの実行から追加の結果データを抽出するためのデータフローグラフ内の位置を示すために、少なくとも１つのデータフローにプローブを挿入することを含む。

いくつかの実装形態では、プロセスは、データフローグラフをトラバースして、少なくとも１つの実行可能コンポーネントの実行によって生成された出力データを抽出する、データフローグラフ内の位置を発見することを含む。プロセスは、出力データを抽出するためにデータフローグラフ内の位置にプローブを挿入することを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、プロセスは、データフローグラフをトラバースして、少なくとも１つの実行可能コンポーネントに入力データを抽出するデータフローグラフ内の位置を発見することと、入力データを抽出するためにデータフローグラフ内の位置にプローブを挿入することとを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、プロセスは、構造化データのバージョンを表す構造化データのハッシュを生成することと、構造化データのバージョンのハッシュをデータフローグラフの対応するバージョンに関連付けて記憶することとを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、プロセスは、データフローグラフの表現を表示するユーザインタフェースを生成することを含む。ユーザインタフェースは、少なくとも１つの実行可能コンポーネントのために、少なくとも１つの実行可能コンポーネントの状態を示すアノテーションを表示する。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、ユーザインタフェースは、データフローグラフに挿入される少なくとも１つのプローブの状態の表現を含む。ユーザインタフェースは、データフローグラフの少なくとも１つの実行可能コンポーネントの実行に応答して、データフローグラフに関連付けられた出力データ、入力データ、及び結果データのうちの１つ以上を示すオーバーレイ層を含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、プロセスは、データフローグラフの表現を表示するユーザインタフェースを生成することを含み、ユーザインタフェースは、データフローグラフが入力データを受信するデータフローグラフの表現内の位置を表示する。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、結果データは、少なくとも１つの実行可能コンポーネントの各機能が、ベースラインデータと一致する出力データを生成したというインジケーションを含む。いくつかの実装形態では、結果データは、少なくとも１つの実行可能コンポーネントの少なくとも１つの機能が期待される出力データと一致しない出力データを生成したというインジケーションを含む。いくつかの実装形態では、結果データは、少なくとも１つの実行可能コンポーネントの少なくとも１つの機能が出力データを生成しなかったというインジケーションを含む。

一態様では、データ処理システムは、複数の実行可能コンポーネントを含むデータフローグラフのためのユニットテストを定義する。データ処理システムは、命令を記憶するデータ記憶装置と、データ記憶装置によって記憶された命令を実行するように構成された少なくとも１つのプロセッサとを含む。動作は、テストのためのデータフローグラフの一部のインジケーションを受信することを含む。部分は、データフローグラフの少なくとも１つの実行可能コンポーネントを含む。動作は、少なくとも１つの実行可能コンポーネントの実行によって生成される期待される出力データを示すパラメータを含むパラメータセットを受信することと、少なくとも１つの実行可能コンポーネントの入力データを受信することと、を含む。入力データは、パラメータセットによって示され、少なくとも１つの実行可能コンポーネントの機能をテストするように構成される。動作は、パラメータセットに基づいて少なくとも１つの実行可能コンポーネントのユニットテストを定義することを含む。ユニットテストは、データフローグラフの１つ以上の入力に入力データを提供するように構成される。ユニットテストは、データフローグラフの少なくとも１つの実行可能コンポーネントによる入力データの処理を引き起こして出力データを生成するように構成される。ユニットテストは、出力データと、パラメータによって示される期待される出力データとの間の対応関係を示す結果データを生成するように構成される。ユニットテストは、結果データ、入力データ、及びデータフローグラフの間の関連付けを示す構造化データの生成を引き起こすように構成される。

実施形態は、以下の特徴のうちの任意の１つ以上を含むことができる。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、予想データはベースラインデータを含む。結果データを生成することは、出力データをベースラインデータと比較することを含む。いくつかの実装では、ベースラインデータは、異なるソースからの複数のデータセットを含む。いくつかの実施形態では、期待される出力データは、検証機能の予期される結果を含み、結果データを生成することは、結果を生成するために出力データの少なくとも一部に検証機能を適用することと、結果を予期される結果と比較することと、を含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、パラメータセットは、出力データを抽出するためのデータフローグラフ内の少なくとも１つの位置、期待される出力データの位置、出力データと比較するためのベースラインデータの位置、出力データを検証するための検証機能の価値、のうちの１つを示す少なくとも１つの追加のパラメータを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、動作は、ユニットテストの実行中に、無視する入力データの１つ以上の部分のインジケーションを受信し、受信したインジケーションに基づいてパラメータセットを更新することを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、少なくとも１つの実行可能コンポーネントは、実行中にデータフローグラフの外部のソースからソースデータを受信するように構成されており、入力データは、データフローグラフの外部のソースからのソースデータに対応する値を含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、動作は、少なくとも１つの実行可能コンポーネントの少なくとも１つの機能のために少なくとも１つの実行可能コンポーネントに入力値を提供するルックアップファイルの一部を検索することを含み、ルックアップファイルは遠隔ソースによって提供される。動作は、少なくとも１つの実行可能コンポーネントの実行中に、少なくとも１つの実行可能コンポーネントによってアクセス可能なデータ記憶装置にルックアップファイルの一部分を記憶することを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、動作は、少なくとも１つの実行可能コンポーネントのデータソースが機能呼び出しを含むと判定することを含む。機能呼び出しの機能入力のセットの各機能入力について、動作は、機能呼び出しを実行して、機能出力のセットを取得することであって、各機能出力は機能入力に対応する、ことを含む。動作は、少なくとも１つの実行可能コンポーネントの実行中に、少なくとも１つの実行可能コンポーネントによってアクセス可能なデータ記憶装置に機能呼び出しの機能出力のセットを記憶することを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、動作は、データフローグラフをトラバースしてデータフローグラフの少なくとも１つのデータフローを発見することを含む。動作は、少なくとも１つの実行可能コンポーネントの実行から追加の結果データを抽出するためのデータフローグラフ内の位置を示すために、少なくとも１つのデータフローにプローブを挿入することを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、動作は、データフローグラフをトラバースして、少なくとも１つの実行可能コンポーネントの実行によって生成された出力データを抽出するデータフローグラフ内の位置を発見することを含む。動作は、出力データを抽出するためにデータフローグラフ内の位置にプローブを挿入することを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、動作は、データフローグラフをトラバースして、少なくとも１つの実行可能コンポーネントに入力データを抽出するデータフローグラフ内の位置を発見することと、入力データを抽出するためにデータフローグラフ内の位置にプローブを挿入することとを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、動作は、構造化データのバージョンを表す構造化データのハッシュを生成することと、構造化データのバージョンのハッシュをデータフローグラフの対応するバージョンに関連付けて記憶することとを含む。

いくつかの実装形態では、動作は、データフローグラフの表現を表示するユーザインタフェースを生成することを含む。ユーザインタフェースは、少なくとも１つの実行可能コンポーネントのために、少なくとも１つの実行可能コンポーネントの状態を示すアノテーションを表示する。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、ユーザインタフェースは、データフローグラフに挿入される少なくとも１つのプローブの状態の表現を含む。ユーザインタフェースは、データフローグラフの少なくとも１つの実行可能コンポーネントの実行に応答して、データフローグラフに関連付けられた出力データ、入力データ、及び結果データのうちの１つ以上を示すオーバーレイ層を含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、動作は、データフローグラフの表現を表示するユーザインタフェースを生成することを含み、ユーザインタフェースは、データフローグラフが入力データを受信するデータフローグラフの表現内の位置を表示する。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、結果データは、少なくとも１つの実行可能コンポーネントの各機能が、ベースラインデータと一致する出力データを生成したというインジケーションを含む。いくつかの実装形態では、結果データは、少なくとも１つの実行可能コンポーネントの少なくとも１つの機能が期待される出力データと一致しない出力データを生成したというインジケーションを含む。いくつかの実装形態では、結果データは、少なくとも１つの実行可能コンポーネントの少なくとも１つの機能が出力データを生成しなかったというインジケーションを含む。

一態様では、１つ以上の非一時的コンピュータ可読媒体は、複数の実行可能コンポーネントを含むデータフローグラフのユニットテストを定義するための命令を記憶する。一般に、命令は、少なくとも１つのプロセッサに動作を実行させるように構成される。動作は、テストのためのデータフローグラフの一部のインジケーションを受信することを含む。部分は、データフローグラフの少なくとも１つの実行可能コンポーネントを含む。動作は、少なくとも１つの実行可能コンポーネントの実行によって生成される期待される出力データを示すパラメータを含むパラメータセットを受信することと、少なくとも１つの実行可能コンポーネントの入力データを受信することと、を含む。入力データは、パラメータセットによって示され、少なくとも１つの実行可能コンポーネントの機能をテストするように構成される。動作は、パラメータセットに基づいて少なくとも１つの実行可能コンポーネントのユニットテストを定義することを含む。ユニットテストは、データフローグラフの１つ以上の入力に入力データを提供するように構成される。ユニットテストは、データフローグラフの少なくとも１つの実行可能コンポーネントによる入力データの処理を引き起こして出力データを生成するように構成される。ユニットテストは、出力データと、パラメータによって示される期待される出力データとの間の対応関係を示す結果データを生成するように構成される。ユニットテストは、結果データ、入力データ、及びデータフローグラフの間の関連付けを示す構造化データの生成を引き起こすように構成される。

実施形態は、以下の特徴のうちの任意の１つ以上を含むことができる。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、予想データはベースラインデータを含む。結果データを生成することは、出力データをベースラインデータと比較することを含む。いくつかの実装では、ベースラインデータは、異なるソースからの複数のデータセットを含む。いくつかの実施形態では、期待される出力データは、検証機能の予期される結果を含み、結果データを生成することは、結果を生成するために出力データの少なくとも一部に検証機能を適用することと、結果を予期される結果と比較することと、を含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、パラメータセットは、出力データを抽出するためのデータフローグラフ内の少なくとも１つの位置、期待される出力データの位置、出力データと比較するためのベースラインデータの位置、出力データを検証するための検証機能の価値、のうちの１つを示す少なくとも１つの追加のパラメータを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、動作は、ユニットテストの実行中に、無視する入力データの１つ以上の部分のインジケーションを受信し、受信したインジケーションに基づいてパラメータセットを更新することを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、少なくとも１つの実行可能コンポーネントは、実行中にデータフローグラフの外部のソースからソースデータを受信するように構成されており、入力データは、データフローグラフの外部のソースからのソースデータに対応する値を含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、動作は、少なくとも１つの実行可能コンポーネントの少なくとも１つの機能のために少なくとも１つの実行可能コンポーネントに入力値を提供するルックアップファイルの一部を検索することを含み、ルックアップファイルは遠隔ソースによって提供される。動作は、少なくとも１つの実行可能コンポーネントの実行中に、少なくとも１つの実行可能コンポーネントによってアクセス可能なデータ記憶装置にルックアップファイルの一部分を記憶することを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、動作は、少なくとも１つの実行可能コンポーネントのデータソースが機能呼び出しを含むと判定することを含む。機能呼び出しの機能入力のセットの各機能入力について、動作は、機能呼び出しを実行して、機能出力のセットを取得することであって、各機能出力は機能入力に対応する、ことを含む。動作は、少なくとも１つの実行可能コンポーネントの実行中に、少なくとも１つの実行可能コンポーネントによってアクセス可能なデータ記憶装置に機能呼び出しの機能出力のセットを記憶することを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、動作は、データフローグラフをトラバースしてデータフローグラフの少なくとも１つのデータフローを発見することを含む。動作は、少なくとも１つの実行可能コンポーネントの実行から追加の結果データを抽出するためのデータフローグラフ内の位置を示すために、少なくとも１つのデータフローにプローブを挿入することを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、動作は、データフローグラフをトラバースして、少なくとも１つの実行可能コンポーネントの実行によって生成された出力データを抽出するデータフローグラフ内の位置を発見することを含む。動作は、出力データを抽出するためにデータフローグラフ内の位置にプローブを挿入することを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、動作は、データフローグラフをトラバースして、少なくとも１つの実行可能コンポーネントに入力データを抽出するデータフローグラフ内の位置を発見することと、入力データを抽出するためにデータフローグラフ内の位置にプローブを挿入することとを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、動作は、構造化データのバージョンを表す構造化データのハッシュを生成することと、構造化データのバージョンのハッシュをデータフローグラフの対応するバージョンに関連付けて記憶することとを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、動作は、データフローグラフの表現を表示するユーザインタフェースを生成することを含む。ユーザインタフェースは、少なくとも１つの実行可能コンポーネントのために、少なくとも１つの実行可能コンポーネントの状態を示すアノテーションを表示する。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、ユーザインタフェースは、データフローグラフに挿入される少なくとも１つのプローブの状態の表現を含む。ユーザインタフェースは、データフローグラフの少なくとも１つの実行可能コンポーネントの実行に応答して、データフローグラフに関連付けられた出力データ、入力データ、及び結果データのうちの１つ以上を示すオーバーレイ層を含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、動作は、データフローグラフの表現を表示するユーザインタフェースを生成することを含み、ユーザインタフェースは、データフローグラフが入力データを受信するデータフローグラフの表現内の位置を表示する。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、結果データは、少なくとも１つの実行可能コンポーネントの各機能が、ベースラインデータと一致する出力データを生成したというインジケーションを含む。いくつかの実装形態では、結果データは、少なくとも１つの実行可能コンポーネントの少なくとも１つの機能が期待される出力データと一致しない出力データを生成したというインジケーションを含む。いくつかの実装形態では、結果データは、少なくとも１つの実行可能コンポーネントの少なくとも１つの機能が出力データを生成しなかったというインジケーションを含む。

一態様では、コンピューティングシステムは、複数の実行可能コンポーネントを含むデータフローグラフのユニットテストを定義するための手段を含む。コンピューティングシステムは、テストのためのデータフローグラフの一部分のインジケーションを受信するための手段を含む。部分は、データフローグラフの少なくとも１つの実行可能コンポーネントを含む。コンピューティングシステムは、少なくとも１つの実行可能コンポーネントの実行によって生成される期待される出力データを示すパラメータを含むパラメータセットを受信する手段と、少なくとも１つの実行可能コンポーネントの入力データを受信する手段と、を含む。入力データは、パラメータセットによって示され、少なくとも１つの実行可能コンポーネントの機能をテストするように構成される。コンピューティングシステムは、パラメータセットに基づいて、少なくとも１つの実行可能コンポーネントのユニットテストを定義するための手段を含む。ユニットテストは、データフローグラフの１つ以上の入力に入力データを提供するように構成される。ユニットテストは、データフローグラフの少なくとも１つの実行可能コンポーネントによる入力データの処理を引き起こして出力データを生成する手段を含む。ユニットテストは、出力データと、パラメータによって示される期待される出力データとの間の対応関係を示す結果データを生成する手段を含む。ユニットテストは、結果データ、入力データ、及びデータフローグラフの間の関連付けを示す構造化データの生成を引き起こす手段を含む。

実施形態は、以下の特徴のうちの任意の１つ以上を含むことができる。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、予想データはベースラインデータを含む。結果データを生成することは、出力データをベースラインデータと比較することを含む。いくつかの実装では、ベースラインデータは、異なるソースからの複数のデータセットを含む。いくつかの実施形態では、期待される出力データは、検証機能の予期される結果を含み、結果データを生成することは、結果を生成するために出力データの少なくとも一部に検証機能を適用することと、結果を予期される結果と比較することと、を含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、パラメータセットは、出力データを抽出するためのデータフローグラフ内の少なくとも１つの位置、期待される出力データの位置、出力データと比較するためのベースラインデータの位置、出力データを検証するための検証機能の価値、のうちの１つを示す少なくとも１つの追加のパラメータを含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、コンピューティングシステムは、ユニットテストの実行中に、無視する入力データの１つ以上の部分のインジケーションを受信し、受信したインジケーションに基づいてパラメータセットを更新する手段を含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、少なくとも１つの実行可能コンポーネントは、実行中にデータフローグラフの外部のソースからソースデータを受信するように構成されており、入力データは、データフローグラフの外部のソースからのソースデータに対応する値を含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、コンピューティングシステムは、少なくとも１つの実行可能コンポーネントの少なくとも１つの機能のために少なくとも１つの実行可能コンポーネントに入力値を提供するルックアップファイルの一部を検索する手段を含み、ルックアップファイルは遠隔ソースによって提供される。コンピューティングシステムは、少なくとも１つの実行可能コンポーネントの実行中に、少なくとも１つの実行可能コンポーネントによってアクセス可能なデータ記憶装置にルックアップファイルの一部分を記憶する手段を含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、コンピューティングシステムは、少なくとも１つの実行可能コンポーネントのためのデータソースが機能呼び出しを含むことを決定する手段を含む。機能呼び出しの機能入力のセットの各機能入力について、コンピューティングシステムは、機能呼び出しを実行して、機能出力のセットを取得することであって、各機能出力は機能入力に対応する手段を含む。コンピューティングシステムは、少なくとも１つの実行可能コンポーネントの実行中に、少なくとも１つの実行可能コンポーネントによってアクセス可能なデータ記憶装置に機能呼び出しの機能出力のセットを記憶する手段を含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、コンピューティングシステムは、データフローグラフをトラバースしてデータフローグラフの少なくとも１つのデータフローを発見する手段を含む。コンピューティングシステムは、少なくとも１つの実行可能コンポーネントの実行から追加の結果データを抽出するためのデータフローグラフ内の位置を示すために、少なくとも１つのデータフローにプローブを挿入する手段を含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、コンピューティングシステムは、データフローグラフをトラバースして、少なくとも１つの実行可能コンポーネントの実行によって生成された出力データを抽出するデータフローグラフ内の位置を発見する手段を含む。コンピューティングシステムは、出力データを抽出するためにデータフローグラフ内の位置にプローブを挿入する手段を含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、コンピューティングシステムは、データフローグラフをトラバースして、少なくとも１つの実行可能コンポーネントに入力データを抽出するデータフローグラフ内の位置を発見する手段と、入力データを抽出するためにデータフローグラフ内の位置にプローブを挿入する手段を含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、コンピューティングシステムは、構造化データのバージョンを表す構造化データのハッシュを生成し、データフローグラフの対応するバージョンに関連して構造化データのバージョンのハッシュを記憶する手段を含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、コンピューティングシステムは、データフローグラフの表現を表示するユーザインタフェースを生成する手段を含む。ユーザインタフェースは、少なくとも１つの実行可能コンポーネントについて、少なくとも１つの実行可能コンポーネントの状態を示すアノテーションを表示する。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、ユーザインタフェースは、データフローグラフに挿入される少なくとも１つのプローブの状態の表現を含む。ユーザインタフェースは、データフローグラフの少なくとも１つの実行可能コンポーネントの実行に応答して、データフローグラフに関連付けられた出力データ、入力データ、及び結果データのうちの１つ以上を示すオーバーレイ層を含む。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、コンピューティングシステムは、データフローグラフの表現を表示するユーザインタフェースを生成する手段を含み、ユーザインタフェースは、データフローグラフが入力データを受信するデータフローグラフの表現内の位置を表示する。

前述又は後続の実装形態のいずれかの特徴を含むいくつかの実装形態では、結果データは、少なくとも１つの実行可能コンポーネントの各機能が、ベースラインデータと一致する出力データを生成したというインジケーションを含む。いくつかの実装形態では、結果データは、少なくとも１つの実行可能コンポーネントの少なくとも１つの機能が期待される出力データと一致しない出力データを生成したというインジケーションを含む。いくつかの実装形態では、結果データは、少なくとも１つの実行可能コンポーネントの少なくとも１つの機能が出力データを生成しなかったというインジケーションを含む。

１つ以上の実施形態の詳細を、添付の図面及び以下の説明に記載する。その他の特徴及び利点は、明細書及び図面、並びに特許請求の範囲から明らかとなるであろう。

例示的なコンピューティング環境のブロック図である。

データフローグラフの一部をテストする例を示す。 データフローグラフの一部をテストする例を示す。 データフローグラフの一部をテストする例を示す。

ユニットテストの一例を示す。 ユニットテストの一例を示す。 ユニットテストの一例を示す。 ユニットテストの一例を示す。 ユニットテストの一例を示す。 ユニットテストの一例を示す。 ユニットテストの一例を示す。 ユニットテストの一例を示す。

ユーザインタフェースの一例を示す。

フロー図を示す。

例示的なコンピューティングシステムの図である。

図１は、実行可能データフローグラフなどのコンピュータプログラムの少なくとも一部の実行可能ロジックのユニットテストを構成及び実行するための例示的なコンピューティング環境１００を示す。実行可能ロジックはアプリケーションを形成することができる。ユニットテストは、アプリケーションの実行可能ロジックの残りの部分の機能とは独立して実行可能ロジックの機能をテストするように構成される。ユニットテストは、データフローグラフのテストされた部分の機能ロジックを分離するように構成される。データフローグラフなどのアプリケーションのテストされた部分の機能ロジックを分離することは、アプリケーション全体のテストを必要とせずに、テストされたロジックによって導入されたエラーが識別され、訂正されることを保証することができる。ユニットテストは、ユーザがアプリケーションを形成するデータフローグラフのどこでエラーが発生しているかを判定するのを助けることができる。

環境１００は、データ処理システム１０２を含む。データ処理システム１０２は、データフローグラフの少なくとも一部についてユニットテストを構成し、及び／又はユニットテストを実行することができる。いくつかの実装形態では、データ処理システム１０２は、生産環境の一部又は開発環境の一部である。ユーザ（例えば、開発者）は、生産環境での最終的な実行などのために、開発環境でデータフローグラフを構成することができる。データ処理システム１０２は、それらのデータフローグラフのためのテストを構成し実行するためにユーザによって使用される。

一般に、データ処理システム１０２は、実行可能データフローグラフに含まれる実行可能ロジック（テスト可能ロジック１１２としてラベル付けされている）をテストするように構成される。実行可能データフローグラフは、データフローグラフに含まれる実行可能コンポーネント（データ処理機能を実行する実行可能コードを含むか、又は表す）を使用してデータを処理するコンピュータプログラムの一種である。データ処理システム１０２は、データフローグラフの実行可能コンポーネントのセットをテストするように構成される。実行可能コンポーネントのセットは、単一のコンポーネント又は複数のコンポーネントを含むことができる。この説明では、データフローグラフのコンポーネントがアクションを実行するように構成されている場合、データフローグラフはそれらのアクションを実行するように構成されているものとして説明される。実行可能コンポーネント（コンポーネントとも呼ばれる）は、図２Ａ～図２Ｂを参照して後述するように、入力データを読み取り又は提供するためのデータソースと、グラフによって処理されたデータを出力又は記憶するためのデータシンクと、入力データ又は別のコンポーネントによる処理によって生成されたデータなどのデータを処理するように構成されたデータ処理コンポーネントとを含むことができる。

実行される各ユニットテストは、スナップショットデータベース１１６内にテストスナップショット１２０として表される。テストスナップショット１２０は、ユニットテストに入力されるデータ、ユニットテストから出力されるデータ、及びユニットテストを定義するために使用されるデータを含むか又は表す。例えば、テストスナップショット１２０は、ユニットテストの結果を表すテスト結果データを含む。テストスナップショット１２０は、ユニットテスト中にテストされたロジック１１２（例えば、データフローグラフのテストされた部分）によって処理されるテスト入力データを含む。テストスナップショット１２０は、機能呼び出しからアクセスされたデータ又は遠隔ソースからの他のデータを含む。テストスナップショット１２０は、テストされたロジック１１２のデータフローグラフロジックを表すデータを含む。テストスナップショット１２０は、テストされたロジックから出力された処理済みデータを表す出力データを含む。テストスナップショット１２０は、期待される出力データ（例えば、ベースラインデータ又は検証結果データ）を含む。テストスナップショット１２０は、テストパラメータ、及びユニットテストのテストされたロジックを表すデータに加えて、テスト結果データのバージョンを、そのユニットテストに使用される入力データの対応するバージョンに関連付けるように、スナップショットデータベース１１６に記憶される。例えば、テストスナップショット１２０は、入力データ、プローブからのテスト結果データ、検証データ／ベースラインデータ、及びこれらの各データの記録フォーマットを含むことができる。これらのデータは、（単一のファイルを含むことができる）テストスナップショット１２０にパッケージ化され、バージョン制御データベース１１８のポインタによって参照される。データスナップショットは、実行されるべきユニットテストに必要なすべてのデータを含む。これにより、ユニットテストを任意のシステム上で自己完結型プログラムとして実行することができる。後述するように、データスナップショットは、ユニットテストに対する変更を以前のバージョンに戻すことができるようにバージョン制御することができる。例えば、ユニットテストに対する変更が記載されていない場合、ユニットテストの以前のバージョンを復元することができる。いくつかの実装形態では、テストスナップショット１２０は、ユニットテストのデータフィンガプリントと呼ばれる。テストスナップショット１２０のデータは、以下で更に詳細に説明される。

テストスナップショット１２０は、ユニットテストの以前のバージョン及び後続のバージョン（例えば、他のテストスナップショット）にリンクすることができる。このように、テストスナップショット１２０は、構造化データを表す。バージョン制御データベース１１８は、各テストスナップショット１２０ａ、１２ｂ、１２０ｃをリンクする。例えば、識別子１２６ａ、１２６ｂ、及び１２６ｃは、互いにリンクされることができ、関連するスナップショット１２０ａ、１２０ｂ、及び１２０ｃを各々参照することができる。テストスナップショットの構造は、以下で更に説明される。

図２Ａ～図２Ｂを簡単に参照すると、一般に、１つ以上のデータソース（データソース２０２ａ～ｎなど）からのデータは、データフローグラフ２００のコンポーネントによって操作及び処理され、１つ以上のデータシンク（データシンク２１２など）に送信される。データフローグラフ２００などの実行可能なデータフローグラフは、コンポーネント２０４、２０６、２０８、２１０及び２１４などのコンポーネントを表すノードを含む有向グラフとして表される。コンポーネント２０４、２０６、２０８、２１０、及び２１４は、データ処理コンポーネントであり、各々が、少なくとも１つのデータ入力又はソースからデータを処理し、少なくとも１つのデータシンク又は出力にデータを提供するための実行可能コードを表す。コンポーネント２０４、２０６、２０８、２１０、及び２１４、データソース２０２ａ～ｎ、及びデータシンク２１２は、データフローと呼ばれることもある有向リンク（リンク２４４など）によって接続され、コンポーネント２０４、２０６、２０８、２１０及び２１４の間のデータのフローを表し、データソース２０２ａ～ｎで発生し、データシンク２１２で終端し、各リンク２４４はデータのフローを表す。上流コンポーネントのデータ出力ポート２１８ａ～ｅは、データフローリンクを介してデータを通信するために下流コンポーネントのデータ入力ポート２１６ａ～ｇに接続される。選択されたテスト領域２２０などのデータフローグラフ２００の部分は、例えば、異なるデータソース及び／又は異なるデータシンクに再利用される部分を表すことができる。データフローグラフを実装するために使用されるデータ構造及びプログラムコードは、例えば、データソース及び／又はデータシンクが容易に置換されることを可能にするために、パラメータ化されることによって複数の異なる構成をサポートすることができる。このようなデータフローグラフを実行するためのシステムは、その全体が参照により本明細書に組み込まれる、「ＥＸＥＣＵＴＩＮＧ ＣＯＭＰＵＴＡＴＩＯＮＳ ＥＸＰＲＥＳＳＥＤ ＡＳ ＧＲＡＰＨＳ」と題する米国特許第５，９６６，０７２号に記載されている。

ここで、グラフを実行する例を説明する。初期グラフが生成された後、ドライバは、グラフの実行、従ってグラフによって示されるプロセスを制御する。ドライバがグラフを実行するとき、それは以下の一般的なフェーズＡ－Ｉを実行することによって実行される。フェーズＡでは、プロセス頂点のいずれか１つがイネーブル状態にある限り、ドライバは以下のステップＢ－Ｉを繰り返す。ドライバは、フェーズＣ、Ｄ、及びＩを省略する場合があり、ステップＢ、Ｃ、Ｅ、及びＨで実行される動作を混在させる場合がある。フェーズＢでは、ドライバは実行のためにグラフを準備する。このフェーズでは、ドライバは、実行可能なプロセス頂点を識別し、リンクのための通信方法を選択し、アダプタノードを生成することができる。フェーズＣ。ドライバはデータリンクを起動する。このフェーズでは、ドライバは、通信方法を実施するために必要な特定の計算構造を作成する。フェーズＤにおいて、ドライバは、計算基板が必要とする任意の他のデータ構造又はファイルを作成する。上述した拡張基板に対して、ドライバは、後述するようにリンクファイルを作成する。これにより、プログラムは実行時にグラフ接続性情報にアクセスすることができる。フェーズＥにおいて、ドライバはプロセスを開始する。フェーズＦでは、ドライバはプロセスが終了するのを待つ。このフェーズは、すべてのプロセスが正常に終了したとき、又はいずれかのプロセスが異常終了したときに完了する。フェーズＧでは、いずれかのプロセスが異常終了した場合、グラフの実行を中止する。フェーズＨでは、そうでなければ、実行可能状態のすべてのプロセス頂点が完了状態に遷移する。プロセス頂点が実行可能状態になかった場合、クリーンアップフェーズＩが実行され、制御が、実行が失速したことを示すインジケーションと共に、呼び出し側（例えば、ドライバのユーザ）へ戻される。フェーズＩでは、ドライバはデータリンク及びリンクファイルをクリーンにする。これにより、フェーズＣ及びＤで作成されたデータ構造の一部がクリーンアップされる。

データ処理システム１０２は、ユーザ（例えば、開発者）が、データフローグラフの１つ以上のコンポーネントのセット、例えば、選択されたテスト領域２２０内のコンポーネントのセットなどのデータフローグラフ２００の少なくとも一部分を分離すること、及びコンポーネントのセットに入力データとしてテスト入力データを提供することを可能にするように構成されている。テスト入力データは、いくつかの実装形態では、現実的な入力データを複製する。テスト入力データは、一般に、セット内の１つ以上のコンポーネントの各々によって実行される１つ以上の動作（例えば、各動作）をテストして、各コンポーネントの各テスト動作がユーザの意図通りに機能することを保証するように構成される。出力データは、テスト入力データに対してコンポーネントが動作を実行することによって生成される。出力データは、コンポーネントが意図したように動作したかどうかを判定するためにデータ処理システム１０２によって分析される。例えば、コンポーネントの出力データは、コンポーネントが意図したように機能している場合、テスト入力データの受信に応答してコンポーネントによって生成されるべき期待される出力データと比較される。データ処理システムによる出力データの分析の結果は、テストの結果データとして記憶する。

いくつかの実装形態では、入力データは、テスト中にアプリケーションによって生成することができる。例えば、実行可能なアプリケーションをテスト定義に含めることができる。アプリケーションは、テスト中に実行し、テストされているコンポーネントへの入力であるデータフローに入力データを供給するように構成することができる。アプリケーションは、テストデータに含まれる。コンポーネントによる処理のためにアプリケーションによって生成される入力データは、経時的に生成することができる。

図１に戻ると、データ処理システム１０２は、テスト定義モジュール１０４と、データキャプチャモジュール１０６と、ユニットテスト訓練モジュール１０８と、データ検証モジュール１１０と、ロードデータモジュール１１２とを含む。データ処理システム１０２は、ユニットテストを構成するためのテストパラメータ１２４の値の指定（例えば、ユーザデバイス１２２によって）を可能にする。データ処理システム２５０は、ユニットテストの実行を可能にする。

一般に、データ処理システム１０２は、データフローグラフ２００の少なくとも一部を単独で反復テストすることを可能にする。例えば、データ処理システム１０２は、ユニットテストの反復修正を可能にする。データ処理システム１０２は、ユニットテストのバージョンを、実行又は更新のために後で参照することができるテストスナップショット１２０として記憶することを可能にする。テストのバージョンは、すべてのパラメータ値、テストデータ、コンポーネントロジックなどと共に記憶される。テストスナップショット１２０は、自己完結型プログラム（例えば、システムコール及びデータ参照は、テストスナップショット１２０に含まれるデータを指す）として任意のシステム上で実行することができる。テストデータ又はパラメータ値を変更するなど、ユニットテストが変更された場合、更新はユニットテストの新しいバージョンに保存することができる。別の更新されたテストスナップショットが変更を伴って生成される。テストの各バージョンは、バージョン制御ストレージ内のリンクによって参照されるスナップショットとして記憶することができる。いくつかの実装形態では、ユニットテストの第１のバージョンとユニットテストの第２のバージョンとの間のテスト結果の差を明示的に示すことができる（例えば、ユニットテストの前のバージョンからのユニットテストへの変更がテスト結果にどのように影響したか）。

ユニットテストを構成及び／又は実行するためのプロセスの概要は以下の通りである。データ処理システム１０２は、テスト可能ロジック１１２のグラフ（例えば、図２Ａのグラフ２００）又はその少なくとも一部２２０などのコンピュータプログラムを受信する。テスト定義モジュール１０４は、ユニットテストの挙動を指定するテストパラメータ１２４（例えば、ユーザデバイス１２２を介して）の定義を可能にする。ユニットテストが実行されると、データ検証モジュール１１０は、テストが合格であったか、不合格であったか、又は部分的に合格であったかを判定する。

ユニットテスト訓練モジュール１０８は、検証に応答して、ユニットテストの反復更新を可能にする。例えば、ユニットテストに変更が加えられた場合、テスト結果の違いをユーザに強調表示することができる。それに応答して、ユーザは、変更を受け入れて新しいテストスナップショット１２０を作成するか、又は変更を拒否してユニットテストの以前のバージョンに戻ることができる。

ユニットテスト訓練モジュール１０８は、傾向分析を示し、ユニットテストの以前のバージョンとの比較を示し、ユーザが現在の結果を新しいベースラインとして設定することを可能にし、以下同様である。データキャプチャモジュール１０６は、ユニットテストを実行するために使用されるユニットテストに関連するデータをキャプチャする。データキャプチャモジュール１０８は、テスト結果データ、テスト入力データ、テストパラメータ１２４、グラフパラメータなどのこのデータを、スナップショットデータベース１１６に記憶するための構造化データ（テストスナップショット１２０）として記憶する。データキャプチャモジュール１０６は、テストスナップショット１２０を指し示すポインタを生成し、ポインタをバージョン制御データベース１１８に記憶する。データキャプチャモジュールは、データベース１１６、１１８からデータを記憶及び検索するためにロードデータモジュール１１４を使用する。

テスト可能ロジック１１２のユニットテストの構成又は実行のためのデータは、データ処理システム１０２によってアクセス可能なテストスナップショット１２０の一部としてスナップショットデータベース１１６に記憶される。ユニットテストの構成のためのこのデータは、ユニットテストを定義するテストパラメータ値を含む。後述するように、ユニットテストのためのユニットデータの異なるバージョンは、スナップショットデータベース１１６に記憶されることができ、ユニットテストの実行又は構成のために、必要に応じて検索のためのバージョン制御データベース１１８に記憶されたポインタによって参照されることができる。

テストスナップショット１２０は、ユニットテストを実行するためのテスト入力データを含む。ユニットテスト訓練モジュール１０８は、テスト入力データを使用して、テストされているコンポーネント２０４、２０６、２０８のソース２０２ａ～ｎからの入力データをエミュレートする。いくつかの実装形態では、スナップショットデータベース１１６は、ユニットテストの構成又は実行のための他のデータを含むことができる。例えば、コンポーネントがデータソース２０２ａ～ｎから受信した入力データの処理中にルックアップテーブルを参照する場合、ルックアップテーブルは、データがユニットテスト又はユニットテストの構成に利用可能であるように、参照データベース１１６に記憶される。いくつかの実装形態では、ユニットテスト中にルックアップテーブル内で実際に参照されるエントリのみが、テストスナップショット１２０の一部としてスナップショットデータベース１１６に記憶される。例えば、ユニットテストの実行中にルックアップテーブルに対して３つの参照が行われ、ルックアップテーブルの２つのデータエントリが実際にアクセスされる場合、データキャプチャモジュール１０６は、アクセスされた２つのエントリをキャプチャし、後続のユニットテスト中にアクセスするためにスナップショットデータベース１１６にデータを記憶する。ユニットテストが変更された場合、ルックアップテーブルからの他のデータをキャプチャしてスナップショットデータベース１１６に記憶することができる。これにより、ユニットテストのスナップショットは、テストされたロジックの動作の実行に必要なすべての入力データがテストに利用可能であるが、データソース２０２ａ～ｎからの未処理データが不必要に保存されないように、可能な限り小さいデータフットプリントを含むことが保証される。続いて、データ処理システム１０２がスナップショットデータベース１１６に記憶し、テスト可能ロジック１１２をテストするために使用するテスト入力データについて更に詳細に説明する。

テスト可能ロジック１１２は、データフローグラフ２００のコンポーネント２０４、２０６及び２０８などの少なくとも１つのデータフローグラフ２００の少なくとも一部を含む。テスト可能ロジック１１２は、単一のコンポーネント、複数のコンポーネント、データフローグラフ全体、又は複数のデータフローグラフを、その全体又は一部のいずれかに含むことができる。テスト可能ロジックのコンポーネントは、データフロー（リンク）と接続することができ、又は分離することができる。複数のデータフローグラフがテスト可能ロジックに含まれる場合、データフローグラフは互いに接続することができる（例えば、上流グラフ及び下流グラフであり、第１のグラフは第２のグラフのサブグラフであり、以下同様である）。いくつかの実装形態では、データフローグラフは互いに分離することができる（例えば、データフローによって接続されていない）が、より大きなアプリケーションの一部であってもよい。例えば、テスト可能ロジック１１２は、共有記録を更新する２つのデータフローグラフを含むことができる。いくつかの実装形態では、受信されたテスト可能ロジックの各部分（例えば、各コンポーネント、各データフローグラフなど）は、テスト可能ロジック１１２の他の部分から完全に分離することができる。例えば、テスト可能ロジック１１２は、テスト中に互いに相互作用しないデータフローグラフの異なるバージョンを含むことができる。

テスト可能ロジック１１２は、コンポーネントの実行可能ロジックと、コンポーネントが実行可能ロジックの実行のために使用する任意の関連データ（例えば、メタデータ）とを含む。例えば、テスト可能ロジック１１２は、テストされているコンポーネントに関連するグラフパラメータの値を含むことができる。グラフパラメータは、コンポーネントの挙動を指定することができる。グラフパラメータは、ユニットテストの挙動を指定するテストパラメータとは異なる。ユニットテストを構成するとき、データ処理システム１０２は、テストパラメータの更新に加えて、又はその代わりに、テスト可能ロジック１１２で受信されたグラフパラメータの値を更新することができる。いくつかの実装形態では、グラフパラメータ及びテストパラメータは、後述するように、ユーザインタフェースを介して更新することができる。

ユニットテストが実行されているとき、データ処理システム１０２は、テスト可能ロジック１１２のグラフ（グラフ２００など）をテストのために選択する。いくつかの実装形態では、選択される特定のグラフは、テストパラメータとしてテスト構成において指定される。一般に、ユニットテストは、グラフ２００又はグラフの一部に対して実行される。

データ処理システム１０２は、ユーザによって定義可能であり、ユニットテストの挙動を指定するテストパラメータの値に従ってユニットテストを構成する。テストパラメータは、ユニットテスト結果がどのように報告されるか、ユニットテストがどのようにスケジュールされ実行されるか、テストユニット結果がどのようにバージョン管理されるかなどについての値を指定する。

テストパラメータは、ユニットテストのための設定又は構成を含む。データ処理システム１０２のテスト定義モジュール１０４は、データ処理システム１０２によって受信されるグラフ２００のユニットテストを構成する。テスト定義モジュール１０４は、ユーザがテストを構成するためのテストパラメータを更新し、グラフの挙動を定義するグラフ２００のグラフパラメータを更新することを可能にするテスト定義エディタ（ＴＤＥ）などのユーザインタフェースを含むことができる。続いて、ユーザインタフェースについて図４～図６に関連して説明する。

テスト定義モジュール１０４は、ユニットテストにおいてテスト可能ロジックのどのロジックがテストされるべきか、及びどのテスト結果が生成されるかの定義を可能にする。テスト定義モジュール１０４は、ユニットテストの入力ソースを選択し、コンポーネントからのどの出力データが報告されるかを示し、どの結果データが生成されるかを指定する。

入力ソースを設定するために、テスト定義モジュール１０４は、１つ以上の入力ソーステストパラメータを示す。入力ソースパラメータは、データフローグラフの選択されたテスト領域（例えば、図２Ａの領域２２０）への入力の各々について、どのデータソースがテストされたコンポーネントによって参照されるかを指定する。データソース（例えば、ソース２０２ａ～ｎ）は、別のデータフローグラフ、コンポーネント（例えば、コンポーネント２１４）、ルックアップテーブル、データセットなどの出力を含むことができる。入力ソースからの入力データは、テストされたグラフ２００によって処理されているデータであり、テストスナップショット１２０の一部として含まれるテスト入力データを含む。入力ソースからの入力データは、テスト入力データの一部ではないが、テストされたグラフ２００によるテスト中に使用される他のデータを含む。例えば、テスト入力データの一部ではない入力データは、以下で更に説明するように、サービスコールの結果、データ辞書などを含むことができる。

いくつかの実装形態では、テスト入力データは、入力ソースパラメータによって指定されたデータソースの１つ以上で生産データに置き換えられる。入力ソースパラメータは、データベース、ファイル、又はテストされたコンポーネントのデータのソースとしてテスト入力データを含む他のデータソースを指定することができる。いくつかの実装形態では、テスト入力データと生産データ（又は生産データのコピー）とを切り替えるための入力ソースパラメータに追加の値を関連付けることができる。

データソースの入力ソースパラメータは、データソースからテストされたコンポーネントにどのデータが提供されるべきかに関する更なる詳細を示すことができる。入力ソースパラメータは、ネットワークアドレス、データベースアドレス（例えば、特定のデータベース記録）、テーブル参照（例えば、フィールド、値、又はその両方）、データベースキー値などを指定することができる。

いくつかの実装形態では、入力ソースパラメータは、入力記録から無視するデータを指定する。例えば、記録が複数のフィールドを含むが、それらのフィールドのサブセットのみがテストされている場合、入力ソースパラメータは、テストされているフィールドのサブセットに含まれていないフィールドを無視できることを指定することができる。データ記録のフィールドを無視すると、データがネットワークを介してフェッチされなくなり、処理時間及び帯域幅コストが削減され得る。いくつかの実装形態では、フィールドを無視することは、無視されたフィールドに関連する出力がユーザに報告されないか、又はテスト結果データに含まれないことを指定することができる。いくつかの実装形態では、１つ以上のフィールドを無視することは、ユニットテストにおけるそれらのフィールドの処理を完全にスキップすることを含み、ユニットテストを完了する処理時間を短縮する。いくつかの実装形態では、入力値は、テスト入力データファイル又は他のデータソースを参照するのではなく、テスト定義モジュール１０４を使用して特定の値に設定することができる。いくつかの実装形態では、データソースから受信されるソースデータに加えて、追加の入力データをデータフローに挿入することができる。

いくつかの実装形態では、入力ソースパラメータは、ユニットテストによってテストされるコンポーネントの入力データとして使用されるテスト入力データを含むソース２０２ａ～ｎ内の位置を参照することができる。テスト入力データは、テストされるコンポーネントの全機能をカバーするために、特定のフィールド、値などを含むことができる。例えば、コンポーネントが複数のケースを有するケース構造を実行するように構成されている場合、テスト入力データは、ケース構造の各ケースをトリガするための入力データを含むことができる。別の例では、テスト入力データは、機能のエッジケースをテストするために、値の所定の範囲を含むことができる。テスト入力データは、コンポーネントのロジックに表される決定木の各分岐をテストするように構成することができる。コンポーネントの機能性をテストするための当技術分野で知られている他の同様の例を使用することができる。いくつかの実装形態では、テスト入力データは、前のユニットテストのテスト結果からの出力データを含むことができる。これは、ユニットテストの反復間のデータフローグラフのテストされた部分の出力の変化を明示的に示すために行うことができる。

いくつかの実装形態では、入力ソースパラメータは、テスト可能ロジックで実行される機能呼び出しの記憶された結果の位置を含む。例えば、テストされたコンポーネントがルックアップテーブルを参照する機能を含む場合、テスト定義モジュール１０４は、ルックアップテーブル全体を取り出してテスト入力データとしてルックアップテーブルを記憶するのではなく、ルックアップ結果を取り出して新しいファイル（例えば、スナップショットデータベース１１６において）に記憶するように構成することができる。ルックアップテーブル又はファイル全体を含めると、テスト入力データファイルのサイズが大幅に増加し、テストのバージョン管理（後述）が非現実的になる可能性がある。従って、テスト定義モジュール１０４は、コンポーネントの少なくとも１つの機能についてテストされたコンポーネントに入力値を提供するルックアップファイルの一部を検索するように構成することができる。一般に、ルックアップファイルは遠隔ソースによって提供される。次に、テスト定義モジュール１０４は、ルックアップファイル又はその一部（例えば、データキャプチャモジュール１０６によって）をスナップショットデータベース１１６内のテストスナップショット１２０の一部として記憶させる。記憶されたデータは検索され、少なくとも１つの実行可能コンポーネントの実行中にコンポーネントによってアクセス可能である。これはまた、データが遠隔ソースから要求される必要がないため、ユニットテストの実行時間を短縮する。従って、ユニットテストは、オフラインで単独で実行することができる。

同様に、テストパラメータは、遠隔ソースの機能呼び出しの結果の位置を指定することができる。これは、ウェブサービス又は他の同様のソースを含む遠隔ソースに対して行うことができる。テスト定義モジュール１０４は、テストされたコンポーネントのデータソースが機能呼び出しを指定すると判定するように構成することができる。テスト定義モジュール１０４は、機能呼び出しの機能入力のセットの各機能入力について、機能呼び出しを実行して、機能出力のセットを取得し、各機能出力は機能入力に対応するサービスを引き起こすことができる。機能呼び出しの機能出力のセットは、データキャプチャモジュール１０６によってキャプチャされ、テストスナップショット１２０の一部としてスナップショットデータベース１１６に記憶される。機能出力は、被テストコンポーネントの実行中に被テストコンポーネントによってアクセス可能である。これにより、テスト中に機能呼び出しを実行し、遠隔ソースからの応答を待つのに必要な時間が短縮される。このプロセスはまた、オフラインでテストを実行するためのユニットテスト入力データと共にウェブサービスのコンテンツが記憶されることを必要とせずにテストの分離を可能にする。上述したように、テスト入力データのサイズを縮小することにより、テストのバージョン管理を実用的にすることができる。

テスト定義モジュール１０４は、選択されたテスト領域２２０のデータフロー上にプローブを設定するためのパラメータを示す。プローブは、データを抽出するためのデータフローグラフ内の位置を示すように構成されたデータオブジェクトを備える。例えば、プローブをデータフローに配置することができる。データがプローブと共にデータフローに沿って送信されると、データはプローブによって読み出される。データキャプチャモジュール１０６は、データフローからのデータをプローブで記録し、その後の使用のためにスナップショットデータベース１１６にデータを記憶する。データフローグラフのプローブは、米国特許第１０，０５５，３３３号に更に詳細に記載されており、その内容は参照によりその全体が本明細書に組み込まれる。

プローブ（例えば、図２Ｂ～図２Ｃのプローブ２２２、２２４及び２２６）は、テストされているデータフローグラフ上に視覚的に示すことができる。プローブは、テスト結果においてどのデータが報告されるべきかを示す。プローブは、データソース２０２ａ～ｎから受信されている未処理データを示すために、テスト結果がテストされているコンポーネントへの入力データを含むように挿入することができる。プローブは、テスト結果にテストされたコンポーネントからの出力データを含ませることができる。出力データは、ユニットテスト中など、テストされたコンポーネントによって処理されたデータを含む。入力ソースパラメータと同様に、テストプローブは、プローブしているデータフローのフィールドを無視するように構成することができる。プローブのデータフローは、データフローグラフ内に、ネットワークアドレスとして、又はその両方としてグラフで示すことができる。プローブ構成は、プローブによって報告されているデータのキー値の設定を含むことができる。データキャプチャモジュール１０６は、ユニットテストの結果データを報告するために、プローブのデータと期待される出力データとの比較にキー値を使用する。

いくつかの実装形態では、プローブは、テスト定義モジュール１０４によってデータフローグラフに自動的に挿入され得る。例えば、テスト定義モジュール１０４は、データフローグラフをトラバースして、データフローグラフの少なくとも１つのデータフローを発見するように構成することができる。次いで、テスト定義モジュール１０４は、少なくとも１つのデータフロー上にプローブを挿入して、テストされたコンポーネントの実行から追加の結果データを抽出するためのデータフローグラフ内の位置を示すことができる。いくつかの例では、テスト定義モジュール１０４は、テストされたデータフローグラフをトラバースして、テストされたコンポーネントの実行によって生成された出力データを抽出するデータフローグラフ内の位置を発見するように構成することができる。テスト定義モジュール１０４は、出力データを抽出するために、データフローグラフ内の位置にプローブを挿入する。いくつかの実装形態では、テスト定義モジュール１０４は、データフローグラフをトラバースして、入力データをテストされたコンポーネントに抽出するデータフローグラフ内の位置を発見し、その位置にプローブを挿入して入力データを抽出するように構成される。

テストパラメータは、テストスケジューリングパラメータを含む。スケジューリングパラメータは、ユニットテストがいつ実行されるかを指定する。例えば、ユニットテストは、１日に１回、週に１回、更新が行われた後などに、生産ソフトウェアで実行することができる。スケジューリングパラメータは、不合格であったテストのインジケーション（ひいては予期しない出力データを示すことができる）を含むテスト結果の報告の自動テストを可能にする。

テストパラメータは、ユニットテストの対象が何であるかを指定する。言い換えれば、選択されたテスト領域２２０は、検査パラメータとして表すことができる。ターゲットパラメータは、テスト領域２２０に含まれる各コンポーネント及びそれらが互いにどのように接続されるかを指定する。これは、コンポーネントのロジックを含む実行可能ファイルを参照することによって暗黙的に行うことができ、ターゲットパラメータは、実行可能ロジックのどの部分を無視すべきかを示すことができる。このようにして、ユーザは、実行形式（例えば、どのコンポーネントが）のどの機能をユニットテストでテストすべきかを正確に指示することができる。

テストパラメータは、テスト結果データにどのデータが含まれるかを指定する。一般に、テスト結果データは、データフローグラフのテストされた部分によって処理されたデータを含む出力データを、ベースラインデータなどの期待される出力データに関連付ける構造化データを含む。テスト結果データは、ユニットテストが実行された後に生成されたデータを含むことができる。生成されたデータは、テストに合格したか不合格であったかを示す、及び／又はテストされたロジックのどの部分が予期しない出力を生成したかを示す報告データを含むことができる。テスト結果データは、ユニットテスト中に（もしあれば）テストされたロジックのどの表現又は演算が実行されなかったかを示すコードカバレッジデータを含むことができる。テスト結果データは、現在のユニットテスト（例えば、ユーザによって指定されるように）に関連する以前のユニットテストからの出力データの変化を強調表示することができる。例えば、同じロジックの反復ユニットテストの各テスト結果を比較して、出力が１つの反復から次の反復にどのように変化したかを示すことができる。いくつかの実装形態では、複数の反復にわたってどのように変化が生じたかを示すために傾向データを生成することができる。例えば、各テスト後に特定の出力の値が増加し、他の出力が減少する場合、出力が期待値に対応しているにもかかわらず、この傾向はテスト結果データで強調され得る。テスト結果データは、以下に記載されるユーザインタフェースに示され得る。テストパラメータは、テスト結果データがどのように提示されるか、どの出力が無視されるか（もしあれば）、どのコード比較が実行されるか、どの予測データが比較に使用されるか、及びどのメトリックが合格又は不合格のテストを構成するか（例えば、すべての値が期待される出力と完全に一致する必要があるかどうか、どのコードカバレッジが望まれるか、など）を指定することができる。

テストパラメータは、ユニットテスト中のテスト入力データに対するロジックの実行から、テストされたロジックの期待される出力が何であるべきかを指定することができる。予想される出力は、ベースラインデータを含み得る。ベースラインデータは、各テスト入力に対する対応する出力データを含むことができる。ユニットテストが実行されると、生成された出力データをベースラインデータと比較することができる。ユニットテスト中に生成された出力データがベースラインデータとどの程度一致するかは、ユニットテストが合格であったか不合格であったかのメトリックとしてデータ処理システム１０２によって使用することができる。予想される出力は、検証機能を含むことができる。検証機能は、ユニットテストから生成された１つ以上の出力をテストするためのロジックを含むことができる。検証機能は、各出力に含まれるべき正確な値を必ずしも指定することなく、出力データの１つ以上の規則に準拠している出力を検証することができる。例えば、規則は、出力が許容可能な範囲内の数値であること、許容可能なフォーマットであること、特定の値を含むこと、特定の値であること、有効なデータが含まれること（例えば、空又はヌル値ではない）などを指定することができる。例えば、出力が社会保障番号（ＳＳＮ）であることが知られている場合、検証機能は、出力がユーザ識別子（又はテスト識別子）に関連付けられた有効な社会保障番号を含むことを確認することができる。他の多くの同様の検証機能が可能である。

データ検証モジュール１１０は、テスト結果データの検証を実行する。検証モジュール１１０は、ユニットテストのスナップショットと共にスナップショットデータベース１１６に含めるために、検証結果（テスト結果データに含まれる）をデータキャプチャモジュール１０６に送信する。

いくつかの実装形態では、テストパラメータは、テスト結果データの宛先を指定することができる。宛先は、テスト結果を保存するための位置を含み、これは、出力データと予想データとの比較を含むことができる。いくつかの実装形態では、予想データは、以下に説明するように、ベースラインデータを含むことができる。いくつかの実装形態では、テスト結果データの出力データは、後続のユニットテストのベースラインデータとして設定することができる。

いくつかの実装形態では、検証モジュール１１０は、データの検証のための１つ以上のコンポーネントの実行可能ロジックを含むことができる。例えば、検証ロジックはサブグラフとすることができる。サブグラフは、テストされているグラフの異なる部分からのデータを比較するか、又はテストのためのデータの任意の比較を実行するように構成することができる。例えば、検証モジュール１１０は、入力データを出力データと比較し、出力データが入力データの機能の結果と一致することを保証することができる。

前述したように、テスト定義モジュール１０４は、グラフパラメータの修正も可能にする。これは、ユーザがユニットテスト間でコンポーネントの挙動を変更したい場合に有用であり得る。データフローグラフのパラメータセットは、テスト可能ロジック１１２内のメタデータとして受信することができる。グラフパラメータセットは、パラメータセット２２８として図２Ａに示されている。

テスト可能ロジック１１２のデータフローグラフ２００について、テスト定義モジュール１０４は、データフローグラフに対して実行されるべきテストの数を設定する。通常、単一のテストが実行されるが、テスト定義モジュール１０４は、単一のデータフローグラフ又はデータフローグラフの一部で実行されるように複数のユニットテストを構成することができる。

テストパラメータは、データキャプチャモジュール１０６（後述）がテスト入力データ及びテスト結果データをどのようにキャプチャすべきか、並びにバージョン制御システムにおいてテストをバージョン制御すべきかどうかを示すパラメータを含むことができる。

データ処理システム１０２は、結果データを、コンポーネントを含むデータフローグラフのバージョンと関連付けることができる。テスト結果データは、テストに合格したか、不合格であったかなどを示すレポート、テスト結果などを含むことができる。結果データは、コンポーネントがどのように動作しているかを示すことができ、該当する場合、コンポーネントがどのように故障したかを示す情報を提供することができる。

データキャプチャモジュール１０６は、実行されているユニットテストに応答して、各ユニットテストについてテストスナップショット１２０をキャプチャするように構成される。例えば、データフローグラフの一部に対してユニットテストが実行され、ユニットテストが更新され、後続のユニットテストが実行される場合、ユニットテストの実行ごとのテストスナップショット１２０をスナップショットデータベース１１６に関連付けることができる。スナップショットデータベース１１６は、バージョン制御システムとすることができる。テストスナップショット１２０は、ユニットテスト用のテストスナップショット１２０の各バージョンが互いに関連付けられた構造化データとして記憶され得る。テストスナップショット１２０は、圧縮ファイル（例えば、．ｔａｒファイル）として記憶することができる。スナップショット１２０ａ、１２０ｂ、及び１２０ｃは、例えば、各々が前のスナップショットファイルの後続のバージョンであるシーケンスで互いにリンクすることができる。構造化データのリンクは、バージョン制御データベース１１８で管理することができる。例えば、識別子１２６ａ、１２６ｂ、及び１２６ｃは、互いにリンクされることができ、関連するスナップショット１２０ａ、１２０ｂ、及び１２０ｃを各々参照することができる。これにより、ユーザは、ユニットテスト又はデータフローグラフへの更新がテスト結果をどのように変更したかを判定することができる。

ユニットテストが実行されると、データキャプチャモジュール１０６は、使用された入力データ、遠隔ソースから検索された任意のデータ（例えば、ウェブサービスへの機能呼び出しなどである）、テスト入力データ（適用可能な場合）、出力データ、テスト結果データ、及びテストスナップショット１２０でテストされたデータフローグラフのバージョンを保存する。テストスナップショット１２０は、ユニットテストを表す。前述のように、出力データ、入力データなどにどのようなデータが含まれるかは、プローブなどのパラメータの値に基づいて決定される。

データキャプチャモジュール１０６は、ユニットテストのバージョンを表すスナップショットデータを生成するように構成される。テストスナップショット１２０をバージョン制御データベース１１８に記憶された他のテストスナップショット１２０ｓに関連付けるユニットテスト及びバージョン制御情報。バージョン制御データベース１１８は、ユニットテスト用のテストスナップショットを参照するポインタを記憶する。ユニットテストの特定のバージョンが実行される場合、スナップショットデータベース１１６の対応するテストスナップショット１２０を指し示すポインタが参照される。データ処理システム１０２は、スナップショットデータベースから対応するテストスナップショット１２０を取得する。前述したように、ユニットテストは、そのユニットテストを表すテストスナップショット１２０のデータを使用して実行することができる。

いくつかの実装形態では、テストスナップショット１２０をバージョン制御されたオブジェクトとして記憶することは、サイズ制限のために困難であり得る。前述のように、機能呼び出し又はルックアップテーブルの一部を記憶することにより、この問題を軽減することができ、グラフ２００による実行中に使用されるデータのみを入力データとして取り込むことができる。データキャプチャモジュール１０６は、各テストスナップショット１２０についてハッシュ（又は他のそのようなポインタ値）を生成する。ハッシュ値は、テストスナップショット１２０のバージョンを表すことができる。データキャプチャモジュール１０６は、テストスナップショット１２０のバージョンのハッシュをバージョン制御データベース１１８に記憶することができる。ハッシュ値が参照されると、対応するテストスナップショット１２０が検索され得る。

データキャプチャモジュール１０６は、ユニットテスト中にデータフローグラフの挙動を追跡し、データフローグラフのコンポーネントの実行に関するデータを保存するように構成される。例えば、機能呼び出しが実行された場合、又はルックアップテーブル内の値が参照された場合、データキャプチャモジュール１０６は、参照された値を記憶するように構成される。データキャプチャモジュール１０６によって記憶されたデータは、（例えば、前述のように「記憶」操作を実行する）ユニットテストの将来の反復を更新するために使用することができる。

データキャプチャモジュール１０６は、スナップショットデータベースのデータを管理するために使用することができる。例えば、データキャプチャモジュール１０６を使用して、スナップショットデータのバージョンをスナップショットデータベース１１６にチェックインすることができる。データキャプチャモジュール１０６は、データフローグラフのバージョンを生産に進めるために使用することができる。データキャプチャモジュール１０６によるデータの取り込みは、一般に自律的であり、テスト定義モジュール１０４のパラメータによって指定することができる。

ユニットテスト訓練モジュール１０８は、実行された前のユニットテストに関するデータをデータキャプチャモジュール１０６から受信したことに応答して、ユニットテストを更新するように構成される。ユニットテスト訓練モジュール１０８は、データキャプチャモジュール１０６からテストスナップショット１２０を受信し、パラメータを更新することによってユニットテストを更新するように構成される。このプロセスは、自律型、半自律型、又は手動であり得る。例えば、記憶サービスコールは、ユニットテスト訓練モジュール１０８によって自動的に実行することができる。更新されたパラメータ値は、ユニットテストの後続の実行のためにユニットテストの構成を更新するためにテスト定義モジュール１０４に送信することができる。

いくつかの実装形態では、ユニットテスト訓練モジュール１０８は、一連のユニットテスト（例えば、特定のデータフローグラフ又はデータフローグラフ）に関するデータを生成するように構成される。トレンド分析については、前述したように、ユニットテスト訓練モジュール１０８によって実行して、テストパラメータ値を更新することができる。例えば、ユニットテストの実行時に、データ検証モジュール１１０によって生成された結果データは、ユニットテストがテストされたコンポーネントによって不合格であったことを示すことができる。しかしながら、開発者は、結果データを見て、テストされたロジックの現在の機能が実際には望ましく、合格したユニットテストに対応するべきであると判断することができる。開発者は、ユニットテスト訓練モジュール１０８を介して、現在のユニットテスト構成がテストされているロジックで合格テストを表すように、ユニットテストベースラインを更新することができる。これはいくつかの理由によるものであり得るが、異なるベースラインデータ又は検証機能が使用されるため、ユニットテストにテスト入力データ内の追加のフィールドを無視させること、又は後述するように、ユニットテストに何らかの他の変更を行ってテストを合格させることを含むことができる。従って、ユニットテスト訓練モジュール１０８は、開発者が変更を比較し、ユニットテストを以前のバージョンに復元すべきかどうか、又は現在定義されているようなユニットテストが成功したテストを表すかどうかを判定できるように、ユニットテストの反復間のテスト結果の比較を可能にする。

テスト訓練モジュール１０８は、どのテスト結果がユニットテストの以前のバージョンから変更されたかを提案概要出力に示すことができる。要約出力は、ユニットテストに対する変更がテストの変更されたテスト結果をどのようにもたらしたかをユーザに示すように構成される。いくつかの実装形態では、テスト訓練モジュール１０８は、テストに対する変更を受け入れるか拒否するかを提案する。いくつかの実装形態では、テスト訓練モジュール１０８は、満足のいく結果（例えば、不合格ユニットテストを合格ユニットテストに変更する）をもたらすようにユニットテストをどのように修正できるかを提案する。要約出力は、データフローがデータを合格にしたか否かを示すデータ（例えば、コンポーネントが実行されたかどうか）を示すことができる。要約出力は、コンポーネントが記録を処理したかどうか、テストデータのいくつの記録が処理されたか、及びフローが期待通りに処理された記録を通過したかを確認するために、データフローカバレッジを示すデータを示すことができる。要約は、コンポーネントごとに、コンポーネントのどの命令文が実際に実行されたか（例えば、コードカバレッジ）を示すデータを示すことができる。要約は、各データフロー上の記録の数が予想される数であること、又はデータが一般に予想通りにデータフロー上に存在する（又は存在しない）ことをチェックすることができる。例えば、要約は、記録が期待通りにデータフローに渡されないことによって「静かに」拒否されているかどうかを示す。

いくつかの実装形態では、ユニットテスト訓練モジュール１０８は、テストに対してどのような変更を行うことができるかに関してユーザに提案を行うように構成される（例えば、不合格となったテストを合格とする）。提案は、現在のテスト結果データがデータ検証モジュール１１０による将来の検証のための新しいベースラインデータと見なされるべきかどうか、どのフィールドが無視されるべきかなどを含むことができる。例えば、特定のフィールドはテストにとって重要ではないが、特定のフィールドがテストを不合格であったと見なさせる可能性がある。テスト訓練モジュール１０８は、特定のフィールドがテストに合格しないデータを有する一方で、他のフィールドがテストに合格しているデータを有することを強調表示することができる。テスト訓練モジュール１０８は、特定のフィールドが無視されることを提案することができ、その結果、不合格であったテストは合格テストになる。この提案を提示されたユーザは、フィールドを検討し、フィールドが実際にこのテストに関連しないと判定し、フィールドが後続のテストで無視されることを確認することができる。例えば、ユーザは、フィールドを無視することを提案するプロンプトで制御を選択することができる。

要約出力は、テストデータのフィールドを一覧表示し、各フィールドがユニットテストにどのように合格又は不合格であったかを示すことができる。例えば、要約出力は、ユニットテストの以前のバージョンからのテスト結果の違いを示すことができる。要約出力は、どのプローブがユニットテストの失敗に関連したかを示すことができる。要約出力は、どのフィールドが以前のユニットテストから追加、変更、又は削除されたかを示すことができる。テスト訓練モジュール１０８は、以前のテスト結果との違いが意味することをユーザに示唆することができる。例えば、すべての記録が以前のテスト結果からのテスト結果の修正を示す場合、ユニットテストに根本的な変化があり、障害を引き起こしている可能性がある。ユーザは、ユニットテストに対して行われた変更を元に戻すように促されてもよい。別の例では、少数の記録のみが変更された場合、テスト訓練モジュール１０８は、どのテスト結果が変更されて以前のバージョンのユニットテストに合格していたユニットテストに不合格になったかを強調表示することができる。この場合、ユーザは、現在のテストを合格テストとして再定義したい場合がある。合格テストとして現在のテストを受け入れるように促すプロンプトをユーザに示すことができる（例えば、テストのベースラインを更新する）。

いくつかの実装形態では、テスト定義モジュール１０４は、ユニットテストを実行するためのガイダンスを提供する。例えば、ユーザがユニットテストを実行しようとしたが、データキャプチャモジュール１０６によってデータがまだ取り込まれていない場合、すべてのテストパラメータがまだ定義されていないことを示すエラーメッセージをユーザに提示することができる。

テスト訓練モジュール１０８の要約出力はまた、ユーザを案内するための検証及び検証プロンプトを提供することができる。例えば、テスト訓練モジュール１０８は、否定テストの結果を示すことができる。ここで、テスト訓練モジュール１０８は、コード内の予想されるアサート又はエラーポイントでテストが失敗したことを検証することができる。言い換えれば、テスト訓練モジュール１０８は、テストが「正しく不合格である」こと、又はテストが期待される方法で不合格であったことを確認している。実行可能な別の検証は、テストの不合格である。テスト訓練モジュール１０８は、拒否された記録の数がゼロであるか、そうでなければ予想される範囲内にあるかを検証するように構成することができる。テスト訓練モジュール１０８は、数が予想される範囲外である場合（例えば、非ゼロの結果が予期され、その結果が０である場合）にユーザにプロンプトを出すことができる。拒否された記録は、ユーザに示すことができる。テスト訓練モジュール１０８は、テストをフィルタリングするように構成することができる。例えば、テスト訓練モジュール１０８は、指定された表現と一致するフロー上の記録の数が０であることをチェックする。任意の値が指定された表現（例えば、範囲外である、ヌル値を有する、などである）と一致する場合、それらの記録をユーザに強調表示することができる。前述したように、テスト訓練モジュール１０８は、無視又は考慮すべき出力データのサブセットを提案するように構成することができる。例えば、予想されるデータのベースラインと比較するときに、記録を無視するように、ユーザにプロンプトを生成することができる。

ロードデータモジュール１１４は、データをスナップショットデータベース１１６にロードするように構成される。一般に、ロードデータモジュール１１４は、データキャプチャモジュール１０６からスナップショットデータを受け取り、スナップショットデータをスナップショットデータベース１１６にロードする。ロードデータモジュールはまた、スナップショットデータベース１１６にロードするためのデータをユニットテスト訓練モジュール１０８から受信することもできる。例えば、ロードデータモジュール１１４は、ユニットテスト訓練モジュール１０８から更新されたパラメータ値を受信することができる。いくつかの実装形態では、ロードデータモジュールは、ユニットテスト訓練モジュール１０８から傾向データを受信することができる。

図２Ａに戻ると、一般に、データフローグラフのフローは、コンポーネント又は一連のコンポーネントがバイパスされるように、パラメータの使用によって変更することができる。一般に、パラメータは、データフローグラフの挙動を変更するように構成又は変更することができるデータフローグラフに関連する値を表す。例えば、データフローグラフの使用間で特性を変更することができ、データフローグラフは、その変更のために異なる動作を実行することができる。コンポーネント２０４、２０６、２０８、２１０、ソース２０２ａ～ｎ、及びシンク２１２のうちの１つ以上は各々、パラメータセットと呼ぶことができる１つ以上のパラメータに関連付けることができる。例示的なパラメータセット２２８は、コンポーネント２０４に関連付けられ、パラメータＰ_Ａ、Ｐ_Ｂ、Ｐ_Ｃ、Ｐ_Ｄ、及びＰ_Ｅを含む。これらのパラメータを使用してデータフローグラフを構成し得る方法及び／又はデータフローグラフのテストの例を以下に説明する。パラメータ及びそれらの値は、データフローグラフの挙動を定義する。例えば、パラメータは、物理ディスク上のデータソース又はデータシンクの位置を定義することができる。パラメータはまた、ソートコンポーネントがコンポーネントに入力されたデータをどのようにソートするかなど、コンポーネントの挙動を定義することができる。いくつかの例では、パラメータセット内のパラメータの値は、データフローグラフの実行時に入力される。

いくつかの例では、１つのパラメータの値は別のパラメータの値に依存し得る。例えば、データソースは、特定のディレクトリ内のファイルに記憶されてもよい。データソースのパラメータセットは、「ＤＩＲＥＣＴＯＲＹ」と呼ばれる第１のパラメータと、「ＦＩＬＥＮＡＭＥ」と呼ばれる第２のパラメータとを含むことができる。この例では、ＦＩＬＥＮＡＭＥパラメータは、ＤＩＲＥＣＴＯＲＹパラメータ（例えば、ＤＩＲＥＣＴＯＲＹは「／ｕｓｒ／ｌｏｃａｌ／」であってもよく、ＦＩＬＥＮＡＭＥは「ｉｎｐｕｔ．ｄａｔ」であってもよい）に依存する。パラメータはまた、他のコンポーネントのパラメータに依存し得る。例えば、データフローグラフ用のデータシンクの物理的位置は、データフローグラフ用のデータソースの物理的位置に依存し得る。例えば、データシンクは、データソースのＤＩＲＥＣＴＯＲＹパラメータに依存するＦＩＬＥＮＡＭＥパラメータを含むパラメータのセットを含むことができる（例えば、データシンクのＦＩＬＥＮＡＭＥパラメータは、「／ｕｓｒ／ｌｏｃａｌ／ｏｕｔｐｕｔ．ｄａｔ」であり得、値「／ｕｓｒ／ｌｏｃａｌ／」は、データソースのＤＩＲＥＣＴＯＲＹパラメータから取得される）。

コンポーネント２０４は、サブグラフ（図示せず）と呼ばれることもある、１つ以上の他のデータフローグラフを参照するグラフインタフェースコンポーネントとすることができる。実行時に、データフローグラフ２００は、コンポーネント２０４によって参照されるサブグラフを動的にロードして実行し、例えば、データフローグラフ２０４がサブグラフによって提供される様々な機能に柔軟にアクセスすることを可能にする。コンポーネント２０４の１つ以上のパラメータＰ_Ａ、Ｐ_Ｂ、Ｐ_Ｃ、Ｐ_Ｄ、及びＰ_Ｅは、コンポーネント２０４によって参照される特定のサブグラフを定義する。各サブグラフはまた、各々が対応するサブグラフの挙動を定義する１つ以上のパラメータを含むパラメータセットに関連付けられる。

特定のビジネス目的を達成するためにも書かれているが、グラフの基礎となる構造及び構築は、技術的考慮に基づいて決定される。例えば、データフローグラフコンポーネント２０４、２０６、２０８、及び２１０は、再利用性を最大化するように、又は並列処理をサポートするように選択されてもよい。一方、グラフが使用される場所は、主にビジネス上の決定であり得る。パラメータ化されたデータフローグラフに関連するパラメータのいくつかは、その実装の背後にある技術的な複雑さをユーザが理解する必要なく、ビジネスユーザがデータフローグラフをカスタマイズすることを可能にするために使用することができる。パラメータ化されたデータフローグラフは、カスタマイズを単純化し、再使用を容易にする。

データフローグラフを構築するためのパラメータ値を識別するためのインタフェースをクライアントマシン上に提示することができる。いくつかの実装形態では、クライアントは、パラメータインタフェースを提供するクライアント上のウェブブラウザを使用し、クライアント側の処理のための何らかの機能を提供するスクリプト言語を使用して、サーバ上で実行されている開発環境にアクセスすることができる。スクリプト言語は、サーバと通信してパラメータを更新し、他の必要な動作を実行することができる。この通信は、構築されているグラフのオブジェクト及び関連するパラメータ値を記憶する開発環境を実行しているクライアントとサーバとの間の通信を変換するブリッジマシンを介して行われ得る。インタフェースは、ユーザがデータフローグラフ及びデータフローグラフ構成に関する技術的知識を欠いている場合でも、ユーザがパラメータ化されたデータフローグラフのパラメータを構成することを可能にする。

クライアントデバイス（図示せず）上に提示される構成インタフェースは、ユーザがグラフ構成モジュールにアクセスすることを可能にする。構成インタフェースを介して、ユーザは、データフローグラフ構成に関する技術的知識を必要とせずに、データソース２０２ａ～ｎ、データシンク２１２、及びデータフローグラフによって実行されるロジックの特性を指定することができる。ユーザによって指定された特性に基づいて、パラメータ値をパラメータセット２２８に割り当てることができ、従って、ユーザによって指定された特性に従ってデータフローグラフの挙動を定義することができる。

構成インタフェース内で、各コンポーネントのパラメータセット２２８のパラメータを組み合わせて、ユーザと対話するためのグループに再編成することができ、例えば、技術的考慮事項ではなくビジネス考慮事項を反映することができる。ユーザ入力に基づいてパラメータの値を受信するための構成インタフェースは、サーバ上の開発環境の態様によって必ずしも制限されない柔軟な方法でパラメータ間の関係に従って異なるパラメータを表示することができる。構成インタフェースの例は、米国特許出願公開第２０１１／０１４５７４８号に記載されており、その内容は参照によりその全体が本明細書に組み込まれる。

データフローグラフは、コンパイル時に、特定のアクションを実行するようにデータフローグラフのプリコンパイルを変更することによって、又は実行時に、データフローグラフによって使用されるパラメータを設定するか又は構成ファイルを変更することによって構成することができる。データフローグラフを開発及び構成するための環境は、参照によりその全体が本明細書に組み込まれる、「Ｍａｎａｇｉｎｇ Ｐａｒａｍｅｔｅｒｓ ｆｏｒ Ｇｒａｐｈ－Ｂａｓｅｄ Ａｐｐｌｉｃａｔｉｏｎｓ」と題する米国特許第７，７１６，６３０号により詳細に記載されている。

前述のように、データフローグラフ２００はテスト領域２２０を含む。テスト領域２２０は、データフローグラフ２００のどのコンポーネントがユニットテストでテストされているかを指定する。テスト領域は、テストパラメータによって指定される。テスト領域２２０は、グラフィック破線として示されているが、コンポーネントのリストとして表すことができる。いくつかの実装形態では、テスト領域２２０は、複数の異なるグラフからのコンポーネントを含み、それらのコンポーネントは互いに独立して機能することができる。単一のテスト領域２２０が示されているが、グラフ２００は、複数の分離されたテスト領域を含むことができる。

テスト領域２２０は、どの入力データがテストに必要であり、どの出力がテストによって生成されるかに関してユニットテストを定義する。例えば、図２Ａの領域２２０において、入力２１６ａ及び２１６ｂは、これらの入力に接続されたデータフローがテスト領域２２０の外部のソースに接続されているため、ユニットテスト用の入力である。入力２１６ａ及び２１６ｂに対応するデータソース２０２ａ及び２０２ｂはデータベースとして示されているが、データソースはまた、テストされていない他のデータフローグラフ又はコンポーネントを含むことができる。

データフローグラフ２００では、コンポーネント２０４、２０６及び２０８がテストされているが、コンポーネント２１０はテストされていない。コンポーネント２０４の出力２１８ａ及びコンポーネント２０６の出力２１８ｂは、コンポーネント２０８の入力２１６ｃ及び２１６ｄのデータソースである。コンポーネント２１８の出力２１８ｃは、領域２２０によって定義されたユニットテストの最新の出力データを含む。コンポーネント２１０の入力２１６ｅ及び２１６ｆ、並びにコンポーネント２１０の出力２１８ｄは、本ユニットテストに重要ではない。

ユニットテストは、テストのためにコンポーネント２０４、２０６及び２０８を分離する。これらのコンポーネントを分離するために、ソース２０２ａ及び２０２ｂからの入力データは、テスト入力データを使用してシミュレートされ得るか、又はソース自体から提供され得る。データフォームデータソース２０２ｎは、領域２２０によって定義されたユニットテストに影響せず、ユニットテストを実行するためにシミュレート又は検索される必要はない。

前述したように、コンポーネント２０４は、パラメータセット２２８を含むメタデータに関連付けられる。コンポーネント２０４、２０６、２０８、２１０、データソース２０２ａ～ｎ、及びデータシンク２１２の各々は、一般にパラメータセットにそれぞれ関連付けられているが、明確にするためにパラメータセット２２８のみが示されている。一般に、グラフの表現を見ると、パラメータ２２８は見えない（従って、点線で縁取られている）。

図２Ｂを参照すると、ユニットテストの領域２２０が定義されると、他のテストパラメータ値を前述のように設定することができる。例えば、プローブ２２２及び２２４は、テスト領域２２０への入力データフロー上に（手動又は自動で）配置することができる。同様に、プローブ２２６を出力データフロー上に配置することができる。プローブは、中間出力データがテスト結果データに含まれるように、中間データフロー２３０及び２３２に配置することができる。

一般に、各プローブ２２２、２２４及び２２６について、ユニットテストは、プローブにおけるデータと比較してユニットテストが合格であったか不合格であったかを判定することができる対応する予想データを生成する。一般に、テスト入力データ又は他の入力データを含むプローブ２２２及び２２４における入力データは、処理が行われていないため、予想データと同一である。しかしながら、テスト入力データについてデータの欠落又は破損がないことを保証するために比較を実行することができる。一般に、プローブ２２６などの出力データを含むデータフロー上の各プローブについて、予想されるデータは、前述のように、検証のためのユニットテストのために検索される。

ユニットテスト中にプローブの各々について記録されたデータをユーザインタフェースに示すことができる。いくつかの実装形態では、テーブル２３４は、各プローブの記憶されたデータの位置を示すことができる。ここで、テーブル２３４は、プローブを列挙するフィールド２３６と、データソースを列挙するフィールド２３８と、プローブ２２２、２２４、２２６で記録されたデータが記憶される各位置を列挙するフィールド２４０とを含む。各コンポーネント及びプローブは、グラフ又はグラフのグラフ表現に状態オーバーレイ２４２で示されている。状態オーバーレイ２４２は、コンポーネントがテストにおいて実行されたかどうかを示す。図２Ｃに示すように、対応するプローブがデータを受信したとき、又はコンポーネント２０４が実行されたとき、ステータスオーバーレイ２４４が更新されて実行が行われたことを示す。

プローブ２２２、２２４、及び２２６の各々は、プローブが配置されたデータフローの比較を示すためにユーザインタフェースで選択することができる。例えば、プローブの選択は、いくつの記録が異なるか、いくつの記録が追加されたか、及びいくつの記録が削除されたかを示すことができる。プローブ２２６の例示的なポップアップインタフェース２４６が示されている。プローブ２２６の選択はまた、図４に示すように、ユーザがテストを構成するためのテストパラメータを更新することを可能にすることができる。

図３Ａ～図３Ｈを参照すると、データキャプチャモジュール１０６によるユニットテストの検証３００の一例が示されている。図３Ａにおいて、テスト定義モジュール１０４は、テスト可能ロジック１１２のソースからデータフローグラフ２００を表すデータを受信する。テスト定義モジュール１０４は、ユーザデバイス１２２上のユーザ入力を介して、又はデータストアからなど、テストパラメータ１２４を受信する。前述したように、テスト定義モジュールは、テストパラメータ１２４から、ユニットテストの挙動を定義するテスト定義データ３０２を生成する。テスト定義データ３０２は、データ検証モジュール１１０及びデータキャプチャモジュール１０６に送信される。

図３Ａに示すように、テストパラメータ１２４は、グラフパラメータ２２８、テストデータ３５０、出力データパラメータ３３１、データソース位置３３３、及びデータフローグラフ２００の挿入位置を含むパラメータセット２２８を含む。これらのデータは、データフローグラフ２００のどの部分２２９がテストされているか、どのテストデータがテストデータパラメータ３３５によって使用されているか、データフローグラフ２００がどのように実行されるべきか、テスト中にデータフローグラフのテストされたコンポーネントがどのデータを利用できるか、及びどの出力データが記録されるかを定義する。これらのテストパラメータはまた、データ処理システム１０２がテストに成功するために期待する出力データ、テスト検証に使用されている検証パラメータ３３７（例えば、どのベースラインデータであるべきか、又はどの検証機能を使用すべきか、などである）を定義する。これらのデータは、図１に関して以前に詳細に説明されている。

図３Ｂを参照すると、データ検証モジュール１１０は、テストを成功、失敗、又は部分的に成功として検証するために、テスト定義モジュール１０４からテスト定義データ３０２を受信する。データ検証モジュール１１０はテスト実行ロジック３０８を動作させることができ、又はテスト実行ロジック３０８は別のシステムによって動作させることができ、生成された出力３０４はその他のシステムからデータ検証モジュールに送信することができる。

図３Ｄを参照すると、ユニットテストを検証するためのプロセス３２０が示されている。データ検証モジュール１１０は、期待される出力データ３０６を含むテスト定義データ３０２を受信する。期待される出力データ３０６は、前述したように、データフローグラフ２００の実際の予想出力値、出力値が所与のメトリック（例えば、は、フォーマットが正しいか、値が期待される範囲内にあるか、互いに一致する複数の出力であるか、などである）を満たすかどうかをチェックする検証機能、又はその両方の組み合わせを含むことができる。データ検証モジュール１１０は、検証ロジック３０８を使用して、生成された出力データ３０４を期待される出力データ３０６と比較し、テスト結果データ３１０に報告されたように、テストが合格、不合格、又は部分的に合格したかどうかを判定する。テストに合格するには、生成された出力データ３０４が期待される出力データ３０６と一致する必要は必ずしもない。いくつかの実装形態では、生成された出力データ３０４の特定の部分が期待される出力データ３０６と一致するか、又は期待される出力データの検証機能を満たす（又はその両方）場合、テストは「合格」と定義することができる。

図３Ｅを参照すると、プロセス３３０は、生成された出力データ３０４、期待される出力データ３０６、及びテスト結果データ３１０の例示的な値を示す。生成された出力データ３０４は、顧客名、顧客のクレジット額、及び例示的な位置を含む。期待される出力データ３０６は、同じフィールドを含む。テスト結果データ３１０に示すように、４つの記録がテストされており、２つの記録が予想出力と生成された出力とを一致させている。生成された出力から記録が欠落している。これらの不一致の結果、テスト結果は不合格である。しかしながら、ユーザは、これが実際には合格を表すのに十分良好であることを示し、後述するように、現在の生成された出力を期待するようにテストを更新することができる。

図３Ｆは、ユニットテスト訓練モジュール１０８を使用してユニットテストを訓練するための例示的なプロセス３４０を示す。ユニットテスト訓練モジュール１０８は、データ検証モジュール１１０からテスト結果３１０を受信する。テスト結果データ３１０は訓練ロジック３３２モジュールに入力され、訓練ロジックモジュールはユーザ入力データ３５６も受け取ることができる。訓練ロジック３３２は、生成されたユニットテストのテスト出力に基づいて、どのテスト出力が合格テストと見なされるかを指定することができる。例えば、ユーザは、生成された出力３０４が実際に合格テストを表すべきであることを示すことができる。ユーザは、合格したテストを表すものとして現在の生成された出力３０４を再定義するオプションを単に選択することができ、それに応じてユニットテスト訓練モジュール１０８は期待される出力データ３０６を自動的に更新する。いくつかの実装形態では、ユーザは、テストで無視する特定のフィールドを選択し、許容可能な出力範囲を調整するなどしてユニットテストを更新することができる。テスト結果データ３３４は、現在の出力が合格テスト（適用可能な場合）を表すことを示すように更新される。ユニットテスト訓練モジュール１０８は、更新テスト定義データ３３６をデータキャプチャモジュール１０６に送信し、データキャプチャモジュールは、テスト中に他のモジュールによってアクセスされ得る。

図３Ｇは、データキャプチャモジュール１０６によるデータ取り込みのためのプロセス３５０を示す。データキャプチャモジュール１０６は、更新されたテスト結果データ３３４及び更新されたテスト定義データ３３６を受信する。これらは、生成された出力データ３０４、期待される出力データ３０６（ユニットテスト訓練モジュール１０８によって更新され得る）、更新されたテストパラメータ３４４、及びデータフローグラフ２００を含む。データキャプチャモジュールは、ユニットテストのバージョンとしてリポジトリに記憶するためのスナップショットデータ１２０を生成するスナップショット生成ロジック３４２を含む。このプロセスは、ユニットテストの実行に必要なすべてのデータを圧縮ファイルに圧縮し、そのバージョンをリポジトリに送信することを含むことができる。スナップショット生成ロジック３４２はまた、スナップショットデータ識別子１２６を生成する。識別子１２６は、ファイルサイズに敏感であり得るバージョン制御リポジトリに記憶される。識別子１２６は、ユニットテストの現在のバージョンを表す関連するスナップショットデータ１２０を指す。識別子は、圧縮されたスナップショット１２０ファイルのハッシュ値を含むことができる。スナップショットデータ１２０及び識別子１２６は、ロードデータモジュール１１４を使用して関連するデータベースに送信される。

図３Ｈに示すように、スナップショットデータ１２０及び識別子１２６をロードするためのプロセス３６０が示されている。スナップショットデータ１２０及び識別子１２６は、ロードデータモジュール１１４によって受信される。ロードデータモジュール１１４は、スナップショットデータ１２０の各バージョンをその識別子１２６と関連付けるバージョン制御ロジック３６２を含む。スナップショットデータ及び対応する識別子１２６ａのバージョン１２０ａは、それぞれ、スナップショットデータベース１１６及びバージョン制御データベース１１８に送信される。スナップショットデータベース１１６は、スナップショットデータ１２０の複数のバージョン１２０ａ、１２０ｂ、１２０ｃなどを含むことができ、各々がテストの異なるバージョンを表す。バージョン制御データベース１１８は、対応する識別子１２６ａ、１２６ｂ、１２６ｃなどを含む。これらの識別子は、テストの所望のバージョンを検索するために使用することができる。バージョン制御データベース１１８は軽量データベースとすることができる一方で、スナップショットデータベース１１６はより大きなデータベース（例えば、クラウドベースのデータベース又はデータウェアハウス）とすることができる。

図４を参照すると、ユーザインタフェース４００の一例が示されている。ユーザインタフェース４００は、ユーザがテスト定義ウィンドウ４０２内のテストパラメータを編集することを可能にするように構成される。ユーザインタフェース４００は、ユニットテストのテスト結果データを示すためのテスト結果ウィンドウ４０４を含む。テスト定義ウィンドウ４０２及びテスト結果ウィンドウ４０４は並べて示されているが、互いに別々に提示することもできる。

テスト定義ウィンドウ４０２は、グラフパラメータ、プローブ、データソースアドレス、無視するフィールド、テスト入力データ、及びユニットテストのターゲットなどのテストパラメータ１２４を編集するためのメニュー４０６を示す。一例では、プローブＡ、Ｂ、及びＣを含むプローブのメニュー４０８が示されている。

テスト結果ウィンドウ４０４は、テスト結果データを示す。ウィンドウ４０４では、テスト結果データはコードカバレッジテーブル４１０を含む。コードカバレッジテーブル４１０は、領域２２０内で選択されたテスト可能ロジック１１２の各式がユニットテスト中に実行されたかどうかを示すデータを含む。識別子を使用して、式がすべての記録について実行されたか（ＦＵＬＬ）、いくつかの記録について実行されたか（ＰＡＲＴＩＡＬ）、又は式が実行されなかったか（実行されなかった）を示すことができる。式が実行された記録の数を示すことができる。

テスト結果ウィンドウ４０４は、プローブテーブル４１２を示すことができる。プローブテーブル４１２は、データフローグラフ内のプローブの位置に記録された値を示すことができる。例えば、プローブＡ、Ｂ、及びＣのデータフローの値が記録４５０に示されている。テーブル４１２は、前述のように、１つ以上の記録のデータフローグラフの入力データ及び出力データの分析を支援することができる。

検証結果テーブル４１４を結果データに含めることができる。図３Ａ～図３Ｈに関連して前述したように、検証データは、ベースラインデータを照合することによって、又は検証機能を用いて検証されることによって、ユニットテストの出力データが期待される出力データと一致するかどうかを示す。

図５を参照すると、図１のシステム１０２などによって、データフローグラフの少なくとも一部のユニットテストを構成及び実行するための例示的なプロセス５００を含むフロー図が示されている。プロセス５００は、テストのためのデータフローグラフの一部のインジケーションを受信すること（５０２）を含み、その部分は、データフローグラフの少なくとも１つの実行可能コンポーネントを含む。データ処理システム１０２は、少なくとも１つの実行可能コンポーネントの実行によって生成される期待される出力データを示すパラメータを含むパラメータセットを受信する（５０４）。データ処理システム１０２は、少なくとも１つの実行可能コンポーネントの入力データを受信し（５０６）、入力データは、パラメータセットによって示され、少なくとも１つの実行可能コンポーネントの機能をテストするように構成される。データ処理システム１０２は、パラメータセットに基づいて少なくとも１つの実行可能コンポーネントのユニットテストを定義する（５０８）。一般に、ユニットテストは、データフローグラフの１つ以上の入力に入力データを提供し、データフローグラフの少なくとも１つの実行可能コンポーネントによって入力データを処理して出力データを生成し、出力データと、パラメータによって示される期待される出力データとの間の対応関係を示す結果データを生成し、結果データ、入力データ、及びデータフローグラフの間の関連付け（例えば、バージョン制御データベース１１８にリンクすることができる共通ファイル内のこれらのデータの関連付け）を示す構造化データを生成するように構成される。

本明細書に記載された主題及び動作のいくつかの実装は、本明細書に開示された構造及びそれらの構造的均等物を含むデジタル電子回路、又はコンピュータソフトウェア、ファームウェア、若しくはハードウェア、又はそれらの１つ以上の組み合わせで実装することができる。例えば、いくつかの実装形態では、監視システム１０２、クライアントデバイス１１２、及びコンピューティングシステム１１６は、デジタル電子回路を使用して、又はコンピュータソフトウェア、ファームウェア、若しくはハードウェアで、又はそれらのうちの１つ以上の組み合わせで実装することができる。別の例では、プロセス５００及び６００は、デジタル電子回路を使用して、又はコンピュータソフトウェア、ファームウェア、若しくはハードウェアで、又はそれらのうちの１つ以上の組み合わせで実施することができる。

本明細書に記載のいくつかの実装形態（例えば、テスト定義モジュール１０４、データキャプチャモジュール１０６、ユニットテスト訓練モジュール１０８、検証モジュール１１０、ロードデータモジュール１１４など）は、デジタル電子回路、コンピュータソフトウェア、ファームウェア、又はハードウェアの１つ以上のグループ又はモジュールとして、又はそれらの１つ以上の組み合わせで実装することができる。異なるモジュールを使用することができるが、各モジュールは別個である必要はなく、複数のモジュールを同じデジタル電子回路、コンピュータソフトウェア、ファームウェア、若しくはハードウェア、又はそれらの組み合わせに実装することができる。

本明細書に記載のいくつかの実装形態は、１つ以上のコンピュータプログラム、すなわち、データ処理装置によって実行するために、又はデータ処理装置の動作を制御するためにコンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実装することができる。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムアクセス若しくはシリアルアクセスメモリアレイ若しくはデバイス、又はそれらの１つ以上の組み合わせであり得るか、又はそれらに含まれ得る。更に、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝搬信号に符号化されたコンピュータプログラム命令のソース又は対象とすることができる。コンピュータ記憶媒体はまた、１つ以上の別個の物理的コンポーネント又は媒体（例えば、複数のＣＤ、ディスク、又は他の記憶デバイス）であってもよく、又はそれらに含まれてもよい。

「データ処理装置」という用語は、例として、プログラマブルプロセッサ、コンピュータ、システムオンチップ、又は上記の複数のもの、又は組み合わせを含む、データを処理するためのあらゆる種類のデバイス、デバイス、及び機械を包含する。いくつかの実装形態では、クエリ応答モジュール１０４及び／又はデータ構造モジュール１０６は、本明細書に記載のデータ処理装置を備える。装置は、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）などの専用ロジック回路を含むことができる。装置はまた、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、又はそれらの１つ以上の組み合わせを構成するコードを含むことができる。装置及び実行環境は、ウェブサービス、分散コンピューティング、及びグリッドコンピューティングインフラストラクチャなどの様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られている）は、コンパイル型言語又はインタプリタ型言語、宣言型言語又は手続き型言語を含む、任意の形式のプログラミング言語で記述することができる。コンピュータプログラムは、ファイルシステム内のファイルに対応してもよいが、対応しなくてもよい。プログラムは、他のプログラム又はデータ（例えば、マークアップ言語文書に記憶された１つ以上のスクリプト）を保持するファイルの一部、問題のプログラム専用の単一のファイル、又は複数の協調ファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの一部を記憶するファイル）に記憶することができる。コンピュータプログラムは、１つのコンピュータ上で、又は１つのサイトに配置された、又は複数のサイトに分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行するために展開することができる。

本明細書で説明されるプロセス及びロジックフローのいくつかは、１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実行され、入力データを操作して出力を生成することによって動作を実行することができる。プロセス及びロジックフローはまた、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）などの専用ロジック回路によって実行することができ、装置は専用ロジック回路として実装することができる。

コンピュータプログラムの実行に適したプロセッサは、例として、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータのプロセッサを含む。概して、プロセッサは、リードオンリーメモリ若しくはランダムアクセスメモリ又はその両方から命令及びデータを受信するであろう。コンピュータは、命令に従って動作を実行するためのプロセッサと、命令及びデータを記憶するための１つ以上のメモリデバイスとを含む。コンピュータはまた、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、又は光ディスクを含むか、それらからデータを受信するか、それらにデータを転送するか、それらの両方を行うように動作可能に結合することができる。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令及びデータを記憶するのに適した装置は、例として、半導体メモリ装置（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリデバイスなど）、磁気ディスク（例えば、内蔵ハードディスク、リムーバブルディスクなど）、光磁気ディスク、並びにＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスクを含む、あらゆる形態の不揮発性メモリ、媒体及びメモリ装置を含む。プロセッサ及びメモリは、専用ロジック回路によって補完され得るか、又は専用ロジック回路に組み込まれ得る。

ユーザとの対話を提供するために、ユーザに情報を表示するためのディスプレイデバイス（例えば、モニタ、又は別の種類のディスプレイデバイス）と、ユーザがコンピュータに入力を提供することができるキーボード及びポインティングデバイス（例えば、マウス、トラックボール、タブレット、タッチセンシティブスクリーン、又は別のタイプのポインティングデバイス）とを有するコンピュータ上で動作を実施することができる。他の種類のデバイスを使用して、ユーザとの対話を提供することもできる。例えば、ユーザに提供されるフィードバックは、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックなどの任意の形態の感覚フィードバックとすることができ、ユーザからの入力は、音響、音声、又は触覚入力を含む任意の形態で受け取ることができる。更に、コンピュータは、ユーザによって使用されるデバイスに文書を送信し、デバイスから文書を受信することによって、例えば、ウェブブラウザから受信した要求に応答して、ユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することによって、ユーザと対話することができる。

コンピュータシステムは、単一のコンピューティングデバイス、又は互いに近接して又は一般に遠隔で動作し、通常は通信ネットワークを介して対話する複数のコンピュータを含むことができる。通信ネットワークの例には、ローカルエリアネットワーク（「ＬＡＮ」）及びワイドエリアネットワーク（「ＷＡＮ」）、インターネットワーク（例えば、インターネット）、衛星リンクを含むネットワーク、及びピアツーピアネットワーク（例えば、アドホックピアツーピアネットワーク）が含まれる。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じ得る。

図６は、プロセッサ６１０と、メモリ６２０と、記憶デバイス６３０と、入出力デバイス６４０とを含む例示的なコンピュータシステム６００を示す。コンポーネント６１０、６２０、６３０及び６４０の各々は、例えばシステムバス６５０によって相互接続することができる。プロセッサ６１０は、システム６００内で実行するための命令を処理することができる。いくつかの実装形態では、プロセッサ６１０は、シングルスレッドプロセッサ、マルチスレッドプロセッサ、又は別のタイプのプロセッサである。プロセッサ６１０は、メモリ６２０又は記憶デバイス６３０に記憶された命令を処理することができる。メモリ６２０及び記憶デバイス６３０は、システム６００内に情報を記憶することができる。

入出力デバイス６４０は、システム６００に入出力動作を提供する。いくつかの実装形態では、入出力デバイス６４０は、ネットワークインタフェースデバイス、例えばイーサネットカード、シリアル通信デバイス、例えばＲＳ－２３２ポート、及び／又は無線インタフェースデバイス、例えば８０２．１１カード、３Ｇ無線モデム、４Ｇ無線モデム、５Ｇ無線モデムなどのうちの１つ以上を含むことができる。いくつかの実装形態では、入出力デバイスは、入力データを受信し、他の入出力デバイス、例えばキーボード、プリンタ及びディスプレイデバイス６６０に出力データを送信するように構成されたドライバデバイスを含むことができる。いくつかの実装形態では、モバイルコンピューティングデバイス、モバイル通信デバイス、及び他のデバイスを使用することができる。

本明細書は多くの詳細を含むが、これらは特許請求され得るものの範囲に対する限定として解釈されるべきではなく、特定の例に特有の特徴の説明として解釈されるべきである。別個の実施態様の文脈で本明細書に記載されている特定の特徴を組み合わせることもできる。逆に、単一の実施態様の文脈で説明されている様々な特徴は、複数の実施形態において別々に、又は任意の適切な副組み合わせで実施することもできる。

いくつかの実施形態が説明された。それにもかかわらず、本明細書に記載のデータ処理システムの趣旨及び範囲から逸脱することなく、様々な修正を行うことができることが理解されよう。従って、他の実施形態も、以下の特許請求の範囲の範囲内にある。

Claims (24)

1. データ処理システムによって実施され、複数の実行可能コンポーネントを含むデータフローグラフのためのユニットテストを定義する方法であって、前記方法は、
   テスト用のデータフローグラフの一部分のインジケーションを受信することであって、前記部分は、前記データフローグラフの少なくとも１つの実行可能コンポーネントを含み、前記少なくとも１つの実行可能コンポーネントは、前記少なくとも１つの実行可能コンポーネントに入力データを提供するための少なくとも１つのデータフローに接続される、ことと、
   前記少なくとも１つの実行可能コンポーネントの実行によって生成される期待される出力データを示すパラメータを含むパラメータセットを受信することと、
   前記少なくとも１つの実行可能コンポーネントの前記入力データを受信することであって、前記入力データは、前記パラメータセットによって示され、前記少なくとも１つのデータフローによって前記少なくとも１つの実行可能コンポーネントに提供された場合に、前記少なくとも１つの実行可能コンポーネントの機能を呼び出すように構成される、ことと、
   前記パラメータセットに基づいて前記少なくとも１つの実行可能コンポーネントのユニットテストを定義することであって、前記ユニットテストは、
   前記入力データを前記少なくとも１つのデータフローによって、前記少なくとも１つの実行可能コンポーネントに提供することと、
   出力データを生成するように、前記少なくとも１つの実行可能コンポーネントによる前記入力データの処理を引き起こさせることと、
   前記生成された出力データと、前記パラメータによって示される前記期待される出力データとの間の対応関係を示す結果データを生成することと、
   前記結果データと、前記入力データと、前記データフローグラフとの組み合わせに基づいて、構造化データを生成させることと、を含む、動作を引き起こすように構成されている、ことと、
   を含む、方法。
2. 前記結果データ、前記構造化データ、又はその両方は、前記生成された出力データが前記期待される出力データに従っているか否かを示すデータを含む、請求項１に記載の方法。
3. 前記結果データ、前記構造化データ、又はその両方は、前記生成された出力データが前記期待される出力データに従っていないことに基づいてエラーが発生したことを示すデータと、前記エラーが発生した前記少なくとも１つの実行可能コンポーネントの前記実行可能コンポーネントを示すデータと、前記エラーを訂正する方法のガイダンスを提供するデータとを含む、請求項１に記載の方法。
4. 前記生成された出力データが前記期待される出力データに従っていないことに基づいてエラーが発生したことを示す前記データと、前記エラーが発生した前記少なくとも１つの実行可能コンポーネントの前記実行可能コンポーネントを示す前記データと、前記エラーを訂正する方法のガイダンスを提供する前記データと、を表示するか、又は表示するように構成されているグラフィカルユーザインタフェースを、生成すること、又は生成するためのデータを提供すること、
   を更に含む、請求項１に記載の方法。
5. 前記グラフィカルユーザインタフェースによって、前記入力データ、前記期待される出力データ、又は前記エラーが発生した前記少なくとも１つの実行可能コンポーネントの前記実行可能コンポーネントの前記機能の修正を受信するための手段を提供することと、
   前記入力データを前記少なくとも１つのデータフローによって、前記少なくとも１つの実行可能コンポーネントに提供することと、
   前記修正に従って、出力データを生成するために、前記エラーが発生した前記少なくとも１つの実行可能コンポーネントの前記実行可能コンポーネントによる入力データの処理を引き起こすことと、
   を更に含む、請求項４に記載の方法。
6. 前記期待される出力データはベースラインデータを含み、前記結果データを生成することは、前記生成された出力データを前記ベースラインデータと比較することを含む、請求項１に記載の方法。
7. 入力データを提供することは、前記少なくとも１つのデータフローに供給するための前記入力データを生成するアプリケーションを実行することを含む、請求項１に記載の方法。
8. 前記期待される出力データは、検証機能の予期される結果を含み、前記結果データを生成することは、結果を生成するために前記生成された出力データの少なくとも一部に前記検証機能を適用することと、前記検証機能を前記期待される出力データの少なくとも一部に適用することに従って、前記結果を前記予期される結果と比較することと、を含む、請求項１に記載の方法。
9. 前記検証機能は、前記少なくとも１つの実行可能コンポーネントを含む１つ以上の実行可能コンポーネントに接続された２つの異なるデータフローからのデータを比較するように構成されている、請求項８に記載の方法。
10. 前記パラメータセットは、前記生成された出力データを抽出するための前記データフローグラフ内の少なくとも１つの位置、前記生成された出力データと比較するためのベースラインデータの位置、前記生成された出力データを検証するための検証機能の定義、のうちの１つを示す少なくとも１つの追加のパラメータを含む、請求項１に記載の方法。
11. 検証機能の実行中に無視する前記入力データの１つ以上の部分のインジケーションを受信することと、
    前記受信されたインジケーションに基づいて、前記パラメータセットを更新することと、
    を更に含む、請求項１に記載の方法。
12. 前記少なくとも１つの実行可能コンポーネントは、実行中に前記データフローグラフの外部のソースからソースデータを受信するように構成されており、前記入力データは、前記データフローグラフの外部の前記ソースからの前記ソースデータに対応する値を含み、前記少なくとも１つの実行可能コンポーネントの前記動作のうちの少なくともいくつかのすべての動作が、前記値の受信時に呼び出されるように構成されている、請求項１に記載の方法。
13. 前記少なくとも１つの実行可能コンポーネントの少なくとも１つの機能のために前記少なくとも１つの実行可能コンポーネントに入力値を提供するルックアップファイルの一部を検索することであって、前記ルックアップファイルは遠隔ソースによって提供される、ことと、
    前記少なくとも１つの実行可能コンポーネントの実行中に、前記少なくとも１つの実行可能コンポーネントによってアクセス可能なデータ記憶装置に前記ルックアップファイルの前記一部分を記憶することと、
    を更に含む、請求項１に記載の方法。
14. 前記少なくとも１つの実行可能コンポーネントのデータソースが機能呼び出しを含むと判定することと、
    前記機能呼び出しの機能入力のセットの各機能入力について、前記機能呼び出しを実行して、機能出力のセットを取得することであって、各機能出力は機能入力に対応する、ことと、
    前記少なくとも１つの実行可能コンポーネントの実行中に、前記少なくとも１つの実行可能コンポーネントによってアクセス可能なデータ記憶装置に前記機能呼び出しの前記機能出力のセットを記憶することと、
    を更に含む、請求項１に記載の方法。
15. 前記データフローグラフをトラバースして、前記データフローグラフの少なくとも１つのデータフローを発見することと、
    前記少なくとも１つの実行可能コンポーネントのうちの少なくとも１つの実行可能コンポーネントの実行から、追加の結果データを抽出するための、前記データフローグラフ内の位置を示すために、プローブを前記少なくとも１つのデータフロー上に挿入することと、
    を更に含む、請求項１に記載の方法。
16. 前記構造化データのバージョンを表す前記構造化データのハッシュを生成することと、
    前記構造化データの前記バージョンの前記ハッシュを、前記データフローグラフの対応するバージョンと関連付けて記憶することと、
    を更に含む、請求項１に記載の方法。
17. 前記データフローグラフの表現を表示するか、又は表示するように構成されたユーザインタフェースを生成するか、又は生成するためのデータを提供することであって、前記ユーザインタフェースは、前記少なくとも１つの実行可能コンポーネントの前記少なくとも１つの実行可能コンポーネントに対して、前記ユニットテスト中に、前記少なくとも１つの実行可能コンポーネントがどのように実行されたかを表す前記少なくとも１つの実行可能コンポーネントの動作状態を示すアノテーションを表示するか、又は表示するためである、ことを更に含む、請求項１に記載の方法。
18. 前記ユーザインタフェースは、前記データフローグラフの前記少なくとも１つの実行可能コンポーネントの実行に応答して、前記データフローグラフに関連付けられた前記出力データ、前記入力データ、及び前記結果データのうちの１つ以上を示すオーバーレイ層を含む、請求項１７に記載の方法。
19. 前記データフローグラフの表現を表示するか、又は表示するように構成されたユーザインタフェースを生成するか、又は生成するためのデータを提供することであって、前記ユーザインタフェースは、前記データフローグラフが前記入力データを受信する前記データフローグラフの前記表現内の位置を表示する、又は表示するためである、ことを更に含む、請求項１に記載の方法。
20. 前記結果データは、前記少なくとも１つの実行可能コンポーネントの各機能が、
    ベースラインデータに一致する出力データを生成することと、
    前記期待される出力データと一致しなかった出力データを生成すること、又は
    出力データを生成しないこと、
    のインジケーションを含む、請求項１に記載の方法。
21. 前記ユニットテストは、前記入力データを処理するために前記少なくとも１つの実行可能コンポーネントによって要求された要求されたデータを記憶することを含む動作を引き起こすように更に構成され、前記要求されたデータは、前記構造化データに含まれる、請求項１に記載の方法。
22. 前記構造化データは、前記構造化データの前のバージョン、前記構造化データの後続のバージョン、又はその両方にリンク可能である、請求項１に記載の方法。
23. 複数の実行可能コンポーネントを含むデータフローグラフのユニットテストを定義するためのデータ処理システムによって実施されるシステムであって、前記システムは、
    命令を記憶するデータ記憶装置と、
    少なくとも１つのプロセッサであって、前記データ記憶装置によって記憶された前記命令を実行して、
    テスト用のデータフローグラフの一部分のインジケーションを受信することであって、前記部分は、前記データフローグラフの少なくとも１つの実行可能コンポーネントを含み、前記少なくとも１つの実行可能コンポーネントは、前記少なくとも１つの実行可能コンポーネントに入力データを提供するための少なくとも１つのデータフローに接続される、ことと、
    前記少なくとも１つの実行可能コンポーネントの実行によって生成される期待される出力データを示すパラメータを含むパラメータセットを受信することと、
    前記少なくとも１つの実行可能コンポーネントの前記入力データを受信することであって、前記入力データは、前記パラメータセットによって示され、前記少なくとも１つのデータフローによって前記少なくとも１つの実行可能コンポーネントに提供された場合に、前記少なくとも１つの実行可能コンポーネントの機能を呼び出すように構成される、ことと、
    前記パラメータセットに基づいて前記少なくとも１つの実行可能コンポーネントのユニットテストを定義することであって、前記ユニットテストは、
    前記入力データを前記少なくとも１つのデータフローによって、前記少なくとも１つの実行可能コンポーネントに提供することと、
    出力データを生成するように、前記少なくとも１つの実行可能コンポーネントによる前記入力データの処理を引き起こさせることと、
    前記生成された出力データと、前記パラメータによって示される前記期待される出力データとの間の対応関係を示す結果データを生成することと、
    前記結果データと、前記入力データと、前記データフローグラフとの組み合わせに基づいて、構造化データを生成させることと、を含む、動作を引き起こすように構成されている、ことと、を含む動作を実行するように構成された、プロセッサと、
    を備える、システム。
24. 複数の実行可能コンポーネントを含むデータフローグラフのユニットテストを定義するための命令を記憶する１つ以上の非一時的コンピュータ可読媒体であって、前記命令は、少なくとも１つのプロセッサに、
    テスト用のデータフローグラフの一部分のインジケーションを受信することであって、前記部分は、前記データフローグラフの少なくとも１つの実行可能コンポーネントを含み、前記少なくとも１つの実行可能コンポーネントは、前記少なくとも１つの実行可能コンポーネントに入力データを提供するための少なくとも１つのデータフローに接続される、ことと、
    前記少なくとも１つの実行可能コンポーネントの実行によって生成される期待される出力データを示すパラメータを含むパラメータセットを受信することと、
    前記少なくとも１つの実行可能コンポーネントの前記入力データを受信することであって、前記入力データは、前記パラメータセットによって示され、前記少なくとも１つのデータフローによって前記少なくとも１つの実行可能コンポーネントに提供された場合に、前記少なくとも１つの実行可能コンポーネントの機能を呼び出すように構成される、ことと、
    前記パラメータセットに基づいて前記少なくとも１つの実行可能コンポーネントのユニットテストを定義することであって、前記ユニットテストは、
    前記入力データを前記少なくとも１つのデータフローによって、前記少なくとも１つの実行可能コンポーネントに提供することと、
    出力データを生成するように、前記少なくとも１つの実行可能コンポーネントによる前記入力データの処理を引き起こさせることと、
    前記生成された出力データと、前記パラメータによって示される前記期待される出力データとの間の対応関係を示す結果データを生成することと、
    前記結果データと、前記入力データと、前記データフローグラフとの組み合わせに基づいて、構造化データを生成させることと、を含む、動作を引き起こすように構成されている、ことと、を含む動作を実行させるように構成された、１つ以上の非一時的コンピュータ可読媒体。

Images