JP2021184309A - データ処理方法、装置、電子デバイス、記憶媒体及びプログラム - Google Patents

Abstract

【課題】モデルを構築するために必要な依存パッケージを取得する効率を高め、依存パッケージに基づいてモデルを構築するプロセスの実行効率を高めるデータ処理方法及びでデータ処理装置を提供する。【解決手段】方法は、現在のテストタスクの提出情報において、モデルの構築に必要な依存パッケージの所在する第１サブディレクトリを抽出することと、第１サブディレクトリが、履歴テストタスクの提出情報の中の第２サブディレクトリと同じである場合、ローカル記憶モジュールから前記依存パッケージを取得することと、を含む。【選択図】図１

Description

本開示は、コンピュータ技術分野に関し、特に、ディープラーニング、ビッグデータ等の人工知能分野に関する。

コンピュータ技術の発展に伴い、コンピュータ技術の知能化の程度が益々高くなっており、知能化のコンピュータ技術を実現するために、コンピュータモデルが往々にして不可欠なツールの１つである。コンピュータシミュレーションモデルとは、コンピュータが大量の情報を高速で処理する能力を用い、コンピュータの中において一定の環境を設定することにより、プログラムで客観的システムの中の幾つかの法則又は規則を実現し、高速で実行し、客観的システムの状態を観察及び予測するための強力な概念モデルである。

コンピュータモデルは、ディープラーニングモデル、機械学習モデル等を含んでも良い。これらのモデルは、使用前に構築する必要がある。コンピュータモデル技術も急速に発展している過程にあるので、異なるコンピュータモデルの構築過程においても、通常、幾つかの同じ依存パッケージが用いられている。依存パッケージは、コンピュータモデルを構築するために必要な幾つかのデータを含む。コンピュータモデル構築技術の改良は、モデル自身の最適化に係るだけでなく、モデル構築の速度も改良及び最適化の方向の１つである。

本開示は、データ処理方法、装置、電子デバイス、コンピュータ記憶媒体及びプログラムを提供する。

本開示の１つの側面では、
現在のテストタスクに基づき、モデルを構築するために必要な依存パッケージの所在する第１サブディレクトリを抽出することと、
第１サブディレクトリを、履歴テストタスクに対応する第２サブディレクトリと比較することと、
前記第１サブディレクトリが第２サブディレクトリと同じである第１比較結果に基づき、ローカル記憶モジュールから依存パッケージを取得することとを含むデータ処理方法が提供される。

本開示のもう１つの側面では、
現在のテストタスクに基づき、モデルを構築するために必要な依存パッケージの所在する第１サブディレクトリを抽出するための第１サブディレクトリ抽出モジュールと、
第１サブディレクトリを、履歴テストタスクに対応する第２サブディレクトリと比較するための比較モジュールと、
前記第１サブディレクトリが第２サブディレクトリと同じである第１比較結果に基づき、ローカル記憶モジュールから依存パッケージを取得するための第１取得モジュールとを備えるデータ処理装置が提供される。

本開示のもう１つの側面では、
少なくとも１つのプロセッサと、
少なくとも１つのプロセッサに通信接続されたメモリとを備える電子デバイスが提供される。ここで、メモリは、少なくとも１つのプロセッサによって実行可能な命令を記憶し、命令は、前記少なくとも１つのプロセッサにより実行されると、少なくとも１つのプロセッサに本開示の任意の１つの実施形態による方法を実行させる。

本開示のもう１つの側面では、コンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体が提供される。コンピュータ命令は、コンピュータに本開示の任意の１つの実施形態による方法を実行させることに用いられる。

本開示のもう１つの側面では、プログラムが提供される。当該プログラムは、コンピュータにおいて、プロセッサに実行されると、本開示の任意の１つの実施形態による方法を実現する。

本開示によれば、モデルを構築するために必要な依存パッケージをより速いスピードで取得することができるので、本開示の実施形態により取得された依存パッケージに基づいてモデルを構築する効率を高めることができる。

当該部分に記載の内容は、本開示の実施形態の肝心又は重要な特徴を示すことを意図するものではなく、本開示の範囲を制限しないことが理解されたい。本開示の他の特徴は、以下の説明によりより理解しやすくなる。

添付の図面は、本実施形態をより良く理解するために用いられ、本開示に対する限定を構成するものではない。
本開示の１つの実施形態によるデータ処理方法の模式図である。 本開示のもう１つの実施形態によるデータ処理方法の模式図である。 本開示の１つの例によるデータ処理方法の模式図である。 本開示のもう１つの例によるデータ処理方法の模式図である。 本開示の１つの実施形態によるデータ処理装置の模式図である。 本開示のもう１つの実施形態によるデータ処理装置の模式図である。 本開示の更にもう１つの実施形態によるデータ処理装置の模式図である。 本開示の更にもう１つの実施形態によるデータ処理装置の模式図である。 本開示の更にもう１つの実施形態によるデータ処理装置の模式図である。 本開示の更にもう１つの実施形態によるデータ処理装置の模式図である。 本開示の実施形態を実現するために用いられる例示する電子デバイスの模式ブロック図である。

以下、図面を参照しながら、本開示の例示的な実施形態を説明し、理解を助けるために本開示の実施形態の様々な詳細を含んでいるが、これらは、単に例示的なものとみなされるべきである。よって、当業者は、本開示の範囲及び要旨から逸脱することなく、本明細書に記載の実施形態に様々な変更及び修正を加えることができることを識別すべきである。明瞭で且つ簡潔にするために、以下の説明では、周知の機能と構造の説明を省略している。

本開示の実施形態は、データ処理方法を提供する。図１に示すように、当該方法は、ステップＳ１１及びステップＳ１２を含む。

ステップＳ１１においては、現在のテストタスクの提出情報において、モデルの構築に必要な依存パッケージの所在する第１サブディレクトリを抽出する。

ステップＳ１２においては、前記第１サブディレクトリが履歴テストタスクの提出情報の中の第２サブディレクトリと同じである場合、ローカル記憶モジュールから前記依存パッケージを取得する。

本開示の実施形態においては、テストタスクは、継続的インテグレーションタスクであっても良く、タスクを提出する端末のローカルで実行されるタスクであっても良く、一定のタスク処理プラットフォームで処理されるタスクであっても良い。継続的インテグレーションは、ソフトウェア開発の実践であっても良く、即ち、チーム開発メンバーは、いつもその作業をインテグレーションし、通常、各メンバーは、毎日少なくとも一回インテグレーションし、数回のインテグレーションが毎日発生する可能性があることを意味する。各インテグレーションは、自動化的な構築（例えば、コンパイル、リリース、自動テスト等を含んでも良い）により検証し、インテグレーションの誤りを早めに発見することができる。

現在のテストタスクの提出情報は、具体的に、現在のテストタスクに対して提出されたコードであっても良い。

具体的に、テストタスクは、具体的なコードをテストすることにより、コードの中の依存パッケージに対応するディレクトリが履歴テストタスクに使用される依存パッケージに対応するディレクトリであるか否かを決定することに用いられることができる。

本実施形態においては、テストタスクは、テストする必要がある人がテストタスクを起動して提出する一連のコードに対応することができる。

本実施形態においては、ユーザは、テスト待ちのコードを提出した後、実行ボタン等をクリックすることにより、テストタスクの作成命令を発行し、テストタスクを起動し、テストタスクの起動操作又は起動イベントに基づき、ユーザから提出されたテスト待ちのコードからモデルを構築するために必要な依存パッケージのサブディレクトリを抽出し、その中の１つ又は複数を第１サブディレクトリとすることができる。

例えば、現在のテストタスクに基づき、モデルを構築するために必要な依存パッケージの所在する第１サブディレクトリを抽出することは、具体的に、テストタスクの起動操作に基づき、コードを取得し、第１サブディレクトリを表すために用いられる第１サブディレクトリ情報をコードから抽出することを含んでも良い。

本実施形態においては、第１サブディレクトリを抽出することは、具体的に、第１サブディレクトリを表すために用いられる、唯一の情報を抽出しても良く、当該唯一の情報は、第１サブディレクトリ自身と等しくなくても良い。

依存パッケージは、具体的に、モデルを構築することにおいていつも繰り返して使用可能な幾つかのツール、コード、データ等を含んでも良い。例えば、ディープラーニングフレームワーク、モデル変換ツール、モデル視覚化ツールである。本実施形態の中のモデルは、機械学習モデル又はディープラーニングモデルであっても良いので、依存パッケージは、具体的に、ディープラーニングモデルを構築するために必要な幾つかのツール、コード、データ等を含んでも良く、機械学習モデルを構築するために必要な幾つかのツール、コード、データ等を含んでも良い。

モデルは、具体的に、ディープラーニングモデル、機械学習モデル等であっても良い。ここで、ディープラーニングモデルは、具体的に、畳み込みニューラルネットワークモデルであっても良く、例えば、ＶＧＧ（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ、ビジュアルジオメトリグループモデル）、ＧｏｏｇｌｅＮｅｔ（イニシアチブネットワークモデル）、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔ、残差ネットワークモデル）、Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔ、地域畳み込みニューラルネットワークモデル）、Ｒａｓｔｅｒ−ＲＣＮＮ（高速畳み込みニューラルネットワークモデル）、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ、見るのは一度きりモデル）等である。

第１サブディレクトリは、ある総ディレクトリに属する複数のサブディレクトリの中の１つ又は複数であっても良い。具体的に、総ディレクトリ、総ディレクトリの第一レベルのサブディレクトリ、総ディレクトリの第二レベルのサブディレクトリであっても良い。前記第一レベルのサブディレクトリは、テストタスクのコードに必要な依存パッケージの記憶アドレスに対応しても良く、前記第一レベルのサブディレクトリが属する総ディレクトリは、複数又は大量の依存パッケージの記憶の総アドレスであっても良い。

履歴テストタスクは、具体的に、ローカルで提出されたことのあるテストタスクであっても良く、同じＩＰアドレスに基づいて提出されたことのあるテストタスクであっても良く、あるローカル記憶モジュールに対して同じアクセス権限を持つ端末により提出されたことのあるテストタスクであっても良い。

１つの実施形態においては、第１サブディレクトリと履歴テストタスクに対応する第２サブディレクトリを比較することは、具体的に、履歴テストタスクに対応するコードを取得し、履歴テストタスクに対応するコードの中の第２サブディレクトリを抽出することを含んでも良い。

１つの実施形態においては、第１サブディレクトリと履歴テストタスクに対応する第２サブディレクトリを比較することは、具体的に、ユーザが毎回履歴テストタスクを起動する際に、記憶されている履歴テストタスクに対応する第２サブディレクトリを取得することを更に含んでも良い。

１つの実施形態においては、第１サブディレクトリと履歴テストタスクに対応する第２サブディレクトリを比較することは、具体的に、第１サブディレクトリに対応する唯一の情報と第２サブディレクトリに対応する唯一の情報を比較することを更に含んでも良い。

第２サブディレクトリは、履歴テストタスクに対応するサブディレクトリの中の任意の１つであっても良い。例えば、現在のテストタスクに対応するサブディレクトリがサブディレクトリＡ、Ｂ、Ｃを含み、履歴テストタスクに対応するサブディレクトリがサブディレクトリＣ、Ｆ、Ｇ、Ｈを含む場合、サブディレクトリＡ、Ｂ、ＣとサブディレクトリＣ、Ｆ、Ｇ、Ｈを比較し、重複するサブディレクトリＣがあることが分かる。

もう１つの実施形態においては、コードの機密性を確保するために、タスクに対応する全てのディレクトリを変換して変換値を生成することができる。変換値は、コードに対応する全てのサブディレクトリと唯一の対応関係がある。コードの中の複数のサブディレクトリの中の１つのサブディレクトリが変更されると、変換することにより取得された変換値も変更される。

第１比較結果は、依存パッケージをローカル記憶モジュールから取得する必要がある状況を示すために用いることができ、例えば、第１比較結果は、依存パッケージがローカル記憶モジュールに既に記憶されたことを示すために用いることができ、当該ローカル記憶モジュールは、ローカルメモリであっても良く、ローカルに配置されているデータベースであっても良い。

ローカル記憶モジュールは、依存パッケージをローカルに記憶することに用いられるモジュールであっても良い。具体的に、ローカル記憶モジュールは、テストタスクを実行する端末ローカルであっても良く、モデルを構築する端末ローカルであっても良く、依存パッケージリポジトリとは、それぞれ情報を送受信するための反対側の端末である。

依存パッケージを取得した後、当該方法は、依存パッケージに基づいてモデルを構築することを更に含み、構築されたモデルは、ディープラーニングモデル又は機械学習モデル等のコンピュータモデルであっても良い。

本開示の実施形態においては、テストタスクに基づき、今回のテストタスクに対応する第１サブディレクトリと履歴テストタスクの第２サブディレクトリを比較し、比較結果に基づいてローカル記憶モジュールから依存パッケージを取得する。よって、依存パッケージを取得する時間を減らし、モデルを構築するスピードを高めることができる。

１つの実施形態においては、第１サブディレクトリと、ユーザの提出する履歴テストタスクに対応する第２サブディレクトリを比較することは、
第１サブディレクトリのメッセージダイジェストアルゴリズム（ＭＤ５、Ｍｅｓｓａｇｅ−Ｄｉｇｅｓｔ Ａｌｇｏｒｉｔｈｍ）の第１暗号化値を生成し、
第１暗号化値と第２サブディレクトリのメッセージダイジェストアルゴリズムの第２暗号化値を比較することを含む。

本実施形態においては、モデルの構築に必要な依存パッケージの所在する第１サブディレクトリを抽出する後に、
第２サブディレクトリに基づいてメッセージダイジェストアルゴリズムの第２暗号化値を生成し、
第１暗号化値と第２サブディレクトリを比較することを含む。

本実施形態においては、第１暗号化値と第２サブディレクトリのメッセージダイジェストアルゴリズムの第２暗号化値を比較することは、具体的に、
予め生成された第２暗号化値を取得し、
第１暗号化値と第２暗号化値を比較することを含んでも良い。

第１暗号化値と第２暗号化値が等しい場合、第１サブディレクトリと第２サブディレクトリが同じであると決定することができる。

例示的に、メッセージダイジェストアルゴリズムは、広く使用される暗号化ハッシュ関数であっても良く、１２８ビット（１６バイト又は３２桁の値）のハッシュ値（ｈａｓｈ ｖａｌｕｅ）を生成することができ、完全で且つ一貫性のある情報伝送を保証するために用いられる。

また、他の暗号化アルゴリズムを用いて第１暗号化値及び第２暗号化値を計算することもできる。

本実施形態においては、第１暗号化値、第２暗号化値の中の少なくとも１つは、単一のサブディレクトリの暗号化値であっても良く、コード内の全てのサブディレクトリの暗号化値であっても良い。

本実施形態においては、メッセージダイジェストアルゴリズムを用いて第１サブディレクトリの第１暗号化値と第２サブディレクトリの第２暗号化値を計算することにより、具体的なコードコンテンツを漏らさないと同時に、比較結果は、第１サブディレクトリと第２サブディレクトリの実際の異同を反映することが保障できる。

１つの実施形態においては、図２に示すように、データ処理方法は、ステップＳ２１、ステップＳ２２、ステップＳ２３、ステップＳ２４及びステップＳ２５を含む。

ステップＳ２１においては、現在のテストタスクの提出情報において、モデルの構築に必要な依存パッケージの所在する第１サブディレクトリを抽出する。

ステップＳ２２においては、第１サブディレクトリと第２サブディレクトリが同じか否かを判断する。

ステップＳ２３においては、前記第１サブディレクトリが履歴テストタスクの提出情報の中の第２サブディレクトリと同じである場合、ローカル記憶モジュールから前記依存パッケージを取得する。

ステップＳ２４においては、前記第１サブディレクトリが履歴テストタスクの提出情報の中の第２サブディレクトリと同じではない場合、個別に設定された依存パッケージのリポジトリから前記依存パッケージを取得する。

ステップＳ２５においては、依存パッケージをローカル記憶モジュールに記憶する。

依存パッケージのリポジトリは、オープンなデータリポジトリであっても良い。構築側は、依存パッケージのリポジトリのアドレス及び対応する依存パッケージ取得ルールを自らで構築することができる。

例えば、依存パッケージのリポジトリの構築側は、対応に基づくサブディレクトリを設定することができ、サブディレクトリの下にある依存パッケージを取得することができる。

更に例えば、依存パッケージのリポジトリの構築側は、総ディレクトリの一部のサブディレクトリをオープンなサブディレクトリとして設定し、他の一部のサブディレクトリは、アクセスするために特別なアクセス許可が必要なサブディレクトリとして設定することができる。

第１サブディレクトリと第２サブディレクトリが異なる場合、履歴テストタスクに対応するコードは、今回のテストタスクに必要な依存パッケージを使用していないと考えられるので、今回のテストタスクのコードに必要な依存パッケージを依存パッケージリポジトリから取得することができる。

依存パッケージをローカル記憶モジュールに記憶することは、具体的に、依存パッケージを、ローカルキャッシュ、ローカルメモリ、ローカルの対応する記憶データベースの少なくとも１つに記憶することを含んでも良い。

本実施形態においては、ローカルに今回のテストタスクに必要な１つ又は複数の依存パッケージがないと決定された場合、依存パッケージのリポジトリから依存パッケージを取得し、依存パッケージのリポジトリから取得された依存パッケージを、ローカル記憶モジュールに記憶する。よって、今回のテストタスクに対応するコードに必要な依存パッケージをスムーズに取得することができ、次回において同じ依存パッケージが必要になった際に、ローカル記憶モジュールから依存パッケージを取得し、後続するテストタスクのコード構築モデルの平均時間を減らすことができる。

１つの実施形態においては、第１サブディレクトリが履歴テストタスクの提出情報の中の第２サブディレクトリと同じではない場合、個別に設定された依存パッケージのリポジトリから依存パッケージを取得することは、
依存パッケージのリポジトリの総ディレクトリのメッセージダイジェストアルゴリズムの総暗号化値を取得し、
総暗号化値と第１暗号化値が等しい場合、依存パッケージのリポジトリの中の総ディレクトリから依存パッケージを取得することを含む。

総暗号化値と第１暗号化値が等しい場合、依存パッケージのリポジトリに依存パッケージが記憶されていると理解することができる。

総暗号化値は、依存パッケージのリポジトリの中の全ての依存パッケージに対応するサブディレクトリに基づいて計算して取得することができる。

総暗号化値は、依存パッケージのリポジトリの中の依存パッケージが変化する際に自動的に更新することができ、ここで、変化の状態は、依存パッケージの変更、依存パッケージの増加、依存パッケージの減少等を含んでも良い。

総暗号化値は、毎回第１暗号化値と比較する必要がある場合、計算して取得することもできる。

本実施形態においては、依存パッケージのリポジトリの総ディレクトリのメッセージダイジェストアルゴリズムに基づいて計算して取得された総暗号化値を、第１暗号化値と比較することにより、依存パッケージのリポジトリには、今回のテストタスクに対応するコードに必要な依存パッケージが記憶されているか否かを決定する。よって、比較結果の正確性を確保すると同時に、ディレクトリ情報を任意に漏らすことを避けることができる。

１つの実施形態においては、データ処理方法は、
総暗号化値と第１暗号化値が等しくない場合、コンパイル情報を取得し、
コンパイル情報に基づいて依存パッケージを取得することを更に含む。

総暗号化値と第１暗号化値が等しくない場合、依存パッケージのリポジトリには、今回のテストタスクに必要な依存パッケージがないと考えられるので、必要とする依存パッケージの具体的な状況に応じ、依存パッケージに対して記述又はコンパイルを行うことができる。

必要な依存パッケージが全体として記述して取得されるものである場合、受信した入力情報に基づいて新たに記述した依存パッケージを生成する。必要な依存パッケージが既にあるデータパッケージに対してコンパイルして取得されるものである場合、受信したコンパイル情報に基づいて新たな依存パッケージを生成する。

一般的に、依存パッケージは、記述又はコンパイルが終わった後、ローカル記憶モジュールに記憶され、例えば、ローカルメモリに記憶され、後続においてローカルメモリによりローカルに対応するリポジトリに送信して記憶することができることが理解されたい。

本実施形態においては、依存パッケージのリポジトリには、今回のテストタスクに対応するコードに必要な依存パッケージがない場合、オペレーターは、依存パッケージをコンパイルし、受信したコンパイル情報に基づいて依存パッケージを生成することができる。よって、後続のモデル構築プロセスをスムーズに進めることができる。

１つの実施形態においては、データ処理方法は、
コンパイル情報に基づいて取得された依存パッケージを依存パッケージのリポジトリに記憶することを更に含む。

本実施形態においては、依存パッケージのリポジトリにない依存パッケージを、受信したコンパイル情報に基づいてコンパイルして生成した後、依存パッケージのリポジトリに記憶する。よって、後続の他の端末は、当該依存パッケージを使用する必要がある際、依存パッケージのリポジトリから直接に取得し、再び記述する必要がなく、モデルを構築する全体の効率を高めることができる。

本開示の１つの例においては、図３に示すように、データ処理方法は、ステップＳ３１、ステップＳ３２、ステップＳ３３及びステップＳ３４を含む。

ステップＳ３１においては、キャッシュデータを使用するユーザのキャッシュ名を判断する。

本ステップにおいては、キャッシュデータは、前記実施形態の依存パッケージに相当する。ユーザは、ＧｉｔＨｕｂに要求を提出すると、相対的ＣＩ（Ｃｏｎｔｉｎｕｏｕｓ Ｉｎｔｅｇｒａｔｉｏｎ、継続的インテグレーション）タスクが自動的にトリガーされる。タスクにおいては、ユーザの要求に対応するコードにキャッシュする必要のあるファイルディレクトリに基づき、ｍｄ５暗号化アルゴリズムを用い、

キャッシュディレクトリの下の全てのファイルを暗号化し、暗号化がされた後に暗号化値が生成され、当該値は、キャッシュデータをキャッシュするキャッシュ名を定義するために用いられる。

ここで、ＧｉｔＨｕｂは、オープンソース及びプライベートソフトウェアプロジェクトのホスティングプラットフォームであっても良く、Ｇｉｔを用いてバージョンリポジトリの形式としてホスティングを行う。更に、Ｇｉｔは、オープンソースの分散バージョン制御システムであっても良く、非常に小さいものから非常に大きいものまでのプロジェクトバージョン管理を効果的且つ高速に処理できる。

当該例においては、全てのサードパーティライブラリによりコンパイルされた依存パッケージを１つのディレクトリの下に配置する。例えば、全ての依存パッケージをｃｍａｋｅ／ｅｘｔｅｒｎａｌ／ｘｘｘ１．ｃｍａｋｅ、ｘｘｘ２．ｃｍａｋｅディレクトリの下に記憶することができ、これにより、どのようにサードパーティライブラリのコンパイルファイルをどのように変更しても、このｃｍａｋｅ／ｅｘｔｅｒｎａｌ／ディレクトリのｍｄ５値の変化を招く。サードパーティライブラリによりコンパイルされた依存パッケージは、上述したそれぞれの実施形態の中の依存パッケージのリポジトリ内の依存パッケージに相当することができる。

ステップＳ３２においては、ローカルマシンにキャッシュデータが存在するか否かを判断する。

ローカルマシンでは、最初のステップで取得されたキャッシュデータのキャッシュ名に基づいて存在するか否かを判断し、ローカルに存在しない場合、依存パッケージのリポジトリから取得する。

ステップＳ３３においては、依存パッケージのリポジトリにキャッシュファイルが存在するか否かを判断する。

キャッシュデータが依存パッケージのリポジトリに存在する場合、リポジトリからキャッシュファイルをダウンロードし、ローカルマシンにキャッシュされる。次にタスクを実行するときに、依存パッケージのリポジトリから取得する必要がなく、タスク実行の時間を節約する。

ステップＳ３４においては、依存パッケージのリポジトリにキャッシュデータが存在しない場合、コンパイルして依存パッケージのリポジトリにアップロードする。

コンパイルが成功すると、ローカルマシンに記憶され、依存パッケージのリポジトリにアップロードされる。他のタスクは、キャッシュファイルが必要な時にリポジトリからダウンロードすることができる。

本開示の１つの例においては、図４に示すように、データ処理方法は、ステップＳ４１、ステップＳ４２、ステップＳ４３、ステップＳ４４、ステップＳ４５、ステップＳ４６、ステップＳ４７、ステップＳ４８及びステップＳ４９を含む。

ステップＳ４１においては、ＧｉｔＨｕｂに提出されたコードを取得する。

ステップＳ４２においては、ＣＩタスクを起動する。

ステップＳ４３においては、ｍｄ５アルゴリズムにより、ｃｍａｋｅディレクトリの下のファイルに対し暗号化値を生成する。

暗号化値は、依存パッケージを記憶するために用いられるｃｍａｋｅディレクトリであっても良く、依存パッケージのリポジトリのディレクトリであっても良い。暗号化値は、ｃｍａｋｅディレクトリの下のファイルの名前に基づいて生成しても良い。

ステップＳ４４においては、今回のＣＩタスクに対応する依存パッケージの名前を取得する。

ステップＳ４５においては、今回のＣＩタスクに対応する依存パッケージがローカルに記憶されているか否かを判断する。

ステップＳ４６においては、今回のＣＩタスクに対応する依存パッケージがローカルに記憶されている場合、ローカル記憶モジュールから依存パッケージを取得し、後続の操作を行う。

ステップＳ４７においては、今回のＣＩタスクに対応する依存パッケージがローカルに記憶されていない場合、依存パッケージのリポジトリに今回のＣＩタスクに対応する依存パッケージが記憶されているか否かを判断する。

ステップＳ４８においては、依存パッケージのリポジトリに今回のＣＩタスクに対応する依存パッケージが記憶されている場合、今回のＣＩタスクに対応する依存パッケージをローカルにダウンロードし、後続の操作を行う。

ステップＳ４９においては、依存パッケージのリポジトリに今回のＣＩタスクに対応する依存パッケージが記憶されていない場合、今回のＣＩタスクに対応する依存パッケージをコンパイルし、コンパイルされた後に今回のＣＩタスクに対応する依存パッケージを依存パッケージのリポジトリにアップロードする。

本開示の実施形態は、データ処理装置を更に提供する。図５に示すように、当該データ処理装置は、第１サブディレクトリ抽出モジュール５１及び比較モジュール５２を含む。

第１サブディレクトリ抽出モジュール５１は、現在のテストタスクに基づき、モデルを構築するために必要な依存パッケージの所在する第１サブディレクトリを抽出することに用いられる。

比較モジュール５２は、前記第１サブディレクトリと前記第２サブディレクトリが同じである第１比較結果に基づき、ローカル記憶モジュールから前記依存パッケージを取得することに用いられる。

図６に示すように、１つの実施形態においては、データ処理装置は、第１暗号化値生成モジュール６１及び第１暗号化値処理モジュール６２を含む。

第１暗号化値生成モジュール６１は、第１サブディレクトリのメッセージダイジェストアルゴリズムの第１暗号化値を生成することに用いられる。

第１暗号化値処理モジュール６２は、第１暗号化値と第２サブディレクトリのメッセージダイジェストアルゴリズムの第２暗号化値を比較することに用いられる。

図７に示すように、１つの実施形態においては、データ処理装置は、取得モジュール７１及び第１記憶モジュール７２を更に含む。

取得モジュール７１は、第１サブディレクトリと第２サブディレクトリが同じではない第２比較結果に基づき、依存パッケージのリポジトリから依存パッケージを取得することに用いられる。

第１記憶モジュール７２は、依存パッケージをローカル記憶モジュールに記憶することに用いられる。

図８に示すように、１つの実施形態においては、取得モジュール７１は、総暗号化値ユニット８１及び総暗号化値処理ユニット８２を含む。

総暗号化値ユニット８１は、総ディレクトリのメッセージダイジェストアルゴリズムの総暗号化値を取得することに用いられる。

総暗号化値処理ユニット８２は、総暗号化値と前記第１暗号化値が等しい場合、依存パッケージのリポジトリの中の総ディレクトリの下から依存パッケージを取得することに用いられる。

図９に示すように、１つの実施形態においては、データ処理装置は、コンパイル情報取得モジュール９１及びコンパイル情報処理モジュール９２を更に備える。

コンパイル情報取得モジュール９１は、総暗号化値と第１暗号化値が等しくない場合、コンパイル情報を取得することに用いられる。

コンパイル情報処理モジュール９２は、コンパイル情報に基づいて依存パッケージを取得することに用いられる。

図１０に示すように、１つの実施形態においては、データ処理装置は、第２記憶モジュール１０１を更に備える。

第２記憶モジュール１０１は、コンパイル情報に基づいて取得された依存パッケージを依存パッケージのリポジトリに記憶することに用いられる。

本開示の実施形態のそれぞれのデータ処理装置の各ユニット、モジュール又はサブモジュールの機能は、上述したデータ処理方法の中の対応する説明を参照することができ、ここでは、繰り返して説明しない。

本開示の実施形態は、ディープラーニング、ビッグデータ等の人工知能分野に応用することができる。

本開示の実施形態によれば、本開示は、電子デバイス、可読記憶媒体及びコンピュータプログラム製品を更に提供する。

図１１は、本開示の実施形態による例示する電子デバイス１１０の模式ブロック図である。電子デバイスは、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータのような様々な形態のデジタルコンピュータ及び他の好適なコンピュータを表すことを目的としている。また、電子デバイスは、また、様々な形態のモバイルデバイス、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の類似のコンピューティングデバイスを表すことができる。本明細書に記載のコンポーネント、それらの接続及び関係、ならびにそれらの機能は、例としてのみ意図されており、本明細書に記載及び／または要求される本開示の実現を限定することを意図するものではない。

図１１に示すように、デバイス１１０は、読み取り専用メモリ（ＲＯＭ）１１２に記憶されたコンピュータプログラム又は記憶ユニット１１８からランダムアクセスメモリ（ＲＡＭ）１１３にロードされたコンピュータプログラムに基づき、様々な適切な動作及び処理を行うことができる計算ユニット１１１を備える。ＲＡＭ１１３においては、デバイス１１０の操作に必要な様々なプログラム及びデータを更に記憶することができる。計算ユニット１１１、ＲＯＭ１１２及びＲＡＭ１１３は、バス１１４により互いに接続している。入出力（Ｉ／Ｏ）インターフェース１１５もバス１１４に接続されている。

デバイス１１０内の複数の部材は、Ｉ／Ｏインターフェース１１５に接続されており、キーボード、マウス等のような入力ユニット１１６、様々な種類のディスプレイ、スピーカー等のような出力ユニット１１７、ディスク、光ディスク等のような記憶ユニット１１８及びネットワークカード、モデム、無線通信トランシーバ等のような通信ユニット１１９が含まれている。通信ユニット１１９は、デバイス１１０がインターネットのコンピュータネットワーク及び／又は様々な電気通信ネットワーク等により、他のデバイスと情報／データを交換するようにさせる。

計算ユニット１１１は、処理及び計算能力を有する様々な汎用及び／又は専用処理コンポーネントであっても良い。計算ユニット１１１の幾つかの例は、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタル信号プロセッサ（ＤＳＰ）及び任意の適切なプロセッサ、コントローラ、マイクロコントローラ等を含むが、これらに限らない。計算ユニット１１１は、上述した様々な方法及び処理を行い、例えば、データ処理方法である。例えば、幾つかの実施形態においては、前記データ処理方法は、コンピュータソフトウェアプログラムとして実現することができ、記憶ユニット１１８のような機械可読媒体に具体的に含まれるコンピュータソフトウェアプログラムとして実現することができる。幾つかの実施形態においては、コンピュータプログラムの一部又は全部は、ＲＯＭ１１２及び／又は通信ユニット１１９を介してデバイス１１０にロード及び／又はインストールされても良い。コンピュータプログラムがＲＡＭ１１３にロードされ、計算ユニット１１１により実行されるとき、上述したデータ処理方法の１つ又は複数のステップを実行することができる。他の実施形態においては、計算ユニット５０１は、他の任意の適切な方式（例えば、ファームウェアにより）により前記データ処理方法を実行するように設置されている。

本明細書で説明したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途用標準品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、ロードプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムに実現され、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び／解釈されることができる。当該プログラマブルプロセッサは、専用又は汎用プログラマブルプロセッサであっても良く、記憶システム、少なくとも１つの入力装置及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該記憶システム、当該少なくとも１つの入力装置及び当該少なくとも１つの出力装置に送信することができる。

本開示の方法を実行するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで書くことができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されることにより、プログラムコードがプロセッサ又はコントローラに実行されるとき、フローチャート図及び／又はブロック図に指定されている機能／操作が実現される。プログラムコードは、完全に機械で実行されても良く、一部が機械で実行されても良く、独立したソフトウェアパッケージとして、一部が機械で実行され、一部がリモート機械で実行され、又は、完全にリモート機械又はサーバで実行されても良い。

本開示の文脈においては、機械可読媒体は、有形の媒体であっても良く、命令実行システム、装置又はデバイスに用いられる又は命令実行システム、装置又はデバイスと組み合わせて用いられるプログラムを含む又は記憶することができる。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であっても良い。機械可読媒体は、電子、磁気、光学、電磁気、赤外線又は半導体システム、装置又はデバイス又は上述した内容の任意の適切な組み合わせを含んでも良いが、これらに限らない。機械可読記憶媒体のより具体的な例は、１つ又は複数のワイヤに基づく電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光ストレージデバイス、磁気ストレージデバイス又は上述した内容の任意の適切な組み合わせを含む。

ユーザとのインタラクティブを提供するために、本明細書に記載されているシステム及び技術は、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがコンピュータに入力を提供するためのキーボード及びポインティング装置（例えば、マウスまたはトラックボール）とを有するコンピュータ上に実装されてもよい。他の種類の装置もユーザとのインタラクティブを提供するためにも使用されてもよく、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、ユーザからの入力は、任意の形態（音響入力、音声入力、または触覚入力を含む）で受信されてもよい。

本明細書に記載されているシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバ）、ミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、またはフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースまたはウェブブラウザーを備えたユーザコンピューター。当該グラフィカルユーザインターフェースまたは当該ウェブブラウザーを介して、ユーザはここで説明するシステムおよび技術の実装とインタラクティブできる）、またはそのようなバックエンドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントの任意の組合せを含むコンピューティングシステムで実装されてもよい。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信（例えば、通信ネットワーク）を介して相互に接続されていてもよい。通信ネットワークの例としては、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）及びインターネット等がある。

コンピュータシステムは、クライアントとサーバを含むことができる。クライアントとサーバは一般的に互いに遠隔地にあり、通常は、通信ネットワークを介してインタラクティブする。クライアント−サーバ関係は、対応するコンピュータ上で実行され、互いにクライアント−サーバ関係を有するコンピュータプログラムによって生成される。

上述した処理の様々なプロセスを用い、順序を変えたり、ステップを追加または削除したりすることができることが理解されるべきである。例えば、本開示に記載の各ステップは、並行して実行されてもよく、順次実行されてもよく、異なる順序で実行されてもよく、本開示に開示された技術案の所望の結果が達成される限り、限定されない。

上記の具体的な実施形態は、本開示の保護範囲の制限を構成するものではない。設計要件及び他の要因に応じて、様々な変更、組み合わせ、サブ組み合わせ及び置換えが行われ得ることは、当業者によって理解されるべきである。本開示の要旨及び原則の範囲内で行われる如何なる修正、同等の代替、改良等は、すべて本開示の保護範囲に含まれる。

Claims (15)

1. 現在のテストタスクの提出情報において、モデルの構築に必要な依存パッケージの所在する第１サブディレクトリを抽出することと、
   前記第１サブディレクトリが、履歴テストタスクの提出情報の中の第２サブディレクトリと同じである場合、ローカル記憶モジュールから前記依存パッケージを取得することと、を含む
   ことを特徴とするデータ処理方法。
2. 前記の、モデルの構築に必要な依存パッケージの所在する第１サブディレクトリを抽出する後に、
   前記第１サブディレクトリのメッセージダイジェストアルゴリズムの第１暗号化値を生成することと、
   前記第１暗号化値と前記第２サブディレクトリのメッセージダイジェストアルゴリズムの第２暗号化値を比較することと、を含む
   ことを特徴とする請求項１に記載のデータ処理方法。
3. 前記第１サブディレクトリが履歴テストタスクの提出情報の中の第２サブディレクトリと同じではない場合、個別に設定された依存パッケージのリポジトリから前記依存パッケージを取得することと、
   前記依存パッケージを前記ローカル記憶モジュールに記憶することと、を更に含む
   ことを特徴とする請求項１又は２に記載のデータ処理方法。
4. 前記第１サブディレクトリが履歴テストタスクの提出情報の中の第２サブディレクトリと同じではない場合、個別に設定された依存パッケージのリポジトリから前記依存パッケージを取得することは、
   前記依存パッケージのリポジトリの総ディレクトリのメッセージダイジェストアルゴリズムの総暗号化値を取得することと、
   前記総暗号化値と前記第１サブディレクトリのメッセージダイジェストアルゴリズムの第１暗号化値とが等しい場合、前記依存パッケージのリポジトリの中の総ディレクトリの下から前記依存パッケージを取得することと、を含む
   ことを特徴とする請求項３に記載のデータ処理方法。
5. 前記総暗号化値と前記第１暗号化値が等しくない場合、コンパイル情報を取得することと、
   前記コンパイル情報に基づいて前記依存パッケージを取得することと、を更に含む
   ことを特徴とする請求項４に記載のデータ処理方法。
6. 前記コンパイル情報に基づいて取得された前記依存パッケージを、前記依存パッケージのリポジトリに記憶することを更に含む
   ことを特徴とする請求項５に記載のデータ処理方法。
7. 現在のテストタスクの提出情報において、モデルの構築に必要な依存パッケージの所在する第１サブディレクトリを抽出するための第１サブディレクトリ抽出モジュールと、
   前記第１サブディレクトリと第２サブディレクトリが同じである第１比較結果に基づき、ローカル記憶モジュールから前記依存パッケージを取得するための第１取得モジュールと、を備える
   ことを特徴とするデータ処理装置。
8. 前記第１サブディレクトリのメッセージダイジェストアルゴリズムの第１暗号化値を生成するための第１暗号化値生成モジュールと、
   前記第１暗号化値と前記第２サブディレクトリのメッセージダイジェストアルゴリズムの第２暗号化値を比較するための第１暗号化値処理モジュールと、を備える
   ことを特徴とする請求項７に記載のデータ処理装置。
9. 前記第１サブディレクトリが履歴テストタスクの提出情報の中の第２サブディレクトリと同じではない場合、個別に設定された依存パッケージのリポジトリから前記依存パッケージを取得するための取得モジュールと、
   前記依存パッケージを前記ローカル記憶モジュールに記憶するための第１記憶モジュールと、を更に備える
   ことを特徴とする請求項７又は８に記載のデータ処理装置。
10. 前記取得モジュールは、
    前記依存パッケージのリポジトリの総ディレクトリのメッセージダイジェストアルゴリズムの総暗号化値を取得するための総暗号化値ユニットと、
    前記総暗号化値と前記第１サブディレクトリのメッセージダイジェストアルゴリズムの第１暗号化値とが等しい場合、前記依存パッケージのリポジトリの中の総ディレクトリの下から前記依存パッケージを取得するための総暗号化値処理ユニットと、を備える
    ことを特徴とする請求項９に記載のデータ処理装置。
11. 前記総暗号化値と前記第１暗号化値が等しくない場合、コンパイル情報を取得するためのコンパイル情報取得モジュールと、
    前記コンパイル情報に基づいて前記依存パッケージを取得するためのコンパイル情報処理モジュールと、を更に備える
    ことを特徴とする請求項１０に記載のデータ処理装置。
12. 前記コンパイル情報に基づいて取得された前記依存パッケージを、前記依存パッケージのリポジトリに記憶することを更に備える
    ことを特徴とする請求項１１に記載のデータ処理装置。
13. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信接続されたメモリとを備え、
    前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶し、前記命令は、前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに請求項１〜６のいずれか１項に記載のデータ処理方法を実行させることを特徴とする電子デバイス。
14. コンピュータに請求項１〜６のいずれか１項に記載のデータ処理方法を実行させるため命令が記憶されていることを特徴とする非一時的なコンピュータ可読記憶媒体。
15. コンピュータにおいて、プロセッサにより実行されると、請求項１〜６の何れか１項に記載のデータ処理方法を実現することを特徴とするプログラム。

Images