JP7024255B2 - Information processing equipment and programs - Google Patents
Information processing equipment and programs Download PDFInfo
- Publication number
- JP7024255B2 JP7024255B2 JP2017162248A JP2017162248A JP7024255B2 JP 7024255 B2 JP7024255 B2 JP 7024255B2 JP 2017162248 A JP2017162248 A JP 2017162248A JP 2017162248 A JP2017162248 A JP 2017162248A JP 7024255 B2 JP7024255 B2 JP 7024255B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- processing
- test data
- service providing
- providing means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、情報処理装置及びプログラムに関する。 The present invention relates to an information processing apparatus and a program.
現在では、クラウド・コンピューティングの形態で提供されるクラウドサービスを組み込んで顧客等に提供するサービスを開発することが一般的になってきている。特に、AI(Artifical Intelligence)の深層学習によって品質や性能を大幅に向上させた学習済みモデルをサービスに組み込めば、比較的容易に機能を向上させることが可能となる。 At present, it is becoming common to develop services provided to customers and the like by incorporating cloud services provided in the form of cloud computing. In particular, if a trained model whose quality and performance are significantly improved by deep learning of AI (Artifical Intelligence) is incorporated into a service, it becomes possible to improve the function relatively easily.
例えば、入力された処理対象データに対して画像認識や文字認識等所定の処理を実施して処理結果を出力するようなクラウドサービス(サービス提供手段)などが複数のクラウド事業者から提供されている。サービス提供事業者は、いずれかのクラウドサービスを利用して自社サービスを提供する。 For example, a cloud service (service providing means) that performs predetermined processing such as image recognition and character recognition on the input processing target data and outputs the processing result is provided by a plurality of cloud operators. .. The service provider uses one of the cloud services to provide its own service.
本発明は、複数のサービス提供手段のいずれかの処理を指示する場合に、該処理を行うユーザがサービス提供手段の特性を把握していなくても、処理対象データを処理させるのに適したサービス提供手段に指示を行うことができる装置を提供することを目的とする。 INDUSTRIAL APPLICABILITY The present invention is a service suitable for processing data to be processed even when a user performing the processing is instructed to process one of a plurality of service providing means, even if the user who performs the processing does not understand the characteristics of the service providing means. It is an object of the present invention to provide a device capable of giving an instruction to a providing means.
本発明に係る情報処理装置は、処理対象データを受け付ける第1の受付手段と、記憶手段に記憶された複数のテスト用のデータの中から前記処理対象データとの類似度が最も高いデータをテスト用データとして選出する選出手段と、複数のサービス提供手段が前記テスト用データを処理した処理結果を受け付ける第2の受付手段と、前記処理結果に基づいて、前記複数のサービス提供手段のうちのいずれに前記処理対象データに対する処理を依頼するかを決定する決定手段と、前記決定されたサービス提供手段に前記処理対象データおよび処理依頼を送信する送信手段と、を有することを特徴とする。 The information processing apparatus according to the present invention tests a first receiving means for receiving processing target data and data having the highest degree of similarity to the processing target data among a plurality of test data stored in the storage means. One of the selection means selected as the data for use, the second reception means for receiving the processing result obtained by processing the test data by the plurality of service providing means, and the plurality of service providing means based on the processing result. It is characterized by having a determination means for determining whether to request processing for the processing target data, and a transmission means for transmitting the processing target data and the processing request to the determined service providing means.
また、前記決定手段は、前記処理結果の正答率が最も高いサービス提供手段を前記処理対象データに対する処理を依頼する依頼先として決定することを特徴とする。 Further, the determination means is characterized in that the service providing means having the highest correct answer rate of the processing result is determined as a request destination for requesting processing for the processing target data.
また、前記決定手段は、前記テスト用データの処理結果として期待される正解データと、前記複数のサービス提供手段の処理結果を比較することにより、前記処理結果の正答率が最も高いサービス提供手段を依頼先として決定することを特徴とする。 Further, the determination means determines the service providing means having the highest correct answer rate of the processing result by comparing the correct answer data expected as the processing result of the test data with the processing results of the plurality of service providing means. It is characterized by deciding as a request destination.
また、前記決定手段は、前記正解データと前記各サービス提供手段の処理結果との類似度を、前記各サービス提供手段の正答率として算出することを特徴とする。 Further, the determination means is characterized in that the degree of similarity between the correct answer data and the processing result of each service providing means is calculated as the correct answer rate of each service providing means.
また、前記決定手段が依頼先として決定したサービス提供手段と、当該サービス提供手段の決定に用いたテスト用データとの関連付け情報を保持、管理する管理手段を有し、前記決定手段は、前記選出手段が選出したテスト用データの関連付け情報が前記管理手段により保持されている場合、当該テスト用データに関連付けられているサービス提供手段を、前記処理対象データを処理させるサービス提供手段として決定することを特徴とする。 Further, it has a management means for holding and managing association information between the service providing means determined by the determining means as a request destination and the test data used for determining the service providing means, and the determining means is selected. When the management means holds the association information of the test data selected by the means, the service providing means associated with the test data is determined as the service providing means for processing the processing target data. It is a feature.
また、前記管理手段は、保持してから所定時間が経過した関連付け情報を削除することを特徴とする。 Further, the management means is characterized in that the association information for which a predetermined time has elapsed after being held is deleted.
また、前記選出手段による処理の結果、前記処理対象データと所定の類似度に達するテスト用のデータが存在しない場合、前記処理対象データと所定の類似度以上となるテスト用のデータと、当該テスト用のデータを前記サービス提供手段に処理させて得られる処理結果として期待される正解データと、の組を新たに生成して前記記憶手段に登録する登録処理手段を有することを特徴とする。 Further, when there is no test data that reaches a predetermined similarity with the processing target data as a result of processing by the selection means, the test data having a predetermined similarity or higher with the processing target data and the test are performed. It is characterized by having a registration processing means for newly generating a set of correct answer data expected as a processing result obtained by processing the data for the service by the service providing means and registering the data in the storage means.
また、前記登録処理手段は、前記処理対象データを、前記記憶手段に新たに登録するテスト用のデータとすることを特徴とする。 Further, the registration processing means is characterized in that the processing target data is used as test data to be newly registered in the storage means.
本発明に係るプログラムは、コンピュータを、処理対象データを受け付ける第1の受付手段、記憶手段に記憶された複数のテスト用のデータの中から前記処理対象データとの類似度が最も高いデータをテスト用データとして選出する選出手段、複数のサービス提供手段が前記テスト用データを処理した処理結果を受け付ける第2の受付手段、前記処理結果に基づいて、前記複数のサービス提供手段のうちのいずれに前記処理対象データに対する処理を依頼するかを決定する決定手段、前記決定されたサービス提供手段に前記処理対象データおよび処理依頼を送信する送信手段、として機能させる。 The program according to the present invention tests the computer with the data having the highest degree of similarity to the data to be processed from among the plurality of test data stored in the first receiving means and the storage means for receiving the data to be processed. The selection means selected as the data for use, the second reception means for receiving the processing result obtained by processing the test data by the plurality of service providing means, and the plurality of service providing means based on the processing result. It functions as a determination means for deciding whether to request processing for the processing target data, and a transmission means for transmitting the processing target data and the processing request to the determined service providing means.
請求項1に記載の発明によれば、複数のサービス提供手段のいずれかの処理を指示する場合に、該処理を行うユーザがサービス提供手段の特性を把握していなくても、処理対象データを処理させるのに適したサービス提供手段に指示を行うことができる。また、複数のテスト用のデータの中から処理対象データとの類似度が最も高いデータを各サービス提供手段に処理させることによって得られた処理結果に基づき、処理対象データを処理させるのに最適なサービス提供手段を選択することができる。 According to the first aspect of the present invention, when instructing a process of any of a plurality of service providing means, the data to be processed is processed even if the user performing the process does not understand the characteristics of the service providing means. It is possible to give an instruction to a service providing means suitable for processing. In addition, it is most suitable for processing the data to be processed based on the processing result obtained by having each service providing means process the data having the highest degree of similarity to the data to be processed from among the data for multiple tests. You can select the service provision method.
請求項2に記載の発明によれば、処理結果の正答率が最も高いサービス提供手段を処理対象データに対する処理を依頼する依頼先として決定することができる。 According to the second aspect of the present invention, the service providing means having the highest correct answer rate of the processing result can be determined as the request destination for requesting the processing of the data to be processed.
請求項3に記載の発明によれば、処理結果を正解データと比較することにより、処理結果の正答率が最も高いサービス提供手段を特定することができる。 According to the third aspect of the present invention, by comparing the processing result with the correct answer data, the service providing means having the highest correct answer rate of the processing result can be specified.
請求項4に記載の発明によれば、正解データと各サービス提供手段の処理結果との類似度を各サービス提供手段の正答率として算出することができる。 According to the invention of claim 4, the degree of similarity between the correct answer data and the processing result of each service providing means can be calculated as the correct answer rate of each service providing means.
請求項5に記載の発明によれば、サービス提供手段の決定に要する処理負荷を削減することができる。 According to the invention of claim 5 , the processing load required for determining the service providing means can be reduced.
請求項6に記載の発明によれば、古くなった決定手段による決定の結果を参照しないようにすることができる。 According to the invention of claim 6 , it is possible to avoid referring to the result of the determination by the old determination means.
請求項7に記載の発明によれば、次回以降においてより適したテスト用データを選出することができる。 According to the invention of claim 7 , more suitable test data can be selected from the next time onward.
請求項8に記載の発明によれば、次回以降において、テスト用のデータとして登録された処理対象データに類似する処理対象データに対して、より適したテスト用データを選出することができる。 According to the invention of claim 8 , more suitable test data can be selected for the processing target data similar to the processing target data registered as the test data from the next time onward.
請求項9に記載の発明によれば、複数のサービス提供手段のいずれかの処理を指示する場合に、該処理を行うユーザがサービス提供手段の特性を把握していなくても、処理対象データを処理させるのに適したサービス提供手段に指示を行うことができる。また、複数のテスト用のデータの中から処理対象データとの類似度が最も高いデータを各サービス提供手段に処理させることによって得られた処理結果に基づき、処理対象データを処理させるのに最適なサービス提供手段を選択することができる。 According to the invention of claim 9 , when instructing the processing of any one of a plurality of service providing means, even if the user who performs the processing does not understand the characteristics of the service providing means, the data to be processed is processed. It is possible to give an instruction to a service providing means suitable for processing. In addition, it is most suitable for processing the data to be processed based on the processing result obtained by having each service providing means process the data having the highest degree of similarity to the data to be processed from among the data for multiple tests. You can select the service provision method.
以下、図面に基づいて、本発明の好適な実施の形態について説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
実施の形態1.
図1は、本発明に係る情報処理装置の一実施の形態を示したブロック構成図である。図1には、情報処理装置10と、情報処理装置10がネットワーク(図示せず)を介してアクセス可能なクラウド・コンピューティング(以下、単に「クラウド」ともいう)1とが示されている。
FIG. 1 is a block configuration diagram showing an embodiment of an information processing apparatus according to the present invention. FIG. 1 shows an
クラウド1は、様々なクラウドサービスを提供しうるが、図1には、本実施の形態において用いる複数の学習済みモデル2及び類似データ抽出用学習モデル3をそれぞれ用いたクラウドサービスが示されている。学習済みモデル2及び類似データ抽出用学習モデル3は、AIの深層学習によって品質や性能が大幅に向上された学習モデルである。このうち、学習済みモデル2は、入力された画像データに含まれている文字を抽出する文字認識機能を提供する学習モデルを想定している。類似データ抽出用学習モデル3は、基準となるデータと比較対象となるデータとの類似度を算出する学習モデルである。複数のクラウド事業者がそれぞれ同様のクラウドサービスを提供するので、同様の機能を提供する複数の学習済みモデル2が存在しうる。ただ、利用する教師データが異なるなどAIの深層学習の内容が異なるため、各学習済みモデル2は、同じデータが入力されても同じ処理結果が得られるとは限らない。本実施の形態では、複数存在する学習済みモデル2の中から、処理対象データを処理させるのに最適な学習済みモデル2を選択することを特徴としている。なお、サービス提供手段としてのクラウドサービスは、それぞれ学習モデルを利用して当該サービスを提供するため、本実施の形態では、クラウドサービスと学習モデルとは同義として説明する。
The
図2は、本実施の形態における情報処理装置10を形成するコンピュータのハードウェア構成図である。本実施の形態における情報処理装置10は、従前から存在する汎用的なハードウェア構成で実現できる。すなわち、情報処理装置10は、図2に示したようにCPU21、ROM22、RAM23、ハードディスクドライブ(HDD)24、入力手段として設けられたマウス25とキーボード26、及び表示装置として設けられたディスプレイ27をそれぞれ接続する入出力コントローラ28、通信手段として設けられたネットワークインタフェース(IF)29を内部バス30に接続して構成される。
FIG. 2 is a hardware configuration diagram of a computer forming the
図1に戻り、本実施の形態における情報処理装置10は、データ受付部11、テストデータ選出部12、学習済みモデル決定部13、処理実行部14、API(Application Programming Interface)15、処理対象データ記憶部16及びテストデータ情報記憶部17を有している。なお、本実施の形態の説明に用いない構成要素については説明を省略する。
Returning to FIG. 1, the
データ受付部11は、処理対象データを受け付け、処理対象データ記憶部16に保存する。テストデータ選出部12は、予め用意されているテスト用のデータ(以下、「テストデータ」)の中から処理対象データに最も類似しているテストデータ(類似テストデータ)を選出する。学習済みモデル決定部13は、類似テストデータを各学習済みモデル2に処理させ、その処理結果に基づいて学習済みモデル2のうちいずれに処理対象データに対する処理を依頼するかを決定する。処理実行部14は、学習済みモデル決定部13が決定した学習済みモデル2に処理対象データ及び処理依頼を送信することで処理対象データを処理させる。また、処理実行部14は、送信先の学習済みモデル2から処理対象データを処理した結果を受け取ると、その処理結果を処理対象データ提供元に提供する。API15は、クラウド1が提供するクラウドサービスを利用するために情報処理装置10に組み込まれるインタフェースである。
The
テストデータ情報記憶部17には、テストデータ選出部12が参照するテストデータが予め登録されている。各テストデータには、当該テストデータが正しく処理されたときに得られる処理結果(正解データ)が対応付けされている。
The test data referred to by the test
情報処理装置10における各構成要素11~15は、情報処理装置10を形成するコンピュータと、コンピュータに搭載されたCPU21で動作するプログラムとの協調動作により実現される。また、各記憶部16,17は、情報処理装置10に搭載されたHDD24にて実現される。あるいは、RAM23又は外部にある記憶手段をネットワーク経由で利用してもよい。
Each
また、本実施の形態で用いるプログラムは、通信手段により提供することはもちろん、CD-ROMやUSBメモリ等のコンピュータ読み取り可能な記録媒体に格納して提供することも可能である。通信手段や記録媒体から提供されたプログラムはコンピュータにインストールされ、コンピュータのCPUがプログラムを順次実行することで各種処理が実現される。 Further, the program used in the present embodiment can be provided not only by communication means but also by storing it in a computer-readable recording medium such as a CD-ROM or a USB memory. Programs provided from communication means and recording media are installed in a computer, and various processes are realized by sequentially executing the programs by the CPU of the computer.
本実施の形態では、同様のサービス機能を提供する複数の学習済みモデル2の中から、処理対象データを処理させた結果、得られる処理結果として最適な処理結果、すなわち最も正しい処理結果が得られると推定される学習済みモデル2を特定することを特徴としている。以下、本実施の形態における情報処理装置10が実施するデータ処理について、図3に示すフローチャートを用いて説明する。
In the present embodiment, as a result of processing the processing target data from a plurality of trained
なお、本実施の形態では、処理対象データは文字を含む画像データであり、各学習済みモデル2は、文字認識機能を提供し、入力された画像データに含まれている文字を処理結果として出力するものとする。
In the present embodiment, the processing target data is image data including characters, and each trained
図4は、ユーザが処理対象データを指定すると共に処理結果を表示させるための画面の一例を示す図である。ユーザが情報処理装置10に対し所定の操作を行うことで図4に例示した画面をディスプレイ27に表示させ、この画面から処理対象データを指定すると共に、この処理対象データに対して実施させたい処理(本実施の形態では、文字認識処理)を選択する。
FIG. 4 is a diagram showing an example of a screen for the user to specify the data to be processed and display the processing result. When the user performs a predetermined operation on the
なお、図4を用いた処理対象データの指定方法は、一例であってこれに限る必要はない。例えば、ユーザが個人的に使用する端末装置から処理対象データを情報処理装置10へ送信することで処理を指示するように構成してもよい。
The method for designating the data to be processed using FIG. 4 is an example and does not have to be limited to this. For example, the processing may be instructed by transmitting the processing target data from the terminal device personally used by the user to the
データ受付部11は、ユーザにより指定された処理対象データを受け付けると、受け付けた処理対象データを処理対象データ記憶部16に保存する(ステップ111)。
When the
データ受付部11が処理対象データを受け付けると、テストデータ選出部12は、テストデータ情報記憶部17に登録されている全てのテストデータを取り出し、処理対象データと共にAPI15経由でクラウド1の類似データ抽出用学習モデル3へ送信することで処理を依頼する。類似データ抽出用学習モデル3は、処理対象データ及び複数のテストデータが入力されると、処理対象データと各テストデータの類似度を算出して返信する。類似度の算出方法は類似データ抽出用学習モデル3に依存する。テストデータ選出部12は、類似データ抽出用学習モデル3から返信されてきた各テストデータの類似度を参照し、最も類似度の高いテストデータを学習済みモデル決定部13による処理に用いるテストデータ(類似テストデータ)として選出する(ステップ112)。
When the
類似テストデータが選出されると、学習済みモデル決定部13は、類似テストデータをクラウド1へ送信することで処理を依頼する。クラウド1の各学習済みモデル2は、テストデータが入力されると、テストデータに対して文字認識処理を実施し、そのテストデータから抽出した文字を含むファイルを処理結果として返信する。学習済みモデル決定部13は、このようにして類似テストデータに基づき各学習済みモデル2に処理を実施させ、その処理結果を取得する(ステップ113)。そして、学習済みモデル決定部13は、当該類似テストデータの正解データをテストデータ情報記憶部17から取り出し、各処理結果をその正解データと照合する(ステップ114)。なお、正解データは、各学習済みモデル2からの処理結果を受信する前に取り出してもよい。そして、学習済みモデル決定部13は、処理結果それぞれに対し正答率を算出する。正答率は、正しく文字認識できた割合であり、処理結果として得た文字又は文字列のうち、正解データに含まれている文字又は文字列と合致している文字又は文字列が占める割合である。従って、正答率が高いほど、正しい文字認識処理が実施されたことになる。従って、学習済みモデル決定部13は、正答率が最も高い処理結果が得られた学習済みモデル2を、処理対象データを処理させる学習済みモデル2として選定する(ステップ115)。
When the similar test data is selected, the trained
このようにして、処理対象データを処理させる学習済みモデル2が決定されると、処理実行部14は、処理対象データ記憶部16から処理対象データを取り出し、学習済みモデル決定部13により選定された学習済みモデル2に処理対象データ及び処理依頼を送信する。このようにして、選定された学習済みモデル2は、処理対象データに基づき処理を実施することで、処理対象データに対する処理結果を得ると情報処理装置10に返信する。
In this way, when the trained
処理実行部14は、クラウド1から処理結果を取得すると(ステップ116)、図4に示す画面の所定の処理結果表示領域に表示することで、処理結果をユーザに提示する(ステップ117)。なお、本実施の形態では、処理結果を画面表示するようにしたが、処理結果を含むファイルを生成して、ユーザに提供するようにしてもよい。
When the
本実施の形態によれば、処理対象データに最も類似しているテストデータを処理させることで最も高い正答率が得られた学習済みモデル2を、処理対象データを処理させる学習済みモデル2として選定した。各学習済みモデル2は、前述したようにAIの深層学習の内容によって同じ入力データに対して処理(本実施の形態の場合、文字認識処理)を実施しても同じ処理結果が得られるとは限らない。機械学習による学習済みモデル2は、学習に使用した教師データと類似するデータの処理は得意だが、教師データと特徴の異なるデータの処理は得意ではないので適切な処理結果が得られるとは限らない。つまり、適用分野が限られる傾向にあるとも言える。
According to the present embodiment, the trained
そこで、本実施の形態では、処理対象データに最も類似しているテストデータを処理させた結果、正答率が最も高い学習済みモデル2であれば、処理対象データを処理させても最も高い正当率、すなわち最も正しい処理結果が得られると推定し、処理対象データに最も類似している類似テストデータを各学習済みモデル2に処理させることによって、複数の学習済みモデル2の中から処理対象データを処理させるのに最適と推測される学習済みモデル2を選定できるようにした。
Therefore, in the present embodiment, as a result of processing the test data most similar to the processing target data, if the trained
なお、本実施の形態では、テストデータの中から類似テストデータを選出する際、処理対象データと各テストデータとの類似度を算出するようにしたが、この選出方法に限る必要はない。例えば、テストデータと処理対象データとの属性情報を対比して、処理対象データの属性情報と最も類似するテストデータを類似テストデータとして選出するようにしてもよい。 In this embodiment, when selecting similar test data from the test data, the degree of similarity between the processing target data and each test data is calculated, but the selection method is not limited to this. For example, the attribute information of the test data and the processing target data may be compared, and the test data most similar to the attribute information of the processing target data may be selected as the similar test data.
また、学習済みモデル2を選定する際、正当率を算出したが、例えば、類似データ抽出用学習モデル3を利用して、正解データと各処理結果との類似度を算出させてもよい、この場合、算出された類似度を各学習済みモデル2の正答率として利用することになる。
Further, although the correctness rate was calculated when the trained
実施の形態2.
図5は、本実施の形態における情報処理装置10のブロック構成図である。なお、実施の形態1における情報処理装置10と同じ構成要素には同じ符号を付け、説明を省略する。本実施の形態は、実施の形態1に示した構成に、実績情報管理部18及び実績情報記憶部19を追加した構成を有している。
FIG. 5 is a block configuration diagram of the
学習済みモデル決定部13は、類似テストデータを各学習済みモデル2に処理させた結果に基づき処理対象データを処理させる学習済みモデル2を決定する。実績情報管理部18は、学習済みモデル決定部13が処理の依頼先として決定した学習済みモデル2と、当該学習済みモデル2の決定に用いた類似テストデータとの関連付け情報を実績情報記憶部19に登録することによって保持、管理するようにした。
The trained
実績情報管理部18は、情報処理装置10を形成するコンピュータと、コンピュータに搭載されたCPU21で動作するプログラムとの協調動作により実現される。また、実績情報記憶部19は、情報処理装置10に搭載されたHDD24にて実現される。あるいは、RAM23又は外部にある記憶手段をネットワーク経由で利用してもよい。
The performance
以下、本実施の形態におけるデータ処理について図6に示すフローチャートを用いて説明する。なお、実施の形態1(図3)と同じ処理には同じステップ番号を付け説明を適宜省略する。 Hereinafter, the data processing in the present embodiment will be described with reference to the flowchart shown in FIG. The same steps as those in the first embodiment (FIG. 3) are assigned the same step numbers, and the description thereof will be omitted as appropriate.
実施の形態1と同様にして、学習済みモデル決定部13は、処理対象データを処理させる学習済みモデル2を決定するが(ステップ115)、このとき、実績情報管理部18は、決定した学習済みモデル2を識別する情報と類似テストデータを識別する情報とを紐付けて関連付け情報を生成して実績情報記憶部19に登録する(ステップ123)。
In the same manner as in the first embodiment, the trained
そして、データ受付部11が新たな処理対象データを受け付けると(ステップ111)、テストデータ選出部12は、その処理対象データに対する類似テストデータを選出することになるが(ステップ112)、学習済みモデル決定部13は、選出された類似テストデータが実績情報記憶部19に登録されている場合(ステップ121でY)、その類似テストデータに関連付けられている学習済みモデル2を、処理対象データを処理させる学習済みモデル2と選定する(ステップ122)。すなわち、ステップ113において、選出された類似テストデータを各学習済みモデル2に処理させても、結果として同じ学習済みモデル2が選定されることになる(ステップ114,115)。従って、本実施の形態では、この学習済みモデル2の決定に要する処理負荷を削減するために過去の学習済みモデル2の決定の実績を保持し、そして利用できるようにした。
Then, when the
ただ、各学習済みモデル2は、AIの深層学習が継続して実施されることで品質や性能の向上が図られているので、同じ学習済みモデル2に処理させても、時間の経過に伴い正答率が異なってくる可能性が少なくない。そこで、実績情報管理部18は、保持してから所定時間が経過した関連付け情報を実績情報記憶部19から削除することによって過去の決定の結果を参照できないようにしてもよい。なお、テストデータ選出部12により選出された類似テストデータが実績情報記憶部19に登録されていない場合(ステップ121でN)、実施の形態1と同様にして学習済みモデル2を選定することになる(ステップ113~115)。
However, since the quality and performance of each trained
実施の形態3.
図7は、本実施の形態における情報処理装置10のブロック構成図である。なお、実施の形態1における情報処理装置10と同じ構成要素には同じ符号を付け、説明を省略する。本実施の形態では、実施の形態1に示した構成に、テストデータ登録処理部20を追加した構成を有している。
FIG. 7 is a block configuration diagram of the
実施の形態1において説明したように、テストデータ選出部12は、処理対象データと、テストデータ情報記憶部17に登録されている全てのテストデータとの類似度を類似データ抽出用学習モデル3に算出させ、最も類似度の高いテストデータを学習済みモデル決定部13による処理に用いるテストデータ(類似テストデータ)として選出した(ステップ112)。ただ、最も類似度の高いテストデータであっても類似度が相対的に低ければ、最適な学習済みモデル2が選定されるとは限らない。
As described in the first embodiment, the test
そこで、本実施の形態においては、テストデータ登録処理部20を設け、所定の閾値(類似度)に達するテストデータが存在しない場合、以降の処理のために、処理対象データとの類似度が所定の閾値以上となるテストデータと、当該テストデータを学習済みモデル2に処理させて得られる処理結果として期待される正解データと、の組を新たに生成してテストデータ情報記憶部17に登録するようにした。
Therefore, in the present embodiment, the test data
テストデータ登録処理部20は、情報処理装置10を形成するコンピュータと、コンピュータに搭載されたCPU21で動作するプログラムとの協調動作により実現される。
The test data
図4におけるステップ112において、類似データ抽出用学習モデル3から返信されてきた各テストデータの類似度のいずれもが、所定の閾値(類似度)に達していない場合、テストデータ登録処理部20は、前述したように処理対象データとの類似度が所定の閾値以上となるテストデータと、当該テストデータの正解データとの組をテストデータ情報記憶部17に登録するが、このテストデータ登録処理部20における処理は、図3に示すデータ処理の途中において実施してもよいし、類似度は閾値に達していないまま図3に示すデータ処理を実施させ、このデータ処理とは別個に実施するようにしてもよい。
In step 112 of FIG. 4, when none of the similarity of each test data returned from the
新たに用意するテストデータとしては、所定の閾値(類似度)に達するテストデータが存在しなかった処理対象データをテストデータとするのが好適である。処理対象データと所定の閾値(類似度)に達するテストデータが存在しなかったため、処理対象データを以降の処理のためのテストデータとして採用することで、複数のテストデータによる類似範囲を拡張させることが可能となる。処理対象データをテストデータとして採用する場合、テストデータ登録処理部20は、処理対象データ記憶部16から取り出せばよいが、そうでない場合は入力されたデータを取得することになる。また、テストデータの正解データも合わせて用意する必要があるが、そのためにはエンジニア等により生成された正解データを取得して、テストデータと関連付けしてテストデータ情報記憶部17に登録する。
As the test data to be newly prepared, it is preferable to use the processing target data in which the test data that does not reach a predetermined threshold value (similarity) exists as the test data. Since there was no test data that reached a predetermined threshold (similarity) with the processing target data, the similarity range of multiple test data can be expanded by adopting the processing target data as test data for subsequent processing. Is possible. When the processing target data is adopted as the test data, the test data
なお、上記各実施の形態においては、単一の類似データ抽出用学習モデル3を用いたが、複数の類似データ抽出用学習モデル3に類似度を算出させ、それぞれの類似データ抽出用学習モデル3で算出された類似度に基づきテストデータの類似度を決めるようにしてもよい。例えば、各類似データ抽出用学習モデル3からの類似度の平均値を当該テストデータの類似度としてもよい。あるいは、最高値の類似度を当該テストデータの類似度としてもよい。
In each of the above embodiments, a
また、上記実施の形態2,3は、適宜組み合わせて実施してもよい。
Further, the above-described
1 クラウド、2 学習済みモデル、3 類似データ抽出用学習モデル、10 情報処理装置、11 データ受付部、12 テストデータ選出部、13 学習済みモデル決定部、14 処理実行部、16 処理対象データ記憶部、17 テストデータ情報記憶部、18 実績情報管理部、19 実績情報記憶部、20 テストデータ登録処理部、21 CPU、22 ROM、23 RAM、24 ハードディスクドライブ(HDD)、25 マウス、26 キーボード、27 ディスプレイ、28 入出力コントローラ、29 ネットワークインタフェース、30 内部バス。 1 cloud, 2 trained model, 3 learning model for similar data extraction, 10 information processing device, 11 data reception unit, 12 test data selection unit, 13 trained model determination unit, 14 processing execution unit, 16 processing target data storage unit , 17 test data information storage unit, 18 performance information management unit, 19 performance information storage unit, 20 test data registration processing unit, 21 CPU, 22 ROM, 23 RAM, 24 hard disk drive (HDD), 25 mouse, 26 keyboard, 27 Display, 28 I / O controller, 29 network interface, 30 internal bus.
Claims (9)
記憶手段に記憶された複数のテスト用のデータの中から前記処理対象データとの類似度が最も高いデータをテスト用データとして選出する選出手段と、
複数のサービス提供手段が前記テスト用データを処理した処理結果を受け付ける第2の受付手段と、
前記処理結果に基づいて、前記複数のサービス提供手段のうちのいずれに前記処理対象データに対する処理を依頼するかを決定する決定手段と、
前記決定されたサービス提供手段に前記処理対象データおよび処理依頼を送信する送信手段と、
を有することを特徴とする情報処理装置。 The first receiving means for receiving the data to be processed and
A selection means for selecting data having the highest degree of similarity to the processing target data as test data from a plurality of test data stored in the storage means.
A second receiving means for receiving the processing result of processing the test data by a plurality of service providing means,
Based on the processing result, a determining means for determining which of the plurality of service providing means is requested to process the processing target data, and
A transmission means for transmitting the processing target data and the processing request to the determined service providing means, and
An information processing device characterized by having.
前記決定手段は、前記選出手段が選出したテスト用データの関連付け情報が前記管理手段により保持されている場合、当該テスト用データに関連付けられているサービス提供手段を、前記処理対象データを処理させるサービス提供手段として決定することを特徴とする請求項1に記載の情報処理装置。 It has a management means for holding and managing association information between the service providing means determined by the determining means as a request destination and the test data used for determining the service providing means.
When the management means holds the association information of the test data selected by the selection means, the determination means causes the service providing means associated with the test data to process the processing target data. The information processing apparatus according to claim 1 , wherein the information processing apparatus is determined as a means of providing the data.
処理対象データを受け付ける第1の受付手段、
記憶手段に記憶された複数のテスト用のデータの中から前記処理対象データとの類似度が最も高いデータをテスト用データとして選出する選出手段、
複数のサービス提供手段が前記テスト用データを処理した処理結果を受け付ける第2の受付手段、
前記処理結果に基づいて、前記複数のサービス提供手段のうちのいずれに前記処理対象データに対する処理を依頼するかを決定する決定手段、
前記決定されたサービス提供手段に前記処理対象データおよび処理依頼を送信する送信手段、
として機能させるためのプログラム。 Computer,
The first receiving means for receiving the data to be processed,
A selection means for selecting data having the highest degree of similarity to the processing target data as test data from a plurality of test data stored in the storage means.
A second receiving means, which receives the processing result of processing the test data by a plurality of service providing means.
A determining means for determining which of the plurality of service providing means is requested to process the data to be processed based on the processing result.
A transmission means for transmitting the processing target data and the processing request to the determined service providing means,
A program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017162248A JP7024255B2 (en) | 2017-08-25 | 2017-08-25 | Information processing equipment and programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017162248A JP7024255B2 (en) | 2017-08-25 | 2017-08-25 | Information processing equipment and programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019040417A JP2019040417A (en) | 2019-03-14 |
JP7024255B2 true JP7024255B2 (en) | 2022-02-24 |
Family
ID=65726865
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017162248A Active JP7024255B2 (en) | 2017-08-25 | 2017-08-25 | Information processing equipment and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7024255B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11809297B2 (en) | 2018-04-26 | 2023-11-07 | Nec Corporation | Data analysis device, precision estimation device, data analysis method, and storage medium |
CN113449008B (en) * | 2020-03-27 | 2023-06-06 | 华为技术有限公司 | Modeling method and device |
JP7026159B2 (en) * | 2020-04-07 | 2022-02-25 | 株式会社ソディック | Electric discharge machine |
JP2021196912A (en) * | 2020-06-15 | 2021-12-27 | ヤフー株式会社 | Execution apparatus, execution method, and execution program |
JP7134380B2 (en) * | 2020-08-24 | 2022-09-09 | 三菱電機ビルソリューションズ株式会社 | Document image recognition system |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120284212A1 (en) | 2011-05-04 | 2012-11-08 | Google Inc. | Predictive Analytical Modeling Accuracy Assessment |
-
2017
- 2017-08-25 JP JP2017162248A patent/JP7024255B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120284212A1 (en) | 2011-05-04 | 2012-11-08 | Google Inc. | Predictive Analytical Modeling Accuracy Assessment |
Also Published As
Publication number | Publication date |
---|---|
JP2019040417A (en) | 2019-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7024255B2 (en) | Information processing equipment and programs | |
JP6986527B2 (en) | How and equipment to process video | |
US10073861B2 (en) | Story albums | |
US20190158532A1 (en) | Browser Extension for Contemporaneous In-Browser Tagging and Harvesting of Internet Content | |
US9734138B2 (en) | System and method of annotating utterances based on tags assigned by unmanaged crowds | |
CN109271556B (en) | Method and apparatus for outputting information | |
US11231971B2 (en) | Data engine | |
CN109168047B (en) | Video recommendation method and device, server and storage medium | |
CN105894028B (en) | User identification method and device | |
CN110096576B (en) | Method, system and storage medium for automatically segmenting text | |
JP6140904B2 (en) | Terminal marking method, terminal marking device, program, and recording medium | |
US20170187837A1 (en) | Ad download method, the client and the server | |
US11863595B2 (en) | Method and apparatus for matching users, computer device, and storage medium | |
US20170339252A1 (en) | Generating a response to a client device in an internet of things domain | |
CN105447614A (en) | Information processing apparatus, method and program | |
CN111143555A (en) | Big data-based customer portrait generation method, device, equipment and storage medium | |
JPWO2020008991A1 (en) | Verification automation equipment, verification automation methods, and programs | |
CN111435367A (en) | Knowledge graph construction method, system, equipment and storage medium | |
CN110209780B (en) | Question template generation method and device, server and storage medium | |
US10963527B2 (en) | Associating user logs using geo-point density | |
KR20210013588A (en) | Contextual digital media processing system and method | |
CN109034085B (en) | Method and apparatus for generating information | |
US20190139149A1 (en) | System and method for content reporting | |
CN110110099A (en) | A kind of multimedia document retrieval method and device | |
JP5668492B2 (en) | Data processing apparatus, computer program, and data processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200717 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7024255 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |