JP2021182372A - プログラム提供方法、プログラム提供装置及びコンピュータプログラム - Google Patents

Abstract

【課題】学習モデルを含む不良検出プログラムのユーザによる円滑な導入を支援するプログラム提供方法を提供する。【解決手段】未学習の学習モデルを含み、当該学習モデルを学習させて検査対象物の不良を検出するための不良検出プログラムをユーザの情報処理装置へ配信し、配信された不良検出プログラムを仮導入したユーザによって機械学習された学習モデルの検出精度を情報処理装置が検証し、情報処理装置は検出精度の検証結果データを送信し、情報処理装置から送信された検証結果データを取得し、取得した検証結果データに基づいて、不良検出プログラムの本導入プランに関する情報を情報処理装置へ送信する。【選択図】図７

Description

本発明は、プログラム提供方法、プログラム提供装置及びコンピュータプログラムに関する。

近年、人口知能や機械学習を利用した業務は、画像認識や音声認識、個人認証、自動運転や行動予測など、幅広い分野での応用が期待できるため、多くの企業（ユーザ）が導入の検討を行っている。

しかしながら、学習モデルを適切に学習させ、求められる精度を確保するためには、一定の技術的ノウハウが必要であるケースも少なくない。業務の目的や精度によって、比較的簡単にプログラムを導入することができることもあるが、導入が困難なこともある。また、学習モデルが適切に学習されているのか否かを判断するにも一定の技術的ノウハウが求められる。機械学習に精通していないユーザが機械学習を利用したプログラムを導入する場合には、専門家の支援を受けた方が良いのかどうかを適確に判断することも困難である。

特開２０１８−１９５１１９号公報

本発明の目的は、学習モデルを含むプログラムをユーザが円滑に導入するためのユーザへの提案を可能とするプログラム提供方法、プログラム提供装置及びコンピュータプログラムを提供することにある。

本発明に係るプログラム提供方法は、未学習の学習モデルを含むプログラムをユーザの情報処理装置へ配信し、配信された前記プログラムを仮導入したユーザによって機械学習された前記学習モデルの出力データの精度に係るデータを取得し、取得した前記データに基づいて、前記プログラムの本導入プランに関する情報を出力する。

本発明に係るプログラム提供装置は、未学習の学習モデルを含むプログラムをユーザへ配信する配信部と、配信された前記プログラムを仮導入したユーザによって機械学習された前記学習モデルの出力データの精度に係るデータを取得する取得部と、取得した前記データに基づいて、前記プログラムの本導入プランに関する情報を出力する出力部とを備える。

本発明に係るコンピュータプログラムは、未学習の学習モデルを含むプログラムをユーザへ配信し、配信された前記プログラムを仮導入したユーザによって機械学習された前記学習モデルの出力データの精度に係るデータを取得し、取得した前記データに基づいて、前記プログラムの本導入プランに関する情報を出力する処理をコンピュータに実行させる。

本発明によれば、学習モデルを含むプログラムのユーザによる円滑な導入を支援することができる。

実施形態１に係るプログラム提供システムの構成例を説明する模式図である。 実施形態１に係るサーバの構成例を示すブロック図である。 不良検出装置を示すブロック図である。 検査対象物の画像データを用いた不良検出方法を示す概念図である。 検査対象物を動作させて得られる時系列データを用いた不良検出方法を示す概念図である。 ユーザＤＢのレコードレイアウトを示す概念図である。 実施形態１に係るプログラム提供方法の処理手順を示すフローチャートである。 学習モデルを用いた不良品の検出精度の検証結果を示す度数分布である。 実施形態１に係る本導入プランの表示画面例である。 実施形態２に係るプログラム提供方法の処理手順を示すフローチャートである。 実施形態２に係る本導入プランの表示画面例である。 実施形態３に係るプログラム提供方法の処理手順を示すフローチャートである。 実施形態４に係るプログラム提供方法の処理手順を示すフローチャートである。 実施形態５に係るプラン学習モデルの一例を示す概念図である。

本発明の実施形態に係るプログラム提供方法、プログラム提供装置及びコンピュータプログラムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
以下、本発明をその実施形態を示す図面に基づいて具体的に説明する。

（実施形態１）
図１は、実施形態１に係るプログラム提供システムの構成例を説明する模式図である。本実施形態１に係るプログラム提供システムは、サーバ（プログラム提供装置）１と、ユーザの情報処理装置２と、プログラムの導入を支援する担当者の端末装置３とを備える。各装置はインターネット等の通信網Ｎを介してサーバ１に接続されている。以下では、本システムでプログラムを提供する例として、不良検出プログラムを提供する場合について説明を行う。

サーバ１は、情報処理装置２及び端末装置３と通信を行うことができ、ユーザによる不良検出プログラム５の導入を支援する。具体的には、サーバ１は、無料で不良検出プログラム５をユーザに配信する。不良検出プログラム５は、ユーザの情報処理装置２にインストールされる。不良検出プログラム５は未学習の学習モデル５１（図２参照）を含む。ユーザは、例えば良品の画像データを学習用データとして、学習モデル５１に与え、良品の特徴を学習させる。そして、ユーザの情報処理装置２は、学習された学習モデル５１を用いて不良品の検出精度を検証し、検証結果データ（仮導入したユーザによって機械学習された前記学習モデルの出力データの精度に係るデータの一例）をサーバ１へ送信する。検証結果データは、例えば、ユーザによって機械学習された学習モデル５１を用いて得られるデータと、目標データとの乖離に関する情報を含む。サーバ１は、検証結果データを受信し、検証結果に基づいて、学習モデル５１の学習状態に応じた不良検出プログラム５の本導入プランに関する情報を情報処理装置２へ送信する。情報処理装置２は、本導入プランに関する情報を受信し、当該情報を表示する。ユーザは情報処理装置２に表示された本導入プランを検討し、不良検出プログラム５の導入方法を検討することができる。本導入プランの内容は、学習モデル５１の学習状態に応じて生成されるものであり、情報処理装置２を利用して、不良検出プログラム５をユーザが円滑に導入するためのユーザへの提案を行うことができる。

図２は、実施形態１に係るサーバ１の構成例を示すブロック図である。サーバ１は、処理部１１、記憶部１２、通信部１３を備えたコンピュータである。なお、サーバ１は複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

処理部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）等の演算処理装置を有し、記憶部１２に記憶されたコンピュータプログラム４を読み出して実行することにより、不良検出プログラム５の配信、不良検出プログラム５の本導入プランの提供、本導入支援等に係る処理を実行する。

記憶部１２は、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の記憶装置である。記憶部１２は、処理部１１が、不良検出プログラム５の提供に係る処理を実行するために必要なコンピュータプログラム４、不良検出プログラム５及びユーザＤＢ６を記憶している。不良検出プログラム５は、不良品の検出処理を情報処理装置２に実行させるためのプログラムである。不良検出プログラム５は一部の機能が制限されている。機能制限は、解除キーによって解除することができる。解除キーはパラメータを削除する機能を解除した不良検出プログラム５を使用可能とするための情報、言い換えると当該機能を解除したプログラムを使用可能とするための情報の一例である。ユーザＤＢ６は、不良検出プログラム５をインストールして仮導入又は本導入したユーザの情報を格納するデータベースである。なお、記憶部１２はサーバ１に接続された外部記憶装置であってもよい。

コンピュータプログラム４は、コンピュータを本実施形態１に係るプログラム提供装置として機能させるプログラムである。コンピュータプログラム４は、不良検出プログラム５の配信処理、不良検出プログラム５の本導入プランの生成及び提供に係る処理、本導入支援等に係る処理をコンピュータに実行させる。
なお、コンピュータプログラム４は、記録媒体７にコンピュータ読み取り可能に記録されている態様でも良い。記憶部１２は、図示しない読出装置によって記録媒体７から読み出されたコンピュータプログラム４を記憶する。記録媒体７はフラッシュメモリ等の半導体メモリ、光ディスク、磁気ディスク、磁気光ディスク等である。また、通信網Ｎに接続されている図示しない外部サーバから本実施形態に係るコンピュータプログラム４をダウンロードし、記憶部１２に記憶させる態様であってもよい。

通信部１３は、通信に関する処理を行うための処理回路、通信回路等を含み、ユーザの情報処理装置２と、担当者の端末装置３との間で情報の送受信を行う。

図１に示すユーザは、例えば量産品を製造する業者である。量産品は本実施形態１における検査対象物である。情報処理装置２は、図示しない演算部、主記憶部、補助記憶部、表示装置、入力装置、通信回路及び入力端子を備えたコンピュータである。演算部は、一又は複数のＣＰＵ、ＭＰＵ、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等の演算処理回路である。通信回路は、サーバ１との間でデータを送受信する。情報処理装置２は、サーバ１から配信される不良検出プログラム５を通信回路にて受信する。補助記憶部は、ハードディスク又は半導体メモリ等の不揮発性記憶装置であり、通信回路にて受信した不良検出プログラム５を記憶する。演算部は、補助記憶部に記憶された不良検出プログラム５を読み出して実行することにより、不良検出に係る情報処理を行う。主記憶部は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、演算部が演算処理を実行するために必要なデータを一時的に記憶する。表示装置は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の表示装置であり、演算部から与えられた画像を表示する。入力装置は、キーボード、マウス等であり、ユーザの操作及び入力を受け付ける。
情報処理装置２の入力端子にはデータ取得装置が接続される。データ取得装置は、例えば検査対象物を撮像するカメラ、検査対象物の動作を検出するセンサである。センサは、検査対象物の振動、加速度、電流、電圧等を検出し、検査対象物の動作を示す時系列データを出力する。データ取得装置から出力される画像データ、時系列データは情報処理装置２に入力される。

担当者は、不良検出プログラム５の専門家、技術者等であり、ユーザによる不良検出プログラム５の導入を支援する。端末装置３は、情報処理装置２と同様のコンピュータ、スマートフォン等であり、サーバ１と通信を行う機能を有する。端末装置３も、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

図３は、不良検出装置を示すブロック図、図４は、検査対象物の画像データを用いた不良検出方法を示す概念図である。不良検出プログラム５がインストールされた情報処理装置２は不良検出装置として機能する。不良検出装置としての情報処理装置２は、学習モデル５１と、不良度合い算出部５２と、良否判定部５３と、学習処理部５４とを備える。

学習モデル５１は、例えばオートエンコーダである。学習モデル５１に良品の検査対象物の画像データが入力されると、撮像画像に含まれる検査対象物の特徴を抽出し、検査対象物の特徴を再生した自己再生画像の画像データを出力する。

学習モデル５１は、入力層５１ａと、出力層５１ｃと、中間層５１ｂとを有する。中間層５１ｂは、コンボリューション層（ＣＯＮＶ層）と、デコンボリューション層（ＤＥＣＯＮＶ層）とを有する。入力層５１ａは検査対象物の画像データに係る各画素値のデータが入力される層である。中間層５１ｂのコンボリューション層は、画像データを次元圧縮する層である。次元圧縮により、検査対象物の特徴量が抽出される。中間層５１ｂのデコンボリューション層は、コンボリューション層で次元圧縮されたデータを元の次元に復元する層である。当該復元によって、検査対象物の本来の特徴、即ち良品の検査対象物の特徴を表した画像データが復元される。出力層５１ｃは、コンボリューション層及びデコンボリューション層にて検査対象物の特徴が抽出された自己再生画像に係る各画素値のデータを出力する層である。出力層５１ｃから出力される画像データは不良度合い算出部５２に入力される。

学習処理部５４は、図３中、破線で示すように学習モデル５１に入力された良品の検査対象物の画像データと、出力された画像データとが同じになるように、学習モデル５１のニューラルネットワークを機械学習させる。具体的には、良品の入力画像と、自己再生画像とが同一になるように、ニューラルネットワークを構成するニューロン間の重み係数（結合係数）等の各種パラメータを、誤差逆伝播法、最急降下法等を用いて最適化する。

このように学習された学習モデル５１に、良品の検査対象物の画像データが入力された場合、入力された画像データと略同一の特徴を有する自己再生画像の画像データが出力される。不良品の検査対象物の画像データが学習モデル５１に入力された場合、入力された画像データと異なる特徴を有する自己再生画像の画像データが出力される。

不良度合い算出部５２は、検査対象物の画像データと、学習モデル５１から出力された自己再生画像の画像データとの差分を算出し、当該差分を不良度合いとして出力する。不良度合いは良否判定部５３に入力される。

良否判定部５３は、図４Ａに示すように、検査対象物の画像データと、学習モデル５１から出力された自己再生画像の画像データとの差分が所定の閾値未満である場合、検査対象物が良品であると判定する。良否判定部５３は、図４Ｂに示すように当該差分が所定の閾値以上である場合、検査対象物が不良品であると判定する。そして、良否判定部５３は、良否判定結果を出力する。

図５は、検査対象物を動作させて得られる時系列データを用いた不良検出方法を示す概念図である。上記の説明では、検査対象物の画像データを用いて、検査対象物の不良品を検出する例を説明したが、検査対象物を動作させた際に得られる時系列データを用いて、検査対象物の良否を判定するように構成してもよい。時系列データによって表される波形を画像として取り扱えば、上記と同様にして良否を判定することができる。
良否判定部５３は、図５Ａに示すように、検査対象物から得られる時系列データの波形と、自己再生された波形との差分が所定の閾値未満である場合、検査対象物が良品であると判定する。良否判定部５３は、図５Ｂに示すように当該差分が所定の閾値以上である場合、検査対象物が不良品であると判定する。そして、良否判定部５３は、良否判定結果を出力する。
なお、時系列データを画像として取り扱う例を説明したが、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long short-term memory）を用いて学習モデル５１を構成してもよい。

学習処理部５４は、上記のように学習された学習モデル５１を用いて、検査対象物の不良検出精度を検証する機能を有する。例えば、学習処理部５４は、正解率、適合率、再現率、Ｆ値等の評価値を算出する。また、学習処理部５４は、学習モデル５１に入力された複数の良品の画像データ、複数の不良品の画像データに基づいて算出される不良度合いの度数分布（図８参照）を作成してもよい。情報処理装置２は適宜のタイミングで、学習モデル５１の検出精度の検証結果データをサーバ１へ送信する。検証結果データは、ユーザによって機械学習された学習モデル５１を用いて得られる検査対象物の不良度合いと、当該検査対象物の実際の不良度合いとの乖離を示すデータであり、検査対象物に関する情報を含まない。例えば、検証結果データは、上記指標、度数分布等の情報である。また、複数の良品の画像データから算出された不良度合い、複数の不良品の画像データから算出された不良度合いのデータを検証結果データとして、サーバ１へ送信してもよい。なお情報処理装置２は適宜のタイミングで、学習モデル５１の検出精度の検証結果データをサーバ１へ送信するとしたが、例えばユーザが所定回数の学習の処理を行ったとき、ユーザが学習を完了したと判断した時点、不良検出プログラム５の仮導入期間が所定期間経過したとき、不良検出プログラム５の仮導入期間が終了したときなどに送信できるようにすることが可能である。また送信される回数も１度に限らず、複数回送信されるようにしてもよく、例えばユーザが本導入を行わない場合には、送信されないことがあってもよい。また学習する内容やユーザが求める内容などによって適宜変更可能としてもよい。

情報処理装置２は、検証結果データに、学習モデル５１の種類、学習モデル５１を構成する中間層５１ｂの数、ニューロン数、活性化関数の種類等の情報、学習用データの数、学習回数、検証に使用した画像データの数、検査対象物の撮像に用いたデータ取得装置の種類、学習モデル５１に入力する画像データ又は時系列データに対する前処理の方法等を含ませて、サーバ１へ送信するように構成してもよい。これらの情報をサーバ１へ送信することによって、サーバ１は、より詳細に学習モデル５１の学習状態を認識することができる。

検証結果データを送信するタイミングは特に限定されるものではない。情報処理装置２は、例えば、ユーザから送信指示を受け付けた場合に検証結果データを送信する。また、情報処理装置２は、学習開始後、所定時間経過後に検証結果データを送信するように構成してもよい。なお、情報処理装置２は、検証結果データとして、検査対象物の画像データそのもの、検査対象物の種類、その他、検査対象物を特定し得る情報は、サーバ１へ送信しない。

図６は、ユーザＤＢ６のレコードレイアウトを示す概念図である。ユーザＤＢ６は、例えばリレーショナルデータベースであり、ユーザに関する情報を格納する複数のフィールドを有する。例えば、ユーザＤＢ６は、レコードＮｏ、ユーザＩＤ、ソフトウェアＩＤ、学習モデル５１の検証結果、推奨プラン、検査対象、社名、ユーザ名、メールアドレス、契約日等の情報を格納する。ソフトウェアＩＤは、ユーザに配信した不良検出プログラム５を識別するためのＩＤである。検証結果は、学習モデル５１の検出精度を検証した結果を示すデータである。推奨プランは、ユーザに推奨する、不良検出プログラム５の本導入プランを示すデータである。契約日は、不良検出プログラム５の本導入の契約が締結された日付データである。

図７は、実施形態１に係るプログラム提供方法の処理手順を示すフローチャートである。サーバ１の処理部１１は、未学習の学習モデル５１を含み、学習モデル５１を学習させて検査対象物の不良を検出するための不良検出プログラム５をユーザの情報処理装置２へ配信する（ステップＳ１１）。サーバ１は、特定のユーザの情報処理装置２へ不良検出プログラム５を送信する際、ユーザの基本的な情報を取得し、取得したユーザ情報をユーザＤＢ６に記録する。ユーザの基本的な情報は、例えば不良検出プログラム５の提供を申し込む際に、ユーザに入力させることによって取得できる。ユーザの情報は、例えばユーザＩＤ、ユーザ名、メールアドレス等情報である。また、サーバ１は、不良検出プログラム５を配信する際、当該不良検出プログラム５のソフトウェアＩＤをユーザＩＤに対応付けてユーザＤＢ６に記録してもよい。またサーバ１は、不良検出プログラム５を配信する際に、不良検出プログラム５の使用方法又は機械学習の方法に関する情報をユーザの情報処理装置２に送信してもよい。使用方法又は機械学習の方法に関する情報は、例えば、学習モデル５１に入力する画像データ又は時系列データに対する前処理の方法、前処理の例等を示す情報である。サーバ１は、当該情報が記憶されているＵＲＬをユーザの情報処理装置２に送信するようにしてもよい。また後述するステップＳ１３の機械学習を行う際に、上記した不良検出プログラム５の使用方法又は機械学習の方法に関する情報をユーザに対して表示又は通知などするようにしてもよい。

ユーザの情報処理装置２は、サーバ１から送信された不良検出プログラム５をダウンロードし、ダウンロードした不良検出プログラム５をインストールする（ステップＳ１２）。ここでダウンロードされる不良検出プログラム５は、一部の機能が制限されている。機能制限が行われた不良検出プログラム５を情報処理装置２にインストールことによって、不良検出プログラム５の仮導入が行われる。なお不良検出プログラム５は、後述する学習が開始されたときから所定期間しか使用することができないようにしてもよい。本実施形態では、１か月間使用することができる。また不良検出プログラム５の使用期間に制限を設けないようにしてもよく、この場合使用開始から所定期間（例えば１か月）経過すると、ユーザの情報処理装置２にプログラム提供元（サーバ１）から、状況確認などの通知が行われるようにしてもよい。

次いで、不良検出プログラム５がインストールされた情報処理装置２は、学習モデル５１の機械学習を行う（ステップＳ１３）。具体的には、ユーザは、検査対象物の良品の複数の画像データを用意する。情報処理装置２は、画像データから検査対象物の画像部分を抽出し、画像サイズを調整する等の前処理を実行する。そして、情報処理装置２の学習処理部５４は、前処理された良品の画像データを学習モデル５１に入力し、出力される自己再生画像と、入力画像とが同一になるように学習モデル５１を機械学習させる。

次いで、情報処理装置２の学習処理部５４は、学習後の学習モデル５１の検出精度を検証し（ステップＳ１４）、検証結果を表示する（ステップＳ１５）。ユーザは、検証結果を確認し、必要に応じて、学習モデル５１の機械学習及び検証の処理を繰り返し実行させる。機械学習及び検証のループ処理は、情報処理装置２が検証結果に基づいて自動的に実行するように構成してもよい。本実施形態では、プログラムの一部の機能の制限として機械学習及び検証の処理は、検証が終わるとそこで学習モデル５１のパラメータを削除し、再度学習する場合には、ゼロから学習するようにしている。すなわち学習済みの学習モデル５１を保持できないようにしている。なおこのような機能制限を設けず検証が終わった後に追加学習をできるようにしてもよい。

図８は、学習モデル５１を用いた不良品の検出精度の検証結果を示す度数分布である。図８中、横軸は不良度合いを示し、縦軸は特定の不良度合いを有する検査対象物の度数（個数）を示している。白色のバーは、良品の検査対象物を示し、黒色のバーは不良品の検査対象物を示している。
図８Ａは、学習モデル５１による不良品の検出精度が高く、機械学習が適切に行われた状態を示している。良品の画像データが入力された場合に出力される不良度合いは、概ね不良度合いＸの周辺に集中しており、不良品の画像データが入力された場合に出力される不良度合いは、概ね不良度合いＹの周辺に集中している。この場合、図８Ａに示すように閾値を設定することによって、検査対象物の良否を判定することが可能になる。つまり、学習モデル５１から出力される不良度合いが閾値以上である場合、不良品であると判定し、不良度合いが閾値未満である場合、良品であると判定することができる。

一方、図８Ｂは、学習モデル５１による不良品の検出精度が低く、機械学習が適切に行われてない状態を示している。良品の画像データが入力された場合に出力される不良度合いは、不良度合いＸの周辺から離れた部分にも分布している。また、不良品の画像データが入力された場合に出力される不良度合いは、不良度合いＹから離れた部分にも分布している。この場合、図８Ｂに示すように、良品と、不良品とを判別する閾値を設定することができず、検査対象物の良否を精度良く判定することが不可能である。なお、図８Ｂに示した度数分布は一例であり、学習モデル５１の学習状態によって、度数分布の形状は異なる。

ステップＳ１５の処理を終えた情報処理装置２は、適宜のタイミングで検証結果データ及びユーザ情報をサーバ１へ送信する（ステップＳ１６）。本実施形態では、検証結果が出るとサーバ１へ検証結果データを送信する。すなわちユーザが本導入プランを申し込まない場合であっても、検証結果が出力されると検証結果データの送信は行われる。ユーザ情報には、少なくともユーザＩＤが含まれる。また、ユーザ情報として、ソフトウェアＩＤ、検査対象の種類、社名、ユーザ名、メールアドレスをサーバ１へ送信してもよい。

サーバ１は、情報処理装置２から送信された検証結果データ及びユーザ情報を受信する（ステップＳ１７）。そして、サーバ１は、検証結果データに基づいて、不良検出プログラム５の本導入プランに関する本導入プランを生成する（ステップＳ１８）。本導入プランは、プログラムの本導入に係るユーザの負担が異なる複数のプランを含み、例えば、ユーザ自身が不良検出プログラム５の本導入を行う内製プラン（第１プランの一例）と、不良検出プログラム５の導入を支援する担当者によるサブスクリプション形式の支援を受けながら不良検出プログラム５の本導入を行うサブスクリプションプラン（第２プランの一例）とを含む。この場合、内製プランはサブスクリプションプランに比べて不良検出プログラム５の本導入に係るユーザの負担が高い。サーバ１は、学習モデル５１を用いて得られる検査対象物の不良度合いと、当該検査対象物の実際の不良度合いとの乖離が小さい場合（出力データの精度が高い場合）、内製プランを推奨プランとする本導入プランを生成し、乖離が大きい場合（出力データの精度が低い場合）、サブスクリプションプランを推奨プランとする本導入プランを生成する。
内製プランは、不良検出プログラム５の機能制限を解除するための解除キーをユーザへ提供し、不良検出プログラム５を用いた学習モデル５１の学習、検証、不良検査及びメンテナンスをユーザ自身が行うプランである。
サブスクリプションプランは、不良検出プログラム５の機能制限を解除するための解除キーをユーザへ提供すると共に、学習モデル５１の学習、検証、不良検査及びメンテナンスに関する一定の支援をユーザに提供するプランである。例えば、ユーザは、質問、相談をメール、チャットボックス等を用いて情報処理装置２へ送信することができ、不良検出プログラム５の専門家ないし技術者の回答、アドバイス等を受信することができる。サブスクリプションプランには、担当者による電話、その他の伝達手段を用いた支援が含まれる。
本実施形態では、サーバ１が検証結果データに基づいて本導入プランを生成しているが、検証結果データに基づいて、人（例えば担当者）が本導入プランを作成し、本導入プランを作成し、検証結果データの送信元の情報処理装置２又はユーザに通知するようにしてもよい。

また、ステップＳ１８で生成される本導入プランには、内製プラン及びサブスクリプションプランのいずれを推奨するかを示す情報が含まれてもよい。当該情報は、例えば「（推奨）」等の文字情報である。サーバ１は、ユーザによって機械学習された学習モデル５１を用いて得られる検査対象物の不良度合いと、検査対象物の実際の不良度合いとの乖離が小さい場合（出力データの精度が高い場合）、内製プランを推奨プランとする本導入プランを生成する。サーバ１は、当該乖離が大きい場合（出力データの精度が低い場合）、サブスクリプションプランを推奨プランとする本導入プランを生成する。

なお、サーバ１は、検証結果データに基づいて、画像データの取得に適したデータ取得装置を選定し、選定されたデータ取得装置に関する情報を本導入プランに含ませてもよい。ユーザは、選定されたデータ取得装置の使用を希望するか否かを選択し、情報処理装置２はデータ取得装置の申込みの有無をサーバ１へ送信する。

サーバ１は、検証結果データに応じて生成された本導入プランを、当該検証結果データの送信元の情報処理装置２へ送信する（ステップＳ１９）。サーバ１は、検証結果データと共に送信されたユーザ情報から、本導入プランの送信先を特定することができる。サーバ１は、ユーザ情報としてユーザＩＤが情報処理装置２から送信されている場合、ユーザＤＢ６に登録されたユーザ情報を参照することによって、ユーザＩＤに対応するメールアドレスを特定することができ、特定されたメールアドレスを用いて本導入プランを送信すればよい。なお、メールアドレスは、本導入プランの送信先の一例であり、本導入プランのユーザへの送信ルート、送信方法は特に限定されるものではなく、他の例として記録媒体などに保存し、郵送などで送られるようにしてもよい。

ユーザの情報処理装置２は、サーバ１から送信された本導入プランを受信し（ステップＳ２０）、受信した本導入プランを表示する（ステップＳ２１）。なおユーザが本導入プランを導入しない場合には、ステップＳ２１で終了する。またステップＳ２１で本導入プランの表示とあわせて、本導入プランを導入しない旨の選択肢を表示するようにしてもよい。この場合本導入プランを導入しない旨の選択肢をユーザが選択すると、不良検出プログラム５が使用できなくなるようにしてもよい。更に、不良検出プログラム５の本導入が行われなかった場合、サーバ１は、検証結果データを削除するように構成するとよい。なお、サーバ１は、ステップＳ１８で本導入プランを生成した際に、検証結果データを削除するように構成してもよい。更に、検証結果データが削除された旨をユーザに通知するように構成してもよい。

図９は、実施形態１に係る本導入プランの表示画面例である。本導入プラン表示画面８には、サブスクリプションプランを紹介する文字と、内製プランを紹介する文字とが含まれている。また本導入プラン表示画面８は、サブスクリプションプラン又は内製プランを選択するためのラジオボタン８ａを含む。
図９Ａは、サブスクリプションプランを推奨している本導入プラン表示画面８の一例であり、サブスクリプションプランが上部に表示され、「（推奨）」の文字が含まれている。
図９Ｂは、内製プランを推奨している本導入プラン表示画面８の一例であり、内製プランが上部に表示され、「（推奨）」の文字が含まれている。

次いで、情報処理装置２はユーザから本導入プランの選択及び申込み情報を受け付ける（ステップＳ２２）。ユーザはラジオボタン８ａを選択することによって、本導入プランを選択することができる。情報処理装置２は、受け付けた申込み情報をサーバ１へ送信する（ステップＳ２３）。申込み情報は、本導入プランの種類、即ち内製プラン又はサブスクリプションのいずれかを示す情報、検査対象物の種類、未取得のユーザ情報等を含む。なお、本導入プランに係るサービスは有料である。
本実施形態では、ラジオボタン８aでプランを選択することができるが、いずれのプランを選択するかをユーザがメールなどでサーバ１や担当者に通知するようにしてもよい。

サーバ１は、情報処理装置２から受け付けた申込み情報を受信する（ステップＳ２４）。情報処理装置２は、受信した申込み情報をユーザＤＢ６に記録し、不良検出プログラム５の機能制限の解除キーを情報処理装置２へ送信する（ステップＳ２５）。

情報処理装置２は、サーバ１から送信された解除キーを受信し（ステップＳ２６）、受信した解除キーによって機能制限を解除する（ステップＳ２７）。解除キーによって、不良検出プログラム５の機能制限は解除される。
なお、サーバ１は、サブスクリプションが申し込まれた場合、図示しない処理手順に従って、サブスクリプション形式の支援サービスをユーザへ提供する。
また解除キーの送信を行わないようにしてもよい。この場合、顧客からの要望や検証結果データなどに基づき、カスタマイズしたプログラムを提供するようにしてもよい。当該プログラムは、上記機能制限が解除され、又は上記機能制限を有しないプログラムである。

このように構成された実施形態１に係るプログラム提供方法、プログラム提供装置及びコンピュータプログラム４によれば、学習モデル５１を含む不良検出プログラム５をユーザが円滑に導入するためのユーザへの提案が可能となる。

具体的には、サーバ１は、仮導入し、ユーザによって学習された学習モデル５１の検証結果に応じて推奨される本導入プランをユーザに提示することができる。ユーザは、推奨内容を参考にして、学習モデル５１の学習状況に適した本導入プランを選択し、不良検出プログラム５を本導入することができる。従って、ユーザは、必要な支援を受けながら不良検出プログラム５を導入することができる。また、ユーザは、学習モデル５１の学習に成功している場合、不要な支援を申し込む必要がなく、不良検出プログラム５を低コストで導入することができる。

また、不良検出プログラム５の本導入を行うまでの間、検査対象物の具体的な情報は情報処理装置２からサーバ１へ送信されない構成であるため、検査対象物に関する機密情報が送信ないし漏洩することはない。情報処理装置２からサーバ１へ送信されるのは、抽象的な検証結果データのみである。従って、ユーザは検査対象物に関する機密情報の漏洩を懸念することなく、推奨される本導入プランに関する情報を取得し、本導入の方法を検討することができる。

なお、実施形態１では、学習モデル５１として、自己再生画像を出力するオートエンコーダ、ＲＮＮ、ＬＳＴＭ等を例示したが、良品及び不良品の判定結果を出力するように機械学習させたＣＮＮ（Convolution Neural Network）、ＲＮＮ、ＬＳＴＭ等を用いて学習モデル５１を構成してもよい。更に、その他のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、又は、回帰木等の構成の学習モデル５１を構成してもよい。

また、本実施形態１では、一ユーザに対して、一つの不良検出プログラム５が、特定の一つのプランによって導入される例を説明したが、不良検出プログラム５の提供方法はこれに限定されるものではない。例えば、一つのライセンスで不良検出プログラム５を利用することができる学習モデル５１の数を所定数に制限するように構成してもよい。所定数より多くの学習モデル５１を用いて、複数種類の検査対象物の不良検出を行いたい場合、ユーザは、複数のプランを申し込む。サーバ１は、一のユーザからの複数の申込みに対して、複数の解除キーを当該ユーザの情報処理装置２へ送信するとよい。また、一のユーザは異なる本導入プランを申し込めるようにしてもよい。例えば、サーバ１は、一のユーザから申し込まれたサブスクリプションプランと、内製プランとを受け付けるように構成してもよい。

また、検証結果の表示に満足しない場合、情報処理装置２から、サーバ１へ問い合わせ情報を送信できるように構成してもよい。
また、本導入が申し込まれなかった場合、サーバ１は、担当者の端末装置３にその旨及びユーザ情報を通知するように構成してもよい。担当者は、ユーザに連絡を取ることができ、不良検出プログラム５の導入に関する技術的問題を解消し、本導入を促すことができる。

（実施形態２）
実施形態２に係るプログラム提供方法、サーバ１及びコンピュータプログラム４は、導入プランの内容及び提供方法が実施形態１と異なるため、以下では主に上記相違点を説明する。その他の構成及び作用効果は実施形態１と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。

図１０は、実施形態２に係るプログラム提供方法の処理手順を示すフローチャートである。ステップＳ３１〜ステップＳ３７の処理は、実施形態１のステップＳ１１〜ステップＳ１７と同様の処理であり、サーバ１及び情報処理装置２は、不良検出プログラム５の仮導入、学習モデル５１の学習及び検証、検証結果データの送受信に係る処理を実行する。

ステップＳ３７の処理を実行したサーバ１の処理部１１は、検証データに基づいて、人的支援が必要か否かを判定する（ステップＳ３８）。例えば、処理部１１は、ユーザによって機械学習された学習モデル５１を用いて得られる検査対象物の不良度合いと、検査対象物の実際の不良度合いとの乖離が第１所定値以上である場合、コンサルティングによる人的支援が必要であると判定する。コンサルティングによる人的支援は、サブスクリプションによる支援よりも手厚い支援であり、不良検出プログラム５の専門家及び技術者が、検査対象物の撮像装置の選定、撮像方法、学習用データの収集、学習モデル５１の学習、検証等の本導入作業を全面的に支援するものである。

人的支援が必要と判定された場合（ステップＳ３８：ＹＥＳ）、処理部１１は、担当者の手配処理を実行する（ステップＳ３９）。例えば、処理部１１は、検証データの送信元であるユーザの情報及び支援が必要である旨を、不良検出プログラム５の担当者の端末装置３へ送信する。また、処理部１１は、当該ユーザＩＤに対応付けて、人的支援が必要である旨をユーザＤＢ６に記録する。更に、処理部１１は、担当者の担当者ＩＤを当該ユーザＩＤに対応付けて登録してもよい。
通知を受けた担当者は、ユーザ情報に基づいて連絡を取り、コンサルティングサービスの提案、支援を行う。
本実施形態では、検証結果データに基づいてサーバ１の処理部１１が人的支援を必要としているか否かを判定しているが、検証結果データに基づいて人（例えば担当者）が人的支援を必要としているか否かを判断し、担当者の手配処理を実行するようにしてもよい。また処理部１１又は人が人的支援を必要としているか否かの判定結果を、本導入プランの送信前に、情報処理装置２又はユーザに通知するようにしてもよい。

ステップＳ３８において人的支援が不要であると判定された場合（ステップＳ３８：ＮＯ）、又はステップＳ３９の処理を終えた場合、処理部１１は、検証結果データに基づいて、不良検出プログラム５の本導入プランに関する本導入プランを生成する（ステップＳ４０）。本導入プランは、例えば、ユーザ自身が不良検出プログラム５の本導入を行う内製プラン（第１プラン）、不良検出プログラム５の導入を支援する担当者によるサブスクリプション形式の支援を受けながら不良検出プログラム５の本導入を行うサブスクリプションプラン（第２プラン）、担当者によるコンサルティング形式の支援を受けながら不良検出プログラム５の本導入を行うコンサルプラン（第３プラン）の全部又は一部を含む。サブスクリプションプランは、コンサルプラン比べて不良検出プログラム５の本導入に係るユーザの負担が高い。すなわちコンサルプランは、３つのプランの中で、不良検出プログラム５の本導入に係るユーザの負担が最も低いプランである。
なお、サブスクリプションプラン及びコンサルプランを、本願発明の第１プラン及び第２プランと捉えてもよいし、内製プラン及びコンサルプランを、本願発明の第１プラン及び第２プランと捉えてもよく、内製プランを本願発明の第１プランと捉え、サブスクリプションプラン及びコンサルプランを本願発明の第２プランととらえてもよい。

人的支援が必要と判定された場合、処理部１１は、少なくともコンサルプランを含む本導入プランを生成するとよい。人的支援が必要ないと判定された場合、処理部１１は、少なくとも内製プラン又はサブスクリプションプランを含む本導入プランを生成するとよい。

また、ステップＳ４０で生成される本導入プランには、内製プラン、サブスクリプションプラン及びコンサルプランのいずれを推奨するかを示す情報が含まれる。サーバ１は、ユーザによって機械学習された学習モデル５１を用いて得られる検査対象物の不良度合いと、検査対象物の実際の不良度合いとの乖離が第１所定値以上である場合、コンサルプランを推奨プランとする本導入プランを生成する。上記乖離が第１所定値未満、第２所定値以上である場合、サブスクリプションプランを推奨プランとする本導入プランを生成する。第２所定値は、第１所定値よりも小さな値である。上記乖離が第２所定値未満である場合、内製プランを推奨プランとする本導入プランを生成する。

サーバ１は、検証結果データに応じて生成された本導入プランを、当該検証結果データの送信元の情報処理装置２へ送信する（ステップＳ４１）。

ユーザの情報処理装置２は、サーバ１から送信された本導入プランを受信し（ステップＳ４２）、受信した本導入プランを表示する（ステップＳ４３）。

図１１は、実施形態２に係る本導入プランの画面表示例である。図１１に示す本導入プラン表示画面８は、人的支援が必要な場合の例を示している。本導入プラン表示画面８には、コンサルティングプランを紹介する文字と、サブスクリプションプランを紹介する文字と、内製プランを紹介する文字とが含まれている。また本導入プラン表示画面８は、コンサルプラン、サブスクリプションプラン又は内製プランを選択するためのラジオボタン８ａを含む。
図１１は、コンサルプランを推奨している本導入プランの画面表示例であり、コンサルプランが上部に表示され、「（推奨）」の文字が含まれている。コンサルプランの下方にサブスクリプションプラン、その更に下方に内製プランが表示される。

以下、サーバ１及び情報処理装置２は、実施形態１のステップＳ２２〜ステップＳ２７と同様の処理を実行する。

このように構成された実施形態２に係るプログラム提供方法、プログラム提供装置及びコンピュータプログラム４によれば、学習モデル５１の検出精度に係る検証結果に応じて、担当者を手配することができ、不良検出プログラム５の円滑な導入を支援することができる。

また、情報処理装置２へ、コンサルプランを含む本導入プランを送信し、情報処理装置２に表示することができる。

更に、検証結果が悪い場合、コンサルプランを推奨する旨を表示し、担当者の活用を提案し、当該術担当者による不良検出プログラム５の円滑な導入を支援することができる。

（実施形態３）
実施形態３に係るプログラム提供方法、サーバ１及びコンピュータプログラム４は、不良検出プログラム５の機能制限の内容が実施形態１と異なるため、以下では主に上記相違点を説明する。その他の構成及び作用効果は実施形態１と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。

実施形態３に係る不良検出プログラム５は、学習モデル５１の機械学習後、所定時間が経過した場合、当該学習モデル５１のパラメータを削除する機能を有し、不良検出プログラム５の機能を制限している。パラメータは、学習モデル５１のニューラルネットワークを構成するニューロン間の重み等である。

図１２は、実施形態３に係るプログラム提供方法の処理手順を示すフローチャートである。サーバ１の処理部１１は、不良検出プログラム５をユーザの情報処理装置２へ配信する（ステップＳ５１）。ユーザの情報処理装置２は、サーバ１から送信された不良検出プログラム５をダウンロードし、ダウンロードした不良検出プログラム５をインストールする（ステップＳ５２）。

次いで、不良検出プログラム５がインストールされた情報処理装置２は、学習モデル５１の機械学習を行う（ステップＳ５３）。情報処理装置２は、学習モデル５１の学習後、所定時間が経過したか否かを判定する（ステップＳ５４）。所定時間は、例えば１〜３日である。所定時間が経過したと判定した場合（ステップＳ５４：ＹＥＳ）、情報処理装置２は、学習モデル５１のパラメータを削除し（ステップＳ５５）、処理をステップＳ５３へ戻す。つまり、学習モデル５１は未学習の状態になる。

学習モデル５１の学習後、所定時間が経過していないと判定した場合（ステップＳ５４：ＮＯ）、情報処理装置２の学習処理部５４は、学習後の学習モデル５１の検出精度を検証し（ステップＳ５６）、検証結果を表示する（ステップＳ５７）。

以下、サーバ１及び情報処理装置２は、実施形態１のステップＳ１６〜ステップＳ２７と同様の処理を実行する。なお、サーバ１は、ステップＳ２５の処理において、上記機能制限を解除するための解除キーを情報処理装置２へ送信する。情報処理装置２は、解除キーを受信し、機能制限を解除することによって、学習モデル５１のパラメータを保持することが可能になる。つまり、学習モデル５１を、学習済みの状態で保持することができ、不良検出プログラム５を実用的に活用することができる状態になる。本実施形態における解除キーは、パラメータを削除する機能を解除した不良検出プログラム５を使用可能とするための情報、言い換えると当該機能を解除したプログラムを使用可能とするための情報の一例である。

実施形態３に係るプログラム提供方法、プログラム提供装置及びコンピュータプログラム４によれば、学習モデル５１の学習済み状態に保持する期間を制限することによって、不良検出プログラム５の本導入を効果的に促すことができる。

（実施形態４）
実施形態４に係るプログラム提供方法、サーバ１及びコンピュータプログラム４は、導入プランの提供タイミングが実施形態１と異なるため、以下では主に上記相違点を説明する。その他の構成及び作用効果は実施形態１と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。

図１３は、実施形態４に係るプログラム提供方法の処理手順を示すフローチャートである。サーバ１の処理部１１は、不良検出プログラム５をユーザの情報処理装置２へ配信する（ステップＳ７１）。ユーザの情報処理装置２は、サーバ１から送信された不良検出プログラム５をダウンロードし、ダウンロードした不良検出プログラム５をインストールする（ステップＳ７２）。次いで、不良検出プログラム５がインストールされた情報処理装置２は、学習モデル５１の機械学習を行う（ステップＳ７３）。次いで、情報処理装置２の学習処理部５４は、学習後の学習モデル５１の検出精度を検証し（ステップＳ７４）、情報処理装置２は、検証結果データ及びユーザ情報をサーバ１へ送信する（ステップＳ７５）。

サーバ１は、情報処理装置２から送信された検証結果データ及びユーザ情報を受信する（ステップＳ７６）。そして、サーバ１は、検証結果データに基づいて、不良検出プログラム５の本導入プランに関する本導入プランを生成し（ステップＳ７７）、検証結果データに応じて生成された本導入プランを、当該検証結果データの送信元の情報処理装置２へ送信する（ステップＳ７８）。

ユーザの情報処理装置２は、サーバ１から送信された本導入プランを受信する（ステップＳ７９）。そして情報処理装置２は、ステップＳ７４で得た検証結果を表示し（ステップＳ８０）、受信した本導入プランを表示する（ステップＳ８１）。

実施形態４に係るプログラム提供方法、プログラム提供装置及びコンピュータプログラム４によれば、学習モデル５１の学習過程で、本導入プラン及び検証結果を表示し、推奨される不良検出プログラム５の導入プランをユーザに提示し、不良検出プログラム５の効率的な導入を支援することができる。

なお、実施形態４では、学習モデル５１の機械学習及び検証処理が行われる都度、本導入プランを表示する例を説明したが、所定回数の学習及び検証処理が行われる都度、本導入プランを情報処理装置２へ送信するように構成してもよい。また、サーバ１は、検証結果が収束したか否かを判定し、検証結果が所定の値に収束した場合、つまりこれ以上、学習モデル５１の精度が改善される可能性が低い場合、本導入プランを情報処理装置２へ送信するように構成してもよい。

サーバ１は、学習モデル５１の学習状態、つまり検証結果データに加えて、ユーザの規模、過去のプログラム導入実績、ユーザのＡＩ又は機械学習の熟練度などに基づいて、本導入プランに関する情報を生成及び出力するようにしてもよい。

（実施形態５）
実施形態５に係るプログラム提供方法、サーバ１及びコンピュータプログラム４は、検証結果データに基づいて、導入プランの提供方法に加え、改善点を出力する点が実施形態１と異なるため、以下では主に上記相違点を説明する。その他の構成及び作用効果は実施形態１と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。

実施形態５に係るサーバ１は、プラン学習モデル９を記憶部１２に記憶する。
図１４は、実施形態５に係るプラン学習モデル９の一例を示す概念図である。プラン学習モデル９は、例えばディープニューラルネットワークを有するモデルである。プラン学習モデル９に検証結果データ、学習モデル５１の種類、構成、ユーザの熟練度、ユーザによるＡＩ導入実績が入力されると、当該ユーザに適したプラン、機械学習における改善点を示す情報を出力する。

プラン学習モデル９は、入力層９ａと、出力層９ｃと、中間層９ｂとを有する。入力層９ａは検証結果データ、学習モデル５１の種類、学習モデル５１の構成、ユーザの熟練度、ユーザによるＡＩ導入実績が入力される複数のノードを有する。中間層９ｂでは、入力された情報の特徴量が抽出される。出力層９ｃは、ユーザにとって第１プランが適切である確度、第２プランが適切である確度、第３プランが適切である確度、第１改善点、第２改善点、…、第Ｎ改善点を改善すべき確度を示す情報を出力する複数のノードを有する。Ｎは整数であり、複数の改善点があることを示している。第１〜第３プランは、内製プラン、サブスクリプションプラン及びコンサルプランである。プランの数は特に３つに限定されるものではない。第１〜第Ｎ改善点には、前処理に関する改善点と、学習モデルの構成に関する改善点が含まれる。前処理に関する改善点は、例えば、撮像画像を前処理するためのパラメータ、閾値、フィルタサイズ、撮像画像から学習モデル５１に入力する画像データを抽出するための領域設定の方法、前処理に使用するライブラリ等、改善を検討すべき項目である。

情報処理装置２は、学習モデル５１の機械学習後、適宜のタイミングで、検証結果データ及びユーザ情報と、学習モデル５１の種類、学習モデル５１の構成、ユーザの熟練度、ユーザによるＡＩ導入実績等の情報をサーバ１へ送信する。処理部１１は、情報処理装置２から送信された検証結果データ及びユーザ情報等を受信する。そして、処理部１１は、受信した検証結果データ、学習モデル５１の種類及び構成、ユーザの熟練度、ユーザによるＡＩ導入実績等の情報をプラン学習モデル９に入力する。処理部１１は、プラン学習モデル９の出力層９ｃのノードから出力される確度の情報に基づいて、当該ユーザにとって適切なプランを決定し、本導入プランを生成する。

また、処理部１１は、プラン学習モデル９の出力層９ｃのノードから出力される確度の情報に基づいて、改善点を特定し、検証結果データ、ユーザ情報、学習モデルの種類及び構成等の情報と共に、改善点を示す情報を、ユーザの担当者の端末装置３へ送信する。情報処理装置２は、ユーザＩＤと、当該ユーザの担当者の連絡先情報とを対応付けて記憶している。なお、処理部１１は、ユーザによってコンサルプランが選択された場合に当該改善点を示す情報等を担当者へ送信するように構成してもよい。また、処理部１１は、ユーザによって内製プラン又はサブスクリプションプランが選択された場合、当該改善点を示す情報等を情報処理装置２又はユーザへ通知するように構成してもよい。
プラン学習モデル９の生成方法は以下の通りである。ここでは、サーバ１を用いて、プラン学習モデル９を生成する方法を説明するが、プラン学習モデル９を機械学習させるコンピュータは特に限定されるものではない。

まず、任意の学習モデル５１の学習及び検証によって得られる検証結果データ、学習モデル５１の種類、学習モデル５１の構成、ユーザの熟練度、ユーザによるＡＩ導入実績と、複数のプランが適切かどうかを示す評価値と、複数の改善点のいずれに着眼すべきかを示す評価値とを対応付けた訓練データを用意する。

そして、処理部１１は訓練データに含まれる検証結果データ、学習モデル５１の種類、学習モデル５１の構成、ユーザの熟練度、ユーザによるＡＩ導入実績等を未学習のプラン学習モデル９に入力し、入力された情報に基づいてプラン学習モデル９から出力される確度と、訓練データに含まれる評価値との差分が小さくなるように、プラン学習モデル９のニューラルネットワークを構成するニューロン間の重み係数（結合係数）等の各種パラメータを、誤差逆伝播法、最急降下法等を用いて最適化することによって、プラン学習モデル９を機械学習させる。

このように機械学習されたプラン学習モデル９に、検証結果データ等が入力された場合、入力された検証結果データ等に応じて、適切なプラン及び改善点を示す確度情報がプラン学習モデル９から出力されるようになる。

このように構成された実施形態５に係るプログラム提供方法、プログラム提供装置及びコンピュータプログラム４によれば、学習モデル５１の種類及び構成、ユーザの熟練度等を考慮して、本導入プランを生成することができる。

また、当該ユーザによる学習モデル５１の導入に当たっての改善点をユーザ又は担当者に通知することができ、ユーザ又は担当者は効率良く学習モデル５１の本導入を支援することができる。

なお、機械学習モデルであるプラン学習モデル９を用いて、本導入プラン及び改善点を特定する例を説明したが、テーブル等を用いてルールベースで本導入プランを生成し、改善点を特定するように構成してもよい。

（変形例）
インストールされた、未学習の学習モデル５１を含むプログラムは、インストールした情報処理装置２以外で使用できるようにしてもよく、インストールした情報処理装置２のみで使用できるようにしてもよい。前者の場合、ユーザの利便性が向上し、後者の場合、プログラム提供元の管理が行いやすい、という利点がある。
なお、この変形例及び以下で説明する情報処理装置２は、具体的な１台のコンピュータを意味しているが、上記実施形態１〜５で説明した情報処理装置２及び本発明に係る「情報処理装置」は、必ずしも１台のコンピュータで構成されるものに限定されることを意味するものではない。情報処理装置２は、プログラム提供方法が同様の作用効果を奏する限り、複数のコンピュータからなるマルチコンピュータであってもよく、クラウド上の装置であってもよい。

またユーザによって機械学習された学習モデル５１の出力データの精度に係るデータは、プログラムがインストールされた情報処理装置２のみから送信できるようにしてもよく、プログラムがインストールされた情報処理装置２以外の情報処理装置２からサーバ１へ送信できるようにしてもよい。前者の場合、プログラム提供元の管理が行いやすく、後者の場合、例えばインストールされたプログラムがインストールした情報処理装置２以外で使用できる場合にユーザの利便性を向上させることができる。

プログラムインストールされたときから所定期間しか使用することができないようにしてもよく、プログラムは所定回数の学習及び検証を行った場合に使用できなくなるようにしてもよい。

検証結果データは、最終的にサーバ１に当該データが届くようにすればよく、自動的にユーザの情報処理装置２からサーバ１に送信されてもよく、メールや記録媒体などでプログラム提供元に提出され、サーバ１に提供されるようにしてもよい。

学習モデル５１のパラメータを削除する機能を解除するための情報は、どのようにユーザに提供されてもよく、プログラムがインストールされた情報処理装置２に送信されてもよく、プログラムがインストールされた情報処理装置２以外に送信されてもよい。またメールで送信されたり、記録媒体に保存し配信されたりするようにしてもよい。

また解除キーを配信するのではなく、ユーザからの申請により、学習モデル５１のパラメータが削除されないプログラムを再インストールできるようにしてもよく、例えば学習モデル５１のパラメータが削除されないプログラムのリンク先に関する情報をユーザに提供するようにしてもよい。この場合、申し込み情報を受信すると（ステップＳ２４）、機能制限の解除キー送信に代えて、学習モデル５１のパラメータが削除されないプログラムのリンク先に関する情報をユーザ（例えば情報処理装置２）へ送信する。前記リンク先に関する情報は、パラメータを削除する機能を解除した不良検出プログラム５を使用可能とするための情報、言い換えると当該機能を解除したプログラムを使用可能とするための情報の一例である。

サーバ１は、ユーザに提供可能な複数のプログラム及び当該プログラムに関する処理を実行するためのプログラム、ユーザＤＢ６などを備えるようにしてもよく、ユーザが事前に登録する情報やユーザの申込内容などに基づいて、提供可能な複数のプログラムのうち適切なプログラムを提供するようにしてもよい

仮導入時や仮導入期間中、適宜のタイミングで、仮導入の残期間がユーザに通知されるようにしてもよい。

仮導入期間中、ユーザからの求めに応じて仮導入期間を延長するようにしてもよい。延長期間や延長回数は適宜設定できる。また延長申請があった場合、そこまでの学習モデル５１の検出精度の検証結果データを取得し、その検証結果データに基づいて、違うプログラムや簡易なアドバイス又は、本導入プランとは異なる有料プラン、例えば検証に関するアドバイスを行うプランなどを提供するようにしてもよい。

学習モデル５１のパラメータの削除に関して、削除までの時間をユーザの情報処理装置２に表示するなどして、ユーザに知らせるようにしてもよい。またパラメータ削除までの時間を、ユーザの求めなどに応じて変更できるようにしてもよい。
パラメータの削除は、時間ではなく、起動したアプリを終了すると行うようにしてもよい。またアプリを終了しなくても、所定期間（例えば１年）経過するとパラメータが削除されるようにしてもよい。

また、情報処理装置２は、ユーザの操作により、学習モデル５１の機械学習に関する質問情報をサーバ１へ送信することができるように構成してもよい。情報処理装置２は、ユーザから質問内容を受け付け、受け付けた質問内容の情報と共に、ユーザが使用している不良検出プログラム５又は学習モデル５１のＩＤ、学習モデル５１の種類及び構成、前処理に関する情報（パラメータ、閾値、領域設定等の情報）、機械学習処理のログ、検証結果データを、サーバ１へ送信する。サーバ１は、情報処理装置２から送信された当該質問情報及び学習モデル５１に関連する情報を受信し、受信した質問情報等をユーザＩＤに対応付けられた担当者の端末装置３へ送信する。なお、情報処理装置２は、質問情報等を担当者の端末装置３へ直接送信できるように構成してもよい。

実施形態１〜５では、検査対象物の不良を検出するための不良検出プログラムを説明したが、本発明は未学習の学習モデルを学習させて動作する任意のプログラムに提供することができる。例えば、音声認識処理、医用画像の認識処理、対象物の分類処理、言語翻訳処理に用いられるＡＩを含むプログラムに本発明を適用してもよい。また、鉄鋼材料の計数用のプログラム、フォグランプカバー等の車両部品の検査又は製造用のプログラム、プリント基盤等の電子部品の検査又は製造用のプログラム、食品の状態又は包装の検査用のプログラム、撮影された写真の分類用のプログラム、その他任意のプログラムに本発明を適用することができる。

物体検知プログラムの例を説明する。例えば、図２の不良検出プログラム５は、未学習の物体検知用の学習モデルを含む物体検知プログラムである。物体検知に係る学習モデルは、例えば畳み込みニューラルネットワーク（CNN：Convolutional neural network）である。学習モデルは、物体検出対象の画像が入力される入力層と、画像の特徴量を抽出する中間層と、物体検出対象の画像に含まれるオブジェクトの種類を示す情報を出力する出力層とを有する。中間層は、入力層に入力された画像の各画素の画素値を畳み込む畳み込み層と、畳み込み層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、物体検出対象の画像の画素情報を圧縮しながら画像の特徴量を抽出する。
学習モデルが複数種類のオブジェクトを認識するモデルである場合、出力層から出力される情報には、画像に含まれるオブジェクトが、複数種類の各オブジェクトである確率を示す情報を含む。例えば、学習モデルが第１オブジェクト、第２オブジェクトを認識する構成である場合、出力層は、画像に含まれるオブジェクトが第１オブジェクトである確率と、第２オブジェクトである確率を出力する。３つ以上のオブジェクトを認識する場合も同様である。

学習モデルが上記のように構成される物体検知モデルである場合、検証結果データは、ユーザによって機械学習された学習モデルを用いて得られる検知結果の正解率、適合率、再現率、Ｆ値である。
なお、検証結果データは、出力層から出力される確率と、正解を示すデータ（画像に含まれるオブジェクトを示すデータ）とを含むものであってもよい。サーバ１は、当該検証結果データに含まれるデータに基づいて、正解率等を算出することができる。

サーバ１は、上記検証結果データに基づいて、実施形態１同様、本導入プランを生成し、ユーザの情報処理装置２へ提供する。

このように、物体検知用の学習モデルにおいても、本導入プラン及び検証結果を表示し、推奨される物体検知プログラムの導入プランをユーザに提示し、物体検知プログラムの効率的な導入を支援することができる。

なお本実施形態１〜５においては、学習モデルがＣＮＮであるものとして説明したが、学習モデルの構成はＣＮＮに限るものではない。学習モデルは、例えばＣＮＮ以外のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、又は、回帰木等の構成のモデルであってもよい。

１ サーバ
２ 情報処理装置
３ 端末装置
４ コンピュータプログラム
５ 不良検出プログラム
６ ユーザＤＢ
７ 記録媒体
８ 本導入プラン表示画面
９ プラン学習モデル
１１ 処理部
１２ 記憶部
１３ 通信部
５１ 学習モデル
５１ａ 入力層
５１ｂ 中間層
５１ｃ 出力層
５２ 不良度合い算出部
５３ 良否判定部
５４ 学習処理部
Ｎ 通信網

Claims (10)

1. 未学習の学習モデルを含むプログラムをユーザの情報処理装置へ配信し、
   配信された前記プログラムを仮導入したユーザによって機械学習された前記学習モデルの出力データの精度に係るデータを取得し、
   取得した前記データに基づいて、前記プログラムの本導入プランに関する情報を出力する
   プログラム提供方法。
2. 前記データは、ユーザによって機械学習された前記学習モデルを用いて得られるデータと、目標データとの乖離に関する情報を含む
   請求項１に記載のプログラム提供方法。
3. 前記プログラムは、
   前記学習モデルを学習させて検査対象物の不良を検出するものであり、
   前記データは、ユーザによって機械学習された前記学習モデルを用いて得られる検査対象物の不良度合いと、該検査対象物の実際の不良度合いとの乖離に係るデータを含み、
   前記データは検査対象物に関する情報を含まない
   請求項１又は請求項２に記載のプログラム提供方法。
4. 前記本導入プランは、
   前記プログラムの本導入に係るユーザの負担が異なる第１プラン及び第２プランを含み、
   前記出力データの精度に基づいて、第１プラン又は第２プランを出力する
   請求項１から請求項３のいずれか１項に記載のプログラム提供方法。
5. 第１プランは第２プランに比べて前記プログラムの本導入に係るユーザの負担が高く、
   前記本導入プランは、
   前記出力データの精度が高い場合、第１プランを推奨することを示す情報を含み、
   前記出力データの精度が低い場合、第２プランを推奨することを示す情報を含む
   請求項４に記載のプログラム提供方法。
6. 仮導入される前記プログラムは、
   機械学習後、前記学習モデルのパラメータを削除する機能を有し、
   前記プログラムが本導入される場合、前記機能を解除したプログラムを使用可能とするための情報をユーザへ送信する
   請求項１から請求項５のいずれか１項に記載のプログラム提供方法。
7. 前記学習モデルの検証又は学習を行っている途中で、前記データを取得し、
   取得した前記データに応じた前記本導入プランに関する情報をユーザへ送信する
   請求項１から請求項６のいずれか１項に記載のプログラム提供方法。
8. 前記プログラムの本導入が行われなかった場合、前記データを削除する
   請求項１から請求項７のいずれか１項に記載のプログラム提供方法。
9. 未学習の学習モデルを含むプログラムをユーザへ配信する配信部と、
   配信された前記プログラムを仮導入したユーザによって機械学習された前記学習モデルの出力データの精度に係るデータを取得する取得部と、
   取得した前記データに基づいて、前記プログラムの本導入プランに関する情報を出力する出力部と
   を備えるプログラム提供装置。
10. 未学習の学習モデルを含むプログラムをユーザへ配信し、
    配信された前記プログラムを仮導入したユーザによって機械学習された前記学習モデルの出力データの精度に係るデータを取得し、
    取得した前記データに基づいて、前記プログラムの本導入プランに関する情報を出力する
    処理をコンピュータに実行させるためのコンピュータプログラム。

Images