JP6948849B2 - Ａｉサービス利用支援システム - Google Patents

Description

本発明は，ＡＩサービスを利用する際のＡＩサービス利用支援システムに関する。

近年，ＡＩ（artificial intelligence：人工知能）の技術が発達をしてきており，企業などでもＡＩを利用し始めている。そして，近年はさまざまな企業がＡＩを搭載したサービス（ＡＩサービス）を実現するコンピュータシステム（ＡＩサービスシステム）を提供し始めている。一般的なＡＩサービスシステムとしては，質問などのデータをＡＩサービスシステムに入力すると，ＡＩサービスシステムがデータに対する分析を行い，その結果がユーザに返されるものである。

下記非特許文献に示すように，さまざまなＡＩサービスシステムを各企業が提供をしている。

日本ＩＢＭ株式会社，"IBM-Visual Recognition|IBM Watson Developer Cloud - Japan"，[online]，インターネット＜ＵＲＬ：https://www.ibm.com/watson/jp-ja/developercloud/visual-recognition.html＞ Google Inc.，"Vision API-画像コンテンツ分析｜Google Cloud Platform"，[online]，インターネット＜ＵＲＬ：https://cloud.***.com/vision/＞ 日本マイクロソフト株式会社，"Computer Vision−画像処理および画像分析｜Microsoft Azure"，[online]，インターネット＜ＵＲＬ：https://azure.microsoft.com/ja-jp/services/cognitive-services/computer-vision/＞

各企業が提供するＡＩサービスシステムの精度や利用料金はさまざまである。そのため，どのようなＡＩサービスシステムを利用するかは企業が独自に判断をした上で，検討をしなければならない。しかしながら，どのＡＩサービスシステムを利用したらよいのかの判断は容易ではない。

そこで本発明者は上記課題に鑑み，どのＡＩサービスシステムを利用したらよいのか，ＡＩサービスシステムを利用するにあたっての支援を行うＡＩサービス利用支援システムを発明した。

第１の発明は，ＡＩサービスシステムの利用を支援するＡＩサービス利用支援システムであって，前記ＡＩサービス利用支援システムは，評価対象となるＡＩサービスシステムに問い合わせデータを送ることで回答データを受け付け，その問い合わせデータに対応する正解データと，前記回答データとを用いて，ＡＩサービスシステムの精度情報を算出する精度評価処理部，を有するＡＩサービス利用支援システムである。

本発明を用いることで，ＡＩサービスシステムを利用する企業などは，ＡＩサービスシステムの回答の精度を把握することができる。そのため，ＡＩサービスシステムを利用するにあたっての判断の一助とすることができる。

上述の発明において，前記精度評価処理部は，前記精度情報を，分析対象の種類ごとに算出する，ＡＩサービス利用支援システムのように構成することができる。

ＡＩサービスシステムには，画像分析，翻訳，音声テキスト化，顔認識など，分析対象の種類ごとに得意，不得意がある。そのため，ＡＩサービスシステムの分析対象の種類ごとに精度情報を算出することで，より正確な精度評価が行える。

上述の発明において，前記精度評価処理部は，前記評価対象となるＡＩサービスシステムから受け付けた回答データと，問い合わせデータに対応する正解データとを比較し，前記回答データが正解データと一致するまたは正解データを含む場合には正解と判定し，問い合わせデータの個数と正解数とを用いて精度情報を算出する，ＡＩサービス利用支援システムのように構成することができる。

ＡＩサービスシステムの精度情報は，本発明の方法を用いることで判定することができる。本発明の方法では簡便に正解か否かを判定するので，システム負荷が大きくなく，テストデータの個数が多い場合などに特に有効となる。

上述の発明において，前記精度評価処理部は，前記評価対象となるＡＩサービスシステムから受け付けた回答データと，問い合わせデータに対応する正解データとを比較し，前記回答データにおける正解の精度を用いて精度情報を算出する，ＡＩサービス利用支援システムのように構成することができる。

ＡＩサービスシステムは，一つの問い合わせデータに対して複数の回答データを返すことがある。そのためテストデータとなる問い合わせデータに対する正解データも複数設定されることもある。したがって，回答データに正解データのすべてが含まれているのか，正解データの一部が含まれているのかによって，その精度も変化する。したがって，正解の精度の指標を考慮した精度情報を算出すると，より正確な精度評価を行うことができる。

上述の発明において，前記精度評価処理部は，前記評価対象となるＡＩサービスシステムから受け付けた回答データと，問い合わせデータに対応する正解データとを比較し，前記問い合わせデータに対応する正解データの個数と，前記受け付けた回答データに含まれる正解データの個数とに基づいて正解の精度を算出し，前記算出した正解の精度を用いて精度情報を算出する，ＡＩサービス利用支援システムのように構成することができる。

ＡＩサービスシステムは，一つの問い合わせデータに対して複数の回答データを返すことがある。そのためテストデータとなる問い合わせデータに対する正解データも複数設定されることもある。そこで問い合わせデータに対応する正解データの個数と，ＡＩサービスシステムから返される回答データに含まれる正解データの個数とに基づいて正解の精度を算出することで，より正確な精度評価を行うことができる。とくに，正解データがどれだけ得られるかを重視する精度評価が行える。

上述の発明において，前記精度評価処理部は，前記評価対象となるＡＩサービスシステムから受け付けた回答データと，問い合わせデータに対応する正解データとを比較し，前記問い合わせデータに対する回答データの個数と，前記受け付けた回答データに含まれる正解データの個数とに基づいて正解の精度を算出し，前記算出した正解の精度を用いて精度情報を算出する，ＡＩサービス利用支援システムのように構成することができる。

ＡＩサービスシステムは，一つの問い合わせデータに対して複数の回答データを返すことがある。そのため返される回答データの個数が多ければ正解データが含まれる可能性がふえる。しかし回答データの個数が多いことは，ＡＩサービスシステムを利用する際にユーザが考慮しなければならない回答データが増加することを意味し，またノイズが含まれる可能性が増加することを意味する。そこで，問い合わせデータに対する回答データの個数と，回答データに含まれる正解データの個数とに基づいて正解の精度を算出することで，より正確な精度評価を行うことができる。とくに，ノイズが含まれていないか，つまり少ない回答の個数で正解が得られるかを重視する精度評価が行える。

上述の発明において，前記ＡＩサービス利用支援システムは，さらに，ＡＩサービスシステムごとの精度情報と料金情報とを記憶するＡＩサービス情報記憶部と，前記ＡＩサービス情報記憶部に記憶する精度情報と料金情報とに基づいて，利用するＡＩサービスシステムを判定する利用ＡＩ判定処理部と，を有するＡＩサービス利用支援システムのように構成することができる。

精度情報と料金情報とのバランスが取れているＡＩサービスシステムの利用をユーザは望んでいる。そのため，本発明を用いることで，それらを考慮したＡＩサービスシステムを判定することができる。

上述の発明において，前記利用ＡＩ判定処理部は，前記精度情報に対するあらかじめ定められた基準値の条件を充足するＡＩサービスシステムのうち，料金がもっとも安価であるＡＩサービスシステムを，利用するＡＩサービスシステムとして判定する，ＡＩサービス利用支援システムのように構成することができる。

精度情報と料金情報とのバランスは，基準となる条件を充足した上で，もっとも安価なＡＩサービスシステムであることがよい。本発明を用いることで，それらを考慮したＡＩサービスシステムを判定することができる。

上述の発明において，前記ＡＩサービス情報記憶部には，さらに，利用頻度の情報を記憶しており，前記利用ＡＩ判定処理部は，前記精度情報に対するあらかじめ定められた基準値の条件を充足するＡＩサービスシステムのうち，前記利用頻度に対応する料金がもっとも安価であるＡＩサービスシステムを，利用するＡＩサービスシステムとして判定する，ＡＩサービス利用支援システムのように構成することができる。

精度情報と料金情報とのバランスは，ＡＩサービスシステムに対する利用頻度に応じても変化しうる。そのため，本発明を用いることで，それらを考慮したＡＩサービスシステムを判定することができる。

上述の発明において，前記ＡＩサービス利用支援システムは，さらに，ＡＩサービスシステムごとのドライバと，前記ドライバを切り替えるドライバ切替処理部と，を有するＡＩ切替処理部，を有しており，通常時においては，前記利用ＡＩ判定処理部で判定したＡＩサービスシステムに対応するドライバを用いて，前記判定したＡＩサービスシステムとの間で入出力処理を実行し，精度評価処理時においては，評価対象となるＡＩサービスシステムごとに，前記ドライバ切替処理部が前記ドライバを切り替えて入出力処理を実行する，ＡＩサービス利用支援システムのように構成することができる。

ＡＩサービスシステムは各企業がそれぞれ提供しているので，フォーマットが相違する場合がある。そこで本発明のように，ＡＩサービスシステムごとのドライバと，そのドライバを切り替えることによって，入力する問い合わせデータは一種類で，複数のＡＩサービスシステムを利用し，その利用を適宜，切り替えることができる。

第１のＡＩサービス利用支援システムは，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，評価対象となるＡＩサービスシステムに問い合わせデータを送ることで回答データを受け付け，その問い合わせデータに対応する正解データと，前記回答データとを用いて，ＡＩサービスシステムの精度情報を算出する精度評価処理部，として機能させるＡＩサービス利用支援プログラムである。

本発明のＡＩサービス利用支援システムを用いることによって，どのＡＩサービスシステムを利用したらよいのかを企業が判断をする際の一助を提供することができる。

本発明のＡＩサービス利用支援システムの全体の構成の一例を模式的に示すブロック図である。 本発明のＡＩサービス利用支援システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。 本発明のＡＩサービス利用支援システムにおける精度評価処理の処理プロセスの一例を示すフローチャートである。 本発明のＡＩサービス利用支援システムにおけるＡＩサービス切替処理の処理プロセスの一例を示すフローチャートである。 テストデータの一例を示す図である。 テストデータのほかの一例を示す図である。 ＡＩサービス情報記憶部の一例を模式的に示す図である。 ＡＩ切替処理部とＡＩサービスシステムとの関係を模式的に示すブロック図である。

本発明のＡＩサービス利用支援システム１の全体のシステム構成の一例を図１に，ＡＩサービス利用支援システム１で用いるコンピュータのハードウェア構成の一例を図２に示す。

ＡＩサービス利用支援システム１は，管理端末２と，ＡＩサービスシステム３と，担当者端末４とを用いる。これらの各端末，システムはコンピュータによって実現されている。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，ディスプレイなどの表示装置７２と，情報の入力を行う入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報の通信をする通信装置７４とを有している。なお，コンピュータがタッチパネルディスプレイを備えている場合には表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

ＡＩサービス利用支援システム１の管理端末２は一台のコンピュータによって実現されていてもよいが，その機能が複数のコンピュータによって実現されていてもよい。この場合のコンピュータとして，たとえばクラウドサーバであってもよい。

本発明のＡＩサービス利用支援システム１における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。

ＡＩサービスシステム３は，各企業が提供するＡＩサービスのコンピュータシステムである。ＡＩサービスシステム３の一例としては，ＩＢＭ社が提供する「Visual Recognition」，Ｇｏｏｇｌｅ社が提供する「Cloud Vision API」，マイクロソフト社が提供する「Computer Vision API」などがある。なお，上記は一例であり，どのようなＡＩサービスシステム３であっても用いることができる。図１では，ＡＩサービスシステム３として，ＡＩサービスシステム３Ａ乃至ＡＩサービスシステム３Ｃの３種類がある場合を図示しているが，複数あれば足り，その数は限定されない。

担当者端末４は，ＡＩサービスシステム３を利用する企業における担当者が利用するコンピュータであって，テストデータの入力を後述する管理端末２に行うほか，所定の操作をすることで，ＡＩサービスシステム３の切替処理を実行させる。

管理端末２は，テストデータ入力受付処理部２１とテストデータ記憶部２２と精度評価処理部２３と料金情報入力受付処理部２４とＡＩサービス情報記憶部２５と利用ＡＩ判定処理部２６とＡＩ切替処理部２７とを有する。

テストデータ入力受付処理部２１は，ＡＩサービスシステム３に対して入力するテストデータを担当者端末４から受け付け，後述するテストデータ記憶部２２に記憶させる。テストデータはＡＩサービスシステム３に対して入力する問い合わせデータと，その問い合わせに対する正解データとを有する。テストデータの一例を図５に示す。図５（ａ）が問い合わせデータである「熊の縫いぐるみ」の画像データであり，図５（ｂ）が正解データである「fabric toy」のテキストデータである。なお，ＡＩサービスシステム３には分析対象の得意，不得意がある。そのため，さまざまな種類の分析対象のテストデータ（問い合わせデータ）の入力を受け付けるとよい。分析対象の種類としては，たとえば画像分析，翻訳，音声テキスト化，顔認識などがある。テストデータにおける問い合わせデータと正解データの組み合わせとしては，問い合わせデータが画像データ，正解データがその画像データが意味するテキストデータ，問い合わせデータが任意の言語のテキストデータ，正解データが問い合わせデータとは異なる言語に翻訳されたテキストデータ，問い合わせデータが音声データ，正解データが音声をテキスト化したデータ，問い合わせデータが顔画像データ，正解データが顔画像データに写っている人物の性別，年齢のテキストデータなどがある。なお，問い合わせデータと正解データの組み合わせはこれらに限定されず，任意に設定が可能である。

テストデータ入力受付処理部２１は，たとえば１００個から１０００個程度のテストデータの入力を受け付けるとよいが，個数は限定されない。

テストデータ記憶部２２は，テストデータ入力受付処理部２１で受け付けたテストデータを記憶する。テストデータ記憶部２２ではテストデータごとに，テストデータの識別情報，テストデータ（問い合わせデータとそれに対応する正解データ），分析対象の種類（画像分析，翻訳，音声テキスト化，顔認識など）を対応付けて記憶する。

精度評価処理部２３は，各ＡＩサービスシステム３の精度評価処理を実行する。すなわち，テストデータ記憶部２２に記憶したテストデータにおける問い合わせデータを各ＡＩサービスシステム３に対して入力し，各ＡＩサービスシステム３からその問い合わせデータに対する回答データを受け付ける。そしてテストデータ記憶部２２に記憶する当該問い合わせデータに対応する正解データと，ＡＩサービスシステム３から受け付けた回答データとを比較し，一致しているまたは含まれている場合には正解と判定する。一致または含まれていない場合には不正解と判定する。そして，ＡＩサービスシステム３に入力した問い合わせデータの個数と，正解数とに基づいて，
正解率＝正解数÷ＡＩサービスシステムに入力した問い合わせデータの個数×１００
を演算することで正解率を算出し，それを精度情報として用いる。

精度情報に用いる正解率の算出方法は上記に限られない。たとえば，それぞれの問い合わせデータに対する回答データの正解の精度（正解値）を加味して正解率を算出してもよい。正解の精度としては，たとえば問い合わせデータに対する回答データのうち，正解データと一致する回答データの個数を用いて算出することができる。すなわち，問い合わせデータについて，その問い合わせデータに対する正解データの個数と，回答データに含まれる正解データの個数とに基づいて正解値を算出する。

たとえば問い合わせデータに対する正解データの個数が２個で，ＡＩサービスシステム３が出力した回答データの個数が２個であったとき，回答データのそれぞれが正解データと一致すると正解値は「１」となる。また，問い合わせデータに対する正解データの個数が５個で，ＡＩサービスシステム３が２個の正解データを含む回答データを８個出力したときの正解値は「０．４」（＝２÷５）となる。

そして各問い合わせデータに対する正解値を用いて演算して，ＡＩサービスシステム３の正解率を算出する。

このような方法を採ることで，回答データの個数が多くなっても，正解データが含まれていることを重視した精度評価を実現することができる。この場合の正解率の算出は，数１によって算出できる。なお，数１におけるＮは，テストデータとしてＡＩサービスシステム３に入力する問い合わせデータの個数である。

また，正解の精度である正解値としては，問い合わせデータに対する回答データのうち，正解データと一致しない回答データ（ノイズ）の個数や割合を考慮することもできる。たとえば問い合わせデータに対する回答データの個数と，その回答データに含まれる正解データの個数とに基づいて正解値を算出することもできる。この場合，回答データと正解データとが完全一致した場合の正解値を「１」とする。また，問い合わせデータに対する正解データが２個のとき，ＡＩサービスシステム３が２個の正解データを含む回答データを４個出力した場合には，すべての正解データを含むものの，ノイズとして２個の回答データを含んでいるので，その正解値を「０．５」とする。また，問い合わせデータに対する正解データが５個のとき，２個の正解データを含む回答データを８個出力したとする。この場合の正解値は「０．２５」（＝２÷８）とする。

問い合わせデータが図６（ａ）に示すように「ハスキー犬」の画像データであり，その正解データが図６（ｂ）に示すように「animal」，「dog」,「husky」のテキストデータであるとする。図６（ａ）に示す画像データを問い合わせデータとして，ＡＩサービスシステム３Ａ，ＡＩサービスシステム３Ｂ，ＡＩサービスシステム３Ｃのそれぞれに入力したとする。そのとき，ＡＩサービスシステム３Ａからは「animal」，「dog」，「husky」,「wolf」,「sled dog」の回答データが，ＡＩサービスシステム３Ｂからは「animal」，「dog」,「husky」，「pet」の回答データが，ＡＩサービスシステム３Ｃからは「animal」，「dog」,「husky」の回答データがそれぞれ出力されたとする。この場合，ＡＩサービスシステム３Ａ乃至３Ｃからの回答データでは「animal」，「dog」,「husky」を含むので，いずれも問い合わせデータに対する回答データとしては正解と判定できる。しかし，ＡＩサービスシステム３Ａでは５個の回答データを出力しているのに対し，ＡＩサービスシステム３Ｃでは３個の回答データを出力しているだけである。この場合，正解の精度は同じとしてもよいが，必ずしもユーザにとっては利用しやすさは同じとはいえない。なぜならば，ＡＩサービスシステム３が出力する回答データの個数を多くするほど，正解データが含まれる可能性が高くなるが，回答データが多く出力されるということは，実際にＡＩサービスシステム３を利用する際に，ユーザが考慮しなければならない回答データが増加することを意味するからである。そのため，正解データが含まれているからといって回答データの個数が多ければよいものではない。むしろ正解データと完全一致する回答データであることが好ましい。そこで上記のようなノイズを考慮した正解の精度を加味してＡＩサービスシステム３に対する正解率を算出してもよい。

このような方法を採ることで，ノイズの除去を重視した精度評価を実現することができる。この場合の正解率の算出は，数２によって算出できる。なお，数２におけるＮは，テストデータとしてＡＩサービスシステム３に入力する問い合わせデータの個数である。

なお正解の精度（正解値）の算出方法は上記に限定されるものではない。

精度評価処理部２３は，分析対象の種類ごとの正解率を算出してもよいし，分析対象の種類を問わずに正解率を算出してもよい。

精度評価処理部２３は，各ＡＩサービスシステム３に対して，同じテストデータ（問い合わせデータ）を送ることで精度評価処理を実行し，正解率を精度情報として，後述するＡＩサービス情報記憶部２５に記憶させる。なお，精度情報は，ＡＩサービスシステム３ごとに対応付けて記憶させるとよい。また，精度情報としてはＡＩサービスシステム３の分析の精度を評価する指標であればよく，正解率以外，たとえば不正解率などほかの評価方法によって算出した指標を用いることができる。

料金情報入力受付処理部２４は，担当者端末４またはＡＩサービスシステム３から，ＡＩサービスシステム３を利用する際の料金情報の入力を受け付け，後述するＡＩサービス情報記憶部２５に記憶させる。

ＡＩサービス情報記憶部２５は，ＡＩサービスシステム３ごとの精度情報，料金，利用頻度を対応付けて記憶する。図７にＡＩサービス情報記憶部２５の一例を示す。精度情報は，精度評価処理部２３が実行した精度情報である。この際に，ＡＩサービスシステム３全体での精度情報を記憶していてもよいし，ＡＩサービスシステム３における分析対象ごとの精度情報を記憶していてもよい。たとえばＡＩサービスシステム３Ａは，分析対象が画像分析については精度情報が９８％，翻訳については精度情報が８０％，音声テキスト化については精度情報が３０％，顔認識については精度情報が９４％とのように記憶していてもよい。料金はＡＩサービスシステム３の問い合わせの単価テーブルなどである。なお，単価に限らず，料金に関する情報であればよい。利用頻度は，ユーザのＡＩサービスシステム３に対する所定期間，たとえば一ヶ月あたりの問い合わせ数である。なお利用頻度としては，ＡＩサービスシステム３に対して実際に行われた問い合わせ数のほか，ＡＩサービスシステム３に対する想定した問い合わせ数のいずれであってもよい。

利用ＡＩ判定処理部２６は，精度評価処理部２３における各ＡＩサービスシステム３の精度評価処理の結果，利用するＡＩサービスシステム３を判定する。利用ＡＩ判定処理部２６は，精度情報があらかじめ定めた基準値以上で，利用頻度に基づく料金が一番安価のＡＩサービスシステム３を判定する。またすべてのＡＩサービスシステム３があらかじめ定めた基準値を下回る場合，精度情報がもっとも高いＡＩサービスシステム３を判定する。あらかじめ定めた基準値としては，たとえば９５％とすることができるが，ＡＩサービスシステム３を利用する目的，要求する基準などによって適宜，設定が可能である。利用ＡＩ判定処理部２６は，ＡＩサービスシステム３に想定される問い合わせ数の情報の入力を受け付けることで，料金を特定してもよい。

ＡＩ切替処理部２７は，ＡＩサービスシステム３ごとにフォーマットを整えて入出力を行う各ＡＩサービスシステム用ドライバ２７ａと，利用するＡＩサービスシステム用ドライバ２７ａを切り替えるドライバ切替処理部２７ｂとを備える。すなわち，ＡＩ切替処理部２７は，ＡＩサービスシステム３ごとに対応したフォーマットで入出力するデータを整えるドライバ２７ａを備えており，当該ドライバ２７ａを介した入出力処理を，ドライバ切替処理部２７ｂによって切り替える。ＡＩ切替処理部２７とＡＩサービスシステム３との関係を，図８にブロック図で模式的に示す。

つぎに本発明のＡＩサービス利用支援システム１の処理プロセスの一例を図３および図４のフローチャートを用いて説明する。

まず各ＡＩサービスシステム３に対する精度評価処理を行う場合を説明する。精度評価処理は，定期的，たとえば３カ月ごとに行われることが好ましい。なお，精度評価処理で用いるテストデータは毎回同じであってもよいし，一部または全部を変更したテストデータであってもよい。

ＡＩサービス利用支援システム１の担当者は，テストデータとして１０００個の問い合わせデータと回答データの組を作成し，担当者端末４から管理端末２に送る。管理端末２のテストデータ入力受付処理部２１は，担当者端末４からテストデータの入力を受け付け，それぞれのテストデータにテストデータ識別情報を付して，テストデータ記憶部２２に記憶させる（Ｓ１００）。

そして担当者は，担当者端末４から所定の操作をすることで，精度評価処理を実行する操作を行う。かかる実行操作を担当者端末４から受け付けた管理端末２の精度評価処理部２３は，テストデータ記憶部２２に記憶したテストデータに基づいて，ＡＩサービスシステム３ごとの精度評価処理を実行する（Ｓ１１０）。

まず精度評価処理部２３は，テストデータ記憶部２２に記憶するテストデータ１０００個を抽出する。そして，精度評価処理部２３は，ＡＩ切替処理部２７に対してＡＩサービスシステム３Ａの精度評価処理を実行する制御指示を渡すと，ＡＩ切替処理部２７におけるドライバ切替処理部２７ｂは，ＡＩサービスシステム用ドライバ２７ａにおけるＡＩサービスシステム３Ａ用ドライバに切り替える。そして，精度評価処理部２３は，テストデータの問い合わせデータをＡＩ切替処理部２７におけるＡＩサービスシステム用ドライバ２７ａのＡＩサービスシステム３Ａ用ドライバを介して，ＡＩサービスシステム３Ａに送る。

ＡＩサービスシステム３Ａは，受け付けた問い合わせデータに対する分析処理を実行し，その回答データを管理端末２に返すと，管理端末２のＡＩサービスシステム３Ａ用ドライバを介して，精度評価処理部２３が受け取る。そして，精度評価処理部２３は，テストデータ記憶部２２に記憶する当該問い合わせデータに対応する正解データを参照し，回答データが正解か否か，または正解値を算出する。

一つの問い合わせデータに対する処理を実行すると，次のテストデータをＡＩサービスシステム３Ａ用ドライバを介してＡＩサービスシステム３Ａに送る。

このように，精度評価処理部２３は，１０００個のテストデータにおける問い合わせデータをＡＩサービスシステム３Ａに対して送り，正解か否かまたは正解値を算出する。そしてＡＩサービスシステム３ＡまたはＡＩサービスシステム３Ａにおける分析対象の種類ごとの正解率を算出する。

精度評価処理部２３が算出した正解率を精度情報として，ＡＩサービス情報記憶部２５に記憶する（Ｓ１２０）。

ＡＩサービスシステム３Ａに対する精度評価処理を終了すると，精度評価処理部２３は，ＡＩ切替処理部２７に対してＡＩサービスシステム３Ｂの精度評価処理を実行する制御指示を渡す。ＡＩ切替処理部２７におけるドライバ切替処理部２７ｂは，ＡＩサービスシステム用ドライバ２７ａにおけるＡＩサービスシステム３Ｂ用ドライバに切り替える。そして，精度評価処理部２３は，テストデータの問い合わせデータをＡＩ切替処理部２７におけるＡＩサービスシステム用ドライバ２７ａのＡＩサービスシステム３Ｂ用ドライバを介して，ＡＩサービスシステム３Ｂに送る。

ＡＩサービスシステム３Ｂは，ＡＩサービスシステム３Ａの場合と同様に，受け付けた問い合わせデータに対する分析処理を実行し，その回答データを管理端末２に返すと，管理端末２のＡＩサービスシステム３Ｂ用ドライバを介して，精度評価処理部２３が受け取る。そして，精度評価処理部２３は，テストデータ記憶部２２に記憶する当該問い合わせデータに対応する正解データを参照し，回答データが正解か否か，または正解値を算出する。

一つの問い合わせデータに対する処理を実行すると，次のテストデータをＡＩサービスシステム３Ｂ用ドライバを介してＡＩサービスシステム３Ｂに送る。

このように，精度評価処理部２３は，１０００個のテストデータにおける問い合わせデータをＡＩサービスシステム３Ｂに対して送り，正解か否かまたは正解値を算出する。そしてＡＩサービスシステム３ＢまたはＡＩサービスシステム３Ｂにおける分析対象の種類ごとの正解率を算出する。

精度評価処理部２３が算出した正解率を精度情報として，ＡＩサービス情報記憶部２５に記憶する。

以上の処理を実行することで，ＡＩサービスシステム３ごとの精度情報をＡＩサービス情報記憶部２５に記憶させることができる。

そして，料金情報入力受付処理部２４は，担当者端末４またはＡＩサービスシステム３から，ＡＩサービスシステム３を利用する際の料金情報の入力を受け付け（Ｓ１３０），ＡＩサービス情報記憶部２５に記憶する（Ｓ１４０）。

以上の処理を実行することで，各ＡＩサービスシステム３の精度評価処理を実行できる。

つぎに利用するＡＩサービスシステム３を判定する処理を説明する。ＡＩサービスシステム３の判定処理は，定期的，たとえば３カ月ごとに行われることが好ましい。

ＡＩサービス利用支援システム１の担当者は，担当者端末４から所定の操作をすることで，ＡＩサービスシステム３の判定処理を実行する操作を行う。かかる実行操作を担当者端末４から受け付けた管理端末２の利用ＡＩ判定処理部２６は，ＡＩサービス情報記憶部２５に記憶する各ＡＩサービスシステム３の精度情報，単価，利用頻度の各情報に基づいて，利用するＡＩサービスシステム３を判定する（Ｓ２００）。

すなわち，利用ＡＩ判定処理部２６は，ＡＩサービス情報記憶部２５に記憶する各ＡＩサービスシステム３の精度情報を参照し，あらかじめ定められた基準値以上であるＡＩサービスシステム３を特定する。たとえばＡＩサービス情報記憶部２５が図７であり，基準値が９５％であった場合，ＡＩサービスシステム３Ａ（９８％），ＡＩサービスシステム３Ｃ（９５％）を特定する。

そして利用ＡＩ判定処理部２６は，利用頻度の情報に基づく料金の情報に基づいて，料金が一番安いＡＩサービスシステム３を特定する。利用頻度が「１０，０００，０００」であり，その場合の料金はＡＩサービスシステム３Ａが「２，２２０，０００円」，ＡＩサービスシステム３Ｃが「１，０２０，０００円」であるので，ＡＩサービスシステム３Ｃを利用するＡＩサービスシステム３として判定する。

なお，利用ＡＩ判定処理部２６は，精度情報と料金の情報とに基づいて利用するＡＩサービスシステム３を特定していれば，上記以外の判定方法を用いることもできる。

そして利用ＡＩ判定処理部２６は，利用するＡＩサービスシステム３としてＡＩサービスシステム３Ｃを判定するので，ＡＩ切替処理部２７に対してＡＩサービスシステム３Ｃを利用するように制御する制御指示を渡す。ＡＩ切替処理部２７におけるドライバ切替処理部２７ｂは，ＡＩサービスシステム用ドライバ２７ａにおけるＡＩサービスシステム３Ｃ用ドライバに切り替える。

以上のような処理を実行することで，通常時に利用するＡＩサービスシステム３として，ＡＩサービスシステム３Ｃが利用されるように設定できる。

本発明のＡＩサービス利用支援システム１を用いることによって，どのＡＩサービスシステム３を利用したらよいのかを企業が判断をする際の一助を提供することができる。

１：ＡＩサービス利用支援システム
２：管理端末
３：ＡＩサービスシステム
４：担当者端末
２１：テストデータ入力受付処理部
２２：テストデータ記憶部
２３：精度評価処理部
２４：料金情報入力受付処理部
２５：ＡＩサービス情報記憶部
２６：利用ＡＩ判定処理部
２７：ＡＩ切替処理部
２７ａ：ＡＩサービスシステム用ドライバ
２７ｂ：ドライバ切替処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置

Claims (7)

1. １つの問い合わせデータに対して複数の回答データを返すことがあるＡＩサービスシステムの利用を支援するＡＩサービス利用支援システムであって，
   前記ＡＩサービス利用支援システムは，
   評価対象となるＡＩサービスシステムに問い合わせデータを送ることで回答データを受け付け，
   前記評価対象となるＡＩサービスシステムから受け付けた回答データと，問い合わせデータに対応する正解データとを比較し，前記回答データが正解データと一致するまたは正解データを含む場合には正解と判定し，
   その問い合わせデータに対応する正解データと，前記回答データとを用いて，ＡＩサービスシステムの精度情報を算出する精度評価処理部，
   を有することを特徴とし、
   前記精度評価処理部は、
   前記問い合わせデータに対する回答データの個数と，前記受け付けた回答データに含まれる正解データの個数とに基づいて正解の精度を算出することを特徴とし、
   前記正解の精度は、下記計算式の（数１）又は（数２）のいずれかにより算出することを特徴
   とするＡＩサービス利用支援システム。
   

   

   ここに、Ｎは問い合わせデータの個数である。
   
2. 前記精度評価処理部は，
   前記精度情報を，分析対象の種類ごとに算出する，
   ことを特徴とする請求項１に記載のＡＩサービス利用支援システム。
   
3. 前記ＡＩサービス利用支援システムは，さらに，
   ＡＩサービスシステムごとの精度情報と料金情報とを記憶するＡＩサービス情報記憶部と，
   前記ＡＩサービス情報記憶部に記憶する精度情報と料金情報とに基づいて，利用するＡＩサービスシステムを判定する利用ＡＩ判定処理部と，を有する
   ことを特徴とする請求項１から請求項２のいずれかに記載のＡＩサービス利用支援システム。
   
4. 前記利用ＡＩ判定処理部は，
   前記精度情報に対するあらかじめ定められた基準値の条件を充足するＡＩサービスシステムのうち，料金がもっとも安価であるＡＩサービスシステムを，利用するＡＩサービスシステムとして判定する，
   ことを特徴とする請求項３に記載のＡＩサービス利用支援システム。
   
5. 前記ＡＩサービス情報記憶部には，さらに，利用頻度の情報を記憶しており，
   前記利用ＡＩ判定処理部は，
   前記精度情報に対するあらかじめ定められた基準値の条件を充足するＡＩサービスシステムのうち，前記利用頻度に対応する料金がもっとも安価であるＡＩサービスシステムを，利用するＡＩサービスシステムとして判定する，
   ことを特徴とする請求項３に記載のＡＩサービス利用支援システム。
   
6. 前記ＡＩサービス利用支援システムは，さらに，
   ＡＩサービスシステムごとのドライバと，前記ドライバを切り替えるドライバ切替処理部と，を有するＡＩ切替処理部，を有しており，
   通常時においては，前記利用ＡＩ判定処理部で判定したＡＩサービスシステムに対応するドライバを用いて，前記判定したＡＩサービスシステムとの間で入出力処理を実行し，
   精度評価処理時においては，評価対象となるＡＩサービスシステムごとに，前記ドライバ切替処理部が前記ドライバを切り替えて入出力処理を実行する，
   ことを特徴とする請求項３から請求項５のいずれかに記載のＡＩサービス利用支援システム。
   
7. コンピュータを，
   評価対象となるＡＩサービスシステムに問い合わせデータを送ることで回答データを受け付け， 前記評価対象となるＡＩサービスシステムから受け付けた回答データと，問い合わせデータに対応する正解データとを比較し，前記回答データが正解データと一致するまたは正解データを含む場合には正解と判定し，その問い合わせデータに対応する正解データと，前記回答データとを用いて，ＡＩサービスシステムの精度情報を算出する精度評価処理部，
   として機能させることを特徴とし、
   前記精度評価処理部は、
   前記問い合わせデータに対する回答データの個数と，前記受け付けた回答データに含まれる正解データの個数とに基づいて正解の精度を算出することを特徴とし、
   前記正解の精度は、下記計算式の（数１）又は（数２）のいずれかにより算出することを特徴
   とするＡＩサービス利用支援プログラム。
   

   

   ここに、Ｎは問い合わせデータの個数である。
   

Images