JP2023079180A - Information processing system, information processing method and information processing program - Google Patents
Information processing system, information processing method and information processing program Download PDFInfo
- Publication number
- JP2023079180A JP2023079180A JP2022183471A JP2022183471A JP2023079180A JP 2023079180 A JP2023079180 A JP 2023079180A JP 2022183471 A JP2022183471 A JP 2022183471A JP 2022183471 A JP2022183471 A JP 2022183471A JP 2023079180 A JP2023079180 A JP 2023079180A
- Authority
- JP
- Japan
- Prior art keywords
- data
- input data
- information
- model
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 88
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 238000006243 chemical reaction Methods 0.000 claims description 165
- 238000000034 method Methods 0.000 claims description 125
- 238000012545 processing Methods 0.000 claims description 114
- 230000008569 process Effects 0.000 claims description 112
- 238000004458 analytical method Methods 0.000 claims description 54
- 238000012731 temporal analysis Methods 0.000 claims description 7
- 238000000700 time series analysis Methods 0.000 claims description 7
- 238000010224 classification analysis Methods 0.000 claims description 5
- 238000000611 regression analysis Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 description 66
- 230000000694 effects Effects 0.000 description 35
- 238000004891 communication Methods 0.000 description 19
- 238000003860 storage Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000004088 simulation Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 13
- 230000003247 decreasing effect Effects 0.000 description 9
- 238000002360 preparation method Methods 0.000 description 9
- 230000007704 transition Effects 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000012217 deletion Methods 0.000 description 6
- 230000037430 deletion Effects 0.000 description 6
- 238000013075 data extraction Methods 0.000 description 5
- 230000008676 import Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000013480 data collection Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013501 data transformation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、情報処理システム、情報処理方法及び情報処理プログラムに関する。 The present invention relates to an information processing system, an information processing method, and an information processing program.
従来技術として、学習器に関する下記の文献が挙げられる。 As prior art, the following documents regarding learning devices can be cited.
学習器から生成される学習モデルは、同一の入力データを用いたとしても学習器のアルゴリズム等によって異なることがある。そのため、ユーザは、学習モデルを用いた予測精度の向上のために、入力データに応じて学習器を適切に選択する必要がある。しかし、適切な学習器の選択には、データサイエンスに関する知見が比較的高い水準で求められることがある。 A learning model generated by a learning device may differ depending on the algorithm of the learning device even if the same input data is used. Therefore, a user needs to appropriately select a learner according to input data in order to improve prediction accuracy using a learning model. However, selecting an appropriate learner may require a relatively high level of data science knowledge.
(1)本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、制御部を備える。制御部は、次の各ステップを実行するように構成される。データ受付ステップでは、第1の入力データの入力を受け付ける。学習器特定ステップでは、受け付けた第1の入力データに応じて複数の学習器を特定する。モデル表示ステップでは、第1の入力データに基づき、特定された学習器が生成する学習モデルに関するモデル情報を、学習モデルごとに比較可能な態様で表示させる。 (1) According to one aspect of the present invention, an information processing system is provided. This information processing system includes a control unit. The controller is configured to perform the following steps. The data receiving step receives input of the first input data. In the learner identifying step, a plurality of learners are identified according to the received first input data. In the model display step, based on the first input data, model information relating to the learning models generated by the identified learners is displayed in a comparable manner for each learning model.
かかる情報処理システムによれば、ユーザに要求されるデータサイエンスに関する知見の水準を、これまでより下げることができる。 According to such an information processing system, it is possible to lower the level of knowledge regarding data science required of users.
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。 Embodiments of the present invention will be described below with reference to the drawings. Various features shown in the embodiments shown below can be combined with each other.
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体(Non-Transitory Computer-Readable Medium)として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現(いわゆるクラウドコンピューティング)するように提供されてもよい。 By the way, the program for realizing the software appearing in this embodiment may be provided as a non-transitory computer-readable medium (Non-Transitory Computer-Readable Medium), or may be downloaded from an external server. It may be provided as possible, or may be provided so that the program is activated on an external computer and the function is realized on the client terminal (so-called cloud computing).
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、0又は1で構成される2進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ(いわゆる量子ビット)によって表され、広義の回路上で通信・演算が実行されうる。 Further, in the present embodiment, the term “unit” may include, for example, a combination of hardware resources implemented by circuits in a broad sense and software information processing that can be specifically realized by these hardware resources. . In addition, various information is handled in the present embodiment, and these information are, for example, physical values of signal values representing voltage and current, and signal values as binary bit aggregates composed of 0 or 1. It is represented by high and low, or quantum superposition (so-called quantum bit), and communication and operation can be performed on a circuit in a broad sense.
また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。 A circuit in a broad sense is a circuit implemented by appropriately combining at least circuits, circuits, processors, memories, and the like. Application Specific Integrated Circuits (ASICs); Programmable Logic Devices (e.g., Simple Programmable Logic Devices (SPLDs); Complex Programmable Logic Devices (CPLDs); and field It includes a programmable gate array (Field Programmable Gate Array: FPGA).
1.ハードウェア構成
本節では、ハードウェア構成について説明する。
1. Hardware configuration This section describes the hardware configuration.
<情報処理システム1>
図1は、情報処理システム1を表す構成図である。情報処理システム1は、情報処理装置2と、ユーザ端末3と、データベースDB1と、を備える。情報処理装置2と、ユーザ端末3と、データベースDB1と、は、電気通信回線を通じて通信可能に構成されている。一実施形態において、情報処理システム1とは、1つ又はそれ以上の装置又は構成要素からなるものである。仮に例えば、情報処理装置2のみからなる場合であれば、情報処理システム1は、情報処理装置2となりうる。以下、これらの構成要素について説明する。
<
FIG. 1 is a configuration diagram showing an
<情報処理装置2>
図2は、情報処理装置2のハードウェア構成を示すブロック図である。情報処理装置2は、通信部21と、記憶部22と、制御部23とを備え、これらの構成要素が情報処理装置2の内部において通信バス20を介して電気的に接続されている。各構成要素についてさらに説明する。
<
FIG. 2 is a block diagram showing the hardware configuration of the
通信部21は、USB、IEEE1394、Thunderbolt(登録商標)、有線LANネットワーク通信等といった有線型の通信手段が好ましいものの、無線LANネットワーク通信、3G/LTE/5G等のモバイル通信、BLUETOOTH(登録商標)通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。すなわち、情報処理装置2は、通信部21及びネットワークを介して、外部から種々の情報を通信してもよい。
The
記憶部22は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部23によって実行される情報処理装置2に係る種々のプログラム等を記憶するソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。記憶部22は、制御部23によって実行される情報処理装置2に係る種々のプログラムや変数等を記憶している。
The
制御部23は、情報処理装置2に関連する全体動作の処理・制御を行う。制御部23は、例えば不図示の中央処理装置(Central Processing Unit:CPU)である。制御部23は、記憶部22に記憶された所定のプログラムを読み出すことによって、情報処理装置2に係る種々の機能を実現する。すなわち、記憶部22に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部23によって具体的に実現されることで、制御部23に含まれる各機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、制御部23は単一であることに限定されず、機能ごとに複数の制御部23を有するように実施してもよい。またそれらの組合せであってもよい。
The
<ユーザ端末3>
図3は、ユーザ端末3のハードウェア構成を示すブロック図である。ユーザ端末3は、通信部31と、記憶部32と、制御部33と、表示部34と、入力部35とを備え、これらの構成要素がユーザ端末3の内部において通信バス30を介して電気的に接続されている。通信部31、記憶部32及び制御部33の説明は、情報処理装置2における各部の説明と同様のため省略する。
<
FIG. 3 is a block diagram showing the hardware configuration of the
表示部34は、ユーザ端末3筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部34は、ユーザが操作可能なグラフィカルユーザインターフェース(Graphical User Interface:GUI)の画面を表示する。これは例えば、CRTディスプレイ、液晶ディスプレイ、有機ELディスプレイ及びプラズマディスプレイ等の表示デバイスを、ユーザ端末3の種類に応じて使い分けて実施することが好ましい。
The
入力部35は、ユーザ端末3の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部35は、表示部34と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、QWERTYキーボード等を採用してもよい。すなわち、入力部35がユーザによってなされた操作入力を受け付ける。当該入力が命令信号として、通信バス30を介して制御部33に転送され、制御部33が必要に応じて所定の制御や演算を実行しうる。
The input unit 35 may be included in the housing of the
<データベースDB1>
データベースDB1は、外部データD0を記憶する。外部データD0は、例えば公衆がアクセス可能なデータであっても、特定のユーザのみがアクセス可能なデータであってもよい。また、外部データD0は、本情報処理システム1を使用するユーザのみがアクセス可能なデータであってもよい。データベースDB1は、単一の記憶デバイスにより実現されていても、複数の記憶デバイスにより実現されていてもよい。外部データD0が表す内容は、例えば衛生観測結果、気候観測結果、統計資料、カレンダー情報など、任意である。
<Database DB1>
Database DB1 stores external data D0. The external data D0 may be, for example, data accessible to the public or data accessible only to specific users. Also, the external data D0 may be data that can be accessed only by the user using the
2.機能構成
図4は、制御部23が備える機能部の一例を示す。図4に示すように、制御部23は、データ受付部231と、学習器特定部232と、学習器選択受付部233と、分析手法選択受付部234と、データ処理部235と、モデル表示部236と、処理表示部237と、処理条件表示部238と、を備える。
2. Functional Configuration FIG. 4 shows an example of functional units provided in the
データ受付部231は、第1の入力データD1の入力を受け付ける。第1の入力データD1は、情報処理装置2に入力されるデータである。第1の入力データD1は、複数のデータ点を含みうる。第1の入力データD1は、データセットということもできる。第1の入力データD1は、少なくともユーザが保有する保有データを含む。なお、第1の入力データD1は、ユーザ以外が保有するデータ、例えばデータベースDB1に記憶されたデータ、を含んでもよい。第1の入力データD1は、少なくとも構造化データを含む。構造化データは、予め定められた構造となるように標準化されたデータである。なお、第1の入力データD1は、構造化データ以外のデータ、例えば非構造化データ、又は半構造化データを含んでもよい。非構造化データは、構造化データのように標準化された構造を持たない任意の形式のデータである。半構造化データは、非構造化データと、当該非構造化データを識別可能なタグと、の組み合わせからなる。半構造化データの形式は、例えば、グラフ型、キーバリュー型、ドキュメント型、カラム型などである。なお、入力データ受付部231が受け付ける第1の入力データD1は1つに限られず、複数であってもよい。
The
学習器特定部232は、受け付けた第1の入力データD1に応じて複数の学習器MLを特定する。
学習器は、入力されるデータを用いて学習モデルM1を生成する。学習モデルM1は、少なくとも1つの入力x1に基づいて、少なくとも1つの出力y1を生成する。入力x1は、説明変数とも言われる。また、出力y1は、評価関数とも言われる。
The learning
The learning device uses input data to generate a learning model M1. Learning model M1 produces at least one output y1 based on at least one input x1. The input x1 is also called an explanatory variable. The output y1 is also called an evaluation function.
学習器選択受付部233は、特定された学習器MLに対する選択をユーザより受け付ける。
The learner
分析手法選択受付部234は、複数の分析手法のうちの学習モデルM1の生成に用いられる少なくとも1つの選択を受け付ける。分析手法は、任意であるが、例えば分類分析、回帰分析、時系列分析、レコメンド分析、異常検知、クラスタリング、画像解析、及びテキスト解析のうちの少なくとも1つを含む。分析手法としては、教師あり学習、教師なし学習、強化学習など任意のアルゴリズムのものを採用可能である。
The analysis method
データ処理部235は、変換処理を実行する。変換処理とは、データ受付部231に入力された第1の入力データD1を、特定された学習器MLに入力可能な態様である第2の入力データD2に変換する処理である。変換処理は、例えば、第1の入力データD1の一部の削除、欠損値の補完、外れ値の削除、第1の入力データD1の規格化など、任意の処理を含みうる。変換処理は、データ整形ともいわれる。
変換処理は、第1の入力データD1に含まれる複数の入力x1の結合処理、分離処理、補正などを含んでもよい。例えば、変換処理は、第1の入力データD1が時系列を表す年、月、及び日をそれぞれ異なる入力x1として有する場合に、これらの複数の入力x1を1つの入力に結合する処理を含みうる。また、変換処理は、複数の入力データ受付部231にて複数の第1の入力データD1を受け付けた場合、これらの第1の入力データD1の結合処理を行ってもよい。別例として、変換処理は、入力x1の追加処理、特徴量の追加などを含んでもよい。例えば、データ処理部235は、第1の入力データD1に応じてデータベースDB1から任意の外部データD0を取得し、当該外部データD0を第1の入力データD1に追加してもよい。データ処理部235は、追加された外部データD0に基づき、特徴量の追加を行ってもよい。
変換処理は、第1の入力データD1の内容に基づいて、制御部23によって自動で実行可能な処理を含む。なお、変換処理は、ユーザによる指定に基づいて実行可能な処理を含んでもよい。また、本実施形態では、変換処理は、第1の入力データD1を所定の変換条件と比較することで特定される自動変換処理を含む。変換条件とは、例えば第1の入力データD1の容量、第1の入力データD1の統計情報の分散値が閾値未満か否か、第1の入力データD1の統計情報に基づく外れ値の有無などである。変換条件は、変換処理が行われる必要性を示唆するものでもある。
また、変換処理は、入力データ受付部231に入力された第1の入力データD1の形式を、特定された学習器MLのそれぞれに適合する形式に変換する処理を含む。第1の入力データD1の形式は、例えば、第1の入力データD1の名称、文字コード、改行コード、表記言語、区切り文字などを含む。
例えば、特定された学習器MLに入力可能な入力データDの文字コードがUTF-8であるにも関わらず、第1の入力データD1の文字コードがShift-JISの場合、データ処理部235は、当該第1の入力データD1を、文字コードがUTF-8に変更された第2の入力データD2に変換する変換処理を実行する。
別例として、変換処理は、特定された複数の学習器MLに入力可能な第2の入力データD2のそれぞれに対して名称を付与する処理を含みうる。このとき、変換処理は、制御部23が第2の入力データD2を一意に特定可能な名称を、第2の入力データD2に付与することが好ましい。これにより、第2の入力データD2の管理が容易となる。なお、名称の付与は、第1の入力データD1の名称を変更することによって行われてもよい。
別例として、第1の入力データD1がBOM(Byte Order Mark)を含む場合、変換処理は、当該BOMの除去を含んでもよい。これにより、意図しないエラーが抑制しやすくなる。
別例として、変換処理は、第1の入力データD1に含まれる入力x1のうち、学習モデルM1の生成に用いられないものを除去する処理を含んでもよい。データ処理部235は、例えば、入力x1の形式、分布に基づいて、当該入力x1が学習モデルM1の生成に用いられるか否かを判定すればよい。これにより、第2の入力データD2の容量が軽減されるため、学習モデルM1の生成に必要な時間が短縮される。なお、変換処理の特定は、変換処理を行う必要がない場合などには、行う変換処理がないことを特定することを含みうる。
制御部23は、さらに、特定され、又は選択された分析手法に基づき、変換処理を特定してもよい。例えば、選択された分析手法が時系列分析である場合、制御部23によって特定される変換処理は、時系列を表す複数の入力x1を1つに結合する変換処理、各データ点の時間間隔が異なる場合、時間間隔を調整するようにデータ点の補完、削除、又は補正を行う変換処理、外部データD0としてのカレンダー情報、気象情報、又は人口統計情報を第1の入力データD1と結合し、時系列を表す入力x1と関連付ける変換処理などを含む。
The
The conversion process may include a combination process, a separation process, a correction, and the like of a plurality of inputs x1 included in the first input data D1. For example, if the first input data D1 has years, months, and days representing time series as different inputs x1, the conversion process may include combining these multiple inputs x1 into one input. . Further, in the conversion process, when a plurality of first input data D1 are received by a plurality of input
The conversion processing includes processing that can be automatically executed by the
The conversion process also includes a process of converting the format of the first input data D1 input to the input
For example, when the character code of the input data D that can be input to the specified learning device ML is UTF-8, but the character code of the first input data D1 is Shift-JIS, the
As another example, the conversion process may include a process of giving a name to each of the second input data D2 that can be input to the identified plurality of learners ML. At this time, it is preferable that the conversion process gives the second input data D2 a name by which the
As another example, when the first input data D1 includes a BOM (Byte Order Mark), the conversion process may include removal of the BOM. This makes it easier to suppress unintended errors.
As another example, the conversion process may include a process of removing inputs x1 included in the first input data D1 that are not used to generate the learning model M1. The
The
モデル表示部236は、第1の入力データD1に基づき、モデル情報IF1を、学習モデルごとに比較可能な態様で表示部34に表示させる。詳細には、モデル表示部236は、特定された学習器MLのうち、選択により選択された学習器MLを用いて生成されるモデル情報IF1を表示部34に表示させる。
The
モデル情報IF1は、学習モデルM1に関する情報である。例えば、モデル情報IF1は、学習モデルM1の生成に用いられた第1の入力データD1の名称、容量、学習モデルM1が生成された日時などを含みうる。第1の入力データD1の名称とは、例えば、第1の入力データD1のファイル名である。本実施形態では、モデル情報IF1は、少なくとも学習モデルM1の予測精度に関する精度情報を含む。分析手法が回帰分析の場合、精度情報は、例えば、決定係数(R2スコア)、平均二乗誤差(MSE:Means Squared Error)、平均絶対誤差(MAE:Means Absolute Error)、平均二乗偏差(RMSE:Root Mean Squared Error)、二乗平均平方根誤差(RMSE:Root Mean Squared Error)、対数平均二乗誤差(RMLSE:Root Mean Squared Logarithmic Error)、平均絶対パーセント誤差(MAPE:Mean Absolute Percentage Error)などの指標を含む。分析手法が分類分析の場合、精度情報は、正解率(Accuracy)、再現率(Recall)、適合率(Precision)、特異度(Specificity)、F値(F-measure)、重み付きF値、マシューズ相関係数(MCC:Matthews Correlation Coefficient)、カッパ係数(Kappa)、ログ損失(Logloss)、AUC:Area Under the Curve、PR-AUC:Area Under the Precision-Recall curveなどの指標を含む。上記精度情報は、二値分類に用いられるものに限られず、2より大きい他クラス分類に用いられるものであってもよい。分析手法が時系列分析の場合、精度情報は、例えば、変動係数(Coefficient of Variation)、動的時間伸縮法での平均絶対誤差(Dynamic Time Warping MAE)、MAPE、対称平均絶対パーセント誤差(SMAPE:Symmetric MAPE)、加重SMAPE、平均絶対スケール誤差(MASE:Mean Absolute Scaled Error)、MARRE: Mean Absolute Ranged Relative Error、Overall Percentage error、R2、rho-risk RMSLEなどの指標を含む。精度情報は、各パラメータの統計値、例えば、MAEの中央値(MAE median)、MAEの平均値(MAE mean)などを含んでもよい。ある分析手法の指標が、他の分析手法の指標として用いられてもよい。 The model information IF1 is information about the learning model M1. For example, the model information IF1 can include the name and capacity of the first input data D1 used to generate the learning model M1, the date and time when the learning model M1 was generated, and the like. The name of the first input data D1 is, for example, the file name of the first input data D1. In this embodiment, the model information IF1 includes at least accuracy information regarding the prediction accuracy of the learning model M1. When the analysis method is regression analysis, the accuracy information is, for example, the coefficient of determination (R2 score), the mean squared error (MSE), the mean absolute error (MAE), the mean squared deviation (RMSE: Root Mean Squared Error (RMSE), Root Mean Squared Error (RMSE), Logarithmic Mean Squared Logarithmic Error (RMLSE), Mean Absolute Percentage Error (MAPE) or). When the analysis method is classification analysis, the accuracy information includes accuracy, recall, precision, specificity, F value (F-measure), weighted F value, Matthews Including indicators such as the correlation coefficient (MCC: Matthews Correlation Coefficient), the kappa coefficient (Kappa), the log loss (Logloss), AUC: Area Under the Curve, PR-AUC: Area Under the Precision-Recall curve. The accuracy information is not limited to that used for binary classification, and may be used for other class classification greater than two. When the analysis method is time series analysis, the accuracy information is, for example, Coefficient of Variation, Dynamic Time Warping MAE, MAPE, Symmetric Mean Absolute Percentage Error (SMAPE: Symmetric MAPE), Weighted SMAPE, Mean Absolute Scaled Error (MASE), MARRE: Mean Absolute Ranged Relative Error, Overall Percentage error, R2, rho-risk RMSLE. The accuracy information may include statistical values of each parameter, such as MAE median and MAE mean. An index for one analysis method may be used as an index for another analysis method.
処理表示部237は、第1の入力データD1と第2の入力データD2との差異点を認識可能な態様で、表示部34に表示させる。例えば、処理表示部237は、第1の入力データD1と第2の入力データD2との差異点512を、第1の入力データD1と第2の入力データD2との共通点511と異なる態様で表示させる。例えば、処理表示部237は、両者を色彩、形状、模様の少なくとも1つが異なる態様で表示させる。別例として、処理表示部237は、矢印等の所定の目印を、第1の入力データD1と第2の入力データD2の差異点512に対応付けて表示させてもよい。
The
処理条件表示部238は、少なくとも入力された第1の入力データD1と、特定された学習器MLと、に基づき、変換処理が行われる条件を認識可能な態様で表示させる。本実施形態において、変換処理が行われる条件とは、上述した変換条件に相当する。
The processing
モデル表示部236は、第1の入力データD1に基づき、特定された学習器MLが生成する学習モデルM1に関するモデル情報IF1を、学習モデルM1ごとに比較可能な態様で表示部34に表示させる。本実施形態のモデル表示部236は、少なくとも、生成される学習モデルM1ごとの精度情報を比較可能に表示させる。例えば、モデル表示部236は、それぞれの学習モデルM1に関するモデル情報IF1を、表示部34に一覧可能に表示させる。
Based on the first input data D1, the
3.情報処理の詳細
本節では、前述した情報処理システム1において実行される情報処理について説明する。なお、当該情報処理は、アクティビティ図に図示されない、任意の例外処理を含みうる。例外処理は、当該情報処理の中断や、各処理の省略を含む。当該情報処理にて行われる選択又は入力は、ユーザによる操作に基づくものでも、ユーザの操作に依らず自動で行われるものでもよい。
3. Details of Information Processing In this section, information processing executed in the
図5は、情報処理システム1において実行される情報処理の流れの一例を示すアクティビティ図である。図5に示すように、アクティビティA001にて、データ受付部231は、第1の入力データD1の入力を受け付ける。
FIG. 5 is an activity diagram showing an example of the flow of information processing executed in the
次にアクティビティA002にて、学習器特定部232は、第1の入力データD1に応じて複数の学習器MLを特定する。
Next, in activity A002, the
次にアクティビティA003にて、学習器選択受付部233は、アクティビティA002にて特定された学習器MLの選択を受け付ける。
Next, in activity A003, the learner
学習器MLの選択を受け付けた後、処理がアクティビティA004に進み、分析手法選択受付部234は、分析手法の選択を受け付ける。分析手法は、予め定められたものでも、特定され、又は選択された学習器MLに応じて特定されるものでもよい。
After receiving the selection of the learning device ML, the process proceeds to activity A004, and the analysis method
分析手法の選択を受け付けた後、処理がアクティビティA005に進み、制御部23は、分析手法選択受付部234によって選択された学習器MLに応じて、変換処理を特定する。詳細には、制御部23は、さらに、特定され、又は選択された分析手法に基づき、変換処理を特定する。例えば、アクティビティA004にて選択された分析手法が時系列分析である場合、制御部23によって特定される変換処理は、時系列を表す複数の入力x1を1つに結合する変換処理、各データ点の時間間隔が異なる場合、時間間隔を調整するようにデータ点の補完、削除、又は補正を行う変換処理、外部データD0としてのカレンダー情報、気象情報、又は人口統計情報を第1の入力データD1と結合し、時系列を表す入力x1と関連付ける変換処理などを含む。
なお、変換処理の特定は、変換処理を行う必要がない場合などには、行う変換処理がないことを特定することを含みうる。
After receiving the selection of the analysis method, the process proceeds to activity A005, and the
Note that specifying the conversion process may include specifying that there is no conversion process to be performed, for example, when there is no need to perform the conversion process.
制御部23は、当該変換処理が行われる条件、すなわち変換条件を特定してもよい。例えば、制御部23は、少なくとも第1の入力データD1と、アクティビティA002で特定され、又はアクティビティA005で選択された学習器MLと、に基づいて、変換条件を特定してもよい。例えば、制御部23は、第1の入力データD1を示す統計情報に基づき、変換条件を特定する。第1の入力データD1に関する統計情報とは、例えばデータ点の分布、平均値、分散、標準偏差、最大値、最小値、中央値、最頻値、再尤度、共分散、相関係数、R2値などを含む。変換処理が外れ値の除去の場合、制御部23は、あるデータ点と平均値との差分の絶対値が標準偏差の2倍以上である場合、当該データ点を外れ値と判断する。この場合、あるデータ点と平均値との差分の絶対値が標準偏差の2倍以上であることが、変換条件に相当する。
The
次に処理がアクティビティA006に進み、制御部23は、アクティビティA005にて特定された変換処理の選択を受け付ける。
Next, the process proceeds to activity A006, and the
次に処理がアクティビティA007に進み、処理表示部237は、アクティビティA006にて特定された変換処理に関する情報を表示部34に表示させる。変換処理に関する情報とは、例えば、変換処理の具体的内容、変換処理による第1の入力データD1の変化、変換処理によって生成される第2の入力データD2などである。例えば、処理表示部237は、特定された変換処理に基づき、第1の入力データD1と第2の入力データD2との差異点を、ユーザが認識可能な態様で表示部34に表示させる。これにより、ユーザは、第1の入力データD1に対して行われる変換処理の内容を直感的に認識しやすくなる。なお、この段階では第2の入力データD2は、実際に生成されている必要はなく、例えば第1の入力データD1と変換処理とに基づいて生成されることが予想されるものでもよい。
Next, the process proceeds to activity A007, and the
アクティビティA007では、さらに処理条件表示部238が、変換処理が行われる条件を認識可能な態様で表示部34に表示させてもよい。これにより、変換処理のブラックボックス化が抑制される。
In activity A007, the processing
次に処理がアクティビティA008に進み、制御部23は、第1の入力データD1に対して、アクティビティA006にて選択された変換処理を実行する。これにより、第2の入力データD2が生成される。
Next, the process proceeds to activity A008, and the
次に処理がアクティビティA009に進み、制御部23は、第2の入力データD2を、アクティビティA003にて選択された学習器MLのそれぞれに入力する。このとき、制御部23は、選択された分析手法に基づき、学習器MLでの学習アルゴリズムを指定してもよい。これにより、学習器MLのそれぞれは、第1の入力データD1に基づいて学習モデルM1を生成する。詳細には、学習器MLは、第2の入力データD2を用いて学習モデルM1を生成する。なお、学習器MLは、情報処理システム1に含まれる任意の部材に保存されているものでも、情報処理システム1と電気通信回線を介して通信可能な外部装置に保存されているものでもよい。なお、外部装置の図示は省略されている。
Next, the process proceeds to activity A009, and the
次に処理がアクティビティA010に進み、制御部23は、学習器MLのそれぞれから生成される学習モデルM1を取得する。
Next, the process proceeds to activity A010, and the
次に処理がアクティビティA011に進み、モデル表示部236は、モデル情報IF1を表示部34に表示させる。
Next, the process proceeds to activity A011, and the
4.表示部34に表示される内容の一例
本節では、上記情報処理に基づいて表示部34に表示される内容の一例について説明する。本実施形態では、ユーザが、第1の入力データD1を用いて、商品の売上価格の予測を行う場面を用いて説明する。本実施形態の表示部34には、受付ウィンドウ4と、データウィンドウ5と、変換処理ウィンドウ6と、モデル情報表示ウィンドウ7と、モデル検索ウィンドウ8と、モデル比較ウィンドウ9と、が表示され得る。
4. Example of Content Displayed on
4-1.受付ウィンドウ4の一例
まず、受付ウィンドウ4の詳細について説明する。図6は、表示部34に表示される受付ウィンドウ4の一例である。図6に示すように、受付ウィンドウ4は、入力データ受付エリア41と、学習器選択エリア42と、分析手法選択エリア43と、受付操作表示エリア44と、を含む。
4-1. An example of
入力データ受付エリア41には、第1の入力データD1の入力を受け付けるユーザインタフェースが表示される。以下、説明の便宜上、ユーザインタフェースを単にUIという。入力データ受付エリア41は、インポートボタン411と、データ名表示エリア412と、を含む。
The input
ユーザは、インポートボタン411を操作することにより、第1の入力データD1をデータ受付部231に入力する。このとき、データ受付部231は、ユーザによるインポートボタン411の操作に基づき、ユーザによる第1の入力データD1の入力を受け付ける。
The user inputs first input data D<b>1 to
データ名表示エリア412には、入力された第1の入力データD1の名称が表示される。
The data
学習器選択エリア42には、学習モデルM1の生成に用いられる学習器MLを選択可能なUIが表示される。学習器選択エリア42に表示される学習器MLは、学習器特定部232によって、データ受付部231が受け付けた第1の入力データD1に応じて特定される。例えば、学習器特定部232は、第1の入力データD1の容量、フォーマット、識別子に応じて、学習器選択エリア42に表示される学習器MLを特定する。本実施形態の学習器選択エリア42は、データ受付部231が第1の入力データD1の入力を受け付けた場合に学習器MLを選択可能なアクティブ状態となる。
学習器選択エリア42は、予測対象選択エリア421と、複数の学習器表示エリア422と、学習器選択表示エリア423と、第1の受付操作ボタン424と、を含む。
The
The learning
予測対象選択エリア421は、学習モデルM1の出力y1となるパラメータを指定可能に構成されている。予測対象選択エリア421は、例えばプルタブ、リスト、ボタンなど、任意の対応で実現可能である。図6では、出力y1として、売上価格が指定されている。なお、指定される出力y1は1つに限られず、複数であってもよい。
The prediction
学習器表示エリア422には、アクティビティA002にて特定された学習器MLを選択可能なUIが表示される。例えば、学習器表示エリア422には、複数の学習器MLを区別可能な情報が表示される。当該区別可能な情報とは、学習器MLの名称、種類、アルゴリズムなど、任意の情報を含みうる。なお、特定された学習器MLの数が学習器表示エリア422の数より小さい場合、学習器表示エリア422の一部には、学習器MLの情報がないことが表示されてもよい。
A learning
学習器選択表示エリア423には、学習器表示エリア422のそれぞれに対応する学習器MLが選択されているか否かが表示される。学習器選択表示エリア423の具体的態様はユーザが視覚的に把握可能であれば任意である。例えば、学習器選択表示エリア423には、チェックボックスでのチェックの有無、色彩の変化、濃淡の変化、枠線の変化などが表示される。
The learning device
第1の受付操作ボタン424は、ユーザの操作により、選択された学習器MLで後述する分析手法の選択を行うか否かを決定可能なUIである。分析手法の選択を行わないための操作が行われた場合、例えば、学習器選択エリア42に代わり入力データ受付エリア41がアクティブとなり、再度第1の入力データD1の受付が可能となる。
The first
一方、第1の受付操作ボタン424に対して分析手法の選択を行うための操作が行われた場合、分析手法選択エリア43がアクティブになる。分析手法選択エリア43には、ユーザが分析手法を選択可能なUIが表示される。分析手法選択エリア43は、分析手法選択ボタン431と、モデル名表示エリア432と、第2の受付操作ボタン433と、を含む。
On the other hand, when an operation for selecting an analysis method is performed on the first
分析手法選択ボタン431は、ユーザによる操作に応じて、分析手法の選択を受付可能に構成されている。分析手法選択ボタン431は、例えばユーザのクリック操作、タップ操作、フリック操作を受付可能に構成されている。本実施形態では、分析手法選択ボタン431は、設定されている分析手法の数に応じて複数存在する。選択されている分析手法選択ボタン431の表示態様は、選択されていない分析手法選択ボタン431の表示態様と異なっていてもよい。これにより、ユーザは、どの分析手法が選択されているかを把握しやすくなる。
The analysis
モデル名表示エリア432は、入力データ受付エリア41で受け付けられた第1の入力データD1と、学習器選択エリア42にて選択された学習器MLと、分析手法選択エリア43で選択された分析手法と、に基づき生成される学習モデルM1の名称を表示可能に構成されている。なお、モデル名表示エリア432は、ユーザが当該学習モデルM1の名称を入力可能に構成されていてもよい。
The model
第2の受付操作ボタン433は、ユーザが上記学習モデルM1の生成を行うか否かを決定可能に構成されている。第2の受付操作ボタン433の操作に基づき学習モデルM1の生成を行わない決定がされた場合、分析手法選択エリア43に代えて、入力データ受付エリア41又は学習器選択エリア42がアクティブとなる。
The second
4-2.データウィンドウ5の一例
一方、第2の受付操作ボタン433の操作に基づき学習モデルM1の生成を行う決定がされた場合、データウィンドウ5及び変換処理ウィンドウ6が表示部34に表示される。図7は、表示部34に表示されるデータウィンドウ5及び変換処理ウィンドウ6の一例である。
4-2. Example of
データウィンドウ5は、第1の入力データD1に関する情報を表示可能に構成されている。第1の入力データD1に関する情報とは、例えば、第1の入力データD1の名称、第1の入力データD1のデータ点の数、容量、第1の入力データD1に含まれるデータ点の内容などである。データウィンドウ5は、変数名表示エリア50と、集計グラフ表示エリア51と、集計情報表示エリア52と、個別情報表示エリア53と、を含む。
The
変数名表示エリア50では、第1の入力データD1に含まれる入力x1を識別可能な情報が表示される。例えば、変数名表示エリア50では、第1の入力データD1から入力x1のそれぞれの名称に相当する情報が表示される。
In the variable
集計グラフ表示エリア51では、入力データ視覚情報が表示される。入力データ視覚情報は、第1の入力データD1に関する情報が視覚的に表示されたものである。入力データ視覚情報は、例えばヒストグラム、折れ線グラフ、円グラフ、又はバブルチャートなどを用いて表示される。入力データ視覚情報は、これらの組み合わせを用いて表示されてもよい。例えば、入力データ視覚情報は、第1の入力データD1の統計情報を含む。詳細には、入力データ視覚情報は、入力x1ごとの第1の入力データD1の統計情報を含む。本実施形態では、入力データ視覚情報は、第1の入力データD1のデータ点の分布のヒストグラムとして集計情報表示エリア52に表示されている。また、入力データ視覚情報は、これらの表示態様の組み合わせとして集計情報表示エリア52に表示されてもよい。例えば、上記ヒストグラム及び上記折れ線グラフは、集計情報表示エリア52に一覧可能に表示されていてもよい。また、上記ヒストグラム及び上記折れ線グラフは、集計情報表示エリア52に重畳して表示されていてもよい。
集計グラフ表示エリア51では、第1の入力データD1と第2の入力データD2との差異点512を認識可能な態様で表示されている。差異点512は、第1の入力データD1と第2の入力データD2との差分に対応するともいえる。第1の入力データD1と第2の入力データD2との差異点512は、第1の入力データD1と第2の入力データD2との共通点511と異なる態様で表示される。例えば、処理表示部237は、両者を色彩、形状、模様の少なくとも1つが異なる態様で表示させる。別例として、処理表示部237は、矢印等の所定の目印を、第1の入力データD1と第2の入力データD2の差異点512に対応付けて表示させてもよい。
Input data visual information is displayed in the total
In the total
集計情報表示エリア52では、第1の入力データD1に関する統計情報が表示されている。集計情報表示エリア52にて表示される統計情報は、例えば最大値、最小値、平均値、標準偏差である。また、当該統計情報は、第1の入力データD1の欠損値の数を表示してもよい。統計情報は、数値や文字列として表示されても、ヒストグラムなどの視覚情報として表示されてもよい。
In the total
個別情報表示エリア53では、第1の入力データD1に含まれるデータ点の情報が表示される。詳細には、個別情報表示エリア53では、入力x1ごとのデータ点の情報が表示される。個別情報表示エリア53での表示態様は任意であるが、例えば、入力x1ごとのデータ点の情報が、テーブル形式で表示される。
In the individual
4-3.変換処理ウィンドウ6について
変換処理ウィンドウ6では、少なくとも、第1の入力データD1に対して行う変換処理に関する情報が表示される。本実施形態では、変換処理ウィンドウ6は、データウィンドウ5と一覧可能に表示されるが、データウィンドウ5と別々に表示されてもよい。変換処理ウィンドウ6の表示モードは、第1の表示モード6aと、第2の表示モード6bと、を含む。第1の表示モード6aでは、変換処理ウィンドウ6は、第1の入力データ情報表示エリア61と、生成条件表示エリア62と、自動変換処理表示エリア63と、処理条件表示エリア64と、第1の処理実行ボタン65と、手動変換移行ボタン66と、処理保存ボタン67と、を含む。
4-3. Concerning
第1の入力データ情報表示エリア61には、第1の入力データD1又は第2の入力データD2に関する情報が表示される。本実施形態では、変換処理によって生成される第2の入力データD2に関する情報が表示される。第2の入力データD2に関する情報とは、例えば、第2の入力データD2の容量、第2の入力データD2のサイズ、第1の入力データD1と第2の入力データD2との容量の差分などである。
Information about the first input data D1 or the second input data D2 is displayed in the first input data
生成条件表示エリア62には、学習モデルM1の生成条件が表示される。学習モデルM1の生成条件とは、例えば、予測対象選択エリア421にて選択された予測対象、学習器表示エリア422にて選択された学習器ML、学習器MLで用いられるアルゴリズムなど任意である。
The generation
自動変換処理表示エリア63は、処理表示部237で特定される自動変換処理の内容を表示する。変換処理の内容とは、例えば、第1の入力データD1の一部の削除、欠損値の補完、外れ値の削除、第1の入力データD1の規格化などである。第1の入力データD1の一部の削除とは、説明変数として用いられる可能性の低い入力x1を削除することである。このような入力x1としては、例えば各データ点のID番号などである。なお、データウィンドウ5にて表示される第1の入力データD1のうち、変換処理による変更部分は、インジケータL1によって示唆される。インジケータL1は、例えば色彩、形状、模様の差異に基づいて、変換処理によって変更部分を示唆する。インジケータL1は、変更部分に対応する領域を、他の領域と異なる輪郭線で示唆するものでもよい。
The automatic conversion
処理条件表示エリア64には、自動変換処理表示エリア63にて表示される自動変換処理の変換条件が表示される。詳細には、処理条件表示エリア64には、自動変換処理のそれぞれに対応する変換条件が、当該自動変換処理ごとに表示される。
The processing
第1の処理実行ボタン65は、制御部23に自動変換処理表示エリア63に表示された自動変換処理を実行させるためのUIである。ユーザは、第1の処理実行ボタン65を操作することによって制御部23に当該自動変換処理を実行させることができる。
The first
手動変換移行ボタン66は、ユーザの操作に応じて、変換処理ウィンドウ6の表示モードを第1の表示モード6aから第2の表示モード6bに遷移させるものである。第2の表示モード6bは、ユーザが手動で変換処理を指定可能な表示モードである。図8は、第2の表示モード6bの場合に表示部34に表示される変換処理ウィンドウ6の一例を示す図である。手動変換移行ボタン66が操作されることにより、変換処理ウィンドウ6は、手動変換処理指定エリア661と、手動変換処理保存エリア662と、を含む表示モードに遷移する。このとき、処理条件表示エリア64及び第1の処理実行ボタン65が非表示となってもよい。これにより、ユーザが手動での変換処理の指定に重要度の低い表示を減らし、操作の便宜の向上を図ることができる。
The manual
手動変換処理指定エリア661は、自動変換処理と異なる変換処理をユーザが指定可能に構成されている。以下、説明の便宜上、手動変換処理指定エリア661にて指定された変換処理を、手動変換処理という。例えば、変換処理が外れ値の除去の場合、手動変換処理指定エリア661には外れ値の候補が表示される。ユーザは、当該候補のなかから変換処理で除去されるものを指定する。また、変換処理が欠損値の補完の場合、手動変換処理指定エリア661には、自動変換処理で補完される欠損値の候補が表示される。ユーザは、当該候補のなかから変換処理で補完されるものを指定する。これらの指定は、例えば、手動変換処理保存エリア662に含まれるチェックボックス、スライダー、ボタンなどの視覚情報に対する操作によって実現可能である。
The manual conversion
なお、指定された手動変換処理を含む変換処理によって生成される第2の入力データD2が変化することがある。この場合、手動変換処理を含む変換処理によって生成される第2の入力データD2と、第1の入力データD1と、の共通点511及び差異点512は、集計グラフ表示エリア51に表示されてもよい。また、集計グラフ表示エリア51には、手動変換処理前後での第2の入力データD2の差異点が、上述した共通点511及び差異点512と異なる態様で表示されてもよい。これにより、ユーザは、指定した手動変換処理の内容を視覚的に把握可能となる。また、当該表示は、手動変換処理の指定と連動して行われることが好ましい。これにより、手動変換処理の指定が第1の入力データD1に与える影響の把握が容易となる。
Note that the second input data D2 generated by the conversion process including the designated manual conversion process may change. In this case, the points of
手動変換処理保存エリア662は、ユーザによる操作に基づき、手動変換処理を保存するか否かを決定可能なUIである。手動変換処理を保存しない決定が行われた場合、当該手動変換処理が破棄される。その後、変換処理ウィンドウ6の表示モードが第2の表示モード6bから第1の表示モード6aに遷移する。一方、手動変換処理を保存する決定が行われた場合、当該手動変換処理が変換処理として更新される。その後、変換処理ウィンドウ6の表示モードが第2の表示モード6bから第1の表示モード6aに遷移する。
The manual conversion
処理保存ボタン67は、ユーザの操作に基づいて変換処理の内容を保存するか否かを決定可能なUIである。変換処理の内容を保存しない決定がされた場合、制御部23は、第1の入力データD1に対して変換処理を行わず、情報処理を終了する。このとき、制御部23は、表示部34に、再度受付ウィンドウ4を表示させてもよい。
The process save
一方、変換処理の内容を保存する決定がされた場合、第1の入力データD1に対して変換処理が実行される。この場合、手動変換処理の指定が行われていた場合、第1の入力データD1に対して手動変換処理が行われる。一方、手動変換処理の指定が行われていない場合、第1の入力データD1に対して自動変換処理が行われる。これにより、第2の入力データD2が生成される。なお、生成された第2の入力データD2は、記憶部22に保存されてもよい。その後、学習条件に基づいて第2の入力データD2を、特定された学習器MLのそれぞれに入力することで、学習器MLのそれぞれから学習モデルM1が生成される。その後、学習モデルM1についてのモデル情報表示ウィンドウ7が表示部34に表示される。
On the other hand, when it is decided to save the contents of the conversion process, the conversion process is executed on the first input data D1. In this case, if the manual conversion process has been specified, the manual conversion process is performed on the first input data D1. On the other hand, when manual conversion processing is not specified, automatic conversion processing is performed on the first input data D1. Thereby, the second input data D2 is generated. Note that the generated second input data D<b>2 may be stored in the
4-4.モデル情報表示ウィンドウ7について
次に、表示部34に表示されるモデル情報表示ウィンドウ7の一例について説明する。図9は、表示部34に表示されるモデル情報表示ウィンドウ7の一例を示す図である。モデル情報表示ウィンドウ7には、生成された学習モデルM1に関する情報が表示される。本実施形態では、生成された学習モデルM1の1つに関する情報が表示される。モデル情報表示ウィンドウ7は、第2の入力データ情報表示エリア71と、モデル情報表示エリア72と、シミュレーション実行ボタン73と、を含む。
4-4. Model
第2の入力データ情報表示エリア71には、学習器MLに入力された入力データに関する情報が表示される。本実施形態では、第2の入力データD2に関する情報が表示される。例えば、第2の入力データ情報表示エリア71には、第2の入力データD2の容量、サイズなどが表示される。
The second input data
モデル情報表示エリア72には、生成された学習モデルM1に関するモデル情報IF1が表示される。本実施形態では、モデル情報表示エリア72には、少なくとも学習モデルM1の予測精度に関する精度情報を含む。モデル情報表示エリア72は、複数の精度情報表示エリア721と、寄与度表示エリア722と、寄与度一覧表示ボタン725と、を含む。
The model
精度情報表示エリア721には、学習モデルM1の精度情報が表示される。本実施形態では、精度情報表示エリア721のそれぞれには、異なる精度情報が表示される。具体的には、精度情報表示エリア721のそれぞれには、決定係数、平均二乗誤差、平均二乗偏差が、個別に表示されている。精度情報表示エリア721には、各精度情報の数値、各精度情報の意味、各精度情報の評価方法、各精度情報の改善方法などが表示されうる。
Accuracy information of the learning model M1 is displayed in the accuracy
寄与度表示エリア722には、学習モデルM1の説明変数、すなわち、学習モデルM1の生成に用いられた入力x1ごとの出力y1への寄与度が表示される。寄与度は、例えば学習モデルM1における入力x1ごとの係数に基づいて導出される。寄与度は、増加寄与度と減少寄与度とを含む。増加寄与度は、入力x1の寄与度のうち出力y1の増加に関与する成分である。減少寄与度は、入力x1の寄与度のうち出力y1の減少に関与する成分である。この場合、学習モデルM1における入力x1ごとの係数は、増加寄与度に対応する成分と、減少寄与度に対応する成分と、を含みうる。寄与度表示エリア722は、増加寄与度が表示される増加寄与度表示エリア723と、減少寄与度が表示される減少寄与度表示エリア724と、を含む。
The contribution
増加寄与度表示エリア723及び減少寄与度表示エリア724には、増加寄与度と減少寄与度とが区別可能に表示される。また、増加寄与度表示エリア723及び減少寄与度表示エリア724には、増加寄与度と減少寄与度とが比較可能に表示される。例えば、増加寄与度表示エリア723及び減少寄与度表示エリア724には、増加寄与度と減少寄与度とが横棒グラフとして比較可能かつ一覧可能に表示される。本実施形態では、寄与度表示エリア722には、全部の入力x1のうちの一部の寄与度が表示される。具体的には、寄与度表示エリア722には、全部の入力x1のうち、寄与度が高いものから順に所定の序数、例えば5番目、までのものが表示される。これにより、ユーザは、が出力y1に影響を与えやすい入力x1を認識しやすくなる。
In the increased
寄与度一覧表示ボタン725は、全部の入力x1のうちの一部の寄与度のみが表示されている場合に、ユーザによる操作に基づいて入力x1の寄与度の表示数を増加させるUIである。寄与度一覧表示ボタン725の操作に基づいて、全部の入力x1の寄与度が表示されてもよい。
The contribution degree
シミュレーション実行ボタン73は、ユーザによる操作に基づいて、学習モデルM1を用いた予測シミュレーションを実行するためのUIである。例えば、予測シミュレーションは、所定の条件を満たす出力y1に対応する入力x1の探索である。所定の条件とは、例えば、出力y1が予め定められた閾値以上となることや、所定の試行回数において出力y1が最大又は最大となること、などである。入力x1が学習モデルM1に入力されると、出力y1が得られる。このとき、予め定められた定義域内で入力x1を変化させることで、入力x1の変化に応じて出力y1が変化する。これにより、出力y1が所定の条件を満たす場合における入力x1が導出される。例えば、出力y1が売上価格である場合で、所定の条件が売上価格の最大化の場合、ユーザは、当該予測シミュレーションにより、売上価格が最大となる入力x1を得ることができる。
The
4-5.モデル検索ウィンドウ8及びモデル比較ウィンドウ9について
制御部23は、表示部34にモデル検索ウィンドウ8及びモデル比較ウィンドウ9を表示させてもよい。図10は、表示部34に表示されたモデル検索ウィンドウ8及びモデル比較ウィンドウ9の一例である。
4-5.
モデル検索ウィンドウ8は、過去に生成された学習モデルM1を検索可能なUIを含む。具体的には、モデル検索ウィンドウ8は、検索条件入力エリア81と、検索結果表示エリア82と、検索ウィンドウ終了ボタン83と、を含む。
The
検索条件入力エリア81は、検索に用いられる検索条件を受付可能に構成されている。検索条件は、例えば、学習モデルM1の名称、アルゴリズム、出力y1の名称などのキーワード、学習モデルM1の学習条件、学習モデルM1が生成された時期など、任意である。また、検索条件入力エリア81は、ユーザによる操作に基づいて、受け付けられた検索条件をもとに学習モデルM1の検索を実行可能に構成されている。
The search
検索結果表示エリア82には、検索条件入力エリア81が受け付けた検索条件に基づく検索結果が表示される。検索結果表示エリア82には、検索条件に適合する過去の学習モデルM1が一覧可能に表示される。検索結果表示エリア82には、当該過去の学習モデルM1のモデル情報IF1の少なくとも一部がユーザに視認可能に表示されていてもよい。これにより、検索結果の一覧性が向上する。検索結果表示エリア82に表示される過去の学習モデルM1は、ユーザにより指定可能に構成されている。ユーザによる学習モデルM1の指定は、チェックボックス等のインジケータにより視認可能に表示される。以下、説明の便宜上、検索結果表示エリア82にて指定された学習モデルM1を、指定学習モデルM2という。
The search
検索ウィンドウ終了ボタン83は、ユーザの操作に基づき過去の学習モデルM1の検索を終了するUIである。
The search
モデル比較ウィンドウ9では、指定学習モデルM2のモデル情報IF1を比較可能に表示される。モデル比較ウィンドウ9は、比較モデル表示エリア91と、パラメータ選択エリア92と、比較結果表示エリア93と、シミュレーション実行ボタン94と、を含む。
In the model comparison window 9, the model information IF1 of the designated learning model M2 is displayed so as to be comparable. The model comparison window 9 includes a comparison
比較モデル表示エリア91では、検索結果表示エリア82にて指定された学習モデルM1のモデル情報IF1の少なくとも一部が表示される。比較モデル表示エリア91では、ユーザが、比較モデル表示エリア91に表示される指定学習モデルM2のうちの1つを指定可能に構成されている。
In the comparison
パラメータ選択エリア92では、ユーザが指定学習モデルM2の生成及び評価に用いられるパラメータを選択可能に構成されている。本実施形態では、2つのパラメータを選択可能に構成されている。指定学習モデルM2の生成及び評価に用いられるパラメータは、モデル情報IF1に含まれる各種精度情報や、指定学習モデルM2の学習条件などが含まれる。以下、説明の便宜上、パラメータ選択エリア92にて選択されるパラメータを、選択パラメータという。
The
比較結果表示エリア93では、指定学習モデルM2のそれぞれの選択パラメータを一覧可能な視覚情報が表示される。視覚情報とは、例えば、散布図、ヒストグラム、相関図、三次元プロット図など、任意である。これにより、指定学習モデルM2の精度比較を容易に行うことができる。
In the comparison
シミュレーション実行ボタン94は、ユーザによる操作に基づき、指定学習モデルM2を用いた予測シミュレーションを実行するUIである。予測シミュレーションに用いられる指定学習モデルM2は、例えば比較モデル表示エリア91にて指定される指定学習モデルM2である。
The
本実施形態では、モデル比較ウィンドウ9は、モデル検索ウィンドウ8と一覧可能に表示されている。これにより、検索結果と指定学習モデルM2との比較が容易となる。
In this embodiment, the model comparison window 9 is displayed so as to be viewable with the
5.その他
前述の実施形態に係る情報処理システム1に関して、以下のような態様を採用してもよい。
5. Others Regarding the
第1の入力データD1及び第2の入力データD2は、それぞれ外部データD0としてデータベースDB1に記憶されてもよい。これらの外部データD0は、所定の条件のもと、他のユーザに提供可能であってもよい。 The first input data D1 and the second input data D2 may each be stored in the database DB1 as the external data D0. These external data D0 may be provided to other users under predetermined conditions.
制御部23は、データウィンドウ5、変換処理ウィンドウ6、モデル情報表示ウィンドウ7の少なくとも1つに、第1の入力データD1に対して行われた変換処理の履歴、いわゆる変換処理のバージョン、を表示させてもよい。これにより、変換処理と精度情報との関係性の類推が容易となる。また、制御部23は、変換処理のバージョンの管理を行ってもよい。
The
制御部23は、例えば、第1の入力データD1が所定の品質条件を満たさない場合、表示部34に警告を表示させてもよい。品質条件とは、例えば、第1の入力データD1のデータ点の数、容量、外れ値の割合などである。品質条件を満たさない場合とは、例えば、第1の入力データD1のデータ点の数が所定の値未満である場合、第1の入力データD1の外れ値が所定の基準数より多い場合などである。当該警告は、受付ウィンドウ4、データウィンドウ5、変換処理ウィンドウ6、モデル情報表示ウィンドウ7、モデル検索ウィンドウ8、及びモデル比較ウィンドウ9のうちの少なくとも1つでも、それ以外のウィンドウでもよい。なお、当該警告は、表示部34に表示されるものに限られず、音、振動、光など任意の態様で実現可能である。
For example, when the first input data D1 does not satisfy a predetermined quality condition, the
情報処理装置2は、オンプレミス形態であってもよく、クラウド形態であってもよい。クラウド形態の情報処理装置2としては、例えば、SaaS(Software as a Service)、クラウドコンピューティングという形態で、上述の機能や処理を提供してもよい。
The
以上の実施形態では、情報処理装置2が種々の記憶・制御を行ったが、情報処理装置2に代えて、複数の外部装置が用いられてもよい。すなわち、ブロックチェーン技術等を用いて、第1の入力データD1、第2の入力データD2、学習モデルM1を分散して複数の外部装置に記憶させてもよい。
In the above embodiment, the
次に記載の各態様で提供されてもよい。 It may be provided in each aspect described below.
(2)前記情報処理システムにおいて、前記モデル情報は、少なくとも前記学習モデルの予測精度に関する精度情報を含み、前記モデル表示ステップでは、生成される前記学習モデルごとの前記精度情報を比較可能に表示させる、もの。 (2) In the information processing system, the model information includes at least accuracy information about the prediction accuracy of the learning model, and the model display step displays the accuracy information for each of the generated learning models in a comparable manner. ,thing.
このような構成によれば、ユーザは第1の入力データに適した学習モデルを、精度情報に基づき判断することが可能となる。したがって、ユーザに要求されるデータサイエンスに関する知見の水準を、さらに下げることができる。 With such a configuration, the user can determine a learning model suitable for the first input data based on the accuracy information. Therefore, the level of knowledge about data science required of users can be further lowered.
(3)前記情報処理システムにおいて、さらに、学習器選択受付ステップでは、特定された前記学習器に対する選択をユーザより受け付け、前記モデル表示ステップでは、特定された前記学習器のうち、前記選択により選択された前記学習器を用いて生成される前記モデル情報を表示させる、もの。 (3) In the information processing system, the learner selection accepting step further accepts a selection of the identified learner from the user, and the model display step selects one of the identified learners by the selection. displaying the model information generated using the learned learner.
このような構成によれば、ユーザは、ユーザ自身の利用態様に合わせて、学習モデルを生成させる学習器を選択することができるため、利便性の向上を図ることができる。 According to such a configuration, the user can select a learning device for generating a learning model in accordance with the user's usage mode, thereby improving convenience.
(4)前記情報処理システムにおいて、さらに、データ処理ステップでは、入力された前記第1の入力データを、特定された前記学習器に入力可能な態様である第2の入力データに変換する変換処理を実行し、前記モデル情報は、前記学習器によって前記第2の入力データを用いて生成される前記学習モデルに関する、もの。 (4) In the information processing system, further, in the data processing step, a conversion process of converting the input first input data into second input data in a form that can be input to the specified learning device. wherein the model information relates to the learning model generated by the learner using the second input data.
このような構成によれば、ユーザが第1の入力データを、特定された学習器のそれぞれに入力可能な第2の入力データに変換する労力を軽減することができる。 According to such a configuration, it is possible to reduce the user's effort to convert the first input data into the second input data that can be input to each of the identified learners.
(5)前記情報処理システムにおいて、さらに、処理表示ステップでは、前記第1の入力データと前記第2の入力データとの差異点を認識可能な態様で表示させる、もの。 (5) In the information processing system, further, in the process display step, a difference between the first input data and the second input data is displayed in a recognizable manner.
このような構成によれば、ユーザは、第1の入力データと第2の入力データとの差異点に基づき、変換処理を把握することができる。したがって、ユーザにとって学習モデルがブラックボックス化する可能性を低減することができる。 According to such a configuration, the user can understand the conversion process based on the difference between the first input data and the second input data. Therefore, it is possible to reduce the possibility that the learning model becomes a black box for the user.
(6)前記情報処理システムにおいて、さらに、処理条件表示ステップでは、少なくとも入力された前記第1の入力データと、特定された前記学習器と、に基づき、前記変換処理が行われる条件を認識可能な態様で表示させる、もの。 (6) In the information processing system, further, in the processing condition display step, the conditions for performing the conversion processing can be recognized based on at least the input first input data and the specified learning device. A thing that is displayed in a suitable manner.
このような構成によれば、ユーザは、変換処理が行われる根拠を条件として認識することができるため、学習モデルがブラックボックス化する可能性をさらに低減することができる。 According to such a configuration, the user can recognize the grounds for the conversion process as a condition, thereby further reducing the possibility of the learning model becoming a black box.
(7)前記情報処理システムにおいて、さらに、分析手法選択受付ステップでは、複数の分析手法のうちの前記学習モデルの生成に用いられる少なくとも1つの選択を受け付ける、もの。 (7) In the information processing system, further, the analysis method selection receiving step receives selection of at least one of the plurality of analysis methods to be used for generating the learning model.
このような構成によれば、ユーザが学習モデルの利用態様に応じて分析手法を選択することができるため、さらなる利便性の向上を図ることができる。 According to such a configuration, the user can select the analysis method according to the usage mode of the learning model, so it is possible to further improve the convenience.
(8)前記情報処理システムにおいて、前記分析手法は、分類分析、回帰分析、及び時系列分析のうちの少なくとも1つを含む、もの。 (8) In the information processing system, the analysis method includes at least one of classification analysis, regression analysis, and time series analysis.
このような構成によれば、分析手法のなかでも特に汎用性の高い、分類分析、回帰分析、及び時系列分析のうちの少なくとも1つを用いることが可能となるため、さらなる利便性の向上を図ることができる。 According to such a configuration, it is possible to use at least one of classification analysis, regression analysis, and time series analysis, which are particularly versatile among analysis methods, further improving convenience. can be planned.
(9)前記情報処理システムにおいて、前記第1の入力データは、少なくともユーザが保有する保有データを含む、もの。 (9) In the information processing system, the first input data includes at least held data held by a user.
このような構成によれば、保有データに含まれるユーザ固有の条件が学習モデルに反映可能となるため、さらなる予測精度の向上を図ることができる。 According to such a configuration, the user-specific conditions included in the held data can be reflected in the learning model, so that the prediction accuracy can be further improved.
(10)前記情報処理システムにおいて、前記第1の入力データは、少なくとも構造化データを含む、もの。 (10) In the information processing system, the first input data includes at least structured data.
このような構成によれば、第1の入力データの構造に基づき、学習モデルの予測精度のさらなる向上を図ることができる。 According to such a configuration, it is possible to further improve the prediction accuracy of the learning model based on the structure of the first input data.
(11)情報処理方法であって、前記情報処理システムの各ステップを含む、もの。 (11) An information processing method, comprising steps of the information processing system.
(12)情報処理プログラムであって、コンピュータに、前記情報処理システムの各ステップを実行させる、もの。
もちろん、この限りではない。
(12) An information processing program that causes a computer to execute each step of the information processing system.
Of course, it is not limited to this.
さらに、以下のような観点にも留意されたい。 Furthermore, the following points should also be noted.
深層学習(Deep Learning、DL)をはじめとする機械学習(Machine Learning、ML)の技術を様々な局面で利用しようとする動きが加速し、一種のブームとも言える状況が生まれている。しかしこのような盛り上がりに反し、ML導入のプロジェクトの85%が失敗し、MLやAI(Artificial Intelligence、人工知能)技術を活用できている企業は10%、情報系企業ですら17%にとどまると言われる。 The movement to use deep learning (DL) and other machine learning (machine learning, ML) technologies in various situations is accelerating, creating a situation that can be called a kind of boom. However, contrary to this excitement, 85% of ML introduction projects have failed, 10% of companies are able to utilize ML and AI (Artificial Intelligence) technology, and only 17% of information companies. It is said.
これには様々な原因がある。第1にMLやAIがいかなる問題に対して有効かの理解が簡単ではないこと、第2にMLを使うためにはどういうデータを用意すればよいのか、どのようにデータの加工と前処理をすればよいのかが経験と勘に依存すること、第3にデータを大量に準備することが容易ではないこと、第4にMLやAIのモデルをどう構築したらよいのかの理解が簡単ではなく、しかも経験と勘に依存すること、第5にMLの一手法であるDLからなぜ欲する出力を得られるのかの理解が困難なこと、第6に以上のように理解が進まない結果として満足できる性能を得ることができないことなどが挙げられる。 There are various causes for this. First, it is not easy to understand what problems ML and AI are effective against. Second, what kind of data should be prepared to use ML, and how to process and preprocess data. What to do depends on experience and intuition. Third, it is not easy to prepare a large amount of data. Fourth, it is not easy to understand how to build an ML or AI model. Moreover, it depends on experience and intuition. Fifth, it is difficult to understand why the desired output can be obtained from DL, which is a method of ML. and the fact that it is not possible to obtain
上述のとおり、MLを成功裏に活用するためには様々な障害が存在する反面、インターネット上には多くのMLサービスやAIサービスが存在し、どれを使えばよいのか分からないというカオス的状況にもある。 As mentioned above, there are various obstacles to the successful utilization of ML, but on the other hand, there are many ML services and AI services on the Internet, and it is a chaotic situation where you do not know which one to use. There is also
その上、上記のMLサービス、AIサービスを使いこなすためにはたくさんのパラメータを入力しなければならず、パラメータの意味の理解も難しく、MLやAIの専門家でなければ使いこなせないという現実も存在する。いわば、MLサービスやAIサービスは専門家以外にも使える民主化されたサービスとはなっていなかった。 In addition, in order to use the above ML and AI services, many parameters must be entered, and it is difficult to understand the meaning of the parameters, and there is a reality that only ML and AI experts can use them. . In other words, ML services and AI services were not democratized services that could be used by non-specialists.
前述の状況を鑑み、専門的な知識を有していなくても使いこなすことができ、入力データを準備さえすれば3ステップでMLサービスを使うことができ、得られた結果に対する解析を提供し、さらには予測も行うことのできる技術を提供することにより、誰でもMLサービスを利用できる環境を創出することが本発明の目的である。これによりMLサービスが民主化される。 In view of the above-mentioned situation, it is possible to use ML services without specialized knowledge, and if you prepare input data, you can use ML services in 3 steps, and provide analysis of the obtained results, Furthermore, it is an object of the present invention to create an environment in which anyone can use ML services by providing a technique that can also perform prediction. This democratizes ML services.
上記課題を解決するための技術的思想は、インターネット上に存在する多くのML(以下AutoMLと呼ぶ)サービスへ接続するためのラッピング・インターフェースシステムを提供することである。これにより、データの収集、前処理、アップロードなどのデータ準備(ステップ1)、モデル構築と複数のMLの並行的実行(ステップ2)、各MLの性能比較と実業務への導入(ステップ3)の3ステップでMLの導入が可能となる。 A technical idea for solving the above problems is to provide a wrapping interface system for connecting to many ML (hereinafter referred to as AutoML) services existing on the Internet. As a result, data preparation such as data collection, preprocessing, and uploading (step 1), model construction and parallel execution of multiple MLs (step 2), performance comparison of each ML and introduction to actual work (step 3) It is possible to introduce ML in the following three steps.
そのためにまずアカウント設定やパラメータ入力手順等を一元化し、次に各AutoMLへとフォーマット変換を施す。これにより10~15ステップが必要であったアカウント作成を3ステップで行うことが可能となる。 For this purpose, the account setting, parameter input procedure, etc. are first unified, and then format conversion is applied to each AutoML. This makes it possible to create an account in 3 steps, which used to take 10 to 15 steps.
次に、社内外のデータを収集する。このために必要な社内外データへのアクセスポイントに対して自動的に、あるいはユーザーの介入と補助を得ながら接続が行なわれ、データが収集される。 Next, collect internal and external data. The necessary access points to internal and external data for this are connected automatically or with user intervention and assistance, and the data is collected.
続いて、入力データの加工を行う。以下に限られないが、これにはデータのクレンジングとして日付データなどの形式の一元的形式への変換、欠損の多いデータ項目の処理などを行い、原データから統計的処理を含む前処理を適用して目的に適したデータに変換すること、クエリを使用してデータ抽出やデータ結合などを行うことなどが含まれる。 Next, the input data is processed. This includes, but is not limited to, data cleansing such as conversion to a unified format such as date data, processing data items with many missing points, and applying preprocessing including statistical processing from the original data. and transforming it into data suitable for the purpose, and using queries to perform data extraction, data merging, etc.
このとき、必要に応じて加工後のデータを表示して確認と修正を行ってもよい。 At this time, if necessary, the processed data may be displayed for confirmation and correction.
次に、MLモデルの準備を行う。インターネット上に存在する各種MLサービスの利用に限られず、GUI(Graphical User Interface)ベースによってプログラミングを行わずに独自モデルを構築する方法、インターネット上に存在する各種MLサービスの修正を行って独自モデルを構築する方法、および既に構築されているがインターネット上には公開されていないMLモデルを本発明システムへインポートを行う方法等によって行われる。 Next, prepare the ML model. It is not limited to the use of various ML services that exist on the Internet, but also a method of constructing an original model without programming based on a GUI (Graphical User Interface), and modifying various ML services that exist on the Internet to create an original model. This is done by a method of constructing and a method of importing an ML model that has already been constructed but has not been published on the Internet into the system of the present invention.
さらには、プログラミングすることなく、MLや統計分析を可能にする機能も提供される。加えて、どのようなテンプレートでモデル構築を行えば精度の高いモデルが構築できるかについて、入力データからリコメンドする機能も提供される。 It also provides functionality that enables ML and statistical analysis without programming. In addition, a function is also provided to recommend from the input data what kind of template should be used to build a model with high accuracy.
MLに入力されるデータを学習データと予測データに分割し、学習データによって学習したMLに予測データを入力してもよい。予測データはML性能比較等のためにこれ以降使われる。 The data input to the ML may be divided into learning data and prediction data, and the prediction data may be input to the ML that has been learned using the learning data. The prediction data is used hereafter for ML performance comparisons, etc.
入力データとMLモデルの準備が終了したら、学習データを用いて学習が開始される。
このとき複数のMLを並行的に実行させてもよい。
Once the input data and the ML model have been prepared, training is started using the learning data.
At this time, multiple MLs may be executed in parallel.
学習が終わったら、予測データが自動的あるいはユーザーの指示によって各MLサービスに投入され、結果を得る。このとき複数のAutoMLが並行的に実行されていれば、即座に性能比較ができる。 After training, predictive data is injected into each ML service automatically or by user's instruction to obtain results. If multiple AutoMLs are executed in parallel at this time, the performance can be compared immediately.
各AutoMLサービスの結果を表示する。これにはグラフィカルな可視化を含み、各MLサービスの予測精度レベル(決定係数)、項目の寄与度の比較などが表示される。 View the results for each AutoML service. This includes graphical visualizations showing the level of prediction accuracy (coefficient of determination) for each ML service, comparison of item contributions, etc.
上記のデータ収集~結果の表示と比較までを繰り返し、実業務に投入が可能だとユーザーによって判断されたら、運用が開始される。 The above data collection, display and comparison of results are repeated, and when the user decides that it can be put into actual work, the operation is started.
運用において、用意されたAPI(Application Program Interface)によってアプリケーションプログラムから本システムへ問い合わせを行うことによって結果がアプリケーションプログラムによって活用すること、あるいは本システムから直接結果を表示することも本発明の範囲である。 In operation, it is within the scope of the present invention that the results are utilized by the application program by inquiring from the application program to this system using a prepared API (Application Program Interface), or that the results are displayed directly from this system. .
運用の自動化のためにKubeflowを含むMLプラットフォームを利用しても良い。 ML platforms including Kubeflow may be used for automation of operations.
上記一連の操作をパイプライン化し、操作の単純化を図っても良い。パイプライン化することにより自由度は下がるが全体の見通しが良くなり、専門家でなくても扱うことが可能となる。もし自由度を上げる必要があるときには、詳細画面を開く等によって専門的な項目設定を行っても良い。 The above series of operations may be pipelined to simplify the operations. Pipelining reduces the degree of freedom, but improves the overall outlook and allows non-experts to handle it. If it is necessary to increase the degree of freedom, specialized item settings may be performed by opening a detailed screen or the like.
さらにはパイプラインの流れに沿って各種変更や操作履歴の記録と閲覧が可能となり、MLサービスやモデル選択の根拠を示すことが可能となる。 Furthermore, it is possible to record and view various changes and operation histories along the flow of the pipeline, and it is possible to show the grounds for selecting ML services and models.
採用すべきMLモデルとそれに必要なデータ前処理方法が決定された後に、実業務に導入される。例えば、MLの出力として売上予測が欲しい場合、直接本発明システムによって表示される画面を見ても良いし、必要に応じて本発明システムが提供するAPIを介してアプリケーションプログラムから情報提供のリクエストが出され、それによってアプリケーションプログラムの画面に表示されても良い。 After the ML model to be adopted and the data preprocessing method required for it are decided, it is introduced into the actual business. For example, if you want a sales forecast as an ML output, you can directly see the screen displayed by the system of the present invention, or if necessary, request information provision from the application program via the API provided by the system of the present invention. may be issued and thereby displayed on the screen of the application program.
そこで、上記課題を解決するために、第1の態様に係る情報処理方法は、アカウント設定、パラメータ入力手順設定のうち少なくともいずれかを含む初期設定作業を一元化する第1のステップと、インターネット上に存在し得る自動機械学習サービスへ接続するためのフォーマット変換を施す第2のステップと、社内外のデータが収集される第3のステップと、前記収集されたデータを加工する第4のステップと、使用されるべき自動機械学習サービスの準備を行う第5のステップと、前記第4のステップにおいて加工されたデータを学習データと予測データとに分割し、前記学習データを前記第5のステップにおいて準備が行われた自動機械学習サービスによって学習させる第6のステップとを具備することを特徴とする。 Therefore, in order to solve the above problems, an information processing method according to a first aspect includes a first step of unifying initial setting work including at least one of account setting and parameter input procedure setting; a second step of applying a format conversion to connect to possible automated machine learning services; a third step in which internal and external data is collected; a fourth step of processing said collected data; a fifth step of preparing an automated machine learning service to be used; splitting the data processed in said fourth step into learning data and prediction data; preparing said learning data in said fifth step; and a sixth step of learning by an automatic machine learning service performed by.
また、上記課題を解決するために、第2の態様に係る情報処理装置は、アカウント設定、パラメータ入力手順設定のうち少なくともいずれかを含む初期設定作業を一元化することのできる一元化部と、インターネット上に存在し得る自動機械学習サービスへ接続するためのフォーマット変換を施すフォーマット変換部と、社内外のデータが収集されるデータ収集部と、前記収集されたデータを加工するデータ加工部と、使用されるべき自動機械学習サービスの準備を行う準備部と、前記データ加工部によって加工されたデータを学習データと予測データとに分割し、前記学習データを前記準備部によって準備が行われた自動機械学習サービスによって学習させる学習部とを具備することを特徴とする。 In order to solve the above problems, an information processing apparatus according to a second aspect includes a centralizing unit capable of centralizing initial setting work including at least one of account setting and parameter input procedure setting; A format conversion unit that performs format conversion for connecting to an automatic machine learning service that can exist in the a preparation unit that prepares for an automatic machine learning service to be performed, the data processed by the data processing unit is divided into learning data and prediction data, and the learning data is prepared by the preparation unit for automatic machine learning and a learning unit for learning by the service.
上記2つの態様によれば、深層学習をはじめとする機械学習技術の専門家でなくても、学習データを準備さえすれば学習モデルの選択および/または構築ができ、複数の学習モデルの結果から性能の比較ができ、複数の学習モデルから最適なものを選択でき、それを実業務に投入し、投入後の運用をサポートすることができることとなる。 According to the above two aspects, even if you are not an expert in machine learning technology such as deep learning, you can select and / or build a learning model as long as you prepare learning data, and from the results of a plurality of learning models Performance can be compared, the optimal model can be selected from multiple learning models, it can be applied to actual business operations, and operation after application can be supported.
第3の態様として、第2の態様において、前記収集され準備された入力データをインターネット上に存在する多くの自動機械学習サービスに応じた変換を行うようにしてもよい。この態様によれば、機械学習サービス毎に異なる入力データを準備するプロセスを省くことが可能となる。なお、この第3の態様は第1の態様に対して重畳的に用いることもできる。 As a third aspect, in the second aspect, the collected and prepared input data may be converted according to many automatic machine learning services existing on the Internet. According to this aspect, it is possible to omit the process of preparing different input data for each machine learning service. It should be noted that this third mode can also be used in a superimposed manner with respect to the first mode.
第4の態様として、第2の態様において、入力データの単純な形式変換、欠損データもしくは重複・不要データの処理を含むデータクレンジング、原データからの特徴量の抽出、統計的処理を含む前処理を適用して目的に適したデータへの変換、クエリを使用したデータ抽出もしくはデータ結合を含むデータ変換、のうちの少なくともいずれかを実行するようにしてもよい。この態様によれば、入力データの単純な形式変換、欠損データもしくは重複・不要データの処理を含むデータクレンジング、原データからの特徴量の抽出、統計的処理を含む前処理を適用して目的に適したデータへの変換、クエリを使用したデータ抽出もしくはデータ結合を含むデータ変換、を簡単な指示を与えることにより実行することが可能となる。なお、この第4の態様は第1の態様に対して重畳的に用いることもできる。 As a fourth aspect, in the second aspect, simple format conversion of input data, data cleansing including processing of missing data or redundant/unnecessary data, extraction of feature values from original data, preprocessing including statistical processing may be applied to perform data transformations including data extraction and/or data merging using queries and/or transformations into data suitable for the purpose. According to this aspect, simple format conversion of input data, data cleansing including processing of missing data or redundant/unnecessary data, extraction of feature values from original data, preprocessing including statistical processing are applied to achieve the purpose Data conversion, including conversion to suitable data, data extraction using queries, or data merging, can be performed by giving simple instructions. It should be noted that this fourth aspect can also be used in a superimposed manner with respect to the first aspect.
第5の態様として、第2の態様において、インターネット上に存在する複数の機械学習サービスあるいは機械学習モデルを一覧できる一覧部と、前記一覧部にて一覧される複数の機械学習サービスあるいは機械学習モデルのうちのいずれかへの接続が選択される選択部と、前記選択部によって選択されたことにより一括して複数の機械学習サービスあるいは機械学習モデルへのデータ投入、平行的実行、結果の取得及び比較、のうちの少なくともいずれかを実行する実行部とをさらに備えるようにしてもよい。なお、この第5の態様は第1の態様に対して重畳的に用いることもできる。 As a fifth aspect, in the second aspect, a list part that can list a plurality of machine learning services or machine learning models existing on the Internet, and a plurality of machine learning services or machine learning models listed in the list part A selection unit that selects connection to one of the above, and data input to a plurality of machine learning services or machine learning models collectively by being selected by the selection unit, parallel execution, acquisition of results, and and an execution unit that executes at least one of the comparison. It should be noted that this fifth mode can also be used in a superimposed manner with respect to the first mode.
第6の態様として、第2の態様において、前記学習部及び/もしくは前記準備部は、グラフィカル・ユーザー・インターフェース手段によって行われるようにしてもよい。この態様によれば、上記の機械学習サービスを選択することに加え、グラフィカル・ユーザー・インターフェースをベースにした手法でユーザー独自の機械学習モデルを構築することができ、および/または、公開情報として存在する機械学習モデルをインポートすることができる。なお、この第6の態様は第1の態様に対して重畳的に用いることもできる。 As a sixth aspect, in the second aspect, the learning section and/or the preparation section may be performed by graphical user interface means. According to this aspect, in addition to selecting the machine learning service described above, users can build their own machine learning models using a graphical user interface-based technique, and/or exist as public information. You can import a machine learning model that It should be noted that this sixth aspect can also be used in a superimposed manner with respect to the first aspect.
第7の態様として、第2の態様において、前記学習部において前記加工されたデータが前記学習データと前記予測データとに分割されるにおいては、機械学習への入力データを学習用データと性能比較および/または予測データに分割されるようにしてもよい。この態様によれば、前記機械学習への入力データを学習用データと性能比較および/または予測データに分割して利用することができる。なお、この第7の態様は第1の態様に対して重畳的に用いることもできる。 As a seventh aspect, in the second aspect, when the processed data is divided into the learning data and the prediction data in the learning unit, the input data to machine learning is compared in performance with the learning data. and/or may be divided into prediction data. According to this aspect, input data to the machine learning can be divided into learning data and performance comparison and/or prediction data for use. It should be noted that this seventh mode can also be used in a superimposed manner with respect to the first mode.
第8の態様として、第2の態様において、同一入力データによって実行した複数の機械学習サービスあるいは機械学習モデルの性能を比較するための指標を提供する指標提供部をさらに備えるようにしてもよい。なお、この第8の態様は第1の態様に対して重畳的に用いることもできる。 As an eighth aspect, the second aspect may further include an index providing unit that provides an index for comparing the performance of a plurality of machine learning services or machine learning models executed with the same input data. It should be noted that this eighth mode can also be used in a superimposed manner with respect to the first mode.
第9の態様として、第8の態様において、前記指標として、決定係数、平均絶対誤差、平均二乗偏差、項目寄与度、モデルの予測と実際の比較、残差ヒストグラム、のうちの少なくともいずれかを含む機械学習サービスと機械学習モデルの性能の比較を行うための指標が提示されるようにしてもよい。なお、この第9の態様は第1の態様に対して第8の態様が重畳された態様に対して重畳的に用いることもできる。 As a ninth aspect, in the eighth aspect, at least one of the coefficient of determination, mean absolute error, mean square deviation, item contribution, model prediction and actual comparison, residual histogram, as the indicator A metric may be presented to compare the performance of the machine learning service and the machine learning model. It should be noted that the ninth mode can also be used in a superimposed manner with respect to the mode in which the eighth mode is superimposed on the first mode.
第10の態様として、第2の態様において、複数の機械学習サービスと前記複数のうちのそれぞれの機械学習モデルの結果とから選択する選択部をさらに備えるようにしてもよい。この態様によれば、複数の機械学習サービスと前記複数のうちのそれぞれの機械学習モデルの結果とから最適なものが選択されて実業務への投入を行うことができる。なお、この第10の態様は第1の態様に対して重畳的に用いることもできる。 As a tenth aspect, the second aspect may further include a selection unit that selects from a plurality of machine learning services and the result of each machine learning model out of the plurality. According to this aspect, the optimum one can be selected from a plurality of machine learning services and the results of the respective machine learning models out of the plurality and applied to actual business. It should be noted that this tenth aspect can also be used in a superimposed manner with respect to the first aspect.
第11の態様として、第2の態様において、前記機械学習サービスと前記機械学習モデルの精度の維持及び/もしくは管理とを行うことのできる維持管理部をさらに備えるようにしてもよい。この態様によれば、実投入後に前記機械学習サービスと前記機械学習モデルの精度の維持及び/もしくは管理とを行うことのできる機能が提供される。
なお、この第11の態様は第1の態様に対して重畳的に用いることもできる。
As an eleventh aspect, in the second aspect, a maintenance and management unit capable of maintaining and/or managing the accuracy of the machine learning service and the machine learning model may be further provided. According to this aspect, a function is provided that can maintain and/or manage the accuracy of the machine learning service and the machine learning model after actual launch.
It should be noted that the eleventh aspect can also be used in a superimposed manner with respect to the first aspect.
第12の態様として、第2の態様において、前記データの収集・準備、複数の機械学習サービスと機械学習モデルの平行的実行、機械学習サービスと機械学習モデルの性能比較、実業務への投入の操作をパイプライン化するパイプライン部をさらに備えるようにしてもよい。この態様によれば、上記データの収集・準備、複数の機械学習サービスと機械学習モデルの平行的実行、機械学習サービスと機械学習モデルの性能比較、実業務への投入の操作がパイプライン化され、全体の見通しをよくすることができる。なお、この第12の態様は第1の態様に対して重畳的に用いることもできる。 As a twelfth aspect, in the second aspect, collection and preparation of the data, parallel execution of multiple machine learning services and machine learning models, performance comparison of machine learning services and machine learning models, input to actual business A pipeline section that pipelines the operations may be further provided. According to this aspect, the operation of collecting and preparing the above data, parallel execution of a plurality of machine learning services and machine learning models, performance comparison of machine learning services and machine learning models, and input to actual work is pipelined. , can improve the overall outlook. The twelfth mode can also be used in a superimposed manner with respect to the first mode.
第13の態様として、第12の態様において、前記パイプライン化された処理の様々な中間段階で、必要に応じてユーザーが介入することを許容するユーザー介入部をさらに具備するようにしてもよい。この態様によれば、パイプライン化された処理の様々な中間段階で、必要に応じてユーザーが介入して詳細な設定や操作が行われてもよいこととなる。なお、この第13の態様は第1の態様に対して第12の態様が重畳された態様に対して重畳的に用いることもできる。 As a thirteenth aspect, the twelfth aspect may further include a user intervention unit that allows a user to intervene as necessary at various intermediate stages of the pipelined processing. . According to this aspect, the user may intervene as necessary to perform detailed settings and operations at various intermediate stages of the pipelined processing. The thirteenth mode can also be used in a superimposed manner with respect to the mode in which the twelfth mode is superimposed on the first mode.
第14の態様として、第2の態様において、前記機械学習サービスあるいは前記機械学習モデルの処理結果を得るために、アプリケーションプログラムからアプリケーションプログラムインターフェースを介して前記データの要求が行われるデータ要求部をさらに具備するようにしてもよい。この態様によれば、実業務へ投入された機械学習サービスあるいは機械学習モデルの処理結果を得るために、アプリケーションプログラムからアプリケーションプログラムインターフェースを介して本発明システムに対してデータの要求が行われ、それぞれのアプリケーションプログラムで表示を含む処理がされてもよいこととなる。なお、この第14の態様は第1の態様に対して重畳的に用いることもできる。 As a fourteenth aspect, in the second aspect, further comprising a data requesting unit for requesting the data from an application program via an application program interface in order to obtain the processing result of the machine learning service or the machine learning model It may be provided. According to this aspect, in order to obtain the processing results of a machine learning service or a machine learning model that has been put into actual business, an application program requests data from the system of the present invention via the application program interface. processing including display may be performed by the application program. It should be noted that the fourteenth aspect can also be used in a superimposed manner with respect to the first aspect.
第15の態様として、第2の態様において、前記一元化部、前記フォーマット変換部、前記データ収集部、前記データ加工部、前記準備部、前記学習部、のうちの少なくともいずれかにおける画面がデータの収集と準備に係る画面、機械学習モデルの選択・構築・実行に係る画面、各学習モデルの性能比較に係る画面、機械学習モデルの選択を決定して実業務への導入する画面、の少なくともいずれかを含む画面遷移を有するようにしてもよい。この態様によれば、データの準備とアップロードから複数のML間の性能の比較と実業務への導入までの各ステップにおいて、複数の画面を用いてユーザーと情報がやり取りされるが、これらの画面がデータの収集と準備(前処理、アップロード等)に関わる画面、機械学習モデルの選択・構築・実行に関わる画面、(モデル構築、MLの実行)、各学習モデルの性能比較に関する画面、そして機械学習モデルの選択を決定して実業務への導入する画面を含む画面遷移を有するから、画面遷移定義において学習プロセスが設計できることとなる。なお、この第15の態様は第1の態様に対して重畳的に用いることもできる。 As a fifteenth aspect, in the second aspect, the screen in at least one of the unification unit, the format conversion unit, the data collection unit, the data processing unit, the preparation unit, and the learning unit is the data At least one of the screens related to collection and preparation, the screen related to selection/construction/execution of machine learning models, the screen related to performance comparison of each learning model, and the screen to decide the selection of machine learning models and introduce them to actual work. You may have a screen transition including. According to this aspect, information is exchanged with the user using a plurality of screens in each step from preparation and upload of data to comparison of performance between a plurality of MLs and introduction to actual work. is a screen related to data collection and preparation (preprocessing, upload, etc.), a screen related to selection, construction, and execution of machine learning models (model construction, ML execution), a screen related to performance comparison of each learning model, and a machine Since it has screen transitions including screens for determining the selection of learning models and introducing them to actual work, the learning process can be designed in the screen transition definition. The fifteenth aspect can also be used in a superimposed manner with respect to the first aspect.
また、上記課題を解決するために、第16の態様に係るプログラムは、コンピュータを、専門家の介在無しに、収集された学習データをそれぞれの機械学習サービスや機械学習モデルに合致するように変換するデータ加工・変換部と、欠損データや重複・不要データの処理を含むデータクレンジング部と、原データからの特徴量の抽出を行う特徴量抽出部と、統計的処理を含む前処理を適用して目的に適したデータへの変換やクエリを使用したデータ抽出やデータ結合を含むデータ変換を行うデータ結合・分割部と、データの正規化・標準化を行う正規化・標準化部と、複数の機械学習サービスや機械学習モデルを選択するサービス・モデル選択部と、機械学習モデルを構築するためのノーコード開発部と、平行的に複数の機械学習サービスや機械学習モデルを実行するシミュレーション部と、結果を表示し比較するモデル評価部と、最適な機械学習サービスあるいは機械学習モデルを選択するモデル選択部と、選択モデルを実業務へ投入し運用する投入・運用部と、上記一連の各部の機能をサポートするサポート部と、として機能させることを特徴とする。 Further, in order to solve the above problems, a program according to a sixteenth aspect causes a computer to convert collected learning data to match each machine learning service or machine learning model without intervention of an expert. data processing/conversion unit, data cleansing unit that processes missing data, duplicated/unnecessary data, feature value extraction unit that extracts feature values from the original data, and preprocessing including statistical processing. A data combining/splitting unit that converts data into data suitable for the purpose using queries, data extraction and data conversion using queries, a normalization/standardization unit that normalizes and standardizes data, and multiple machines A service model selection section that selects learning services and machine learning models, a no-code development section for building machine learning models, a simulation section that executes multiple machine learning services and machine learning models in parallel, and results A model evaluation section that displays and compares, a model selection section that selects the optimal machine learning service or machine learning model, and an input/operation section that puts the selected model into actual business and operates it. It is characterized by functioning as a support part that supports.
上記態様によれば、専門家の介在無しに、収集された学習データをそれぞれの機械学習サービスや機械学習モデルに合致するように変換するデータ加工・変換部、欠損データや重複・不要データの処理を含むデータクレンジング部、原データからの特徴量の抽出を行う特徴量抽出部、統計的処理を含む前処理を適用して目的に適したデータへの変換やクエリを使用したデータ抽出やデータ結合を含むデータ変換を行うデータ結合・分割部、データの正規化・標準化を行う正規化・標準化部、複数の機械学習サービスや機械学習モデルを選択するサービス・モデル選択部、プログラミングをすることなしに独自の機械学習モデルを構築するノーコード開発部、平行的に複数の機械学習サービスや機械学習モデルを実行するシミュレーション部、結果を表示し比較するモデル評価部、最適な機械学習サービスあるいは機械学習モデルを選択するモデル選択部、選択モデルを実業務へ投入し運用する投入・運用部、およびこれら一連をサポートするサポート部、として機能することが可能となる。 According to the above aspect, the data processing/converting unit converts the collected learning data so as to match each machine learning service or machine learning model without the intervention of an expert, and the processing of missing data, duplicated/unnecessary data, etc. a data cleansing unit including a data cleansing unit, a feature extraction unit that extracts feature values from the original data, a conversion to data suitable for the purpose by applying preprocessing including statistical processing, and data extraction and data combination using queries Data joining/splitting part that performs data transformation including normalization/standardization part that normalizes/standardizes data Service/model selection part that selects multiple machine learning services and machine learning models, without programming A no-code development department that builds its own machine learning model, a simulation department that runs multiple machine learning services and machine learning models in parallel, a model evaluation department that displays and compares results, and an optimal machine learning service or machine learning model. a model selection unit that selects a model, an input/operation unit that inputs the selected model into actual business operations and operates it, and a support unit that supports a series of these operations.
第17の態様として、第16の態様に係るプログラムが記憶された記録媒体として実現することもできる。 A seventeenth aspect can also be implemented as a recording medium storing the program according to the sixteenth aspect.
最後に、本開示に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Finally, while various embodiments of the present disclosure have been described, they have been presented by way of example and are not intended to limit the scope of the invention. The novel embodiment can be embodied in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. The embodiment and its modifications are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and equivalents thereof.
1 :情報処理システム
2 :情報処理装置
3 :ユーザ端末
4 :受付ウィンドウ
5 :データウィンドウ
6 :変換処理ウィンドウ
6a :第1の表示モード
6b :第2の表示モード
7 :モデル情報表示ウィンドウ
8 :モデル検索ウィンドウ
9 :モデル比較ウィンドウ
20 :通信バス
21 :通信部
22 :記憶部
23 :制御部
30 :通信バス
31 :通信部
32 :記憶部
33 :制御部
34 :表示部
35 :入力部
41 :入力データ受付エリア
42 :学習器選択エリア
43 :分析手法選択エリア
44 :受付操作表示エリア
50 :変数名表示エリア
51 :集計グラフ表示エリア
52 :集計情報表示エリア
53 :個別情報表示エリア
61 :第1の入力データ情報表示エリア
62 :生成条件表示エリア
63 :自動変換処理表示エリア
64 :処理条件表示エリア
65 :第1の処理実行ボタン
66 :手動変換移行ボタン
67 :処理保存ボタン
71 :第2の入力データ情報表示エリア
72 :モデル情報表示エリア
73 :シミュレーション実行ボタン
81 :検索条件入力エリア
82 :検索結果表示エリア
83 :検索ウィンドウ終了ボタン
91 :比較モデル表示エリア
92 :パラメータ選択エリア
93 :比較結果表示エリア
94 :シミュレーション実行ボタン
231 :データ受付部
232 :学習器特定部
233 :学習器選択受付部
234 :分析手法選択受付部
235 :データ処理部
236 :モデル表示部
237 :処理表示部
238 :処理条件表示部
411 :インポートボタン
412 :データ名表示エリア
421 :予測対象選択エリア
422 :学習器表示エリア
423 :学習器選択表示エリア
424 :第1の受付操作ボタン
431 :分析手法選択ボタン
432 :モデル名表示エリア
433 :第2の受付操作ボタン
511 :共通点
512 :差異点
661 :手動変換処理指定エリア
662 :手動変換処理保存エリア
721 :精度情報表示エリア
722 :寄与度表示エリア
723 :増加寄与度表示エリア
724 :減少寄与度表示エリア
725 :寄与度一覧表示ボタン
A001 :アクティビティ
A002 :アクティビティ
A003 :アクティビティ
A004 :アクティビティ
A005 :アクティビティ
A006 :アクティビティ
A007 :アクティビティ
A008 :アクティビティ
A009 :アクティビティ
A010 :アクティビティ
A011 :アクティビティ
D0 :外部データ
D1 :第1の入力データ
D2 :第2の入力データ
DB1 :データベース
IF1 :モデル情報
L1 :インジケータ
M1 :学習モデル
M2 :指定学習モデル
ML :学習器
x1 :入力
y1 :出力
1: information processing system 2: information processing device 3: user terminal 4: reception window 5: data window 6: conversion processing window 6a: first display mode 6b: second display mode 7: model information display window 8: model Search window 9: Model comparison window 20: Communication bus 21: Communication unit 22: Storage unit 23: Control unit 30: Communication bus 31: Communication unit 32: Storage unit 33: Control unit 34: Display unit 35: Input unit 41: Input Data reception area 42 : Learning device selection area 43 : Analysis method selection area 44 : Reception operation display area 50 : Variable name display area 51 : Total graph display area 52 : Total information display area 53 : Individual information display area 61 : First Input data information display area 62 : Generation condition display area 63 : Automatic conversion processing display area 64 : Processing condition display area 65 : First processing execution button 66 : Manual conversion transfer button 67 : Processing save button 71 : Second input data Information display area 72 : Model information display area 73 : Simulation execution button 81 : Search condition input area 82 : Search result display area 83 : Search window end button 91 : Comparison model display area 92 : Parameter selection area 93 : Comparison result display area 94 : Simulation execution button 231 : Data reception unit 232 : Learning device identification unit 233 : Learning device selection reception unit 234 : Analysis method selection reception unit 235 : Data processing unit 236 : Model display unit 237 : Processing display unit 238 : Processing condition display unit 411 : Import button 412 : Data name display area 421 : Prediction target selection area 422 : Learning device display area 423 : Learning device selection display area 424 : First reception operation button 431 : Analysis method selection button 432 : Model name display area 433 : Second reception operation button 511 : Common point 512 : Difference point 661 : Manual conversion processing designation area 662 : Manual conversion processing storage area 721 : Accuracy information display area 722 : Contribution degree display area 723 : Increase contribution degree display area 724 : Reduction contribution display area 725: Contribution list display button A001: Activity A002: Activity A003: Activity A004: Activity A005: Activity A006: Activity A007: Activity A008: Activity A009: Activity A010: Activity A011: Activity D0: External data D1 : First input data D2 : Second input data DB1 : Database IF1 : Model information L1 : Indicator M1 : Learning model M2 : Designated learning model ML : Learning device x1 : Input y1 : Output
Claims (12)
制御部を備え、
前記制御部は、次の各ステップを実行するように構成され、
データ受付ステップでは、第1の入力データの入力を受け付け、
学習器特定ステップでは、受け付けた前記第1の入力データに応じて複数の学習器を特定し、
モデル表示ステップでは、前記第1の入力データに基づき、特定された前記学習器が生成する学習モデルに関するモデル情報を、前記学習モデルごとに比較可能な態様で表示させる、もの。 An information processing system,
Equipped with a control unit,
The control unit is configured to perform the following steps,
The data receiving step receives input of the first input data,
In the learner identification step, a plurality of learners are identified according to the received first input data,
In the model display step, based on the first input data, model information relating to the learning models generated by the specified learning device is displayed in a comparable manner for each learning model.
前記モデル情報は、少なくとも前記学習モデルの予測精度に関する精度情報を含み、
前記モデル表示ステップでは、生成される前記学習モデルごとの前記精度情報を比較可能に表示させる、もの。 In the information processing system according to claim 1,
The model information includes at least accuracy information about the prediction accuracy of the learning model,
In the model display step, the accuracy information for each generated learning model is displayed in a comparable manner.
さらに、学習器選択受付ステップでは、特定された前記学習器に対する選択をユーザより受け付け、
前記モデル表示ステップでは、特定された前記学習器のうち、前記選択により選択された前記学習器を用いて生成される前記モデル情報を表示させる、もの。 In the information processing system according to claim 1,
Furthermore, in the learning device selection accepting step, a selection of the specified learning device is accepted from the user,
In the model display step, the model information generated using the learning device selected by the selection among the identified learning devices is displayed.
さらに、データ処理ステップでは、入力された前記第1の入力データを、特定された前記学習器に入力可能な態様である第2の入力データに変換する変換処理を実行し、
前記モデル情報は、前記学習器によって前記第2の入力データを用いて生成される前記学習モデルに関する、もの。 In the information processing system according to claim 1,
Furthermore, in the data processing step, a conversion process is performed to convert the input first input data into second input data in a form that can be input to the specified learning device,
The model information relates to the learning model generated by the learning device using the second input data.
さらに、処理表示ステップでは、前記第1の入力データと前記第2の入力データとの差異点を認識可能な態様で表示させる、もの。 In the information processing system according to claim 4,
Furthermore, in the processing display step, a difference between the first input data and the second input data is displayed in a recognizable manner.
さらに、処理条件表示ステップでは、少なくとも入力された前記第1の入力データと、特定された前記学習器と、に基づき、前記変換処理が行われる条件を認識可能な態様で表示させる、もの。 In the information processing system according to claim 5,
Furthermore, in the processing condition display step, the conditions for performing the conversion processing are displayed in a recognizable manner based on at least the input first input data and the specified learning device.
さらに、分析手法選択受付ステップでは、複数の分析手法のうちの前記学習モデルの生成に用いられる少なくとも1つの選択を受け付ける、もの。 In the information processing system according to claim 1,
Furthermore, in the analysis method selection receiving step, selection of at least one of the plurality of analysis methods to be used for generating the learning model is received.
前記分析手法は、分類分析、回帰分析、及び時系列分析のうちの少なくとも1つを含む、もの。 In the information processing system according to claim 7,
The analysis method includes at least one of classification analysis, regression analysis, and time series analysis.
前記第1の入力データは、少なくともユーザが保有する保有データを含む、もの。 In the information processing system according to claim 1,
The first input data includes at least held data held by a user.
前記第1の入力データは、少なくとも構造化データを含む、もの。 In the information processing system according to claim 1,
The first input data includes at least structured data.
請求項1~請求項10の何れか1つに記載の情報処理システムの各ステップを含む、もの。 An information processing method,
An object comprising each step of the information processing system according to any one of claims 1 to 10.
コンピュータに、請求項1~請求項10の何れか1つに記載の情報処理システムの各ステップを実行させる、もの。 An information processing program,
A computer that executes each step of the information processing system according to any one of claims 1 to 10.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021192392 | 2021-11-26 | ||
JP2021192392 | 2021-11-26 | ||
JP2022037736 | 2022-03-11 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022037736 Division | 2021-11-26 | 2022-03-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023079180A true JP2023079180A (en) | 2023-06-07 |
Family
ID=87885028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022183471A Pending JP2023079180A (en) | 2021-11-26 | 2022-11-16 | Information processing system, information processing method and information processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023079180A (en) |
-
2022
- 2022-11-16 JP JP2022183471A patent/JP2023079180A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220024607A1 (en) | Predictive maintenance model design system | |
US10198422B2 (en) | Information-processing equipment based on a spreadsheet | |
Mousseau et al. | A user-oriented implementation of the ELECTRE-TRI method integrating preference elicitation support | |
EP3321865A1 (en) | Methods and systems for capturing analytic model authoring knowledge | |
US20160232457A1 (en) | User Interface for Unified Data Science Platform Including Management of Models, Experiments, Data Sets, Projects, Actions and Features | |
US20170017903A1 (en) | User Interface for a Unified Data Science Platform Including Management of Models, Experiments, Data Sets, Projects, Actions, Reports and Features | |
US11256755B2 (en) | Tag mapping process and pluggable framework for generating algorithm ensemble | |
US11954427B2 (en) | Transformation in tabular data cleaning tool | |
CN116992006B (en) | Chain type natural language interaction method and system driven by large language model | |
CN110766289A (en) | Dynamic wind control rule adjusting method and device and electronic equipment | |
CN114816374B (en) | Visual data analysis flow modeling method and system | |
US10747941B2 (en) | Tag mapping process and pluggable framework for generating algorithm ensemble | |
WO2018079225A1 (en) | Automatic prediction system, automatic prediction method and automatic prediction program | |
CN114547072A (en) | Method, system, equipment and storage medium for converting natural language query into SQL | |
CN117389541B (en) | Configuration system and device for generating template based on dialogue retrieval | |
EP3367241B1 (en) | Method, computer program and system for providing a control signal for a software development environment | |
US20230244218A1 (en) | Data Extraction in Industrial Automation Systems | |
JP7186411B1 (en) | Information processing system, information processing method and information processing program | |
JP2023079180A (en) | Information processing system, information processing method and information processing program | |
JP6775740B1 (en) | Design support device, design support method and design support program | |
US20230306349A1 (en) | Benchmarking processes of an organization to standardized processes | |
CN118245022B (en) | Semi-automatic demand modeling method and system based on low-code platform | |
JP7429374B2 (en) | Information processing system, information processing method, and information processing program | |
US20220284329A1 (en) | Method of outputting explanatory information and information processing apparatus | |
WO2023110577A1 (en) | Context-aware interactive exploration of maintenance service reports |