JP7285417B1 - Information processing method, information processing system and program - Google Patents
Information processing method, information processing system and program Download PDFInfo
- Publication number
- JP7285417B1 JP7285417B1 JP2022033899A JP2022033899A JP7285417B1 JP 7285417 B1 JP7285417 B1 JP 7285417B1 JP 2022033899 A JP2022033899 A JP 2022033899A JP 2022033899 A JP2022033899 A JP 2022033899A JP 7285417 B1 JP7285417 B1 JP 7285417B1
- Authority
- JP
- Japan
- Prior art keywords
- unit
- model
- data set
- machine learning
- generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 113
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 234
- 230000008569 process Effects 0.000 claims abstract description 220
- 238000010801 machine learning Methods 0.000 claims abstract description 142
- 238000012545 processing Methods 0.000 claims abstract description 129
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000003860 storage Methods 0.000 claims description 59
- 238000012795 verification Methods 0.000 claims description 46
- 238000012360 testing method Methods 0.000 claims description 8
- 238000011161 development Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 description 127
- 239000008186 active pharmaceutical agent Substances 0.000 description 16
- 238000004891 communication Methods 0.000 description 16
- 230000015654 memory Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000009877 rendering Methods 0.000 description 9
- 238000004088 simulation Methods 0.000 description 9
- 230000018109 developmental process Effects 0.000 description 6
- 230000008676 import Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012905 input function Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】 機械学習モデルの学習及び利活用を容易に行うことができる。【解決手段】一実施形態にかかる情報処理方法は、情報処理装置が実行する情報処理方法であって、トレーニングデータセットを生成する生成処理、機械学習モデルに前記トレーニングデータセットを学習させる学習処理及び学習済みの前記機械学習モデルを取得するモデル取得処理の少なくとも一つの処理において、処理の実行に必要なデータの入力及び指示の少なくとも一方を受け付ける受付部と、処理の経過状態を表す経過状況表示部と、処理結果の取得及び公開の少なくとも一方の指示を受け付ける取得部との少なくとも一つが、ユーザーインターフェースにそれぞれ表示されるように出力するステップと、を含む。【選択図】図１Kind Code: A1 A machine learning model can be easily learned and utilized. An information processing method according to one embodiment is an information processing method executed by an information processing apparatus, which includes generation processing for generating a training data set, learning processing for causing a machine learning model to learn the training data set, and In at least one model acquisition process for acquiring the learned machine learning model, a reception unit that accepts at least one of data input and instructions necessary for execution of the process, and a progress display unit that displays the progress of the process. and an acquisition unit that accepts an instruction to acquire or publish the processing result, at least one of which outputs such that it is displayed on a user interface. [Selection drawing] Fig. 1
Description
本発明は、情報処理方法、情報処理システム及びプログラムに関する。 The present invention relates to an information processing method, an information processing system and a program.
下記の引用文献１には、物体検出方法が開示されている。この物体検出方法では、検出対象の物体の画像に対して、少なくとも当該物体の位置及び回転角度がラベル情報として付されたデータセットにより機械学習された推論モデルを検出モデルとして利用することが記載されている。
The following cited
対象物の画像を大量に学習させることにより、高精度な検出モデルを生成できる。しかしながら、対象物を変更したい場合には、一般的に検出モデルを再度学習させる必要がある。この場合、機械学習を実施するためのデータセットの生成、学習処理及び学習処理済みの機械モデルを取得する工程が必要となるが、それぞれの工程は機械学習に精通しているユーザの操作が必要となる。したがって、検出モデルの対象物の変更を容易に行う点においては改善の余地がある。 A highly accurate detection model can be generated by learning a large amount of images of the target object. However, if you want to change the object, you generally need to relearn the detection model. In this case, the steps of generating a data set for implementing machine learning, learning processing, and acquiring a machine model after learning processing are required, but each step requires operation by a user who is familiar with machine learning. becomes. Therefore, there is room for improvement in terms of easily changing the object of the detection model.
本発明は、上記事実を考慮し、機械学習モデルの学習及び利活用を容易に行うことを目的とする。 In consideration of the above facts, it is an object of the present invention to facilitate learning and utilization of machine learning models.
一実施形態にかかる情報処理方法は、情報処理装置が実行する情報処理方法であって、トレーニングデータセットを生成する生成処理、機械学習モデルに前記トレーニングデータセットを学習させる学習処理及び学習済みの前記機械学習モデルを取得するモデル取得処理の少なくとも一つの処理において、処理の実行に必要なデータの入力及び指示の少なくとも一方を受け付ける受付部と、処理の経過情報を表す経過状況表示部と、処理結果の取得及び保存の少なくとも一方の指示を受け付ける指示取得部との少なくとも一つが、ユーザーインターフェースにそれぞれ表示されるように出力するステップと、を含み、前記情報処理装置は、前記生成処理において、前記受付部としてデータ入力を受け付けるデータ入力受付部及び前記トレーニングデータセットの生成開始の指示を受け付ける生成開始指示部と、前記経過状況表示部として前記トレーニングデータセットの生成処理進捗情報を表すデータ生成状況表示部と、前記指示取得部として生成処理が実行された前記トレーニングデータセットを取得及び保存の少なくとも一方の指示を受け付けるデータセット取得部と、を表示させる。 An information processing method according to one embodiment is an information processing method executed by an information processing apparatus, and includes a generation process of generating a training data set, a learning process of causing a machine learning model to learn the training data set, and the learned In at least one model acquisition process for acquiring a machine learning model, a reception unit that accepts at least one of data input and instructions necessary for executing the process, a progress display unit that displays progress information of the process, and a process result. and at least one of an instruction acquisition unit that accepts an instruction to acquire and store at least one of the a data input reception unit that receives data input as a reception unit; a generation start instruction unit that receives an instruction to start generation of the training data set; and a data generation status display representing progress information of generation processing of the training data set as the progress display unit. and a data set acquisition unit that receives at least one of acquisition and storage of the training data set for which the generation process has been executed as the instruction acquisition unit.
一実施形態によれば、機械学習モデルの学習及び利活用を容易に行うことができる。 According to one embodiment, it is possible to easily learn and utilize a machine learning model.
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。 Hereinafter, each embodiment of the present invention will be described with reference to the accompanying drawings. Regarding the descriptions of the specifications and drawings according to each embodiment, components having substantially the same functional configuration are denoted by the same reference numerals, thereby omitting redundant description.
＜システム構成＞
まず、本実施形態に係る情報処理システムの概要について説明する。本実施形態に係る情報処理システムは、対象物Ｏｂ（図１２参照）に対してロボットアームによりタスクを実行するためのシステムである。対象物Ｏｂは、任意の物体であり得る。タスクは、例えば、ピッキング（ピックアンドプレース）、秤量、自律移動、又は製品検査であるが、これに限られない。以下では、タスクがピッキングである場合を例に説明する。
<System configuration>
First, an outline of an information processing system according to this embodiment will be described. The information processing system according to this embodiment is a system for executing a task on an object Ob (see FIG. 12) using a robot arm. The object Ob can be any object. The task is, for example, picking (pick and place), weighing, autonomous movement, or product inspection, but is not limited thereto. In the following, a case where the task is picking will be described as an example.
図１は、本実施形態に係る情報処理システムの構成の一例を示す図である。図１の情報処理システムは、ネットワークＮを介して相互に通信可能に接続された、ユーザ端末１と、検出モデル生成装置２と、ロボットシステム３と、を備える。ネットワークＮは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。図１の例では、情報処理システムは、ユーザ端末１、検出モデル生成装置２及びロボットシステム３をそれぞれ１つずつ備えるが、それぞれ複数備えてもよい。 また、ネットワークＮは、図示しないクラウドサービスに通信可能に接続されてもよい。
FIG. 1 is a diagram showing an example of the configuration of an information processing system according to this embodiment. The information processing system of FIG. 1 includes a
ユーザ端末１は、情報処理システムのユーザＵが利用する表示装置１Ａを有する情報処理装置である。ユーザ端末１は、後述する情報処理装置１００のハードウェア資源を用いて、各種機能を実現する装置であり、例えば、ＰＣ（Personal Computer）、スマートフォン又はタブレット端末であるが、これに限られない。ユーザＵは、対象物Ｏｂの３Ｄモデルである対象物モデルＯＭをユーザ端末１から検出モデル生成装置２に送信（アップロード）する。この際、ユーザＵは、表示装置１Ａに表示される操作画面の指示に従って操作を行う（操作画面の詳細については後述する）。ユーザＵは、複数の同じ種類の対象物Ｏｂの対象物モデルＯＭをユーザ端末１から検出モデル生成装置２に送信してもよいし、複数の異なる種類の対象物Ｏｂの対象物モデルＯＭをユーザ端末１から検出モデル生成装置２に送信してもよい。また、ユーザＵは、対象物モデルＯＭの代わりに、対象物Ｏｂの画像データをユーザ端末１から検出モデル生成装置２に送信してもよい。画像データは、対象物Ｏｂだけを含んでもよいし、対象物Ｏｂ及びその背景を含んでもよい。この場合、後述する検出モデル生成装置２が、対象物Ｏｂの画像データから対象物モデルＯＭを生成すればよい。さらに、対象物モデルＯＭの３Ｄモデルデータを作成するための各種画像や、位置情報、深度情報及び色情報の少なくとも一方を含む点群データ等をまとめたファイルデータ等をユーザ端末１から検出モデル生成装置２に送信してもよい。この場合も、後述する検出モデル生成装置２が、ファイルデータから対象物モデルＯＭを生成すればよい。なお、図１の例では、対象物Ｏｂは、りんごであるが、これに限られない。 また、本実施形態では、対象物モデルＯＭや対象物Ｏｂの画像データをユーザ端末１から検出モデル生成装置２へ送信する構成とされているが、これに限らず、対象物モデルＯＭや対象物Ｏｂの画像データを検出モデル生成装置２へ送信する構成は他の構成としてもよい。一例として、ＡＰＩ（Application Programming Interface）を利用して他の情報処理システムから対象物モデルＯＭや対象物Ｏｂの画像データを検出モデル生成装置２へ送信する構成等を取り得る。
The
検出モデル生成装置２は、対象物モデルＯＭから生成したトレーニングデータセットとしてのデータセットＤＳを学習させることにより、ビジョンデータＶＤ（図１２参照）から対象物Ｏｂを検出する機械学習モデルとしての検出モデルＤＭを生成する情報処理装置である。データセットＤＳ、ビジョンデータＶＤ、及び検出モデル生成装置２について、詳しくは後述する。
The detection
ロボットシステム３は、対象物Ｏｂをロボットアームでピッキングするシステムである。ロボットシステム３は、通信可能に接続された、ロボットアーム３１と、制御装置３２と、ビジョンセンサ３３と、を備える。図１の例では、ロボットシステム３は、ロボットアーム３１、制御装置３２及びビジョンセンサ３３を１つずつ備えるが、それぞれ複数備えてもよい。また、ロボットシステム３は、複数の異なる種類のビジョンセンサ３３を備えてもよい。
The
ロボットアーム３１は、対象物Ｏｂをピッキング可能なエンドエフェクタを備えた多関節ロボットである。ロボットアーム３１は、例えば、バラ積みされた対象物Ｏｂをピッキングする。
The
制御装置３２は、ロボットアーム３１を制御する情報処理装置である。制御装置３２は、ロボットアーム３１及びビジョンセンサ３３と通信可能に接続される。制御装置３２は、検出モデルＤＭを利用して、ビジョンセンサ３３がセンシングして生成したビジョンデータＶＤから対象物Ｏｂを検出し、検出結果に基づいて、ロボットアーム３１のピッキング動作を制御する。
The
ビジョンセンサ３３は、対象物Ｏｂをセンシングし、ビジョンデータＶＤを生成する装置である。ビジョンセンサ３３は、生成したビジョンデータを制御装置３２に送信する。ビジョンセンサ３３は、センシング位置が固定されていてもよいし、ロボットアーム３１に対して固定されていてもよい。ビジョンセンサ３３は、例えば、カメラであるが、これに限られない。
The
＜ハードウェア構成＞
次に、情報処理装置のハードウェア構成について説明する。図２は、情報処理装置１００のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置１００は、バスＢを介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入出力Ｉ／Ｆ１０５と、ユーザーインターフェース１０６と、ドライブ装置１０７と、を備える。
<Hardware configuration>
Next, the hardware configuration of the information processing device will be described. FIG. 2 is a diagram showing an example of the hardware configuration of the
プロセッサ１０１は、ストレージ１０３に記憶された情報処理プログラムをメモリ１０２に展開して実行することにより、情報処理装置１００の各構成を制御し、情報処理装置１００の機能を実現する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、又はこれらの組み合わせである。
The
メモリ１０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）、ＭＲＡＭ（Magnetoresistive RAM）、又はこれらの組み合わせである。
The
ストレージ１０３は、 ＯＳ等のプログラム及び各種のデータを記憶する。ストレージ１０３は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＣＭ（Storage Class Memories）、又はこれらの組み合わせである。
The
通信Ｉ／Ｆ１０４は、情報処理装置１００を、ネットワークＮを介して、外部装置に接続し、通信を制御するためのインタフェースである。通信Ｉ／Ｆ１０４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、又は光通信（例えば、Fibre Channel）に準拠したアダプタであるが、これに限られない。
The communication I/
入出力Ｉ／Ｆ１０５は、情報処理装置１００にユーザーインターフェース１０６を接続するためのインタフェースである。
The input/output I/
ユーザーインターフェース１０６は、入力機能と出力機能とを含んで構成されている。入力機能は、ユーザの操作を受け付け、受け付けた操作に応じた情報を情報処理装置１００に入力するための機能であり、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン（いずれも不図示）、又はこれらの組み合わせによって実現される。
The
出力機能は、情報処理装置１００が保持した各種の情報を出力するための機能であり、例えば、表示装置１Ａ、プロジェクタ、プリンタ、スピーカ、バイブレータ（いずれも不図示）、又はこれらの組み合わせによって実現される。このうち表示装置１Ａは、所謂ディスプレイであり、各種情報の表示を行う。また、表示装置１Ａは、所謂タッチパネル等のように入力機能を兼ねていてもよい。
The output function is a function for outputting various kinds of information held by the
ドライブ装置１０７は、ディスクメディア１０８のデータを読み書きする。ドライブ装置１０７は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。
The
ディスクメディア１０８は、情報を記録したディスク状の記録媒体である。ディスクメディア１０８は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＦＤ（Floppy Disk）、ＭＯ（Magneto-Optical disk）、ＢＤ（Blu-ray（登録商標） Disc）、又はこれらの組み合わせである。
The
なお、情報処理装置１００のハードウェア構成は、上記の例に限られない。情報処理装置１００は、上記のハードウェア機能構成の一部を備えてもよいし、上記以外のハードウェア構成を備えてもよい。
Note that the hardware configuration of the
また、各種のプログラムは、情報処理装置１００の製造段階でメモリ１０２又はストレージ１０３に書き込まれてもよいし、ネットワークＮを介して情報処理装置１００に提供されてもよいし、ディスクメディア１０８などの非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置１００に提供されてもよい。
Further, various programs may be written in the
＜検出モデル生成装置２の機能構成＞
次に、検出モデル生成装置２の機能構成について説明する。図３は、検出モデル生成装置２の機能構成の一例を示す図である。図３に示すように、検出モデル生成装置２は、通信部２１と、記憶部２２と、表示処理部としての制御部２３と、を備える。検出モデル生成装置２は、一例として上述の情報処理装置１００と同様の構成のハードウェア資源を用いて、各種機能を実現する。検出モデル生成装置２が実現する機能構成について説明する。
<Functional Configuration of Detection
Next, the functional configuration of the detection
通信部２１は、通信Ｉ／Ｆ１０５（図２参照）により実現される。通信部２１は、ネットワークＮを介して、ユーザ端末１及びロボットシステム３との間で情報の送受信を行う。具体的には、通信部２１は、ユーザ端末１から対象物モデルＯＭや操作情報等を受信し、ロボットシステム３に検出モデルＤＭを送信する。
The
記憶部２２は、メモリ１０２及びストレージ１０３（図２参照）により実現される。記憶部２２は、対象物モデルＯＭと、合成データセットＳＭ（図１２参照）と、レンダリングパラメータと、データセットＤＳと、検出モデルＤＭと、タスク実行結果と、情報処理プログラムＪＰ等を記憶する。
The
対象物モデルＯＭは、対象物Ｏｂの３Ｄモデルである。記憶部２２には、１又は複数の対象物モデルＯＭが記憶される。対象物モデルＯＭは、ユーザ端末１から受信してもよいし、後述する生成部２３２が生成してもよい。
The object model OM is a 3D model of the object Ob. The
図１２に示されるように、合成データセットＳＭは、ロボットアーム３１（図１参照）がタスクを実行する際の対象物Ｏｂの状況を再現するように生成された、対象物モデルＯＭを含む３Ｄモデルである。合成データセットＳＭは、バラ積みされた対象物モデルＯＭを含む３Ｄモデルであってもよいし、ランダム又は所定の規則で配置された複数の対象物モデルＯＭを含む３Ｄモデルであってもよいし、１つの対象物モデルＯＭを含む３Ｄモデルであってもよい。例えば、ロボットシステム３のタスクがバラ積みされた対象物Ｏｂのピッキングである場合、合成データセットＳＭとして、バラ積みされた対象物モデルＯＭ及び容器を含む３Ｄモデルが生成される。記憶部２２には、１又は複数の合成データセットＳＭが記憶される。
As shown in FIG. 12, the synthetic data set SM is a 3D model containing an object model OM generated to reproduce the situation of the object Ob when the robot arm 31 (see FIG. 1) performs the task. is a model. The synthesized data set SM may be a 3D model including object models OM that are randomly piled, or a 3D model including a plurality of object models OM arranged randomly or according to a predetermined rule. , a 3D model containing one object model OM. For example, if the task of the
図３に示されるように、レンダリングパラメータＲＰは、対象物モデルＯＭに基づいてビジョンデータＶＤ（図１２参照）を生成するためのパラメータである。レンダリングパラメータＲＰは、ロボットアーム３１がタスクを実行する際に生成されるビジョンデータＶＤが再現されるように調整される。レンダリングパラメータＲＰは、対象物パラメータ、環境パラメータ、及びセンサパラメータを含む。
As shown in FIG. 3, the rendering parameters RP are parameters for generating vision data VD (see FIG. 12) based on the object model OM. The rendering parameters RP are adjusted so that the vision data VD generated when the
対象物パラメータは、合成データセットＳＭに含まれる対象物モデルＯＭ（図１２参照）を生成するためのパラメータである。対象物パラメータは、対象物Ｏｂの色、対象物Ｏｂの粗さ、対象物Ｏｂの清浄さ、対象物Ｏｂの反射率、及び対象物Ｏｂの解像度の少なくとも１つを含む。 Object parameters are parameters for generating the object model OM (see FIG. 12) included in the synthetic data set SM. The object parameters include at least one of the color of the object Ob, the roughness of the object Ob, the cleanliness of the object Ob, the reflectance of the object Ob, and the resolution of the object Ob.
環境パラメータは、合成データセットＳＭを生成するためのパラメータである。環境パラメータは、光源の配置、光の強度、影の解像度、対象物Ｏｂの大きさ、対象物Ｏｂの位置、対象物Ｏｂの数、及びレンダリングモードの少なくとも１つを含む。 Environmental parameters are parameters for generating the synthetic dataset SM. The environmental parameters include at least one of light source placement, light intensity, shadow resolution, object Ob size, object Ob position, number of objects Ob, and rendering mode.
センサパラメータは、合成データセットＳＭからビジョンデータＶＤ（図１２参照）を生成するためのパラメータである。センサパラメータは、ビジョンデータＶＤに含まれるノイズ、ビジョンセンサの焦点、ビジョンセンサの位置、ビジョンセンサの画角、ビジョンセンサの方向、及びビジョンセンサの露光量の少なくとも１つを含む。例えば、ビジョンセンサの位置、画角及び方向は、合成データセットＳＭを２次元投影する際に利用される。また、例えば、ビジョンセンサの焦点、露光及びノイズは、後処理効果に利用される。 Sensor parameters are parameters for generating vision data VD (see FIG. 12) from the synthesized data set SM. The sensor parameters include at least one of noise included in the vision data VD, focus of the vision sensor, position of the vision sensor, angle of view of the vision sensor, direction of the vision sensor, and exposure of the vision sensor. For example, the position, angle of view and orientation of the vision sensor are used in the two-dimensional projection of the synthetic dataset SM. Also, for example, the focus, exposure and noise of the vision sensor are used for post-processing effects.
なお、レンダリングパラメータＲＰは、上記の例に限られない。また、各レンダリングパラメータは、一意の値（基準値）であってもよいし、範囲であってもよい。 Note that the rendering parameter RP is not limited to the above example. Also, each rendering parameter may be a unique value (reference value) or a range.
データセットＤＳは、検出モデルＤＭを生成するためのデータセットである。データセットＤＳは、図１２に示されるように、複数の教師データＴＤを含む。教師データＴＤは、ビジョンデータＶＤ及びラベルＬを含む。 Data set DS is a data set for generating detection model DM. Data set DS includes a plurality of teacher data TD, as shown in FIG. The teacher data TD includes vision data VD and labels L.
ビジョンデータＶＤは、対象物モデルＯＭを含む３Ｄモデルを仮想のビジョンセンサによりセンシングすることにより生成される任意のデータであり得る。ビジョンデータＶＤは、例えば、カメラにより生成される画像データ、深度センサにより生成される深度データ、又はレーザスキャナにより生成されるレーザスキャンデータであるが、これに限られない。教師データＴＤは、複数種類のビジョンデータＶＤを含んでもよい。 The vision data VD can be any data generated by sensing a 3D model, including the object model OM, with a virtual vision sensor. Vision data VD is, for example, but not limited to, image data generated by a camera, depth data generated by a depth sensor, or laser scan data generated by a laser scanner. The teacher data TD may include multiple types of vision data VD.
ラベルＬは、ビジョンデータＶＤに含まれる対象物モデルＯＭの領域及び位置を示すデータ（位置情報）である。ラベルＬは、ビジョンデータＶＤに含まれる対象物モデルＯＭに対応するバウンディングボックスであてもよいし、ビジョンデータＶＤに含まれる対象物モデルＯＭに対応するピクセルを示すマスクであってもよい。 The label L is data (position information) indicating the area and position of the object model OM included in the vision data VD. The label L may be a bounding box corresponding to the object model OM included in the vision data VD, or may be a mask indicating pixels corresponding to the object model OM included in the vision data VD.
なお、教師データＴＤは、上記の例に限られない。例えば、教師データＴＤは、ビジョンデータＶＤを生成するために利用されたレンダリングパラメータＲＰの値を含んでもよい。 Note that the teaching data TD is not limited to the above example. For example, the teacher data TD may include values of rendering parameters RP used to generate the vision data VD.
図３に示されるように、検出モデルＤＭは、ビジョンデータＶＤから対象物Ｏｂの領域及び位置を検出する任意の機械学習モデルであり得る。検出モデルＤＭは、例えば、物体検出モデル、インスタンスセグメンテーションモデル、又はセマンティックセグメンテーションモデルであるが、これに限られない。 As shown in FIG. 3, the detection model DM can be any machine learning model that detects the area and position of the object Ob from the vision data VD. The detection model DM is, for example, an object detection model, an instance segmentation model, or a semantic segmentation model, but is not limited thereto.
検証実行結果ＴＲは、検出モデルＤＭを利用した検証結果を示す情報である。この検証は一例として、対象物Ｏｂを撮影した撮像データや、対象物Ｏｂを再現したシミュレーションデータを検出モデルＤＭへ入力し、検出モデルＤＭの出力結果が想定のものか否かを確認するものである。また、検証は、これに限らず、ロボットアームのタスクをシミュレーションした結果を含んでもよい。検証実行結果ＴＲは、一例として、検出モデルＤＭにより検出された対象物モデルＯＭの領域及び位置、検出モデルＤＭに入力されたビジョンデータＶＤ、タスクの成否（成功又は失敗を示す情報）、タスクの実行中にロボットアームに提供されたコマンド、タスクの実行中にロボットシステムが備える各種センサが計測したセンサ値、タスクの実行時間、又はこれらの組み合わせを含む。なお、検証実行結果ＴＲは、画像や動画データ、テキストデータによるレポート等、任意に形式に設定可能とされている。 The verification execution result TR is information indicating the verification result using the detection model DM. As an example of this verification, imaging data obtained by photographing the object Ob and simulation data reproducing the object Ob are input to the detection model DM, and it is confirmed whether or not the output result of the detection model DM is as expected. be. Moreover, the verification is not limited to this, and may include the result of simulating the task of the robot arm. The verification execution result TR includes, for example, the area and position of the object model OM detected by the detection model DM, the vision data VD input to the detection model DM, the success or failure of the task (information indicating success or failure), It includes commands provided to the robot arm during execution, sensor values measured by various sensors provided in the robot system during task execution, task execution time, or a combination of these. It should be noted that the verification execution result TR can be arbitrarily set in a format such as image data, moving image data, or a report based on text data.
制御部２３は、プロセッサ１０１がメモリ１０２（図２参照）から情報処理プログラムＪＰを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部２３は、取得部２３１と、生成部２３２と、学習部２３３と、検出部２３４と、検証部２３５と、を備えると共に、各部が取得するデータの入力や操作指示、各部が出力するデータや情報の表示などに対応した画面（詳細は後述する）をユーザ端末１の表示装置１Ａに出力する。
The
取得部２３１は、ユーザ端末１から対象物モデルＯＭ、合成データセットＳＭ及び生成済みのデータセットＤＳ等を取得し、記憶部２２や図示しないストレージ（一例としてクラウドストレージ）へアップロードし保存する。取得部２３１は、対象物モデルＯＭの代わりに、対象物モデルＯＭを生成するための写真測量用画像等の各種画像や、位置情報、深度情報及び色情報の少なくとも一方を含む点群データ、３Ｄメッシュデータ等を取得し、記憶部２２や図示しないストレージ（一例としてクラウドストレージ）へアップロードし保存してもよい。また、取得部２３１は、ユーザーインターフェース１０６から入力された各種操作情報も取得する。
The
生成部２３２は、対象物モデルＯＭや合成データセットＳＭ及びレンダリングパラメータＲＰに基づいて、公知の技術を用いてデータセットＤＳを生成し、記憶部２２や図示しないストレージ（一例としてクラウドストレージ）へアップロードし保存する。なお、取得部２３１が取得したデータが生成済みのデータセットＤＳの場合は、生成部２３２はデータセットの生成処理を行わない。また、取得部２３１が取得したデータが対象物モデルＯＭを生成するための写真測量用画像等の各種画像や、位置情報、深度情報及び色情報の少なくとも一方を含む点群データ、３Ｄメッシュデータ等の場合は、生成部２３２は対象物モデルＯＭを生成し、当該対象物モデルＯＭを基にデータセットＤＳを生成する。
The
学習部２３３は、検出モデルＤＭに取得部２３１が取得した生成済みデータセットＤＳ又は生成部２３２が生成したデータセットＤＳを機械学習させることにより、公知の技術を用いて学習済みの検出モデルＤＭを生成し、記憶部２２に保存する。なお、機械学習させる際のデータセットＤＳは、ユーザＵが後述するＵＩ画面により選択操作されるデータセットＤＳが使用される。
The
検出部２３４は、学習済みの検出モデルＤＭを利用して、ビジョンデータＶＤや、対象物Ｏｂを撮影した撮像データ、対象物Ｏｂを再現したシミュレーションデータ等から対象物モデルＯＭを検出する。
The
検証部２３５は、検出部２３４の検出結果に基づいて、対象物モデルＯＭの検出結果を検証実行結果ＴＲとして記憶部２２や図示しないストレージ（一例としてクラウドストレージ）へアップロードし保存する。また、検証部２３５は、ロボットアームのタスクを検証する場合は、一例として仮想のロボットアームを動作させることにより、ロボットアームのタスクをシミュレーションし、当該シミュレーション結果を検証実行結果ＴＲとして記憶部２２や図示しないストレージ（一例としてクラウドストレージ）へアップロードし保存する。検証部２３５は、物理エンジンを利用することにより、タスクを実行する際のロボットアームの動作を再現する。
Based on the detection result of the
なお、検出モデル生成装置２の機能構成は、上記の例に限られない。検出モデル生成装置２は、上記の機能構成の一部を備えてもよいし、上記以外の機能構成を備えてもよい。例えば、検出モデル生成装置２は、上記の機能構成の一部をユーザ端末１又は制御装置３２に設けられてもよいし、制御装置３２の機能構成の一部を備えてもよい。
Note that the functional configuration of the detection
上述した検出モデル生成装置２は、公知の機械学習技術を用いてデータセットＤＳを生成する生成処理と、検出モデルＤＭにデータセットＤＳを学習させる学習処理と、学習済みの検出モデルＤＭを取得する取得処理と、を実行する。なお、本実施形態では、データセットＤＳの生成処理及び検出モデルＤＭを取得する取得処理が公知の機械学習モデル機械学習技術により行われているが、これに限らず、所謂ルールベースの処理等、機械学習技術以外の技術により行われる構成としてもよい。
The detection
＜制御装置３２の機能構成＞
次に、制御装置３２の機能構成について説明する。図４は、制御装置３２の機能構成の一例を示す図である。図４に示すように、制御装置３２は、通信部３２１と、記憶部３２２と、制御部３２３と、を備える。制御装置３２は、一例として上述の情報処理装置１００と同様の構成のハードウェア資源を用いて、各種機能を実現する。制御装置３２が実現する機能構成について説明する。
<Functional Configuration of
Next, the functional configuration of the
通信部３２１は、通信Ｉ／Ｆ１０５（図２参照）により実現される。通信部３２１は、ネットワークＮを介して、検出モデル生成装置２との間で情報の送受信を行う。具体的には、通信部３２１は、検出モデル生成装置２から学習済みの検出モデルＤＭを受信する。
記憶部３２２は、メモリ１０２及びストレージ１０３（図２参照）により実現される。記憶部３２２は、ビジョンデータＶＤと、検出モデルＤＭと、を記憶する。
The
ビジョンデータＶＤは、ビジョンセンサ３３が対象物Ｏｂをセンシングすることにより生成したデータである。
The vision data VD is data generated by the
検出モデルＤＭは、検出モデル生成装置２により生成されかつ展開（デプロイ）された学習済みの検出モデルＤＭである。
The detection model DM is a learned detection model DM generated and deployed by the detection
制御部３２３は、プロセッサ１０１がメモリ１０２（図２参照）からロボット制御プログラムＲＰを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部３２３は、取得部３２３１と、検出部３２３２と、ロボット制御部３２３３と、を備える。
The
取得部３２３１は、ビジョンセンサ３３（図１参照）からビジョンデータＶＤを取得する。
The
検出部３２３２は、検出モデルＤＭを利用して、ビジョンデータＶＤから対象物Ｏｂを検出する。具体的には、検出部３２３２は、ビジョンデータＶＤを検出モデルＤＭに入力し、検出モデルＤＭが出力した対象物Ｏｂの領域及び位置を示す情報を、対象物Ｏｂの検出結果として取得する。
The
ロボット制御部３２３３は、検出モデル生成装置２により展開（デプロイ）された検出モデルＤＭが出力する対象物Ｏｂの検出結果に基づいて、ロボットアーム３１（図１参照）を制御し、所定のタスクを実行する。具体的には、ロボット制御部３２３３は、例えば、対象物Ｏｂの検出結果に基づいて、ピッキング対象とする対象物Ｏｂを選択し、選択したピッキング対象をピッキングできるようにロボットアーム３１を制御する。ロボットアーム３１の制御方法として、既存の任意の方法を利用できる。
The
なお、制御装置３２の機能構成は、上記の例に限られない。制御装置３２は、上記の機能構成の一部を備えてもよいし、上記以外の機能構成を備えてもよい。例えば、制御装置３２は、上記の機能構成の一部をロボットアーム３１に設けられてもよいし、検出モデル生成装置２の機能構成の一部を備えてもよい。
Note that the functional configuration of the
＜初期状態時の画面表示処理＞
次に、検出モデル生成装置２による初期状態時の画面表示処理について説明する。検出モデル生成装置２は、初期状態において、図５に示されるようなユーザーインターフェース画面（以下、「ＵＩ画面」と称する。）をユーザ端末１の表示装置１Ａ（図１参照）に表示させるように出力する。本実施形態における初期状態時のＵＩ画面は、画面内容表示領域５００と、選択表示部としての生成処理選択領域５０２、学習処理選択領域５０４及びモデル取得処理選択領域５０６とを含んで構成されている。
<Screen display processing in the initial state>
Next, screen display processing in the initial state by the detection
画面内容表示領域５００は、ＵＩ画面の上部に設けられており、本例では「メインメニュー」と本ＵＩ画面の内容（この場合メインメニューであること）を示す文字列と、本処理における設定事項を確認及び編集させるための操作を受け付ける一般設定メニューボタン５０１とが表示されている。本実施の形態に係る情報処理システムでは、本サービスを利用するためにユーザがユーザ端末１にて検出モデル生成装置２にアクセスし情報処理プログラムＪＰを起動した後、図示のＵＩ画面が表示される。
The screen
一般設定メニューボタン５０１は、画面内容表示領域５００内における右側方に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、一般設定メニューボタン５０１に対するタッチ操作又はクリック操作等を受け付けることにより、生成処理、学習処理及びモデル取得処理を実行するサーバ（クラウドサービスも含む）の設定や、自動で処理を実行するためのオートメーション化設定等を実行するための操作画面（不図示）をユーザ端末１の表示装置１Ａに表示するよう出力する。
The general
生成処理選択領域５０２は、ＵＩ画面における左側部かつ画面内容表示領域５００の下方側に設けられており、本例ではデータセットを概念的に示すアイコン（画像、図形、記号等）と、受付部としての生成処理を選択するための操作を受け付ける生成処理選択ボタン５０８とが表示される。ユーザ端末１及び検出モデル生成装置２は、生成処理選択領域５０２に表示された生成処理選択ボタン５０８に対するタッチ操作又はクリック操作等を受け付けることにより、生成処理の選択を受け付ける。生成処理の選択を受け付けた検出モデル生成装置２は、生成処理を実行するための生成処理選択時ＵＩ画面（図６参照、詳細は後述する）をユーザ端末１の表示装置１Ａに表示するよう出力する。
The generation
学習処理選択領域５０４は、ＵＩ画面における中央部かつ画面内容表示領域５００の下方側に設けられており、本例では機械学習モデルを概念的に示すアイコン（画像、図形、記号等）と、受付部としての学習処理を選択するための操作を受け付ける学習処理選択ボタン５１０とが表示される。ユーザ端末１及び検出モデル生成装置２は、学習処理選択領域５０４に表示された学習処理選択ボタン５１０に対するタッチ操作又はクリック操作等を受け付けることにより、学習処理の選択を受け付ける。学習処理の選択を受け付けた検出モデル生成装置２は、学習処理を実行するための学習処理選択時ＵＩ画面（図７参照、詳細は後述する）をユーザ端末１の表示装置１Ａに表示するよう出力する。
The learning
モデル取得処理選択領域５０６は、ＵＩ画面における右側部かつ画面内容表示領域５００の下方側に設けられており、本例では機械学習モデルの取得を概念的に示すアイコン（画像、図形、記号等）と、受付部としての取得処理を選択するための操作を受け付けるモデル取得処理選択ボタン５１２とが表示される。ユーザ端末１及び検出モデル生成装置２は、モデル取得処理選択領域５０６に表示されたモデル取得処理選択ボタン５１２に対するタッチ操作又はクリック操作等を受け付けることにより、モデル取得処理の選択を受け付ける。モデル取得処理の選択を受け付けた検出モデル生成装置２は、モデル取得処理を実行するためのモデル取得処理選択時ＵＩ画面（図８参照、詳細は後述する）をユーザ端末１の表示装置１Ａに表示するよう出力する。
The model acquisition
すなわち、初期状態時の本ＵＩ画面は、生成処理、前記学習処理及び前記モデル取得処理のいずれかを選択可能に表示されている。 That is, the present UI screen in the initial state is displayed so that any one of the generation process, the learning process, and the model acquisition process can be selected.
＜生成処理選択時の画面表示処理＞
次に、検出モデル生成装置２による生成処理時の画面表示処理について説明する。検出モデル生成装置２は、少なくとも生成処理選択領域５０２における生成処理選択ボタン５０８に対する操作を受け付けた場合に、図６に示されるようなＵＩ画面をユーザ端末１の表示装置１Ａに表示させるように出力する。本実施形態における生成処理選択時のＵＩ画面は、画面内容表示領域５１４と、第一タスク表示領域５１６と、第二タスク表示領域５１８と、第三タスク表示領域５２０とを含んで構成されている。
<Screen display processing when generation processing is selected>
Next, screen display processing during generation processing by the detection
画面内容表示領域５１４は、ＵＩ画面の上部に設けられており、本例では「データセットの生成」と本ＵＩ画面の内容（この場合、データセットの生成であること）を示す文字列と、当該文字列に対して右側部に初期状態時のＵＩ画面（図５参照）を表示させるための操作を受け付けるメニューボタン５２２とが表示される。
The screen
第一タスク表示領域５１６は、ＵＩ画面における左側部かつ画面内容表示領域５１４の下方側に設けられており、本例ではデータ生成オプション表示部５２４と、ユーザがアップロードする３Ｄモデルデータを選択しアップロードするための操作を受け付ける受付部かつデータ入力受付部としての３Ｄモデルアップロードボタン５２６と、ユーザがアップロードする各種データを選択するための操作を受け付ける受付部かつデータ入力受付部としてのオブジェクトデータアップロードボタン５２７と、データセットの生成を開始するための操作を受け付ける受付部かつ生成開始指示部としてのデータセット生成開始ボタン５２８と、既に生成された図示しないデータセットを取り込むためのデータインポートボタン５２９とが表示される。データ生成オプション表示部５２４には、３Ｄモデルアップロードボタン５２６にて３Ｄモデルデータのアップロード（詳細は後述）が完了後に、生成するデータセットのパラメータオプションが編集可能な状態でリスト表示される。
The first
３Ｄモデルアップロードボタン５２６は、データ生成オプション表示部５２４の下方側かつ左側方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、３Ｄモデルアップロードボタン５２６に対するタッチ操作又はクリック操作等を受け付けることにより、ユーザ端末１内から検出モデル生成装置２へアップロードする３Ｄモデルデータの選択及びアップロードの実行を行う。
The 3D model upload
オブジェクトデータアップロードボタン５２７は、データ生成オプション表示部５２４の下方側かつ右側方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、オブジェクトデータアップロードボタン５２７に対するタッチ操作又はクリック操作等を受け付けることにより、ユーザ端末１内から検出モデル生成装置２へアップロードする各種データの選択及びアップロードの実行を行う。当該各種データは、一例として、対象物モデルＯＭの３Ｄモデルデータを作成するためのオブジェクトデータとされており、具体的には、対象物Ｏｂを撮影した画像データや、位置情報、深度情報及び色情報の少なくとも一方を含む点群データ等を含む。なお、本実施形態では、３Ｄモデルアップロードボタン５２６とオブジェクトデータアップロードボタン５２７とが異なるボタンとされているが、これに限らず、同一のボタンとしてユーザによりアップロードされたデータ種類を検出モデル生成装置２にて判定し、データ種類に応じて処理を実行する構成としてもよい。
The object data upload
データセット生成開始ボタン５２８は、３Ｄモデルアップロードボタン５２６の下方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、データセット生成開始ボタン５２８に対するタッチ操作又はクリック操作等を受け付けることにより、３Ｄモデルアップロードボタン５２６の操作によって検出モデル生成装置２にアップロードされた３Ｄモデルデータを基にデータセットの生成を実行する。
The data set
データインポートボタン５２９は、オブジェクトデータアップロードボタン５２７の下方側かつ右側方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、データセット生成開始ボタン５２８に対するタッチ操作又はクリック操作等を受け付けることにより、ユーザ端末１内や他の情報処理装置から検出モデル生成装置２へ取り込む各種データの選択及び取り込み処理（インポート）の実行を行う。なお、各種データには、他のデータセット生成装置（不図示）によって生成されたデータセットや対象物Ｏｂを撮影した画像データ等が含まれる。
The data import
第二タスク表示領域５１８は、ＵＩ画面における中央部かつ画面内容表示領域５１４の下方側に設けられており、本例では選択データセット概要表示部５３０と、経過状況表示部かつデータ生成状況表示部としてのデータ作成状況表示部５３２とが表示される。選択データセット概要表示部５３０は、後述する既存データセット表示部５３４において生成済みの既存のデータセットがユーザにより選択された際に、当該データセットに関する情報を表示する。本実施形態の選択データセット概要表示部５３０では、一例として、選択されたデータセットの画像データ、マスクデータ、法線データ及び深度データのサムネイル画像（いずれも不図示）がそれぞれ表示可能とされている。なお、既存データセット表示部５３４において生成済みの既存のデータセットがユーザにより選択されていない場合には、選択データセット概要表示部５３０は空白状態となる。
The second
データ作成状況表示部５３２は、選択データセット概要表示部５３０の下方側に配置されており、データセット生成開始ボタン５２８の操作によってデータセットの生成処理が実施されている際の生成処理の進捗情報が表示される。なお、データセットの生成が実行されていない場合は、データ作成状況表示部５３２は空白状態となる。また、データセットの生成が終了した際は、データ作成状況表示部５３２の背景色が変わるなど表示が変化する。
The data creation
第三タスク表示領域５２０は、ＵＩ画面における右側部かつ画面内容表示領域５１４の下方側に設けられており、本例では既存データセット表示部５３４と、ステータス更新ボタン５３６と、データセット生成停止ボタン５３８と、指示取得部かつデータセット取得部としてのデータセットダウンロードボタン５３９と、指示取得部かつデータセット取得部としてのデータセットパブリッシュボタン５４０とが表示される。既存データセット表示部５３４には、検出モデル生成装置２にて既に生成されたデータセットの一覧を選択可能にリスト表示される。
The third
ステータス更新ボタン５３６は、既存データセット表示部５３４の下方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、ステータス更新ボタン５３６に対するタッチ操作又はクリック操作等を受け付けることにより、データ作成状況表示部５３２及び既存データセット表示部５３４の少なくとも一方の表示更新を実行する。
The
データセット生成停止ボタン５３８は、既存データセット表示部５３４の下方側かつステータス更新ボタン５３６の右側方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、データセット生成停止ボタン５３８に対するタッチ操作又はクリック操作等を受け付けることにより、実行中のデータセットの生成処理を停止する。
The data set
データセットダウンロードボタン５３９は、ステータス更新ボタン５３６の下方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、データセットダウンロードボタン５３９に対するタッチ操作又はクリック操作等を受け付けることにより、検出モデル生成装置２に既に記録されているデータセットのうち既存データセット表示部５３４にて選択されたデータセットをユーザ端末１へのダウンロード（取得）の実行を行う。
The data
データセットパブリッシュボタン５４０は、データセット生成停止ボタン５３８の下方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、データセットパブリッシュボタン５４０に対するタッチ操作又はクリック操作等を受け付けることにより、生成されたデータセットを記憶部２２や図示しないストレージ（一例としてクラウドストレージ）へアップロードし保存する。なお、本実施形態では、データセットパブリッシュボタン５４０は、データセット生成開始ボタン５２８に対する操作によって実行されるデータセットの生成処理が完了するまでは操作できない（非アクティブ）状態とされる。
The data set publish
＜学習処理選択時の画面表示処理＞
次に、検出モデル生成装置２による学習処理時の画面表示処理について説明する。検出モデル生成装置２は、少なくとも学習処理選択領域５０４における学習処理選択ボタン５１０（図５参照）に対する操作を受け付けた場合に、図７に示されるようなＵＩ画面をユーザ端末１の表示装置１Ａに表示させるように出力する。本実施形態における生成処理選択時のＵＩ画面は、画面内容表示領域５４２と、第一タスク表示領域５４４と、第二タスク表示領域５４６と、第三タスク表示領域５４８とを含んで構成されている。
<Screen display processing when learning processing is selected>
Next, screen display processing during learning processing by the detection
画面内容表示領域５４２は、ＵＩ画面の上部に設けられており、本例では「機械学習モデルのトレーニング」と本ＵＩ画面の内容（この場合、機械学習モデルの学習であること）を示す文字列と、当該文字列に対して右側部に前述同様にメニューボタン５２２とが表示される。
The screen
第一タスク表示領域５４４は、ＵＩ画面における左側部かつ画面内容表示領域５４２の下方側に設けられており、本例では既存データセット表示部５５０と、受付部かつ学習処理開始指示部としてのトレーニング開始ボタン５５２とが表示される。既存データセット表示部５５０は、前述の既存データセット表示部５３４と同様に、検出モデル生成装置２にて既に生成されたデータセットの一覧がリスト表示されると共に、任意のデータセットがユーザによって選択可能とされている。
The first task display area 544 is provided on the left side of the UI screen and below the screen
トレーニング開始ボタン５５２は、既存データセット表示部５５０の下方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、トレーニング開始ボタン５５２に対するタッチ操作又はクリック操作等を受け付けることにより、既存データセット表示部５５０にてユーザにより選択されたデータセットによる、後述する既存学習モデル表示部５５４にてユーザにより選択された機械学習モデルの学習処理を実行する。なお、この学習処理には、既に学習済みの機械学習モデルに対する再学習処理も含まれる。
The
第二タスク表示領域５４６は、ＵＩ画面における中央部かつ画面内容表示領域５４２の下方側に設けられており、本例では経過状況表示部かつ学習処理状況表示部としてのトレーニング進捗表示部５５６と、トレーニング状況表示部５５８と、トレーニングオプション表示部５６０とが表示される。トレーニング進捗表示部５５６は、機械学習モデルの学習処理の進捗情報が表示される。
The second task display area 546 is provided in the center part of the UI screen and below the screen
トレーニング状況表示部５５８は、トレーニング進捗表示部５５６の下方側に配置されており、一例として、学習処理を実施する機械学習モデルに関する情報や学習処理に使用されるデータセットに関する情報が表示される。
The training
トレーニングオプション表示部５６０は、トレーニング状況表示部５５８の下方側に配置されており、学習処理のオプションやパラメータが編集可能な状態で表示される。
The training
第三タスク表示領域５４８は、ＵＩ画面における右側部かつ画面内容表示領域５４２の下方側に設けられており、本例では既存学習モデル表示部５５４と、ステータス更新ボタン５６２と、学習処理停止ボタン５６４と、指示取得部かつ機械学習モデル保存部としての学習モデルパブリッシュボタン５６６とが表示される。既存学習モデル表示部５５４には、検出モデル生成装置２にて既に学習処理された機械学習モデルの一覧が選択可能にリスト表示される。
The third
ステータス更新ボタン５６２は、既存学習モデル表示部５５４の下方側かつ左側方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、ステータス更新ボタン５６２に対するタッチ操作又はクリック操作等を受け付けることにより、トレーニング進捗表示部５５６及びトレーニングオプション表示部５６０の少なくとも一方の表示更新を実行する。
The
学習処理停止ボタン５６４は、既存学習モデル表示部５５４の下方側かつステータス更新ボタン５６２の右側方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、学習処理停止ボタン５６４に対するタッチ操作又はクリック操作等を受け付けることにより、実行中の機械学習モデルの学習処理を停止する。
The learning
学習モデルパブリッシュボタン５６６は、ステータス更新ボタン５６２及び学習処理停止ボタン５６４の下方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、学習モデルパブリッシュボタン５６６に対するタッチ操作又はクリック操作等を受け付けることにより、学習処理された機械学習モデルを記憶部２２や図示しないストレージ（一例としてクラウドストレージ）へアップロードし保存する。なお、本実施形態では、学習モデルパブリッシュボタン５６６は、トレーニング開始ボタン５５２に対する操作によって実行される機械学習モデルの学習処理が完了するまでは操作できない（非アクティブ）状態とされる。
The learning model publish button 566 is arranged below the
＜モデル取得処理選択時の画面表示処理＞
次に、検出モデル生成装置２によるモデル取得処理時の画面表示処理について説明する。検出モデル生成装置２は、少なくともモデル取得処理選択領域５０６におけるモデル取得処理選択ボタン５１２（図５参照）に対する操作を受け付けた場合に、図８に示されるようなＵＩ画面をユーザ端末１の表示装置１Ａに表示させるように出力する。本実施形態における生成処理選択時のＵＩ画面は、画面内容表示領域５６８と、第一タスク表示領域５７０と、第二タスク表示領域５７２と、第三タスク表示領域５７４とを含んで構成されている。
<Screen display processing when model acquisition processing is selected>
Next, screen display processing during model acquisition processing by the detection
画面内容表示領域５６８は、ＵＩ画面の上部に設けられており、本例では「検証及び機械学習モデルの取得」と本ＵＩ画面の内容（この場合、機械学習モデルの検証及び取得であること）を示す文字列と、当該文字列に対して右側部に前述同様にメニューボタン５２２とが表示される。
The screen
第一タスク表示領域５７０は、ＵＩ画面における左側部かつ画面内容表示領域５６８の下方側に設けられており、本例では既存学習モデル表示部５７６と、受付部かつ機械学習モデル取得部としての機械学習モデルダウンロードボタン５７８とが表示される。既存学習モデル表示部５７６では、検出モデル生成装置２にて既に学習処理された機械学習モデルの一覧が選択可能にリスト表示される。
The first task display area 570 is provided on the left side of the UI screen and below the screen
機械学習モデルダウンロードボタン５７８は、既存学習モデル表示部５７６の下方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、機械学習モデルダウンロードボタン５７８に対するタッチ操作又はクリック操作等を受け付けることにより、学習済みの機械学習モデルの検出モデル生成装置２からユーザ端末１へのダウンロード（取得）が実行される。
The machine learning
第二タスク表示領域５７２は、ＵＩ画面における中央部かつ画面内容表示領域５６８の下方側に設けられており、本例ではモデル概要表示部としての機械学習モデル説明部５８０が表示される。機械学習モデル説明部５８０では、既存学習モデル表示部５７６にて選択された機械学習モデルに関する情報が表示される。
The second
第三タスク表示領域５７４は、ＵＩ画面における右側部かつ画面内容表示領域５６８の下方側に設けられており、本例では検証状況表示部としての推論状況更新ボタン５８２と、推論状況表示部５８４と、テストデータ受付部としての推論用動画像データアップロードボタン５８６Ａと、テストデータ受付部としての推論用模擬データアップロードボタン５８６Ｂと、検証指示取得部としての推論結果データダウンロードボタン５８８と、モデル展開部としての機械学習モデル展開ボタン５９０とが表示される。推論状況更新ボタン５８２は、第三タスク表示領域５７４の上部に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、推論状況更新ボタン５８２に対するタッチ操作又はクリック操作等を受け付けることにより、選択された機械学習モデルの検証（テスト）の際の推論データ（詳細は後述）を用いた検証状況を表示する推論状況表示部５８４の表示更新を実行する。検証状況は、一例として、対象物Ｏｂを撮影した撮像データや、対象物Ｏｂを再現したシミュレーションデータを推論データとして検出モデルＤＭへ入力した際の処理状況や、ロボットアームのタスクをシミュレーションした際の処理状況とされている。
The third
推論状況表示部５８４は、推論状況更新ボタン５８２の下方側に配置されており、既存学習モデル表示部５７６にて選択された機械学習モデルに対して推論データを用いて検証を実施する際の検証処理情報が表示される。
The inference
推論用動画像データアップロードボタン５８６Ａは、推論状況表示部５８４の下方側かつ左側方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、推論用動画像データアップロードボタン５８６Ａに対するタッチ操作又はクリック操作等を受け付けることにより、既存学習モデル表示部５７６にて選択された機械学習モデルの検証を行う際に使用する動画データや画像データのユーザ端末１から検出モデル生成装置２へのアップロードが実行される。当該アップロードされるデータは、本実施形態においては、ビジョンデータＶＤから対象物Ｏｂの領域及び位置を検出する検出モデルＤＭの検証を行うため、対象物Ｏｂを撮影した動画データや画像データとされている。
The inference video data upload
推推論用模擬データアップロードボタン５８６Ｂは、推論状況表示部５８４の下方側かつ右側方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、推論用模擬データアップロードボタン５８６Ｂに対するタッチ操作又はクリック操作等を受け付けることにより、既存学習モデル表示部５７６にて選択された機械学習モデルの検証を行う際に使用するシミュレーションを実行するための各種データのユーザ端末１から検出モデル生成装置２へのアップロードが実行される。当該アップロードされるデータは、本実施形態においては、対象物Ｏｂを再現したシミュレーションデータを生成するための設定データ等とされている。
The inference simulation data upload
推論結果データダウンロードボタン５８８は、推論用データアップロードボタン５８６の下方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、推論結果データダウンロードボタン５８８に対するタッチ操作又はクリック操作等を受け付けることにより、検証が行われた機械学習モデルの出力結果を含むデータの検出モデル生成装置２からユーザ端末１へのダウンロードが実行される。当該ダウンロードされるデータは、本実施形態においては、推論用データアップロードボタン５８６の操作によってアップロードされた動画データに対して対象物モデルＯＭの領域及び位置を示す情報を付加した動画データが含まれる。
The inference result data download
機械学習モデル展開ボタン５９０は、推論結果データダウンロードボタン５８８の下方側に配置されており、ユーザ端末１及び検出モデル生成装置２の少なくとも一方は、機械学習モデル展開ボタン５９０に対するタッチ操作又はクリック操作等を受け付けることにより、検証が実施された機械学習モデルをロボットシステム３の制御を行う制御装置３２の記憶部３２２（図４参照）に学習済み検出モデルとして送信し展開する。
The machine learning
＜処理フロー＞
次に、本実施形態に係る情報処理システムの作用について説明する。図９は、本実施形態に係る情報処理システムの処理の流れを示すフローチャートである。プロセッサ１０１がメモリ１０２又はストレージ１０３から本実施形態に係る情報処理プログラムＪＰを読み出し、メモリ１０２に展開して実行することにより、本実施形態に係る情報処理プログラムＪＰに基づく処理が行われる。
<Processing flow>
Next, the operation of the information processing system according to this embodiment will be described. FIG. 9 is a flowchart showing the processing flow of the information processing system according to this embodiment. The
（メインメニュー画面表示）
プロセッサ１０１は、メインメニューＵＩ画面（図５参照）をユーザ端末１の表示装置１Ａに表示させるように出力する（ステップ１００）。そして、プロセッサ１０１は、生成処理選択ボタン５０８、学習処理選択ボタン５１０及びモデル取得処理選択ボタン５１２のいずれかに対する操作があるか否かを判定する（ステップ１０２）。操作が無い場合（ステップ１０２：ＮＯ）、プロセッサ１０１は、ステップ１００へ処理を移行する。なお、フローチャートが複雑になるのを避けるため図示していないが、プロセッサ１０１は、一般設定メニューボタン５０１（図５参照）が操作された際は、サーバ等の設定や、オートメーション化設定等を実行するための操作画面（不図示）をユーザ端末１の表示装置１Ａに表示するよう出力する。
(Main menu screen display)
The
操作がある場合（ステップ１０２：ＹＥＳ）、プロセッサ１０１は、操作されたボタンの種別を判定する（ステップ１０４）。操作されたボタンが学習処理選択ボタン５１０の場合（ステップ１０４：学習処理）、プロセッサ１０１は、後述するステップ２００へ処理を移行する。また、操作されたボタンがモデル取得処理選択ボタン５１２の場合（ステップ１０４：モデル取得処理）、プロセッサ１０１は、後述するステップ３００へ処理を移行する。
If there is an operation (step 102: YES),
（生成処理画面表示）
操作されたボタンが生成処理選択ボタン５０８の場合（ステップ１０４：生成処理）、プロセッサ１０１は、「データセットの生成」ＵＩ画面（図６参照）をユーザ端末１の表示装置１Ａ（図１参照）に表示させるように出力する（ステップ１０６）。なお、フローチャートが複雑になるのを避けるため図示していないが、プロセッサ１０１は、フローチャート中のいずれの処理中においてもメニューボタン５２２が操作された際は、ステップ１００へ処理を移行する。
(Generation processing screen display)
When the operated button is the generation process selection button 508 (step 104: generation process), the
プロセッサ１０１は、既存のデータセットが記憶部２２に保存されている場合、既存データセット表示部５３４に当該データセットを表示する（ステップ１０８）。そして、プロセッサ１０１は、データインポートボタン５２９が操作されたか否かを判定する（ステップ１１０）。データインポートボタン５２９が操作されていない場合（ステップ１１０：ＮＯ）、プロセッサ１０１は、後述するステップ１１６へ処理を移行する。
When an existing data set is stored in the
データインポートボタン５２９が操作されている場合（ステップ１１０：ＹＥＳ）、プロセッサ１０１は、ユーザ端末１内から検出モデル生成装置２へアップロードする各種データの選択及びアップロードの実行を行う（ステップ１１２）。そして、プロセッサ１０１は、ステップ１１２にてアップロードされたデータが生成済みのデータセットか否かを判定する（ステップ１１４）。前述のデータが生成済みのデータセットではない場合（ステップ１１４：ＮＯ）、プロセッサ１０１は、後述するステップ１３０へ処理を移行する。一方、データが生成済みのデータセットである場合（ステップ１１４：ＹＥＳ）、プロセッサ１０１は、後述するステップ１４８へ処理を移行する。
If the
プロセッサ１０１は、オブジェクトデータアップロードボタン５２７が操作されたか否かを判定する（ステップ１１６）。オブジェクトデータアップロードボタン５２７が操作されていない場合（ステップ１１６：ＮＯ）、プロセッサ１０１は、後述するステップ１２２へ処理を移行する。一方、オブジェクトデータアップロードボタン５２７が操作されている場合（ステップ１１６：ＹＥＳ）、プロセッサ１０１は、ユーザ端末１内から検出モデル生成装置２へアップロードする各種データ（対象物モデルＯＭを生成するためのデータ）の選択及びアップロードの実行を行う（ステップ１１８）。そして、プロセッサ１０１は、ステップ１１８にてアップロードされた各種データを基に対象物モデルＯＭを生成し（ステップ１２０）、後述するステップ１３０へ処理を移行する。
プロセッサ１０１は、３Ｄモデルアップロードボタン５２６が操作されたか否かを判定する（ステップ１２２）。３Ｄモデルアップロードボタン５２６が操作されていない場合（ステップ１２２：ＮＯ）、プロセッサ１０１は、既存データセット表示部５３４に表示された既存のデータセットが選択されたか否かを判定する（ステップ１２４）。既存のデータセットが選択されていない場合（ステップ１２４：ＮＯ）、プロセッサ１０１は、ステップ１０６へ処理を移行する。一方、既存のデータセットが選択されている場合（ステップ１２４：ＹＥＳ）、プロセッサ１０１は、選択データセット概要表示部５３０に選択されたデータセットに関する情報を表示する（ステップ１２６）。その後、後述するステップ１２８へ処理を移行する。
The
３Ｄモデルアップロードボタン５２６が操作されている場合（ステップ１２２：ＹＥＳ）、プロセッサ１０１は、ユーザ端末１内から検出モデル生成装置２へアップロードする３Ｄモデルデータの選択及びアップロードの実行を行う（ステップ１２８）。
If the 3D model upload
プロセッサ１０１は、データ生成オプション表示部５２４に生成するデータセットのパラメータオプションを編集可能な状態でリスト表示する（ステップ１３０）。そして、プロセッサ１０１は、データセット生成開始ボタン５２８が操作されたか否かを判定する（ステップ１３２）。データセット生成開始ボタン５２８が操作されていない場合（ステップ１３２：ＮＯ）、プロセッサ１０１は、ステップ１３０へ処理を移行する。
The
データセット生成開始ボタン５２８が操作されている場合（ステップ１３２：ＹＥＳ）、プロセッサ１０１は、検出モデル生成装置２にアップロードされたデータを基に、データ生成オプション表示部５２４に表示及び編集されたデータセットのパラメータオプションを踏まえた上でデータセットの生成実行を開始する（ステップ１３４）。
If the data set
プロセッサ１０１は、データ作成状況表示部５３２に生成処理の進捗情報を表示する（ステップ１３６）。そして、プロセッサ１０１は、データセット生成停止ボタン５３８が操作されたか否かを判定する（ステップ１３８）。データセット生成停止ボタン５３８が操作された場合（ステップ１３８：ＹＥＳ）、プロセッサ１０１は、ステップ１０６へ処理を移行する。
The
データセット生成停止ボタン５３８が操作されていない場合（ステップ１３８：ＮＯ）、プロセッサ１０１は、ステータス更新ボタン５３６が操作されたか否かを判定する（ステップ１４０）。ステータス更新ボタン５３６が操作されていない場合（ステップ１４０：ＮＯ）、プロセッサ１０１は、後述するステップ１４４へ処理を移行する。
If the data set
ステータス更新ボタン５３６が操作されている場合（ステップ１４０：ＹＥＳ）、プロセッサ１０１は、データ作成状況表示部５３２に表示される生成処理の進捗情報を更新する（ステップ１４２）。
If the
プロセッサ１０１は、データセットの生成処理が終了したか否かを判定する（ステップ１４４）。生成処理が終了していない場合（ステップ１４４：ＮＯ）、プロセッサ１０１は、ステップ１３８へ処理を移行する。
The
生成処理が終了した場合（ステップ１４４：ＹＥＳ）、プロセッサ１０１は、データ作成状況表示部５３２に表示される生成処理の進捗情報を更新する（ステップ１４６）。そして、プロセッサ１０１は、データセットパブリッシュボタン５４０が操作されたか否かを判定する（ステップ１４８）。データセットパブリッシュボタン５４０が操作されていない場合（ステップ１４８：ＮＯ）、プロセッサ１０１は、ステップ１１０の処理へ移行する。
If the generation process has ended (step 144: YES), the
データセットパブリッシュボタン５４０が操作された場合（ステップ１４８：ＹＥＳ）、プロセッサ１０１は、生成されたデータセットを検出モデル生成装置２における記憶部２２（図３参照）や図示しないクラウドストレージに保存する（ステップ１５０）。そして、プロセッサ１０１は、図示しない選択画面を表示すると共に、当該選択画面にてメインメニュー画面（図５参照）へ移行するか、本処理（生成処理）画面のトップへ移行するか、次処理（学習処理）へ移行するか、のいずれかのユーザＵの選択操作を受け付ける（ステップ１５２）。メインメニュー画面への移行が選択された際は（ステップ１５２：メインメニュー）、プロセッサ１０１は、ステップ１００へ処理を移行する。本処理（生成処理）画面のトップへの移行が選択された際は、（ステップ１５２：本処理トップ）、プロセッサ１０１は、ステップ１１０へ処理を移行する。次処理（学習処理）への移行が選択された際は（ステップ１５２：次処理）、プロセッサ１０１は、図１０に示されるステップ２００へ処理を移行する。
When the dataset publish
（学習処理画面表示）
プロセッサ１０１は、「機械学習モデルのトレーニング」ＵＩ画面（図７参照）をユーザ端末１の表示装置１Ａ（図１参照）に表示させるように出力する（ステップ２００）。そして、プロセッサ１０１は、既存データセット表示部５５０に検出モデル生成装置２にて既に生成されたデータセットの一覧を選択可能にリスト表示する（ステップ２０２）と共に、既存学習モデル表示部５５４に検出モデル生成装置２にて既に学習処理された機械学習モデルの一覧を選択可能にリスト表示する（ステップ２０４）。
(Learning processing screen display)
The
プロセッサ１０１は、既存データセット表示部５５０にてデータセットが選択されたか否かを判定する（ステップ２０６）。データセットが選択されていない場合（ステップ２０６：ＮＯ）、プロセッサ１０１は、ステップ２０２へ処理を移行する。
The
データセットが選択された場合（ステップ２０６：ＹＥＳ）、プロセッサ１０１は、トレーニングオプション表示部５６０に学習処理のオプションやパラメータを編集可能な状態にて表示する（ステップ２０８）。
If a data set has been selected (step 206: YES), the
プロセッサ１０１は、トレーニング開始ボタン５５２が操作されたか否かを判定する（ステップ２１０）。トレーニング開始ボタン５５２が操作されていない場合（ステップ２１０：ＮＯ）、プロセッサ１０１は、ステップ２０８へ処理を移行する。
トレーニング開始ボタン５５２が操作された場合（ステップ２１０：ＹＥＳ）、プロセッサ１０１は、トレーニングオプション表示部５６０に表示及び編集された場合の学習処理のオプションやパラメータを踏まえた上で既存学習モデル表示部５５４にてユーザにより選択された機械学習モデルの学習処理の実行を開始する（ステップ２１２）。
If the
プロセッサ１０１は、トレーニング状況表示部５５８にて学習処理を実施する機械学習モデルに関する情報や学習処理に使用されるデータセットに関する情報を表示する（ステップ２１４）と共に、トレーニング進捗表示部５５６にて機械学習モデルの学習処理の進捗情報を表示する（ステップ２１６）。
The
プロセッサ１０１は、学習処理停止ボタン５６４が操作されたか否かを判定する（ステップ２１８）。学習処理停止ボタン５６４が操作された場合（ステップ２１８：ＹＥＳ）、プロセッサ１０１は、ステップ２００へ処理を移行する。
The
学習処理停止ボタン５６４が操作されていない場合（ステップ２１８：ＮＯ）、プロセッサ１０１は、ステータス更新ボタン５６２が操作されたか否かを判定する（ステップ２２０）。ステータス更新ボタン５６２が操作されていない場合（ステップ２２０：ＮＯ）、プロセッサ１０１は、後述するステップ２２４へ処理を移行する。
If the learning
ステータス更新ボタン５６２が操作された場合（ステップ２２０：ＹＥＳ）、プロセッサ１０１は、トレーニング進捗表示部５５６に表示される機械学習モデルの学習処理の進捗情報の表示を更新する（ステップ２２２）。そして、プロセッサ１０１は、機械学習モデルの学習処理が終了したか否かを判定する（ステップ２２４）。機械学習モデルの学習処理が終了していない場合（ステップ２２４：ＮＯ）、プロセッサ１０１は、ステップ２１８へ処理を移行する。
When the
機械学習モデルの学習処理が終了した場合（ステップ２２４：ＹＥＳ）、プロセッサ１０１は、トレーニング進捗表示部５５６に表示される機械学習モデルの学習処理の進捗情報を更新する（ステップ２２６）。
When the learning process of the machine learning model has ended (step 224: YES), the
プロセッサ１０１は、学習モデルパブリッシュボタン５６６が操作されたか否かを判定する（ステップ２２８）。学習モデルパブリッシュボタン５６６が操作されていない場合（ステップ２２８：ＮＯ）、プロセッサ１０１は、ステップ２００へ処理を移行する。
The
学習モデルパブリッシュボタン５６６が操作された場合（ステップ２２８：ＹＥＳ）、プロセッサ１０１は、学習処理された機械学習モデルを検出モデル生成装置２における記憶部２２（図３参照）や図示しないクラウドストレージに保存する（ステップ２３０）。そしてプロセッサ１０１は、図示しない選択画面を表示すると共に、当該選択画面にてメインメニュー画面（図５参照）へ移行するか、本処理（学習処理）画面のトップへ移行するか、次処理（モデル取得処理）へ移行するか、のいずれかのユーザＵの選択操作を受け付ける（ステップ２３２）。メインメニュー画面への移行が選択された際は（ステップ２３２：メインメニュー）、プロセッサ１０１は、ステップ１００へ処理を移行する。本処理（学習処理）画面のトップへの移行が選択された際は、（ステップ２３２：本処理トップ）、プロセッサ１０１は、ステップ２００へ処理を移行する。次処理（モデル取得処理）への移行が選択された際は（ステップ２３２：次処理）、プロセッサ１０１は、図１１に示される後述するステップ３００へ処理を移行する。
When the learning model publish button 566 is operated (step 228: YES), the
（モデル取得処理画面表示）
プロセッサ１０１は、「検証及び機械学習モデルの取得」ＵＩ画面（図８参照）をユーザ端末１の表示装置１Ａ（図１参照）に表示させるように出力する（ステップ３００）。そして、プロセッサ１０１は、既存学習モデル表示部５７６に既に学習処理された機械学習モデルの一覧を選択可能にリスト表示する（ステップ３０２）。
(Model acquisition processing screen display)
The
プロセッサ１０１は、既存学習モデル表示部５７６にて機械学習モデルが選択されたか否かを判定する（ステップ３０４）。機械学習モデルが選択されていない場合（ステップ３０４：ＮＯ）、プロセッサ１０１は、ステップ３０２へ処理を移行する。
The
機械学習モデルが選択されている場合（ステップ３０４：ＹＥＳ）、プロセッサ１０１は、機械学習モデル説明部５８０に選択された機械学習モデルに関する情報を表示する（スップ３０６）。
If a machine learning model is selected (step 304: YES), the
プロセッサ１０１は、推論用データアップロードボタン５８６が操作されたか否かを判定する（ステップ３０８）。推論用データアップロードボタン５８６が操作されていない場合（ステップ３０８：ＮＯ）、プロセッサ１０１は、ステップ３０４へ処理を移行する。
The
推論用データアップロードボタン５８６が操作されている場合（ステップ３０８：ＹＥＳ）、プロセッサ１０１は、既存学習モデル表示部５７６にて選択された機械学習モデルの検証を行う際に使用するデータを、ユーザ端末１から検出モデル生成装置２へアップロードする（ステップ３１０）と共に、検証処理の実行を開始する（ステップ３１２）。
If the inference data upload button 586 has been operated (step 308: YES), the
プロセッサ１０１は、推論状況表示部５８４に機械学習モデルに対して推論データを用いて検証を実施する際の検証処理情報を表示する（ステップ３１４）。そして、プロセッサ１０１は、推論状況更新ボタン５８２が操作されたか否かを判定する（ステップ３１６）。推論状況更新ボタン５８２が操作されていない場合（ステップ３１６：ＮＯ）、プロセッサ１０１は、後述するステップ３２０へ処理を移行する。
The
推論状況更新ボタン５８２が操作された場合（ステップ３１６：ＹＥＳ）、プロセッサ１０１は、推論状況表示部５８４に表示される検証処理状況を更新する（ステップ３１８）。そして、プロセッサ１０１は、検証処理が終了したか否かを判定する（ステップ３２０）。検証処理が終了していない場合（ステップ３２０：ＮＯ）、プロセッサ１０１は、ステップ３１６へ処理を移行する。
If the inference
検証処理が終了した場合（ステップ３２０：ＹＥＳ）、プロセッサ１０１は、推論状況表示部５８４に表示される検証処理情報の表示を更新する（ステップ３２２）。そして、プロセッサ１０１は、機械学習モデルダウンロードボタン５７８が操作されたか否かを判定する（ステップ３２４）。機械学習モデルダウンロードボタン５７８が操作されていない場合（ステップ３２４：ＮＯ）。プロセッサ１０１は、後述するステップ３２８へ処理を移行する。
If the verification process has ended (step 320: YES), the
機械学習モデルダウンロードボタン５７８が操作された場合（ステップ３２４：ＹＥＳ）、プロセッサ１０１は、既存学習モデル表示部５７６にて選択された機械学習モデルを検出モデル生成装置２からユーザ端末１へダウンロードする（ステップ３２６）。
When the machine learning
プロセッサ１０１は、推論結果データダウンロードボタン５８８が操作されたか否かを判定する（ステップ３２８）。推論結果データダウンロードボタン５８８が操作されていない場合（ステップ３２８：ＮＯ）、プロセッサ１０１は、後述するステップ３３２へ処理を移行する。
The
推論結果データダウンロードボタン５８８が操作された場合（ステップ３２８：ＹＥＳ）、プロセッサ１０１は、検証が行われた機械学習モデルの出力結果を含むデータを、検出モデル生成装置２からユーザ端末１へダウンロードする（ステップ３３０）。
When the inference result data download
プロセッサ１０１は、機械学習モデル展開ボタン５９０が操作されたか否かを判定する（ステップ３３２）。機械学習モデル展開ボタン５９０が操作されていない場合（ステップ３３２：ＮＯ）、プロセッサ１０１は、ステップ３００へ処理を移行する。一方、機械学習モデル展開ボタン５９０が操作された場合（ステップ３３２：ＹＥＳ）、プロセッサ１０１は、検証が実施された機械学習モデルを他の情報処理装置（一例として制御装置３２）に学習済み検出モデルとして展開（送信する（ステップ３３４）。そしてプロセッサ１０１は、図示しない選択画面を表示すると共に、当該選択画面にてメインメニュー画面（図５参照）へ移行するか、本処理（モデル取得処理）画面のトップへ移行するか、本一連の処理を終了するか、のいずれかのユーザＵの選択操作を受け付ける（ステップ３３６）。メインメニュー画面への移行が選択された際は（ステップ３３６：メインメニュー）、プロセッサ１０１は、ステップ１００へ処理を移行する。本処理（モデル取得処理）画面のトップへの移行が選択された際は、（ステップ３３６：本処理トップ）、プロセッサ１０１は、ステップ３００へ処理を移行する。本一連の処理の終了が選択された際は（ステップ３３６：終了）、プロセッサ１０１は、本実施形態に係る情報処理プログラムＪＰの処理を終了する。
The
なお、プロセッサ１０１により学習済み機械学習モデルが展開される際は、予め展開先として設定された他の情報処理装置へ当該機械学習モデルを自動的に送信可能とされている。また、本実施形態では、一例として制御装置３２の記憶部２２に展開された機械学習モデルにより選択したピッキング対象をピッキングできるようにロボットアーム３１を制御する。ロボットアーム３１の制御方法として、既存の任意の方法を利用できる。
In addition, when the learned machine learning model is developed by the
＜本実施形態の作用・効果＞
次に、本実施形態の作用並びに効果を説明する。
<Functions and effects of the present embodiment>
Next, the operation and effects of this embodiment will be described.
本実施形態に係る情報処理方法によれば、生成処理、学習処理及びモデル取得処理のそれぞれの処理において、受付部と経過状況表示部と指示取得部とがユーザ端末１の表示装置１Ａに表示されるように出力する。したがって、ユーザは、各処理において処理の実行に必要なデータの入力や操作等の指示、処理の経過状態及び保存を視覚的に把握及び実施することができる。すなわち、表示装置１Ａに表示される受付部、経過状況表示部及び指示取得部をタッチ操作、クリック操作又は視認することが可能となるので、各処理における必要な作業等及びそれに対応したコマンドを予め理解することなく状況把握及び操作することができる。これにより、機械学習モデルの学習及び利活用を容易に行うことができる。
According to the information processing method according to the present embodiment, the reception unit, the progress display unit, and the instruction acquisition unit are displayed on the
また、情報処理方法によれば、図６に示されるように、生成処理において、受付部かつデータ入力受付部としての３Ｄモデルアップロードボタン５２６と、受付部かつデータ入力受付部としてのオブジェクトデータアップロードボタン５２７と、受付部かつ生成開始指示部としてのデータセット生成開始ボタン５２８と、経過状況表示部かつデータ生成状況表示部としてのデータ作成状況表示部５３２と、指示取得部かつデータセット取得部としてのデータセットダウンロードボタン５３９と、指示取得部かつデータセット取得部としてのデータセットパブリッシュボタン５４０とが表示装置１Ａに表示される。したがって、生成処理においてデータセットを生成する際に必要なデータの入力、データセットの生成開始、データセットの生成処理の進捗把握、生成処理済みのデータセットの取得及び生成処理済みのデータセットの保存をコマンド操作することなく容易に行うことができる。
Further, according to the information processing method, as shown in FIG. 6, in the generation process, a 3D model upload
さらに、情報処理方法によれば、生成処理において、３Ｄモデルアップロードボタン５２６と、オブジェクトデータアップロードボタン５２７と、データセット生成開始ボタン５２８と、データ作成状況表示部５３２と、データセットダウンロードボタン５３９と、データセットパブリッシュボタン５４０とが作業時系列順にて表示装置１Ａに表示される。すなわち、一般的に生成処理における作業時系列は、データセットを生成する際に必要なデータの入力を行ってからデータセットの生成開始操作後、データセットの生成処理の進捗を確認した上で、生成処理済みのデータセットの取得及び生成処理済みのデータセットの保存を行う。この作業時系列に沿うよう、それぞれの作業工程に対応するボタン又は表示部は、最初の工程に対応する３Ｄモデルアップロードボタン５２６及びオブジェクトデータアップロードボタン５２７を除いて前工程の作業工程に対応するボタン又は表示部の下方側又は右側に配置されている。一般的にユーザは表示装置１Ａを左側から右側、上側から下側へ向かって視認することから、ユーザは直感的に作業時系列に沿って操作及び確認作業を行うことができる。
Furthermore, according to the information processing method, in the generation process, a 3D model upload
さらにまた、情報処理方法によれば、図７に示されるように、学習処理において、受付部かつ学習処理開始指示部としてのトレーニング開始ボタン５５２と、経過状況表示部かつ学習処理状況表示部としてのトレーニング進捗表示部５５６と、指示取得部かつ機械学習モデル保存部としての学習モデルパブリッシュボタン５６６とが表示装置１Ａに表示される。したがって、学習処理において機械学習モデルの学習処理の実行、機械学習モデルの学習処理の進捗把握、学習処理済みの機械学習モデルの保存をコマンド操作することなく容易に行うことができる。
Furthermore, according to the information processing method, as shown in FIG. 7, in the learning process, a
また、情報処理方法によれば、学習処理において、トレーニング開始ボタン５５２と、トレーニング進捗表示部５５６と、学習モデルパブリッシュボタン５６６とが作業時系列順にて表示装置１Ａに表示される。すなわち、一般的に学習処理における作業時系列は、機械学習モデルに学習させる学習処理開始の指示後、機械学習モデルの学習処理の進捗を確認した上で、学習処理済みの機械学習モデルの保存を行う。この作業時系列に沿うよう、図７に示されるように、それぞれの作業工程に対応するボタン又は表示部は、最初の工程に対応するトレーニング開始ボタン５５２を除いて前工程の作業工程に対応するボタン又は表示部の右側に配置されている。一般的にユーザは表示装置１Ａを左側から右側へ向かって視認することから、ユーザは直感的に作業時系列に沿って操作及び確認作業を行うことができる。
Further, according to the information processing method, in the learning process, the
さらに、情報処理方法によれば、図８に示されるように、モデル取得処理において、受付部かつ機械学習モデル取得部としての機械学習モデルダウンロードボタン５７８が表示装置１Ａに表示される。したがって、モデル取得処理において学習済みの機械学習モデルの検出モデル生成装置２からユーザ端末１へのダウンロードの実行をコマンド操作することなく容易に行うことができる。
Furthermore, according to the information processing method, as shown in FIG. 8, in the model acquisition process, a machine learning
さらにまた、情報処理方法によれば、モデル取得処理において、モデル概要表示部としての機械学習モデル説明部５８０が表示装置１Ａに表示される。したがって、モデル取得処理において機械学習モデルの概要把握をコマンド操作することなく容易に行うことができる。
Furthermore, according to the information processing method, the machine learning
また、情報処理方法によれば、モデル取得処理において、テストデータ受付部としての推論用データアップロードボタン５８６と、検証状況表示部としての推論状況更新ボタン５８２と、検証指示取得部としての推論結果データダウンロードボタン５８８と、モデル展開部としての機械学習モデル展開ボタン５９０とが表示装置１Ａに表示される。したがって、モデル取得処理において、機械学習モデルの検証を実施するためのサンプルデータセットの入力、機械学習モデルの検証状況の把握、機械学習モデルの検証結果に関する情報の把握及び機械学習モデルの他の情報処理装置へ送信をコマンド操作することなく容易に行うことができる。
According to the information processing method, in the model acquisition process, an inference data upload button 586 as a test data reception unit, an inference
さらに、情報処理方法によれば、図５に示されるように、検出モデル生成装置２による初期状態時においては、選択表示部としての生成処理選択領域５０２、学習処理選択領域５０４及びモデル取得処理選択領域５０６が表示装置１Ａに表示される。したがって、ユーザは機械学習モデルの学習及び利活用において実施したい処理の選択が容易となる。
Furthermore, according to the information processing method, as shown in FIG. 5, in the initial state of the detection
また、本実施形態に係る情報処理システムによれば、生成処理、学習処理及びモデル取得処理のそれぞれの処理において、受付部と経過状況表示部と指示取得部と制御部２３（図３参照）とを有する。したがって、ユーザは、各処理において処理の実行に必要なデータの入力や操作等の指示、処理の経過状態及び保存を視覚的に把握及び実施することができる。すなわち、表示装置１Ａに表示される受付部、経過状況表示部及び指示取得部をタッチ操作、クリック操作又は視認することが可能となるので、各処理における必要な作業等及びそれに対応したコマンドを予め理解することなく状況把握及び操作することができる。これにより、機械学習モデルの学習及び利活用を容易に行うことができる。
Further, according to the information processing system according to the present embodiment, in each of the generation process, the learning process, and the model acquisition process, the reception unit, the progress display unit, the instruction acquisition unit, and the control unit 23 (see FIG. 3) have Therefore, in each process, the user can visually grasp and implement the input of data necessary for execution of the process, instructions for operations, etc., the progress status of the process, and storage. That is, since it is possible to perform touch operation, click operation, or visual recognition of the reception unit, the progress display unit, and the instruction acquisition unit displayed on the
さらに、本実施形態に係る情報処理プログラムＪＰによれば、生成処理、学習処理及びモデル取得処理の少なくとも一つの処理の実行指示が入力されたか否かを判定するステップと、前記ステップにて実行指示の入力に基づき、処理の実行に必要なデータの入力及び指示の少なくとも一方を受け付ける受付部と、処理の経過状態を表す経過状況表示部と、処理結果の取得及び公開の少なくとも一方の指示を受け付ける取得部と、の少なくとも一つをユーザーインターフェースに表示させるように出力するステップと、をコンピュータに実行させる。したがって、ユーザは、各処理において処理の実行に必要なデータの入力や操作等の指示、処理の経過状態及び保存を視覚的に把握及び実施することができる。すなわち、表示装置１Ａに表示される受付部、経過状況表示部及び指示取得部をタッチ操作、クリック操作又は視認することが可能となるので、各処理における必要な作業等及びそれに対応したコマンドを予め理解することなく状況把握及び操作することができる。これにより、機械学習モデルの学習及び利活用を容易に行うことができる。
Furthermore, according to the information processing program JP according to the present embodiment, the step of determining whether or not an execution instruction for at least one of the generation process, the learning process, and the model acquisition process has been input; Based on the input of , a reception unit that receives at least one of data input and instructions required to execute processing, a progress display unit that displays the progress status of processing, and receives instructions for at least one of acquisition and disclosure of processing results and outputting at least one of the obtaining unit to be displayed on a user interface. Therefore, in each process, the user can visually grasp and implement the input of data necessary for execution of the process, instructions for operations, etc., the progress status of the process, and storage. That is, since it is possible to perform touch operation, click operation, or visual recognition of the reception unit, the progress display unit, and the instruction acquisition unit displayed on the
なお、本実施形態では、生成処理、学習処理及びモデル取得処理のすべての処理で受付部、計画状況取得部、指示取得部がユーザ端末１の表示装置１Ａに表示されるよう構成されているが、これに限らず、受付部、計画状況取得部、指示取得部のうちどれか一つ又は二つがユーザ端末１の表示装置１Ａに表示されるようにしてもよい。
In this embodiment, the reception unit, the plan status acquisition unit, and the instruction acquisition unit are configured to be displayed on the
また、上述の実施形態では、生成処理及び学習処理において受付部、計画状況取得部、指示取得部が作業時系列に配置された構成とされているが、これに限らず、生成処理、学習処理及びモデル取得処理のいずれかにおいて、作業工程の変更や作業工程のカスタマイズ、表示装置１Ａのサイズに応じて付部、計画状況取得部、指示取得部の配置を変更する構成としてもよい。
In addition, in the above-described embodiment, the reception unit, the plan status acquisition unit, and the instruction acquisition unit are arranged in work chronological order in the generation processing and the learning processing. and model acquisition processing, the layout of the attachment unit, the planning situation acquisition unit, and the instruction acquisition unit may be changed according to the change of the work process, the customization of the work process, and the size of the
＜付記＞
本実施形態は、以下の開示を含む。
<Appendix>
This embodiment includes the following disclosure.
（付記１） 情報処理装置が実行する情報処理方法であって、
トレーニングデータセットを生成する生成処理、機械学習モデルに前記トレーニングデータセットを学習させる学習処理及び学習済みの前記機械学習モデルを取得するモデル取得処理の少なくとも一つの処理において、処理の実行に必要なデータの入力及び指示の少なくとも一方を受け付ける受付部と、処理の経過情報を表す経過状況表示部と、処理結果の取得及び保存の少なくとも一方の指示を受け付ける指示取得部との少なくとも一つが、ユーザーインターフェースにそれぞれ表示されるように出力するステップと、
を含む情報処理方法。
(Appendix 1) An information processing method executed by an information processing device,
In at least one of a generation process for generating a training data set, a learning process for making a machine learning model learn the training data set, and a model acquisition process for acquiring the learned machine learning model, data necessary for executing the process at least one of a receiving unit that receives at least one of the input and instructions of, a progress display unit that displays processing progress information, and an instruction acquisition unit that receives at least one of instructions to acquire and store processing results is provided in the user interface a step of outputting each to be displayed;
Information processing method including.
（付記２）
前記情報処理装置は、前記生成処理において、
前記受付部としてデータ入力を受け付けるデータ入力受付部及び前記トレーニングデータセットの生成開始の指示を受け付ける生成開始指示部と、
前記経過状況表示部として前記トレーニングデータセットの生成処理進捗情報を表すデータ生成状況表示部と、
前記指示取得部として生成処理が実行された前記トレーニングデータセットを取得及び保存の少なくとも一方の指示を受け付けるデータセット取得部と、
を表示させる、
付記１に記載の情報処理方法。
(Appendix 2)
The information processing device, in the generation process,
a data input reception unit that receives data input as the reception unit; and a generation start instruction unit that receives an instruction to start generation of the training data set;
a data generation status display unit as the progress status display unit that indicates progress information of the training data set generation process;
a data set acquisition unit that receives at least one instruction to acquire or store the training data set for which generation processing has been executed as the instruction acquisition unit;
to display
The information processing method according to
（付記３）
前記情報処理装置は、前記生成処理において、前記データ入力受付部と、前記生成開始指示部と、前記データ生成状況表示部と、前記データセット取得部とを作業時系列順に前記ユーザーインターフェースに表示させるよう出力する、
付記２に記載の情報処理方法。
(Appendix 3)
In the generation process, the information processing device causes the user interface to display the data input reception unit, the generation start instruction unit, the data generation status display unit, and the data set acquisition unit in work chronological order. outputs like,
The information processing method according to
（付記４）
前記情報処理装置は、前記学習処理において、
前記受付部として前記トレーニングデータセットを前記機械学習モデルに学習させる学習処理開始の指示を受け付ける学習処理開始指示部と、
前記経過状況表示部として前記機械学習モデルの学習処理進捗情報を表す学習処理状況表示部と、
前記指示取得部として学習処理が実行された前記機械学習モデルの保存の指示を受け付ける機械学習モデル保存部と、
を表示させる、
付記１～付記３のいずれか一項に記載の情報処理方法。
(Appendix 4)
The information processing device, in the learning process,
a learning process start instruction unit that receives an instruction to start a learning process that causes the machine learning model to learn the training data set as the reception unit;
a learning processing status display unit representing learning processing progress information of the machine learning model as the progress status display unit;
a machine learning model storage unit that receives an instruction to store the machine learning model that has undergone learning processing as the instruction acquisition unit;
to display
The information processing method according to any one of
（付記５）
前記情報処理装置は、前記学習処理において、前記学習処理開始指示部と、前記学習処理状況表示部と、前記機械学習モデル保存部とを作業時系列順に前記ユーザーインターフェースに表示させるよう出力する、
付記４に記載の情報処理方法。
(Appendix 5)
In the learning process, the information processing device outputs the learning process start instruction unit, the learning process status display unit, and the machine learning model storage unit to be displayed on the user interface in work chronological order.
The information processing method according to appendix 4.
（付記６）
前記情報処理装置は、前記モデル取得処理において、
前記受付部として前記機械学習モデルの取得の指示を受け付ける機械学習モデル取得部と、
を表示させる、
付記１～付記５のいずれか一項に記載の情報処理方法。
(Appendix 6)
In the model acquisition process, the information processing device includes:
a machine learning model acquisition unit that receives an instruction to acquire the machine learning model as the reception unit;
to display
The information processing method according to any one of
（付記７）
前記情報処理装置は、前記モデル取得処理において、
前記機械学習モデルの概要を表示するモデル概要表示部と、
を含んで一つのユーザーインターフェースに表示させる、
付記１～付記６のいずれか一項に記載の情報処理方法。
(Appendix 7)
In the model acquisition process, the information processing device includes:
a model overview display unit that displays an overview of the machine learning model;
to be displayed in a single user interface, including
The information processing method according to any one of
（付記８）
前記情報処理装置は、前記モデル取得処理において、
前記機械学習モデルの検証を実施するためのサンプルデータセットの入力を受け付けるテストデータ受付部と、
前記機械学習モデルの検証状況を表す検証状況表示部と、
前記機械学習モデルの検証結果に関する情報を得るための検証指示取得部と、
前記機械学習モデルを他の情報処理装置へ送信するモデル展開部と、
の少なくとも一つを含んで一つのユーザーインターフェースに表示させる、
付記１～付記７のいずれか一項に記載の情報処理方法。
(Appendix 8)
In the model acquisition process, the information processing device includes:
a test data reception unit that receives input of a sample data set for performing verification of the machine learning model;
a verification status display unit that displays the verification status of the machine learning model;
a verification instruction acquisition unit for obtaining information about verification results of the machine learning model;
a model development unit that transmits the machine learning model to another information processing device;
displayed in a single user interface containing at least one of
The information processing method according to any one of
（付記９）
前記情報処理装置は、前記生成処理、前記学習処理及び前記モデル取得処理のいずれかを選択可能に表示させる選択表示部を前記ユーザーインターフェースに表示するように出力するステップを有する、
付記１～付記８のいずれか一項に記載の情報処理方法。
(Appendix 9)
The information processing device has a step of outputting a selection display section for selectively displaying any one of the generation process, the learning process, and the model acquisition process to be displayed on the user interface.
The information processing method according to any one of
（付記１０）
トレーニングデータセットを生成する生成処理、機械学習モデルに前記トレーニングデータセットを学習させる学習処理及び学習済みの前記機械学習モデルを取得するモデル取得処理の少なくとも一つの処理において、
処理の実行に必要なデータの入力及び指示の少なくとも一方を受け付ける受付部と、
処理の経過情報を表す経過状況表示部と、処理結果の取得及び保存の少なくとも一方の指示を受け付ける指示取得部と、
前記受付部、前記経過状況表示部及び前記指示取得部の少なくとも一つが、ユーザーインターフェースにそれぞれ表示されるように出力する表示処理部と、
を有する情報処理システム。
(Appendix 10)
In at least one of a generation process for generating a training data set, a learning process for causing a machine learning model to learn the training data set, and a model acquisition process for obtaining the learned machine learning model,
a reception unit that receives at least one of data input and instructions necessary for executing processing;
a progress display unit that displays processing progress information; an instruction acquisition unit that receives at least one instruction to acquire or store a processing result;
a display processing unit that outputs so that at least one of the reception unit, the progress display unit, and the instruction acquisition unit is displayed on a user interface;
An information processing system having
（付記１１）
トレーニングデータセットを生成する生成処理、機械学習モデルに前記トレーニングデータセットを学習させる学習処理及び学習済みの前記機械学習モデルを取得するモデル取得処理の少なくとも一つの処理の実行指示が入力されたか否かを判定するステップと、
前記ステップにて実行指示の入力に基づき、処理の実行に必要なデータの入力及び指示の少なくとも一方を受け付ける受付部と、処理の経過情報を表す経過状況表示部と、処理結果の取得及び公開の少なくとも一方の指示を受け付ける指示取得部と、の少なくとも一つをユーザーインターフェースに表示させるように出力するステップと、
をコンピュータに実行させるためのプログラム。
(Appendix 11)
whether or not an execution instruction for at least one of a generation process for generating a training data set, a learning process for causing a machine learning model to learn the training data set, and a model acquisition process for acquiring the learned machine learning model has been input a step of determining
Based on the input of the execution instruction in the above step, a reception unit that receives at least one of input of data and instructions necessary for execution of processing, a progress display unit that displays progress information of processing, and acquisition and disclosure of processing results an instruction acquisition unit that receives at least one instruction, and outputting at least one of the instructions so as to be displayed on a user interface;
A program that causes a computer to run
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The embodiments disclosed this time are illustrative in all respects and should be considered not restrictive. The scope of the present invention is indicated by the scope of the claims rather than the meaning described above, and is intended to include all modifications within the scope and meaning equivalent to the scope of the claims. In addition, the present invention is not limited to the above-described embodiments, and can be modified in various ways within the scope of the claims, and can be obtained by appropriately combining technical means disclosed in different embodiments. Embodiments are also included in the technical scope of the present invention.
２３ 表示処理部（制御部）
１００ 情報処理装置
１０６ ユーザーインターフェース
５２６ 受付部、データ入力受付部（３Ｄモデルアップロードボタン）
５２７ 受付部、データ入力受付部（オブジェクトデータアップロードボタン）
５２８ 受付部、生成開始指示部（データセット生成開始ボタン）
５３２ 経過状況表示部、データ生成状況表示部（データ作成状況表示部）
５３９ 指示取得部、データセット取得部（データセットダウンロードボタン）
５４０ 指示取得部、データセット取得部（データセットパブリッシュボタン）
５５２ 受付部、学習処理開始指示部（トレーニング開始ボタン）
５５６ 経過状況表示部、学習処理状況表示部（トレーニング進捗表示部）
５６６ 指示取得部、機械学習モデル保存部（学習モデルパブリッシュボタン）
５７８ 受付部、機械学習モデル取得部（機械学習モデルダウンロードボタン）
５８２ 検証状況表示部（推論状況更新ボタン）
５８６Ａ テストデータ受付部（推論用動画像データアップロードボタン）
５８６Ｂ テストデータ受付部（推論用模擬データアップロードボタン）
５８８ 検証指示取得部（推論結果データダウンロードボタン）
５９０ モデル展開部（機械学習モデル展開ボタン）
ＤＭ 検出モデル（機械学習モデル）
ＪＰ 情報処理プログラム（プログラム）
23 Display processing unit (control unit)
100
527 reception unit, data input reception unit (object data upload button)
528 reception section, generation start instruction section (data set generation start button)
532 progress status display section, data generation status display section (data creation status display section)
539 instruction acquisition unit, data set acquisition unit (data set download button)
540 instruction acquisition unit, dataset acquisition unit (dataset publish button)
552 reception unit, learning process start instruction unit (training start button)
556 progress status display section, learning processing status display section (training progress display section)
566 Instruction Acquisition Unit, Machine Learning Model Storage Unit (learning model publish button)
578 reception unit, machine learning model acquisition unit (machine learning model download button)
582 Verification status display section (inference status update button)
586A Test data reception part (moving image data upload button for reasoning)
586B Test data reception unit (inference simulated data upload button)
588 Verification instruction acquisition unit (inference result data download button)
590 Model deployment part (machine learning model deployment button)
DM detection model (machine learning model)
JP Information Processing Program (Program)
Claims (10)
トレーニングデータセットを生成する生成処理、機械学習モデルに前記トレーニングデータセットを学習させる学習処理及び学習済みの前記機械学習モデルを取得するモデル取得処理の少なくとも一つの処理において、処理の実行に必要なデータの入力及び指示の少なくとも一方を受け付ける受付部と、処理の経過情報を表す経過状況表示部と、処理結果の取得及び保存の少なくとも一方の指示を受け付ける指示取得部との少なくとも一つが、ユーザーインターフェースにそれぞれ表示されるように出力するステップと、
を含み、
前記情報処理装置は、前記生成処理において、
前記受付部としてデータ入力を受け付けるデータ入力受付部及び前記トレーニングデータセットの生成開始の指示を受け付ける生成開始指示部と、
前記経過状況表示部として前記トレーニングデータセットの生成処理進捗情報を表すデータ生成状況表示部と、
前記指示取得部として生成処理が実行された前記トレーニングデータセットを取得及び保存の少なくとも一方の指示を受け付けるデータセット取得部と、
を表示させる、
情報処理方法。 An information processing method executed by an information processing device,
In at least one of a generation process for generating a training data set, a learning process for making a machine learning model learn the training data set, and a model acquisition process for acquiring the learned machine learning model, data necessary for executing the process at least one of a receiving unit that receives at least one of the input and instructions of, a progress display unit that displays processing progress information, and an instruction acquisition unit that receives at least one of instructions to acquire and store processing results is provided in the user interface a step of outputting each to be displayed;
including
The information processing device, in the generation process,
a data input reception unit that receives data input as the reception unit; and a generation start instruction unit that receives an instruction to start generation of the training data set;
a data generation status display unit as the progress status display unit that indicates progress information of the training data set generation process;
a data set acquisition unit that receives at least one instruction to acquire or store the training data set for which generation processing has been executed as the instruction acquisition unit;
to display
Information processing methods.
請求項１に記載の情報処理方法。 In the generation process, the information processing device causes the user interface to display the data input reception unit, the generation start instruction unit, the data generation status display unit, and the data set acquisition unit in work chronological order. outputs like,
The information processing method according to claim 1 .
前記受付部として前記トレーニングデータセットを前記機械学習モデルに学習させる学習処理開始の指示を受け付ける学習処理開始指示部と、
前記経過状況表示部として前記機械学習モデルの学習処理進捗情報を表す学習処理状況表示部と、
前記指示取得部として学習処理が実行された前記機械学習モデルの保存の指示を受け付ける機械学習モデル保存部と、
を表示させる、
請求項１又は請求項２に記載の情報処理方法。 The information processing device, in the learning process,
a learning process start instruction unit that receives an instruction to start a learning process that causes the machine learning model to learn the training data set as the reception unit;
a learning processing status display unit representing learning processing progress information of the machine learning model as the progress status display unit;
a machine learning model storage unit that receives an instruction to store the machine learning model that has undergone learning processing as the instruction acquisition unit;
to display
The information processing method according to claim 1 or 2.
請求項３に記載の情報処理方法。 In the learning process, the information processing device outputs the learning process start instruction unit, the learning process status display unit, and the machine learning model storage unit to be displayed on the user interface in work chronological order.
The information processing method according to claim 3.
前記受付部として前記機械学習モデルの取得の指示を受け付ける機械学習モデル取得部と、
を表示させる、
請求項１～請求項４のいずれか一項に記載の情報処理方法。 In the model acquisition process, the information processing device includes:
a machine learning model acquisition unit that receives an instruction to acquire the machine learning model as the reception unit;
to display
The information processing method according to any one of claims 1 to 4.
前記機械学習モデルの概要を表示するモデル概要表示部と、
を含んで一つのユーザーインターフェースに表示させる、
請求項１～請求項５のいずれか一項に記載の情報処理方法。 In the model acquisition process, the information processing device includes:
a model overview display unit that displays an overview of the machine learning model;
to be displayed in a single user interface, including
The information processing method according to any one of claims 1 to 5.
前記機械学習モデルの検証を実施するためのサンプルデータセットの入力を受け付けるテストデータ受付部と、
前記機械学習モデルの検証状況を表す検証状況表示部と、
前記機械学習モデルの検証結果に関する情報を得るための検証指示取得部と、
前記機械学習モデルを他の情報処理装置へ送信するモデル展開部と、
の少なくとも一つを含んで一つのユーザーインターフェースに表示させる、
請求項１～請求項６のいずれか一項に記載の情報処理方法。 In the model acquisition process, the information processing device includes:
a test data reception unit that receives input of a sample data set for performing verification of the machine learning model;
a verification status display unit that displays the verification status of the machine learning model;
a verification instruction acquisition unit for obtaining information about verification results of the machine learning model;
a model development unit that transmits the machine learning model to another information processing device;
displayed in a single user interface containing at least one of
The information processing method according to any one of claims 1 to 6.
請求項１～請求項７のいずれか一項に記載の情報処理方法。 The information processing device has a step of outputting a selection display section for selectively displaying any one of the generation process, the learning process, and the model acquisition process to be displayed on the user interface.
The information processing method according to any one of claims 1 to 7.
処理の実行に必要なデータの入力及び指示の少なくとも一方を受け付ける受付部と、
処理の経過情報を表す経過状況表示部と、処理結果の取得及び保存の少なくとも一方の指示を受け付ける指示取得部と、
前記受付部、前記経過状況表示部及び前記指示取得部の少なくとも一つが、ユーザーインターフェースにそれぞれ表示されるように出力する表示処理部と、
を有し、
前記生成処理において、
前記受付部としてデータ入力を受け付けるデータ入力受付部及び前記トレーニングデータセットの生成開始の指示を受け付ける生成開始指示部と、
前記経過状況表示部として前記トレーニングデータセットの生成処理進捗情報を表すデータ生成状況表示部と、
前記指示取得部として生成処理が実行された前記トレーニングデータセットを取得及び保存の少なくとも一方の指示を受け付けるデータセット取得部と、
を表示させる、
情報処理システム。 In at least one of a generation process for generating a training data set, a learning process for causing a machine learning model to learn the training data set, and a model acquisition process for obtaining the learned machine learning model,
a reception unit that receives at least one of data input and instructions necessary for executing processing;
a progress display unit that displays processing progress information; an instruction acquisition unit that receives at least one instruction to acquire or store a processing result;
a display processing unit that outputs so that at least one of the reception unit, the progress display unit, and the instruction acquisition unit is displayed on a user interface;
has
In the generation process,
a data input reception unit that receives data input as the reception unit; and a generation start instruction unit that receives an instruction to start generation of the training data set;
a data generation status display unit as the progress status display unit that indicates progress information of the training data set generation process;
a data set acquisition unit that receives at least one instruction to acquire or store the training data set for which generation processing has been executed as the instruction acquisition unit;
to display
Information processing system.
前記ステップにて実行指示の入力に基づき、処理の実行に必要なデータの入力及び指示の少なくとも一方を受け付ける受付部と、処理の経過情報を表す経過状況表示部と、処理結果の取得及び公開の少なくとも一方の指示を受け付ける指示取得部と、の少なくとも一つをユーザーインターフェースに表示させ、かつ前記生成処理において、前記受付部としてデータ入力を受け付けるデータ入力受付部及び前記トレーニングデータセットの生成開始の指示を受け付ける生成開始指示部と、前記経過状況表示部として前記トレーニングデータセットの生成処理進捗情報を表すデータ生成状況表示部と、前記指示取得部として生成処理が実行された前記トレーニングデータセットを取得及び保存の少なくとも一方の指示を受け付けるデータセット取得部と、を前記ユーザーインターフェースに表示させるように出力するステップと、
をコンピュータに実行させるためのプログラム。 whether or not an execution instruction for at least one of a generation process for generating a training data set, a learning process for causing a machine learning model to learn the training data set, and a model acquisition process for acquiring the learned machine learning model has been input a step of determining
Based on the input of the execution instruction in the above step, a reception unit that receives at least one of input of data and instructions necessary for execution of processing, a progress display unit that displays progress information of processing, and acquisition and disclosure of processing results an instruction acquisition unit that receives at least one instruction, and at least one of which is displayed on a user interface, and in the generation process, a data input reception unit that receives data input as the reception unit, and an instruction to start generating the training data set. a generation start instruction unit for receiving data; a data generation status display unit representing progress information of the training data set generation processing as the progress display unit; a data set acquisition unit that accepts at least one instruction for saving, and outputting so as to be displayed on the user interface ;
A program that causes a computer to run
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022033899A JP7285417B1 (en) | 2022-03-04 | 2022-03-04 | Information processing method, information processing system and program |
| JP2022177598A JP2023129233A (en) | 2022-03-04 | 2022-11-04 | Information processing method, information processing system and program |
| PCT/JP2022/044401 WO2023166803A1 (en) | 2022-03-04 | 2022-12-01 | Information processing method, information processing system, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022033899A JP7285417B1 (en) | 2022-03-04 | 2022-03-04 | Information processing method, information processing system and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022177598A Division JP2023129233A (en) | 2022-03-04 | 2022-11-04 | Information processing method, information processing system and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7285417B1 true JP7285417B1 (en) | 2023-06-02 |
| JP2023129109A JP2023129109A (en) | 2023-09-14 |
Family
ID=86547648
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022033899A Active JP7285417B1 (en) | 2022-03-04 | 2022-03-04 | Information processing method, information processing system and program |
| JP2022177598A Pending JP2023129233A (en) | 2022-03-04 | 2022-11-04 | Information processing method, information processing system and program |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022177598A Pending JP2023129233A (en) | 2022-03-04 | 2022-11-04 | Information processing method, information processing system and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (2) | JP7285417B1 (en) |
| WO (1) | WO2023166803A1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019163823A1 (en) | 2018-02-20 | 2019-08-29 | 株式会社Ａｂｅｊａ | Information processing system |
| JP2020064468A (en) | 2018-10-17 | 2020-04-23 | オムロン株式会社 | Sensor system |
| WO2020166641A1 (en) | 2019-02-15 | 2020-08-20 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2021005147A (en) | 2019-06-25 | 2021-01-14 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | Dataset creation method, dataset creation system, calculation system, worksheet, client device, server device, and program |
-
2022
- 2022-03-04 JP JP2022033899A patent/JP7285417B1/en active Active
- 2022-11-04 JP JP2022177598A patent/JP2023129233A/en active Pending
- 2022-12-01 WO PCT/JP2022/044401 patent/WO2023166803A1/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019163823A1 (en) | 2018-02-20 | 2019-08-29 | 株式会社Ａｂｅｊａ | Information processing system |
| JP2020064468A (en) | 2018-10-17 | 2020-04-23 | オムロン株式会社 | Sensor system |
| WO2020166641A1 (en) | 2019-02-15 | 2020-08-20 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2021005147A (en) | 2019-06-25 | 2021-01-14 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | Dataset creation method, dataset creation system, calculation system, worksheet, client device, server device, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023129109A (en) | 2023-09-14 |
| WO2023166803A1 (en) | 2023-09-07 |
| JP2023129233A (en) | 2023-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20110279852A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| TWI621097B (en) | Mobile device, operating method, and non-transitory computer readable storage medium for storing operating method | |
| CN105264474A (en) | Machine vision system program editing environment including operating context aware copy and paste feature | |
| TWI622877B (en) | System and method for recording and replaying mouse behavior, recording media and program products | |
| JP6607261B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2015026347A (en) | Image creation system | |
| KR20210057943A (en) | Method, apparatus and computer program for conducting automatic driving data labeling | |
| JP7285417B1 (en) | Information processing method, information processing system and program | |
| CN102736378B (en) | Projection apparatus and projection method | |
| CN115082648B (en) | Marker model binding-based AR scene arrangement method and system | |
| US11915370B2 (en) | Method and system for 3D modeling based on irregular-shaped sketch | |
| KR20230094185A (en) | Method and system for providing automated 3d modeling for xr online platform | |
| JP7419121B2 (en) | image generation system | |
| US10380806B2 (en) | Systems and methods for receiving and detecting dimensional aspects of a malleable target object | |
| US11003346B2 (en) | Prototype storing method | |
| WO2020067204A1 (en) | Learning data creation method, machine learning model generation method, learning data creation device, and program | |
| JP2021070149A (en) | Robot control system, robot control device, robot control method and program | |
| JP5370561B1 (en) | Information processing apparatus, control method thereof, and program | |
| US20240028188A1 (en) | System, product manufacturing method, information processing apparatus, information processing method, and recording medium | |
| US20240220775A1 (en) | Information processing system and information processing method | |
| JP7233521B2 (en) | Inspection system and inspection method | |
| US20230173670A1 (en) | Information processing apparatus, system, information processing method, method of manufacturing products, and recording medium | |
| EP3869467A1 (en) | Photogrammetry to impostor representation | |
| JP2014167771A (en) | Three-dimensional animation display system and three-dimensional animation display method | |
| KR100839942B1 (en) | Pattern generator for display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220719 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230313 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230424 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230424 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7285417 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |