JP2020198041A - Training device, training method, estimation device, and program - Google Patents
Training device, training method, estimation device, and program Download PDFInfo
- Publication number
- JP2020198041A JP2020198041A JP2019105401A JP2019105401A JP2020198041A JP 2020198041 A JP2020198041 A JP 2020198041A JP 2019105401 A JP2019105401 A JP 2019105401A JP 2019105401 A JP2019105401 A JP 2019105401A JP 2020198041 A JP2020198041 A JP 2020198041A
- Authority
- JP
- Japan
- Prior art keywords
- data
- model
- domain
- training
- pseudo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本開示は、訓練装置、訓練方法、推定装置及びプログラムに関する。 The present disclosure relates to training equipment, training methods, estimation equipment and programs.
機械学習の手法において、少量のアノテーションが付与されたデータセットを用いつつ高精度な予測モデルを構築する転移学習と呼ばれる手法がある。転移学習、特にドメイン適応は、あるドメインで学習させたモデルを別のドメインに適応させる手法であり、学習済みモデルを訓練した元のドメイン(ソースドメイン)を転移先のドメイン(ターゲットドメイン)に、従来よりも少ないデータで適応させるものである。例えば、観測データが異なるドメイン、教師ラベルが異なるドメイン等に、訓練済みのモデルを適応させる手法である。 In the machine learning method, there is a method called transfer learning that constructs a highly accurate prediction model while using a dataset with a small amount of annotations. Transfer learning, especially domain adaptation, is a method of adapting a model trained in one domain to another domain, and the original domain (source domain) trained with the trained model is transferred to the destination domain (target domain). It is adapted with less data than before. For example, it is a method of adapting a trained model to domains with different observation data, domains with different teacher labels, and the like.
このような転移学習により、あるデータセットで訓練したモデルに、異なるデータセットを適応させることが可能となった。しかしながら、データセットを他のドメインの学習済みモデルに適応させるにとどまっており、ターゲットドメインに対するモデルの精度向上には貢献させづらいという問題がある。 Such transfer learning has made it possible to adapt different datasets to models trained on one dataset. However, there is a problem that it is difficult to contribute to improving the accuracy of the model with respect to the target domain because the data set is only adapted to the trained model of other domains.
ターゲットドメインのタスクの精度を向上させる訓練装置等を提供する。 Provide training equipment and the like to improve the accuracy of tasks in the target domain.
一実施形態によれば、訓練装置は、第1ドメインに属する第1データとは異なる第2ドメインに属する第2データ、及び、前記第2データに基づいて得られた前記第1ドメインに属する疑似第1データと、前記疑似第1データに付与された前記第1ドメインにおけるアノテーションデータ、を入力として、当該第2データに対応する前記第2ドメインにおけるアノテーションを出力する第3モデルを訓練する、第3訓練部を備える。 According to one embodiment, the training device has a second data belonging to a second domain different from the first data belonging to the first domain, and a pseudo belonging to the first domain obtained based on the second data. A third model is trained in which the first data and the annotation data in the first domain given to the pseudo first data are input and the annotation in the second domain corresponding to the second data is output. It has 3 training departments.
以下、図面を参照して本発明の実施形態について説明する。図面及び実施形態の説明は一例として示すものであり、本発明を限定するものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The drawings and the description of the embodiments are shown as an example, and do not limit the present invention.
(第1実施形態)
図1は、本実施形態に係る訓練装置の機能を示すブロック図である。本実施形態の訓練装置1は、入力部10と、記憶部11と、第1訓練部12と、第2訓練部13と、第3訓練部14と、出力部15と、を備える。この訓練装置1は、アノテーションが付与されたソースドメイン(第1ドメイン)に属するデータ(第1データ)と、第1データとはドメインが異なるターゲットドメイン(第2ドメイン)に属するデータ(第2データ)と、に基づいた訓練を実行することにより、第2データを入力するとアノテーションを出力する学習済みモデルを生成する。
(First Embodiment)
FIG. 1 is a block diagram showing the functions of the training device according to the present embodiment. The training device 1 of the present embodiment includes an
入力部10は、第1データ及び第2データを含む訓練データ等の入力を受け付ける。入力部10が受け付けたデータは、記憶部11に格納してもよいし、各訓練部に出力されてもよい。
The
記憶部11は、処理に必要となる訓練データ等のデータを記憶する。上述したように、例えば、入力部10が受け付けたデータを記憶してもよい。さらに、訓練装置1がソフトウェアの処理がハードウェアを用いて具体的に実行される場合には、実行に必要なプログラム、バイナリデータ等を記憶してもよい。この場合、記憶部11に記憶されている実行ファイル等をプロセサが読み出すことにより処理を実行してもよい。
The
第1訓練部12は、第1データと、そのアノテーションとに基づいて、第1データを入力すると、アノテーションを出力する第1モデルを訓練(以下、生成ともいう)する。第1モデルは、例えば、分類器、識別器等に備えられるモデルであってもよい。なお、第1モデルは、他の訓練装置により生成されたものを用いてもよい。この場合、訓練装置1は、第1訓練部12を備えていなくともよく、あらかじめ訓練されている第1モデルを形成するために必要なパラメータを、入力部10を介して入力され、又は、記憶部11にあらかじめ記憶していてもよい。
When the first data is input, the
第2訓練部13は、第1データと、第2データと、第1モデルとに基づいて、第2データを入力すると、疑似的な第1データ(以下、疑似第1データとする)を生成する第2モデルを訓練(生成)する。本明細書において、疑似第1データとは、第1ドメイン若しくは第1ドメインに近いドメインに属するデータ、又は、第1ドメインに属するとみなすことができるデータのことをいう。より具体的には、疑似第1データは、第2データが第2モデルにより変換されたデータ、又は第2データに基づき生成されたデータであり、第1モデルに入力すると正解に近いアノテーションが取得できるデータである。第2モデルは、例えば、データ生成器、データ変換器に備えられるモデルであってもよい。
The
第3訓練部14は、疑似第1データを第1モデルに入力して取得できるアノテーションと、第2データと、第2データのアノテーションとに基づいて、疑似第1データと、第2データとを入力すると、第2データに対応する第2ドメインにおけるアノテーションを出力する第3モデルを訓練(生成)する。第3モデルも、第1モデルと同様に、例えば、分類器、識別器等に備えられるモデルであってもよい。
The
第1モデル、第2モデル及び第3モデルの少なくとも1つを構成するパラメータ等は、記憶部11に記憶されていてもよい。この場合、第1訓練部12、第2訓練部13及び第3訓練部の少なくとも1つは、記憶部11に記憶されているパラメータ等に基づいてモデルを形成し、形成されたモデルを訓練により更新してもよい。
The parameters and the like constituting at least one of the first model, the second model, and the third model may be stored in the
出力部15は、生成された各モデルのパラメータ等を外部へとインタフェースを介して出力する。また、訓練中のパラメータを、ユーザインタフェースを介してユーザへと出力してもよい。なお、本実施形態において、出力するとは、記憶部11に記憶する概念を含む。記憶部11にパラメータ等を出力する場合には、出力部15から外部への出力は、必須ではない。
The
図2は、上記の3つのモデルのうち、第1モデルの入出力の一例を示す図である。実線は訓練フェーズにおけるデータの遷移、破線は推定フェーズにおけるデータの遷移を示す。 FIG. 2 is a diagram showing an example of input / output of the first model among the above three models. The solid line shows the data transition in the training phase, and the broken line shows the data transition in the estimation phase.
学習フェーズにおいて、第1訓練部12は、第1ドメインのデータが格納されている第1データ格納部30から、第1データと当該第1データと紐付けられたアノテーションとを備える、データセット(第1データセット)を取得する。取得したデータセットに基づいて、第1データが入力されると当該第1データに対応したアノテーションが出力される第1モデル100を訓練する。
In the learning phase, the
第1モデル100は、例えば、CNN(Convolutional Neural Network)、MLP(Multilayer Perceptron)、その他のニューラルネットワークモデルに基づいたモデルである。また、第1モデル100は、例えば、最終層においてsoftmax関数等を用いる分類器として形成される。ハイパーパラメータ、活性化関数等のネットワークを形成するパラメータは、適切にモデルが生成できるものであれば、任意のものを用いることができる。
The
第1訓練部12は、この第1モデル100について機械学習手法を用いて訓練する。訓練の方法は、第1モデル100が、例えば分類器として動作するように、適切に最適化される訓練手法であれば特に限定はされない。ミニバッチ処理、逆伝播手法等についても適切に最適化されるものであればどのようなものを用いてもよい。第1訓練部12は、第1データ及び教師ラベルとして用いられる当該第1データに紐付けられたアノテーションに基づいて、第1モデル100を訓練する。
The
第1データ格納部30は、第1データを格納する。第1データは訓練用に用いられる場合、各第1データに対応するアノテーションが付与される。通常これらのデータが第1データと第1データに対応するアノテーションとして紐付けられた第1データセットとして、第1データ格納部30に格納される。この第1データ格納部30は、訓練装置1の内部又は外部において備えられる。例えば、第1データ格納部30は、記憶部11内に備えられていてもよい。別の例として、第1データ格納部30は、訓練装置1の外部に備えられ、ネットワークを介して接続されてもよい。この場合、訓練装置1は、入力部10を介して第1データ格納部30に格納されているデータを取得し、第1訓練部12へと送信する。また、外部に第1データ格納部30が備えられる場合、入力部10を介して第1データ等を取得した訓練装置1は、記憶部11に一時的に第1データ等を記憶してもよい。後述する第2データ格納部31についても同様に、訓練装置1の内外のいずれかに備えられ、上記のようにデータを送受信してもよい。
The first
なお、上述したように、第1モデル100があらかじめ外部で訓練されている場合には、第1訓練部11は必須の構成ではない。この場合、あらかじめ訓練されたモデルに関するパラメータ等を記憶部11に記憶させておいてもよい。そして、後述する第3モデルの訓練時において、必要なタイミングで第1モデル100を形成してもよい。
As described above, when the
推定フェーズにおいて、第1訓練部12により訓練された訓練済みの第1モデル100は、破線で示すように、第1データD100が入力されると、当該第1データに対応するアノテーションD102を出力する。
In the estimation phase, the trained
図3は、第2モデルの入出力の一例を示す図である。実線は訓練フェーズにおけるデータの遷移、破線は推定フェーズにおけるデータの遷移を示す。 FIG. 3 is a diagram showing an example of input / output of the second model. The solid line shows the data transition in the training phase, and the broken line shows the data transition in the estimation phase.
訓練フェーズにおいて、第2訓練部13は、例えば、第1データ格納部30から第1データを、第2ドメインのデータセット(第2データセット)が格納された第2データ格納部31から第2データを、それぞれ取得する。そして、当該第1データ及び第2データに基づいて、第2データが入力されると、当該第2データを疑似第1データに変換したデータを出力する第2モデル200を訓練する。
In the training phase, the
第2モデル200は、例えば、データ生成モデルであり、第1モデル100と同様にCNN、MLP等の各種モデルにより形成される。第2訓練部13は、例えば、GAN(敵対的生成ネットワーク:Generative Adversarial Network)の手法を用いて第2モデル200を訓練する。特に、CycleGANの手法を用いて、第2データから疑似第1データを生成するモデルを訓練してもよい。この他、生成モデルを訓練する手法であればどのようなものであってもよい。
The
CycleGANを用いる場合、例えば、第2データを入力すると当該第2データを第1データへと変換したデータを出力するモデル(第2モデル200)と、第1データを入力すると当該第1データを第2データへと変換したデータを出力するモデルと、をジェネレータとして備える。そして、入力されたデータがそれぞれのドメインに属する正規のデータであるか、ジェネレータからの出力であるかを判別するモデルをディスクリミネータとして備える。第2訓練部13は、これらのジェネレータ及びディスクリミネータの訓練を実行する。
When using CycleGAN, for example, a model (second model 200) that outputs data obtained by converting the second data into the first data when the second data is input, and a model (second model 200) that outputs the first data when the first data is input. A model that outputs data converted into two data is provided as a generator. Then, a model for determining whether the input data is legitimate data belonging to each domain or output from the generator is provided as a discriminator. The
推定フェーズにおいて、第2訓練部13が訓練した第2モデル200は、破線で示すように、第2データD200が入力されると、当該第2データに対応する第1ドメインに属するデータ(疑似第1データ)D202を出力する。
In the estimation phase, the
なお、第2訓練部13は、図3において点線で示すように、第1モデル100を訓練の補助として用いてもよい。この場合、例えば、第2モデル200が変換(出力)した疑似第1データを第1モデル100に入力することにより、疑似第1データに対応するアノテーションを取得する。取得したアノテーションを確認することにより、第2データから疑似第1データへの変換の確からしさの指標を取得することが可能であり、この確からしさを第2モデル200の訓練に用いることができる。
The
また、この第2データには、第2データの第2ドメインにおけるアノテーションが付与されていてもよい。この第2データの第2ドメインにおけるアノテーションは、以下に示す第3モデル300の訓練に利用可能である。
Further, the second data may be annotated in the second domain of the second data. The annotation of the second data in the second domain can be used for training the
図4は、第3モデルの入出力の一例を示す図である。実線は訓練フェーズにおけるデータの遷移、破線は推定フェーズにおけるデータの遷移を示す。 FIG. 4 is a diagram showing an example of input / output of the third model. The solid line shows the data transition in the training phase, and the broken line shows the data transition in the estimation phase.
訓練フェーズにおいて、まず、第3訓練部14が第3モデル300を訓練するために必要なデータを準備する。第3訓練部14は、訓練用データとして、第2データ、第2データの第2ドメインにおけるアノテーション、及び当該第2データに対応する疑似第1データの第1ドメインにおけるアノテーションを用いる。疑似第1データの第1ドメインにおけるアノテーションとは、対応する第2データに対して、疑似的に付与される第1ドメインにおけるアノテーションをいう。言い換えると、第3訓練部14による第3モデル300の訓練は、第2データと、当該第2データの第1ドメインおよび第2ドメインのそれぞれにおけるアノテーションを訓練用データとして行われる。アノテーション
In the training phase, first, the
このような当該第2データの第1ドメインにおけるアノテーションは、例えば、第2データを、第2モデル200、第1モデル100の順にモデルに入力することで、取得することができる。
Such annotations in the first domain of the second data can be obtained, for example, by inputting the second data into the model in the order of the
具体的には、まず、当該第2データに対応する疑似第1データの第1ドメインにおけるアノテーションを得るため、疑似第1データの第1ドメインにおけるアノテーションを取得する。このため、例えば、まず第2データ格納部31から第2データを取得し、第2データを第1データに変換可能な第2モデル200に入力して疑似第1データを取得する。次に、取得した疑似第1データを、第1データに対応する第1ドメインにおけるアノテーションの付与が可能な第1モデル100に入力し、疑似第1データの第1ドメインにおけるアノテーションを取得する。この処理により、当該第2データに対応する第1ドメインにおける疑似的なアノテーションを取得することができる。また、第2データ格納部31から、当該第2データに対応する第2ドメインにおけるアノテーションを取得する。
Specifically, first, in order to obtain the annotation in the first domain of the pseudo first data corresponding to the second data, the annotation in the first domain of the pseudo first data is acquired. Therefore, for example, first, the second data is acquired from the second
第3訓練部14は、これらの第2データ、対応する第2ドメインにおけるアノテーション及び対応する疑似第1データの第1ドメインにおけるアノテーションを用いて、第3モデル300を訓練する。
The
第3モデル300は、例えば、第1モデルと同様に、CNN、MLPその他のニューラルネットワークモデルに基づいたモデルである。また、第3モデル300は、例えば、最終層においてsoftmax関数等を用いる分類器として形成される。ハイパーパラメータ、活性化関数等のネットワークを形成するパラメータは、適切にモデルが生成できるものであれば、任意のものを用いることができる。この第3モデル300は、第2データ及び当該第2データに対応する第1ドメインにおけるアノテーションが入力されると、当該第2データの第2ドメインにおけるアノテーションを出力する。
The
第3モデル300は、入力層において第2データ及び対応する第1ドメインにおけるアノテーションが入力されてもよいし、入力層において第2データ、中間層において対応する第1ドメインにおけるアノテーションが入力されてもよい。このように、ネットワークの形成、及び、モデルは、適切に入出力がされるものであればどのようなものであってもよい。
In the
第3訓練部14は、例えば、第3モデル300に第2データ及び対応する第1ドメインにおけるアノテーションを入力し、その出力に対し、入力された第2データに対応する第2ドメインにおけるアノテーションを教師データとして用いることにより、第3モデル300を訓練する。
For example, the
なお、第2データから疑似第1データのアノテーションを取得するまでの処理を第3訓練部14が実行してもよい。例えば、この場合、第3訓練部14は、第2データ格納部31のデータを参照し、かつ、記憶部11等から第1モデル100、第2モデル200のパラメータ等を取得する。第3訓練部14は、取得したパラメータから各モデルを形成し、第2データ格納部31に格納されているデータを形成されたモデルに入力することにより処理に必要となるデータを取得する。このように、第3訓練部14が第1モデル100、第2モデル200を形成して処理を実行してもよい。また、あらかじめ再構成されている第1モデル100及び第2モデル200に対して第3訓練部14が第2データを入力することにより必要なデータを取得してもよい。また、上述のように、第3訓練部14の外部から必要なデータを取得し、第3訓練部14は、第3モデル300の訓練を実行することも可能である。このように、第3訓練部14は、第3モデル300の訓練が実行可能であれば、どのように訓練データを取得しても構わない。
The
本実施形態の訓練装置を用いて推定を行う場合には、第3訓練部14が訓練した第3モデル300は、図4中の破線で示すように、第2データD200と、対応する第1ドメインにおけるアノテーションD204が入力されると、当該第2データに対応する第2ドメインにおけるアノテーションD300を出力する。対応する第1ドメインにおけるアノテーションD204は、図示するように、当該第2データD200を第2モデル200に入力して取得された疑似第1データD202を、第1モデル100に入力することにより取得される。
When the estimation is performed using the training device of the present embodiment, the
図5は、本実施形態に係る推定装置2の機能を示すブロック図である。推定装置2は、入力部20と、記憶部21と、第1推定部22と、第2推定部23と、第3推定部24と、出力部25と、を備える。
FIG. 5 is a block diagram showing the functions of the estimation device 2 according to the present embodiment. The estimation device 2 includes an
入力部20は、アノテーションを推定したい第2データの入力を受け付ける。
The
記憶部21は、推定装置2の処理に必要なデータ、及び、必要であれば制御に必要なデータ等を記憶する。また、入力部20が受け付けたデータを一時的に記憶してもよい。さらに、推定装置2がソフトウェアの処理がハードウェアを用いて具体的に実行される場合には、実行に必要なプログラム、バイナリデータ等を記憶してもよい。この場合、記憶部21に記憶されている実行ファイル等をプロセサが読み出すことにより処理を実行してもよい。また、各種モデルを形成するために必要なパラメータ等が記憶されていてもよい。
The
第1推定部22は、例えば、第1モデルを備え、又は、必要なタイミングにおいて第1モデルを形成し、第1ドメインに属するデータ(疑似第1データを含む)が入力されると、当該データに対応するアノテーションを推定して出力する。
The
第2推定部23は、例えば、第2モデルを備え、又は、必要なタイミングにおいて第2モデルを形成し、第2ドメインに属する第2データが入力されると、第1ドメインに属するとみなされる疑似第1データを推定(生成)して出力する。
The
第3推定部24は、例えば、第3モデルを備え、又は、必要なタイミングにおいて第3モデルを形成し、第2データ及び当該第2データに対応する疑似第1データが入力されると、当該第2データの第2ドメインにおけるアノテーションを推定して出力する。
The
出力部25は、推定されたアノテーションを外部へとインタフェースを介して出力する。また、アノテーションを、ユーザインタフェースを介してユーザへと出力してもよい。なお、本実施形態において、出力するとは、記憶部21に記憶する概念を含む。記憶部21にアノテーションを出力する場合には、出力部25から外部への出力は、必須ではない。
The
この推定装置2は、訓練装置1と同じハードウェア内に備えられていてもよい。この場合、訓練装置1が推定装置2として機能することも可能であり、例えば、入力部10と入力部20、記憶部11と記憶部21、出力部15と出力部25は、それぞれが同じインタフェース又はデバイスであってもよい。また、この場合、訓練装置1における第3モデルの訓練において、第1モデル、第2モデルを利用するタイミングにおいて、第1推定部22、第2推定部23をそれぞれ既に訓練されたパラメータに基づいて機能させてもよい。
The estimation device 2 may be provided in the same hardware as the training device 1. In this case, the training device 1 can also function as the estimation device 2. For example, the
推定装置2における各推定部におけるデータの流れは、上述の図4に関する推定フェーズの処理の流れと同様である。 The flow of data in each estimation unit in the estimation device 2 is the same as the flow of processing in the estimation phase with respect to FIG. 4 described above.
以上の処理の流れについてフローチャートを用いて簡単にまとめる。図6は、訓練装置1の処理の流れを示すフローチャートである。 The above processing flow is briefly summarized using a flowchart. FIG. 6 is a flowchart showing a processing flow of the training device 1.
まず、第1訓練部12は、入力部10からの入力又は記憶部11に記憶されている第1ドメインに属する第1データとそのアノテーションとを用いて第1モデルを訓練する(S100)。なお、上述したように、既に訓練装置1の外部又は内部にある訓練済みの第1モデルを用いることもできる。この場合、このS100は、省略することが可能である。
First, the
次に、第2訓練部13は、第2ドメインに属する第2データから、第1ドメインに属するデータを生成する第2モデルを訓練する(S102)。このS102は、S100とは独立している場合には、順番を入れ替えてもよい。上記において説明したように、第2訓練部13による訓練に第1モデルが必要となる場合には、通常、S102とS100は入れ替えることはできない。
Next, the
次に、第3訓練部14における第3モデルの訓練を行う。第3モデルの訓練には、各種データが必要となるため、データを生成する。具体的には、まず、第2データをS102で訓練された第2モデルへと入力することにより、疑似第1データを生成する(S104)。続いて、この疑似第1データをS100で訓練された第1モデルへと入力することにより、入力された第2データに対応する第1ドメインにおけるアノテーションを推定する(S106)。
Next, the training of the third model in the
次に、第3訓練部14は、第2データ、当該第2データに対応する第2ドメインにおけるアノテーション、及び、S106で取得した対応する第1ドメインにおけるアノテーションを用いて、第3モデルを訓練する(S108)。
Next, the
以上が、訓練のプロセスである。なお、特にわかりにくい箇所を除き、フローチャートにおいては、データの入出力は省略しているが、例えば、S102における第2データ等は、適宜入力部10又は記憶部11から取得している。また、各ステップにおいて訓練された各モデルのパラメータ等は、適切に外部又は記憶部11へと出力される。これは、以下に説明する推定フェーズにおいても同様である。
The above is the training process. Although data input / output is omitted in the flowchart except for parts that are particularly difficult to understand, for example, the second data and the like in S102 are appropriately acquired from the
次に、推定フェーズの処理の流れについて説明する。図7は、推定装置2の処理の一例を示すフローチャートである。 Next, the processing flow of the estimation phase will be described. FIG. 7 is a flowchart showing an example of processing by the estimation device 2.
まず、入力された第2データから当該第2データに対応する疑似第1データを取得する(S200)。具体的には、第2推定部23は、第2データを訓練済みの第2モデルへと入力することにより、疑似第1データを取得する。
First, the pseudo first data corresponding to the second data is acquired from the input second data (S200). Specifically, the
次に、S200で取得した疑似第1データを第1推定部22に備えられた訓練済みの第1モデルへと入力し、疑似第1データに対する、すなわち、対応する第2データに対する、第1ドメインにおけるアノテーションを推定する(S202)。
Next, the pseudo first data acquired in S200 is input to the trained first model provided in the
次に、第2データと当該第2データの第1ドメインにおけるアノテーションを第3推定部24に備えられた第3モデルへと入力し、第2ドメインにおけるアノテーションを推定する(S204)。
Next, the second data and the annotation in the first domain of the second data are input to the third model provided in the
このように、推定装置2全体としては、第2データを入力すると、第2ドメインにおける当該第2データのアノテーションを取得することが可能となる。 As described above, when the second data is input to the estimation device 2 as a whole, it is possible to acquire the annotation of the second data in the second domain.
第3モデルは、単純に第2データと対応する第2ドメインにおけるアノテーションを用いて訓練を実行するよりも少ない数の第2ドメインにおけるデータセットを用いて、精度の高い推定をすることが可能となる。これは、第2ドメインのデータに対して、第2ドメインには無い、第1ドメインにおけるアノテーションを付与することにより、可能となる。 The third model makes it possible to make highly accurate estimates using a smaller number of datasets in the second domain than simply performing training using annotations in the second domain that correspond to the second data. Become. This is possible by adding annotations in the first domain, which are not in the second domain, to the data in the second domain.
以上のように、本実施形態によれば、既に存在している第1モデル、又は、多くのデータが取得できている第1ドメインのデータに基づいて、第2ドメインのデータを転写学習することにより、第2ドメインにおけるアノテーション付与モデルを生成する。さらに、第1ドメインにおけるアノテーションを第2データに付与することにより、その精度を向上させることが可能となる。 As described above, according to the present embodiment, the data of the second domain is transcriptionally learned based on the data of the first model that already exists or the data of the first domain for which a large amount of data can be acquired. Generates an annotation model in the second domain. Further, by adding the annotation in the first domain to the second data, it is possible to improve the accuracy thereof.
(変形例1)
第1モデル、第2モデル及び第3モデルは、上述においては別のモデルにより生成されるものとしたがこれには限られない。例えば、ある1つのモデルが、これら3つのモデルのうち少なくとも2つのモデルの機能を備えていてもよい。この場合、対応する訓練部も同様に1の訓練部から構成されていてもよい。
(Modification example 1)
The first model, the second model, and the third model are assumed to be generated by different models in the above description, but are not limited thereto. For example, one model may have the functionality of at least two of these three models. In this case, the corresponding training unit may also be composed of one training unit.
(変形例2)
前述の実施形態において、例えば、第1データと第2データは、それぞれ同じ種類のセンサにより取得されたデータであってもよい。特に、第1データと第2データは、画像であってもよい。画像である場合、センサは、CT(Computed Tomography)、光CT、MRI(Magnetic Resonance Imaging)、X線、RGBカメラ、RGBDカメラ、赤外線カメラ等種々の技術を含むものであってもよい。この場合、第1ドメインにおけるアノテーションと第2ドメインにおけるアノテーションは、異なる目的又は異なる見地において各データに付与されたものであってもよい。
(Modification 2)
In the above-described embodiment, for example, the first data and the second data may be data acquired by the same type of sensor. In particular, the first data and the second data may be images. In the case of an image, the sensor may include various technologies such as CT (Computed Tomography), optical CT, MRI (Magnetic Resonance Imaging), X-ray, RGB camera, RGBD camera, and infrared camera. In this case, the annotation in the first domain and the annotation in the second domain may be attached to each data for different purposes or different viewpoints.
同じ種類のセンサで取得されたデータである場合、例えば、異なる目的により付与されたアノテーションを含むデータが属する各ドメイン間において、アノテーションの情報を変換することが可能となる。例えば、同じ種類のセンサであっても、データ取得におけるパラメータ等が異なる場合がある。また、より詳細なアノテーション付与が必要な場合、例えば医学的なアノテーション付与はコストが高くなる傾向にある。しかし、前述の実施形態によれば、同じ種類のセンサにおける異なるドメインにおけるアノテーションを適切に適応させることが可能となる。 When the data is acquired by the same type of sensor, for example, it is possible to convert the annotation information between the domains to which the data including the annotations given for different purposes belong. For example, even if the sensors are of the same type, the parameters and the like in data acquisition may be different. In addition, when more detailed annotation is required, for example, medical annotation tends to be costly. However, according to the above-described embodiment, it is possible to appropriately adapt annotations in different domains in the same type of sensor.
より具体的な例としては、第1データ及び第2データは、それぞれMRIで取得した脳の断面画像であってもよい。例えば、第1データは、脳組織のデータセット、第2データは、脳腫瘍のデータセットであってもよい。この場合、着目している目的が異なるので、異なるパラメータを用いて画像が取得されるとする。そして、例えば、第1モデルは、断面画像における脳組織の領域をクラス分けするモデルであってもよい。 As a more specific example, the first data and the second data may be cross-sectional images of the brain acquired by MRI, respectively. For example, the first data may be a data set of brain tissue, and the second data may be a data set of brain tumor. In this case, since the purpose of interest is different, it is assumed that the image is acquired using different parameters. Then, for example, the first model may be a model for classifying the region of the brain tissue in the cross-sectional image.
この場合、例えば、第1データ及び第2データは、MRIにおいて異なるチャネルの画像をそれぞれ取得している場合、第1モデルに第2データをそのまま入力しても、有効なアノテーションの推定を得ることは困難である。しかし、前述の実施形態により、第2モデル及び第3モデルを訓練することにより、第1モデルとして既に生成されている領域判別モデルを用いて、入力した第2データ中に腫瘍が存在するか否かを判定するためのアノテーションを出力するモデルを容易に構築することが可能となる。 In this case, for example, when the first data and the second data have acquired images of different channels in MRI, even if the second data is input to the first model as it is, a valid annotation estimate can be obtained. It is difficult. However, by training the second model and the third model according to the above-described embodiment, whether or not a tumor is present in the input second data using the region discrimination model already generated as the first model. It is possible to easily build a model that outputs an annotation for determining whether or not.
(変形例3)
別の例において、第1データと第2データは、それぞれ異なる種類のセンサにより取得されたデータであってもよい。同様に、第1データと第2データは、上記に例を示したセンサにより取得された画像であってもよい。例えば、CTで取得されたデータに対するアノテーションを推定する第1モデルを用いて、MRIで取得したデータに対するアノテーションを推定するモデルの精度を向上することが可能となる。
(Modification 3)
In another example, the first data and the second data may be data acquired by different types of sensors. Similarly, the first data and the second data may be images acquired by the sensor shown in the above example. For example, by using the first model that estimates the annotation for the data acquired by CT, it is possible to improve the accuracy of the model that estimates the annotation for the data acquired by MRI.
(変形例4)
また、上記では、2次元間の画像について説明したが、これには限られない。例えば、2次元のピクセルと、3次元のボクセルとの間における変換を行ってもよい。例えば、第1ドメイン及び第2ドメインの画像のいずれかが、ヘリカルスキャンのCT画像等の3次元画像であり、MRIで取得された2次元の画像であってもよい。
(Modification example 4)
Further, although the two-dimensional image has been described above, the present invention is not limited to this. For example, a transformation between a two-dimensional pixel and a three-dimensional voxel may be performed. For example, either the image of the first domain or the image of the second domain is a three-dimensional image such as a CT image of a helical scan, and may be a two-dimensional image acquired by MRI.
(変形例5)
前述の実施形態においては、第1モデルとして1つのモデルを用いたが、異なるドメインに属するデータに対する複数の第1モデルを用いてもよい。例えば、複数の異なるドメインに属するデータに対してすでにアノテーションを推定するモデルがある場合、これらのモデルの結果を用いて、第3モデルを構築してもよい。この場合、各第1モデルに対して、各第1モデルの入力に適合するデータを出力する複数の第2モデルを訓練する。
(Modification 5)
In the above-described embodiment, one model is used as the first model, but a plurality of first models for data belonging to different domains may be used. For example, if there are already models that estimate annotations for data belonging to a plurality of different domains, the results of these models may be used to build a third model. In this case, for each first model, a plurality of second models that output data matching the inputs of each first model are trained.
例えば、第1モデルとして、MRI画像にアノテーションを付与する第1モデルと、CT画像にアノテーションを付与する別の第1モデルと、がある場合、これらのモデルを用いて第2ドメインに属するX線画像に対するアノテーション付与の精度を向上させることが可能となる。この場合、第2モデルとして、X線画像から疑似的なMRI画像を生成する第2モデルと、X線画像から疑似的なCT画像を生成する第2モデルとを訓練する。この際、第2モデルから出力されるチャネル数は、それぞれの第1モデルに対して入力できるデータとして調整してもよい。もちろん、上述のように、複数の第1ドメインと第2ドメインが全て異なるセンサにより取得されたデータでなくてもよく、少なくとも2つが同じセンサにより取得されたデータであってもよい。 For example, if there is a first model for annotating an MRI image and another first model for annotating a CT image as the first model, X-rays belonging to the second domain are used using these models. It is possible to improve the accuracy of annotating an image. In this case, as the second model, a second model that generates a pseudo MRI image from the X-ray image and a second model that generates a pseudo CT image from the X-ray image are trained. At this time, the number of channels output from the second model may be adjusted as data that can be input to each first model. Of course, as described above, the plurality of first domains and the second domain may not all be data acquired by different sensors, and at least two may be data acquired by the same sensor.
(変形例6)
前述の実施形態において、チャネル数は、各ドメインにおいて任意に設定されていてもよい。例えば、第2モデルは、第2ドメインに属するデータを適切に第1ドメインに属するデータに変換するものであり、第3訓練部14は、変換された疑似第1データと、対応する第2データとを連結して(例えば、別チャネルとして結合して)、第3モデルを訓練してもよい。又は、別々のデータとして同じネットワークである第3モデルに入力されるものであってもよい。このように、チャネル数を任意に変更することも可能であるし、データセットの入力する層等を任意に設定して、適切なモデルを生成することも可能である。
(Modification 6)
In the above-described embodiment, the number of channels may be arbitrarily set in each domain. For example, the second model appropriately converts the data belonging to the second domain into the data belonging to the first domain, and the
(変形例7)
前述の実施形態において、第2訓練部13は、教師あり学習を実行しても、教師なし学習を実行してもよい。例えば、教師あり学習として、同じ環境下において異なるドメインのデータを取得し、対応する第1データを教師ラベルとして第2データから疑似第1データを生成するモデルを形成してもよい。一方で、教師なし学習として、異なる環境下において異なるドメインにおける十分多くのデータを取得し、対応付けをせずに前述のようにCycleGAN等の手法により第2データから疑似第1データを生成するモデルを形成してもよい。一般的に、同じ環境下において異なるドメインのデータを取得することは困難である場合が多く、特に医用画像においては困難であるが、このような教師なし学習を行うことで、容易に訓練済みの第3モデルを得ることができる。
(Modification 7)
In the above-described embodiment, the
以上種々の変形例を説明したが、これらは一例として説明したものである。本実施形態に係る訓練及び推定は、原則的には、例えば、図4に示すデータ、処理の流れである。しかしながら、これには限られず、上記の各変形例のように、第1ドメインに属するデータ及び第2ドメインに属するデータの流れはモデルの生成の目的の範囲内において適宜適切に変更できるものであることに留意されたい。 Although various modification examples have been described above, these have been described as examples. In principle, the training and estimation according to the present embodiment are, for example, the data and processing flow shown in FIG. However, the present invention is not limited to this, and the flow of data belonging to the first domain and data belonging to the second domain can be appropriately and appropriately changed within the scope of the purpose of model generation, as in each of the above modifications. Please note that.
上述の説明では、データの一例として医療用データ、より詳細には医用画像を用いたが、これに限られない。 In the above description, medical data is used as an example of data, and medical images are used in more detail, but the present invention is not limited to this.
また、ドメインの分類は上記のように確実に異なるものではなくてもよい。例えば、MRI画像であっても、撮影する装置の種類や型番が異なる場合には、同じパラメータを用いてデータを取得しても、撮影された画像が異なることがある。このような場合においても、これらの結果を統一化することも可能であるし、異なるパラメータを用いている場合には、異なるパラメータ間においてアノテーションを変換することも可能となる。また、例えば、各病院などのデータの需要者ごとに、異なるアノテーションの表現が用いられることもある。これも、他の病院(データ需要者)のデータを考慮したモデルを生成することにより、他の病院のデータを使用しつつも病院ごとのアノテーションの表現を出力することも可能となる。 Also, the classification of domains does not have to be definitely different as described above. For example, even if it is an MRI image, if the type and model number of the device to be captured are different, the captured image may be different even if the data is acquired using the same parameters. Even in such a case, it is possible to unify these results, and when different parameters are used, it is possible to convert annotations between different parameters. Further, for example, different annotation expressions may be used for each data consumer such as each hospital. Also, by generating a model that considers the data of other hospitals (data consumers), it is possible to output the annotation expression for each hospital while using the data of other hospitals.
さらに、前述の実施形態においては、疑似第1データの第1のドメインにおけるアノテーションの付与するために第1モデルを用い、疑似第1データから第2データを取得するために第2モデルを用いた、これには限られない。例えば、第1データの第1ドメインにおけるアノテーションを出力するルールベース等の他の手法を第1モデルの代替手段として用いて、疑似第1データから第1ドメインにおけるアノテーションを取得してもよい。また、第2ドメインのデータから、疑似的な第1ドメインのデータを取得する画像処理手法等を用いて、第2モデルの代替手段としてもよい。 Further, in the above-described embodiment, the first model is used to add annotations in the first domain of the pseudo first data, and the second model is used to acquire the second data from the pseudo first data. , Not limited to this. For example, the annotation in the first domain may be obtained from the pseudo first data by using another method such as a rule base for outputting the annotation in the first domain of the first data as an alternative means of the first model. Further, it may be used as an alternative means of the second model by using an image processing method or the like for acquiring pseudo data of the first domain from the data of the second domain.
前述した実施形態における訓練装置1及び推定装置2において、各機能は、アナログ回路、デジタル回路又はアナログ・デジタル混合回路で構成された回路であってもよい。また、各機能の制御を行う制御回路を備えていてもよい。各回路の実装は、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等によるものであってもよい。 In the training device 1 and the estimation device 2 in the above-described embodiment, each function may be a circuit composed of an analog circuit, a digital circuit, or an analog / digital mixed circuit. Further, a control circuit for controlling each function may be provided. The mounting of each circuit may be by ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array) or the like.
上記の全ての記載において、訓練装置1及び推定装置2の少なくとも一部はハードウェアで構成されていてもよいし、ソフトウェアで構成され、ソフトウェアの情報処理によりCPU等が実施をしてもよい。ソフトウェアで構成される場合には、訓練装置1、推定装置2及びその少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記憶媒体に収納し、コンピュータに読み込ませて実行させるものであってもよい。記憶媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記憶媒体であってもよい。すなわち、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実装されるものであってもよい。さらに、ソフトウェアによる処理は、FPGA等の回路に実装され、ハードウェアが実行するものであってもよい。モデルの生成や、モデルに入力をした後の処理は、例えば、GPU等のアクセラレータを使用して行ってもよい。 In all the above descriptions, at least a part of the training device 1 and the estimation device 2 may be configured by hardware, or may be configured by software and executed by a CPU or the like by information processing of the software. When composed of software, the training device 1, the estimation device 2, and a program that realizes at least a part of the functions are stored in a storage medium such as a flexible disk or a CD-ROM, and read by a computer for execution. It may be. The storage medium is not limited to a removable one such as a magnetic disk or an optical disk, and may be a fixed storage medium such as a hard disk device or a memory. That is, information processing by software may be concretely implemented using hardware resources. Further, the processing by software may be implemented in a circuit such as FPGA and executed by hardware. The generation of the model and the processing after inputting to the model may be performed by using an accelerator such as a GPU, for example.
例えば、コンピュータが読み取り可能な記憶媒体に記憶された専用のソフトウェアをコンピュータが読み出すことにより、コンピュータを上記の実施形態の装置とすることができる。記憶媒体の種類は特に限定されるものではない。また、通信ネットワークを介してダウンロードされた専用のソフトウェアをコンピュータがインストールすることにより、コンピュータを上記の実施形態の装置とすることができる。こうして、ソフトウェアによる情報処理が、ハードウェア資源を用いて、具体的に実装される。 For example, the computer can be made into the device of the above-described embodiment by reading the dedicated software stored in the storage medium readable by the computer. The type of storage medium is not particularly limited. Further, by installing the dedicated software downloaded via the communication network on the computer, the computer can be used as the device of the above embodiment. In this way, information processing by software is concretely implemented using hardware resources.
図8は、本発明の一実施形態におけるハードウェア構成の一例を示すブロック図である。訓練装置1及び推定装置2は、プロセッサ71と、主記憶装置72と、補助記憶装置73と、ネットワークインタフェース74と、デバイスインタフェース75と、を備え、これらがバス76を介して接続されたコンピュータ装置7として実現できる。
FIG. 8 is a block diagram showing an example of a hardware configuration according to an embodiment of the present invention. The training device 1 and the estimation device 2 include a
なお、図8のコンピュータ装置7は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、図8では、1台のコンピュータ装置7が示されているが、ソフトウェアが複数のコンピュータ装置にインストールされて、当該複数のコンピュータ装置それぞれがソフトウェアの異なる一部の処理を実行してもよい。 Although the computer device 7 of FIG. 8 includes one component, the computer device 7 may include a plurality of the same components. Further, although one computer device 7 is shown in FIG. 8, software may be installed on a plurality of computer devices, and each of the plurality of computer devices may execute a part of processing different from the software. ..
プロセッサ71は、コンピュータの制御装置および演算装置を含む電子回路(処理回路、Processing circuit、Processing circuitry)である。プロセッサ71は、コンピュータ装置7の内部構成の各装置などから入力されたデータやプログラムに基づいて演算処理を行い、演算結果や制御信号を各装置などに出力する。具体的には、プロセッサ71は、コンピュータ装置7のOS(オペレーティングシステム)や、アプリケーションなどを実行することにより、コンピュータ装置7を構成する各構成要素を制御する。プロセッサ71は、上記の処理を行うことができれば特に限られるものではない。各訓練部、各推定部、およびそれらの各構成要素は、プロセッサ71により実現される。
The
主記憶装置72は、プロセッサ71が実行する命令および各種データなどを記憶する記憶装置であり、主記憶装置72に記憶された情報がプロセッサ71により直接読み出される。補助記憶装置73は、主記憶装置72以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、メモリでもストレージでもよい。また、メモリには、揮発性メモリと、不揮発性メモリがあるが、いずれでもよい。訓練装置1及び推定装置2内において各種データを保存するためのメモリは、主記憶装置72または補助記憶装置73により実現されてもよい。例えば、記憶部11、21は、この主記憶装置72又は補助記憶装置73に実装されていてもよい。別の例として、アクセラレータが備えられている場合には、記憶部11、21は、当該アクセラレータに備えられているメモリ内に実装されていてもよい。また、各種データは、ネットワークインタフェース74を介して接続されるクラウド上に存在してもよい。この場合各種データとは、訓練に用いるデータ、推定の対象となるデータ、訓練済みモデルに用いられるパラメータといった種々のデータを含む。
The
ネットワークインタフェース74は、無線または有線により、通信ネットワーク8に接続するためのインタフェースである。ネットワークインタフェース74は、既存の通信規格に適合したものを用いればよい。ネットワークインタフェース74により、通信ネットワーク8を介して通信接続された外部装置9Aと情報のやり取りが行われてもよい。
The
外部装置9Aは、例えば、カメラ、モーションキャプチャ、出力先デバイス、外部のセンサ、入力元デバイスなどが含まれる。また、外部装置9Aは、訓練装置1及び推定装置2の構成要素の一部の機能を有する装置でもよい。そして、コンピュータ装置7は、訓練装置1及び推定装置2の処理結果の一部を、クラウドサービスのように通信ネットワーク8を介して受け取ってもよい。
The
デバイスインタフェース75は、外部装置9Bと直接接続するUSB(Universal Serial Bus)などのインタフェースである。外部装置9Bは、外部記憶媒体でもよいし、ストレージ装置でもよい。記憶部11、21は、外部装置9Bにより実現されてもよい。
The
外部装置9Bは出力装置でもよい。出力装置は、例えば、画像を表示するための表示装置でもよいし、音声などを出力する装置などでもよい。例えば、LCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)、PDP(Plasma Display Panel)、スピーカなどがあるが、これらに限られるものではない。
The
なお、外部装置9Bは入力装置でもよい。入力装置は、キーボード、マウス、タッチパネルなどのデバイスを備え、これらのデバイスにより入力された情報をコンピュータ装置7に与える。入力装置からの信号はプロセッサ71に出力される。
The
上記の全ての記載に基づいて、本発明の追加、効果又は種々の変形を当業者であれば想到できるかもしれないが、本発明の態様は、上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において種々の追加、変更及び部分的削除が可能である。例えば、前述した全ての実施形態において、説明に用いた数値は、一例として示したものであり、これらに限られるものではない。 Based on all the above descriptions, those skilled in the art may be able to conceive of additions, effects or various modifications of the present invention, but aspects of the present invention are not limited to the individual embodiments described above. Absent. Various additions, changes and partial deletions can be made without departing from the conceptual idea and purpose of the present invention derived from the contents defined in the claims and their equivalents. For example, in all the above-described embodiments, the numerical values used in the explanation are shown as an example, and are not limited thereto.
訓練、推論の各種演算は、例えば、GPU等のアクセラレータを用いて、又は、ネットワークを介した複数の計算機を用いて、並列処理により実行されるものであってもよい。例えば、訓練におけるバッチ処理、推論における各オブジェクトの動作情報の生成等の処理は、複数ある演算コアに演算を振り分けて同じタイミングで実行されるものであってもよい。 Various operations of training and inference may be executed by parallel processing using, for example, an accelerator such as a GPU or using a plurality of computers via a network. For example, processing such as batch processing in training and generation of operation information of each object in inference may be performed by allocating operations to a plurality of arithmetic cores and executing them at the same timing.
1:訓練装置、10:入力部、11:記憶部、12:第1訓練部、13:第2訓練部、14:第3訓練部、15:出力部、
2:推定装置、20:入力部、21:記憶部、22:第1推定部、23:第2推定部、24:第3推定部、25:出力部、
30:第1データ格納部、31:第2データ格納部
1: Training device, 10: Input unit, 11: Storage unit, 12: 1st training unit, 13: 2nd training unit, 14: 3rd training unit, 15: Output unit,
2: Estimator, 20: Input unit, 21: Storage unit, 22: 1st estimation unit, 23: 2nd estimation unit, 24: 3rd estimation unit, 25: Output unit,
30: 1st data storage unit, 31: 2nd data storage unit
Claims (20)
及び、
前記第2データに基づいて得られた前記第1ドメインに属する疑似第1データと、前記疑似第1データに付与された前記第1ドメインにおけるアノテーションデータ、
を入力として、当該第2データに対応する前記第2ドメインにおけるアノテーションを出力する第3モデルを訓練する、第3訓練部、
を備える訓練装置。 Second data belonging to the second domain, which is different from the first data belonging to the first domain,
as well as,
Pseudo-first data belonging to the first domain obtained based on the second data, and annotation data in the first domain given to the pseudo-first data.
To train a third model that outputs annotations in the second domain corresponding to the second data, the third training unit,
Training device equipped with.
をさらに備え、
前記第1モデルを用いて、前記疑似第1データに付与された前記第1ドメインにおけるアノテーションデータを取得する、請求項1に記載の訓練装置。 When the first data is input, the annotation in the first domain is output, the first model is trained, the first training unit,
With more
The training device according to claim 1, wherein the annotation data in the first domain given to the pseudo first data is acquired by using the first model.
をさらに備え、
前記第2モデルを用いて、前記第2データに基づいた前記疑似第1データを取得する、請求項1から請求項3のいずれかに記載の訓練装置。 The second training unit, which trains the second model, outputs the pseudo first data by inputting the second data.
With more
The training device according to any one of claims 1 to 3, wherein the pseudo first data based on the second data is acquired by using the second model.
請求項2から請求項12のいずれかに記載の訓練装置。 At least two of each model to be trained consist of one neural network,
The training device according to any one of claims 2 to 12.
第1ドメインに属する第1データとは異なる第2ドメインに属する第2データ、
及び、
前記第2データに基づいて得られた前記第1ドメインに属する疑似第1データと、前記疑似第1データに付与された前記第1ドメインにおけるアノテーションデータ、
を入力として、当該第2データに対応する前記第2ドメインにおけるアノテーションを出力する第3モデルを訓練するステップ、
を有する訓練方法。 The third training department
Second data belonging to the second domain, which is different from the first data belonging to the first domain,
as well as,
Pseudo-first data belonging to the first domain obtained based on the second data, and annotation data in the first domain given to the pseudo-first data.
To train a third model that outputs annotations in the second domain corresponding to the second data,
Training method with.
をさらに備え、
前記第1モデルを用いて、前記疑似第1データに付与された前記第1ドメインにおけるアノテーションデータを取得する、請求項14に記載の訓練方法。 A step of training a first model, in which the first training unit outputs an annotation in the first domain when the first data is input.
With more
The training method according to claim 14, wherein the annotation data in the first domain given to the pseudo first data is acquired by using the first model.
をさらに備え、
前記第2モデルを用いて、前記第2データに基づいた前記疑似第1データを取得する、請求項14又は請求項15に記載の訓練方法。 The step of training the second model, in which the second training unit outputs the pseudo first data by inputting the second data.
With more
The training method according to claim 14 or 15, wherein the pseudo first data based on the second data is acquired by using the second model.
第1ドメインに属する第1データとは異なる第2ドメインに属する第2データ、
及び、
前記第2データに基づいて得られた前記第1ドメインに属する疑似第1データと、前記疑似第1データに付与された前記第1ドメインにおけるアノテーションデータ、
を入力として、当該第2データに対応する前記第2ドメインにおけるアノテーションを出力する第3モデルを訓練する、第3訓練手段、
として機能させるプログラム。 Computer,
Second data belonging to the second domain, which is different from the first data belonging to the first domain,
as well as,
Pseudo-first data belonging to the first domain obtained based on the second data, and annotation data in the first domain given to the pseudo-first data.
A third training means, which trains a third model that outputs annotations in the second domain corresponding to the second data by inputting
A program that functions as.
をさらに備え、
前記第1モデルを用いて、前記疑似第1データに付与された前記第1ドメインにおけるアノテーションデータを取得する、請求項17に記載のプログラム。 When the first data is input, the annotation in the first domain is output, the first model is trained, the first training means,
With more
The program according to claim 17, wherein the annotation data in the first domain added to the pseudo first data is acquired by using the first model.
をさらに備え、
前記第2モデルを用いて、前記第2データに基づいた前記疑似第1データを取得する、請求項17又は請求項18に記載のプログラム。 A second training means for training a second model, which takes the second data as an input and outputs the pseudo first data.
With more
The program according to claim 17 or 18, wherein the pseudo first data based on the second data is acquired by using the second model.
及び、
前記第2データに基づいて得られた前記第1ドメインに属する疑似第1データと、前記疑似第1データに付与された前記第1ドメインにおけるアノテーションデータ、
を入力として、当該第2データに対応する前記第2ドメインにおけるアノテーションを出力する、第3推定部、
を備える推定装置。 Second data belonging to the second domain, which is different from the first data belonging to the first domain,
as well as,
Pseudo-first data belonging to the first domain obtained based on the second data, and annotation data in the first domain given to the pseudo-first data.
Is input, and the annotation in the second domain corresponding to the second data is output, the third estimation unit,
Estimator equipped with.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019105401A JP2020198041A (en) | 2019-06-05 | 2019-06-05 | Training device, training method, estimation device, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019105401A JP2020198041A (en) | 2019-06-05 | 2019-06-05 | Training device, training method, estimation device, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020198041A true JP2020198041A (en) | 2020-12-10 |
Family
ID=73649198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019105401A Pending JP2020198041A (en) | 2019-06-05 | 2019-06-05 | Training device, training method, estimation device, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020198041A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7062747B1 (en) | 2020-12-25 | 2022-05-06 | 楽天グループ株式会社 | Information processing equipment, information processing methods and programs |
JP2022103190A (en) * | 2020-12-25 | 2022-07-07 | 楽天グループ株式会社 | Information processing device, information processing method, and information processing program |
WO2023053420A1 (en) * | 2021-09-30 | 2023-04-06 | 日本電信電話株式会社 | Processing device and processing method |
JP7302107B1 (en) * | 2022-01-07 | 2023-07-03 | 楽天グループ株式会社 | LEARNING SYSTEMS, LEARNING METHODS AND PROGRAMS |
-
2019
- 2019-06-05 JP JP2019105401A patent/JP2020198041A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7062747B1 (en) | 2020-12-25 | 2022-05-06 | 楽天グループ株式会社 | Information processing equipment, information processing methods and programs |
JP2022103190A (en) * | 2020-12-25 | 2022-07-07 | 楽天グループ株式会社 | Information processing device, information processing method, and information processing program |
JP2022102095A (en) * | 2020-12-25 | 2022-07-07 | 楽天グループ株式会社 | Information processing device, information processing method, and information processing program |
JP7277645B2 (en) | 2020-12-25 | 2023-05-19 | 楽天グループ株式会社 | Information processing device, information processing method and program |
WO2023053420A1 (en) * | 2021-09-30 | 2023-04-06 | 日本電信電話株式会社 | Processing device and processing method |
JP7302107B1 (en) * | 2022-01-07 | 2023-07-03 | 楽天グループ株式会社 | LEARNING SYSTEMS, LEARNING METHODS AND PROGRAMS |
WO2023132054A1 (en) * | 2022-01-07 | 2023-07-13 | 楽天グループ株式会社 | Learning system, learning method, and program |
TWI836840B (en) * | 2022-01-07 | 2024-03-21 | 日商樂天集團股份有限公司 | Learning systems, learning methods and program products |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020198041A (en) | Training device, training method, estimation device, and program | |
US20170330319A1 (en) | Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training | |
US20190220977A1 (en) | Cross-Domain Image Analysis and Cross-Domain Image Synthesis Using Deep Image-to-Image Networks and Adversarial Networks | |
EP3361421B1 (en) | Hierarchical learning of weights of a neural network for performing multiple analyses | |
US11461596B2 (en) | Methods and apparatus to adapt medical imaging interfaces based on learning | |
US11810301B2 (en) | System and method for image segmentation using a joint deep learning model | |
JP5967968B2 (en) | Medical diagnosis support system, medical diagnosis support device, information processing method, and program | |
US20180157928A1 (en) | Image analytics platform for medical data using expert knowledge models | |
US20150055842A1 (en) | Image Segmentation Techniques | |
KR102108418B1 (en) | Method for providing an image based on a reconstructed image group and an apparatus using the same | |
US20210005307A1 (en) | Image processing and routing using ai orchestration | |
US11880432B2 (en) | Confidence measure for a deployed machine learning model | |
US11460528B2 (en) | MRI reconstruction with image domain optimization | |
US20220343521A1 (en) | Methods and apparatus for metric depth estimation using a monocular visual-inertial system | |
US10210589B2 (en) | Generic method of handling DICOM structured reporting contents | |
WO2023283765A1 (en) | Method and apparatus for training machine learning models, computer device, and storage medium | |
KR20220082763A (en) | Data preparation for artificial intelligence models | |
Stanley et al. | A Flexible Framework for Simulating and Evaluating Biases in Deep Learning-Based Medical Image Analysis | |
JP2021089526A (en) | Estimation device, training device, estimation method, training method, program and non-transient computer-readable medium | |
CN111183451A (en) | Display of medical images | |
KR102177567B1 (en) | Method for generating bone image and apparatus using the same | |
EP3977409A1 (en) | Deformity-weighted registration of medical images | |
JP7094562B2 (en) | Bioimage acquisition device, transducer production device, bioimage production method, transducer production method, and program | |
EP4266074A1 (en) | Segmentation of medical images reconstructed from a set of magnetic resonance images | |
Zhai et al. | A bivariate contaminated binormal model for robust fitting of proper ROC curves to a pair of correlated, possibly degenerate, ROC datasets |