JP2019144639A - Method for training model outputting vector indicating tag set corresponding to image - Google Patents
Method for training model outputting vector indicating tag set corresponding to image Download PDFInfo
- Publication number
- JP2019144639A JP2019144639A JP2018025847A JP2018025847A JP2019144639A JP 2019144639 A JP2019144639 A JP 2019144639A JP 2018025847 A JP2018025847 A JP 2018025847A JP 2018025847 A JP2018025847 A JP 2018025847A JP 2019144639 A JP2019144639 A JP 2019144639A
- Authority
- JP
- Japan
- Prior art keywords
- image
- tag
- vector
- model
- tag set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、画像に対応するタグセットを表すベクトルを出力するモデルを訓練する方法に関する。 The present invention relates to a method for training a model that outputs a vector representing a tag set corresponding to an image.
画像の解析や検索のために、画像に対して画像を表すタグを付与する技術が知られている。例えば、特許文献１又は特許文献２は、画像に関連するタグを推定するシステムを開示している。
A technique for adding a tag representing an image to an image for image analysis or search is known. For example,
特許文献１において、「最初に、訓練中に、特徴データをトレーニングするために畳み込みニューラルネットワーク（ＣＮＮ）に入力されるデータのクラスタ不均衡を低減するためにクラスタリング技術が利用される。実施形態では、クラスタリング技術を利用して、（タグ付けされていない画像をタグ付けするための）タグ伝搬に利用できるデータポイント類似性を計算することもできる。テスト中に、多様性ベースの投票フレームワークがユーザのタグ付けバイアスを克服するために利用される。いくつかの実施形態では、バイグラム再重み付けは、予測タグセットに基づいてバイグラムの一部である可能性が高いキーワードの重みを小さくすることができる。」（要約）と開示されている。
In
特許文献２において、「システム、方法、および非一時的なコンピュータ可読媒体は、訓練段階において、第１のコンテンツアイテム変換に基づいて第１のコンテンツアイテムの第１のコンテンツアイテム表現を生成することができる。第１のコンテンツアイテムは、１または複数の画像及びビデオを含むことができる。第１のユーザメタデータの第１のユーザメタデータ表現は、第１のユーザメタデータ変換に基づいて作成することができる。第１のコンテンツアイテム表現及び第１のユーザメタデータ表現を組み合わせて、第１の結合表現を生成することができる。第１の組み合わせ表現及び第１のタグの第１のタグ表現は、互いに第１の閾値距離内の埋め込み空間に埋め込むことができる。」（要約）と開示されている。 In U.S. Patent No. 6,099,059, "The system, method, and non-transitory computer readable medium may generate a first content item representation of a first content item based on a first content item transformation in a training phase. The first content item can include one or more images and videos, and a first user metadata representation of the first user metadata is created based on the first user metadata transformation. The first content item representation and the first user metadata representation can be combined to generate a first combined representation, the first combination representation and the first tag representation of the first tag. Can be embedded in embedded spaces within a first threshold distance from each other ”(summary).
機械学習の技術により、入力された画像に対して、関連する１又は複数タグ（タグセット）を出力するモデルを形成することができる。機械学習によりモデルを適切に訓練するためには、大量の訓練用データが必要とされ、一般に、画像データに関連付けられるタグの出現頻度分布は、ロングテイル属性を有する。つまり、多くのタグの出現頻度（関連づけられる画像の数）は低く、一部のタグのみその出現頻度が高い。 A machine learning technique can form a model that outputs one or a plurality of related tags (tag sets) for an input image. In order to properly train a model by machine learning, a large amount of training data is required, and generally, an appearance frequency distribution of tags associated with image data has a long tail attribute. That is, the appearance frequency (number of images associated) of many tags is low, and only some tags have high appearance frequencies.
出現頻度が低いタグセットの多くの訓練用データを収集することは困難である。一方、画像に関連付けるべきタグセットを推定するシステムに対して、出現頻度が低いタグセットであっても高精度に推定することができる能力が要求される。 It is difficult to collect a lot of training data for tag sets with low appearance frequency. On the other hand, a system that estimates a tag set to be associated with an image is required to have a capability of estimating with high accuracy even if the tag set has a low appearance frequency.
本開示の一態様は、入力画像から前記入力画像と関連付けるべきタグセットを表すベクトルを出力する第１モデルを訓練する、ことを含む、計算機に実行される方法であって、前記計算機は、記憶装置と、前記記憶装置に格納されているプログラムに従って動作するプロセッサと、を含み、前記第１モデルは、入力画像から前記入力画像に関連付けるべきタグセットを表すベクトルを出力するエンコーダと、前記エンコーダからの出力を入力されるデコーダとを含み、前記方法は、前記プロセッサが、前記エンコーダに第１訓練画像を入力し、前記デコーダからの第１出力画像を取得し、前記エンコーダからの第１出力ベクトルを取得し、前記第１訓練画像と前記第１出力画像との間の誤差と、前記第１訓練画像に予め関連付けられている第１タグセットに基づき予め設定された、前記エンコーダからの前記第１出力ベクトルに対する制約と、に基づいて、前記第１モデルのパラメータを更新する。 One aspect of the present disclosure is a computer-implemented method comprising training a first model that outputs a vector representing a tag set to be associated with an input image from an input image, the computer comprising: And a processor that operates according to a program stored in the storage device, wherein the first model is an encoder that outputs a vector representing a tag set to be associated with the input image from an input image; and And a decoder that receives the output of the first input image from the encoder, wherein the processor inputs a first training image to the encoder, obtains a first output image from the decoder, and a first output vector from the encoder. And an error between the first training image and the first output image and a first associated with the first training image in advance. Previously set on the basis of the tag set, constraints and, based on for the first output vector from the encoder to update the parameters of the first model.
本開示の一態様によれば、画像と関連付けるべきタグセットを高精度に推定できるモデルを得ることができる。 According to one aspect of the present disclosure, it is possible to obtain a model that can accurately estimate a tag set to be associated with an image.
以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。各図において共通の構成については同一の参照符号が付されている。 Embodiments of the present invention will be described below with reference to the accompanying drawings. It should be noted that this embodiment is merely an example for realizing the present invention, and does not limit the technical scope of the present invention. In each figure, the same reference numerals are given to common configurations.
図１は、タグ推定装置１００を含む計算機システムの構成例を示す。タグ推定装置 １００は、プロセッサ１１０、メモリ１２０、補助記憶装置１３０、入出力インタフェース１４０、及びネットワーク（ＮＷ）インタフェース１４５を含む。上記構成要素は、バスによって互いに接続されている。メモリ１２０、補助記憶装置１３０又はこれらの組み合わせは記憶装置の例である。
FIG. 1 shows a configuration example of a computer system including a
メモリ１２０は、例えば半導体メモリから構成され、主にプログラムやデータを一時的に保持するために利用される。メモリ１２０が格納しているプログラムは、マッチングモデル１２１、意味表現モデル１２２、訓練プログラム１２３、運用プログラム１２４、データクローラ１２５、及び、画像−タグ関連データ生成プログラム１２６を含む。
The
メモリ１２０は、さらに、画像−タグ関連データ生成プログラム１２６に作成されるタグ分布テーブル５４７を格納している。タグ分布テーブル５４７は、補助記憶装置１３０にも格納されてもよい。
The
プロセッサ１１０は、メモリ１２０に格納されているプログラムに従って、様々な処理を実行する。プロセッサ１１０がプログラムに従って動作することで、様々な機能部が実現される。例えば、プロセッサ１１０は、上記プログラムそれぞれに従って、マッチングモデル部、意味表現モデル部、学習部、運用部、データクローラ部、及び、訓練データ生成部として動作する。
The
補助記憶装置１３０は、画像−テキスト関連データベース（ＤＢ）１３２、及び、画像−タグ関連データベース１３４を格納している。補助記憶装置１３０は、例えばハードディスクドライブやソリッドステートドライブなどの大容量の記憶装置から構成され、プログラムやデータを長期間保持するために利用される。
The
補助記憶装置１３０に格納されたプログラムが起動時又は必要時にメモリ１２０にロードされ、このプログラムをプロセッサ１１０が実行することにより、タグ推定装置 １００の各種処理が実行される。したがって、以下においてプログラムにより実行される処理は、プロセッサ１１０又はタグ推定装置１００による処理である。
A program stored in the
ネットワークインタフェース１４５は、ネットワークとの接続のためのインタフェースである。図１の例において、タグ推定装置１００は、ネットワークインタフェース１４５を介して、インターネットに接続する。
The
クライアント装置１４４は、ユーザが使用する装置であって、ネットワーク、図１の例においてインターネットを介して、タグ推定装置１００にアクセスする。クライアント装置１４４は、例えば、一般的な計算機構成を有し、入力装置及び表示装置を含む。入力装置は、ユーザがタグ推定装置１００に指示や情報などを入力するためのハードウェアデバイスである。表示装置は、入出力用の各種画像を表示するハードウェアデバイスである。入力デバイス及び表示デバイスは、ネットワークを介することなく、タグ推定装置１００に接続されていてもよい。
The
マッチングモデル１２１及び意味表現モデル１２２は、機械学習により訓練される（更新される）モデルである。タグ推定装置１００は、マッチングモデル１２１のための、訓練モード（学習モード）とオペレーションモードを有する。また、意味表現モデル１２２のための、訓練モードとオペレーションモードを有する。
The
マッチングモデル１２１及び意味表現モデル１２２は、それぞれ、訓練モードにおいて、訓練プログラム１２３により訓練される。マッチングモデル１２１及び意味表現モデル１２２の訓練のため、画像−タグ関連データベース１３４が使用される。
The
マッチングモデル１２１は、オペレーションモードにおいて、画像−タグ関連データ生成プログラム１２６によって使用される。マッチングモデル１２１は、オペレーションモードにおいて、画像−テキスト関連データベース１３２に格納されているデータから画像−タグ関連データベース１３４に格納するデータを生成するために使用される。
The
意味表現モデル１２２は、オペレーションモードにおいて、運用プログラム１２４によって使用される。意味表現モデル１２２は、オペレーションモードにおいて、ユーザに入力された画像に対応する１又は複数タグからなるタグセットを推定するために使用される。タグセットの推定のため、画像−タグ関連データベース１３４のデータが使用される。
The
また、意味表現モデル１２２は、ユーザに入力されたタグセットに対応する１又は複数画像を推定するために使用される。画像推定のため、画像−テキスト関連データベース１３２のデータが使用される。画像推定は、意味表現モデル１２２及び画像−テキスト関連データベース１３２を使用することなく、画像−タグ関連データベース１３４のデータを使用してもよい。
The
データクローラ１２５は、インターネット上のＷｅｂページを定期的に巡回し、互いに関連付けられている画像とテキストからなる組を収集する。データクローラ１２５は、画像−テキスト関連データベース１３２に、収集した画像とテキストの組を格納する。
The data crawler 125 periodically circulates Web pages on the Internet and collects pairs of images and texts associated with each other. The data crawler 125 stores the collected image and text pairs in the image-text related
図２は、画像−テキスト関連データベース１３２の構成例を示す。画像−テキスト関連データベース１３２は、画像と、対応するテキストと関連付ける。画像カラム３２１及びテキストカラム３２２を有する。画像カラム３２１は、収集された画像を格納している。テキストカラム３２２は、画像それぞれに関連付けられているテキストを格納している。各テキストは複数の単語で構成されている。
FIG. 2 shows a configuration example of the image-text related
上述のように、画像−テキスト関連データベース１３２は、画像−タグ関連データベース１３３の生成、及び、ユーザ入力タグセットに対応する画像の推定において、使用される。
As described above, the image-text related
図３は、画像−タグ関連データベース１３３の構成例を示す。画像−タグ関連データベース１３３は、画像と、対応するタグセットとを関連付ける。画像−タグ関連データベース１３３は、画像カラム３３１及びタグカラム３３２を有する。画像カラム３２１は、画像を格納している。タグカラム３３２は、画像それぞれに関連付けられているタグセットを格納している。各タグセットは１又は複数のタグ（単語）で構成されている。
FIG. 3 shows a configuration example of the image-tag related database 133. The image-tag relation database 133 associates an image with a corresponding tag set. The image-tag related database 133 includes an image column 331 and a tag column 332. The
上述のように、画像−タグ関連データベース１３３は、マッチングモデル１２１及び意味表現モデル１２２のために使用され、また、ユーザ入力された画像を表す適切なタグセットを推定するために使用される。
As described above, the image-tag association database 133 is used for the
以下において、ユーザに入力されたタグセット対応する１又は複数の画像の推定、及び、ユーザに入力された画像に対応するタグセットの推定、を説明する。運用プログラム１２４は、意味表現モデル１２２を使用して、入力タグセットに対応する１又は複数の画像を推定し、また、入力画像に対応するタグセットを推定する。
In the following, estimation of one or a plurality of images corresponding to the tag set input to the user and estimation of the tag set corresponding to the image input to the user will be described. The
図４Ａは、ユーザが、入力画像に対応するタグセットを取得するための、ＧＵＩ画像の例を示す。運用プログラム１２４は、クライアント装置１４４に、図４Ａに示す画像データを送信する。ユーザは、クライアント装置１４４において、フィールド４０１に対象画像のパスを入力し、ＵＰＬＯＡＤボタン４０２を押す。
FIG. 4A shows an example of a GUI image for the user to acquire a tag set corresponding to the input image. The
クライアント装置１４４は、フィールド４０１が示すパスから入力画像（データ）を取得し、タグ推定装置１００に送信する。運用プログラム１２４は、クライアント装置１４４から対象画像を受信する。
The
クライアント装置１４４は、ユーザによる入力装置を介した「推定」ボタン４０３の選択応じて、送信した画像を表すタグセットの要求をタグ推定装置１００に送信する。運用プログラム１２４は、受信した要求に応じて、対象画像に関連するタグセットを推定し、クライアント装置１４４に送信する。クライアント装置１４４は、受信したタグセットを、「推奨タグ」セクション４０４に表示する。
The
図４Ｂは、ユーザが、入力タグセットに対応する画像を取得するための、ＧＵＩ画像の例を示す。運用プログラム１２４は、クライアント装置１４４に、図４Ｂに示す画像データを送信する。ユーザは、クライアント装置１４４において、フィールド４５１に対象タグセットを入力する。クライアント装置１４４は、ユーザによる入力装置を介した「検索」ボタン４５２の選択応じて、対象タグセットと共に、対象タグセットに関連する画像の検索の要求をタグ推定装置１００に送信する。
FIG. 4B shows an example of a GUI image for the user to acquire an image corresponding to the input tag set. The
運用プログラム１２４は、受信した要求に応じて、対象タグセットに関連すると推定される１又は複数の画像を選択し、クライアント装置１４４に送信する。クライアント装置１４４は、受信した１又は複数の画像を、「関連画像」セクション４５４に表示する。
In response to the received request, the
図５は、運用プログラム１２４による、入力画像に対する推奨タグセットの決定の処理のフローチャートを示す。運用プログラム１２４は、ユーザに入力された画像を取得する（Ｓ１０１）。運用プログラム１２４は、取得した画像から、意味表現モデル１２２によって、意味表現ベクトルを生成する（Ｓ１０２）。意味表現モデル１２２は、入力された画像から、当該画像の意味表現ベクトルを生成する。意味表現モデル１２２の構成及び動作の詳細は後述する。
FIG. 5 shows a flowchart of processing for determining a recommended tag set for an input image by the
後述するように、意味表現ベクトルは、入力画像と関連づけるべきタグセットを表すベクトル、つまり、画像を表すタグセットを表すベクトルと見做すことができる。後述する例において、意味表現ベクトルは、ｗｏｒｄ ｅｍｂｅｄｄｉｎｇ技術を利用して生成されるベクトルに対応する。 As will be described later, the semantic expression vector can be regarded as a vector representing a tag set to be associated with the input image, that is, a vector representing a tag set representing the image. In the example described later, the semantic expression vector corresponds to a vector generated using a word embedding technique.
運用プログラム１２４は、画像−タグ関連データベース１３４から、タグを順次選択し、それらのベクトル（タグベクトル）を生成する（Ｓ１０３）。本例において、運用プログラム１２４は、ｗｏｒｄ ｅｍｂｅｄｄｉｎｇ技術により、各タグをタグベクトルに変換する。運用プログラム１２４は、事前に訓練されているｗｏｒｄ ｅｍｂｅｄｄｉｎｇのモデルを含む。他の実装において、ｗｏｒｄ ｅｍｂｅｄｄｉｎｇ技術と異なる技術により、タグを含む語をベクトルに変換してもよい。
The
運用プログラム１２４は、生成したタグベクトルそれぞれと、意味表現ベクトルとを比較して、意味表現ベクトルとの類似度を計算する（Ｓ１０４）。類似度の計算は、例えば、ドット積又はコサイン類似度を使用することができる。
The
運用プログラム１２４は、類似度に基づいて、対象画像に対応する推奨タグセットに含めるタグを決定する（Ｓ１０５）。運用プログラム１２４は、例えば、類似度が閾値より高いタグにより、推奨タグセットを構成する。推奨タグセットを構成するタグの最大数が、予め設定されていてもよい。類似度が閾値を超えるタグの数が規定数を超える場合、運用プログラム１２４は、類似度の順において、最も類似度が高いタグから規定数のタグを選択してもよい。運用プログラム１２４は、類似度閾値を参照することなく、類似度の順において、最も類似度が高いタグから規定数のタグを選択してもよい。
The
上述のように、意味表現モデル１２２を使用して高精度に入力画像に対応するタグセットを推定することができる。タグそれぞれのベクトルと意味表現ベクトルと比較することで、画像に関連付けるべきタグをより正確に推定することができる。
As described above, the tag set corresponding to the input image can be estimated with high accuracy using the
運用プログラム１２４は、複数タグからなるタグセットのベクトル、例えば、画像−タグ関連データベース１３４の各レコードのタグセットと、意味表現ベクトルとを比較してもよい。単一のタグは、単一タグからなるタグセットでもある。画像−タグ関連データベース１３４に代えて、タグのみを格納するデータベースが用意され、運用プログラム１２４は、そのデータベース内のタグのベクトルと意味表現ベクトルとを比較してもよい。
The
図６は、運用プログラム１２４による、入力タグセットに関連する画像をする処理のフローチャートを示す。運用プログラム１２４は、ユーザに入力されたタグセットを取得する（Ｓ１５１）。
FIG. 6 shows a flowchart of a process for creating an image related to the input tag set by the
運用プログラム１２４は、取得したタグセットから、ｗｏｒｄ ｅｍｂｅｄｄｉｎｇモデルを使用して、ベクトル（タグセットベクトル）を生成する（Ｓ１５２）。運用プログラム１２４は、タグセットを構成するタグそれぞれのタグベクトルをｗｏｒｄ ｅｍｂｅｄｄｉｎｇモデルにより生成し、それらを組み合わせることで、当該タグセットのタグセットベクトルを生成する。
The
例えば、運用プログラム１２４は、タグベクトルの単純平均値をタグセットベクトルと決定してもよく、タグベクトルの重みづけ平均をタグセットベクトルと決定してもよい。タグの重みは、例えば、画像−タグ関連データベース１３４におけるタグの出現頻度に応じて決定される。画像−タグ関連データベース１３４において関連付けられている画像の数が多いタグほど、大きい重みが与えられる。
For example, the
次に、運用プログラム１２４は、画像−テキスト関連データベース１３２から画像を順次読み出し、意味表現モデル１２２によって、それらの意味表現ベクトルを生成する（Ｓ１５３）。運用プログラム１２４は、生成した意味表現ベクトルそれぞれと、ステップＳ１５２で生成したタグセットベクトルとの間の類似度を計算する（Ｓ１５４）。類似度の計算は、例えば、ドット積又はコサイン類似度を使用することができる。
Next, the
運用プログラム１２４は、類似度に基づいて、対象タグセットに関連すると推定される画像を決定する（Ｓ１５５）。運用プログラム１２４は、例えば、類似度が閾値より高い画像を、タグセットに関連する画像として提示する画像と決定する。提示する画像の最大数が、予め設定されていてもよい。類似度が閾値を超える画像の数が規定数を超える場合、運用プログラム１２４は、類似度の順において、最も類似度が高い画像から規定数の画像を選択してもよい。運用プログラム１２４は、類似度閾値を参照することなく、類似度の順において、最も類似度が高い画像から規定数の画像を選択してもよい。
The
上述のように、意味表現モデル１２２を使用して、入力されたタグセットに関連する画像を高精度に推定することができる。ステップＳ１５３において、運用プログラム１２４は、画像−テキスト関連データベース１３２に代えて、画像−タグ関連データベース１３４を参照してもよい。運用プログラム１２４は、画像−タグ関連データベース１３４におけるレコードそれぞれのタグセットのタグセットベクトル生成し、ステップＳ１５２で生成したタグセットベクトルとの間の類似度を計算する。
As described above, the
次に、画像−タグ関連データ生成プログラム１２６により、画像−テキスト関連データベース１３２のデータから、画像−タグ関連データベース１３４に格納するデータを生成する処理を説明する。図７は、画像−タグ関連データ生成プログラム１２６による処理のフローチャートを示す。画像−タグ関連データ生成プログラム１２６は、図７に示す処理を定期的に、例えば、１週間に１回実行する。
Next, processing for generating data to be stored in the image-tag related
画像−タグ関連データ生成プログラム１２６は、画像−タグ関連データベース１３４におけるタグの出現頻度分布を分析し、タグ分布テーブル５４７を生成する（Ｓ２０１）。タグの出現頻度は、画像−タグ関連データベース１３４において、当該タグに関連付けられている画像の数に等しい。
The image-tag related
図８は、タグ分布テーブル５４７の構成例を示す。タグ分布テーブル５４７は、タグカラム４７１と画像の数カラム４７２とを含む。タグカラム４７１は、画像−タグ関連データベース１３４に格納されているタグを示す。画像の数カラム４７２は、タグそれぞれが画像−タグ関連データベース１３４において関連付けられている画像の数を示す。
FIG. 8 shows a configuration example of the tag distribution table 547. The tag distribution table 547 includes a
図７に戻って、画像−タグ関連データ生成プログラム１２６は、タグ分布テーブル５４７を参照し、出現頻度が低いタグを選択する（Ｓ２０２）。例えば、画像−タグ関連データ生成プログラム１２６は、出現頻度の順において、出現頻度が最も低いタグから規定数のタグを選択する。画像−タグ関連データ生成プログラム１２６は、出現頻度が規定値より小さい全てのタグを選択してもよい。
Returning to FIG. 7, the image-tag related
画像−タグ関連データ生成プログラム１２６は、選択したいずれかのタグをテキスト内に含む、画像とテキストとの組（レコード）を、画像−テキスト関連データベース１３２から選択する（Ｓ２０３）。
The image-tag related
画像−タグ関連データ生成プログラム１２６は、画像とテキストとの選択した各組において、画像と関連づけられているテキスト内の各単語との間の類似度を、マッチングモデル１２１を使用して、計算する（Ｓ２０４）。
The image-tag related
具体的には、画像−タグ関連データ生成プログラム１２６は、画像の特徴ベクトルと各単語のベクトルを生成する。画像の特徴ベクトルは、例えば、予め訓練されている深層学習モデル（深層ニューラルネットワーク）によって、生成することができる。単語ベクトルは、上述のように、予め訓練されているｗｏｒｄ ｅｍｂｅｄｄｉｎｇモデルにより生成される。
Specifically, the image-tag related
画像−タグ関連データ生成プログラム１２６は、生成した画像特徴ベクトルと一つの単語ベクトルをマッチングモデル１２１に入力する。マッチングモデル１２１は、入力された画像特徴ベクトルと単語ベクトルとの間の類似度を出力する。マッチングモデル１２１の処理の詳細は後述する。
The image-tag related
画像−タグ関連データ生成プログラム１２６は、画像とテキストの各組において、画像との類似度に基づいて、テキストの単語のうちタグとして登録する単語を選択する（Ｓ２０５）。画像−タグ関連データ生成プログラム１２６は、例えば、類似度が閾値より高い単語を、画像のタグとして選択する。このように、単語は、画像との類似度によりランク付けされる。
The image-tag related
選択できるタグの最大数は予め設定されていてもよい。画像−タグ関連データ生成プログラム１２６は、類似度が閾値より高い単語から、類似度の順で、最も類似度が高い単語から１又は複数単語を、規定最大数を限度に選択する。選択できるタグの数は予め設定されていてもよい。画像−タグ関連データ生成プログラム１２６は、類似度の順において、類似度が最も高い単語から規定数の単語を選択する。
The maximum number of tags that can be selected may be set in advance. The image-tag related
タグとして選択した１又は複数の単語が、画像を表す（画像に関連付けられる）タグセットを構成する。画像−タグ関連データ生成プログラム１２６は、画像と選択したタグセットとの組を、画像−タグ関連データベース１３４に追加する（Ｓ２０６）。
One or more words selected as tags constitute a tag set representing (associated with) the image. The image-tag related
上述のように、画像に実際に関連付けられているテキストからタグを選択することで、画像に関連するタグをより高精度に決定することができる。後述するように、画像−タグ関連データベース１３４は、意味表現モデル１２２の訓練に使用され、意味表現モデル１２２を適切に訓練することができる。また、訓練により改善されるマッチングモデル１２１を使用することで、画像−タグ関連データベース１３４に追加するより適切なデータを生成できる。
As described above, the tag associated with the image can be determined with higher accuracy by selecting the tag from the text actually associated with the image. As will be described later, the image-tag related
タグ分布テーブル５４７に基づき画像−タグ関連データベース１３４に追加する画像を決定することで、画像−タグ関連データベース１３４内のタグの出現頻度分布がより均一に近づけることができる。関連付けられているテキストに低頻度のタグを含む画像を選択することで、低頻度タグが関連づけられる画像を選択する可能性を高めることができる。
By determining an image to be added to the image-tag related
これにより、関連タグセットが一般にレアな画像（レア画像）のデータを、画像−タグ関連データベース１３４に含め、レア画像についても正確にタグセットの推定をできるように意味表現モデル１２２を訓練できる。レア画像は、関連付けられるタグセットが出現頻度の低いタグを含む、又は、そのタグセットを構成するタグの組み合わせの出現頻度が低い、画像である。
As a result, it is possible to train the
図９は、訓練プログラム１２３による、マッチングモデル１２１の訓練（学習）の方法を示すフローチャートである。図１０は、訓練におけるマッチングモデル１２１の処理のフローチャートである。訓練プログラム１２３は、図９を参照して説明する処理を、画像−タグ関連データベース１３４内の異なる画像について繰り返す。
FIG. 9 is a flowchart showing a method of training (learning) the
図９を参照して、訓練プログラム１２３は、画像−タグ関連データベース１３４から、画像を選択し、その画像の特徴ベクトルを生成する（Ｓ２２１）。上述のように、画像の特徴ベクトルは、例えば、予め訓練されている深層学習モデル（深層ニューラルネットワーク）によって、生成することができる。
Referring to FIG. 9, the
次に、訓練プログラム１２３は、選択した画像に関連づけられているタグセットを画像−タグ関連データベース１３４から取得し、当該タグセットのベクトル（関連タグセットベクトル）を生成する（Ｓ２２２）。関連タグセットベクトルの生成は、図６を参照して説明したタグセットベクトルの生成（Ｓ１５２）と同様である。
Next, the
次に、訓練プログラム１２３は、画像−タグ関連データベース１３４から、選択した画像に関連付けられていない複数のタグをサンプリングする（Ｓ２２３）。訓練プログラム１２３は、さらに、サンプリングしたタグそれぞれのベクトル（無関連タグベクトル）を生成する（Ｓ２２４）。無関連タグベクトルは、例えば、上述のように、ｗｏｒｄ ｅｍｂｅｄｄｉｎｇモデルを使用して生成される。
Next, the
各タグのベクトルに代えて又は加えて、複数のタグからなるタグセットのベクトルを生成してもよい。例えば、画像−タグ関連データベース１３４の各レコードのタグセットのであって、選択した画像と関連付けられていない１以上のタグを含む、又は、選択した画像と関連付けられていないタグからなる、タグセットのベクトルを生成してもよい。無関連タグのベクトルは、一つのタグからなるタグセットのベクトルでもある。
Instead of or in addition to the vector of each tag, a tag set vector composed of a plurality of tags may be generated. For example, the tag set of each record in the image-
訓練プログラム１２３は、マッチングモデル１２１に、上記生成した画像特徴ベクトル、関連タグセットベクトル、及び無関連タグベクトルを入力する（Ｓ２２５）。具体的には、訓練プログラム１２３は、画像特徴ベクトル及び関連タグセットベクトルのペア、並びに、画像特徴ベクトル及び無関連タグベクトルそれぞれのペアを、マッチングモデル１２１に順次入力する。
The
マッチングモデル１２１は、入力された二つのベクトルの間の類似度を出力する。したがって、訓練プログラム１２３は、画像特徴ベクトルと関連タグセットベクトルの間の類似度、及び、画像特徴ベクトルと無関連タグベクトルそれぞれとの間の類似度、を取得する（Ｓ２２６）。
The
マッチングモデル１２１は、取得した類似度に基づいて、マッチングモデル１２１を更新する（Ｓ２２７）。マッチングモデル１２１は、マッチングモデル１２１の出力の損失が小さくなるように、マッチングモデル１２１を更新（訓練）する。例えば、ヒンジ損失関数が使用される。
The
例えば、マッチングモデル１２１は、ｍａｘ（０、ｍ＋ｓｉｍ（ｘ、ｙ´）−ｓｉｍ（ｘ、ｙ））を最小化するように、マッチングモデル１２１を訓練する。ここで、ｓｉｍは、類似度を示し、ｍは、予め設定されているマージンである。ｘは、画像特徴ベクトル、ｙは関連タグセットベクトル、ｙ´は、無関連タグベクトルである。
For example, the
図１０は、訓練におけるマッチングモデル１２１の処理のフローチャートである。マッチングモデル１２１は、入力データとして、画像特徴ベクトルを取得する（Ｓ２５１）。マッチングモデル１２１は、入力データとして、無関連タグベクトル又は関連タグセットベクトルを取得する（Ｓ２５２）。
FIG. 10 is a flowchart of processing of the
マッチングモデル１２１は、入力された画像特徴ベクトルを共通空間に写像する（Ｓ２５３）。マッチングモデル１２１は、さらに、入力された無関連タグベクトル又は関連タグセットベクトルを、その共通空間に写像する（Ｓ２５４）。画像特徴ベクトルとタグ又はタグセットベクトルの次元は異なりえる。共通空間への写像において、これらが一致される。入力されたベクトルの共通空間への写像は、深層学習モデル（深層ニューラルネットワーク）により実行され得る。深層学習モデルのパラメータは、訓練プログラム１２３による訓練により更新される。
The
マッチングモデル１２１は、共通空間内において、画像特徴ベクトルと無関連タグベクトル又は関連タグセットベクトルとの間の類似度を計算する（Ｓ２５５）。類似度は、例えば、ドット積又はコサイン類似度で定義される。なお、正準相関分析（ＣＣＡ：Ｃａｎｏｎｉｃａｌ Ｃｏｒｒｅｌａｔｉｏｎ Ａｎａｌｙｓｉｓ）を、マッチングモデル１２１に適用することができる。
The
図１１は、意味表現モデル１２２に構成例を模式的に示す。意味表現モデル１２２は、オートエンコーダの構成を有する。意味表現モデル１２２は、深層学習モデル（深層ニューラルネットワーク）で構成できる。意味表現モデル１２２は、エンコーダ２２１及びデコーダ２２２を含む。
FIG. 11 schematically shows a configuration example in the
エンコーダ２２１とデコーダ２２２とは、例えば、それらの出力及び入力（意味表現ベクトル２２５）を中心として、対称の構造を有する。これにより、意味表現モデル１２２を効率的に訓練することができる。エンコーダ２２１とデコーダ２２２とは、例えば、複数層のＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）及び１又は複数層の全結合層を含む。
For example, the
エンコーダ２２１は、入力された画像２２７を、意味表現ベクトル２２５にエンコードして、出力する。デコーダ２２２は、入力された意味表現ベクトル２２５を再構築画像２２８にデコードして、出力する。図５及び６を参照して説明したように、エンコーダ２２１から出力された意味表現ベクトル２２５は、運用プログラム１２４に利用される。後述するように、再構築画像２２８と入力画像２２７との差異が小さくなるように、意味表現モデル１２２は訓練される。
The
図１２Ａ及び１２Ｂを参照して、意味表現モデル１２２の訓練を説明する。図１２Ａは、意味表現モデル１２２の訓練における入力データ及び出力データを示す。画像−タグ関連データベース１３４から選択された画像２２７がエンコーダ２２１に入力される。デコーダ２２２は、エンコーダ２２１から出力された意味表現ベクトル２２５を入力として受け付けて、再構築画像２２８を出力する。
With reference to FIGS. 12A and 12B, training of the
意味表現モデル１２２の訓練は、エンコーダ２２１の出力である、意味表現ベクトル２２５に対して、制約を与える。制約の例は後述する。意味表現ベクトル２２５に対して制約を与えるために、画像−タグ関連データベース１３４において入力画像２２７に関連付けられているタグセットが参照される。
The training of the
エンコーダ２２１から出力された意味表現ベクトル２２５と、入力画像２２７に関連付けられている関連タグセットベクトルとの間の誤差が、意味表現モデル１２２の訓練において使用される。さらに、再構築画像２２８と入力画像２２７との間の誤差が、意味表現モデル１２２の訓練において使用される。
The error between the
意味表現ベクトル２２５の訓練において、自己復元性（再構築画像２２８と入力画像２２７との間の誤差）を考慮することで、入力画像２２７を再現するのに十分な情報量を確保しようとする方向に力が働く。これにより、意味表現モデル１２２の訓練における過度の縮退（汎化）が抑制され、出現頻度が小さいレアなタグ又はタグセットであっても、画像の特徴として重要なタグ又はタグセットが、ノイズとして切り捨てられることを防ぐことができる。
In the training of the
図１２Ｂは、訓練プログラム１２３による、意味表現モデル１２２の訓練のフローチャートである。訓練プログラム１２３は、図１２を参照して説明する処理を、画像−タグ関連データベース１３４内の異なる画像について繰り返す。
FIG. 12B is a flowchart of training of the
訓練プログラム１２３は、画像−タグ関連データベース１３４から、画像を選択する（Ｓ３０１）。訓練プログラム１２３は、画像−タグ関連データベース１３４から、選択した画像に関連づけられているタグセットを取得し、そのベクトル（関連タグセットベクトル）を生成する（Ｓ３０２）。関連タグセットベクトルの生成は、図６を参照して説明したタグセットベクトルの生成（Ｓ１５２）と同様である。
The
訓練プログラム１２３は、選択した画像（入力画像２２７）を意味表現モデル１２２のエンコーダ２２１に入力する（Ｓ３０３）。訓練プログラム１２３は、意味表現モデル１２２から、出力画像（再構築画像）２２８及び意味表現ベクトル２２５を取得する（Ｓ３０４）。
The
訓練プログラム１２３は、入力画像と出力画像の誤差、及び、意味表現ベクトルと関連タグベクトルとの誤差に基づいて、意味表現モデル１２２を更新する。訓練プログラム１２３は、例えば、｜｜ｘ−ｘ´｜｜＋￥ｌａｍｂｄａ｜｜ｓ−ｗ｜｜が小さくなるように、意味表現モデル１２２のパラメータを更新する。意味表現ベクトル２５５に対する制約は、意味表現ベクトルと関連タグベクトルとの誤差を小さくすることである。
The
ｘ及びｘ´は、それぞれ、入力画像及び出力画像（再構築画像）である。￥ｌａｍｂｄａはバランシングパラメータであり、ｓは意味表現ベクトル、ｗは関連タグセットベクトルである。エンコーダ２２１をｆ、デコーダをｆ´と表わす。ｓ＝ｆ（ｘ）、ｘ´＝ｆ´（ｆ（ｘ））である。
x and x ′ are an input image and an output image (reconstructed image), respectively. ¥ lamda is a balancing parameter, s is a semantic expression vector, and w is a related tag set vector. The
意味表現モデル１２２の訓練における、意味表現ベクトル２２５に対する制約の他の例を説明する。訓練プログラム１２３は、画像−タグ関連データベース１３４から、選択画像と関連付けられているタグセット、及び、選択画像と関連付けられていないタグを含む又は関連付けられていないタグからなるタグセットを選択し、そのタグセットを表すベクトル（関連タグセットベクトル）を生成する。
Another example of the constraint on the
入力画像の意味表現ベクトルをｚ、入力画像の関連タグセットベクトルをｙ、入力画像に関連しない無関連タグセットベクトルをｙ´と表わす。関連タグセットベクトルｙと無関連タグセットベクトルをｙ´との類似度は、関連タグセットベクトルｙと関連タグセットベクトルｙ（同一ベクトル）との類似度より小さい。 The semantic representation vector of the input image is represented by z, the related tag set vector of the input image is represented by y, and the unrelated tag set vector not associated with the input image is represented by y ′. The similarity between the related tag set vector y and the unrelated tag set vector y ′ is smaller than the similarity between the related tag set vector y and the related tag set vector y (same vector).
意味表現モデル１２２の訓練における意味表現ベクトル２２５に対する制約の例は、Ｌ２（ｙ、ｚ）＜Ｌ２（ｙ´、ｚ）である。Ｌ２は、ベクトル空間におけるユークリッド距離である。なお、複数の無関連タグセットベクトルを形成して、複数の不等号式を制約に含めてもよい。
An example of a constraint on the
意味表現モデル１２２の訓練における、意味表現ベクトル２２５に対する制約の他の例を説明する。訓練プログラム１２３は、画像−タグ関連データベース１３４から、入力画像のタグセットとの類似度が異なるタグセットの画像を選択する。例えば、訓練プログラム１２３は、入力画像とタグセットが近似する画像（近似画像）として、例えば、一つのタグ以外のタグが入力画像に共通である画像を選択する。
Another example of the constraint on the
訓練プログラム１２３は、さらに、画像−タグ関連データベース１３４から、入力画像と、タグが完全に異なる画像（非類似画像）を選択する。入力画像に関連付けられているいずれのタグも、非類似画像に関連付けられていない。
The
入力画像の意味表現ベクトルをｚ１、近似画像の意味表現ベクトルをｚ２、非類似画像の意味表現ベクトルをｚ３とする。意味表現モデル１２２の訓練における意味表現ベクトル２２５に対する制約の例は、Ｌ２（ｚ１、ｚ２）＜Ｌ２（ｚ１、ｚ３）である。なお、複数の近似画像及び／又は複数の非類似画像を選択して、複数の不等号式を制約に含めてもよい。
The semantic representation vector of the input image is z1, the semantic representation vector of the approximate image is z2, and the semantic representation vector of the dissimilar image is z3. An example of a constraint on the
上述のような意味表現ベクトル２２５に対する制約により、意味表現モデル１２２が入力画像に関連すべきタグセットを表す意味表現ベクトルを生成するように適切に訓練することができる。
Due to the constraints on the
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 In addition, this invention is not limited to an above-described Example, Various modifications are included. For example, the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described. Further, a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. Further, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.
また、上記の各構成・機能・処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。 Each of the above-described configurations, functions, processing units, and the like may be realized by hardware by designing a part or all of them, for example, with an integrated circuit. Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor. Information such as programs, tables, and files for realizing each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card or an SD card.
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。 In addition, the control lines and information lines are those that are considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. In practice, it may be considered that almost all the components are connected to each other.
１００ タグ推定装置 、１１０ プロセッサ、１２０ メモリ、１２１ マッチングモデル、１２２ 意味表現モデル、１２３ 訓練プログラム、１２４ 運用プログラム、１２５ データクローラプログラム、１２６ 、１３０ 補助記憶装置、１３２ 画像−テキスト関連データベース、１３４ 画像−タグ関連データベース、１４４ クライアント装置、１４５ ネットワークインタフェース、２２１ エンコーダ、２２２ デコーダ、２２５ 意味表現ベクトル、２２６ 制約、２２７ 入力画像、２２８ 再構築画像、５４７ タグ分布テーブル 100 tag estimation device, 110 processor, 120 memory, 121 matching model, 122 semantic expression model, 123 training program, 124 operation program, 125 data crawler program, 126, 130 auxiliary storage device, 132 image-text related database, 134 image- Tag related database, 144 client device, 145 network interface, 221 encoder, 222 decoder, 225 semantic expression vector, 226 constraint, 227 input image, 228 reconstructed image, 547 tag distribution table
Claims (10)
前記計算機は、
記憶装置と、
前記記憶装置に格納されているプログラムに従って動作するプロセッサと、を含み、
前記第１モデルは、入力画像から前記入力画像に関連付けるべきタグセットを表すベクトルを出力するエンコーダと、前記エンコーダからの出力を入力されるデコーダとを含み、
前記方法は、前記プロセッサが、
前記エンコーダに第１訓練画像を入力し、
前記デコーダからの第１出力画像を取得し、
前記エンコーダからの第１出力ベクトルを取得し、
前記第１訓練画像と前記第１出力画像との間の誤差と、前記第１訓練画像に予め関連付けられている第１タグセットに基づき予め設定された、前記エンコーダからの前記第１出力ベクトルに対する制約と、に基づいて、前記第１モデルのパラメータを更新する、ことを含む方法。 Training a first model that outputs a vector representing a set of tags to be associated with the input image from an input image, comprising:
The calculator is
A storage device;
A processor that operates according to a program stored in the storage device,
The first model includes an encoder that outputs a vector representing a tag set to be associated with the input image from an input image, and a decoder that receives an output from the encoder,
In the method, the processor comprises:
Input a first training image to the encoder;
Obtaining a first output image from the decoder;
Obtaining a first output vector from the encoder;
With respect to the first output vector from the encoder preset based on an error between the first training image and the first output image and a first tag set associated in advance with the first training image. Updating parameters of the first model based on constraints.
前記制約は、前記エンコーダからの前記第１出力ベクトルと前記第１タグセットのベクトルとの誤差を小さくすることである、方法。 The method of claim 1, comprising:
The method is to reduce an error between the first output vector from the encoder and a vector of the first tag set.
前記プロセッサが、
前記第１モデルの訓練に使用する画像と前記画像それぞれに関連付けられているタグセットとを格納するデータベースにおける、タグの出現頻度分布を分析し、
前記出現頻度分布が均一な状態に近づくように、前記データベースに、互いに関連付けられている新規画像と新規タグセットとを追加する、ことをさらに含む方法。 The method of claim 1, comprising:
The processor is
Analyzing the frequency distribution of tags in a database storing images used for training of the first model and tag sets associated with each of the images;
A method further comprising adding a new image and a new tag set associated with each other to the database so that the appearance frequency distribution approaches a uniform state.
前記プロセッサが、
互いに関連付けられている前記新規画像及びテキストを取得し、
前記テキスト内の単語それぞれのベクトルと前記新規画像の特徴ベクトルとの類似度を決定し、
前記類似度に基づいて前記テキストから前記新規画像に関連付ける前記新規タグセットを選択する、ことをさらに含む方法。 The method of claim 3, comprising:
The processor is
Obtain the new image and text associated with each other;
Determining the similarity between the vector of each word in the text and the feature vector of the new image;
Selecting the new tag set to associate with the new image from the text based on the similarity.
前記プロセッサが、
前記テキスト内の単語それぞれのベクトルと前記画像の特徴ベクトルとの前記類似度を、第２モデルによって決定し、
前記第２モデルの訓練において、
前記第２モデルによって、第２訓練画像の特徴ベクトルと、前記第２訓練画像に予め関連付けられている関連タグセットのベクトルと、の第１類似度を決定し、
前記第２モデルによって、前記第２訓練画像の前記特徴ベクトルと、前記関連タグセットに含まれない単語を含む無関連タグセットのベクトルと、の第２類似度を決定し、
前記第１類似度及び前記第２類似度に基づいて、前記第２モデルを更新する、ことをさらに含む方法。 The method of claim 4, comprising:
The processor is
The similarity between the vector of each word in the text and the feature vector of the image is determined by a second model;
In training the second model,
Determining a first similarity between a feature vector of a second training image and a vector of a related tag set associated in advance with the second training image by the second model;
Determining a second similarity between the feature vector of the second training image and a vector of unrelated tag sets including words not included in the related tag set by the second model;
Updating the second model based on the first similarity and the second similarity.
前記プロセッサが、前記出現頻度分布に基づき、前記データベースにおいて出現頻度を増加させるべき第１タグを選択する、ことをさらに含み、
前記テキストは前記第１タグを含む、方法。 The method of claim 4, comprising:
The processor further comprising: selecting a first tag whose appearance frequency is to be increased in the database based on the appearance frequency distribution;
The method, wherein the text includes the first tag.
前記プロセッサが、
前記第１モデルに対して第１ユーザ画像を入力し
前記エンコーダからの前記第１ユーザ画像に対する第１ユーザ出力ベクトルを取得し、
前記第１ユーザ出力ベクトルと予め用意されているタグセットそれぞれのベクトルとの類似度を決定し、
前記類似度に基づいて、前記第１ユーザ画像に関連づけるタグセットを決定する、ことをさらに含む、方法。 The method of claim 1, comprising:
The processor is
A first user image is input to the first model to obtain a first user output vector for the first user image from the encoder;
Determining a similarity between the first user output vector and a vector of each tag set prepared in advance;
Determining a tag set associated with the first user image based on the similarity.
前記予め用意されているタグセットは、それぞれ、一つのタグで構成されている、方法。 The method of claim 7, comprising:
Each of the tag sets prepared in advance is composed of one tag.
前記プロセッサが、
第１ユーザタグセットを取得し、
予め用意されている画像を順次前記第１モデルに入力して、前記エンコーダから候補出力ベクトルを取得し、
前記候補出力ベクトルそれぞれと前記第１ユーザタグセットのベクトルとの類似度を決定し、
前記類似度に基づいて、前記第１ユーザタグセットに関連する画像を決定する、ことをさらに含む、方法。 The method of claim 1, comprising:
The processor is
Get the first user tag set,
Sequentially input images prepared in advance into the first model to obtain candidate output vectors from the encoder;
Determining a similarity between each of the candidate output vectors and the vector of the first user tag set;
And further comprising determining an image associated with the first user tag set based on the similarity.
記憶装置と、
前記記憶装置に格納されているプログラムに従って動作するプロセッサと、を含み、
前記プロセッサは、
入力画像から前記入力画像に関連付けるべきタグセットを表すベクトルを出力するエンコーダと、前記エンコーダからの出力を入力されるデコーダとを含む、第１モデルを訓練し、
前記第１モデルの訓練において、
前記エンコーダに第１訓練画像を入力し、
前記デコーダからの第１出力画像を取得し、
前記エンコーダからの第１出力ベクトルを取得し、
前記第１訓練画像と前記第１出力画像との間の誤差と、前記第１訓練画像に予め関連付けられている第１タグセットに基づき予め設定された、前記エンコーダからの前記第１出力ベクトルに対する制約と、に基づいて、前記第１モデルのパラメータを更新する、計算機システム。 A computer system,
A storage device;
A processor that operates according to a program stored in the storage device,
The processor is
Training a first model, comprising: an encoder that outputs a vector representing a tag set to be associated with the input image from an input image; and a decoder that receives the output from the encoder;
In training the first model,
Input a first training image to the encoder;
Obtaining a first output image from the decoder;
Obtaining a first output vector from the encoder;
With respect to the first output vector from the encoder preset based on an error between the first training image and the first output image and a first tag set associated in advance with the first training image. A computer system that updates parameters of the first model based on constraints.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018025847A JP6877374B2 (en) | 2018-02-16 | 2018-02-16 | How to train a model that outputs a vector that represents the tag set that corresponds to the image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018025847A JP6877374B2 (en) | 2018-02-16 | 2018-02-16 | How to train a model that outputs a vector that represents the tag set that corresponds to the image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019144639A true JP2019144639A (en) | 2019-08-29 |
| JP6877374B2 JP6877374B2 (en) | 2021-05-26 |
Family
ID=67771220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018025847A Active JP6877374B2 (en) | 2018-02-16 | 2018-02-16 | How to train a model that outputs a vector that represents the tag set that corresponds to the image |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6877374B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766072A (en) * | 2019-10-22 | 2020-02-07 | 探智立方(北京)科技有限公司 | Automatic generation method of computational graph evolution AI model based on structural similarity |
| CN111582366A (en) * | 2020-05-07 | 2020-08-25 | 清华大学 | Image processing method, device and equipment |
| CN112132628A (en) * | 2020-09-28 | 2020-12-25 | 科大讯飞股份有限公司 | User intention prediction method, information recommendation method and related equipment |
| CN112836088A (en) * | 2021-02-24 | 2021-05-25 | 腾讯科技（深圳）有限公司 | Method, apparatus, and medium for generating tag corresponding to video |
| CN114691665A (en) * | 2022-04-13 | 2022-07-01 | 辽源市讯展网络科技有限公司 | Big data analysis-based acquisition noise point mining method and big data acquisition system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009064148A (en) * | 2007-09-05 | 2009-03-26 | Seiko Epson Corp | Information processor, and method and program for controlling information processor |
| JP2010079871A (en) * | 2008-06-09 | 2010-04-08 | Yahoo Japan Corp | Device for retrieving vector data |
| US8983941B1 (en) * | 2011-03-28 | 2015-03-17 | Google Inc. | Visual content retrieval |
| US20160117574A1 (en) * | 2014-10-23 | 2016-04-28 | Microsoft Corporation | Tagging Personal Photos with Deep Networks |
| JP2017201535A (en) * | 2017-06-07 | 2017-11-09 | ヤフー株式会社 | Determination device, learning device, determination method, and determination program |
-
2018
- 2018-02-16 JP JP2018025847A patent/JP6877374B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009064148A (en) * | 2007-09-05 | 2009-03-26 | Seiko Epson Corp | Information processor, and method and program for controlling information processor |
| JP2010079871A (en) * | 2008-06-09 | 2010-04-08 | Yahoo Japan Corp | Device for retrieving vector data |
| US8983941B1 (en) * | 2011-03-28 | 2015-03-17 | Google Inc. | Visual content retrieval |
| US20160117574A1 (en) * | 2014-10-23 | 2016-04-28 | Microsoft Corporation | Tagging Personal Photos with Deep Networks |
| JP2017201535A (en) * | 2017-06-07 | 2017-11-09 | ヤフー株式会社 | Determination device, learning device, determination method, and determination program |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766072A (en) * | 2019-10-22 | 2020-02-07 | 探智立方(北京)科技有限公司 | Automatic generation method of computational graph evolution AI model based on structural similarity |
| CN111582366A (en) * | 2020-05-07 | 2020-08-25 | 清华大学 | Image processing method, device and equipment |
| CN111582366B (en) * | 2020-05-07 | 2023-10-31 | 清华大学 | Image processing method, device and equipment |
| CN112132628A (en) * | 2020-09-28 | 2020-12-25 | 科大讯飞股份有限公司 | User intention prediction method, information recommendation method and related equipment |
| CN112836088A (en) * | 2021-02-24 | 2021-05-25 | 腾讯科技（深圳）有限公司 | Method, apparatus, and medium for generating tag corresponding to video |
| CN112836088B (en) * | 2021-02-24 | 2023-07-18 | 腾讯科技（深圳）有限公司 | Method, apparatus, and medium for generating tags corresponding to video |
| CN114691665A (en) * | 2022-04-13 | 2022-07-01 | 辽源市讯展网络科技有限公司 | Big data analysis-based acquisition noise point mining method and big data acquisition system |
| CN114691665B (en) * | 2022-04-13 | 2023-11-14 | 众坤(北京)航空设备有限公司 | Big data analysis-based acquisition noise point mining method and big data acquisition system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6877374B2 (en) | 2021-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6877374B2 (en) | How to train a model that outputs a vector that represents the tag set that corresponds to the image | |
| JP6657124B2 (en) | Session context modeling for conversation understanding system | |
| US20180218080A1 (en) | Conversational agent for search | |
| US9606934B2 (en) | Matrix ordering for cache efficiency in performing large sparse matrix operations | |
| US11694109B2 (en) | Data processing apparatus for accessing shared memory in processing structured data for modifying a parameter vector data structure | |
| US8983888B2 (en) | Efficient modeling system for user recommendation using matrix factorization | |
| US9501503B2 (en) | Inferring entity attribute values | |
| US11443015B2 (en) | Generating prediction models in accordance with any specific data sets | |
| JP5440394B2 (en) | Evaluation prediction apparatus, evaluation prediction method, and program | |
| KR20180011221A (en) | Select representative video frames for videos | |
| JP2012058972A (en) | Evaluation prediction device, evaluation prediction method, and program | |
| CN109241243B (en) | Candidate document sorting method and device | |
| CN106447419B (en) | Visitor identification based on feature selection | |
| US10997373B2 (en) | Document-based response generation system | |
| US9754015B2 (en) | Feature rich view of an entity subgraph | |
| JP2021500692A (en) | Genealogy entity resolution system and method | |
| US10762902B2 (en) | Method and apparatus for synthesizing adaptive data visualizations | |
| KR20200046189A (en) | Method and system for collaborative filtering based on generative adversarial networks | |
| JP2018151578A (en) | Determination device, determination method, and determination program | |
| CN113557505A (en) | System and method for interoperable communication between entities having different architectures | |
| US11308146B2 (en) | Content fragments aligned to content criteria | |
| JP2007323315A (en) | Cooperative filtering method, cooperative filtering device, cooperative filtering program and recording medium with the same program recorded thereon | |
| CN116542720A (en) | Time enhancement information sequence recommendation method and system based on graph convolution network | |
| Hao et al. | Causal discovery on high dimensional data | |
| JP5408658B2 (en) | Information consistency determination device, method and program thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200226 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210427 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6877374 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |