JP7055530B1

JP7055530B1 - 人工知能により生成される画像のベクター画像化

Info

Publication number: JP7055530B1
Application number: JP2022029232A
Authority: JP
Inventors: 望窪田
Original assignee: 望窪田
Priority date: 2022-02-28
Filing date: 2022-02-28
Publication date: 2022-04-18
Anticipated expiration: 2042-02-28
Also published as: US20230274469A1; JP2023125242A; CN116664708A; JP2023126068A

Abstract

【課題】人工知能等により生成される画像であっても、画質の劣化を防ぎつつサイズ変更を可能にする。
【解決手段】プロセッサを有する情報処理装置により実行される情報処理方法であって、プロセッサは、生成器と識別器とを含む敵対的生成ネットワークを用いてラスター形式の第１画像を生成すること、第１画像をベクター形式の第２画像に変換すること、第２画像がラスター形式に変換された第３画像、又は第２画像を識別器に入力し、識別結果を取得すること、識別結果が真であれば、又は識別結果が識別器による第１画像の識別結果と同じであれば、第２画像を記憶部に記憶すること、を実行する。
【選択図】図６

Description

本発明は、人工知能により生成される画像をベクター画像化する情報処理方法、情報処理装置及びプログラムに関する。

従来、敵対的生成ネットワーク（ＧＡＮｓ：Generative Adversarial Networks）を利用して高品質の画像が生成されることが知られている（例えば特許文献１参照）。

特開２０２２－３４２３号公報

人口知能（ＡＩ：Artificial Intelligence）を利用して画像が生成される場合、敵対的生成ネットワーク（ＧＡＮ）を用いて画像が生成されるケースが多い。ＧＡＮｓにより生成される画像は高品質ではあるが、ラスター形式の画像であることがほとんどであるため、画像サイズの変更には適していない。例えば、高解像度のラスター画像であっても、大幅に拡大をすると、どうしても曲線などの部分にぼやけが生じ、画質が劣化してしまう。

そこで、本発明は、人工知能（ＡＩ）等により生成される画像であっても、画質の劣化を防ぎつつサイズ変更を可能にする情報処理方法、情報処理装置、及びプログラムを提供する。

本発明の一態様に係る情報処理方法は、プロセッサを有する情報処理装置により実行される情報処理方法であって、前記プロセッサは、生成器と識別器とを含む敵対的生成ネットワークを用いてラスター形式の第１画像を生成すること、前記第１画像をベクター形式の第２画像に変換すること、前記第２画像がラスター形式に変換された第３画像、又は前記第２画像を前記識別器に入力し、識別結果を取得すること、前記識別結果が真であれば、又は前記識別結果が前記識別器による前記第１画像の識別結果と同じであれば、前記第２画像を記憶部に記憶すること、を実行する。

本発明によれば、人工知能（ＡＩ）等により生成される画像であっても、画質の劣化を防ぎつつサイズ変更を可能にする。

実施形態に係るシステム構成の一例を示す図である。実施形態に係る情報処理装置の物理的構成の一例を示す図である。実施形態に係る情報処理装置の処理ブロックの一例を示す図である。実施例１に係る保存画像の一例を示す図である。実施例１に係る画像変換アルゴリズムに対応付けられるノイズの一例を示す図である。実施例１に係る情報処理装置の処理例を示すフローチャートである。実施例２に係る情報処理装置の処理ブロックの一例を示す図である。実施例２に係る情報処理装置の処理例を示すフローチャートである。

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

＜システム構成＞
図１は、実施形態に係るシステム構成の一例を示す図である。図１に示す例では、サーバ１０と、各情報処理装置２０Ａ、２０Ｂ、２０Ｃ、２０Ｄとが、ネットワークを介してデータ送受信可能なように接続される。情報処理装置を個別に区別しない場合は情報処理装置２０とも表記する。

サーバ１０は、データを収集、分析可能な情報処理装置であり、１つ又は複数の情報処理装置から構成されてもよい。情報処理装置２０は、スマートフォン、パーソナルコンピュータ、タブレット端末、サーバ、コネクティッドカーなど、機械学習を実行可能な情報処理装置である。なお、情報処理装置２０は、脳波をセンシングする侵襲型又は非侵襲型の電極に直接的又は間接的に接続されており、脳波データを解析、送受信可能な装置でもよい。

図１に示すシステムでは、サーバ１０は、例えばＧＡＮｓにより画像を生成し、生成した画像をラスター形式（フォーマット）に変換してベクター形式の画像を記憶する。このとき、単にＧＡＮｓにより生成されたラスター形式の画像をベクター形式に変換するのではなく、ラスター形式の画像をベクター形式の画像に変換する際の変換誤差が考慮される。すなわち、ラスター形式からベクター形式への変換誤差があることを考慮したうえで、ベクター形式の画像がディスプレイ等に表示される際に、元のラスター形式の画像の表示とほぼ同一の表示となるようなベクター形式の画像が保存される。

サーバ１０は、各情報処理装置２０からの所定画像のリクエストに応じて、ＧＡＮｓを用いて所定画像を生成し、生成された所定画像に基づいて、上述したベクター形式の所定画像を生成し、このベクター形式の所定画像を、リクエストした情報処理装置２０に送信したりしてもよい。

各情報処理装置２０は、条件等を指定して所定画像を生成するリクエストをサーバ１０に送信する。また、各情報処理装置２０は、サーバ１０からベクター形式の所定画像を受信し、仮想空間上で所定画像を表示してもよい。

これにより、ＡＩにより生成されたラスター形式の所定画像は、変換誤差を考慮して、ラスター画像と同一視可能なベクター形式に変換されているため、この所定画像に対してサイズの変更がなされても、画質の劣化を防ぐことができる。例えば、ＡＩにより生成された画像が仮想空間上（例えばメタバース上）で販売される場合、サイズが変更されても画質劣化がない画像の販売が可能になる。

＜ハードウェア構成＞
図２は、実施形態に係る情報処理装置１０の物理的構成の一例を示す図である。情報処理装置１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。

本実施形態では、情報処理装置１０が一台のコンピュータで構成される場合について説明するが、情報処理装置１０は、複数のコンピュータ又は複数の演算部が組み合わされて実現されてもよい。また、図１で示す構成は一例であり、情報処理装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

ＣＰＵ１０ａは、プロセッサの一例であり、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、例えば、所定の学習モデルを用いて学習を行うプログラム（学習プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。

ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、各学習モデル、各学習モデルのパラメータに関するデータ、学習に使用するデータなどを記憶してもよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば学習プログラムや、書き換えが行われないデータを記憶してよい。

通信部１０ｄは、情報処理装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークに接続されてよい。

入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。

表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆが演算結果を表示することは、ＸＡＩ（eXplainable AI：説明可能なＡＩ）に貢献し得る。表示部１０ｆは、例えば、学習結果や、学習に関連するデータを表示してもよい。

学習プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な非一時的な記録媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。情報処理装置１０では、１又は複数のＣＰＵ１０ａがプログラムを実行することにより、後述する様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、情報処理装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。また、情報処理装置１０は、ＧＰＵ（Graphical Processing Unit）やＡＳＩＣ（Application Specific Integrated Circuit）を備えていてもよい。

なお、情報処理装置２０の構成は、図２に示す情報処理装置１０の構成と同様であるため、その説明を省略する。また、情報処理装置１０と情報処理装置２０とは、データ処理を行う基本的な構成であるＣＰＵ１０ａやＲＡＭ１０ｂ等を有していればよく、入力部１０ｅや表示部１０ｆは設けられなくてもよい。また、入力部１０ｅや表示部１０ｆは、外部からインターフェースを用いて接続されてもよい。

＜処理構成＞
図３は、実施形態に係る情報処理装置（サーバ装置）１０の処理ブロックの一例を示す図である。情報処理装置１０は、取得部１０２、画像生成部１０４、データベース（ＤＢ）１１０、第１画像変換部１１２、第２画像変換部１１４、判定部１１６、記憶部１１８、出力部１２０を備える。情報処理装置２０は、量子コンピュータなどで構成されてもよい。

取得部１０２及び出力部１２０は、例えば図２に示す通信部１０ｄにより実現されうる。画像生成部１０４、第１画像変換部１１２、第２画像変換部１１４、及び判定部１１６は、例えば図２に示すＣＰＵ１０ａにより実現されうる。ＤＢ１１０は、例えば図２に示すＲＯＭ１０ｃ及び／又はＲＡＭ１０ｂにより実現されうる。記憶部１１８は、例えば図２に示すＲＡＭ１０ｂ及び／又はＲＯＭ１０ｃにより実現されうる。

取得部１０２は、画像生成リクエストを取得する。画像生成リクエストは、各情報処理装置２０から送信されたリクエストでもよいし、情報処理装置１０を管理するユーザの操作に応じて取得されたリクエストでもよい。例えば、画像生成リクエストは、画像データと画像生成の条件又は画像生成のためのテキストなどであり、ＧＡＮｓにより画像を生成するために入力されるデータでもよい。取得部１０２は、画像生成リクエストの取得に応じて、画像生成部１０４に画像を生成するよう命令する。

画像生成部１０４は、例えば、敵対的生成ネットワーク（ＧＡＮｓ）を実行することにより所定の画像を生成する。具体例として、画像生成部１０４は、生成器１０６と識別器１０８とを含む敵対的生成ネットワーク（ＧＡＮｓ）を用いてラスター形式の第１画像を生成する。例えば、ＧＡＮｓは、以下の手法のいずれかを用いることが可能である。
（１）ｐｉｘ２ｐｉｘ
条件画像と画像のペアから画像同士の関係を学習することで、１枚の画像から学習したペアの画像関係を補完した画像が生成される。
（２）ＣｙｃｌｅＧＡＮ
２組の画像を使い、一方の画像から他方の画像を生成し、他方の画像から一方の画像に戻した時に（サイクルした時に）精度が高くなるように学習させる。
（３）ＣＧＡＮ（(Conditional GAN）
条件付きＧＡＮと呼ばれ、生成器と識別器に画像データに加えて追加の情報を与えることで、条件付けができるように訓練を行う。
（４）ＤＣＧＡＮ（Deep Convolutional GAN）
ＤＣＧＡＮは広い意味でＣＧＡＮの一種であり、オリジナルＧＡＮとの大きな違いは、生成器（generator）と識別器（Discriminator）それぞれのネットワークに全結合層ではなく、畳み込み層と転置畳み込み層を使用し、画像が生成される。
（５）ＰＧＧＡＮ（Progressive Growing GAN）
ＰＧＧＡＮとＤＣＧＡＮとは異なり、段階的に学習データの解像度を上げて行き、これに合わせて生成器と識別器のネットワークもその対象構造を保ったまま層を追加して解像度を上げていくことで、画像が生成される。
（６）ＢｉｇＧＡＮ
生成器に直行正規化を用い、最大で５１２ｘ５１２ピクセルの高解像度画像を条件付きで生成するモデルを用いて、画像が生成される。
（７）ＳｔｙｌｅＧＡＮ
低解像度の学習から初めて、モデルに徐々に高い解像度に対応した層を加えながら学習を進めるｐｒｏｇｒｅｓｓｉｖｅｇｒｏｗｉｎｇを用いることで、画像が生成される。
（８）ＳｔａｃｋＧＡＮ
ＧＡＮを多段構成にすることによって、最初のステージのＧＡＮで大枠をとらえた低解像度な画像が生成され、以降のステージのＧＡＮでより高解像度な画像が生成される。
（９）ＡｔｔｎＧＡＮ
画像のキャプションのようなテキストによる描写の個々の単語に注意を払うことにより、画像のさまざまなサブ領域で詳細を合成することが、画像が生成される。
上述した手法はＧＡＮｓの一例であり、その他のＧＡＮｓの手法が用いられてもよい。

画像生成部１０４は、所定のＧＡＮｓを実行することで、画像生成リクエストに応じた画像を生成する。例えば、画像生成部１０４は、ノイズを発生させて、ノイズを生成器１０６に入力する。生成器１０６は、入力されたノイズ、又は画像生成リクエストに含まれるデータを用いて画像を生成する。ノイズは乱数でもよい。例えば、生成器１０６は、上述したＧＡＮｓのいずれかの所定の構造を有するニューラルネットワークが用いられてもよい。

識別器１０８は、生成器１０６により生成されたラスター形式の第１画像、及び／又はＤＢ１１０に記憶されている正解画像を取得する。識別器１０８は、入力画像が生成器１０６により生成された画像であるか、正解画像であるかを判別する。例えば、識別器１０８は、上述したＧＡＮｓのうち、生成器１０６に対応する所定の構造を有するニューラルネットワークが用いられてもよい。なお、正解画像は、必ずしもＤＢ１１０に記憶されたものである必要はなく、画像生成リクエストにより指定された条件を満たす画像であってもよい。

画像生成部１０４は、識別器１０８による真贋の判別結果により、生成器１０６と識別器１０８とのパラメータを更新する。例えば、画像生成部１０４は、識別器１０８が入力画像の真贋を正しく判別するように、誤差逆伝搬法（バックプロパゲーション）を用いて識別器１０８のパラメータを更新する。また、画像生成部１０４は、識別器１０８が、生成器１０６によって生成された画像を正解画像であると判別するように、誤差逆伝搬法を用いて生成器１０６のパラメータを更新する。画像生成部１０４は、最終的に生成された画像を第１画像変換部１１２に出力する。

第１画像変換部１１２は、画像生成部１０４により生成された最終的な画像（第１画像）を取得し、ベクター形式の画像（第２画像）に変換する。第１画像変換部１１２は、ラスター形式からベクター形式への変換手法について、公知のいずれかの手法を用いればよい。例えば、ラスター形式からベクター形式への変換ツールは、Ｖｅｃｔｏｒｉｚｅｒ．ｉｏ、ＶｅｃｔｏｒＭａｇｉｃ、Ａｕｔｏｔｒａｃｅｒ．ｏｒｇ、Ｃｏｎｖｅｒｔｉｏ、ｐｎｇｔｏｓｖｇ．ｃｏｍなどがある。第１画像変換部１１２は、ベクター形式の第２画像を第２画像変換部１１４又は識別器１０８に出力する。

第２画像変換部１１４は、第１画像変換部１１２により生成されたベクター形式の第２画像をラスター形式の画像（第３画像）に変換する。例えば、第２画像変換部１１４は、ベクター形式の画像をディスプレイに表示する処理を実行し、画像が表示される状態からラスター形式に変換してもよい。また、ＳＶＧ（Scalable Vector Graphics）形式の第２画像であれば、ブラウザによりディスプレイに表示可能であり、ディスプレイに表示される形態の画像がラスター形式の第３画像に変換されてもよい。第２画像変換部１１４は、ベクター形式の変換手法について、公知のいずれかの手法を用いればよい。例えば、ベクター形式からラスター形式への変換ツールは、ｓｖｇｔｏｐｎｇ．ｃｏｍ、ＡｄｏｂｅＰｈｏｔｏｓｈｏｐＥｘｐｒｅｓｓなどがある。第２画像変換部１１４は、ラスター形式の第３画像を識別器１０８に出力する。

識別器１０８は、第１画像変換部１１２により出力されたベクター形式の第２画像、又は、第２画像変換部１１４により出力されたラスター形式の第３画像を入力し、識別結果を取得する。

識別器１０８に第３画像が入力される場合、識別器１０８は、モデルに寄らないメタ学習（Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks：https://arxiv.org/abs/1703.03400）を実行してもよい。識別器１０８は、データ形式が異なるデータでも分類学習を行うことが可能なメタ学習を行うことで、ラスター形式の画像と、ベクター形式の画像とを同じ学習モデルを用いて真贋の分類を行うことが可能になる。

判定部１１６は、識別器１０８により出力された第２画像又は第３画像の識別結果と、第２画像の元となる第１画像の識別結果とを取得し、両者の識別結果が同じであるか否かを判定する。例えば、第１画像の識別結果は、正解画像と同じであり、すなわち真（Ｔｒｕｅ）と識別されていることが想定される。よって、判定部１１６は、識別器１０８により出力された第２画像又は第３画像の識別結果が真（正解画像と同じ）であるか否かを判定してもよい。判定部１１６は、判定結果が肯定である場合、ベクター形式の第２画像を記憶するよう記憶部１１８に指示する。

記憶部１１８は、判定部１１６により肯定判定された第２画像を記憶する。肯定判定とは、識別器１０８により出力された第２画像又は第３画像の識別結果が真（正解画像と同じ）であると判定されること、又は、識別器１０８により出力された第２画像又は第３画像の識別結果と、第１画像の識別結果とが同じであると判定されることである。

なお、識別器１０８は、真贋判定する際に、ＤＢ１１０に登録された正解画像や、画像生成リクエストにより特定される所定画像を真として識別するが、第２画像又は第３画像が入力される場合は、第１画像を真として真贋を識別してもよい。

出力部１２０は、画像生成リクエストを送信した情報処理装置２０に対し、記憶部１１８に記憶されたベクター形式の第２画像を出力してもよい。また、出力部１２０は、第２画像に対する取得リクエストを送信した情報処理装置２０に出力してもよい。

以上の処理により、ＡＩにより生成されたラスター形式の所定画像は、変換誤差を考慮してベクター形式に変換されているため、この所定画像に対してサイズが変更されても、画質の劣化を防ぐことができる。例えば、ＡＩにより生成された画像が仮想空間上（例えばメタバース上）で販売される場合、サイズ変更しても画質劣化がない画像の販売が可能になる。

ここで、ラスター画像からベクター画像への変換誤差により、真贋判定において偽（Ｆａｌｓｅ）と判断された場合、又は変換前後において識別器１０８の識別結果が異なる結果となる場合に、表示される際の画像を考慮したベクター形式の画像が生成されるとよい。このとき、ベクター形式の画像の更新について、ラスター形式の画像を用いてベクター形式の画像を更新する実施例１と、ベクター形式の画像を直接更新する実施例２とがあり、以下に説明する。

［実施例１］
実施例１では、上述したとおり、ラスター形式の画像を用いてベクター形式の画像を更新するが、画像生成部１０４のＧＡＮｓを利用して新たな第１画像を生成する（更新する）。図３に示すブロック構成は、実施例１に係るブロック構成に対応する。

実施例１における判定部１１６は、第２画像又は第３画像の識別結果が偽（Ｆａｌｓｅ）となる場合、又は、第２画像又は第３画像の識別結果と第１画像が前記識別器に入力されたときの識別結果とが異なる場合、生成器１０６にノイズを与えて新たな画像を生成するよう指示する。

生成器１０６は、ノイズを用いて画像を生成し、識別器１０８は、生成器１０６に生成された画像に対して真贋の識別を行う。ここで真と判断された画像（更新された第１画像）が第１画像変換部１１２に出力され、更新された第１画像は第２画像に変換される。そして、第２画像、又は、第２画像が変換された第３画像が識別器１０８に入力され、この識別結果が判定部１１６に出力される。判定部１１６において、識別器１０８の結果が真と判定されるまで、画像生成、真贋識別、変換、判定の処理が繰り返される。最終的に、判定部１１６により肯定判定された場合のベクター形式の第２画像が記憶部１１８に記憶される。

これにより、変換誤差を考慮して、表示された場合に識別器１０８に真と判定されるようなベクター形式の画像を保存することが可能になる。これにより、拡大縮小時に画質が劣化せず、画像生成ＡＩにより生成された画像の画質を保つことが可能になる。

また、判定部１１６は、生成器１０６に画像生成の指示を行うとき、ラスター形式の第１画像からベクター形式の第２画像への変換アルゴリズムに応じてノイズを変更することを含んでもよい。例えば、情報処理装置１０は、ラスター形式からベクター形式への変換アルゴリズムとノイズとの関係について学習モデルを用いて学習し、どのノイズを与えれば、早く収束するかを把握しておくとよい。このとき、判定部１１６は、変換アルゴリズムごとにノイズを対応づけた情報を保持し、この情報を用いて、第１画像変換部１１２が利用した変換アリゴリズムに対応するノイズを選択して生成器１０６に出力するようにしてもよい。

これにより、判定部１１６により肯定判定されるまでの収束速度を早くし、情報処理装置１０の処理効率を向上させることが可能になる。

＜データ例＞
図４は、実施例１に係る保存画像の一例を示す図である。図４に示す例では、記憶部１１８に記憶された画像の例を示す。例えば、ベクター形式の画像には画像ＩＤが付与され、画像ＩＤ「０００１」には、「Ｉｍｇ０１」としてベクター形式のデータが対応付けられる。ベクター形式のデータは、例えば、コントロールポイントである複数の点の数値、この点から数式によって導き出される曲線などである。

図５は、実施例１に係る画像変換アルゴリズムに対応付けられるノイズの一例を示す図である。図５に示す情報は、例えば判定部１１６により保持される。例えば、ラスター形式の「ＰＮＧ」からベクター形式の「ＳＶＧ」に変換する変換アルゴリズムの場合、ノイズ「Ｎ０１」が対応付けられている。図５に示す変換アルゴリズムとノイズとの関係は、学習モデルを用いて学習されててもよい。

＜処理例＞
図６は、実施例１に係る情報処理装置１０の処理例を示すフローチャートである。ステップＳ１０２において、画像生成部１０４は、生成器１０６と識別器１０８とを含む敵対的生成ネットワークを用いてラスター形式の第１画像を生成する。

ステップＳ１０４において、第１画像変換部１１２は、画像生成部１０４により生成された第１画像をベクター形式の第２画像に変換する。このとき、画像生成部１０４は、最終的に生成された（識別器１０８により真と判断された）第１画像を第１画像変換部１１２に出力するとよい。

ステップＳ１０６において、第１画像変換部１１２は、変換した第２画像を識別器１０８に入力し、又は第２画像変換部１１４は、第２画像をラスター形式の第３画像に変換し、変換した第３画像を識別器１０８に入力する。識別器１０８は、第２画像又は第３画像に対する真贋の識別を行い、識別結果を取得する。

ステップＳ１０８において、判定部１１６は、第２画像又は第３画像の識別結果が真であるか、又はこの識別結果が識別器１０８による第２画像の元となる第１画像の識別結果と同じであるかを判定する。ステップＳ１０８の判定結果が肯定であれば、処理はステップＳ１１０に進み、ステップＳ１０８の判定結果が否定であれば、ステップＳ１０２に戻り、第１画像が画像生成部１０４により更新される。

ステップＳ１１０において、記憶部１１８は、判定部１１６の結果が肯定である場合、肯定判定されたときのベクター形式の第２画像を記憶する。

以上の処理により、敵対的生成ネットワーク（ＧＡＮｓ）を用いて真と判断された第１画像に対して、ベクター形式への変換誤差を考慮して、同じＧＡＮｓを用いて画像を更新することが可能になり、ベクター形式の画像として保存することが可能になる。最終的に判定部１１６により肯定されたベクター形式の第２画像は、この第２画像が表示されるときに、識別器１０８で真と判断されたラスター形式の画像と品質が変わらず、サイズ変換時にも画質が劣化しない。

［実施例２］
実施例２では、上述したとおり、ベクター形式の画像を直接更新するが、例えば、ベクター形式の画像を生成できるＤｅｅｐＳＶＧ（https://proceedings.neurips.cc/paper/2020/file/bcf9d6bd14a2095866ce8c950b702341-Paper.pdf）の生成モデルを用いてベクター形式の画像を更新する。なお、ベクター形式の画像を生成するモデルであればいずれのモデルが利用されてもよい。

図７は、実施例２に係る情報処理装置１０の処理ブロックの一例を示す図である。図３に示す処理ブロックと同様の処理を行うものは同じ符号を付す。図７に示す第２画像生成部２０２は、ベクター形式の画像を生成可能な生成モデル（例えばＤｅｅｐＳＶＧ）を用いてベクター形式の画像を生成する第２生成器２０４と識別器２０６とを含む第２敵対的生成ネットワークを構成する。ここで、ラスター形式の画像を生成する敵対的生成ネットワークは、第１画像生成部１０４と表記する。

判定部２０８は、第１画像変換部１１２により変換された第２画像の識別器２０６による識別結果が真でない場合、第２生成器２０４に対し、ベクター形式の画像を生成するよう指示する。

第２生成器２０４は、生成モデルを用いて生成したベクター画像を識別器２０６に入力する。ここで、第２画像生成部２０２は、第２生成器２０４と識別器２０６とを有する敵対的生成ネットワークを用いて、高品質なベクター画像を生成する。ここで、識別器２０６は、ベクター形式の画像を用いて真贋判断を行うため、上述したようなメタ学習を実行する学習モデルを有する。

判定部２０８は、第２画像生成部２０２の識別器２０６による識別結果を取得し、識別結果が偽であれば、第２生成器２０４に画像生成を指示し、識別結果が真であれば、ベクター形式の第２画像を記憶部１１８に記憶するために出力する。

以上の処理により、ベクター形式の画像を生成する第２生成器２０４と、ベクター形式の画像で真贋の識別を行う識別器２０６とを用いて新たな敵対的生成ネットワークを構成することにより、ベクター形式の画像のまま処理を実行することが可能になる。これにより、ラスター形式からベクター形式の画像への変換処理を削減することができる。情報処理装置１０の処理負荷を減らすことが可能になる。

＜処理例＞
図８は、実施例２に係る情報処理装置１０の処理例を示すフローチャートである。実施例２に係る処理について、図６に示すステップＳ１０２からステップＳ１０６までは同様の処理であるため処理を省略する。図８では、ステップＳ１０８以降の処理を記載する。

ステップＳ１０８において、判定部２０８は、第２画像又は第３画像の識別結果が真であるか、又はこの識別結果が識別器２０６による第２画像の元となる第１画像の識別結果と同じであるかを判定する。ステップＳ１０８の判定結果が肯定であれば、処理はステップＳ２０６に進み、ステップＳ１０８の判定結果が否定であれば、ステップＳ２０２に進む。

ステップＳ２０２において、第２生成器２０４は、ベクター形式の画像を生成する生成モデルを用いて、新たな第２画像を生成する（更新する）。

ステップＳ２０４において、判定部２０８は、更新された第２画像の識別結果が真であるかを判定する。ステップＳ２０４の判定結果が肯定であれば、処理はステップＳ２０６に進み、ステップＳ２０４の判定結果が否定であれば、ステップＳ２０２に戻る。

ステップＳ２０６において、記憶部１１８は、判定部２０８の結果が肯定である場合、肯定判定されたときのベクター形式の第２画像を記憶する。

以上の処理により、ベクター形式の画像を生成する第２生成器２０４と、ベクター形式の画像で真贋の識別を行う識別器２０６とを用いて新たな敵対的生成ネットワークを構成することにより、ベクター形式の画像のまま処理を実行することが可能になる。これにより、ラスター形式からベクター形式の画像への変換処理を削減することができる。情報処理装置１０の処理負荷を減らすことが可能になる。実施例２において、第１画生成部１０４以外で生成されたラスター形式の画像を真の画像として、第１画像変換部１１２と第２画像生成部２０２と判定部２０８とを用いて、上述されたベクター形式の画像を生成してもよい。

また、上述したとおり、実施例１又は実施例２の記憶部１１８に記憶された第２画像は、仮想空間上で利用されてもよい。ラスター形式の画像はラスター画像、ベクター形式の画像はベクター画像と称されてもよい。

以上、実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

１０、２０…情報処理装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１０２…取得部、１０４…画像生成部（第１画像生成部）、１０６…生成器（第１生成器）、１０８…識別器、１１０…ＤＢ、１１２…第１画像変換部、１１４…第２画像変換部、１１６…判定部、１１８…記憶部、１２０…出力部、２０２…第２画像生成部、２０４…第２生成器、２０６…識別器、２０８…判定部

Claims

プロセッサを有する情報処理装置により実行される情報処理方法であって、
前記プロセッサは、
生成器と識別器とを含む敵対的生成ネットワークを用いてラスター形式の第１画像を生成すること、
前記第１画像をベクター形式の第２画像に変換すること、
前記第２画像がラスター形式に変換された第３画像、又は前記第２画像を前記識別器に入力し、識別結果を取得すること、
前記識別結果が真であれば、又は前記識別結果が前記識別器による前記第１画像の識別結果と同じであれば、前記第２画像を記憶部に記憶すること、
を実行する情報処理方法。
前記識別器に前記第３画像が入力される場合、前記識別器は、モデルに寄らないメタ学習（Model-Agnostic Meta-Learning）を実行することを含む、請求項１に記載の情報処理方法。
前記プロセッサは、
前記識別結果が偽である場合、又は前記第１画像が前記識別器に入力されたときの識別結果と異なる場合、前記生成器にノイズを与えて新たな画像を生成するよう指示すること、
をさらに実行する、請求項１又は２に記載の情報処理方法。
前記指示することは、
前記第１画像から前記第２画像への変換アルゴリズムに応じて、前記ノイズを変更することを含む、請求項３に記載の情報処理方法。
前記プロセッサは、
前記識別結果が偽である場合、ベクター形式の画像を生成する他の生成器に新たな画像を生成するよう指示すること、
前記他の生成器は、生成したベクター形式の画像を前記識別器に入力すること、
をさらに実行する、請求項２に記載の情報処理方法。
前記記憶部に記憶された前記第２画像は、仮想空間上で利用される、請求項１又は２に記載の情報処理方法。
プロセッサを有する情報処理装置であって、
前記プロセッサは、
生成器と識別器とを含む敵対的生成ネットワークを用いてラスター形式の第１画像を生成すること、
前記第１画像をベクター形式の第２画像に変換すること、
前記第２画像がラスター形式に変換された第３画像、又は前記第２画像を前記識別器に入力し、識別結果を取得すること、
前記識別結果が真であれば、又は前記識別結果が前記識別器による前記第１画像の識別結果と同じであれば、前記第２画像を記憶部に記憶すること、
を実行する情報処理装置。
情報処理装置に含まれるプロセッサに、
生成器と識別器とを含む敵対的生成ネットワークを用いてラスター形式の第１画像を生成すること、
前記第１画像をベクター形式の第２画像に変換すること、
前記第２画像がラスター形式に変換された第３画像、又は前記第２画像を前記識別器に入力し、識別結果を取得すること、
前記識別結果が真であれば、又は前記識別結果が前記識別器による前記第１画像の識別結果と同じであれば、前記第２画像を記憶部に記憶すること、
を実行させるプログラム。