JP6962450B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6962450B2 JP6962450B2 JP2020508665A JP2020508665A JP6962450B2 JP 6962450 B2 JP6962450 B2 JP 6962450B2 JP 2020508665 A JP2020508665 A JP 2020508665A JP 2020508665 A JP2020508665 A JP 2020508665A JP 6962450 B2 JP6962450 B2 JP 6962450B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- loss
- person
- human body
- sample image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 92
- 238000003672 processing method Methods 0.000 title claims description 33
- 238000004364 calculation method Methods 0.000 claims description 46
- 238000010276 construction Methods 0.000 claims description 44
- 238000010801 machine learning Methods 0.000 claims description 21
- 230000010354 integration Effects 0.000 claims description 12
- 238000000034 method Methods 0.000 description 17
- 238000013527 convolutional neural network Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 230000002950 deficient Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 210000001503 joint Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Description
人物の一部が欠損している画像データを入力画像として、前記人物の欠損している一部が補間された画像を生成するための、画像生成モデルを構築する、画像生成モデル構築部を備え、
前記画像生成モデル構築部は、人物の画像を含む第1のサンプル画像と、前記第1のサンプル画像中の人物の一部が欠損している第2のサンプル画像と、前記第1のサンプル画像中の人物の姿勢を特定する人体情報と、を用いた機械学習によって、前記画像生成モデルを構築する、
ことを特徴とする。
(a)人物の一部が欠損している画像データを入力画像として、前記人物の欠損している一部が補間された画像を生成するための、画像生成モデルを構築する、ステップを有し、
前記(a)のステップにおいて、人物の画像を含む第1のサンプル画像と、前記第1のサンプル画像中の人物の一部が欠損している第2のサンプル画像と、前記第1のサンプル画像中の人物の姿勢を特定する人体情報と、を用いた機械学習によって、前記画像生成モデルを構築する、
ことを特徴とする。
コンピュータに、
(a)人物の一部が欠損している画像データを入力画像として、前記人物の欠損している一部が補間された画像を生成するための、画像生成モデルを構築する、ステップを実行させ、
前記(a)のステップにおいて、人物の画像を含む第1のサンプル画像と、前記第1のサンプル画像中の人物の一部が欠損している第2のサンプル画像と、前記第1のサンプル画像中の人物の姿勢を特定する人体情報と、を用いた機械学習によって、前記画像生成モデルを構築する、
ことを特徴とする。
以下、本発明の実施の形態1における、画像処理装置、画像処理方法、及びプログラムについて、図1〜図5を参照しながら説明する。
最初に、図1を用いて、本実施の形態1における画像処理装置の概略構成について説明する。図1は、本発明の実施の形態1における画像処理装置の概略構成を示すブロック図である。
また、このように画像を入力とし、画像を出力とする場合のネットワーク構造は、入力層と出力層とが広く(ニューラルネットワークのユニット数が多い)、中間層が狭い(ユニット数が少ない)、という特性を有している。このため、本実施の形態1では、CNNとしては、砂時計型が利用される。
統合損失L_g=λ_diff×L_diff+λ_body×L_body
次に、本実施の形態1における画像処理装置10の動作について図4〜図6を用いて説明する。以下の説明においては、適宜図1〜図3を参照する。また、本実施の形態1では、画像処理装置10を動作させることによって、画像処理方法が実施される。よって、本実施の形態1における画像処理方法の説明は、以下の画像処理装置10の動作説明に代える。
ここで、図5を用いて、本実施の形態1における効果について説明する。図5(a)は、従来の手法によって一部が欠損している人物の画像を補間した例を示し、図5(b)は、本発明の実施の形態1における画像処理装置によって一部が欠損している人物の画像を補間した例を示している。
本実施の形態1におけるプログラムは、コンピュータに、図4に示すステップA1〜A8を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態1における画像処理装置10と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、画像生成モデル構築部11、及び画像生成部13として機能し、処理を行なう。
次に、本発明の実施の形態2における、画像処理装置、画像処理方法、及びプログラムについて、図6及び図7を参照しながら説明する。
最初に、図6を用いて、本実施の形態2における画像処理装置の構成について説明する。図6は、本発明の実施の形態2における画像処理装置の構成を示すブロック図である。
次に、本実施の形態2における画像処理装置20の動作について図7を用いて説明する。以下の説明においては、適宜図6を参照する。図7は、本発明の実施の形態2における画像処理装置の画像生成モデルの生成及び更新処理時の動作を示すフロー図である。また、本実施の形態2でも、画像処理装置20を動作させることによって、画像処理方法が実施される。よって、本実施の形態2における画像処理方法の説明は、以下の画像処理装置20の動作説明に代える。
このように、本実施の形態2によれば、画像中の人物の一部が欠損している画像を、サンプル画像として用意する必要がないため、実施の形態1に比べて、画像生成モデル12の構築が容易となり、これらにかかるコストを低減できる。また、本実施の形態2においても、実施の形態1で述べた効果を得ることができる。
本実施の形態2におけるプログラムは、コンピュータに、図7に示すステップA11〜A19を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態2における画像処理装置20と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、画像生成モデル構築部11、画像生成部13、及びサンプル画像作成部21として機能し、処理を行なう。
次に、本発明の実施の形3における、画像処理装置、画像処理方法、及びプログラムについて、図8及び図9を参照しながら説明する。
最初に、図8を用いて、本実施の形態3における画像処理装置の構成について説明する。図8は、本発明の実施の形態3における画像処理装置の構成を示すブロック図である。
統合損失L_g=λ_diff×L_diff−λ_adv×L_adv
+λ_body×L_body+λ_reg×L_reg
次に、本実施の形態3における画像処理装置30の動作について図9を用いて説明する。以下の説明においては、適宜図8を参照する。図9は、本発明の実施の形態3における画像処理装置の画像生成モデルの生成及び更新処理時の動作を示すフロー図である。また、本実施の形態3でも、画像処理装置30を動作させることによって、画像処理方法が実施される。よって、本実施の形態3における画像処理方法の説明は、以下の画像処理装置30の動作説明に代える。
このように、本実施の形態3によれば、補間画像が補間されたものかどうかの判定結果に基づいて、画像生成モデルのパラメータが更新される。このため、本実施の形態3においても、実施の形態1で述べた効果を得ることができる。
本実施の形態3におけるプログラムは、コンピュータに、図9に示すステップA21〜A31を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態3における画像処理装置30と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、画像生成モデル構築部11、画像生成部13、及び真偽判別部31として機能し、処理を行なう。
ここで、実施の形態1〜3におけるプログラムを実行することによって、画像処理装置を実現するコンピュータについて図10を用いて説明する。図10は、本発明の実施の形態1〜3における画像処理装置を実現するコンピュータの一例を示すブロック図である。
人物の一部が欠損している画像データを入力画像として、前記人物の欠損している一部が補間された画像を生成するための、画像生成モデルを構築する、画像生成モデル構築部を備え、
前記画像生成モデル構築部は、人物の画像を含む第1のサンプル画像と、前記第1のサンプル画像中の人物の一部が欠損している第2のサンプル画像と、前記第1のサンプル画像中の人物の姿勢を特定する人体情報と、を用いた機械学習によって、前記画像生成モデルを構築する、
ことを特徴とする画像処理装置。
付記1に記載の画像処理装置であって、
前記第2のサンプル画像を、前記画像生成モデルに適用して、前記人物の欠損している一部が補間された画像を生成する、画像生成部を更に備え、
前記画像生成モデル構築部が、
前記画像生成部によって生成された画像から、当該画像中の人物の姿勢を特定する第2の人体情報を推定する、人体情報推定部と、
前記第1のサンプル画像中の人物の姿勢を特定する前記人体情報に対する、前記第2の人体情報における損失を、人体損失として算出する、損失算出部と、
算出された前記損失に基づいて、前記画像生成モデルを更新する、パラメータ更新部と、
を備えている、ことを特徴とする画像処理装置。
付記2に記載の画像処理装置であって、
前記損失算出部が、
更に、前記第1のサンプル画像に対する、前記画像生成部によって生成された画像における損失を、画像損失として算出し、そして、
前記人体損失に、前記画像損失を加算して、統合損失を算出し、
前記パラメータ更新部が、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新する、
ことを特徴とする画像処理装置。
付記2に記載の画像処理装置であって、
前記第1のサンプル画像と、前記画像生成部によって生成された画像との、相違の程度を判別する、真偽判別部を更に備え、
前記損失算出部は、更に、前記真偽判別部による判別の結果に基づいて、前記第1のサンプル画像に対する、前記画像生成部によって生成された画像における損失を真偽損失として算出し、そして、
前記人体損失に、前記真偽損失を加算して、統合損失を算出し、
前記パラメータ更新部が、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新する、
ことを特徴とする画像処理装置。
付記2〜4のいずれかに記載の画像処理装置であって、
前記第1のサンプル画像から、前記第2のサンプル画像を作成する、サンプル画像作成部を更に備え、
前記サンプル画像作成部は、前記損失算出部による算出結果に基づいて、作成する前記第2のサンプル画像における人物の欠損の程度を設定する、
ことを特徴とする画像処理装置。
(a)人物の一部が欠損している画像データを入力画像として、前記人物の欠損している一部が補間された画像を生成するための、画像生成モデルを構築する、ステップを有し、
前記(a)のステップにおいて、人物の画像を含む第1のサンプル画像と、前記第1のサンプル画像中の人物の一部が欠損している第2のサンプル画像と、前記第1のサンプル画像中の人物の姿勢を特定する人体情報と、を用いた機械学習によって、前記画像生成モデルを構築する、
ことを特徴とする画像処理方法。
付記6に記載の画像処理方法であって、
(b)前記第2のサンプル画像を、前記画像生成モデルに適用して、前記人物の欠損している一部が補間された画像を生成する、ステップを更に有し、
前記(a)のステップが、更に、
(a1)前記(b)のステップによって生成された画像から、当該画像中の人物の姿勢を特定する第2の人体情報を推定する、ステップと、
(a2)前記第1のサンプル画像中の人物の姿勢を特定する前記人体情報に対する、前記第2の人体情報における損失を、人体損失として算出する、ステップと、
(a3)算出された前記損失に基づいて、前記画像生成モデルを更新する、ステップと、
を有する、ことを特徴とする画像処理方法。
付記7に記載の画像処理方法であって、
前記(a)のステップが、更に、
(a4)前記第1のサンプル画像に対する、前記(b)のステップによって生成された画像における損失を、画像損失として算出し、そして、
前記人体損失に、前記画像損失を加算して、統合損失を算出する、ステップを有し、
前記(a3)のステップにおいて、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新する、
ことを特徴とする画像処理方法。
付記7に記載の画像処理方法であって、
(c)前記第1のサンプル画像と、前記(b)のステップによって生成された画像との、相違の程度を判別する、ステップを更に有し、
前記(a)のステップが、更に、
(a4)前記(c)のステップによる判別の結果に基づいて、前記第1のサンプル画像に対する、前記(b)のステップによって生成された画像における損失を真偽損失として算出し、そして、
前記人体損失に、前記真偽損失を加算して、統合損失を算出する、ステップを有し
前記(a3)のステップにおいて、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新する、
ことを特徴とする画像処理方法。
付記7〜9のいずれかに記載の画像処理方法であって、
(d)前記第1のサンプル画像から、前記第2のサンプル画像を作成し、その際、前記(a)のステップによる算出結果に基づいて、作成する前記第2のサンプル画像における人物の欠損の程度を設定する、ステップを更に有している、
ことを特徴とする画像処理方法。
コンピュータに、
(a)人物の一部が欠損している画像データを入力画像として、前記人物の欠損している一部が補間された画像を生成するための、画像生成モデルを構築する、ステップを実行させ、
前記(a)のステップにおいて、人物の画像を含む第1のサンプル画像と、前記第1のサンプル画像中の人物の一部が欠損している第2のサンプル画像と、前記第1のサンプル画像中の人物の姿勢を特定する人体情報と、を用いた機械学習によって、前記画像生成モデルを構築させる、
ことを特徴とするプログラム。
付記11に記載のプログラムであって、
前記コンピュータに、
(b)前記第2のサンプル画像を、前記画像生成モデルに適用して、前記人物の欠損している一部が補間された画像を生成する、ステップを更に実行させ、
前記(a)のステップにおいて、更に、
(a1)前記(b)のステップによって生成された画像から、当該画像中の人物の姿勢を特定する第2の人体情報を推定する、ステップと、
(a2)前記第1のサンプル画像中の人物の姿勢を特定する前記人体情報に対する、前記第2の人体情報における損失を、人体損失として算出する、ステップと、
(a3)算出された前記損失に基づいて、前記画像生成モデルを更新する、ステップと、
を実行させる、ことを特徴とするプログラム。
付記12に記載のプログラムであって、
前記コンピュータに、
前記(a)のステップにおいて、更に、
(a4)前記第1のサンプル画像に対する、前記(b)のステップによって生成された画像における損失を、画像損失として算出し、そして、
前記人体損失に、前記画像損失を加算して、統合損失を算出する、ステップを実行させ、
前記(a3)のステップにおいて、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新させる、
ことを特徴とするプログラム。
付記12に記載のプログラムであって、
前記コンピュータに、
(c)前記第1のサンプル画像と、前記(b)のステップによって生成された画像との、相違の程度を判別する、ステップを更に実行させ、
前記(a)のステップにおいて、更に、
(a4)前記(c)のステップによる判別の結果に基づいて、前記第1のサンプル画像に対する、前記(b)のステップによって生成された画像における損失を真偽損失として算出し、そして、
前記人体損失に、前記真偽損失を加算して、統合損失を算出する、ステップを実行させ、
前記(a3)のステップにおいて、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新させる、
ことを特徴とするプログラム。
付記12〜14のいずれかに記載のプログラムであって、
前記コンピュータに、
(d)前記第1のサンプル画像から、前記第2のサンプル画像を作成し、その際、前記(a)のステップによる算出結果に基づいて、作成する前記第2のサンプル画像における人物の欠損の程度を設定する、ステップを更に実行させる、
ことを特徴とするプログラム。
11 画像生成モデル構築部
12 画像生成モデル
13 画像生成部
14 人体情報推定部
15 損失算出部
16 パラメータ更新部
20 画像処理装置(実施の形態2)
21 サンプル画像作成部
30 画像処理装置(実施の形態3)
31 真偽判別部
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス
Claims (15)
- 人物の一部が欠損している画像データを入力画像として、前記人物の欠損している一部が補間された画像を生成するための、画像生成モデルを構築する、画像生成モデル構築部を備え、
前記画像生成モデル構築部は、人物の画像を含む第1のサンプル画像と、前記第1のサンプル画像中の人物の一部が欠損している第2のサンプル画像と、前記第1のサンプル画像中の人物の姿勢を特定する人体情報と、を用いた機械学習によって、前記画像生成モデルを構築する、
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記第2のサンプル画像を、前記画像生成モデルに適用して、前記人物の欠損している一部が補間された画像を生成する、画像生成部を更に備え、
前記画像生成モデル構築部が、
前記画像生成部によって生成された画像から、当該画像中の人物の姿勢を特定する第2の人体情報を推定する、人体情報推定部と、
前記第1のサンプル画像中の人物の姿勢を特定する前記人体情報に対する、前記第2の人体情報における損失を、人体損失として算出する、損失算出部と、
算出された前記損失に基づいて、前記画像生成モデルを更新する、パラメータ更新部と、
を備えている、ことを特徴とする画像処理装置。 - 請求項2に記載の画像処理装置であって、
前記損失算出部が、
更に、前記第1のサンプル画像に対する、前記画像生成部によって生成された画像における損失を、画像損失として算出し、そして、
前記人体損失に、前記画像損失を加算して、統合損失を算出し、
前記パラメータ更新部が、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新する、
ことを特徴とする画像処理装置。 - 請求項2に記載の画像処理装置であって、
前記第1のサンプル画像と、前記画像生成部によって生成された画像との、相違の程度を判別する、真偽判別部を更に備え、
前記損失算出部は、更に、前記真偽判別部による判別の結果に基づいて、前記第1のサンプル画像に対する、前記画像生成部によって生成された画像における損失を真偽損失として算出し、そして、
前記人体損失に、前記真偽損失を加算して、統合損失を算出し、
前記パラメータ更新部が、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新する、
ことを特徴とする画像処理装置。 - 請求項2〜4のいずれかに記載の画像処理装置であって、
前記第1のサンプル画像から、前記第2のサンプル画像を作成する、サンプル画像作成部を更に備え、
前記サンプル画像作成部は、前記損失算出部による算出結果に基づいて、作成する前記第2のサンプル画像における人物の欠損の程度を設定する、
ことを特徴とする画像処理装置。 - (a)人物の一部が欠損している画像データを入力画像として、前記人物の欠損している一部が補間された画像を生成するための、画像生成モデルを構築する、ステップを有し、
前記(a)のステップにおいて、人物の画像を含む第1のサンプル画像と、前記第1のサンプル画像中の人物の一部が欠損している第2のサンプル画像と、前記第1のサンプル画像中の人物の姿勢を特定する人体情報と、を用いた機械学習によって、前記画像生成モデルを構築する、
ことを特徴とする画像処理方法。 - 請求項6に記載の画像処理方法であって、
(b)前記第2のサンプル画像を、前記画像生成モデルに適用して、前記人物の欠損している一部が補間された画像を生成する、ステップを更に有し、
前記(a)のステップが、更に、
(a1)前記(b)のステップによって生成された画像から、当該画像中の人物の姿勢を特定する第2の人体情報を推定する、ステップと、
(a2)前記第1のサンプル画像中の人物の姿勢を特定する前記人体情報に対する、前記第2の人体情報における損失を、人体損失として算出する、ステップと、
(a3)算出された前記損失に基づいて、前記画像生成モデルを更新する、ステップと、
を有する、ことを特徴とする画像処理方法。 - 請求項7に記載の画像処理方法であって、
前記(a)のステップが、更に、
(a4)前記第1のサンプル画像に対する、前記(b)のステップによって生成された画像における損失を、画像損失として算出し、そして、
前記人体損失に、前記画像損失を加算して、統合損失を算出する、ステップを有し、
前記(a3)のステップにおいて、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新する、
ことを特徴とする画像処理方法。 - 請求項7に記載の画像処理方法であって、
(c)前記第1のサンプル画像と、前記(b)のステップによって生成された画像との、相違の程度を判別する、ステップを更に有し、
前記(a)のステップが、更に、
(a4)前記(c)のステップによる判別の結果に基づいて、前記第1のサンプル画像に対する、前記(b)のステップによって生成された画像における損失を真偽損失として算出し、そして、
前記人体損失に、前記真偽損失を加算して、統合損失を算出する、ステップを有し
前記(a3)のステップにおいて、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新する、
ことを特徴とする画像処理方法。 - 請求項7〜9のいずれかに記載の画像処理方法であって、
(d)前記第1のサンプル画像から、前記第2のサンプル画像を作成し、その際、前記(a)のステップによる算出結果に基づいて、作成する前記第2のサンプル画像における人物の欠損の程度を設定する、ステップを更に有している、
ことを特徴とする画像処理方法。 - コンピュータに、
(a)人物の一部が欠損している画像データを入力画像として、前記人物の欠損している一部が補間された画像を生成するための、画像生成モデルを構築する、ステップを実行させ、
前記(a)のステップにおいて、人物の画像を含む第1のサンプル画像と、前記第1のサンプル画像中の人物の一部が欠損している第2のサンプル画像と、前記第1のサンプル画像中の人物の姿勢を特定する人体情報と、を用いた機械学習によって、前記画像生成モデルを構築させる、
ことを特徴とするプログラム。 - 請求項11に記載のプログラムであって、
前記コンピュータに、
(b)前記第2のサンプル画像を、前記画像生成モデルに適用して、前記人物の欠損している一部が補間された画像を生成する、ステップを更に実行させ、
前記(a)のステップにおいて、更に、
(a1)前記(b)のステップによって生成された画像から、当該画像中の人物の姿勢を特定する第2の人体情報を推定する、ステップと、
(a2)前記第1のサンプル画像中の人物の姿勢を特定する前記人体情報に対する、前記第2の人体情報における損失を、人体損失として算出する、ステップと、
(a3)算出された前記損失に基づいて、前記画像生成モデルを更新する、ステップと、
を実行させる、
ことを特徴とするプログラム。 - 請求項12に記載のプログラムであって、
前記コンピュータに、
前記(a)のステップにおいて、更に、
(a4)前記第1のサンプル画像に対する、前記(b)のステップによって生成された画像における損失を、画像損失として算出し、そして、
前記人体損失に、前記画像損失を加算して、統合損失を算出する、ステップを実行させ、
前記(a3)のステップにおいて、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新させる、
ことを特徴とするプログラム。 - 請求項12に記載のプログラムであって、
前記コンピュータに、
(c)前記第1のサンプル画像と、前記(b)のステップによって生成された画像との、相違の程度を判別する、ステップを更に実行させ、
前記(a)のステップにおいて、更に、
(a4)前記(c)のステップによる判別の結果に基づいて、前記第1のサンプル画像に対する、前記(b)のステップによって生成された画像における損失を真偽損失として算出し、そして、
前記人体損失に、前記真偽損失を加算して、統合損失を算出する、ステップを実行させる命令と、を含み、
前記(a3)のステップにおいて、算出された前記統合損失に基づいて、前記画像生成モデルのパラメータを更新させる、
ことを特徴とするプログラム。 - 請求項12〜14のいずれかに記載のプログラムであって、
前記コンピュータに、
(d)前記第1のサンプル画像から、前記第2のサンプル画像を作成し、その際、前記(a)のステップによる算出結果に基づいて、作成する前記第2のサンプル画像における人物の欠損の程度を設定する、ステップを更に実行させる、
ことを特徴とするプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/012989 WO2019186833A1 (ja) | 2018-03-28 | 2018-03-28 | 画像処理装置、画像処理方法、及び、コンピュータ読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019186833A1 JPWO2019186833A1 (ja) | 2021-03-11 |
JP6962450B2 true JP6962450B2 (ja) | 2021-11-05 |
Family
ID=68061054
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020508665A Active JP6962450B2 (ja) | 2018-03-28 | 2018-03-28 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11393069B2 (ja) |
JP (1) | JP6962450B2 (ja) |
WO (1) | WO2019186833A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023195305A1 (ja) * | 2022-04-08 | 2023-10-12 | コニカミノルタ株式会社 | 情報処理装置、情報処理プログラム、機械学習装置、および機械学習プログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006146413A (ja) * | 2004-11-17 | 2006-06-08 | Mitsubishi Electric Corp | 対象追従装置 |
EP2808760B1 (en) * | 2013-05-29 | 2023-08-16 | Dassault Systèmes | Body posture tracking |
JP6243826B2 (ja) * | 2014-11-20 | 2017-12-06 | 日本電信電話株式会社 | 画像生成方法、画像生成装置及びコンピュータプログラム |
JP6450287B2 (ja) * | 2015-09-16 | 2019-01-09 | 日本電信電話株式会社 | 学習データ生成装置、学習装置、学習データ生成方法、学習方法及び画像処理プログラム |
US10372228B2 (en) * | 2016-07-20 | 2019-08-06 | Usens, Inc. | Method and system for 3D hand skeleton tracking |
US10438393B2 (en) * | 2017-03-16 | 2019-10-08 | Linden Research, Inc. | Virtual reality presentation of body postures of avatars |
-
2018
- 2018-03-28 US US17/041,804 patent/US11393069B2/en active Active
- 2018-03-28 WO PCT/JP2018/012989 patent/WO2019186833A1/ja active Application Filing
- 2018-03-28 JP JP2020508665A patent/JP6962450B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2019186833A1 (ja) | 2019-10-03 |
US20210027421A1 (en) | 2021-01-28 |
US11393069B2 (en) | 2022-07-19 |
JPWO2019186833A1 (ja) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6901802B2 (ja) | イメージ分析に基づいたロバストサーベイランスのための歩行者検出器の学習方法及び学習装置、そしてそれを利用するテスト方法及びテスト装置 | |
JP2019028843A (ja) | 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法 | |
EP3326156B1 (en) | Consistent tessellation via topology-aware surface tracking | |
CN111696196B (zh) | 一种三维人脸模型重建方法及装置 | |
JP2010500677A (ja) | 画像処理の方法 | |
CN111868786B (zh) | 跨设备监控计算机视觉*** | |
CN109635630B (zh) | 手部关节点检测方法、装置及存储介质 | |
CN114693557A (zh) | 基于姿态引导的行人视频修复方法、***、设备和介质 | |
US10791321B2 (en) | Constructing a user's face model using particle filters | |
CN114387392B (zh) | 一种根据人影重建三维人体姿态的方法 | |
JP6962450B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6937782B2 (ja) | 画像処理方法及びデバイス | |
JP6989153B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN107977628B (zh) | 神经网络训练方法、人脸检测方法及人脸检测装置 | |
WO2020044630A1 (ja) | 検出器生成装置、モニタリング装置、検出器生成方法及び検出器生成プログラム | |
WO2022181253A1 (ja) | 関節点検出装置、学習モデル生成装置、関節点検出方法、学習モデル生成方法、及びコンピュータ読み取り可能な記録媒体 | |
JP2012185655A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN112184884A (zh) | 三维模型构建方法、装置、计算机设备及存储介质 | |
WO2024143048A1 (ja) | 学習モデル生成装置、関節点検出装置、学習モデル生成方法、関節点検出方法、及びコンピュータ読み取り可能な記録媒体 | |
CN113362252B (zh) | 智能画幅重构方法、装置、计算机设备及存储介质 | |
WO2022181252A1 (ja) | 関節点検出装置、学習モデル生成装置、関節点検出方法、学習モデル生成方法、及びコンピュータ読み取り可能な記録媒体 | |
WO2023127005A1 (ja) | データ拡張装置、データ拡張方法、及びコンピュータ読み取り可能な記録媒体 | |
JP7294702B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN111986230B (zh) | 一种视频中目标物的姿态跟踪方法及装置 | |
CN112990144A (zh) | 一种用于行人重识别的数据增强方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200924 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200924 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210914 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6962450 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |