JP2024086945A - 学習された条件に基づくデザイン生成システム - Google Patents
学習された条件に基づくデザイン生成システム Download PDFInfo
- Publication number
- JP2024086945A JP2024086945A JP2024067418A JP2024067418A JP2024086945A JP 2024086945 A JP2024086945 A JP 2024086945A JP 2024067418 A JP2024067418 A JP 2024067418A JP 2024067418 A JP2024067418 A JP 2024067418A JP 2024086945 A JP2024086945 A JP 2024086945A
- Authority
- JP
- Japan
- Prior art keywords
- design
- image
- text
- category
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013461 design Methods 0.000 title claims abstract description 347
- 238000004519 manufacturing process Methods 0.000 claims abstract description 16
- 239000000284 extract Substances 0.000 claims abstract description 15
- 239000013598 vector Substances 0.000 claims description 50
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 34
- 239000000047 product Substances 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 238000012552 review Methods 0.000 description 11
- 230000008901 benefit Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000003870 depth resolved spectroscopy Methods 0.000 description 4
- 208000009743 drug hypersensitivity syndrome Diseases 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 239000006227 byproduct Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000009193 crawling Effects 0.000 description 2
- 238000007790 scraping Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- CVOFKRWYWCSDMA-UHFFFAOYSA-N 2-chloro-n-(2,6-diethylphenyl)-n-(methoxymethyl)acetamide;2,6-dinitro-n,n-dipropyl-4-(trifluoromethyl)aniline Chemical compound CCC1=CC=CC(CC)=C1N(COC)C(=O)CCl.CCCN(CCC)C1=C([N+]([O-])=O)C=C(C(F)(F)F)C=C1[N+]([O-])=O CVOFKRWYWCSDMA-UHFFFAOYSA-N 0.000 description 1
- 229920000742 Cotton Polymers 0.000 description 1
- 241001122767 Theaceae Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/16—Customisation or personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Geometry (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Architecture (AREA)
- Human Computer Interaction (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Image Analysis (AREA)
- Library & Information Science (AREA)
Abstract
【課題】学習された条件に基づくデザイン生成システムを提供する。
【解決手段】デザイン生成システムは、ネットワークを通じてデザイン生成装置に画像及びテキストを含む情報を提供する外部端末と、前記ネットワークを通じて受信した情報から画像を取得し、取得した画像の特徴を学習し、前記情報上のテキストを抽出し、前記抽出したテキストを前記学習した画像の特徴にマッチングすることによって、前記画像に基づき、生成しようとするデザインの条件を学習し、ユーザがデザイン画像を生成するためのユーザーテキストを入力することによって、前記ユーザーテキストに対応する条件を識別し、前記識別された条件に基づくデザイン画像を生成するデザイン生成装置と、前記生成されたデザインを受信し、デザイン製品を製造するための製造端末を含むことができる。
【選択図】図1
【解決手段】デザイン生成システムは、ネットワークを通じてデザイン生成装置に画像及びテキストを含む情報を提供する外部端末と、前記ネットワークを通じて受信した情報から画像を取得し、取得した画像の特徴を学習し、前記情報上のテキストを抽出し、前記抽出したテキストを前記学習した画像の特徴にマッチングすることによって、前記画像に基づき、生成しようとするデザインの条件を学習し、ユーザがデザイン画像を生成するためのユーザーテキストを入力することによって、前記ユーザーテキストに対応する条件を識別し、前記識別された条件に基づくデザイン画像を生成するデザイン生成装置と、前記生成されたデザインを受信し、デザイン製品を製造するための製造端末を含むことができる。
【選択図】図1
Description
本発明は、学習された条件に基づくデザイン生成システムに関するものである。より詳しくは、学習された条件に基づいて生成されたデザイン画像の解像度を高解像度に変換するデザイン生成システムに関するものである。
ファッション市場では、いわゆるファストファッション(Fast Fashion)またはスパ(SPA、Speciality retailer of Private label Apparel)ブランドの比重が高まるにつれて、最新の流行デザインが短い周期で生産及び消費されている。このようなファストファッションブランドは、製品の大量生産システム及びグローバルな流通網を確保し、多数のデザイナーを雇用して最新の流行をデザインに反映することによって、消費者に低コストで流行アイテムを購入する機会を提供するという利点がある。
一方、ファストファッションブランドの生産及び販売システムは、ファッションデザイン業界の競争を過熱させ、新規の市場への参入者に参入障壁を作り出す。
このような問題を解決するために、テキストに基づくデザイン画像生成技術が開示されている。これにより、テキストを入力するだけで大量の画像を自動的に生成することができる。特に、本発明に開示された技術を用いてデザイナーのみならず、一般のユーザも、テキストを入力するだけでデザイン画像を生成することができる。
開示された技術で生成される画像が製品になるためには、さらに、高解像度のデザインの生成技術が必要とされる。また、急変するファッショントレンドを反映したデザインの生成技術も必要である。
本発明が解決しようとする技術的課題は、取得された画像及びそれにマッチングされたテキストを学習することによって、デザインの自動生成のための条件を生成する方法及びその装置を提供することである。具体的には、本発明が解決しようとする技術的課題は、画像にマッチングされたテキストの特性を学習することによって、テキストに反映されたトレンド情報に基づいてデザインを自動生成する方法及びその装置を提供することである。
本発明が解決しようとする他の技術的課題は、生成された条件に対応するテキストの入力に応答して、デザインを自動生成する方法及びその装置を提供することである。具体的には、本発明が解決しようとする他の技術的課題は、製品のカテゴリー選定及びユーザによって入力されたテキストをデザイン生成の条件として認識し、認識された条件下でデザインを生成する方法及びその装置を提供することである。より詳しく、本発明が解決しようとする技術的課題は、入力されたテキストを選定されたカテゴリーの詳細な特徴と解釈し、前記カテゴリーの製品に対する前記特徴が反映されたデザインを生成する方法及びその装置を提供することである。
本発明が解決しようとする別の技術的課題は、入力されるテキストによって生成されるデザイン画像の解像度を高める方法及びその装置を提供することである。具体的には、本発明が解決しようとする別の技術的課題は、オリジナル画像及び生成デザイン画像上のピクセルに基づく損失ではなく、特徴量に基づく損失を考慮してデザイン画像の解像度を最大限にすることができる方法及びその装置を提供することである。
本発明の技術的課題は、上述の技術的課題に限定されず、言及されていない他の技術的課題は、以下の記載から本発明の技術分野における通常の技術者に明確に理解され得る。
前記技術的課題を解決するための学習された条件に基づくデザイン生成方法は、学習された条件に基づくデザイン生成装置によって行われ、前記方法は、画像及びテキストを含む情報から前記画像を取得するステップと、取得された画像の特徴を学習するステップと、前記情報上のテキストを抽出し、抽出されたテキストを学習された画像の特徴にマッチングするステップと、前記マッチングを通じて、前記画像に基づいて生成しようとするデザインの条件を学習するステップと、ユーザがデザイン画像を生成するためのユーザのテキストを入力するステップと、前記ユーザのテキストに対応する条件を識別するステップと、識別された条件に基づくデザイン画像を生成するステップと、を含むことができる。
前記技術的課題を解決するための学習された条件に基づくデザイン生成システムは、ネットワークを通じてデザイン生成装置に画像及びテキストを含む情報を提供する外部端末と、前記ネットワークを通じて受信した情報から画像を取得し、取得した画像の特徴を学習し、前記情報上のテキストを抽出し、抽出したテキストを学習した画像の特徴にマッチングすることによって、前記画像に基づき、生成しようとするデザインの条件を学習し、ユーザがデザイン画像を生成するためのユーザーテキストを入力することによって、前記ユーザーテキストに対応する条件を識別し、識別された条件に基づくデザイン画像を生成するデザイン生成装置と、生成されたデザインを受信し、デザイン製品を製造するための製造端末を含むことができる。
一実施形態において、前記デザイン生成装置は、生成されたデザイン画像の特徴を抽出し、取得された画像と生成されたデザイン画像上のピクセルに基づく比較ではなく、取得された画像に対し、学習された特徴と生成されたデザイン画像の抽出されたデザイン特徴との比較を通じて、取得された画像に対して学習された特徴に比べ、生成されたデザイン画像の抽出されたデザイン特徴に対するエンコーディング結果の類似性を学習することによって、生成されたデザイン画像に対する解像度変換を行い、解像度変換を通じて最終デザイン画像を生成することができる。
一実施形態において、前記デザイン生成装置は、抽出されたテキストを学習された画像の特徴にマッチングすることによって、抽出されたテキストのうち、学習された画像の特徴に対応するテキストを前記画像に基づいて生成しようとするデザインの条件で学習し、前記条件で学習されたテキストを前記画像の特徴を含む製品のカテゴリーとして決定することができる。
一実施形態において、前記デザイン生成装置は、前記ユーザーテキストをベクトル化し、ベクトル化の結果、前記ユーザーテキストのベクトル値を生成し、前記カテゴリーに前記ベクトル値がマッチングするか否かを判断し、前記カテゴリーに前記ベクトル値がマッチングする場合、前記カテゴリー及び前記ベクトル値を前記ユーザのテキストに対応する条件で識別することができる。
一実施形態において、前記デザイン生成装置は、前記カテゴリーに前記ベクトル値がマッチングしない場合、前記カテゴリー及び前記ベクトル値にスタイル変数を反映し、前記カテゴリーにマッチングする変換ベクトル値を抽出し、前記変換ベクトル値及び前記カテゴリーを前記条件で識別することもできる。
一実施形態において、前記ベクトル値は、前記カテゴリーではない他のカテゴリーにマッチングする第1のベクトル値であり、前記デザイン生成装置は、前記第1のベクトル値に、前記カテゴリーにマッチングする第2ベクトル値に基づいて、前記スタイル変数を反映し、前記スタイル変数を反映することによって、前記第1のベクトル値で前記カテゴリーにマッチングする前記変換ベクトル値を生成し、前記他のカテゴリーにマッチングする第1のベクトル値に前記スタイル変数を反映することによって、生成された前記カテゴリーにマッチングする前記変換ベクトル値を前記条件として識別し、識別された条件に基づくデザイン画像を生成できる。
本発明の一実施形態によると、製品デザインに対してユーザ別に用いるワードが異なっても、ユーザが入力したワードに基づいてユーザの意図に合致するデザイン画像を生成することができるという利点がある。
さらに、本発明の他の実施形態によると、ユーザに最新のデザイントレンド情報が反映されたデザイン画像が提供されるという利点がある。すなわち、前記実施形態によると、ユーザが把握し難い最新のトレンドがデザイン画像生成モデルに反映され、ユーザの入力テキストを最新のトレンドと解釈し、最新のトレンドが反映されたデザイン画像を生成することができるという利点がある。
また、本発明の他の実施形態によると、カテゴリー及び入力テキストでデザインの生成対象を制限することによって、デザインイメージ生成の演算量を低減することができるという利点がある。
また、本発明のさらに他の実施形態によると、生成されるデザイン画像の解像度を向上させることにより、デザインを製品化する効率性が高くなるという利点がある。
本発明の効果は、上述の効果に限定されず、言及されていない他の効果は以下の記載から本発明の技術分野における通常の技術者に明確に理解され得る。
以下、添付の図面を参照して本発明の好ましい実施形態を詳細に説明する。本発明の利点及び特徴、及びそれらを達成する方法は、添付の図面と共に詳細に後述する実施形態を参照することによって明らかになる。しかしながら、本発明は、以下に開示される実施形態に限定されるものではなく、様々な形態で具現することができ、単に本実施形態は、本発明の開示が完全になるようにし、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、特許請求の範囲によって定義されるだけである。明細書全体にわたって、同一の参照番号は同一の構成要素を指す。
他の定義がなければ、本明細書で用いられる全ての用語(技術用語及び科学用語を含む)は、本発明が属する技術分野において通常の知識を有する者に共通して理解され得る意味で用いられ得る。また、一般的に用いられる辞書で定義されている用語は、特に明確に定義されていない限り、理想的に又は過度に解釈されない。本明細書で用いられる用語は、実施形態を説明するためのものであり、本発明を限定するためのものではない。本明細書において、単数形は、文章で特に言及しない限り、複数形も含む。
本明細書で学習された条件に基づくデザイン生成システム、学習された条件に基づくデザイン生成装置、及び学習された条件に基づくデザイン生成方法は、それぞれ、デザイン生成システム、デザイン生成装置、及びデザイン生成方法で略称することができる。
本明細書において、画像は、写真、絵、動画コンテンツを含むことができ、テキストは、文字、形態素、単語、文章等の文字的要素のみならず、数字、記号等、意味的に伝達が可能な要素も含み得る。
図1は、本発明の一実施形態による学習された条件に基づくデザイン生成システムの例示図である。また、図2は、本発明のいくつかの実施形態で参照される学習条件に基づくデザイン生成プロセスを説明するための概念図である。
図1を参照すると、デザイン生成システム10は、デザイン生成装置100、製造端末300、及びネットワークを通じて情報30を提供する多数の外部端末を含むことができる。
デザイン生成装置100、製造端末300、及び前記の多数の外部端末は、ネットワークを通じて相互にデータを交換することができるコンピューター装置である。デザイン生成装置100は、ネットワークを通じて画像50及びテキスト70を含む情報30にアクセスすることができる。
一実施形態において、デザイン生成装置100は、ネットワークを通じてウェブ上の無数なページをクローリング、スクレイピング、及び/又はパーシングことができ、前記ページに含まれた情報30を分類、識別、抽出、及び加工することができる。
特に、本発明の実施形態によると、デザイン生成装置100は、情報30に属する画像50を取得し、テキスト70を抽出することができる。前記ページは、ブログ、SNS、インターネットショッピングモールのページのうち少なくとも1つを含むことができる。
一実施形態において、デザイン生成装置100は、取得された画像50の特徴を、人工ニューラルネットワークを通じて学習することができる。例えば、画像50がファッションデザイン画像である場合、デザイン生成装置100は、無数なページから取得された画像の特徴を学習することによって、各ファッションデザイン衣類のカテゴリー、衣類の少なくとも一部に対する形状に基づく分類、衣類のパターン別の分類、衣類の質感別の分類を行うことができる。
一実施形態においは、デザイン生成装置100によって抽出されたテキスト70を学習することができる。特に、デザイン生成装置100は、抽出されたテキスト70の形態素、単語、文章単位の分析及び各単位別の関係を学習することができる。例えば、デザイン生成装置100は、テキスト70、ワンピース、ドット、パターン、ベルト、ラップドレス(wrap dress)、セミスーツ、BLACK/WHITE、SSシーズンのテキストを抽出することができる。デザイン生成装置100は、抽出されたテキストを単位別に、例えば、ワード又は形態素別に分類した後、埋め込む(Embedding)ことができる。
一実施形態において、デザイン生成装置100は、取得された画像50とテキスト70とのペアをマッチングすることができ、特に画像50の特徴に関する学習結果、及びテキスト画像70の埋め込みによって抽出されたベクトル値に基づいて、画像50とテキスト70とのマッチング関係を学習することもできる。例えば、デザイン生成装置100は、衣類の画像50から抽出された特徴点及び特徴点間の相互関係に関する学習に基づいて、衣類のうち、ワンピースの形状デザイン要素を識別し、これをページ上で抽出されたテキスト70のうち、学習された「ワンピース」をマッチングすることができる。
一実施形態において、デザイン生成装置100は、デザイン生成の条件を学習することができる。デザイン生成の条件とは、デザイン生成装置100にテキストが入力されることによって、デザインが生成されるときに、生成対象デザインの範囲を制約する条件である。入力されたテキストは、生成しようとするデザインに関するキーワードであり得、例えば、コート、ワンピース、ジャケットのような衣類デザインの種類であり得る。すなわち、テキスト「ワンピース」が入力されると、生成対象となるデザインがワンピースの種類に制限され、具体的には、「ワンピース」というテキストにマッチングされ、学習された特徴点を有する画像を生成することができる。
本発明の実施形態によると、リアルタイムでのデザイン生成の反応性及びコンピューティングリソースの節約のために、条件の学習によって衣類の種類、色、パターン等のカテゴリー情報を条件として生成され得る。
一実施形態において、デザイン生成装置100にデザイン生成のためのテキストが入力され、カテゴリー情報が選択されることによって、カテゴリーに該当すると同時にテキストにマッチングされるデザインが生成され得る。
図2では、カテゴリー201が衣類の種類である場合が例として図示されており、入力されるテキスト202は、袖の長さ、色、具体的なデザイン要素、ファスナー、ポケット、柄等である場合が例示されている。
カテゴリー201及びテキスト202がデザイン生成装置100に入力されると、デザイン生成装置100のスタイル生成器(Style Generator)210は、条件付きデザインを生成することができる。一例としては、スタイル生成器210は、GAN、特にcGAN(conditional GAN)に基づくデザイン生成モデルが用いられ得る。
ここで、GANは、非指導学習に属し、画像を生成するGenerator(G)と、Generatorによって生成された画像を評価するDiscriminator(D)が互いに対立して互いの性能を改善していくモデルとして新たな画像を生成する。
具体的には、Dは元のデータのみを真と判断するために努め、GはDが偽と判別できないように偽データを生成し、両モデルの性能が共に向上するようになり、最終的にはDが実データと偽データとを区別できなくなる。また、cGANは、ランダムに生成するものではなく、所望のものを生成し得ることが既存のGANとは異なる点である。
一方、再度、図1を参照すると、製造端末300は、デザイン生成装置100で生成されたデザインを受信し、デザインした製品を製造する現場のコンピューター装置である。別の例において、製造端末300は、生成されたデザインを受信し、これを広報するインフルエンサーの端末であり得る。この場合、インフルエンサーは、SNSページ等を通じて受信されたデザインを多様に変形及び加工して製作中のコンテンツに活用することができる。
製造端末300が生成されたデザインを受信し、直接デザイン製品を製造しようとする場合、デザインの形状や柄、各領域とその連結関係等、デザイン要素が明確でなければならない。すなわち、高解像度のデザインが生成され、製造端末300に提供される必要がある。このために、デザイン生成装置100は、一次的に生成されたデザインに対する最終生成過程を通じて、デザイン画像の解像度を管理することができる。
再度、図2を参照すると、スタイル生成器210を通じて生成されたデザイン画像の解像度が低いという問題が発生した場合、ポスト生成器230を用いて高解像度のデザイン画像が生成され得る。一例として、ポスト生成器230もcGANが用いられ得る。すなわち、本発明の実施形態によると、スタイル生成器210と別のニューラルネットワークを活用して、最終デザイン画像250を生成することができる。特に、最終デザイン画像250は、テキスト202を入力するユーザの意図による優先順位を有する画像セット(set)を含むことができる。ポスト生成器230は高解像度変換器と呼ぶことができる。
本発明の実施形態によるデザイン生成システム10は、図1及び上述した記載で限定されない。
次に、図3を参照して、デザイン生成装置100の機能及び動作についてより具体的に説明する。図3は、本発明の他の実施形態による学習された条件に基づくデザイン生成装置のブロック図である。
図3を参照すると、デザイン生成装置100は、1つ以上のプロセッサ101と、外部デバイスと有・無線通信するネットワークインターフェース102と、プロセッサ101によって行われるコンピュータプログラムをロードするメモリー103と、コンピュータプログラムを保存するストレージ104と、ディスプレイ107と、を含むことができる。
プロセッサ101は、デザイン生成装置100の各構成の全体的な動作を制御する。プロセッサ101は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、MCU(Micro Controller Unit)、AP(Application Processor)、AP(Application Processor)、又は本発明の技術分野において周知の任意の形態のプロセッサを含んで構成され得る。さらに、プロセッサ101は、本発明の実施形態による方法を行うための少なくとも1つのアプリケーション又はプログラムに対する演算を行うことができる。デザイン生成装置100は、1つ以上のプロセッサを備えることができる。
ネットワークインターフェース102は、デザイン生成装置100の有・無線ネットワーク通信をサポートする。ネットワークインターフェース102は、公衆通信網であるインターネットの他に、様々な通信方式をサポートすることもできる。このために、ネットワークインターフェース102は、本発明の技術分野において周知の通信モジュールを含んで構成され得る。ネットワークインターフェース102は、プリンタ装置のような物理的出力手段との接続を提供し、本発明の実施形態によるユーザインターフェースが反映されたコンテンツを出力することをサポートすることができる。
本発明の実施形態によると、デザイン生成装置100は、ネットワークインターフェース102を用いて画像及びテキストを含む情報を受信することができる。
メモリー103は、様々なデータ、命令及び/又は情報を保存する。メモリー103は、本発明の実施形態による方法を行うためにストレージ104から1つ以上のプログラム105をロードすることができる。メモリー103は、書き込み及び読み取りが可能であり、読み出し又は書き込み速度が速い揮発性メモリー(volatile memory)で構成することができる。一例として、メモリー103にRAM、DRAM、又はSRAMのうち少なくとも1つを備えることができる。
ストレージ104は、前記1つ以上のプログラム105及び生成されたデザイン画像データベース106を非一時的に保存することができる。図2において、前記1つ以上のプログラム105の例として、デザイン生成S/W(以下、デザイン生成ソフトウェア)105が図示されている。
ストレージ104は、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリー等のような不揮発性メモリー、ハードディスク、着脱式ディスク、又は本発明が属する技術分野において周知の任意の形態のコンピューター読み取り可能な記録媒体を含んで構成することができる。
本発明の実施形態によると、デザイン画像データベース106は、テキスト、画像のそれぞれに関する情報のみならず、テキストと画像とのマッチング関係を保存することができる。本発明の実施形態によるデザイン画像データベース106は、製造端末300等に提供するために生成されたデザインを保存したものであり得る。したがって、製造端末300に提供されるデザインは、予めランダムに生成され、保存された画像ではなく、デザイン生成装置100から入力されたテキストに応答してリアルタイムで生成されたデザイン画像を含む。
一方、本発明の実施形態によるデザイン生成プログラム105は、デザイン生成装置100による様々な機能を実施するために様々なモジュールを含むことができる。以下、本明細書においてモジュールは、ソフトウェアの機能別の単位を意味し得る。
図4は、本発明のいくつかの実施形態で参照されるデザイン生成ソフトウェアの構造の例示図である。以下、図4において、デザイン生成プログラム105の各モジュールについて説明する。
図4を参照すると、デザイン生成プログラム105は、画像取得モジュール115、テキスト認識モジュール125と、取得された画像と抽出されたテキストとをマッチングするための画像テキストマッチングモジュール135と、上述のcGANに基づくデザイン生成モジュール145と、生成された画像に対する高解像度画像生成を行う解像度変換モジュール155とを含むことができる。
例えば、画像取得モジュール115は、図1の画像50をクロリング、スクレイピング、パーシングのうち少なくとも1つの方法で取得し、それに関する特徴を学習することによってデザイン生成装置100が取得した画像に関する種類、色、形状等のデザイン要素を識別することができる。このために、画像取得モジュール115は機械学習モデルを含み得る。
一例において、特徴の学習は、図3のプロセッサ101による機械学習モデルが駆動されることによって、取得された多数の画像上の特徴点を抽出することができる。ここで、機械学習モデルは、人工ニューラルネットワークを含むことができ、畳み込みニューラルネットワーク(convolution neural network:CNN)、オートエンコーダ(auto encoder)、フィードフォワードニューラルネットワーク(feedforward neural network)、放射ニューラルネットワーク(radial basis function network)、コホネンの自己組織化ネットワーク(kohonen self-organizing network)、循環ニューラルネットワーク(RNN:recurrent neural network)のうち少なくとも1つを含んで構成され得る。
例えば、機械学習モデルが畳み込みニューラルネットワークによるものである場合、プロセッサ101により機械学習モデルが駆動されることによって、図1のワンピース画像50の特徴値がフィルタリングされ、畳み込み演算によって多数の画像ピクセルのうち、特定の値のみが新たに取られる。これを繰り返し学習することによって、所望の特徴点を抽出することができる。
前記特徴点は、プロセッサ101がデザイン生成プログラム105を行うことによって把握できる衣類の一部であって、例えば、ワンピース形状の輪郭線、ワンピース外面の柄パターン、ベルト部分等に対応する点であり得る。具体的には、前記特徴点は、ワンピース衣類の形状及び/又は柄パターンを構成する線又は面積上に位置する点であり得る。
本発明の実施形態によると、デザイン生成装置100は、抽出された特徴点に基づいて方向性及び類似性を分析することによって、それぞれの特徴点を関連付けることができる。すなわち、デザイン生成装置100は、各特徴点を関連付けて連結することによって、ラインを生成することができ、生成されたラインに基づいて、デザインの対象、例えば、衣類の種類を識別することができる。
テキスト認識モジュール125は、デザイン生成装置100が図1の情報30上のテキスト70を抽出するようにする。例えば、テキスト70は、ショッピングモールのウェブページ上のテキストであり、ページ提供者による商品説明テキスト及び製品購入者のレビューテキストを含むことができる。
テキスト認識モジュール125は、例えば、前記商品説明テキスト及びレビューテキスト上において、デザイン生成装置100がワンピース、ドット、パターン、ベルト、Aスタイル、セミスーツ、BLACK/WHITE、SSシーズンのようなテキストを抽出することができる。抽出されたテキストは、前記商品説明テキスト及びレビューテキスト上において、共通して登場するテキストであり得る。別の例として、抽出されたテキストは、前記商品説明テキスト及びレビューテキスト上にそれぞれ属し、相互の意味的な関係を有するテキストであり得る。さらに、抽出されたテキストは、デザインに関して頻繁に露出される単語、テキスト入力者によってタグ付けされた単語、デザインに関する評価、肯定的又は否定的な反応のテキストを含み得る。
一実施形態において、テキスト認識モジュール125は、抽出されたテキストをエンコーディングするネットワークを含み得る。前記エンコーディングネットワークは、4個のレイヤーで構成されており、下位2個のレイヤーは文章単位の表現のために文章の境界内にネットワークが限定されており、上位2個のレイヤーは文書単位の表現であり、文章の境界に限定されず、文書全体を連結して学習するように、前記エンコーディングネットワークが実現され得る。例えば、前記エンコーディングネットワークは、BERT(Bidirectional Encoder Representations from Transformers)に基づく言語モデルであり得る。前記BERTは、双方向トランスフォーマ構造を用いて、33億個のワードを含むコーパスで学習した言語モデルである。
一実施形態によると、テキスト認識モジュール125は、テキスト及び画像が共に反映された図1の情報30のような画像及びテキストを含む文書を前記コーパスのような学習対象として学習することができる。このように、情報30上の画像50の特徴とマッチングされたテキスト70を学習することによって、本発明の実施形態による生成対象デザインの条件を学習することができる。例えば、学習される条件は、デザインの対象となる画像にマッチングされるカテゴリーに関するテキスト、デザインの対象に反映される確率の高い形状、柄に対応するテキストであり得る。すなわち、図1の画像50にマッチングされたテキスト「ワンピース」が画像50のカテゴリーで学習することができる。また、「ドット」柄がカテゴリーである「ワンピース」に適用される柄であることを学習することができる。
一実施形態によると、テキスト認識モジュール125は、デザイン対象が属するドメインの特徴を考慮し、対象がどのカテゴリーに属するかを判別する機能を学習するように構成され得る。例えば、デザイン対象が衣類であり、ドメインがファッション産業であり、カテゴリーが衣類の種類であると決定された場合、図1のテキスト70のうち、デザイン生成装置100は、テキスト「ラップドレス」がカテゴリー「ワンピース」に属するものと判別することができる。
デザイン生成装置100は、テキストをベクトル化したベクトル値がカテゴリーにマッチングされるか否かを判断し、マッチングされる場合、これを反映してデザインを生成することができる。一方、デザイン生成装置100は、テキストをベクトル化したベクトル値がカテゴリーにマッチングされない場合、例えば、「ズボンの後ろポケット」のベクトル値がワンピースのカテゴリーにマッチングされない場合、これに変換値を適用し、変換ベクトル値を生成することができる。この場合、デザイン生成装置100は、ワンピースのスカート部分のポケットデザインをワンピースに適用することができる。前記ベクトル変換値は、カテゴリーに属するワンピースのベクトル値に基づいて生成することができる。
画像テキストマッチングモジュール135は、取得された画像を学習した結果、識別された特徴と、抽出されたテキストの言語モデルによるベクトル化結果と、をマッチングする。
例えば、画像テキストマッチングモジュール135によって、デザイン生成装置100は、画像取得モジュール115による画像の特徴に関する学習結果と、テキスト認識モジュール125で学習されたテキストに対する解析とを1つに合わせるディープラーニングモデルを含むことができる。これによって、デザイン生成装置100は、生成対象デザインの条件を生成することができる。生成される条件は、条件セット、条件付きと呼ぶことができる。
このとき、生成された条件は、カテゴリーを形成することができる。生成された条件が「ワンピース」である場合、画像テキストマッチングモジュール135は、テキストワンピースをカテゴリーに反映し、ワンピースのカテゴリーは、シャツドレス、ティードレス、セータードレス、ラップドレス、マキシドレス、スモックドレス、スケータードレス、エンパイアドレス等、様々なワンピース関連画像特徴及び/又はテキスト埋め込み情報をデザイン生成過程に条件として反映することができる。
一方、カテゴリーがデザイン生成の条件である場合を主に説明したが、本発明の実施形態はこれに限定されず、同様にテキストも条件として生成デザインに反映することができる。
デザイン生成モジュール145は、生成された条件下で、入力されたテキストを反映したデザインを生成するようにデザイン生成装置100を制御する。
GANは、ランダムに与えられるベクトルから始めて画像を生成する技術であり、ランダムな画像を生成する方式であるが、結果画像を制御することが困難であるという限界を有している。これを改善し、ランダムな画像ではなく、スタイルのベクトルを指定し、これを通じて、画像生成を制御するstyleGANが提案されている。
このような観点から、本発明の実施形態によると、デザイン生成装置100は、条件付き入力に反応して制約条件を満たすデザインを生成することができる。すなわち、本発明の実施形態によるデザイン生成装置100は、生成対象デザインにスタイルが適用されるように制御し、ユーザが意図したところが十分に反映されたデザインを生成することができるようにする。
このために、テキスト認識モジュール125は、上述のエンコーディングネットワークのエンコーディング結果をスタイルベクトルとして用いてデザイン画像を生成することができるようにネットワークを接続することができる。スタイルベクトルは、上述した言語モデルによるテキストのベクトル化結果であり、生成対象画像にスタイルを適用する要素である。
本発明の一実施形態によると、画像テキストマッチングモジュール135において、前記スタイルベクトルとして512-dimension vectorが用いられ、8個のFCレイヤー(fully-connected layer)をマッピングネットワークとして用い、最後のデザイン画像生成ネットワークとして18個のCNNレイヤーを用いることができる。
これによって、カテゴリーが衣類の種類である「ワンピース」と決定された場合、デザイン生成装置100は、入力されたテキストをワンピースに関連するキーワードとして認識し、ワンピースデザイン画像に入力されたテキストに基づくスタイルベクトル値が反映され、デザインを生成することができる。例えば、デザイン生成装置100において、「ワンピース」カテゴリーが選定され、色関連キーワードである「黒」、柄関連キーワードである「ドット」というテキスト入力されると、入力されたテキストのスタイルベクトル値が反映され、黒のドット柄でプリントされたワンピースデザイン画像を生成することができる。
一方、本発明の実施形態によると、テキスト認識モジュール125は、テキスト画像がデザイン生成装置100において一つの色ではなく、複数の色が混合されたデザインを生成するようにすることもできる。前記の例において、テキスト入力が「黒」、「ドット」、「白」が入力された場合、テキスト認識モジュール125は、「黒」と「ドット」との関係、テキスト「白」の入力順序を考慮して、スタイルベクトルを生成する。画像テキストマッチングモジュール135は、デザインカテゴリーに生成されたスタイルベクトルを条件として反映する。デザイン生成モジュール145は、黒のドット柄を有する白いワンピースのデザイン画像を生成するようにする。
次に、解像度変換モジュール155は、生成された画像に対する高解像度画像生成を行うことができる。解像度変換モジュール155は、図2のポスト生成器230の機能をサポートすることができる。
本発明の実施形態によると、解像度変換モジュール155は、cGANの結果物を高解像度画像として生成する画像を高解像度化するネットワークを含むことができる。前記画像を高解像度化するネットワークは、例えば、SRGAN(Super-Resolution Generative Adversarial Network)であり得る。
一般に、画像生成には膨大なコンピューティングパワーが必要であるため、ディープラーニングネットワークを用いるとき、演算量を低減するために画像解像度は256×256ピクセル又は512×512ピクセルに制限される。しかしながら、低解像度で結果物を生成する場合、ディテールを確認しようとするファッション領域でGANを用いることは困難である。これを解決するために、本発明の実施形態によると、デザイン生成装置100は、解像度変換モジュール155のSRGANを用いて、cGAN生成ネットワークの結果物を高解像度の画像に変換することができる。
具体的には、デザイン生成装置100は、解像度変換モジュール155に含まれた前記SRGANのような画像を高解像度化するネットワークを活用することにより、オリジナル画像及び生成デザイン画像上のピクセルに基づく比較ではなく、抽出された特徴量に基づく類似性を反映し、デザインイメージを生成することができる。例えば、解像度変換モジュール155は、ピクセル単位の類似性に基づくことなく、VGGNETを用いたエンコ―ディング結果の類似性を学習性能として用いて、実際に人間の肉眼で見ても、非常に類似した高解像度のデザイン画像が生成されるようにすることができる。
再度、図3を参照すると、デザイン生成装置100は、ディスプレイ107を含むことができる。ディスプレイ107は、本発明が属する技術分野で広く知られているディスプレイ107を含むことができる。ディスプレイ107は、デザイン生成装置100によって生成されたデザイン画像及び/又は高解像度に変換された画像を出力することができる。ディスプレイ107がタッチスクリーンで構成されている場合、出力部のみならず、入力部としても機能することができ、この場合、デザイン生成装置100は、上述したカテゴリーの選定及びテキスト入力のためのインターフェースをディスプレイ107を通じて提供することができる。
図5は、本発明の他の実施形態による学習された条件に基づくデザイン生成方法のフローチャートである。また、図6は、本発明の他の実施形態による取得された画像と、抽出されたテキストとの間のマッチング方法のフローチャートである。
以下、図5及び図6で参照された各ステップは、デザイン生成装置100によって実行され、具体的には、プロセッサ101がデザイン生成プログラム105を演算することによって実行できる。
図5を参照すると、デザイン生成装置100は画像を取得することができる(S10)。取得された画像は、図1で参照されたように情報30に含まれた画像であり得る。例えば、ファッションデザイン製品、特にワンピースの画像であり得る。
デザイン生成装置100は、図1の情報30上でテキスト認識モジュール125を通じてテキストを抽出し、画像テキストマッチングモジュール135を用いて抽出されたテキストと取得された画像とをマッチングすることができる(S20)。
図6を参照すると、前記マッチングステップ(S20)において、デザイン生成装置100は、テキストと画像とのペアに関する学習を行うことができる(S610)。テキストと画像とのペアは、例えば、図1の情報30上のテキスト70及び画像50からなるペアであり得る。
ステップ(S610)の学習過程において、図1の画像50を学習するによって分析されたワンピースの少なくとも一部を構成するデザイン特徴について、高い頻度で抽出されるテキストを抽出することができる。例えば、デザイン生成装置100は、学習された様々な文書において、ワンピース画像とそれにマッチングされたテキスト「ドット」が高い頻度で抽出される場合、ワンピース画像上のデザイン要素が「ドット」であると解釈することができる。これにより、画像50のワンピースに関連して「ドット」というテキストをマッチングすることができる 。
本発明の実施形態は、クローリング、スクレイピング、及び/又はパーシングの対象となる文書から取得された画像と抽出されたテキストとのペアに関し学習した結果、予め設定された基準回数以上の抽出頻度を示すワードを識別し、これをトレンドワードで決定することができる。
デザイン生成装置100は、ステップ(S610)の学習過程において、トレンドワードの抽出が行われるか否かを判断する(S620)。トレンドワードが存在し、抽出された場合、デザイン生成装置100は、トレンドワードと画像とのペアに関する学習を行うことができる(S630)。
例えば、図1の情報30と類似したページに対するクローリングが多数行われるか、或いはパーシングの結果、前記ページ上の画像50が複数取得されれば、ウェブページ上にドット柄のワンピースの情報量が多いためであり得る。これは、ワンピースデザインのうち、ドット柄のデザインに対する製作及び販売の増加、消費者の関心増加等、トレンド反映による結果であり得る。この場合、テキスト「ドット」は、ページ上の製品説明又はユーザのレビュー等の記載上において頻繁に登場し、テキスト抽出時、高い順位の抽出回数で示され得る。
デザイン生成装置100は、ステップS630において、取得されたワンピース画像及びトレンドワードである「ドット」のペアを学習することができ、この過程において、ワンピース画像上のドットデザインの特徴を識別することができる(S640)。すなわち、テキスト「ドット」に対するワンピース画像はドット柄がデザインされているため、学習結果、デザイン生成装置100は、ワンピースのデザイン要素であるドット柄を特徴情報として識別するようになる。
さらに、デザイン生成装置100は、ステップS630の学習を通じて、ドット柄のうち、ドットの配置、ドットの個数、ドットの面積(サイズ)、ドットの色に関する特徴を識別することもできる。これにより、ドット柄のワンピースの中でも最新のトレンドに応じたデザイン特徴情報を識別することができる。
さらに別の実施形態では、デザイン生成装置100は、高い順位の抽出回数のみならず、抽出増加率が高いテキストをトレンドワードとして決定することもできる。
一方、ステップS620において、トレンドワードが抽出されない場合が発生し得る。これは、市場をリードするデザイントレンドが形成されていないか、又は特定の製品のデザインを表す用語が確立されていない場合であり得る。このような場合、デザイン生成装置100は、トレンドワードを抽出する基準を調整することができる(S650)。
一例として、デザイン生成装置100は、テキストの抽出に対する予め設定された基準回数を変更することができる。
別の例として、デザイン生成装置100は、抽出テキスト間の関係により、トレンドワードを抽出するように基準を調整することもできる。例えば、単独で抽出される回数は少ないが、抽出される回数が比較的高い複数のテキストが存在する場合、デザイン生成装置100は、複数のテキストをそれぞれトレンドワードとして決定し、抽出することもできる。前記の例において、ワンピースの柄で「ドット」が抽出される回数が少ないが、「ドット」及び「水滴」が比較的に頻繁に抽出される場合、デザイン生成装置100は、ドット及び水滴が同一のデザイン特徴を表現するものと判断し、ステップ(S630)の学習を行うこともできる。
別の例として、デザイン生成装置100は、ステップ(S610)のテキスト画像ペアに関する学習量が増加するようにトレンドワードの抽出スケジュールを調節することにより、トレンドワード抽出基準を調整することもできる。
ステップS640のデザイン特徴情報の識別を通じて、デザイン生成装置100は、デザインの特徴情報を意味するテキストをデザイン生成の条件として学習することができる。
再度、図3を参照すると、デザイン生成装置100は、生成の対象となるデザインに関する条件を学習することができる(S30)。ステップ(S30)の学習により、デザイン生成装置100は、デザインのカテゴリーを生成することができる。例えば、デザイン生成装置100は、ワンピース、ジャケット、ズボン等の衣類の種類を意味するテキストを識別し、前記テキストをカテゴリーとして生成することができる。
また、デザイン生成装置100は、前記衣類の種類に属する細部のデザイン分類がカテゴリーに従属することを学習することができる。例えば、デザイン生成装置100は、図1の画像50上のドット柄のワンピースは、カテゴリー「ワンピース」に属するものとして学習することができる。これにより、ワンピースのカテゴリーを選択し、テキスト「ドット」を入力すると、デザイン生成装置100は、画像50上のドット柄ワンピースのようなデザインを生成することができる。
デザイン生成装置100は、入力テキストに対応する条件を識別することができる(S40)。前記の例において、テキスト「ドット」が入力されると、デザイン生成装置100がドットに対応するデザイン条件を識別することができる。すなわち、デザイン生成装置100は、テキスト「ドット」が属するカテゴリー及びテキストに関するベクトル情報を識別することができる。
デザイン生成装置100は、識別された条件に基づいてデザインセットを生成することができる(S50)。このとき、生成されたデザインセットがデザイン生成装置100のディスプレイ107を通じて出力され得、図6のステップ(S630)で学習されたトレンドを反映して表示される生成されたデザインが位置する順序が決定され得る。デザインセットは、生成されたデザインを含むデザイン画像のグループであり、ディスプレイ107の表示領域、又は予め設定されたユーザのインターフェースによって画面に表示されるデザイン画像の個数を決定することができる。
デザイン生成装置100は、生成されたデザインを高解像度の画像に変換することができる(S60)。このために、図4の解像度変換モジュール155は、デザイン生成装置100が、ピクセルに基づく類似度ではなく、デザイン特徴情報の類似度に基づいて生成デザインの解像度を変換するようにする。
図7は、本発明のいくつかの実施形態で参照される、画像及びそれにマッチングされるテキストペアの学習方法を説明するための例示図である。図8は、本発明のいくつかの実施形態で参照されるトレンドワードの選定プロセスを説明するための図である。
以下、図7を参照すると、デザイン生成装置100は、多数の画像セット700を取得することができる。デザイン生成装置100は、図1の情報30のようなページ上の画像を多数取得し、これから画像セット700を構築し、これをデザインの特徴抽出のための画像学習対象として決定することができる。
デザイン生成装置100は、画像セット700上の画像701、702、703、704を学習することによって、ワンピースのデザイン特徴を識別することができる。
デザイン生成装置100は、前記情報30のようなページ上のテキストを多数抽出することができる。前記ページがブログ、ショッピングモールのようなページであり、デザイン対象製品に関する説明情報がある場合、デザイン生成装置100は、説明情報からテキストを抽出してテキストセット710を生成することができ、ショッピングモールのレビュー情報720が存在する場合、レビュー情報720上でもテキストを抽出することができる。
デザイン生成装置100は、テキストセット710及びレビュー情報720から抽出されたテキスト上で予め設定された基準回数以上の抽出テキストを識別することができる730。
図7において、ワンピース(ONE PIECE)、ドレス(DRESS)、ワンピースドレス(ONE PIECE DRESS)、スリーブ(Sleeve)、スリーブレス(Sleeveless)、黒(Black)、黒灰色(Dark Gray)、綿(Cotton)、リネン(Linen)、AAスタイル(AA Style)、AAライン(AA Line)等のワードが抽出された場合を例示した。
デザイン生成装置100は、説明情報を通じて抽出されたテキストセット710をレビュー情報720と共に学習することができる。学習した結果、製品の説明のための情報にあるテキストがレビューにも用いられるか、或いは製品説明に記載されたテキストがレビューに反映されたテキストと類似度が高いか否かを確認し、デザイン生成装置100は当該テキストを製品カテゴリーで学習することができる。
図7を参照すると、ワンピースのカテゴリーについて、AA、Double A、A1のようなテキストが頻繁に抽出されるか、抽出量が増加するものと判定され、トレンドワード730として決定され得る。例えば、AA、Double A、A1等は、「ドット」のようにワンピースのデザイン特徴に関するデザイン用語であり得る。
図8を参照すると、画像701に対し時間T1でワンピースのカテゴリーに対し、Black、DRESS、Sleeveless、AA、A1、Double Aが予め設定された基準回数x以上抽出された場合がグラフ801に例示されている。特に、時間T1で、AA、A1、Double Aがトレンドワードとして決定された。
その後、時間T2で、デザイン生成装置100が画像701に対し、Green、DRESS Sleeveless、AA、DA、G.Patternが予め設定された基準回数x以上抽出された場合がグラフ802に例示されている。デザイン生成装置100、特に、時間T2で、Green、DA、G.Patternがトレンドワードとして決定された。
時間T1から時間T2への変化により、Blackのテキストは、抽出回数上位テキストから除外され、Greenが追加された。AAは抽出量が低減し、A1は除外された。これは、AA、A1の用語が持続的に用いられていないことを意味することができる。さらに、Double AはDAに変更されており、これは、ユーザにより、用いられるデザイン用語が変更されていることを意味し得る。デザイン生成装置100は、このような抽出テキストの変化を学習し、画像701のカテゴリーワンピースに対するトレンド変化を識別することができる。
さらに、デザイン生成装置100は、新に追加されたGreen及びG.Patternの新規抽出を通じて、画像701のワンピースのカテゴリーに対するトレンド変化を感知し得る。例えば、時間T1から時間T2への変化に季節の変化による流行色を反映することができ、このようなトレンド変化をデザイン生成装置100が抽出テキストの変化に基づいて学習することができる。
図9は、本発明のいくつかの実施形態で参照される入力テキストに応答してデザインを生成するインターフェースの例示図である。
図9を参照すると、デザイン生成装置100はインターフェース900を生成し、図3のディスプレイ107を通じて出力することができる。図9において、インターフェース900は、テキスト入力ウィンドウ903とデザイン画像出力部905とを含むことができる。
デザイン生成装置100は、テキスト入力ウィンドウ903のテキストを条件として反映したデザイン画像905を生成することができる。
図10は、本発明のいくつかの実施形態で参照されるポスト生成器を通じた高解像度デザイン画像生成結果の例示図である。
図10において、オリジナル画像1000、生成デザイン画像1100、及び解像度変換デザイン画像1110が示されている。
図10を参照すると、オリジナル画像1000は、構成要素として背景1(1003)、背景2(1005)、デザイン要素1(1001)及びデザイン要素2(1007)を含むことができる。生成デザイン画像1100は、背景1(1103)、背景2(1105)、デザイン要素1(1101)、及びデザイン要素2(1107)を含むことができる。
解像度変換デザイン画像1110は、背景1(1113)、背景2(1115)、デザイン要素1(1111)、及びデザイン要素2(1117)を含むことができる。
デザイン生成装置100は、オリジナル画像1000を学習し、デザイン画像1100を生成することができる。このとき、画像1100から分かるように、背景1(1103)及び背景2(1105)が解像度の問題により歪んでおり(smoothing)、デザイン要素1(1101)及びデザイン要素2(1107)もオリジナルとの差が生じたことを確認することができる。
生成デザイン画像1100は、オリジナル画像1000に対比して生成されたものであり、デザインにおける相違は生じ得るが、解像度の問題は、デザイン画像1100が実際に存在するオリジナル画像とはみられず、ユーザにとって、画像処理を通じて生成されたものと識別するようにする。
解像度変換デザイン画像1110を参照すると、背景2(1115)のような解像度の問題があるが、オリジナル画像1000に基づいて生成された画像であるにもかかわらず、実際のオリジナル画像と類似した解像度を示す。デザイン生成装置100は、解像度変換モジュール155を用いて、オリジナル画像1000のピクセル単位の比較ではなく、デザイン特徴の比較を通じた学習を行うことによって、解像度変換デザイン画像1110を生成することができる。
ここまで添付の図面を参照して説明された本発明の実施形態による方法は、コンピューター可読コードで実現されたコンピュータプログラムの実行によって行われ得る。前記コンピュータプログラムは、インターネット等のネットワークを通じて第1のコンピューター装置から第2のコンピューター装置に送信され、前記第2のコンピューター装置にインストールされ得、それによって前記第2のコンピューター装置に用いられ得る。前記第1のコンピューター装置及び前記第2のコンピューター装置は、サーバ装置、デスクトップPCのような固定式コンピューター装置、ラップトップパソコン、スマートフォン、タブレットPCのようなモバイルコンピューター装置を全て含む。
以上、添付の図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野で通常の知識を有する者は、本発明がその技術的思想や必須の特徴を変更することなく、他の具体的な形態で実施され得ることが理解できる。したがって、上述した実施形態は全ての点で例示的なものであり、限定的なものではないと理解すべきである。
Claims (5)
- ネットワークを通じてデザイン生成装置に画像及びテキストを含む情報を提供する外部端末と、
前記ネットワークを通じて受信した情報から画像を取得し、取得した画像の特徴を学習し、前記情報上のテキストを抽出し、抽出したテキストを学習した画像の特徴とマッチングすることによって、前記画像に基づき、生成しようとするデザインの条件を学習し、ユーザーがデザイン画像を生成するためのユーザーテキストを入力すると、前記ユーザーテキストに対応する条件を識別し、前記識別された条件に基づくデザイン画像を生成するデザイン生成装置と、
生成されたデザインを受信し、デザイン製品を製造するための製造端末と、
を含み、
前記デザイン生成装置は、
生成されたデザイン画像の特徴を抽出し、取得された画像と生成されたデザイン画像上のピクセルに基づく比較ではなく、取得された画像に対し、学習された特徴と生成されたデザイン画像の抽出されたデザイン特徴との比較を通じて、取得された画像に対して学習された特徴に比べ、生成されたデザイン画像の抽出されたデザイン特徴に対するエンコーディング結果の類似性を学習することによって、生成されたデザイン画像に対する解像度変換を行い、解像度変換を通じて最終デザイン画像を生成する、
学習された条件に基づくデザイン生成システム。 - 前記デザイン生成装置は、
抽出されたテキストを学習された画像の特徴にマッチングすることによって、抽出されたテキストのうち、学習された画像の特徴に対応するテキストを前記画像に基づいて生成しようとするデザインの条件で学習し、前記条件で学習されたテキストを前記画像の特徴を含む製品のカテゴリーとして決定する、
請求項1に記載の学習された条件に基づくデザイン生成システム。 - 前記デザイン生成装置は、前記ユーザーテキストをベクトル化し、ベクトル化の結果、前記ユーザーテキストのベクトル値を生成し、前記カテゴリーに前記ベクトル値がマッチングするか否かを判断し、前記カテゴリーに前記ベクトル値がマッチングする場合、前記カテゴリー及び前記ベクトル値を前記ユーザのテキストに対応する条件で識別する、請求項2に記載の学習された条件に基づくデザイン生成システム。
- 前記デザイン生成装置は、
前記カテゴリーに前記ベクトル値がマッチングしない場合、前記カテゴリー及び前記ベクトル値にスタイル変数を反映し、前記カテゴリーにマッチングする変換ベクトル値を抽出し、前記変換ベクトル値及び前記カテゴリーを前記条件で識別する、請求項3に記載の学習された条件に基づくデザイン生成システム。 - 前記ベクトル値は、前記カテゴリーではない他のカテゴリーにマッチングする第1のベクトル値であり、
前記デザイン生成装置は、
前記第1のベクトル値に、前記カテゴリーにマッチングする第2ベクトル値に基づいて、前記スタイル変数を反映し、前記スタイル変数を反映することによって、前記第1のベクトル値で前記カテゴリーにマッチングする前記変換ベクトル値を生成し、
前記他のカテゴリーにマッチングする第1のベクトル値に前記スタイル変数を反映することによって、生成された前記カテゴリーにマッチングする前記変換ベクトル値を前記条件として識別し、識別された条件に基づくデザイン画像を生成する、
請求項4に記載の学習された条件に基づくデザイン生成システム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200186866A KR102473736B1 (ko) | 2020-12-29 | 2020-12-29 | 학습된 조건 기반의 디자인 생성 방법 및 그 장치 |
PCT/KR2020/019350 WO2022145525A1 (ko) | 2020-12-29 | 2020-12-29 | 학습된 조건 기반의 디자인 생성 방법 및 그 장치 |
KR10-2020-0186866 | 2020-12-29 | ||
JP2023539295A JP7477727B2 (ja) | 2020-12-29 | 2020-12-29 | 学習された条件に基づくデザイン生成方法及びその装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023539295A Division JP7477727B2 (ja) | 2020-12-29 | 2020-12-29 | 学習された条件に基づくデザイン生成方法及びその装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024086945A true JP2024086945A (ja) | 2024-06-28 |
Family
ID=82260863
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023539295A Active JP7477727B2 (ja) | 2020-12-29 | 2020-12-29 | 学習された条件に基づくデザイン生成方法及びその装置 |
JP2024067418A Pending JP2024086945A (ja) | 2020-12-29 | 2024-04-18 | 学習された条件に基づくデザイン生成システム |
JP2024067417A Pending JP2024086944A (ja) | 2020-12-29 | 2024-04-18 | 解像度変換を提供するデザイン生成装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023539295A Active JP7477727B2 (ja) | 2020-12-29 | 2020-12-29 | 学習された条件に基づくデザイン生成方法及びその装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024067417A Pending JP2024086944A (ja) | 2020-12-29 | 2024-04-18 | 解像度変換を提供するデザイン生成装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20240046529A1 (ja) |
EP (1) | EP4273735A4 (ja) |
JP (3) | JP7477727B2 (ja) |
KR (4) | KR102473736B1 (ja) |
CN (1) | CN116710910B (ja) |
WO (1) | WO2022145525A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102533499B1 (ko) * | 2022-10-13 | 2023-05-17 | 주식회사 디자인 홈파베르 | 인공지능 기반 맞춤형 인테리어 디자인 추천 플랫폼 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4046859B2 (ja) * | 1998-07-08 | 2008-02-13 | キヤノン株式会社 | 画像処理装置及び方法及び記憶媒体 |
US11288723B2 (en) * | 2015-12-08 | 2022-03-29 | Sony Corporation | Information processing device and information processing method |
US10140392B1 (en) | 2017-06-29 | 2018-11-27 | Best Apps, Llc | Computer aided systems and methods for creating custom products |
KR102458338B1 (ko) * | 2017-11-30 | 2022-10-25 | 삼성전자주식회사 | 컴퓨팅 장치의 정보 입력 방법 및 그 컴퓨팅 장치 |
KR102045017B1 (ko) * | 2018-02-12 | 2019-11-29 | 송우상 | 이미지/텍스트 기반 디자인 생성 장치 및 방법 |
KR102108460B1 (ko) * | 2018-04-17 | 2020-05-07 | (주)레몬클라우드 | 상품 벡터를 이용한 상품 분류 방법 및 장치 |
US10963744B2 (en) | 2018-06-27 | 2021-03-30 | International Business Machines Corporation | Cognitive automated and interactive personalized fashion designing using cognitive fashion scores and cognitive analysis of fashion trends and data |
CN109271537B (zh) * | 2018-08-10 | 2021-11-23 | 北京大学 | 一种基于蒸馏学习的文本到图像生成方法和*** |
KR20200084425A (ko) * | 2018-12-24 | 2020-07-13 | 주식회사 포티스 | 신경망을 이용한 패션 디자인 지원을 위한 서비스 제공 장치 및 방법 |
KR20200092453A (ko) * | 2019-01-04 | 2020-08-04 | 삼성전자주식회사 | 키워드에 기초하여 이미지를 생성하는 이미지 생성 장치 및 이미지 생성 방법 |
JP7263864B2 (ja) | 2019-03-20 | 2023-04-25 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理プログラム及び製品開発システム |
KR102189373B1 (ko) * | 2019-08-14 | 2020-12-11 | 민 정 고 | 이미지 및 텍스트를 생성하는 장치 및 방법 |
CN110751698B (zh) * | 2019-09-27 | 2022-05-17 | 太原理工大学 | 一种基于混和网络模型的文本到图像的生成方法 |
CN110866958B (zh) * | 2019-10-28 | 2023-04-18 | 清华大学深圳国际研究生院 | 一种文本到图像的方法 |
KR102211400B1 (ko) | 2019-11-08 | 2021-02-03 | 송우상 | 이미지/텍스트 기반 디자인 생성 장치 및 방법 |
CN111260740B (zh) * | 2020-01-16 | 2023-05-23 | 华南理工大学 | 一种基于生成对抗网络的文本到图像生成方法 |
CN111325660B (zh) * | 2020-02-20 | 2021-01-29 | 中国地质大学(武汉) | 一种基于文本数据的遥感图像风格转换方法 |
CN111968193B (zh) * | 2020-07-28 | 2023-11-21 | 西安工程大学 | 一种基于StackGAN网络的文本生成图像方法 |
-
2020
- 2020-12-29 EP EP20968074.3A patent/EP4273735A4/en active Pending
- 2020-12-29 KR KR1020200186866A patent/KR102473736B1/ko active IP Right Grant
- 2020-12-29 US US18/257,301 patent/US20240046529A1/en active Pending
- 2020-12-29 JP JP2023539295A patent/JP7477727B2/ja active Active
- 2020-12-29 WO PCT/KR2020/019350 patent/WO2022145525A1/ko active Application Filing
- 2020-12-29 CN CN202080108265.7A patent/CN116710910B/zh active Active
-
2022
- 2022-10-28 KR KR1020220141358A patent/KR102619691B1/ko active IP Right Grant
- 2022-11-28 KR KR1020220161953A patent/KR102595691B1/ko active IP Right Grant
- 2022-11-29 KR KR1020220163201A patent/KR102595692B1/ko active IP Right Grant
-
2024
- 2024-04-18 JP JP2024067418A patent/JP2024086945A/ja active Pending
- 2024-04-18 JP JP2024067417A patent/JP2024086944A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20220162684A (ko) | 2022-12-08 |
EP4273735A4 (en) | 2024-04-17 |
JP2024086944A (ja) | 2024-06-28 |
EP4273735A1 (en) | 2023-11-08 |
KR20220151142A (ko) | 2022-11-14 |
JP7477727B2 (ja) | 2024-05-01 |
JP2023550534A (ja) | 2023-12-01 |
US20240046529A1 (en) | 2024-02-08 |
KR20220095041A (ko) | 2022-07-06 |
CN116710910A (zh) | 2023-09-05 |
WO2022145525A1 (ko) | 2022-07-07 |
KR102619691B1 (ko) | 2023-12-29 |
CN116710910B (zh) | 2024-06-11 |
KR102595691B1 (ko) | 2023-11-06 |
KR102595692B1 (ko) | 2023-11-06 |
KR20220164461A (ko) | 2022-12-13 |
KR102473736B1 (ko) | 2022-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yu et al. | Sketch-a-net: A deep neural network that beats humans | |
Han et al. | Heterogeneous face attribute estimation: A deep multi-task learning approach | |
Chu et al. | Image style classification based on learnt deep correlation features | |
JP2024086945A (ja) | 学習された条件に基づくデザイン生成システム | |
Wang et al. | Expression of Concern: Facial feature discovery for ethnicity recognition | |
He et al. | Coupled adversarial learning for semi-supervised heterogeneous face recognition | |
Luo et al. | Memory-modulated transformer network for heterogeneous face recognition | |
KR102524001B1 (ko) | 트렌드 단어를 이용한 텍스트의 디자인 매칭 방법 및 그 장치 | |
Zhan et al. | Pose-normalized and appearance-preserved street-to-shop clothing image generation and feature learning | |
Boughanem et al. | Multichannel convolutional neural network for human emotion recognition from in-the-wild facial expressions | |
Chu et al. | Thermal face recognition based on multi-scale image synthesis | |
Liu et al. | Age estimation based on multi-region convolutional neural network | |
CN113298616A (zh) | 一种基于特征融合的成对服装兼容性预测方法 | |
KR20230017638A (ko) | 학습된 조건 기반의 신발 디자인 생성 방법 및 그 장치 | |
Juan | [Retracted] Research on Embroidery Feature Recognition Algorithm of Traditional National Costumes Based on Double‐Layer Model | |
KR102648613B1 (ko) | 입력 이미지를 기반으로 인터넷 쇼핑몰에 전시되는 상품 이미지를 생성하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체 | |
Sha et al. | Imaged-Based Similarity for Demand Forecasting: a Novel Multimodal Method to Exploit Images’ Latent Information | |
CN115272690A (zh) | 一种基于深度学习的艺术品图像多层级描述自动生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240425 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240425 |