JP7220011B2 - 認識領域のスタイルを変換するシステム及び方法 - Google Patents

認識領域のスタイルを変換するシステム及び方法 Download PDF

Info

Publication number
JP7220011B2
JP7220011B2 JP2021569352A JP2021569352A JP7220011B2 JP 7220011 B2 JP7220011 B2 JP 7220011B2 JP 2021569352 A JP2021569352 A JP 2021569352A JP 2021569352 A JP2021569352 A JP 2021569352A JP 7220011 B2 JP7220011 B2 JP 7220011B2
Authority
JP
Japan
Prior art keywords
style
guideline
recognition area
image
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021569352A
Other languages
English (en)
Other versions
JP2022534884A (ja
Inventor
フン キム,キョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Coredottoday Inc
Original Assignee
Coredottoday Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Coredottoday Inc filed Critical Coredottoday Inc
Publication of JP2022534884A publication Critical patent/JP2022534884A/ja
Application granted granted Critical
Publication of JP7220011B2 publication Critical patent/JP7220011B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/168Segmentation; Edge detection involving transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/10Selection of transformation methods according to the characteristics of the input images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、認識領域のスタイルを変換するシステム及び方法に関する。
近年、ディープラーニング分野では、画家のスタイルが反映されたイメージを一般の写真に混合して、画家の画風が盛り込まれた新たな絵を生成する、いわばスタイル変換という技術が浮上している。
このようなスタイル変換は、技術の発達に伴い、ある程度コンピュータに関する知識を持っている人であれば簡単に使用できる普遍化した水準にまで至るようになった。
しかし、従来技術によるスタイル変換技術は、画家の画風が投影されたイメージを特定の写真やイメージに適用するにとどまっており、実物の客体のスタイルを反映したり、実際の認識領域をキャプチャしてスタイルを反映するなど、ユーザの様々なニーズを満たしていないという問題があった。
本発明は上記事情に鑑みてなされたものであって、その目的は、スタイルを適用して変換しようとする認識領域をキャプチャし、プロジェクタビームを介して出力された画家の画風イメージや、イメージ又は実物の客体に適用された特定のスタイルをキャプチャされた認識領域に適用できるスタイル変換システム及び方法を提供することにある。
なお、本実施例が達成しようとする技術的課題は、前述した技術的課題に限らず、更に他の技術的な課題が存在し得る。
上述した技術的課題を達成するための技術的手段として、本発明の一側面に係る認識領域のスタイルを変換する方法は、適用対象のスタイルをディープラーニング(Deep learning)に基づいて訓練されたスタイル変換のガイドラインとして設定する段階と、変換対象である前記認識領域をキャプチャする段階と、前記設定されたガイドラインを前記認識領域に適用する段階と、前記ガイドラインが適用された認識領域を出力する段階とを含む。
一実施例として、前記適用対象は、プロジェクタビームを介して出力された画風イメージであってもよい。
本発明に係るスタイル変換方法は、一実施例として、前記スタイル変換の適用対象である画風イメージを、前記プロジェクタビームを介して出力する段階を更に含むことができる。
一実施例として、前記設定されたガイドラインを前記認識領域に適用する段階は、前記設定されたガイドラインを前記認識領域内に含まれている背景や客体に適用し、前記プロジェクタビームを介して出力された画風イメージに混合して適用することができる。
一実施例として、前記設定されたガイドラインを前記認識領域に適用する段階は、前記認識領域内の背景に前記画風イメージのオリジナルが含まれている場合、前記ガイドラインを前記オリジナルの画風イメージに混合して適用することができる。
発明に係るスタイル変換方法は、一実施例として、前記プロジェクタビームの出力領域及び前記認識領域を、同一又は異なる大きさを有するように設定できる。
一実施例として、前記設定されたガイドラインを前記認識領域に適用する段階は、前記出力領域及び認識領域が互いに同一の大きさを有するように設定された場合、前記ガイドラインを前記認識領域内に出力された画風イメージ全体に重複して適用することができる。
一実施例として、前記設定されたガイドラインを前記認識領域に適用する段階は、前記出力領域及び認識領域が互いに異なる大きさを有するように設定された場合、前記出力領域と重畳する認識領域内に出力された画風イメージには、前記ガイドラインが重複して適用され、重畳していない認識領域には、前記ガイドラインが1次的に適用されることができる。
一実施例として、前記適用対象は、特定のスタイルを含む実物又はイメージに含まれている特定の客体であってもよい。
一実施例として、前記スタイル変換のガイドラインとして設定する段階は、前記実物又はイメージに含まれている特定の客体の特定のスタイルを前記ガイドラインとして設定することができる。
一実施例として、前記スタイル変換のガイドラインとして設定する段階は、前記実物又はイメージに含まれている複数の特定の客体のうちの何れか1つをランダムに又はユーザの入力により選択する段階と、前記選択された特定の客体に含まれている複数の特定のスタイルのうちの何れか1つをランダムに又はユーザの入力により選択する段階と、前記選択された特定の客体の特定のスタイルを前記ガイドラインとして設定する段階とを含むことができる。
また、本発明の他の側面に係る変換対象である認識領域のスタイルを変換するシステムは、適用対象及び認識領域に関する情報を受信する通信モジュールと、前記認識領域のスタイルを変換するためのプログラムが格納されたメモリと、前記メモリに格納されたプログラムを実行させるプロセッサとを含む。このとき、前記プロセッサは、前記プログラムを実行させることにより、前記適用対象のスタイルをディープラーニング(Deep learning)に基づいて訓練されたスタイル変換のガイドラインとして設定し、前記通信モジュールにより受信した認識領域に前記ガイドラインを適用して出力する。
前述した本発明の課題を解決するための手段のうちの何れか1つによれば、特定のスタイルを含んでいる適用対象の範囲をイメージだけではなく、実際の客体のスタイルや写真内に含まれている特定の領域のスタイルに拡張させることができるという長所がある。
また、プロジェクトビームを用いることによって、限られた写真空間に限定された認識領域を実際の客体と背景に拡張でき、出力された画風イメージやオリジナルに対しても重複適用が可能であり、より多様なスタイル適用が可能であるという長所がある。
本発明の効果は、以上で言及した効果に限らず、言及していない更に他の効果は、下記の記載から通常の技術者が明確に理解できるだろう。
従来技術によるスタイル変換を説明する図である。 本発明の一実施例に係るスタイル変換システムのブロック図である。 本発明の一実施例に係るスタイル変換方法のフローチャートである。 キャプチャされた認識領域を示す図である。 ガイドラインが適用されて出力された認識領域を示す図である。 実物の客体又はイメージに含まれている特定のスタイルをガイドラインとして設定して認識領域に適用する一実施例を説明する図である。 実物の客体又はイメージに含まれている特定のスタイルをガイドラインとして設定して認識領域に適用する一実施例を説明する図である。 実物の客体又はイメージに含まれている特定のスタイルをガイドラインとして設定して認識領域に適用する一実施例を説明する図である。 実物の客体又はイメージに含まれている特定のスタイルをガイドラインとして設定して認識領域に適用する一実施例を説明する図である。
以下、添付の図面を参照して本発明の属する技術分野における通常の知識を有する者が容易に実施できるように本発明の実施例を詳細に説明する。しかし、本発明は様々な異なる形態で実現でき、ここで説明する実施例に限定されない。なお、図面において本発明を明確に説明するために説明と関係のない部分は省略した。
明細書全体に亘ってある部分がある構成要素を「含む」とするとき、これは特に反対の記載がない限り、他の構成要素を除外するのではなく、他の構成要素を更に含むことができることを意味する。
図1は、従来技術によるスタイル変換を説明する図である。
スタイル変換は、image-toimage translation又はtexture transferなどと呼ばれ、これは1つのイメージPを他のイメージAのスタイルを有する新たなイメージxを生成する方式である。
例えば、図1のように、一般の写真イメージPに「ゴッホ」の「星が輝く夜」のスタイルを適用するようにして、xのような新たなイメージを生成する方式を意味する。
本発明の一実施例は、前記のようなスタイル変換から更には、写真ではなくプロジェクトビームを用いて、実際の人間と同じ客体と背景に直接スタイルを適用できるようにすることができ、また実物の客体やイメージに含まれている特定のスタイルを直接適用できるようにすることを特徴とする。
以下、図2を参照して本発明の一実施例に係るスタイル変換システム100について説明する。
図2は、本発明の一実施例に係るスタイル変換システム100のブロック図である。
本発明の一実施例に係るスタイル変換システム100は、通信モジュール110、メモリ120及びプロセッサ130を含むように構成できる。
通信モジュール110は、変換対象である認識領域と適用対象に関する情報を受信する。
このような通信モジュール110は、有線通信モジュール及び無線通信モジュールを何れも含むことができる。有線通信モジュールは電力線通信装置、電話線通信装置、ケーブルホーム(MoCA)、イーサネット(Ethernet)(登録商標)、IEEE1294、統合有線ホームネットワーク及びRS-485制御装置で実現できる。また、無線通信モジュールは、WLAN(wireless LAN)、Bluetooth(登録商標)、HDR WPAN、UWB、ZigBee、Impulse Radio、60GHz WPAN、Binary-CDMA、無線USB技術や無線HDMI(登録商標)技術などに具現できる。
本発明における適用対象は、画家の画風など特定のスタイルを含んでいる対象を意味する。一実施例としてプロジェクタビームを介して出力された画家の画風イメージであるか、特定のスタイルを含む実物又はイメージに含まれている特定の客体であり得る。
本発明における認識領域は、前記特定のスタイルを適用するための領域を意味する。一実施例として、認識領域は、カメラによりキャプチャされた特定の領域であるか、又はスキャナによりスキャンされた特定のイメージであり得る。
メモリ120には、認識領域のスタイルを変換するためのプログラムが格納され、プロセッサ130は、メモリ120に格納されたプログラムを実行させる。ここで、メモリとは、電源が供給されなくても格納された情報を維持し続ける不揮発性格納装置及び揮発性格納装置を意味する。
例えば、メモリ120は、コンパクトフラッシュ(登録商標)(compact flash;CF)カード、SD(secure digital)カード、メモリスティック(memory stick)、ソリッドステートドライブ(solid-state drive;SSD)及びマイクロ(micro)SDカードなどといったNAND型フラッシュメモリ(NAND flash memory)、ハードディスクドライブ(hard disk drive;HDD)などといった磁気コンピュータ記憶装置、及び、CD-ROM、DVD-ROMなどといった光学ディスクドライブ(optical disc drive)などを含むことができる。
プロセッサ130は、メモリ120に格納されたプログラムを実行することによって、適用対象のスタイルをディープラーニングに基づいて訓練されたスタイル変換のガイドラインとして設定する。
そして、通信モジュール110により受信した認識領域にガイドラインを適用して出力する。
以下、図3ないし図5dを参照して本発明の一実施例に係るスタイル変換システム100により行われる方法を具体的に説明する。
図3は、本発明の一実施例に係るスタイル変換方法のフローチャートである。
本発明の一実施例に係るスタイル変換方法は、まず適用対象のスタイルをディープラーニングに基づいて訓練されたスタイル変換のガイドラインとして設定する(S110)。
本発明における適用対象は、一実施例として、プロジェクタビームを介して出力された画風イメージであり得る。
即ち、本発明の一実施例は、スタイル変換の適用対象である画風イメージを、プロジェクタビームを介して出力し、出力された画風イメージのスタイルをスタイル変換のガイドラインとして設定できる。
また、本発明の前記適用対象は、一実施例として、特定のスタイルを含む実物又はイメージに含まれている特定の客体であってもよい。
即ち、実物の客体や映像、又はイメージに含まれている特定の客体に適用された特定のスタイルを抽出してスタイル変換のガイドラインとして設定できる。
次に、変換対象の認識領域をキャプチャする(S120)。
一実施例として、認識領域は、カメラによりキャプチャされた特定の領域であるか、スキャナによりスキャンされた特定のイメージであり、以下、説明の便宜上、カメラによりキャプチャされた特定の領域であると仮定する。
次に、設定されたガイドラインをキャプチャされた認識領域に適用し(S130)、ガイドラインが適用された認識領域を出力する(S140)。
以下、プロジェクタビームを用いてスタイルイメージをガイドラインとして設定して認識領域に適用する一実施例をまず設定した後、実物の客体又はイメージに含まれている特定のスタイルをガイドラインとして設定して認識領域に適用する一実施例を説明する。
図4aは、キャプチャされた認識領域を示す図であり、図4bは、ガイドラインが適用されて出力された認識領域を示す図である。
図4aは、「ゴッホ」の「星が輝く夜」という画風イメージをプロジェクタビームを介して出力した図である。
図4aを更に具体的に説明すると、右側の領域には画風イメージのオリジナルが配置されており、左側の領域にはプロジェクタビームを介して画風イメージが出力されており、左側の領域の一部には客体である人が位置している。このような図4aの領域全体は、カメラにより認識された認識領域を示す。
本発明の一実施例は、プロジェクタビームを介して出力された「星が輝く夜」の画風イメージに適用された「ゴッホ」の画風スタイルを、ディープラーニングに基づいて訓練されたスタイル変換のガイドラインとして設定する。
そして、カメラを介して、図4aのように、認識領域をキャプチャした後、設定された「星が輝く夜」の画風スタイルのガイドラインを認識領域に適用する。
そのとき、本発明の一実施例は、設定されたガイドラインを認識領域内に含まれている背景や客体に適用し、プロジェクタビームを介して出力された画風イメージに混合して適用できる。
即ち、図4aでプロジェクタビームを介して出力された画風イメージと客体、そしてこれを除いた残りの背景領域に「星が輝く夜」の画風スタイルのガイドラインを適用できる。
この過程でプロジェクタビームを介して出力された画風イメージには、「星が輝く夜」の画風スタイルのガイドラインがもう一度適用されることによって、図4bのように認識領域内の画風イメージには、更に「ゴッホ」スタイルが適用された結果物が出力されることができる。
また、本発明の一実施例は、認識領域内の背景に画風イメージのオリジナルが含まれている場合、ガイドラインをオリジナルの画風イメージに混合して適用できる。
即ち、図4aにおいてプロジェクタビームを介して出力された画風イメージとは別に、認識領域内にオリジナルの画風イメージが含まれている場合、オリジナルの画風イメージには「星が輝く夜」の画風スタイルのガイドラインがもう一度適用されることによって、図4bのように、認識領域内の画風イメージには、更に「ゴッホ」スタイルが適用された結果物を出力できる。
結果として、図4bのように、認識領域内のオリジナルの画風イメージとプロジェクタビームを介して出力された画風イメージには、ガイドラインとして設定された画風イメージが追加的に適用され、より強烈なスタイルを有するよう変換でき、その他の客体や背景領域には1回の画風イメージスタイルを適用できる。
一実施例として、ガイドラインの適用領域及び適用強度は、ユーザによって調節できる。
例えば、ユーザは、図4aで人の客体領域に対してのみガイドラインが適用されるようにでき、適用強度も予め設定された複数の等級に従って適用されるようにもできる。
一方、本発明の一実施例において、プロジェクタビームの出力領域とカメラなどによってキャプチャされた認識領域を、互いに同一又は異なる大きさを有するように設定できる。
一実施例として、プロジェクタビームの出力領域と認識領域が互いに同一の大きさを有するように設定された場合、前記ガイドラインを、認識領域内に出力された画風イメージ全体に重複して適用できる。
即ち、プロジェクタビームの出力領域と認識領域が互いに同一の大きさに設定された場合は、プロジェクタビームを介して出力しようとする画風イメージの大きさと同一の大きさを有するようにカメラの認識領域を設定したものであるため、認識領域全体には画風イメージの全体がそのままマッチングして含まれることになる。
従って、認識領域にガイドラインが適用される場合には、既にスタイルが適用された画風イメージに重複してガイドラインが適用され、その結果、図4bのプロジェクタビームの出力領域のように、より強烈なスタイルを有するように変換されることになる。
また、他の実施例として、プロジェクタビームの出力領域と認識領域が互いに異なる大きさを有するように設定された場合、プロジェクタビームの出力領域と重畳する認識領域内に出力された画風イメージにはガイドラインが重複して適用され、図4bのプロジェクタビームの出力領域のように、より強烈なスタイルを有するように変換されることになり得る。
そして、プロジェクタビームの出力領域と重畳していない認識領域には、ガイドラインが1次的にのみ適用され、重複して適用されたものよりは強烈ではないスタイルを有するように変換できる。
このようなプロジェクタビームを用いた実施例は、画家の画風が反映されたイメージを、プロジェクタビームを発射してガイドラインを描き、これをスタイル変換に適用して、写真にどのように画家の画風を反映すべきか、ディープラーニングアルゴリズムにガイドラインを示す役割を果たせる。
図5aないし図5dは、実物の客体又はイメージに含まれている特定のスタイルをガイドラインとして設定して認識領域に適用する一実施例を説明する図である。
本発明の更に他の実施例において、適用対象は、特定のスタイルを含む実物又はイメージに含まれている特定の客体であり得る。
これにより、本発明は、実物又はイメージに含まれている特定の客体の特定のスタイルをガイドラインとして設定してスタイル変換に適用できる。
例えば、図5aのように画家の画風を反映したい部分を発泡スチロールなどの物体を用いて表現し、これをキャプチャしてガイドラインとして設定してスタイル変換に適用できる。
また、図5bのように、発泡スチロールで表現された加工物は、写真にどのように画家の画風を反映すべきか、ディープラーニングアルゴリズムであるスタイル変換にガイドラインを示す役割を果たせる。
このようなガイドラインが設定されると、生い茂った木型ペーパーカッティング、発泡スチロールなどの加工物で表現された図5cのような変換対象の認識領域をキャプチャし、前記設定されたガイドラインを認識領域に適用することにより、図5dのように、加工物を区分してスタイルを変換することができる。このとき、図5dの場合は、木の葉の形状が画家の画風によって変形されたものである。
一方、本発明の一実施例は、実物又はイメージに含まれている複数の特定の客体の特定のスタイルを選択して適用できる。
まず、実物又はイメージに含まれている複数の特定の客体のうちの何れか1つをランダムに又はユーザの入力により選択できる。
そして、選択された特定の客体に含まれている複数の特定のスタイルのうちの何れか1つをランダムに又はユーザの入力により選択でき、その結果、選択された特定の客体の特定のスタイルをガイドラインとして設定してスタイル変換に適用できる。
上述した説明において、段階S110ないし段階S140は、本発明の実現例によって、追加の段階に更に分割されるか、より少ない段階に組み合わせることができる。また、一部の段階を必要に応じて省略することもでき、段階同士の順序を変更することもできる。更に、その他の省略された内容であっても、図2でのスタイル変換システム100について既に記述された内容は、図3ないし図5dのスタイル変換方法にも適用される。
本発明の一実施例は、コンピュータにより実行される媒体に格納されたコンピュータプログラム又はコンピュータにより実行可能な命令語を含む記録媒体の形態によっても実現できる。コンピュータ読み取り可能な媒体は、コンピュータによりアクセスできる任意の可用媒体であり、揮発性及び不揮発性媒体、分離型及び非分離型媒体を全て含む。また、コンピュータ読み取り可能な媒体は、コンピュータ格納媒体及び通信媒体を何れも含めることができる。コンピュータ格納媒体は、コンピュータ読み取り可能な命令語、データの構造、プログラムモジュール又はその他のデータのような情報の格納のための任意の方法又は技術により実現された揮発性及び不揮発性、分離型及び非分離型媒体を全て含む。通信媒体は、典型的にコンピュータ読み取り可能な命令語、データの構造、プログラムモジュール、又は搬送波のような変調されたデータ信号のその他のデータ、又はその他の伝送メカニズムを含み、任意の情報伝達媒体を含む。
本発明の方法やシステムは、特定の実施例と関連して説明されているが、それらの構成要素又は動作の一部又は全部は、汎用のハードウェアアーキテクチャを有するコンピュータシステムを用いて実現できる。
前述した本発明の説明は、例示のためのものであり、本発明の属する技術分野における通常の知識を有する者は、本発明の技術的思想や必須の特徴を変更することなく、他の具体的な形態に容易に変形可能であることが理解できるはずである。そのため、以上で記述した実施例はあらゆる面で例示的なものであり、限定的でないものと理解すべきである。例えば、単一型に説明されている各構成要素を分散して実施することもでき、同様に、分散したものと説明されている構成要素も結合した形態として実施することもできる。
本発明の範囲は、前記詳細な説明よりは後述する特許請求の範囲によって示され、特許請求の範囲の意味及び範囲、そしてその均等な概念から導き出される全ての変更又は変形された形態が本発明の範囲に含まれるものと解釈されるべきである。

Claims (14)

  1. スタイル変換システムにより行われる、認識領域のスタイルを変換する方法において、
    適用対象のスタイルをディープラーニング(Deep learning)に基づいて訓練されたスタイル変換のガイドラインとして設定する段階と、
    変換対象である前記認識領域をキャプチャする段階と、
    前記設定されたガイドラインを前記認識領域に適用する段階と、
    前記ガイドラインが適用された認識領域を出力する段階と、
    を含み、
    前記適用対象は、プロジェクタビームを介して出力された画風イメージを含み、
    記設定されたガイドラインを前記認識領域に適用する段階は、
    前記設定されたガイドラインを前記認識領域内に含まれている背景及び客体に適用し、前記プロジェクタビームを介して出力された画風イメージに混合して適用することを特徴とする、スタイル変換方法。
  2. 前記設定されたガイドラインを前記認識領域に適用する段階は、
    前記認識領域内の背景に前記画風イメージのオリジナルが含まれている場合、前記ガイドラインを前記オリジナルの画風イメージ混合して適用するものであることを特徴とする請求項1に記載のスタイル変換方法。
  3. 前記プロジェクタビームの出力領域及び前記認識領域、同一又は異なる大きさを有するように設定する段階を更に含むことを特徴とする請求項1に記載のスタイル変換方法。
  4. 記設定されたガイドラインを前記認識領域に適用する段階は、
    前記出力領域及び認識領域が互いに同一の大きさを有するように設定された場合、前記ガイドラインを前記認識領域内に出力された画風イメージ全体に重複して適用することを特徴とする請求項3に記載のスタイル変換方法。
  5. 記設定されたガイドラインを前記認識領域に適用する段階は、
    前記出力領域及び認識領域が互いに異なる大きさを有するように設定された場合、前記出力領域と重畳する認識領域内に出力された画風イメージには、前記ガイドラインが重複して適用され、重畳していない認識領域には、前記ガイドラインが1次的に適用されるものであることを特徴とする請求項3に記載のスタイル変換方法。
  6. 前記適用対象は、特定のスタイルを含む実物又はイメージに含まれている複数の特定の客体を更に含むことを特徴とする請求項1に記載のスタイル変換方法。
  7. 前記スタイル変換のガイドラインとして設定する段階は、
    前記実物又はイメージに含まれている複数の特定の客体のうちの何れか1つの特定の客体がランダムに選択され、前記選択された特定の客体に含まれている複数の特定のスタイルのうちの何れか1つの特定のスタイルがランダムに選択される場合、前記選択された特定の客体の特定のスタイルを前記ガイドラインとして設定することを特徴とする請求項6に記載のスタイル変換方法。
  8. 変換対象である認識領域のスタイルを変換するシステムにおいて、
    適用対象及び認識領域に関する情報を受信する通信モジュールと、
    前記認識領域のスタイルを変換するためのプログラムが格納されたメモリと、
    前記メモリに格納されたプログラムを実行させるプロセッサと、
    を含み、
    記プロセッサは、
    前記プログラムを実行させることにより、前記適用対象のスタイルをディープラーニング(Deep learning)に基づいて訓練されたスタイル変換のガイドラインとして設定し、
    記通信モジュールにより受信した認識領域に前記ガイドラインを適用して出力し、
    前記適用対象は、プロジェクタビームを介して出力された画風イメージを含み、
    前記プロセッサは、前記設定されたガイドラインを前記認識領域に適用する際に、前記設定されたガイドラインを前記認識領域内に含まれている背景及び客体に適用し、前記プロジェクタビームを介して出力された画風イメージに混合して適用することを特徴とする、
    スタイル変換システム。
  9. 前記プロセッサは、前記設定されたガイドラインを前記認識領域に適用する際に、前記認識領域内の背景に前記画風イメージのオリジナルが含まれている場合、前記ガイドラインを前記オリジナルの画風イメージに混合して適用するものであることを特徴とする請求項8に記載のスタイル変換システム。
  10. 前記プロジェクタビームの出力領域及び前記認識領域は、同一又は異なる大きさを有するように設定可能であることを特徴とする請求項8に記載のスタイル変換システム。
  11. 前記プロセッサは、前記設定されたガイドラインを前記認識領域に適用する際に、前記出力領域及び認識領域が互いに同一の大きさを有するように設定された場合、前記ガイドラインを前記認識領域内に出力された画風イメージ全体に重複して適用することを特徴とする請求項10に記載のスタイル変換システム。
  12. 前記プロセッサは、前記設定されたガイドラインを前記認識領域に適用する際に、前記出力領域及び認識領域が互いに異なる大きさを有するように設定された場合、前記出力領域と重畳する認識領域内に出力された画風イメージには、前記ガイドラインが重複して適用され、重畳していない認識領域には、前記ガイドラインが1次的に適用されるものであることを特徴とする請求項10に記載のスタイル変換システム。
  13. 前記適用対象は、特定のスタイルを含む実物又はイメージに含まれている複数の特定の客体を更に含むことを特徴とする請求項8に記載のスタイル変換システム。
  14. 前記プロセッサは、前記スタイル変換のガイドラインとして設定する際に、前記実物又はイメージに含まれている複数の特定の客体のうちの何れか1つの特定の客体がランダムに選択され、前記選択された特定の客体に含まれている複数の特定のスタイルのうちの何れか1つの特定のスタイルがランダムに選択される場合、前記選択された特定の客体の特定のスタイルを前記ガイドラインとして設定することを特徴とする請求項13に記載のスタイル変換システム。
JP2021569352A 2019-05-21 2020-04-03 認識領域のスタイルを変換するシステム及び方法 Active JP7220011B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190059322A KR102057713B1 (ko) 2019-05-21 2019-05-21 인식 영역의 스타일을 트랜스퍼하는 시스템 및 방법
KR10-2019-0059322 2019-05-21
PCT/KR2020/004590 WO2020235806A1 (ko) 2019-05-21 2020-04-03 인식 영역의 스타일을 트랜스퍼하는 시스템 및 방법

Publications (2)

Publication Number Publication Date
JP2022534884A JP2022534884A (ja) 2022-08-04
JP7220011B2 true JP7220011B2 (ja) 2023-02-09

Family

ID=69056323

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021569352A Active JP7220011B2 (ja) 2019-05-21 2020-04-03 認識領域のスタイルを変換するシステム及び方法

Country Status (5)

Country Link
US (1) US11893657B2 (ja)
EP (1) EP3975118A4 (ja)
JP (1) JP7220011B2 (ja)
KR (1) KR102057713B1 (ja)
WO (1) WO2020235806A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102057713B1 (ko) 2019-05-21 2019-12-19 주식회사 코어닷투데이 인식 영역의 스타일을 트랜스퍼하는 시스템 및 방법
CN118301261A (zh) * 2021-02-04 2024-07-05 北京字跳网络技术有限公司 一种特效展示方法、装置、设备及介质
KR102496362B1 (ko) * 2022-11-15 2023-02-06 (주)빛글림 인공지능 기반 영상 콘텐츠 제작 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018132855A (ja) 2017-02-14 2018-08-23 国立大学法人電気通信大学 画像スタイル変換装置、画像スタイル変換方法および画像スタイル変換プログラム
US20180357800A1 (en) 2017-06-09 2018-12-13 Adobe Systems Incorporated Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9132346B2 (en) * 2012-04-04 2015-09-15 Kenneth J. Huebner Connecting video objects and physical objects for handheld projectors
KR102000536B1 (ko) * 2012-12-28 2019-07-16 삼성전자주식회사 합성 이미지를 촬영하는 촬영 장치 및 그 방법
KR20160021607A (ko) * 2014-08-18 2016-02-26 삼성전자주식회사 배경 화면을 디스플레이하는 방법 및 장치
KR101905580B1 (ko) * 2016-02-17 2018-10-11 한국전자통신연구원 촬영 기능을 갖는 모바일 장치를 이용한 상황 재연 방법 및 시스템
EP3427165B1 (en) * 2016-03-08 2023-06-07 Nant Holdings IP, LLC Image feature combination for image-based object recognition
KR101938207B1 (ko) * 2016-07-27 2019-04-11 주식회사 아이오로라 포토티켓을 생성하는 방법 및 이를 운용하는 포토티켓 생성 장치
KR102057713B1 (ko) * 2019-05-21 2019-12-19 주식회사 코어닷투데이 인식 영역의 스타일을 트랜스퍼하는 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018132855A (ja) 2017-02-14 2018-08-23 国立大学法人電気通信大学 画像スタイル変換装置、画像スタイル変換方法および画像スタイル変換プログラム
US20180357800A1 (en) 2017-06-09 2018-12-13 Adobe Systems Incorporated Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大垣 慶介,深層学習を用いた創作支援のためのイラストの理解と生成,電子情報通信学会誌,日本,一般社団法人電子情報通信学会,2019年03月01日,第102巻 第3号,pp.228-233

Also Published As

Publication number Publication date
US20220076456A1 (en) 2022-03-10
KR102057713B1 (ko) 2019-12-19
WO2020235806A1 (ko) 2020-11-26
JP2022534884A (ja) 2022-08-04
US11893657B2 (en) 2024-02-06
EP3975118A4 (en) 2023-07-05
EP3975118A1 (en) 2022-03-30

Similar Documents

Publication Publication Date Title
JP7220011B2 (ja) 認識領域のスタイルを変換するシステム及び方法
US10896535B2 (en) Real-time avatars using dynamic textures
CN111127304B (zh) 跨域图像转换
JP7026262B2 (ja) ニューラルネットワークモデルのトレーニング、タイムラプス撮影ビデオの生成方法及び装置
US20160227124A1 (en) Android bound service camera initialization
EP3107065A1 (en) Methods and systems for providing virtual lighting
US12033277B2 (en) Normalized three-dimensional avatar synthesis and perceptual refinement
US7548259B2 (en) System and method for producing a higher resolution still image from video information
US20220207870A1 (en) Method and apparatus for image processing, terminal
JP2014519281A (ja) 一つまたは複数の被写体の画像の捕捉の自動最適化
CN108377341A (zh) 拍照方法、装置、终端及存储介质
WO2021063118A1 (en) Method and apparatus for image processing
KR102269034B1 (ko) 화질 관련 ai 메타 데이터를 이용하는 장치 및 방법
WO2014187265A1 (zh) 一种照片拍摄处理方法、设备和计算机存储介质
CN109660714A (zh) 基于ar的图像处理方法、装置、设备及存储介质
JP6541327B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR101388965B1 (ko) 디지털 사진의 드로잉 변환 방법
CN103747171A (zh) 相机***的控制方法及相机***
KR102389457B1 (ko) 이미지 변환 장치, 방법 및 컴퓨터 판독 가능한 기록매체
CN107564084A (zh) 一种动图合成方法、装置及存储设备
CN104092946B (zh) 图像采集方法及图像采集装置
KR102346329B1 (ko) 3차원 데이터를 이용한 웹툰 제작 시스템 및 방법
KR20200143815A (ko) 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체
JP2017034388A (ja) 辞書生成方法、辞書生成装置、画像処理方法、画像処理装置及び画像処理プログラム
KR102417425B1 (ko) 얼굴형을 고려하며 딥러닝 네트워크를 이용하는 배경 및 얼굴 합성 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230126

R150 Certificate of patent or registration of utility model

Ref document number: 7220011

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150