JP7482783B2 - フォント作成装置、フォント作成方法及びフォント作成プログラム - Google Patents

フォント作成装置、フォント作成方法及びフォント作成プログラム Download PDF

Info

Publication number
JP7482783B2
JP7482783B2 JP2020548320A JP2020548320A JP7482783B2 JP 7482783 B2 JP7482783 B2 JP 7482783B2 JP 2020548320 A JP2020548320 A JP 2020548320A JP 2020548320 A JP2020548320 A JP 2020548320A JP 7482783 B2 JP7482783 B2 JP 7482783B2
Authority
JP
Japan
Prior art keywords
font
feature
character image
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020548320A
Other languages
English (en)
Other versions
JPWO2020059527A1 (ja
Inventor
誠 大関
和幸 板垣
喬俊 狩野
伸治 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020059527A1 publication Critical patent/JPWO2020059527A1/ja
Application granted granted Critical
Publication of JP7482783B2 publication Critical patent/JP7482783B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/242Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G06V30/244Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
    • G06V30/245Font recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19127Extracting features by transforming the feature space, e.g. multidimensional scaling; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173Classification techniques
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24Generation of individual character patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/109Font handling; Temporal or kinetic typography

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明はフォント作成装置、フォント作成方法及びフォント作成プログラムに係り、特に模倣したいスタイルの一揃いのフォントセットを作成する技術に関する。
特許文献1には、標準の文字フォントと、イメージ入力される文字フォント(例えば、手書き文字)とを比較して対応点の変位を抽出してその統計的情報を抽出し、その抽出結果に応じて標準の文字フォントを変更して、手書き風文字フォントを生成する手書き風文字フォント生成システムが記載されている。
特許文献1に記載の手書き風文字フォント生成システムは、標準の文字フォントと、イメージ入力される文字フォントとの間の幾何学的変位、及び手書き文字の大きさを解析し、その統計的情報をそのユーザの個性を表す特徴量として登録し、標準の文字フォントをユーザの個性を表す特徴量で変形させることで、ユーザ固有の手書き風文字フォントを生成する。
また、非特許文献1には、敵性的生成ネットワーク(GAN:Generative Adversarial Networks)を使用し、模倣したいスタイルの少数(例えば、5文字)のアルファベットから、それと類似したスタイルのアルファベット26文字を生成する技術が開示されている。
GANは、GeneratorとDiscriminatorという2つのネットワークを備え、Generatorは訓練データ(模倣したいスタイルのアルファベット)と同じようなデータを生成し、Discriminatorはデータが訓練データ由来のものか、生成モデル由来のものかを識別する。そして、Discriminatorによりデータが訓練データ由来のものか、生成モデル由来のものかが識別不能になるように(正解率が50%になるように)、GeneratorとDiscriminatorの学習が行われ、最終的にGeneratorが、訓練データと同じようなデータを生成できるようにする。
特開2003-58142号公報
"Multi-Content GAN for Few-Shot Font Style Transfer" Samaneh Azadi, Matthew Fisher, Vladimir Kim, Zhaowen Wang, Eli Shechtman, Trevor Darrell UC Berkeley, Adobe Research インターネット〈URL:https://engineering.columbia.edu/press-releases/changxi-zheng-fontcode〉
特許文献1に記載の手書き風文字フォント生成システムは、標準の文字フォントを、ユーザの個性を表す特徴量で変形させることで、ユーザ固有の手書き風文字フォントを生成するが、ユーザの個性を表す特徴量は、ユーザの手書きの文字フォントと対応する(同種の)標準の文字フォントとの対応点を求め、対応点の変位を抽出してユーザの個性を表す特徴量を求めるため、例えば、ユーザの手書きの「ひらがな」を使用して手書き風「カタカナ」の文字フォントを生成することはできない。
また、非特許文献1に記載のGANを使用する場合、模倣したいスタイルのフォントが「アルファベット」の場合、模倣したいスタイルのフォントの特徴を有する「ひらがな」、「カタカナ」、その他の言語の一揃いのフォントセットを生成することができない。
本発明はこのような事情に鑑みてなされたもので、スタイルを模倣したい少数の文字画像からその文字画像と同様のスタイルの一揃いのフォントセットを、任意の言語に対して生成することができるフォント作成装置、フォント作成方法及びフォント作成プログラムを提供することを目的とする。
上記目的を達成するために本発明の一の態様に係るフォント作成装置は、第1フォントの一部の文字から構成される文字画像を取得する文字画像取得部と、取得した文字画像から第1フォントの第1特徴量を抽出する特徴量抽出部と、抽出した第1特徴量と基準の第2フォントの第2特徴量との間の変形パラメータを推定する推定部と、一揃いの基準のフォントセットの第3特徴量を、推定した変形パラメータに基づいて変形させることにより、一揃いの第2フォントセットの第4特徴量を生成する特徴量生成部と、生成された第2フォントセットの第4特徴量を画像に変換し、第2フォントセットを生成するフォント生成部と、を備える。
本発明の一の態様によれば、文字画像取得部は、スタイルを模倣したい第1フォントの一部の文字から構成される文字画像を取得する。文字画像は、1文字からなる文字画像でもよいし、複数の文字からなる文字列画像でもよい。特徴量抽出部は、取得した文字画像から第1フォントの第1特徴量を抽出し、推定部は、抽出した第1特徴量と基準の第2フォントの第2特徴量との間の変形パラメータを推定する。基準の第2フォントは、例えば、コンピュータ用のフォントとして準備されている一般的なフォントである。
特徴量生成部は、一揃いの基準のフォントセットの第3特徴量を、推定した変形パラメータに基づいて変形処理することにより、作成しようとする第2フォントセットの第4特徴量を生成する。フォント生成部は、生成された第2フォントセットの第4特徴量を画像に変換し、第2フォントセットを生成する。一揃いの基準のフォントセットは、任意の言語に対応するフォントセットでよく、これにより、任意の言語に対する一揃いの第2フォントセットを生成することができる。
本発明の他の態様に係るフォント作成装置において、文字画像取得部は、第1フォントの一部の文字が撮像された画像を入力する画像入力部と、入力した画像から文字に対応する文字領域を切り出す切出部と、を備え、切り出した文字領域の画像を文字画像とすることが好ましい。
本発明の更に他の態様に係るフォント作成装置において、特徴量抽出部は、特徴量の抽出を学習した第1学習済みモデルであり、第1学習済みモデルは、取得した文字画像を入力し、文字画像の第1特徴量を出力することが好ましい。
本発明の更に他の態様に係るフォント作成装置において、特徴量抽出部は、文字画像の特徴部分を示すデザイナからの入力を受け付ける受付部を有し、受付部により受け付けた文字画像の特徴部分から第1特徴量を抽出することが好ましい。
本発明の更に他の態様に係るフォント作成装置において、推定部は、第1特徴量と第2特徴量との特徴量空間での距離、又は類似度を計算して変形パラメータを推定することが好ましい。
本発明の更に他の態様に係るフォント作成装置において、推定部及び特徴量生成部は、第2学習済みモデルであり、第2学習済みモデルは、第1特徴量と第2特徴量との特徴量空間での距離を最小化し、又は第1特徴量と第2特徴量との類似度を最大化するモデルであり、一揃いの基準のフォントセットを入力することで、第2フォントセットの第4特徴量を生成することが好ましい。
本発明の更に他の態様に係るフォント作成装置において、フォント生成部は、第2フォントセットの第4特徴量を画像に変換する自己符号化器であることが好ましい。
本発明の更に他の態様に係るフォント作成装置において、フォント生成部は、第2フォントセットとしてベクタデータを生成することが好ましい。
本発明の更に他の態様に係るフォント作成装置において、フォント生成部は、第2フォントセットとしてラスタデータを生成することが好ましい。
本発明の更に他の態様に係るフォント作成装置において、基準のフォントセットは、第1フォントとスタイルが異なる同じ種類のフォントセットであることが好ましい。例えば、第1フォントがアルファベットの場合、基準のフォントセットも同じ種類の「アルファベット」とすることができる。
本発明の更に他の態様に係るフォント作成装置において、基準のフォントセットは、第1フォントとスタイルが異なる2種類以上のフォントセットを含むことが好ましい。例えば、第1フォントがアルファベットの場合、基準のフォントセットは、「アルファベット」とは種類が異なる「ひらがな」、「カタカナ」とすることができる。
本発明の更に他の態様に係るフォント作成方法は、第1フォントの一部の文字から構成される文字画像を取得するステップと、取得した文字画像から第1フォントの第1特徴量を抽出するステップと、抽出した第1特徴量と基準の第2フォントの第2特徴量との間の変形パラメータを推定するステップと、一揃いの基準のフォントセットの第3特徴量を、推定した変形パラメータに基づいて変形させることにより、一揃いの第2フォントセットの第4特徴量を生成するステップと、生成された第2フォントセットの第4特徴量を画像に変換し、第2フォントセットを生成するステップと、を含む。
本発明の更に他の態様に係るフォント作成プログラムは、第1フォントの一部の文字から構成される文字画像を取得する機能と、取得した文字画像から第1フォントの第1特徴量を抽出する機能と、抽出した第1特徴量と基準の第2フォントの第2特徴量との間の変形パラメータを推定する機能と、一揃いの基準のフォントセットの第3特徴量を、推定した変形パラメータに基づいて変形させることにより、第2フォントセットの第4特徴量を生成する機能と、生成された第2フォントセットの第4特徴量を画像に変換し、一揃いの第2フォントセットを生成する機能と、をコンピュータにより実現させる。
本発明によれば、スタイルを模倣したい少数の文字画像からその文字画像と同様のスタイルの一揃いのフォントセットを、任意の言語に対して生成することができる。
図1は、本発明に係るフォント作成装置のハードウエア構成の一例を示すブロック図である。 図2は、文字画像取得部12の実施形態を示すブロック図である。 図3は、本発明に係るフォント作成装置10-1の第1実施形態を示すブロック図である。 図4は、特徴量空間内における文字画像32のスタイルを示す第1フォントの第1特徴量と、基準の第2フォント34の第2特徴量と、第1特徴量と第2特徴量との関係を示す変形パラメータとを示す図である。 図5は、特徴量空間内における基準のフォントセット36の第3特徴量が、変形パラメータにより第2フォントセット38の第4特徴量に変形処理される様子を示す図である。 図6は、本発明に係るフォント作成装置10-2の第2実施形態を示す要部ブロック図である。 図7は、本発明に係るフォント作成方法の実施形態を示すフローチャートである。
以下、添付図面に従って本発明に係るフォント作成装置、フォント作成方法及びフォント作成プログラムの好ましい実施形態について説明する。
[フォント作成装置のハードウエア構成]
図1は、本発明に係るフォント作成装置のハードウエア構成の一例を示すブロック図である。
図1に示すフォント作成装置10としては、パーソナルコンピュータ又はワークステーションを使用することができる。本例のフォント作成装置10は、主として文字画像取得部12と、フォントセットデータベース(以下、「フォントセットDB」(DB:database)という)14と、記憶部16と、操作部18と、CPU(Central Processing Unit)20と、RAM(Random Access Memory)22と、ROM(Read Only Memory)24と、表示部26とから構成されている。
文字画像取得部12は、模倣したいスタイルのフォント(第1フォント)の一部の文字から構成される文字画像を取得する部分である。
図2は、文字画像取得部12の実施形態を示すブロック図である。
図2に示すように文字画像取得部12は、画像入力部12Aと、切出部12Bとから構成されている。
画像入力部12Aは、模倣したいスタイルの文字画像を含む画像30を入力する。例えば、ユーザは、模倣したいスタイルの文字を有する看板、ポスター、あるいは雑誌等を見つけた場合、看板等をカメラにより撮像し、模倣したいスタイルの文字画像を含む画像30を取得する。尚、模倣したいスタイルの文字が雑誌等の紙媒体に印刷されている場合には、その紙媒体をスキャナで読み取る(撮像する)ことで、模倣したいスタイルの文字画像を含む画像30を取得することができる。また、文字画像は、1文字からなる文字画像でもよし、複数の文字からなる文字列画像でもよい。
ユーザは、上記のようにして取得した画像30を画像入力部12Aに入力する。
切出部12Bは、画像入力部12Aに入力された画像30から文字に対応する文字領域を切り出し、切り出した文字領域の画像(文字画像)32を記憶部16又はRAM22に出力し、ここに記憶させる。
切出部12Bは、画像に含まれる文字領域を認識する機械学習装置により構成してもよいし、ユーザからの文字画像の抽出の支援を受けて文字画像を切り出すものでもよい。例えば、画像入力部12Aに入力した画像30を表示部26に表示させ、ユーザがポインティングデバイス等の操作部18を使用して、表示部26に表示された画像30に含まれる文字領域を指定することで、切出部12Bは文字画像32を切り出すことができる。
フォントセットDB14は、基準のフォントセットを記憶する記憶部である。基準のフォントセットは、例えばIPAフォントが考えられる。IPAフォントは、日本語アウトラインフォントであり、独立行政法人情報処理推進機構(IPA:Information-technology Promotion Agency,Japanの略称)によって配布されているコンピュータ用のフォントセットであり、IPA明朝 (IPAMincho)、IPAP明朝 (IPAPMincho)、IPAゴシック(IPAGothic)、IPAPゴシック(IPAPGothic)がある。また、基準のフォントセットは、上記の例に限らず、基準となる一揃いのフォントセットであれば、任意の言語に対するフォントセットであってもよい。
記憶部16は、ハードディスク装置、フラッシュメモリ等から構成される記憶部であり、オペレーティングシステム、本発明に係るフォント作成プログラムを含む各種のプログラムの他、パラメータ等のデータ、文字画像取得部12により取得された文字画像32、本装置により生成された一揃いのフォントセット(第2フォントセット)等を記憶する。
操作部18は、コンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、フォント作成に当たって各種の操作入力を受け付ける。
CPU20は、記憶部16又はROM24等に記憶された各種のプログラム(本発明に係るフォント作成プログラムを含む)を読み出し、各種の処理を実行する。RAM22は、CPU20の作業領域として使用され、読み出されたプログラムや各種のデータを一時的に記憶する記憶部として用いられる。
表示部26は、コンピュータに接続可能な液晶モニタ等の各種モニタが用いられ、操作部18とともに、ユーザインターフェースの一部として使用される。
上記構成のフォント作成装置10は、操作部18からの指示入力によりCPU20が、記憶部16又はROM24に記憶されているフォント作成プログラムを読み出し、フォント作成プログラムを実行することにより、後述するように模倣したいスタイルの一揃いのフォントセットを作成する。
[フォント作成装置の第1実施形態]
図3は、本発明に係るフォント作成装置10-1の第1実施形態を示すブロック図であり、図1に示したフォント作成装置10の主要な機能を示す機能ブロック図である。
図3に示すフォント作成装置10-1は、主として特徴量抽出部40、推定部42、特徴量生成部44、及びフォント生成部46から構成されている。
文字画像取得部12(図2)により取得された文字画像32は、特徴量抽出部40に加えられる。特徴量抽出部40は、入力する文字画像32から、文字画像32のスタイルを示すフォント(第1フォント)の特徴量(第1特徴量)を抽出する。
特徴量抽出部40による特徴量の抽出は、文字画像32のスタイルを示す第1フォントに対する各特徴量をマージ(重み付き平均、機械学習による統合)する方法や、フォント全体から直接特徴量を計算する方法が考えられる。また、特徴量抽出部40による特徴量の抽出は、デザイナの知見に基づくスコアリングや機械学習、特に深層学習で計算することが考えられる。例えば、特徴量抽出部40は、デザイナが文字画像32を見たときに、その文字画像32の印象を決定付ける特徴部分の入力を受け付ける受付部を有し、受け付けた文字画像32の特徴部分から第1特徴量を抽出することが考えられる。深層学習で特徴量を計算する場合、特徴量の抽出を学習した学習済みモデル(第1学習済みモデル)を使用し、この第1学習済みモデルに文字画像32を入力することで、文字画像32の第1特徴量を抽出する。
特徴量抽出部40により抽出された文字画像32のスタイルを示す第1フォントの第1特徴量は、推定部42に出力される。
推定部42は、文字画像32のスタイルを示す第1フォントの第1特徴量と、基準のフォント(第2フォント)34の特徴量(第2特徴量)との間の変形パラメータを推定する部分である。
基準の第2フォント34は、フォントセットDB14から取得することができる。ここで、基準の第2フォント34は、フォントセットDB14に保存されている一揃いのフォントセットのうちの一部のフォントでもよいし、全てのフォントでもよい。また、第1フォントが、例えばアルファベットの場合、基準の第2フォントは、アルファベット(即ち、同じ種類のフォント)でもよいし、異なる2種類以上のフォント(例えば、「ひらがな」、「カタカナ」、「漢字」等)でもよい。
推定部42は、文字画像32のスタイルを示す第1フォントの第1特徴量と、基準の第2フォント34の第2特徴量との間の変形パラメータを推定する。この推定した変形パラメータは、基準の第2フォント34の第2特徴量を、文字画像32のスタイルを示す第1フォントの第1特徴量に変換するためのパラメータである。
図4は、特徴量空間内における文字画像32のスタイルを示す第1フォント(「入力AI」)の第1特徴量と、基準の第2フォント34(「基準AI」)の第2特徴量と、第1特徴量と第2特徴量との関係を示す変形パラメータとを示している。
推定部42は、第1特徴量と第2特徴量との特徴量空間での距離、又は類似度を計算することで変形パラメータを推定することができ、あるいは後述するように機械学習により変形パラメータを推定することができる。
また、推定部42は、第2フォント34を入力し、特徴量抽出部40と同様に第2フォント34の第2特徴量を抽出するが、フォントセットDB14、又はその他の記憶部に予め第2フォントの第2特徴量を記憶させておき、記憶された第2フォントの第2特徴量を入力してもよい。
推定部42により推定された変形パラメータは、特徴量生成部44に加えられる。
一方、フォントセットDB14から一揃いの基準のフォントセット36が読み出され、基準のフォントセット36を構成する複数のフォントが1文字ずつ特徴量生成部44に加えられる。フォントセットDB14に記憶されている複数の種類の基準のフォントセット(例えば、アルファベット、ひらがな、カタナカ、漢字等のフォントセット)のうちのいずれの基準のフォントセットを特徴量生成部44に入力させるかは、ユーザが操作部18により指定することが可能である。
特徴量生成部44は、基準のフォントセット36の特徴量(第3特徴量)を、推定した変形パラメータに基づいて変形処理することにより、第2フォントセット(生成するフォントセット)の第4特徴量を生成する。
図5は、特徴量空間内における基準のフォントセット36の第3特徴量が、変形パラメータにより第2フォントセット38の第4特徴量に変形処理される様子を示す図であり、図5では、一揃いの基準のフォントセット36として、「ひらがな」の「あ」~「ん」が選択されている場合に関して示している。
「ひらがな」の基準のフォントセット36の第3特徴量は、変形パラメータに基づいて特徴量生成部44により第4特徴量に変形処理される。即ち、第3特徴量から変形処理された第4特徴量は、模倣したい文字画像32のスタイルを示す第1フォントの第1特徴量と同様の特徴量になる。
尚、特徴量生成部44は、基準のフォントセット36を入力し、特徴量抽出部40と同様に基準のフォントセット36の第3特徴量を抽出するが、フォントセットDB14、又はその他の記憶部に予め基準のフォントセットの第3特徴量を記憶させておき、記憶された基準のフォントセットの第3特徴量を入力してもよい。
特徴量生成部44により変形処理された第2フォントセットの第4特徴量は、フォント生成部46に出力される。
フォント生成部46は、特徴量空間における第2フォントセットの第4特徴量を画像空間における画像に変換し、模倣したい文字画像32のスタイルを有する一揃いの第2フォントセットを生成する。
フォント生成部46は、一揃いの第2フォントセットとして、文字画像を画素の集合として表現したラスタデータを生成するが、文字画像を点、線及び面で表現したベクタデータを生成するものでもよい。
フォント生成部46により生成された一揃いの第2フォントセットは、記憶部16に記憶される。これにより、ユーザは、記憶部16に記憶された、模倣したい文字画像32のスタイルを有する一揃いの第2フォントセットを使用することができる。
また、図5に示した例では、「ひらがな」の一揃いの基準のフォントセットを入力したが、これに限らず、任意の言語の基準のフォントセットを入力することができ、例えば、「アルファベット」の一揃いの基準のフォントセットを入力すると、模倣したい文字画像32のスタイルを有する一揃いの「アルファベット」の第2フォントセットを生成することができる。
[フォント作成装置の第2実施形態]
図6は、本発明に係るフォント作成装置10-2の第2実施形態を示す要部ブロック図であり、図1に示したフォント作成装置10の主要な機能を示す機能ブロック図である。
図6に示すフォント作成装置10-2は、主として特徴量抽出部40及び学習装置50から構成されている。
図6において、特徴量抽出部40は、図3に示した特徴量抽出部40と同様に文字画像32を入力し、その文字画像32の特徴量を抽出して学習装置50(の損失値算出部54)に出力する。
学習装置50は、文字画像32と基準の第2フォントとを学習データとして使用して学習することにより、図3に示した推定部42及び特徴量生成部44に対応する学習済みモデル(第2学習済みモデル)を生成する。本例では、深層学習モデルの一つである畳み込みニューラルネットワーク(CNN:Convolution Neural Network)52を構築する。
図6に示す学習装置50は、主としてCNN52と、損失値算出部54と、パラメータ制御部56とから構成される。
CNN52は、複数のレイヤー構造を有し、複数の重みパラメータを保持している。CNN52は、重みパラメータが初期値から最適値に更新されることで、未学習モデルから学習済みモデルに変化しうる。CNN52の重みパラメータの初期値は、例えば、画像の分類等を行う画像系の学習済みモデルの重みパラメータを適用することができる。これによれば、CNN52は事前学習されたものとなり、僅かな学習データによる学習(ファインチューニング)により所望の学習モデルとなる。
このCNN52は、入力層52Aと、畳み込み層とプーリング層から構成された複数セットを有する中間層52Bと、出力層52Cとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。
入力層52Aには、学習対象である第2フォント34が入力される。
中間層52Bは、畳み込み層とプーリング層とを1セットとする複数セットを有し、入力層52Aから入力した第2フォント34(画像)から特徴を抽出する部分である。畳み込み層は、前の層で近くにあるノードにフィルタ処理し(フィルタを使用した畳み込み演算を行い)、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。尚、中間層52Bには、畳み込み層とプーリング層とを1セットとする場合に限らず、畳み込み層が連続する場合や正規化層も含まれる。
出力層52Cは、CNN52の認識結果(本例では、フォントの特徴を示す特徴マップ)を出力する部分である。
損失値算出部54は、CNN52の出力層52Cから出力される認識結果(特徴マップ)と、模倣したい文字画像32のスタイルを示す第1フォントの第1特徴量(訓練データ)とを取得し、両者間の損失値を算出する。損失値の算出方法は、例えばソフトマックスクロスエントロピー、シグモイドなどが考えられる。
パラメータ制御部56は、損失値算出部54により算出された損失値を元に、誤差逆伝播法により、訓練データ(第1特徴量)とCNN52の出力(第2特徴量)との特徴量空間での距離を最小化させ、又は類似度を最大化させるべ、CNN52の重みパラメータを調整する。
このパラメータの調整処理を繰り返し行い、損失値算出部54により算出される損失値が収束するまで繰り返し学習を行う。
このようにして重みパラメータが最適化された学習済みのCNN52は、第2フォント34の第2特徴量を抽出し、文字画像32のスタイルを示す第1フォントの第1特徴量と第2フォント34の第2特徴量との間の変形パラメータとしての重みパラメータを有する。
そして、学習済みのCNN52の入力画像として、基準のフォントセット36を入力すると、学習済みのCNN52は、基準のフォントセットの第3特徴量を、模倣したい文字画像32のスタイルを示す第1フォントの第1特徴量と同様な第4特徴量(特徴マップ)を出力する。この学習済みのCNN52は、図3に示した推定部42及び特徴量生成部44として機能する。
学習済みのCNN52から出力される第2フォントセットの第4特徴量(特徴マップ)は、フォント生成部46(図3)により特徴量空間における第2フォントセットの第4特徴量が画像空間に変換された画像(文字画像)になる。フォント生成部46は、画像の特徴量(第2フォントセットの第4特徴量)を画像に変換する自己符号化器にて構成することができる。
[フォント作成方法]
図7は、本発明に係るフォント作成方法の実施形態を示すフローチャートであり、図3に示した第1実施形態のフォント作成装置10-1の各部の処理手順に関して示している。
図7において、まず、文字画像取得部12(図2)により模倣したいスタイルの文字画像32を取得する(ステップS10)。
特徴量抽出部40は、ステップS10で取得した文字画像32から、文字画像32のスタイルを示す第1フォントの第1特徴量を抽出する(ステップS12)。
続いて、推定部42により、文字画像32のスタイルを示す第1フォントの第1特徴量と、基準のフォント(第2フォント)34の第2特徴量との間の変形パラメータを推定する(ステップS14)。
特徴量生成部44は、フォントセットDB14から読み出された一揃いの基準のフォントセット36の第3特徴量を、ステップS14で推定した変形パラメータに基づいて変形処理し、第2フォントセットの第4特徴量を生成する(ステップS16)。
フォント生成部46は、ステップS16で生成された特徴量空間における第2フォントセットの第4特徴量を画像空間における画像に変換し、模倣したい文字画像32のスタイルを有する一揃いの第2フォントセットを生成する(ステップS18)。
[その他]
本実施形態のフォント作成装置10の各種制御を実行するハードウエア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の制御部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の制御部を1つのプロセッサで構成してもよい。複数の制御部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の制御部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウエア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
また、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
また、本発明は、コンピュータにインストールされることにより、本発明に係るフォント作成装置として機能させるフォント作成プログラム、及びこのフォント作成プログラムが記録された記録媒体を含む。
更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
10、10-1、10-2 フォント作成装置
12 文字画像取得部
12A 画像入力部
12B 切出部
14 フォントセットDB
16 記憶部
18 操作部
20 CPU
22 RAM
24 ROM
26 表示部
30 画像
32 文字画像
34 第2フォント
36 基準のフォントセット
38 第2フォントセット
40 特徴量抽出部
42 推定部
44 特徴量生成部
46 フォント生成部
50 学習装置
52 畳み込みニューラルネットワーク(CNN)
52A 入力層
52B 中間層
52C 出力層
54 損失値算出部
56 パラメータ制御部
S10~S18 ステップ

Claims (17)

  1. 第1フォントの一部の文字から構成される文字画像を取得する文字画像取得部と、
    前記取得した文字画像を入力し、入力した前記文字画像から特徴量空間における前記第1フォントの第1特徴量を抽出する特徴量抽出部と、
    前記抽出した第1特徴量と特徴量空間における基準の第2フォントの第2特徴量との間の変形パラメータであって、前記第2特徴量を前記第1特徴量に変換するための前記変形パラメータを推定する推定部と、
    特徴量空間における一揃いの基準のフォントセットの各フォントに対応する第3特徴量を、前記推定した変形パラメータに基づいてそれぞれ変形させることにより、特徴量空間における一揃いの第2フォントセットの各フォントに対応する第4特徴量を生成する特徴量生成部と、
    前記生成された前記第2フォントセットの各フォントに対応する第4特徴量をそれぞれ画像に変換し、前記第2フォントセットを生成するフォント生成部と、
    を備えたフォント作成装置であって、
    前記第2フォントセットは、前記第1フォントとは種類が異なる、フォント作成装置。
  2. 前記文字画像取得部は、前記第1フォントの一部の文字が撮像された画像を入力する画像入力部と、前記入力した画像から前記文字に対応する文字領域を切り出す切出部と、を備え、前記切り出した文字領域の画像を前記文字画像とする請求項1に記載のフォント作成装置。
  3. 前記特徴量抽出部は、特徴量の抽出を学習した第1学習済みモデルであり、前記第1学習済みモデルは、前記取得した文字画像を入力し、前記文字画像の第1特徴量を出力する請求項1又は2に記載のフォント作成装置。
  4. 前記推定部は、前記第1特徴量と前記第2特徴量との特徴量空間での距離、又は類似度を計算して前記変形パラメータを推定する請求項1からのいずれか1項に記載のフォント作成装置。
  5. 前記推定部及び前記特徴量生成部は、第2学習済みモデルであり、
    前記第2学習済みモデルは、前記第1特徴量と前記第2特徴量との特徴量空間での距離を最小化し、又は前記第1特徴量と前記第2特徴量との類似度を最大化するモデルであり、前記一揃いの基準のフォントセットを入力することで、前記第2フォントセットの各フォントに対応する第4特徴量を生成する請求項1からのいずれか1項に記載のフォント作成装置。
  6. 前記フォント生成部は、前記第2フォントセットの各フォントに対応する第4特徴量をそれぞれ画像に変換する自己符号化器である請求項1からのいずれか1項に記載のフォント作成装置。
  7. 前記フォント生成部は、前記第2フォントセットとしてベクタデータを生成する請求項1からのいずれか1項に記載のフォント作成装置。
  8. 前記フォント生成部は、前記第2フォントセットとしてラスタデータを生成する請求項1からのいずれか1項に記載のフォント作成装置。
  9. 前記基準のフォントセットは、前記第1フォントとスタイルが異なる同じ種類のフォントセットを含む請求項1からのいずれか1項に記載のフォント作成装置。
  10. 前記基準のフォントセットは、2種類以上の基準のフォントセットを含み、
    前記特徴量生成部は、前記2種類以上の基準のフォントセットのうちの操作部により指定された前記基準のフォントセットを入力し、前記入力した前記基準のフォントセットの各フォントに対応する第3特徴量を、前記推定した変形パラメータに基づいてそれぞれ変形させることにより、前記第2フォントセットの各フォントに対応する第4特徴量を生成する、
    請求項1からのいずれか1項に記載のフォント作成装置。
  11. 前記一揃いの基準のフォントセットは、前記第2フォントとは種類が異なる、請求項1に記載のフォント作成装置。
  12. 第1フォントの一部の文字から構成される文字画像を取得するステップと、
    前記取得した文字画像を入力し、入力した前記文字画像から前記第1フォントの第1特徴量を抽出するステップと、
    前記抽出した第1特徴量と基準の第2フォントの第2特徴量との間の変形パラメータを推定するステップと、
    特徴量空間における一揃いの基準のフォントセットの各フォントに対応する第3特徴量を、前記推定した変形パラメータに基づいてそれぞれ変形させることにより、一揃いの第2フォントセットの各フォントに対応する第4特徴量を生成するステップと、
    前記生成された前記第2フォントセットの各フォントに対応する第4特徴量をそれぞれ画像に変換し、前記第2フォントセットを生成するステップと、を含み、
    前記第2フォントセットは、前記第1フォントとは種類が異なる、フォント作成方法。
  13. 前記一揃いの基準のフォントセットは、前記第2フォントとは種類が異なる、請求項12に記載のフォント作成方法。
  14. 第1フォントの一部の文字から構成される文字画像を取得する機能と、
    前記取得した文字画像を入力し、入力した前記文字画像から前記第1フォントの第1特徴量を抽出する機能と、
    前記抽出した第1特徴量と基準の第2フォントの第2特徴量との間の変形パラメータを推定する機能と、
    特徴量空間における一揃いの基準のフォントセットの各フォントに対応する第3特徴量を、前記推定した変形パラメータに基づいてそれぞれ変形させることにより、一揃いの第2フォントセットの各フォントに対応する第4特徴量を生成する機能と、
    前記生成された前記第2フォントセットの各フォントに対応する第4特徴量をそれぞれ画像に変換し、前記第2フォントセットを生成する機能と、をコンピュータにより実現させるフォント作成プログラムであって、
    前記第2フォントセットは、前記第1フォントとは種類が異なる、フォント作成プログラム。
  15. 前記一揃いの基準のフォントセットは、前記第2フォントとは種類が異なる、請求項14に記載のフォント作成プログラム。
  16. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    第1フォントの一部の文字から構成される文字画像を取得する機能と、
    前記取得した文字画像を入力し、入力した前記文字画像から前記第1フォントの第1特徴量を抽出する機能と、
    前記抽出した第1特徴量と基準の第2フォントの第2特徴量との間の変形パラメータを推定する機能と、
    特徴量空間における一揃いの基準のフォントセットの各フォントに対応する第3特徴量を、前記推定した変形パラメータに基づいてそれぞれ変形させることにより、一揃いの第2フォントセットの各フォントに対応する第4特徴量を生成する機能と、
    前記生成された前記第2フォントセットの各フォントに対応する第4特徴量をそれぞれ画像に変換し、前記第2フォントセットを生成する機能と、を含むフォント作成機能をコンピュータに実行させる記録媒体であって、
    前記第2フォントセットは、前記第1フォントとは種類が異なる、記録媒体。
  17. 前記一揃いの基準のフォントセットは、前記第2フォントとは種類が異なる、請求項16に記載の記録媒体。
JP2020548320A 2018-09-20 2019-09-05 フォント作成装置、フォント作成方法及びフォント作成プログラム Active JP7482783B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018176318 2018-09-20
JP2018176318 2018-09-20
PCT/JP2019/035056 WO2020059527A1 (ja) 2018-09-20 2019-09-05 フォント作成装置、フォント作成方法及びフォント作成プログラム

Publications (2)

Publication Number Publication Date
JPWO2020059527A1 JPWO2020059527A1 (ja) 2021-08-30
JP7482783B2 true JP7482783B2 (ja) 2024-05-14

Family

ID=69887290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020548320A Active JP7482783B2 (ja) 2018-09-20 2019-09-05 フォント作成装置、フォント作成方法及びフォント作成プログラム

Country Status (3)

Country Link
US (1) US11600031B2 (ja)
JP (1) JP7482783B2 (ja)
WO (1) WO2020059527A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7208771B2 (ja) * 2018-11-22 2023-01-19 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム、並びに、画像形成システム
JP2020170309A (ja) * 2019-04-02 2020-10-15 キヤノン株式会社 画像処理システム、画像処理装置、画像処理方法、及びプログラム
US20220383030A1 (en) * 2021-05-25 2022-12-01 3Dfamily Technology Co.,Ltd. Using few shot learning on recognition system for character image in industrial processes
CN113657397B (zh) * 2021-08-17 2023-07-11 北京百度网讯科技有限公司 循环生成网络模型的训练方法、建立字库的方法和装置
US11886793B2 (en) * 2021-09-03 2024-01-30 Adobe Inc. Textual design agent
CN113792855B (zh) * 2021-09-09 2023-06-23 北京百度网讯科技有限公司 一种模型训练及字库建立方法、装置、设备和存储介质
KR102623293B1 (ko) * 2021-12-02 2024-01-10 숭실대학교산학협력단 폰트 생성 방법 및 장치
KR102588679B1 (ko) * 2021-12-20 2023-10-11 단국대학교 산학협력단 Nft 기반 신규 폰트 파일을 생성하는 방법, 장치, 및 컴퓨터 프로그램
CN114386370A (zh) * 2022-01-14 2022-04-22 北京有竹居网络技术有限公司 一种字体生成方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5265429B2 (ja) 2009-03-26 2013-08-14 Hoya株式会社 ガラス基板の製造方法、及び磁気記録媒体の製造方法
JP6230766B1 (ja) 2016-06-13 2017-11-15 オリンパス株式会社 挿入機器、装着具及び駆動力伝達ユニット

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265429A (ja) * 1992-03-19 1993-10-15 Fujitsu Ltd 文字フォント作成処理方式
JPH06230766A (ja) * 1993-01-29 1994-08-19 Hitachi Ltd フォント作成システム
JPH0721158A (ja) * 1993-06-22 1995-01-24 Sony Corp ワードプロセッサ装置
JP2001222272A (ja) * 2000-02-10 2001-08-17 Nippon Telegr & Teleph Corp <Ntt> 変形文字パターン発生方法、変形文字パターン発生装置、及び変形文字パターン発生プログラムを記録した記録媒体
JP3438009B2 (ja) * 2001-06-04 2003-08-18 学校法人慶應義塾 手書き風文字フォント生成システム、記録媒体及びプログラム
JP2014186395A (ja) * 2013-03-21 2014-10-02 Toshiba Corp 文書作成支援装置、方法およびプログラム
US9715623B2 (en) * 2015-06-10 2017-07-25 Lenovo (Singapore) Pte. Ltd. Reduced document stroke storage
US10878298B2 (en) * 2019-03-06 2020-12-29 Adobe Inc. Tag-based font recognition by utilizing an implicit font classification attention neural network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5265429B2 (ja) 2009-03-26 2013-08-14 Hoya株式会社 ガラス基板の製造方法、及び磁気記録媒体の製造方法
JP6230766B1 (ja) 2016-06-13 2017-11-15 オリンパス株式会社 挿入機器、装着具及び駆動力伝達ユニット

Also Published As

Publication number Publication date
WO2020059527A1 (ja) 2020-03-26
US11600031B2 (en) 2023-03-07
US20210201548A1 (en) 2021-07-01
JPWO2020059527A1 (ja) 2021-08-30

Similar Documents

Publication Publication Date Title
JP7482783B2 (ja) フォント作成装置、フォント作成方法及びフォント作成プログラム
CN109196526B (zh) 用于生成多模态数字图像的方法和***
CN110555795A (zh) 高解析度风格迁移
JP2020524861A (ja) セマンティックセグメンテーションモデルの訓練方法および装置、電子機器、ならびに記憶媒体
US20180247183A1 (en) Method and system for generative model learning, and recording medium
WO2021081562A2 (en) Multi-head text recognition model for multi-lingual optical character recognition
JP2022058696A (ja) 敵対的ネットワークモデルのトレーニング方法、文字ライブラリの作成方法、並びにそれらの装置、電子機器、記憶媒体並びにコンピュータプログラム
CN113378580A (zh) 文档版面分析方法、模型训练方法、装置和设备
KR20200059993A (ko) 웹툰 제작을 위한 콘티를 생성하는 장치 및 방법
KR102121654B1 (ko) 딥러닝 기반 제스처 자동 인식 방법 및 시스템
CN111079374B (zh) 字体生成方法、装置和存储介质
KR20220034080A (ko) 순환 생성 네트워크 모델의 훈련 방법, 글자 라이브러리의 구축 방법 및 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램
CN113516136A (zh) 一种手写图像生成方法、模型训练方法、装置及设备
KR20220034083A (ko) 글꼴 데이터베이스의 생성 방법, 신경망 모델의 훈련 방법 및 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램
CN112529058A (zh) 图像生成模型训练方法和装置、图像生成方法和装置
CN114581918A (zh) 一种文本识别模型训练方法及装置
CN112101204B (zh) 生成式对抗网络的训练方法、图像处理方法、装置和设备
Kumar et al. Performance analysis of KNN, SVM and ANN techniques for gesture recognition system
Kong et al. Handwritten chinese character generation via conditional neural generative models
JP2023039891A (ja) 文字生成モデルのトレーニング方法、文字生成方法、装置および機器
Wang et al. Deep learning for font recognition and retrieval
CN112053362A (zh) 图像分割方法、装置、电子设备及存储介质
US20240037449A1 (en) Teaching device, teaching method, and computer program product
CN116385829B (zh) 姿态描述信息生成方法、模型的训练方法和装置
CN110728625B (zh) 一种图像推理的方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210507

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220715

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230110

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230110

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230119

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230120

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230210

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240430

R150 Certificate of patent or registration of utility model

Ref document number: 7482783

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150