CN111651969A - 样式迁移 - Google Patents

样式迁移 Download PDF

Info

Publication number
CN111651969A
CN111651969A CN201910161417.9A CN201910161417A CN111651969A CN 111651969 A CN111651969 A CN 111651969A CN 201910161417 A CN201910161417 A CN 201910161417A CN 111651969 A CN111651969 A CN 111651969A
Authority
CN
China
Prior art keywords
style
target object
pattern
representation
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910161417.9A
Other languages
English (en)
Other versions
CN111651969B (zh
Inventor
王锦鹏
林钦佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN202311308278.0A priority Critical patent/CN117291162A/zh
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to CN201910161417.9A priority patent/CN111651969B/zh
Priority to JP2021546228A priority patent/JP7502312B2/ja
Priority to PCT/US2020/016309 priority patent/WO2020180437A1/en
Priority to EP20708391.6A priority patent/EP3935556A1/en
Priority to KR1020217028160A priority patent/KR20210132060A/ko
Priority to US17/431,377 priority patent/US11580292B2/en
Priority to CA3132064A priority patent/CA3132064A1/en
Publication of CN111651969A publication Critical patent/CN111651969A/zh
Priority to US18/106,802 priority patent/US20230252220A1/en
Application granted granted Critical
Publication of CN111651969B publication Critical patent/CN111651969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
    • G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开的各个实现涉及样式迁移。在一些实现中，一种计算机实现的方法包括：获取具有第一样式的目标对象，所述目标对象的样式是可编辑的；获取包括参考对象的参考图像；获取所述参考对象的第二样式，所述参考对象的第二样式是从所述参考图像提取的；以及向所述目标对象应用所述第二样式。

Description

样式迁移
背景技术
图表、表格等可编辑对象在日常工作生活中具有重要的地位。然而，用户在使用这些可编辑对象时经常对应当使用什么设计或样式(例如，颜色、布局等)而感到困惑或者难以抉择。另外，即使用户知晓使用什么设计或样式，却无法快速地应用这样的样式。相反，用户需要对可编辑对象中的各个元件分别按照各个样式要素进行调节，时间成本非常高。
发明内容
本公开的各个实现提供针对可编辑对象(例如，图表、表格等)的样式迁移方案。在一些实现中，获取具有预定样式的可编辑对象；获取包括参考对象的参考图像；获取参考对象的样式，参考对象的样式是从参考图像提取的；以及向可编辑对象应用参考对象的样式，以将预定样式修改为参考对象的样式。
提供发明内容部分是为了简化的形式来介绍对概念的选择，其在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。
附图说明
图1示出了能够实施本公开的多个实现的计算设备的框图；
图2示出了根据本公开的一些实现的用于样式迁移的架构的示意图；
图3示出了根据本公开的一些实现的用于样式迁移的模型的示意图；
图4示出了根据本公开的一些实现的解码器的示意图；
图5示出了根据本公开的一些实现的用于样式迁移的方法的流程图；以及
图6示出了根据本公开的一些实现的用于样式迁移的另一方法的流程图。
这些附图中，相同或相似参考符号用于表示相同或相似元素。
具体实施方式
现在将参照若干示例实现来论述本公开。应当理解，论述了这些实现仅是为了使得本领域普通技术人员能够更好地理解且因此实现本公开，而不是暗示对本主题的范围的任何限制。
如本文所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实现”和“一种实现”要被解读为“至少一个实现”。术语“另一个实现”要被解读为“至少一个其他实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
以下参考附图来说明本公开的基本原理和若干示例实现。图1示出了能够实施本公开的多个实现的计算设备100的框图。应当理解，图1所示出的计算设备100仅仅是示例性的，而不应当构成对本公开所描述的实现的功能和范围的任何限制。如图1所示，计算设备100包括通用计算设备形式的计算设备100。计算设备100的部件可以包括但不限于一个或多个处理器或处理单元110、存储器120、存储设备130、一个或多个通信单元140、一个或多个输入设备150以及一个或多个输出设备160。
在一些实现中，计算设备100可以被实现为具有计算能力的各种用户终端或服务终端。服务终端可以是各种服务提供方提供的服务器、大型计算设备等。用户终端诸如是任意类型的移动终端、固定终端或便携式终端，包括移动手机、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信***(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。还可预见到的是，计算设备100能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。
处理单元110可以是实际或虚拟处理器并且能够根据存储器120中存储的程序来执行各种处理。在多处理器***中，多个处理单元并行执行计算机可执行指令，以提高计算设备100的并行处理能力。处理单元110也可以被称为中央处理单元(CPU)、微处理器、控制器、微控制器。
计算设备100通常包括多个计算机存储介质。这样的介质可以是计算设备100可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器120可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或其某种组合。存储器120可以包括文本生成模块122，这些程序模块被配置为执行本文所描述的各种实现的功能。文本生成模块122可以由处理单元110访问和运行，以实现相应功能。
存储设备130可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，其能够用于存储信息和/或数据并且可以在计算设备100内被访问。计算设备100可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图1中示出，可以提供用于从可拆卸、非易失性磁盘进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。
通信单元140实现通过通信介质与另外的计算设备进行通信。附加地，计算设备100的部件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，计算设备100可以使用与一个或多个其他服务器、个人计算机(PC)或者另一个一般网络节点的逻辑连接来在联网环境中进行操作。
输入设备150可以是一个或多个各种输入设备，例如鼠标、键盘、追踪球、语音输入设备等。输出设备160可以是一个或多个输出设备，例如显示器、扬声器、打印机等。计算设备100还可以根据需要通过通信单元140与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与计算设备100交互的设备进行通信，或者与使得计算设备100与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。
在一些实现中，除了被集成在单个设备上之外，计算设备100的各个部件中的一些或所有部件还可以以云计算架构的形式被设置。在云计算架构中，这些部件可以被远程布置，并且可以一起工作以实现本公开所描述的功能。在一些实现中，云计算提供计算、软件、数据访问和存储服务，它们不需要终端用户知晓提供这些服务的***或硬件的物理位置或配置。在各种实现中，云计算使用适当的协议通过广域网(诸如因特网)提供服务。例如，云计算提供商通过广域网提供应用，并且它们可以通过web浏览器或任何其他计算部件被访问。云计算架构的软件或部件以及相应的数据可以被存储在远程位置处的服务器上。云计算环境中的计算资源可以在远程数据中心位置处被合并或者它们可以被分散。云计算基础设施可以通过共享数据中心提供服务，即使它们表现为针对用户的单一访问点。因此，可以使用云计算架构从远程位置处的服务提供商提供本文所描述的部件和功能。备选地，它们可以从常规服务器被提供，或者它们可以直接或以其他方式被安装在客户端设备上。
计算设备100可以用于实施根据本公开的多个实现的用于样式迁移的方案。在这里，可编辑对象是指样式可编辑的目标对象，例如，在呈现应用程序、文字处理应用程序和/或电子表格应用程序内产生的图表或表格。例如，图表的样式可以包含颜色、图案、边框、底纹、坐标系等。区别于格式通常反映外观的单一或特定要素，可编辑对象的“样式”表示对该对象的外观风格的整体体现，通常由多个不同的外观要素来体现。例如，可编辑对象的“样式”包括可以表示其整体外观、风格和/或布局等的颜色、图案、边框、底纹、坐标系等等要素。
在一些实现中，可编辑对象也可以是呈现应用程序、文字处理应用程序和/或电子表格应用程序生成的相应文档。例如，作为可编辑对象，这些文档的样式可以体现字体、字号、行间距、段落缩进、背景、布局等。
在对可编辑对象(例如，图表或表格)进行样式迁移时，计算设备100可以通过输入设备150接收参考图像170，其可以包括参考对象，例如，图表。格式刷122可以对参考图像170进行处理，并提取参考图像170中的参考对象的样式。另外，计算设备100可以通过输入设备150接收可编辑对象，其可以是图表或表格。例如，提取的参考对象的样式可以被应用到可编辑对象，以更改可编辑对象的样式。修改后的可编辑对象可以被提供给输出设备160，以作为输出180提供给用户等。例如，修改后的可编辑对象可以显示在显示器上，以呈现给用户。
以下将参照图2-图5来详细描述本公开的示例实现。图2示出了根据本公开的一些实现的用于样式迁移的架构200的示意图。格式刷122可以至少部分地由架构200来实现。应当理解，图2仅仅是出于示例的目的而提供，而不旨在限制本公开的范围。在不脱离本公开的精神和范围的情况下，可以将用于样式迁移的架构200中的一个或多个模块合并为一个模块，也可以向用于样式迁移的架构200中增加一个或多个模块，或者替换用于样式迁移的架构200中的一个或多个模块等等。
用户可以从计算设备本地导入参考图像202，也可以从网络中获取参考图像202，例如，提供参考图像202的链接。例如，参考图像202可以是不可编辑的图像，并且包括参考对象，例如，图表。为了方便起见，以下将结合图表来描述对象，然而，应当理解，本公开的原理也可以应用于表格等其他对象。
通过对参考图像202进行样式解析来获得其中的参考对象的样式。例如，参考图像202可以在计算设备本地进行样式解析，也可以上传到服务器(例如，云端)进行样式解析，然后将解析出的样式提供给本地。在获取参考对象的样式206之后，可以将样式206应用到具有预定样式的图表204。图表204可以由呈现应用程序、文字处理应用程序和/或电子表格应用程序生成。图表204的样式被修改或替换为样式206，从而获得具有样式206的输出图表208。
在一些实现中，样式解析可以通过预定义的规则来实现。以柱状图为例，可以将参考图像202中具有最大面积的颜色认为是背景色，并将具有第二大面积的颜色认为是柱状图中的柱体的一种颜色，等等。通过基于规则的模型，可以以较低的计算资源实现样式提取，减小样式迁移的响应时间。这对于在有限的计算资源上实现离线式的样式迁移特别有利。
在一些实现中，样式解析可以通过神经网络来实现。例如，图3示出了根据本公开的一些实现的用于样式迁移的神经网络模型300的示意图。如图3所示，神经网络模型300包括用于解析或提取参考图像中的参考图表的样式的样式解析部分320和用于向目标图表应用解析或提取出的样式的样式适配部分340。样式解析部分320可以基于大规模的数据集来训练，以用于提取图像或对象的样式。
在样式解析部分320中，参考图像302被提供给编码器304，以将参考图像302转换为参考图像302的表示，例如，向量表示。例如，编码器304可以由卷积神经网络(CNN)来实现。
样式可以包括多个样式要素，例如，颜色、图案、背景、边框、底纹、是否显示数值等。因此，可以使用多个解码器来分别对每一种样式要素分别进行解码。如图3所示，解码器306-1至306-N分别用于对N个不同的样式要素进行解码，以获得不同的样式要素。例如，解码器306-1可以获得与颜色有关的样式要素，其输出一个颜色序列。解码器306-1至306-N输出的样式要素可以合并在一起，作为解析出的样式输出给样式适配部分340。
在一些实现中，可以在样式解析部分320中增加物体检测模块(未示出)，其可以检测参考图表(例如，柱状图)中的不同部分(例如，背景、柱体等)。物体检测模块的输出可以提供给解码器，以更好地提取参考图表的特征。例如，编码器304的特征向量中对应于背景的部分可以提供给用于提取背景相关信息的解码器。以这种方式，可以更加高效地提取参考图表的相关样式要素。
在一些实现中，可以将部分解码器对应的功能由基于规则的模型来替换，以提升计算效率。例如，对于图表而言，颜色可能是计算复杂度最高的样式要素之一。因此，为了提升计算效率，可以将颜色这一样式要素由基于规则的模型来实现。
如图3所示，样式适配部分340包括样式适配器308，其将从样式解析部分320中获取的样式应用到具有预定样式的图表310。图表310的预定样式被更改为从参考图像302提取出的样式，从而获得输出图表312。输出图表312可以被显示在显示器上，从而用户可以对输出图表312的样式进行操作，以进一步修改或编辑输出图表312的样式。用户可以对输出图表312进行微调，从而进一步完善输出图表312的显示效果。
图4示出了根据本公开的一些实现的解码器400的示意图。解码器400可以应用于图3所示的解码器306-1至306-N中的任何一个。然而，应当理解，图3所示的解码器306-1至306-N也可以由任何其他合适的模型来实现。
解码器400从编码器接收参考图像的表示406，其与开始标签404的向量表示406被一起提供给递归神经网络408。递归神经网络408在该示例中是长短时记忆单元(LSTM)，然而，应当理解，也可以使用任何其他合适的网络作为替代，例如，门控递归单元(GRU)等。递归神经网络408输出第一种颜色410，并将第一种颜色410的表示412与参考图像的表示406一起提供给递归神经网络408，以进行下一次迭代，获得第二种颜色414。第二种颜色414的表示与参考图像的表示406一起提供给递归神经网络408，以进行下一次迭代，从而获得结束标签418。包含这些颜色的序列的输出420被提供给后续的处理模块，以进行进一步处理。
图5示出了根据本公开的一些实现的用于样式迁移的方法500的流程图。例如，方法500可以由计算设备100来实现，并且可以在图2-图4所示的示例架构和示例模型中实现。
在502，获取具有第一样式的目标对象。目标对象的样式是可编辑的。例如，目标对象可以包括图表和表格中的至少一项。
在504，获取包括参考对象的参考图像。例如，参考对象可以包括图表和表格中的至少一项。参考对象可以具有与目标对象相同或不同的类型。例如，参考对象可以是柱状图，而目标对象可以是柱状图或饼状图。
在506，获取参考对象的第二样式，参考对象的第二样式是从参考图像提取的。在一些实现中，参考对象的第二样式可以是通过预定义的规则提取的。
在一些实现中，参考对象的第二样式可以是通过神经网络从参考图像提取的。例如，参考图像通过编码器被转换为参考图像的表示，并且参考图像的表示通过解码器被转换为参考图像的样式。例如，参考图像的表示分别通过多个解码器被转换为样式的多个要素。
在508，向目标对象应用第二样式。例如，第二样式可以与第一样式不同。样式表示多个不同的要素的组合。如果第二样式中的一个要素与第一样式不同，则两个样式互不相同。以这种方式，第一格式将被修改为第二样式。在一些实现中，显示具有第二样式的目标对象。响应于接收到针对显示的具有第二样式的目标对象的编辑操作，修改目标对象的第二样式。在这种情况下，用户可以对目标对象的样式进行进一步的修改。备选地，在一些情况下，第二样式可能与第一样式相同，因此，向目标对象应用第二样式之后，目标对象的样式并不发生变化。
以上结合图2-图5描述了将参考图像中的样式迁移到可编辑对象的方案。在一些实现中，可以将一个可编辑对象的样式迁移到另一个可编辑对象。图6示出了根据本公开的一些实现的将一个可编辑对象的样式迁移到另一个可编辑对象的方法600的流程图。方法600可以由计算设备100来实现。
在602，获取可编辑对象。该可编辑对象可以与一个数据集相关联。例如，可以基于这些数据来生成相关联的可编辑对象，或者将其他工具生成的可编辑对象复制而来。例如，可编辑对象可以是用于可视化该数据集的图表，或者包含该数据集的表格。例如，可编辑对象可以是基于该数据集绘制的图表，例如，柱状图。为了方便起见，以下将该可编辑对象称为目标可编辑对象，并将相应的数据集称为目标数据集。
在604，从多个预定义可编辑对象中，确定与目标可编辑对象之间的相似度小于预定阈值的一个或多个预定义可编辑对象。这些预定义可编辑对象具有相应的样式，其可以是与其数据匹配的美观程度较高的样式。相似度可以以各种合适的方式来度量，例如，两者数据的相似度，例如，数据量的大小、行数、列数、数据值的大小等等。
另外，还可以考虑目标可编辑对象(例如，图表)相关联的语义信息。例如，可以基于图表中的文本内容来确定与预定义可编辑对象的相似度。例如，如果在图表的标题中包含“百分比”，则该图表更合适作为饼状图呈现，因此该图表与饼状图的相似度更高。以这种方式，推荐的样式可以具有与目标可编辑对象的原始类型不同。在另一示例中，相似度可以考虑图表的主题之间的相似度。例如，可以基于输入图表的标题和数据行或数据列的标签等来获取或推断该输入图表的主题，并且将与该主题相近的预定义图表的主题进行比较。
在一些实现中，多个预定义可编辑对象可以与多个不同的类别相关联，例如，科学型、财务型等。在这种情况下，可以在多个类别中分别确定与目标数据集之间的相似度小于预定阈值的一个或多个数据集。以这种方式，可以向用户推荐多种类别的样式。
在606，显示所述一个或多个预定义可编辑对象，以供用户选择。备选地或附加地，可以将与相似度最高的数据集对应的样式直接应用于目标可编辑对象。这些样式可以在获取可编辑对象之后自动显示，也可以是用户在点击某个按键或界面要素之后显示。
在608，响应于接收到对所述一个或多个预定义可编辑对象中的一个可编辑对象的选择，将该可编辑对象的样式应用于目标可编辑对象。
以这种方式，可以向用户方便地推荐一些较好的样式，以供用户选择使用，提高样式迁移的便捷程度。
以下列出了本公开的一些示例实现。
在第一方面，提供了一种计算机实现的方法。所述方法包括：获取具有第一样式的目标对象，所述目标对象的样式是可编辑的；
获取包括参考对象的参考图像；获取所述参考对象的第二样式，所述参考对象的第二样式是从所述参考图像提取的；以及向所述目标对象应用所述第二样式。
在一些实现中，所述参考对象的第二样式是通过神经网络从所述参考图像提取的。
在一些实现中，所述参考图像通过编码器被转换为所述参考图像的表示，并且所述参考图像的表示通过解码器被转换为所述参考对象的第二样式。
在一些实现中，所述参考图像的表示分别通过多个解码器被转换为所述第二样式的多个要素。
在一些实现中，所述参考对象的第二样式是通过预定义的规则提取的。
在一些实现中，所述参考对象和所述目标对象各自包括图表和表格中的至少一项。
在一些实现中，所述方法还包括：显示具有所述第二样式的所述目标对象；以及响应于接收到针对显示的具有所述第二样式的所述目标对象的编辑操作，修改所述目标对象的第二样式。
在第二方面，提供了一种设备。所述设备包括：处理单元；以及存储器，耦合至所述处理单元并且包含存储于其上的指令，所述指令在由所述处理单元执行时使所述设备执行以下动作：获取具有第一样式的目标对象，所述目标对象的样式是可编辑的；获取包括参考对象的参考图像；获取所述参考对象的第二样式，所述参考对象的第二样式是从所述参考图像提取的；以及向所述目标对象应用所述第二样式。
在一些实现中，所述参考对象的第二样式是通过神经网络从所述参考图像提取的。
在一些实现中，所述参考图像通过编码器被转换为所述参考图像的表示，并且所述参考图像的表示通过解码器被转换为所述参考对象的第二样式。
在一些实现中，所述参考图像的表示分别通过多个解码器被转换为所述第二样式的多个要素。
在一些实现中，所述参考对象的第二样式是通过预定义的规则提取的。
在一些实现中，所述参考对象和所述目标对象各自包括图表和表格中的至少一项。
在一些实现中，所述动作还包括：显示具有所述第二样式的所述目标对象；以及响应于接收到针对显示的具有所述第二样式的所述目标对象的编辑操作，修改所述目标对象的第二样式。
在第三方面，本公开提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括计算机可执行指令，计算机可执行指令在由设备执行时使设备执行本公开的第一方面中的方法。
在第四方面，本公开提供了一种计算机可读存储介质，其上存储有计算机可执行指令，计算机可执行指令在由设备执行时使设备执行本公开的第一方面中的方法。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实现的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (20)

1.一种计算机实现的方法，包括：
获取具有第一样式的目标对象，所述目标对象的样式是可编辑的；
获取包括参考对象的参考图像；
获取所述参考对象的第二样式，所述参考对象的第二样式是从所述参考图像提取的；以及
向所述目标对象应用所述第二样式。
2.根据权利要求1所述的方法，其中所述参考对象的第二样式是通过神经网络从所述参考图像提取的。
3.根据权利要求2所述的方法，其中所述参考图像通过编码器被转换为所述参考图像的表示，并且所述参考图像的表示通过解码器被转换为所述参考对象的第二样式。
4.根据权利要求3所述的方法，其中所述参考图像的表示分别通过多个解码器被转换为所述第二样式的多个要素。
5.根据权利要求1或2所述的方法，其中所述参考对象的第二样式是通过预定义的规则提取的。
6.根据权利要求1所述的方法，其中所述参考对象和所述目标对象各自包括图表和表格中的至少一项。
7.根据权利要求1所述的方法，还包括：
显示具有所述第二样式的所述目标对象；以及
响应于接收到针对显示的具有所述第二样式的所述目标对象的编辑操作，修改所述目标对象的第二样式。
8.一种设备，包括：
处理单元；以及
存储器，耦合至所述处理单元并且包含存储于其上的指令，所述指令在由所述处理单元执行时使所述设备执行以下动作：
获取具有第一样式的目标对象，所述目标对象的样式是可编辑的；
获取包括参考对象的参考图像；
获取所述参考对象的第二样式，所述参考对象的第二样式是从所述参考图像提取的；以及
向所述目标对象应用所述第二样式。
9.根据权利要求8所述的设备，其中所述参考对象的第二样式是通过神经网络从所述参考图像提取的。
10.根据权利要求9所述的设备，其中所述参考图像通过编码器被转换为所述参考图像的表示，并且所述参考图像的表示通过解码器被转换为所述第二样式。
11.根据权利要求10所述的设备，其中所述参考图像的表示分别通过多个解码器被转换为所述第二样式的多个要素。
12.根据权利要求8或9所述的设备，其中所述参考对象的第二样式是通过预定义的规则提取的。
13.根据权利要求8所述的设备，其中所述参考对象和所述目标对象各自包括图表和表格中的至少一项。
14.根据权利要求8所述的设备，其中所述动作还包括：
显示具有所述第二样式的所述目标对象；以及
响应于接收到针对显示的具有所述第二样式的所述目标对象的编辑操作，修改所述目标对象的第二样式。
15.一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括计算机可执行指令，所述计算机可执行指令在由设备执行时使所述设备执行以下动作：
获取具有第一样式的目标对象，所述目标对象的样式是可编辑的；
获取包括参考对象的参考图像；
获取所述参考对象的第二样式，所述参考对象的第二样式是从所述参考图像提取的；以及
向所述目标对象应用所述第二样式。
16.根据权利要求15所述的计算机程序产品，其中所述参考对象的第二样式是通过神经网络从所述参考图像提取的。
17.根据权利要求16所述的计算机程序产品，其中所述参考图像通过编码器被转换为所述参考图像的表示，并且所述参考图像的表示通过解码器被转换为所述参考图像的第二样式。
18.根据权利要求17所述的计算机程序产品，其中所述参考图像的表示分别通过多个解码器被转换为所述第二样式的多个要素。
19.根据权利要求15或16所述的计算机程序产品，其中所述参考对象的第二样式是通过预定义的规则提取的。
20.根据权利要求15所述的计算机程序产品，其中所述参考对象和所述目标对象各自包括图表和表格中的至少一项。
CN201910161417.9A 2019-03-04 2019-03-04 样式迁移 Active CN111651969B (zh)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN201910161417.9A CN111651969B (zh) 2019-03-04 2019-03-04 样式迁移
CN202311308278.0A CN117291162A (zh) 2019-03-04 2019-03-04 样式迁移
PCT/US2020/016309 WO2020180437A1 (en) 2019-03-04 2020-02-03 Style transfer
EP20708391.6A EP3935556A1 (en) 2019-03-04 2020-02-03 Style transfer
JP2021546228A JP7502312B2 (ja) 2019-03-04 2020-02-03 スタイル変換
KR1020217028160A KR20210132060A (ko) 2019-03-04 2020-02-03 스타일 트랜스퍼
US17/431,377 US11580292B2 (en) 2019-03-04 2020-02-03 Style transfer
CA3132064A CA3132064A1 (en) 2019-03-04 2020-02-03 Style transfer
US18/106,802 US20230252220A1 (en) 2019-03-04 2023-02-07 Style transfer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910161417.9A CN111651969B (zh) 2019-03-04 2019-03-04 样式迁移

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311308278.0A Division CN117291162A (zh) 2019-03-04 2019-03-04 样式迁移

Publications (2)

Publication Number Publication Date
CN111651969A true CN111651969A (zh) 2020-09-11
CN111651969B CN111651969B (zh) 2023-10-27

Family

ID=69726841

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910161417.9A Active CN111651969B (zh) 2019-03-04 2019-03-04 样式迁移
CN202311308278.0A Pending CN117291162A (zh) 2019-03-04 2019-03-04 样式迁移

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311308278.0A Pending CN117291162A (zh) 2019-03-04 2019-03-04 样式迁移

Country Status (7)

Country Link
US (2) US11580292B2 (zh)
EP (1) EP3935556A1 (zh)
JP (1) JP7502312B2 (zh)
KR (1) KR20210132060A (zh)
CN (2) CN111651969B (zh)
CA (1) CA3132064A1 (zh)
WO (1) WO2020180437A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240082905A (ko) * 2022-12-02 2024-06-11 삼성전자주식회사 문서 스타일을 조정하는 방법, 전자 디바이스, 및 기록 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170139572A1 (en) * 2015-11-17 2017-05-18 Adobe Systems Incorporated Image Color and Tone Style Transfer
JP2018132855A (ja) * 2017-02-14 2018-08-23 国立大学法人電気通信大学 画像スタイル変換装置、画像スタイル変換方法および画像スタイル変換プログラム
CN108921894A (zh) * 2018-06-08 2018-11-30 百度在线网络技术（北京）有限公司 对象定位方法、装置、设备和计算机可读存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2285877A1 (en) 1999-10-15 2001-04-15 Ibm Canada Limited-Ibm Canada Limitee System and method for capturing document style by example
US7747944B2 (en) * 2005-06-30 2010-06-29 Microsoft Corporation Semantically applying style transformation to objects in a graphic
US20070061714A1 (en) 2005-09-09 2007-03-15 Microsoft Corporation Quick styles for formatting of documents
US20070162848A1 (en) * 2006-01-09 2007-07-12 Apple Computer, Inc. Predictive styling
US7522176B2 (en) * 2006-11-14 2009-04-21 Microsoft Corporation Dynamically generating mini-graphs to represent style and template icons
US20090006967A1 (en) 2007-06-26 2009-01-01 Microsoft Corporation Live copy-paste
US20130093782A1 (en) * 2011-10-13 2013-04-18 Microsoft Corporation Color Selection and Chart Styles
US9665930B1 (en) 2015-11-10 2017-05-30 Adobe Systems Incorporated Selective editing of images using editing tools with persistent tool settings
JP2019531524A (ja) 2016-07-27 2019-10-31 ウィックス．コム リミテッド． ウェブサイト構築システムおよびウェブサイト構築システムのための方法
US10198839B2 (en) 2016-09-22 2019-02-05 Apple Inc. Style transfer-based image content correction
US10311326B2 (en) * 2017-03-31 2019-06-04 Qualcomm Incorporated Systems and methods for improved image textures
US10565757B2 (en) * 2017-06-09 2020-02-18 Adobe Inc. Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
JP7242165B2 (ja) * 2017-09-20 2023-03-20 株式会社Preferred Networks プログラム、情報処理装置、および方法
US10872399B2 (en) * 2018-02-02 2020-12-22 Nvidia Corporation Photorealistic image stylization using a neural network model
US11244484B2 (en) * 2018-04-23 2022-02-08 Accenture Global Solutions Limited AI-driven design platform
KR102640234B1 (ko) * 2018-09-28 2024-02-23 삼성전자주식회사 디스플레이 장치의 제어 방법 및 그에 따른 디스플레이 장치
US10839493B2 (en) * 2019-01-11 2020-11-17 Adobe Inc. Transferring image style to content of a digital image
US11295494B2 (en) * 2019-06-26 2022-04-05 Adobe Inc. Image modification styles learned from a limited set of modified images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170139572A1 (en) * 2015-11-17 2017-05-18 Adobe Systems Incorporated Image Color and Tone Style Transfer
JP2018132855A (ja) * 2017-02-14 2018-08-23 国立大学法人電気通信大学 画像スタイル変換装置、画像スタイル変換方法および画像スタイル変換プログラム
CN108921894A (zh) * 2018-06-08 2018-11-30 百度在线网络技术（北京）有限公司 对象定位方法、装置、设备和计算机可读存储介质

Also Published As

Publication number Publication date
JP7502312B2 (ja) 2024-06-18
KR20210132060A (ko) 2021-11-03
US20230252220A1 (en) 2023-08-10
CN111651969B (zh) 2023-10-27
WO2020180437A1 (en) 2020-09-10
CN117291162A (zh) 2023-12-26
CA3132064A1 (en) 2020-09-10
US11580292B2 (en) 2023-02-14
US20220138398A1 (en) 2022-05-05
JP2022523754A (ja) 2022-04-26
EP3935556A1 (en) 2022-01-12

Similar Documents

Publication Publication Date Title
CN109801347B (zh) 一种可编辑图像模板的生成方法、装置、设备和介质
CN110659527B (zh) 电子表单中的表格检测
CN111428457B (zh) 数据表的自动格式化
US11810333B2 (en) Method and apparatus for generating image of webpage content
CN109658485B (zh) 网页动画绘制方法、装置、计算机设备和存储介质
CN115917613A (zh) 文档中文本的语义表示
CN111209374A (zh) 数据查询展示方法、装置、计算机***及可读存储介质
CN111930376A (zh) 风格化图标的自动生成
CN110888975A (zh) 文本可视化
JP7309811B2 (ja) データ注釈方法、装置、電子機器および記憶媒体
US20230252220A1 (en) Style transfer
CN111142871B (zh) 一种前端页面开发***、方法、设备、介质
CN116225956A (zh) 自动化测试方法、装置、计算机设备和存储介质
CN115017922A (zh) 图片翻译的方法、装置、电子设备及可读存储介质
CN114548040A (zh) 笔记处理方法、电子设备及存储介质
CN113641933B (zh) 异常网页识别方法、异常站点识别方法及装置
CN114758339B (zh) 字符识别模型的获取方法、装置、计算机设备和存储介质
US20230316604A1 (en) Reuse of infographics
US20240169143A1 (en) Method and system of generating an editable document from a non-editable document
US20240127510A1 (en) Stylized glyphs using generative ai
CN108509058B (zh) 输入方法与相关设备
CN118277267A (zh) 一种最优化配置双正则引擎的方法及装置
EP4364033A1 (en) Reading order detection in a document
CN115469867A (zh) 一种页面组件的样式信息的确定方法和装置
CN113778303A (zh) 一种文字提取的方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant