CN112070859A - 一种照片书的照片图像自动填充方法及*** - Google Patents

一种照片书的照片图像自动填充方法及*** Download PDF

Info

Publication number
CN112070859A
CN112070859A CN202010974781.XA CN202010974781A CN112070859A CN 112070859 A CN112070859 A CN 112070859A CN 202010974781 A CN202010974781 A CN 202010974781A CN 112070859 A CN112070859 A CN 112070859A
Authority
CN
China
Prior art keywords
photo
image
neural network
filled
significant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010974781.XA
Other languages
English (en)
Other versions
CN112070859B (zh
Inventor
郭志强
魏延文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Chenxi Intelligent Technology Co ltd
Original Assignee
Shandong Chenxi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Chenxi Intelligent Technology Co ltd filed Critical Shandong Chenxi Intelligent Technology Co ltd
Priority to CN202010974781.XA priority Critical patent/CN112070859B/zh
Publication of CN112070859A publication Critical patent/CN112070859A/zh
Application granted granted Critical
Publication of CN112070859B publication Critical patent/CN112070859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种照片书的照片图像自动填充方法及***，均能够：将待填充照片图像输入到预先训练好的显著特征提取卷积神经网络中计算得到卷积特征图；扫描所得到的卷积特征图，获取卷积特征图上所有显著信息区域的第一外接矩形；获取用于填充待填充图像的照片书模板相框的第二外接矩形；将第一外接矩形与第二外接矩形进行比较，根据比较结果对待填充照片图像进行调整与填充，使待填充照片图像的显著信息区域显示在所述照片书模板相框中。本发明用于增加照片书照片图像自动填充的适用范围、用于在避免照片图像关键信息被遮挡的前提下保留照片书原本的设计美感。

Description

一种照片书的照片图像自动填充方法及***
技术领域
本发明涉及照片书领域，具体涉及一种照片书的照片图像自动填充方法及***。
背景技术
在照片书自动生成过程中，输入的照片图像会自动填充到照片书模板的相框中。在无人工干预的情况下，如果只根据照片图像尺寸与照片书模板相框的尺寸进行匹配，通常会遮挡部分照片图像的关键信息(显著信息)，比如人脸。
照片书是一种个性化影像产品，即使同一风格的照片书往往也会有很多种不同照片书模板。照片书模板中的相框并不仅仅是简单的长方形、正方形等规则相框，也可能是圆形、心形、扇形、星形等形状各异的异形框，这些异形相框更容易引起照片图像关键信息的遮挡。
传统的照片书的照片图像填充方法需要将照片图像一张一张地填充到照片书模板相框中，对于关键信息被遮挡的照片图像，需要手动调节照片图像的大小，这样会花费很多时间。而且，将照片图像一张一张地填充到照片书模板相框中，需要重复进行照片拖拽操作，填充效率低。
随着科技的发展，出现了借助人工智能的方法实现照片书的照片图像自动填充，使得在无需人工干预的情况下，可将一系列待填充的照片图像自动填充到照片书模板的相框中。但现有自动填充方法要么对照片图像的显著信息具有一定的局限性(比如仅针对人脸有效)、要么需要调整照片书模板的相框大小适应所要填充的照片图像以避免照片图像关键信息被遮挡，前者一旦遇到显著信息不同的照片图像则无法适用，而后者调整照片书模板相框尺寸以避免照片图像关键信息被遮挡，则降低了照片书整体设计美感，一定程度上会降低用户的购买欲望。
为此，本发明提供一种照片书的照片图像自动填充方法及***，用于解决上述技术问题。
发明内容
针对现有技术的上述不足，本发明提供一种照片书的照片图像自动填充方法及***，用于增加照片书照片图像自动填充的适用范围、以及用于在避免照片图像关键信息被遮挡的前提下保留照片书原本的设计美感。
本发明提供一种照片书的照片图像自动填充方法，包括步骤：
将待填充照片图像输入到预先训练好的显著特征提取卷积神经网络中进行卷积计算，得到包含待填充照片图像显著信息区域的特征图，记为卷积特征图；所述显著特征提取卷积神经网络，是能够提取照片图像的显著信息区域并且能够提取预先设定类型的照片图像的显著信息区域的卷积神经网络；所述预先设定类型的照片图像的类型种类至少为两种；
扫描所得到的卷积特征图，获取卷积特征图上所有显著信息区域的最小外接矩形，记为第一外接矩形；
获取用于填充待填充图像的照片书模板相框的外接矩形，记为第二外接矩形；
将第一外接矩形与第二外接矩形进行比较，根据比较结果对待填充照片图像进行调整与填充，使待填充照片图像的显著信息区域显示在所述照片书模板相框中。
进一步地，所述将第一外接矩形与第二外接矩形进行比较，根据比较结果对待填充照片图像进行调整与填充，使待填充照片图像的显著信息区域显示在所述照片书模板相框中，具体实现方法包括：
判断第一外接矩形是否能够被第二外接矩形完全覆盖：
若是，则将所述待填充照片图像填充在所述照片书模板相框中；
若否，则对待填充照片图像进行等比例缩小与填充，并使待填充照片图像上的显著信息区域填充在所述照片书模板相框中。
进一步地，训练所述显著特征提取卷积神经网络的方法包括：
预先自定义上述预先设定类型的照片图像的显著信息区域；
根据预先自定义的照片图像的显著信息区域，对训练集中的照片图像进行显著信息区域标注；所述训练集，包含上述预先设定类型中的各种类型的照片图像；
采集所标注的各显著信息区域构建显著区域标注数据集；
创建基于深度学习的卷积神经网络模型；
采用构建的显著区域标注数据集，训练所创建的卷积神经网络模型，得到初步训练好的显著特征提取卷积神经网络；
采用预先设定好的验证集，对初步训练好的显著特征提取卷积神经网络进行测试调整，得到训练好的显著特征提取卷积神经网络。
进一步地，所述预先设定类型的照片图像，包括人物照片、美食照片、宠物照片和风景照片中的至少两种，并且均包含实际应用场景。
第二方面，本发明提供一种照片书的照片图像自动填充***，包括：
卷积特征图获取单元，用于将待填充照片图像输入到预先训练好的显著特征提取卷积神经网络中进行卷积计算，得到包含待填充照片图像显著信息区域的特征图，记为卷积特征图；所述显著特征提取卷积神经网络，是能够提取照片图像的显著信息区域并且能够提取预先设定类型的照片图像的显著信息区域的卷积神经网络；所述预先设定类型的照片图像的类型种类至少为两种；
显著信息区域外接矩形获取单元，用于扫描所得到的卷积特征图，获取卷积特征图上所有显著信息区域的最小外接矩形，记为第一外接矩形；
照片书模板相框外接矩形获取单元，用于获取用于填充待填充图像的照片书模板相框的外接矩形，记为第二外接矩形；
图像填充单元，用于将第一外接矩形与第二外接矩形进行比较，根据比较结果对待填充照片图像进行调整与填充，使待填充照片图像的显著信息区域显示在所述照片书模板相框中。
进一步地，所述图像填充单元包括：
判断模块，用于判断第一外接矩形是否能够被第二外接矩形完全覆盖；
第一图像填充模块，与判断模块相连，用于在判断模块判定第一外接矩形能够被第二外接矩形完全覆盖时，将填充照片图像填充到第二外接矩形中；
第二图像填充模块，与判断模块相连，用于在判断模块判定第一外接矩形不能被第二外接矩形完全覆盖时，对待填充照片图像进行等比例缩小与填充，并使待填充照片图像上的显著信息区域填充在所述照片书模板相框中。
进一步地，该照片图像自动填充***还包括神经网络模型单元，用于训练所述显著特征提取卷积神经网络；
所述神经网络模型单元，包括：
自定义模块，用于预先自定义上述预先设定类型的照片图像的显著信息区域；
标注模块，用于根据预先自定义的照片图像的显著信息区域，对训练集中的照片图像进行显著信息区域标注；所述训练集，包含上述预先设定类型中的各种类型的照片图像；
数据集构建模块，用于采集所标注的各显著信息区域构建显著区域标注数据集；
深度学习神经网络创建模块，用于创建基于深度学习的卷积神经网络模型；
神经网络第一训练模块，用于采用构建的显著区域标注数据集，训练所创建的卷积神经网络模型，得到初步训练好的显著特征提取卷积神经网络；
神经网络第二训练模块，用于采用预先设定好的验证集，对初步训练好的显著特征提取卷积神经网络进行测试调整，得到训练好的显著特征提取卷积神经网络。
进一步地，所述预先设定类型的照片图像，包括人物照片、美食照片、宠物照片和风景照片中的至少两种，并且均包含实际应用场景。
本发明的有益效果在于，
(1)本发明提供的照片书的照片图像自动填充方法及***，通过采用训练好的显著特征提取卷积神经网络自动进行待填充照片图像的显著信息区域提取，可见本发明无需人工干预图像调整，一定程度上有助于提高照片图像的填充效率，另外可见本发明在进行照片图像填充时，既无需确定待填充照片图像的内容，也无需对待填充照片图像进行分类，一定程度上打破了对照片图像的显著信息的局限性，一定程度上增加了对照片书的照片图像自动填充的适用范围。
(2)本发明提供的照片书的照片图像自动填充方法及***，均可判断第一外接矩形是否能够被第二外接矩形完全覆盖，并在判定第一外接矩形不能够被第二外接矩形完全覆盖时，可自动对待填充照片图像进行等比例缩小与填充并使待填充照片图像上的显著信息区域填充在对应的照片书模板相框中，这在一定程度上有助于避免照片图像显著信息内容的遮挡，有助于避免人工拖拽照片书模板相框尺寸调节方式的使用，可见本发明一定程度上可在避免照片图像关键信息被遮挡的前提下保留照片书原本的设计美感，继而在一定程度上有助于增加用户的购买欲望。
(3)本发明提供的照片书的照片图像自动填充方法及***，均可根据预先自定义的照片图像的显著信息区域，对训练集中的照片图像进行显著信息区域标注，并能采集所标注的各显著信息区域构建显著区域标注数据集，之后使用所构建的显著区域标注数据集对所创建的基于深度学习的卷积神经网络模型进行训练，之后采用预先设定好的验证集对初步训练好的显著特征提取卷积神经网络进行测试调整，得到训练好的显著特征提取卷积神经网络，其中所述训练集包含预先设定类型中所有类型的照片图像，可见本发明通过所述显著特征提取卷积神经网络，可提取多种类型的照片图像的显著信息区域，一定程度上有助于增加对能够自动填充的待填充照片图像的适用范围。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明一个实施例的***的示意性框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
图1是本发明一个实施例的方法的示意性流程图。
如图1所示，该方法100包括：
步骤110，将待填充照片图像输入到预先训练好的显著特征提取卷积神经网络中进行卷积计算，得到包含待填充照片图像显著信息区域的特征图，记为卷积特征图；所述显著特征提取卷积神经网络，是能够提取照片图像的显著信息区域并且能够提取预先设定类型的照片图像的显著信息区域的卷积神经网络；所述预先设定类型的照片图像的类型种类至少为两种。
可选地，所述显著特征提取卷积神经网络的训练方法包括：
步骤(1)：预先自定义上述预先设定类型的照片图像的显著信息区域。
所述预先设定类型的照片图像，包括人物照片、美食照片、宠物照片和风景照片。各预先设定类型的照片图像，均包含实际应用场景。
在本实施例中，将人物照片的显著信息区域定义为照片上包含人的区域，宠物照片的显著信息区域定义为照片上包含宠物的区域，美食照片的显著信息区域定义为照片上包含美食的区域，风景照片的显著信息区域可由本领域技术人员根据照片内容自定义，比如可以是照片上包含建筑物、也可以是照片上包含其它的吸引人们视觉注意力较多的物体的区域。包含多种视觉显著性物体的照片图像，其显著信息区域是包含其上全部的视觉显著性物体的区域的组合。
步骤(2)：根据预先自定义的照片图像的显著信息区域，对训练集中的照片图像进行显著信息区域标注。
所述训练集，包含上述预先设定类型中的各种类型的照片图像。
训练集中的照片图像，均来自于用户的真实照片，并不是从网络上抓取的网络图像，均包含实际应用场景。
步骤(3)：采集所标注的各显著信息区域构建显著区域标注数据集。
采集上述步骤(2)中所标注的全部的显著信息区域构建显著区域标注数据集。
步骤(4)：创建基于深度学习的卷积神经网络模型。
本实施例中创建的卷积神经网络模型为VGG16卷积神经网络，具体为创建编码器-解码器神经网络架构。其中，编码器为预训练的分类网络VGG16。解码器融合细化的分类网络VGG16的第三个卷积块特征、第四个卷积块特征和第五个卷积块特征输出显著特征图。细化的分类网络VGG16的第三个卷积块特征，是先采用整体注意力机制，对初次集成的VGG16卷积网络的第三个、第四个、第五个卷积块特征的初始显著特征图进行处理得到增强的注意力图，之后将该得到的增强的注意力图与分类网络VGG16的第三个卷积块特征图相乘得到的细化的卷积块特征。
具体实现时，本领域技术人员还可依据实际情况，选择现有技术中的其他相关的基于深度学习的卷积神经网络模型替换本实施例中的VGG16卷积神经网络。
步骤(5)：采用所构建的显著区域标注数据集，训练所创建的卷积神经网络模型，得到初步训练好的显著特征提取卷积神经网络。
具体地，将所构建的显著区域标注数据集直接输入到所构建的卷积神经网络模型进行迭代训练，不需要对显著区域标注数据集进行分类，通过对显著区域标注数据集的学习，寻找使模型交叉熵损失函数在显著区域标注数据集上误差不再减小时的模型参数，从而得到初步训练好的显著特征提取卷积神经网络。
步骤(6)：采用预先设定好的验证集，对初步训练好的显著特征提取卷积神经网络进行测试调整，得到训练好的显著特征提取卷积神经网络。
其中，在进行所述测试调整时，利用验证集的评估指标衡量初步训练好的显著特征提取卷积神经网络的性能，如果存在过拟合和欠拟合现象，则对所述显著区域标注数据集进行清洗然后重新执行上述步骤(2)-步骤(6)。
其中，验证集的创建可参照训练集进行，创建好的验证集，满足以下情况：
验证集中的照片图像，为预先设定的具有不同图像显著信息的照片图像；
该预先设定的具有不同图像显著信息的照片图像，包括人物照片、美食照片、宠物照片和风景照片；
该预先设定的具有不同图像显著信息的照片图像，均来自于用户的真实照片，并不是从网络上抓取的网络图像，均包含实际应用场景。
综上，所述显著特征提取卷积神经网络经过对大量已标注好的自定义显著信息区域的照片图像的监督学习，使用时，可输出包含待填充照片图像显著信息区域的特征图。
综上，本发明中选取照片图像中的视觉显著性物体为照片图像的显著信息(比如，人物照片的视觉显著性物体为人，宠物照片的视觉显著性物体为宠物，美食照片的视觉显著性物体为美食，风景照片的视觉显著性物体可由本领域技术人员根据照片内容自定义，既可以是建筑也可以是其它的吸引人们视觉注意力较多的物体)，使得本发明不受限于照片图像上物体对象的类别、尺寸大小、位置和个数。
步骤120，扫描所得到的卷积特征图，获取卷积特征图上所有显著信息区域的最小外接矩形，记为第一外接矩形。
所述第一外接矩形，是扫描卷积特征图获取到的对应卷积特征图上的所有显著信息区域在整体上的最小外接矩形。
比如，步骤110中得到的卷积特征图为卷积特征图A，步骤120中扫描卷积特征图A获取到的第一外接矩形为第一外接矩形B，步骤120中扫描卷积特征图A获取到的卷积特征图A上的全部显著信息区域为显著信息区域M1和显著信息区域M2，则第一外接矩形B是显著信息区域M1和显著信息区域M2整体的外接矩形，该第一外接矩形B为能够包容显著信息区域M1和显著信息区域M2的最小的外接矩形。
步骤130，获取用于填充待填充图像的照片书模板相框的外接矩形，记为第二外接矩形。
所述照片书模板相框，包括不规则异形相框和规则相框。
所述不规则异形相框可包括心形、圆形、星形、扇形、花形等异形相框。
所述规则相框可包括正方形相框和长方形相框等规则相框。
步骤140，将第一外接矩形与第二外接矩形进行比较，根据比较结果对待填充照片图像进行调整与填充，使待填充照片图像的显著信息区域显示在所述照片书模板相框中。
具体地，将第一外接矩形与第二外接矩形进行比较，根据比较结果对待填充照片图像进行调整与填充，使待填充照片图像的显著信息区域显示在所述照片书模板相框中，实现方法包括：
判断第一外接矩形是否能够被第二外接矩形完全覆盖：
若是，则将所述待填充照片图像填充在所述照片书模板相框中；
若否，则对待填充照片图像进行等比例缩小与填充，并使待填充照片图像上的显著信息区域填充在所述照片书模板相框中。
图2是本发明所述照片书的照片图像自动填充***的一个实施例。
如图2示，该***200包括：
卷积特征图获取单元201，用于将待填充照片图像输入到预先训练好的显著特征提取卷积神经网络中进行卷积计算，得到包含待填充照片图像显著信息区域的特征图，记为卷积特征图；所述显著特征提取卷积神经网络，是能够提取照片图像的显著信息区域并且能够提取预先设定类型的照片图像的显著信息区域的卷积神经网络；所述预先设定类型的照片图像的类型种类至少为两种；
显著信息区域外接矩形获取单元202，用于扫描所得到的卷积特征图，获取卷积特征图上所有显著信息区域的最小外接矩形，记为第一外接矩形；
照片书模板相框外接矩形获取单元203，用于获取用于填充待填充图像的照片书模板相框的外接矩形，记为第二外接矩形；
图像填充单元204，用于将第一外接矩形与第二外接矩形进行比较，根据比较结果对待填充照片图像进行调整与填充，使待填充照片图像的显著信息区域显示在所述照片书模板相框中。
可选地，作为本发明的一个实施例，所述图像填充单元204包括：
判断模块2041，用于判断第一外接矩形是否能够被第二外接矩形完全覆盖；
第一图像填充模块2042，与判断模块2041相连，用于在判断模块2041判定第一外接矩形能够被第二外接矩形完全覆盖时，将填充照片图像填充到第二外接矩形中；
第二图像填充模块2043，与判断模块2041相连，用于在判断模块2041判定第一外接矩形不能被第二外接矩形完全覆盖时，对待填充照片图像进行等比例缩小与填充，并使待填充照片图像上的显著信息区域填充在所述照片书模板相框中。
可选地，作为本发明的一个实施例，该***200还包括：
神经网络模型单元，用于训练所述显著特征提取卷积神经网络。
其中，所述神经网络模型单元，包括：
自定义模块，用于预先自定义上述预先设定类型的照片图像的显著信息区域；
标注模块，用于根据预先自定义的照片图像的显著信息区域，对训练集中的照片图像进行显著信息区域标注；所述训练集，包含上述预先设定类型中的各种类型的照片图像；
数据集构建模块，用于采集所标注的各显著信息区域构建显著区域标注数据集；
深度学习神经网络创建模块，用于创建基于深度学习的卷积神经网络模型；
神经网络第一训练模块，用于采用构建的显著区域标注数据集，训练所创建的卷积神经网络模型，得到初步训练好的显著特征提取卷积神经网络；
神经网络第二训练模块，用于采用预先设定好的验证集，对初步训练好的显著特征提取卷积神经网络进行测试调整，得到训练好的显著特征提取卷积神经网络。
可选地，作为本发明的一个实施例，所述预先设定类型的照片图像，包括人物照片、美食照片、宠物照片和风景照片中的至少两种，并且均包含实际应用场景。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种照片书的照片图像自动填充方法，其特征在于，包括步骤：
将待填充照片图像输入到预先训练好的显著特征提取卷积神经网络中进行卷积计算，得到包含待填充照片图像显著信息区域的特征图，记为卷积特征图；所述显著特征提取卷积神经网络，是能够提取照片图像的显著信息区域并且能够提取预先设定类型的照片图像的显著信息区域的卷积神经网络；所述预先设定类型的照片图像的类型种类至少为两种；
扫描所得到的卷积特征图，获取卷积特征图上所有显著信息区域的最小外接矩形，记为第一外接矩形；
获取用于填充待填充图像的照片书模板相框的外接矩形，记为第二外接矩形；
将第一外接矩形与第二外接矩形进行比较，根据比较结果对待填充照片图像进行调整与填充，使待填充照片图像的显著信息区域显示在所述照片书模板相框中。
2.根据权利要求1所述的照片书的照片图像自动填充方法，其特征在于，所述将第一外接矩形与第二外接矩形进行比较，根据比较结果对待填充照片图像进行调整与填充，使待填充照片图像的显著信息区域显示在所述照片书模板相框中，具体实现方法包括：
判断第一外接矩形是否能够被第二外接矩形完全覆盖：
若是，则将所述待填充照片图像填充在所述照片书模板相框中；
若否，则对待填充照片图像进行等比例缩小与填充，并使待填充照片图像上的显著信息区域填充在所述照片书模板相框中。
3.根据权利要求1所述的照片书的照片图像自动填充方法，其特征在于，训练所述显著特征提取卷积神经网络的方法包括：
预先自定义上述预先设定类型的照片图像的显著信息区域；
根据预先自定义的照片图像的显著信息区域，对训练集中的照片图像进行显著信息区域标注；所述训练集，包含上述预先设定类型中的各种类型的照片图像；
采集所标注的各显著信息区域构建显著区域标注数据集；
创建基于深度学习的卷积神经网络模型；
采用构建的显著区域标注数据集，训练所创建的卷积神经网络模型，得到初步训练好的显著特征提取卷积神经网络；
采用预先设定好的验证集，对初步训练好的显著特征提取卷积神经网络进行测试调整，得到训练好的显著特征提取卷积神经网络。
4.根据权利要求1-3中任一项所述的照片书的照片图像自动填充方法，其特征在于，所述预先设定类型的照片图像，包括人物照片、美食照片、宠物照片和风景照片中的至少两种，并且均包含实际应用场景。
5.一种照片书的照片图像自动填充***，其特征在于，包括：
卷积特征图获取单元，用于将待填充照片图像输入到预先训练好的显著特征提取卷积神经网络中进行卷积计算，得到包含待填充照片图像显著信息区域的特征图，记为卷积特征图；所述显著特征提取卷积神经网络，是能够提取照片图像的显著信息区域并且能够提取预先设定类型的照片图像的显著信息区域的卷积神经网络；所述预先设定类型的照片图像的类型种类至少为两种；
显著信息区域外接矩形获取单元，用于扫描所得到的卷积特征图，获取卷积特征图上所有显著信息区域的最小外接矩形，记为第一外接矩形；
照片书模板相框外接矩形获取单元，用于获取用于填充待填充图像的照片书模板相框的外接矩形，记为第二外接矩形；
图像填充单元，用于将第一外接矩形与第二外接矩形进行比较，根据比较结果对待填充照片图像进行调整与填充，使待填充照片图像的显著信息区域显示在所述照片书模板相框中。
6.根据权利要求5所述的照片书的照片图像自动填充***，其特征在于，所述图像填充单元包括：
判断模块，用于判断第一外接矩形是否能够被第二外接矩形完全覆盖；
第一图像填充模块，与判断模块相连，用于在判断模块判定第一外接矩形能够被第二外接矩形完全覆盖时，将填充照片图像填充到第二外接矩形中；
第二图像填充模块，与判断模块相连，用于在判断模块判定第一外接矩形不能被第二外接矩形完全覆盖时，对待填充照片图像进行等比例缩小与填充，并使待填充照片图像上的显著信息区域填充在所述照片书模板相框中。
7.根据权利要求5所述的照片书的照片图像自动填充***，其特征在于，该照片图像自动填充***还包括神经网络模型单元，用于训练所述显著特征提取卷积神经网络；
所述神经网络模型单元，包括：
自定义模块，用于预先自定义上述预先设定类型的照片图像的显著信息区域；
标注模块，用于根据预先自定义的照片图像的显著信息区域，对训练集中的照片图像进行显著信息区域标注；所述训练集，包含上述预先设定类型中的各种类型的照片图像；
数据集构建模块，用于采集所标注的各显著信息区域构建显著区域标注数据集；
深度学习神经网络创建模块，用于创建基于深度学习的卷积神经网络模型；
神经网络第一训练模块，用于采用构建的显著区域标注数据集，训练所创建的卷积神经网络模型，得到初步训练好的显著特征提取卷积神经网络；
神经网络第二训练模块，用于采用预先设定好的验证集，对初步训练好的显著特征提取卷积神经网络进行测试调整，得到训练好的显著特征提取卷积神经网络。
8.根据权利要求5-7中任一项所述的照片书的照片图像自动填充***，其特征在于，所述预先设定类型的照片图像，包括人物照片、美食照片、宠物照片和风景照片中的至少两种，并且均包含实际应用场景。
CN202010974781.XA 2020-09-16 2020-09-16 一种照片书的照片图像自动填充方法及*** Active CN112070859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010974781.XA CN112070859B (zh) 2020-09-16 2020-09-16 一种照片书的照片图像自动填充方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010974781.XA CN112070859B (zh) 2020-09-16 2020-09-16 一种照片书的照片图像自动填充方法及***

Publications (2)

Publication Number Publication Date
CN112070859A true CN112070859A (zh) 2020-12-11
CN112070859B CN112070859B (zh) 2021-05-04

Family

ID=73696953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010974781.XA Active CN112070859B (zh) 2020-09-16 2020-09-16 一种照片书的照片图像自动填充方法及***

Country Status (1)

Country Link
CN (1) CN112070859B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113341667A (zh) * 2021-06-23 2021-09-03 南京立思辰智能设备有限公司 基于纸张褶皱识别的微调节硒鼓成像***、方法和设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469362A (zh) * 2014-09-01 2016-04-06 山东新北洋信息技术股份有限公司 图像处理方法和图像处理装置
CN109961016A (zh) * 2019-02-26 2019-07-02 南京邮电大学 面向智能家居场景的多手势精准分割方法
CN110188766A (zh) * 2019-04-17 2019-08-30 平安科技（深圳）有限公司 基于卷积神经网络的图像主目标检测方法及装置
CN110569878A (zh) * 2019-08-08 2019-12-13 上海汇付数据服务有限公司 一种基于卷积神经网络的照片背景相似度聚类方法及计算机
CN111242837A (zh) * 2020-01-03 2020-06-05 杭州电子科技大学 基于生成对抗网络的人脸匿名隐私保护方法
CN111462140A (zh) * 2020-04-30 2020-07-28 同济大学 一种基于区块拼接的实时图像实例分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469362A (zh) * 2014-09-01 2016-04-06 山东新北洋信息技术股份有限公司 图像处理方法和图像处理装置
CN109961016A (zh) * 2019-02-26 2019-07-02 南京邮电大学 面向智能家居场景的多手势精准分割方法
CN110188766A (zh) * 2019-04-17 2019-08-30 平安科技（深圳）有限公司 基于卷积神经网络的图像主目标检测方法及装置
CN110569878A (zh) * 2019-08-08 2019-12-13 上海汇付数据服务有限公司 一种基于卷积神经网络的照片背景相似度聚类方法及计算机
CN111242837A (zh) * 2020-01-03 2020-06-05 杭州电子科技大学 基于生成对抗网络的人脸匿名隐私保护方法
CN111462140A (zh) * 2020-04-30 2020-07-28 同济大学 一种基于区块拼接的实时图像实例分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘海峰 等: "基于区域外接矩形的自动化孔洞填充算法", 《指挥信息***与技术》 *
张省 等: "制图数据多边形区域符号自动填充算法实现", 《山东国土资源》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113341667A (zh) * 2021-06-23 2021-09-03 南京立思辰智能设备有限公司 基于纸张褶皱识别的微调节硒鼓成像***、方法和设备

Also Published As

Publication number Publication date
CN112070859B (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
CN110163198B (zh) 一种表格识别重建方法、装置和存储介质
CN110517246B (zh) 一种图像处理方法、装置、电子设备及存储介质
US8000505B2 (en) Determining the age of a human subject in a digital image
US9760935B2 (en) Method, system and computer program product for generating recommendations for products and treatments
CN107798653B (zh) 一种图像处理的方法和一种装置
US8660319B2 (en) Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
US8265351B2 (en) Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
US8620038B2 (en) Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
US8271871B2 (en) Automated method for alignment of document objects
CN112418216B (zh) 一种复杂自然场景图像中的文字检测方法
CN109165645A (zh) 一种图像处理方法、装置以及相关设备
CN112183238B (zh) 一种远程教育注意力检测方法及***
CN105740780A (zh) 人脸活体检测的方法和装置
CN109376631A (zh) 一种基于神经网络的回环检测方法及装置
CN110415212A (zh) 异常细胞检测方法、装置及计算机可读存储介质
CN107301408A (zh) 人体掩膜提取方法及装置
US11669996B2 (en) Automatic image cropping based on ensembles of regions of interest
CN110390228A (zh) 基于神经网络的交通标志图片识别方法、装置及存储介质
CN103946865B (zh) 用于有助于检测图像内的文本的方法和装置
CN108416304B (zh) 一种利用上下文信息的三分类人脸检测方法
CN109360179A (zh) 一种图像融合方法、装置及可读存储介质
CN112070859B (zh) 一种照片书的照片图像自动填充方法及***
CN110766645B (zh) 基于人物识别与分割的目标人物复现图生成方法
CN108520263A (zh) 一种全景图像的识别方法、***及计算机存储介质
CN111611994A (zh) 图像提取方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant