CN111061887A - 一种新闻人物照片提取方法、装置、设备及存储介质 - Google Patents
一种新闻人物照片提取方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111061887A CN111061887A CN201911311983.XA CN201911311983A CN111061887A CN 111061887 A CN111061887 A CN 111061887A CN 201911311983 A CN201911311983 A CN 201911311983A CN 111061887 A CN111061887 A CN 111061887A
- Authority
- CN
- China
- Prior art keywords
- character
- name information
- photo
- face
- name
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种新闻人物照片提取方法、装置、设备及存储介质。本申请实施例提供的技术方案通过基于新闻文章信息中的单个人脸图像和人名信息建立关键人物面部识别模型，通过建立好的关键人物面部识别模型识别新闻文章信息中人物照片所对应的人名信息，基于人名信息和人物照片之间的关联关系建立关键人物库，并利用人名信息对人物照片进行关联，在需要检索某人的照片时，通过输入待检索人名，并根据待检索人名和人名信息的匹配情况，确定关键人物库中用于进行显示的人物照片，方便对合适的人物照片进行选择并使用，提高了图片查找的效率，保证新闻稿件的及时发布。
Description
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种新闻人物照片提取方法、装置、设备及存储介质。
背景技术
在发布新闻稿件时，通常会对涉及到重要人物的稿件内容配以该人物的照片作为发文形式。例如，在新闻稿件的标题和正文中主要提到某个关键人物，一般会在该新闻内容中附上该关键人物的照片，方便引起读者注意或迅速理解新闻内容。
目前通常的操作为通过人工采集查找、整理或人工标注相关人物名称的方式，搜索目标人物的照片来进行添加或信息标注。但是通过人工查找人物照片的方式存在工作效率低下的情况，不利于新闻稿件的及时发布。
发明内容
本申请实施例提供一种新闻人物照片提取方法、装置、设备及存储介质，以方便快速根据检索人名进行对应关键人物的配图，提高工作效率。
在第一方面，本申请实施例提供了一种新闻人物照片提取方法，包括：
基于新闻文章信息中的单个人脸图像和人名信息的对应关系建立关键人物面部识别模型；
利用所述关键人物面部识别模型确定新闻文章信息中的人物照片所对应的人名信息，并利用所述人名信息对所述人物照片进行关联；
基于所述人名信息和所述人物照片之间的关联关系建立关键人物库；
根据待检索人名和人名信息的匹配情况，确定所述关键人物库中与所述待检索人名对应的人物照片。
进一步的，所述基于新闻文章信息中的单个人脸图像和人名信息的对应关系建立关键人物面部识别模型之前，还包括：
通过网络获取新闻门户网站上的新闻网页信息；
获取所述新闻网页信息中的图片内容及对应的标题内容和正文内容，并将所述图片内容、所述标题内容和所述正文内容作为新闻文章信息。
进一步的，所述基于新闻文章信息中的单个人脸图像和人名信息的对应关系建立关键人物面部识别模型，包括：
对所述新闻文章信息中的图片内容进行人脸识别，得到人脸特征数据，筛选出包含单个人脸的图片内容作为单个人脸图像；
通过语义分析技术对与所述单个人脸图像对应的标题内容和正文内容提取人名信息；
以单个人脸图像对应的人脸特征数据为输入，单个人脸图像对应的人名信息为输出，利用卷积神经网络进行训练，得到关键人物面部识别模型。
进一步的，所述利用所述关键人物面部识别模型确定新闻文章信息中的人物照片所对应的人名信息，并利用所述人名信息对所述人物照片进行关联之前，还包括：
对新闻文章信息中的图片内容进行人脸识别，得到人脸特征数据，筛选出包含人脸的图片内容作为人物照片。
进一步的，所述利用所述关键人物面部识别模型确定新闻文章信息中的人物照片所对应的人名信息，并利用所述人名信息对所述人物照片进行关联，包括：
将新闻文章信息中的人物照片的人脸特征数据输入所述关键人物面部识别模型中得到对应于所述人脸特征数据的相似度以及对应人名信息的相似概率；
根据所述相似度和所述相似概率确定与所述人物照片对应的人名信息；
利用与所述人物照片对应的人名信息对所述人物照片进行标记。
进一步的，所述将新闻文章信息中的人物照片的人脸特征数据输入所述关键人物面部识别模型中得到对应于所述人脸特征数据的相似度以及对应人名信息的相似概率之前，还包括：
获取新闻文章信息中的人物照片包含的人脸数量及每个人对应的人脸区域大小；
据所述人脸区域大小选择若干人脸区域；
获取所述人物照片中选中的所述人脸区域对应的人脸特征数据；
所述利用与所述人物照片对应的人名信息对所述人物照片进行标记，包括：
利用与所述人物照片不同人脸区域对应的人名信息对所述人物照片进行标记。
进一步的，所述根据待检索人名和人名信息的匹配情况，确定所述关键人物库中与所述待检索人名对应的人物照片，包括：
获取检索人名，在所述关键人物库中检索与所述检索人名匹配的人名信息，生成指向人名信息的匹配结果；
根据所述匹配结果指向的人名信息，确定所述关键人物库中与所述待检索人名对应的人物照片。
在第二方面，本申请实施例提供了一种新闻人物照片提取装置，包括模型建立模块、关联模块、人物库建立模块和执行模块，其中：
模型建立模块，用于基于新闻文章信息中的单个人脸图像和人名信息的对应关系建立关键人物面部识别模型；
关联模块，用于利用所述关键人物面部识别模型确定新闻文章信息中的人物照片所对应的人名信息，并利用所述人名信息对所述人物照片进行关联；
人物库建立模块，用于基于所述人名信息和所述人物照片之间的关联关系建立关键人物库；
执行模块，用于根据待检索人名和人名信息的匹配情况，确定所述关键人物库中与所述待检索人名对应的人物照片。
在第三方面，本申请实施例提供了一种计算机设备，包括：存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的新闻人物照片提取方法。
在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的新闻人物照片提取方法。
本申请实施例通过基于新闻文章信息中的单个人脸图像和人名信息建立关键人物面部识别模型，通过建立好的关键人物面部识别模型识别新闻文章信息中人物照片所对应的人名信息，基于人名信息和人物照片之间的关联关系建立关键人物库，并利用人名信息对人物照片进行关联，在需要检索某人的照片时，通过输入待检索人名，并根据待检索人名和人名信息的匹配情况，确定关键人物库中用于进行显示的人物照片，方便对合适的人物照片进行选择并使用，提高了图片查找的效率，保证新闻稿件的及时发布。
附图说明
图1是本申请实施例提供的一种新闻人物照片提取方法的流程图；
图2是本申请实施例提供的另一种新闻人物照片提取方法的流程图；
图3是本申请实施例提供的另一种新闻人物照片提取方法的流程图；
图4是本申请实施例提供的一种新闻人物照片提取装置的结构示意图；
图5是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
图1给出了本申请实施例提供的一种新闻人物照片提取方法的流程图，本实施例可适用于人物照片检索，该新闻人物照片提取方法可以由新闻人物照片提取装置来执行，该新闻人物照片提取装置可通过硬件和/或软件的方式实现，并集成在计算机设备中。
下述以新闻人物照片提取装置来执行新闻人物照片提取方法为例进行描述。参考图1，该新闻人物照片提取方法包括：
S101：基于新闻文章信息中的单个人脸图像和人名信息的对应关系建立关键人物面部识别模型。
示例性的，新闻文章信息可通过网络从新闻门户网站中的新闻网页获取。例如，通过网络爬虫工具抓取新闻网页中的图片内容和文字描述内容，并建立来源于同一则新闻中的图片内容和文字描述内容的关联关系，然后将相互关联的图片内容和文字描述内容作为新闻文章信息进行保存。
进一步的，通过人脸识别技术筛选包含有人脸的图片内容，筛选出仅包含有一个人的图片内容作为单个人脸图像，获取与这些单个人脸图像关联的文字描述内容，并通过语义分析技术提取其中的人名信息。可选的，在提取文字描述内容中的人名信息后，筛选仅包含一个人名的人名信息，将筛选后的单个人脸图像和对应的仅包含一个人名的人名信息用于关键人物面部识别模型的建立。
进一步的，基于单个人脸图像和对应的人名信息建立关键人物面部识别模型，并以单个人脸图像中的人脸特征数据(通过人脸识别技术获取)作为输入，以对应的人名信息作为输出，对关键人物面部识别模型进行训练，在准确率满足要求时(如准确率达到90％)，完成训练，完成关键人物面部识别模型的建立。
S102：利用所述关键人物面部识别模型确定新闻文章信息中的人物照片所对应的人名信息，并利用所述人名信息对所述人物照片进行关联。
示例性的，在通过网络爬虫工具获取新闻文章信息后，通过人脸识别技术识别新闻文章信息的图片内容中是否包含有人脸，筛选包含有人脸的图片内容作为新闻文章信息中的人物照片。
进一步的，在建立关键人物面部识别模型后，依次将新闻文章信息中的人物照片输入到关键人物面部识别模型中，关键人物面部识别模型对人物照片中的人脸进行识别并得到人物照片中每张人脸对应的人脸特征数据，分别针对每张人脸的人脸特征数据输出对应的人名信息。
根据关键人物面部识别模型输出人名信息，将人名信息与人物照片中对应的人脸区域进行关联。可选的，人名信息与人物照片可以是通过标签、链表、表格、映射等方式进行关联。
可以理解的是，一张人物照片中关联的人名信息的数量与人物照片中的人脸数量一致。在其他实施例中，在建立人名信息和人物照片的关联关系时，可根据人物照片中人脸区域的大小判断是否对该人脸区域进行关联或者是关联的人脸区域的数量。
S103：基于所述人名信息和所述人物照片之间的关联关系建立关键人物库。
示例性的，在建立人名信息和人物照片之间的关联关系后，基于人名信息和人物照片之间的关联关系建立关键人物库，对人物照片进行保存。根据人名信息可在关键人物库中搜索出与对应人名信息关联的人物照片。
可以理解的是，关键人物库中的人物照片至少包含有一张人脸，即人物照片可以仅包含有一张人脸，也可以包含有多张人脸。
S104：根据待检索人名和人名信息的匹配情况，确定所述关键人物库中与所述待检索人名对应的人物照片。
示例性的，接收输入的待检索人名，以待检索人名为关键词在关键人物库中检索与待检索人名一致的人名信息，并根据人名信息和人物照片的关联关系，确定与检索到的人名信息相关联的人物照片，确定该人物照片为关键人物库中与待检索人名对应的人物照片，并将这些人物照片进行显示，供使用者进行选择和使用。
上述，通过基于新闻文章信息中的单个人脸图像和人名信息建立关键人物面部识别模型，通过建立好的关键人物面部识别模型识别新闻文章信息中人物照片所对应的人名信息，基于人名信息和人物照片之间的关联关系建立关键人物库，并利用人名信息对人物照片进行关联，在需要检索某人的照片时，通过输入待检索人名，并根据待检索人名和人名信息的匹配情况，确定关键人物库中用于进行显示的人物照片，方便对合适的人物照片进行选择并使用，提高了图片查找的效率，保证新闻稿件的及时发布。
图2为本申请实施例提供的另一种新闻人物照片提取方法的流程图。该新闻人物照片提取方法是对上述新闻人物照片提取方法的具体化。参考图2，该新闻人物照片提取方法包括：
S201：通过网络获取新闻门户网站上的新闻网页信息，获取所述新闻网页信息中的图片内容及对应的标题内容和正文内容，并将所述图片内容、所述标题内容和所述正文内容作为新闻文章信息。
具体的，通过网络爬虫工具抓取新闻门户网站上的新闻网页信息，在获取新闻网页信息后，提取新闻网页信息中的标题内容和正文内容(即去掉新闻网页信息中的标签和“噪音”信息)，然后提取新闻网页信息中的图片内容，将图片内容、标题内容和正文内容作为新闻文章信息进行保存，并建立来源于同一新闻网站信息的图片内容、标题内容和正文内容之间的关联关系，例如通过表格、映射等方式进行关联。
S202：对所述新闻文章信息中的图片内容进行人脸识别，得到人脸特征数据，筛选出包含单个人脸的图片内容作为单个人脸图像。
具体的，在获取新闻文章信息后，通过人脸识别技术对每个新闻文章信息中的图片内容进行人脸识别，提取出图片内容中识别到的所有人脸的人脸特征数据。其中每张人脸对应一组人脸特征数据，一般的，一组人脸特征数据中包含有人脸的72个关键点特征数据，记录着人脸各个特征点的空间位置分布组合关系。
进一步的，在提取出图片内容中的人脸特征数据后，针对每张图片内容对提取到的人脸特征数据的数量进行统计，并提取出人脸特征数据的数量为1个的图片内容作为单个人脸图像，即筛选出仅包含单个人脸的图片内容作为单个人脸图像。
S203：通过语义分析技术对与所述单个人脸图像对应的标题内容和正文内容提取人名信息。
具体的，获取与单个人脸图像关联的标题内容和正文内容，通过自然语义分析技术提取标题内容和正文内容中的人名信息，并对与每一张单个人脸图像对应的人名信息的数量进行统计，若单个人脸图像对应的人名信息仅有一个或者是多个人名信息均为同一个人名时，将该单个人脸图像提取出来，并用于关键人物面部识别模型的训练中，同时建立该人名信息与对应单个人脸图像和/或人脸特征数据的关联关系。
S204：以单个人脸图像对应的人脸特征数据为输入，单个人脸图像对应的人名信息为输出，利用卷积神经网络进行训练，得到关键人物面部识别模型。
具体的，以单个人脸图像对应的人脸特征数据为输入，单个人脸图像对应的人名信息为输出，利用卷积神经网络进行识别训练，从而得到关键人物面部识别模型，将人物照片或者是人脸特征数据输入到得到关键人物面部识别模型中，可相应输出人物照片或者是人脸特征数据所对应的人名信息。
其中，卷积神经网络可以是AlexNet网络、VGG网络、GoogleLeNet网络以及ResNet网络等，本实施例不做限定。
例如，基于卷积神经网络，并以公式y＝wx+b的形式搭建关键人物面部识别模型。卷积神经网络结构对单个人脸图像交替进行卷积和池化操作，逐渐提取图像的高层特征，对特征进行分类，完成判断识别；其高层特征是从大样本数据中学习，能应对一定程度的偏移、尺度变化以及形变，保证特征较强的可分性，对特征分类具有理想的检测效果，降低模型的复杂度。
其中，公式y＝wx+b常用于神经网络当中，x为输入，y为输出，w为数据线性分割直线斜率，b为数据线性分割直线偏移值，是由单个人脸图像对应的人脸特征数据和单个人脸图像对应的人名信息作为x、y值所构成的一条直线。将单个人脸图像对应的人脸特征数据为输入，单个人脸图像对应的人名信息为输出代入建关键人物面部识别模型中进行反复训练，直至输出人名信息的准确度达到要求(如准确率达到90％)，完成关键人物面部识别模型的建立。
S205：对新闻文章信息中的图片内容进行人脸识别，得到人脸特征数据，筛选出包含人脸的图片内容作为人物照片。
具体的，在获取新闻文章信息后，通过人脸识别技术对每个新闻文章信息中的图片内容进行人脸识别，提取出图片内容中识别到的所有人脸的人脸特征数据，若能在图片内容中提取出有效的人脸特征数据，则判断对应图片内容包含有人脸，并将该图片内容提取出来作为人脸照片，从而筛选出新闻文章信息中的所有包含人脸的图片内容。可以理解的是，一张人脸照片中可包含一个或多个人脸。
S206：利用所述关键人物面部识别模型确定新闻文章信息中的人物照片所对应的人名信息，并利用所述人名信息对所述人物照片进行关联。
示例性的，依次将新闻文章信息中的人物照片输入到关键人物面部识别模型中，关键人物面部识别模型对人物照片中的人脸进行识别并得到人物照片中每张人脸对应的人脸特征数据，分别针对每张人脸的人脸特征数据输出对应的人名信息。
进一步的，根据关键人物面部识别模型输出人名信息，将人名信息与人物照片中对应的人脸区域进行关联。可选的，人名信息与人物照片可以是通过标签、链表、表格、映射等方式进行关联。
S207：基于所述人名信息和所述人物照片之间的关联关系建立关键人物库。
S208：根据待检索人名和人名信息的匹配情况，确定所述关键人物库中与所述待检索人名对应的人物照片。
上述，通过基于新闻文章信息中的单个人脸图像和人名信息建立关键人物面部识别模型，通过建立好的关键人物面部识别模型识别新闻文章信息中人物照片所对应的人名信息，基于人名信息和人物照片之间的关联关系建立关键人物库，并利用人名信息对人物照片进行关联，在需要检索某人的照片时，通过输入待检索人名，并根据待检索人名和人名信息的匹配情况，确定关键人物库中用于进行显示的人物照片，方便对合适的人物照片进行选择并使用，提高了图片查找的效率，保证新闻稿件的及时发布。同时，通过人脸识别技术对图片内容中的人脸特征数据进行提取，确定用于建立关键人物库的图片内容，保证关键人物库内的图片内容均为有效的人物照片，并通过语义分析技术对标题内容以及正文内容中的人名信息进行提取，确定用于建立关键人物面部识别模型的单个人脸图像以及人名信息，提高关键人物面部识别模型的创建效率。
图3为本申请实施例提供的另一种新闻人物照片提取方法的流程图。该新闻人物照片提取方法是对上述新闻人物照片提取方法的具体化。参考图3，该新闻人物照片提取方法包括：
S301：基于新闻文章信息中的单个人脸图像和人名信息的对应关系建立关键人物面部识别模型。
S302：将新闻文章信息中的人物照片的人脸特征数据输入所述关键人物面部识别模型中得到对应于所述人脸特征数据的相似度以及对应人名信息的相似概率。
具体的，依次将新闻文章信息中的每张人物照片输入到关键人物面部识别模型中，关键人物面部识别模型获取接收到的人物照片对应的人脸特征数据，并将该人脸特征数据作为输入，输出对应的人名信息，同时还输出对应于该人脸特征数据的相似度以及对应该人名信息的相似概率。
S303：根据所述相似度和所述相似概率确定与所述人物照片对应的人名信息。
具体的，在关键人物面部识别模型输出对应的人名信息和对应人脸特征数据的相似度以及对应该人名信息的相似概率后，判断人脸特征数据的相似度和人名信息的相似概率是否达到各自的阈值要求(例如，判断相似度是否达到90％或以上，同时相似概率是否达到90％或以上)，并将人脸特征数据的相似度和人名信息的相似概率同时达到各自的阈值要求时，确认该人名信息与该人物照片相对应。
可选的，若人脸特征数据的相似度和人名信息的相似概率未同时达到各自的阈值要求，可重新利用关键人物面部识别模型进行人名信息的确定，或者是取消对该人物照片对应的人名信息的确认，并继续对下一张人物照片对应的人名信息的确认。
S304：利用与所述人物照片对应的人名信息对所述人物照片进行标记。
具体的，在确定人物照片所对应的人名信息后，根据人名信息与人脸特征数据的对应关系，利用对应的人名信息对人物照片中人脸特征数据对对应的区域进行标记。
在其他实施例中，可在将新闻文章信息中的每张人物照片输入到关键人物面部识别模型前，先对需要进行标记的人脸区域进行确定，具体包括：
获取新闻文章信息中的人物照片包含的人脸数量及每个人对应的人脸区域大小；据所述人脸区域大小选择若干人脸区域；获取所述人物照片中选中的所述人脸区域对应的人脸特征数据。
具体的，通过人脸识别技术获取每张人物照片中的人脸特征数据，每一张人脸对应一组人脸特征数据，并根据人脸特征数据的数量判断每张人物照片包含的人脸数量。
进一步的，在确定每张人物照片的人脸数量后，根据每个人脸对应的人脸特征数据在人物照片中的空间位置分布组合关系，确定每个人脸在人物照片中的面积，并将该面积作为对应的人脸区域大小。
进一步的，对于每张人物照片，按照人脸区域的大小，根据人脸区域大小从大至小依次选择若干人脸区域作为后续用于标记的区域。其中选择的人脸区域的数量可根据实际情况进行设定，例如，选择大小排序为前5个的人脸区域作为该人物照片在后续用于标记的区域。
进一步的，在完成每张人物照片中人脸区域的选择后，获取被选中的人脸区域对应的人脸特征数据，用于输入关键人物面部识别模型中进行人名信息的识别。
根据相似度和相似概率确定与人物照片对应的人名信息时，将每张人物照片中的人脸区域所对应的每个人脸特征数据分别输入到关键人物面部识别模型中进行人名信息的识别，并为每一个人脸区域确定一个对应的人名信息。
进一步的，在完成人名信息的确定后，利用与人物照片不同人脸区域对应的人名信息对人物照片进行标记。
示例性的，根据人名信息与人脸特征数据的对应关系，利用对应的人名信息对人物照片中人脸特征数据对对应的区域进行标记。可以理解的是，一张人物照片可存在多个对应于不同人名信息的标记。
S305：基于新闻文章信息中的人物照片建立关键人物库。
示例性的，在建立人名信息和人物照片之间的关联关系后，基于人名信息和人物照片之间的关联关系建立关键人物库，对人物照片进行保存。根据人名信息可在关键人物库中搜索出与对应人名信息关联的人物照片。
S306：获取检索人名，在所述关键人物库中检索与所述检索人名匹配的人名信息，生成指向人名信息的匹配结果。
示例性的，可通过键盘输入、粘贴文字等方式在搜索栏中输入希望检索的人名作为检索人名。在获取检索人名后，以检索人名为关键字在关键人物库中检索与所述检索人名匹配的人名信息，并生成指向人名信息的匹配结果。
S307：根据所述匹配结果指向的人名信息，确定所述关键人物库中与所述待检索人名对应的人物照片。
示例性的，根据匹配结果指向的人名信息，在关键人物库中检索标记有该人名信息的人物照片，并确定该人物照片为关键人物库中与待检索人名对应的人物照片，调取检索到的人物照片并对人物照片进行显示，此时显示的人物照片中至少有一张人脸对应于希望检索的人名。可响应于对显示的人物照片的选中操作进行复制、导出或者是打开人物照片所在文件夹。
上述，通过基于新闻文章信息中的单个人脸图像和人名信息建立关键人物面部识别模型，通过建立好的关键人物面部识别模型识别新闻文章信息中人物照片所对应的人名信息，基于人名信息和人物照片之间的关联关系建立关键人物库，并利用人名信息对人物照片进行关联，在需要检索某人的照片时，通过输入待检索人名，并根据待检索人名和人名信息的匹配情况，确定关键人物库中用于进行显示的人物照片，方便对合适的人物照片进行选择并使用，提高了图片查找的效率，保证新闻稿件的及时发布。并根据人物照片中的人脸大小选择对应的人脸区域，减少检索出的人物照片中对应的人脸过小而影响检索质量的情况，进一步提高图片查找效率。
图4为本申请实施例提供的一种新闻人物照片提取装置的结构示意图。参考图4，该新闻人物照片提取装置包括模型建立模块41、关联模块42、人物库建立模块43和执行模块44。
其中，模型建立模块41，用于基于新闻文章信息中的单个人脸图像和人名信息的对应关系建立关键人物面部识别模型；关联模块42，利用所述关键人物面部识别模型确定新闻文章信息中的人物照片所对应的人名信息，并利用所述人名信息对所述人物照片进行关联；人物库建立模块43，用于基于所述人名信息和所述人物照片之间的关联关系建立关键人物库；执行模块44，用于根据待检索人名和人名信息的匹配情况，确定所述关键人物库中与所述待检索人名对应的人物照片。
上述，通过基于新闻文章信息中的单个人脸图像和人名信息建立关键人物面部识别模型，通过建立好的关键人物面部识别模型识别新闻文章信息中人物照片所对应的人名信息，基于人名信息和人物照片之间的关联关系建立关键人物库，并利用人名信息对人物照片进行关联，在需要检索某人的照片时，通过输入待检索人名，并根据待检索人名和人名信息的匹配情况，确定关键人物库中用于进行显示的人物照片，方便对合适的人物照片进行选择并使用，提高了图片查找的效率，保证新闻稿件的及时发布。。
在一个可能的实施例中，所述装置还包括新闻文章信息获取模块，用于通过网络获取新闻门户网站上的新闻网页信息；获取所述新闻网页信息中的图片内容及对应的标题内容和正文内容，并将所述图片内容、所述标题内容和所述正文内容作为新闻文章信息。
在一个可能的实施例中，所述模型建立模块41具体用于：对所述新闻文章信息中的图片内容进行人脸识别，得到人脸特征数据，筛选出包含单个人脸的图片内容作为单个人脸图像；通过语义分析技术对与所述单个人脸图像对应的标题内容和正文内容提取人名信息；以单个人脸图像对应的人脸特征数据为输入，单个人脸图像对应的人名信息为输出，利用卷积神经网络进行训练，得到关键人物面部识别模型。
在一个可能的实施例中，所述关联模块42具体用于：将新闻文章信息中的人物照片的人脸特征数据输入所述关键人物面部识别模型中得到对应于所述人脸特征数据的相似度以及对应人名信息的相似概率；根据所述相似度和所述相似概率确定与所述人物照片对应的人名信息；利用与所述人物照片对应的人名信息对所述人物照片进行标记。
在一个可能的实施例中，所述关联模块42还用于：对所述新闻文章信息中的图片内容进行人脸识别，得到人脸特征数据，筛选出包含人脸的图片内容作为人物照片。
在一个可能的实施例中，所述装置还包括人脸区域确定模块，用于获取所述人物照片包含的人数对每个人对应的脸部区域大小；据所述脸部区域大小选择若干人脸区域；获取所述人物照片中选中的所述人脸区域对应的人脸特征数据；所述关联模块42在利用与所述人物照片对应的人名信息对所述人物照片进行标记时，具体为：利用与所述人物照片不同人脸区域对应的人名信息对所述人物照片进行标记。
在一个可能的实施例中，所述执行模块44具体用于：获取检索人名，在所述关键人物库中检索与所述检索人名匹配的人名信息，生成指向人名信息的匹配结果；根据所述匹配结果指向的人名信息，确定所述关键人物库中与所述待检索人名对应的人物照片。
本申请实施例还提供了一种计算机设备，该计算机设备可集成本申请实施例提供的新闻人物照片提取装置。图5是本申请实施例提供的一种计算机设备的结构示意图。参考图5，该计算机设备包括：输入装置53、输出装置54、存储器52以及一个或多个处理器51；所述存储器52，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器51执行，使得所述一个或多个处理器51实现如上述实施例提供的新闻人物照片提取方法。其中输入装置53、输出装置54、存储器52和处理器51可以通过总线或者其他方式连接，图5中以通过总线连接为例。
存储器52作为一种计算设备可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的新闻人物照片提取方法对应的程序指令/模块(例如，新闻人物照片提取装置中的模型建立模块41、关联模块42、人物库建立模块43和执行模块44)。存储器52可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器52可进一步包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置53可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置54可包括显示屏等显示设备。
处理器51通过运行存储在存储器52中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的新闻人物照片提取方法。
上述提供的新闻人物照片提取装置和计算机设备可用于执行上述实施例提供的新闻人物照片提取方法，具备相应的功能和有益效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的新闻人物照片提取方法，该新闻人物照片提取方法包括：基于新闻文章信息中的单个人脸图像和人名信息的对应关系建立关键人物面部识别模型；利用所述关键人物面部识别模型确定新闻文章信息中的人物照片所对应的人名信息，并利用所述人名信息对所述人物照片进行关联；基于所述人名信息和所述人物照片之间的关联关系建立关键人物库；根据待检索人名和人名信息的匹配情况，确定所述关键人物库中与所述待检索人名对应的人物照片。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机***存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机***中，或者可以位于不同的第二计算机***中，第二计算机***通过网络(诸如因特网)连接到第一计算机***。第二计算机***可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机***中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的新闻人物照片提取方法，还可以执行本申请任意实施例所提供的新闻人物照片提取方法中的相关操作。
上述实施例中提供的新闻人物照片提取装置、设备及存储介质可执行本申请任意实施例所提供的新闻人物照片提取方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的新闻人物照片提取方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。
Claims (10)
1.一种新闻人物照片提取方法，其特征在于，包括：
基于新闻文章信息中的单个人脸图像和人名信息的对应关系建立关键人物面部识别模型；
利用所述关键人物面部识别模型确定新闻文章信息中的人物照片所对应的人名信息，并利用所述人名信息对所述人物照片进行关联；
基于所述人名信息和所述人物照片之间的关联关系建立关键人物库；
根据待检索人名和人名信息的匹配情况，确定所述关键人物库中与所述待检索人名对应的人物照片。
2.根据权利要求1所述的新闻人物照片提取方法，其特征在于，所述基于新闻文章信息中的单个人脸图像和人名信息的对应关系建立关键人物面部识别模型之前，还包括：
通过网络获取新闻门户网站上的新闻网页信息；
获取所述新闻网页信息中的图片内容及对应的标题内容和正文内容，并将所述图片内容、所述标题内容和所述正文内容作为新闻文章信息。
3.根据权利要求2所述的新闻人物照片提取方法，其特征在于，所述基于新闻文章信息中的单个人脸图像和人名信息的对应关系建立关键人物面部识别模型，包括：
对所述新闻文章信息中的图片内容进行人脸识别，得到人脸特征数据，筛选出包含单个人脸的图片内容作为单个人脸图像；
通过语义分析技术对与所述单个人脸图像对应的标题内容和正文内容提取人名信息；
以单个人脸图像对应的人脸特征数据为输入，单个人脸图像对应的人名信息为输出，利用卷积神经网络进行训练，得到关键人物面部识别模型。
4.根据权利要求1所述的新闻人物照片提取方法，其特征在于，所述利用所述关键人物面部识别模型确定新闻文章信息中的人物照片所对应的人名信息，并利用所述人名信息对所述人物照片进行关联之前，还包括：
对新闻文章信息中的图片内容进行人脸识别，得到人脸特征数据，筛选出包含人脸的图片内容作为人物照片。
5.根据权利要求1所述的新闻人物照片提取方法，其特征在于，所述利用所述关键人物面部识别模型确定新闻文章信息中的人物照片所对应的人名信息，并利用所述人名信息对所述人物照片进行关联，包括：
将新闻文章信息中的人物照片的人脸特征数据输入所述关键人物面部识别模型中得到对应于所述人脸特征数据的相似度以及对应人名信息的相似概率；
根据所述相似度和所述相似概率确定与所述人物照片对应的人名信息；
利用与所述人物照片对应的人名信息对所述人物照片进行标记。
6.根据权利要求5所述的新闻人物照片提取方法，其特征在于，所述将新闻文章信息中的人物照片的人脸特征数据输入所述关键人物面部识别模型中得到对应于所述人脸特征数据的相似度以及对应人名信息的相似概率之前，还包括：
获取新闻文章信息中的人物照片包含的人脸数量及每个人对应的人脸区域大小；
据所述人脸区域大小选择若干人脸区域；
获取所述人物照片中选中的所述人脸区域对应的人脸特征数据；
所述利用与所述人物照片对应的人名信息对所述人物照片进行标记，包括：
利用与所述人物照片不同人脸区域对应的人名信息对所述人物照片进行标记。
7.根据权利要求1-6任一项所述的新闻人物照片提取方法，其特征在于，所述根据待检索人名和人名信息的匹配情况，确定所述关键人物库中与所述待检索人名对应的人物照片，包括：
获取检索人名，在所述关键人物库中检索与所述检索人名匹配的人名信息，生成指向人名信息的匹配结果；
根据所述匹配结果指向的人名信息，确定所述关键人物库中与所述待检索人名对应的人物照片。
8.一种新闻人物照片提取装置，其特征在于，包括模型建立模块、关联模块、人物库建立模块和执行模块，其中：
模型建立模块，用于基于新闻文章信息中的单个人脸图像和人名信息的对应关系建立关键人物面部识别模型；
关联模块，用于利用所述关键人物面部识别模型确定新闻文章信息中的人物照片所对应的人名信息，并利用所述人名信息对所述人物照片进行关联；
人物库建立模块，用于基于所述人名信息和所述人物照片之间的关联关系建立关键人物库；
执行模块，用于根据待检索人名和人名信息的匹配情况，确定所述关键人物库中与所述待检索人名对应的人物照片。
9.一种计算机设备，其特征在于，包括：存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的新闻人物照片提取方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的新闻人物照片提取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911311983.XA CN111061887A (zh) | 2019-12-18 | 2019-12-18 | 一种新闻人物照片提取方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911311983.XA CN111061887A (zh) | 2019-12-18 | 2019-12-18 | 一种新闻人物照片提取方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111061887A true CN111061887A (zh) | 2020-04-24 |
Family
ID=70301102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911311983.XA Pending CN111061887A (zh) | 2019-12-18 | 2019-12-18 | 一种新闻人物照片提取方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111061887A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112101216A (zh) * | 2020-09-15 | 2020-12-18 | 百度在线网络技术（北京）有限公司 | 人脸识别方法、装置、设备及存储介质 |
| CN112348783A (zh) * | 2020-10-27 | 2021-02-09 | 基建通(三亚)国际科技有限公司 | 基于图像的人物识别方法、装置及计算机可读存储介质 |
| CN112417847A (zh) * | 2020-11-19 | 2021-02-26 | 湖南红网新媒体集团有限公司 | 一种新闻内容安全监测方法、***、装置和存储介质 |
| CN115905602A (zh) * | 2022-11-03 | 2023-04-04 | 暨南大学 | 一种新闻人物识别方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010239507A (ja) * | 2009-03-31 | 2010-10-21 | Toshiba Corp | 動画処理装置 |
| CN102880729A (zh) * | 2012-11-02 | 2013-01-16 | 深圳市宜搜科技发展有限公司 | 基于人脸检测与识别的人物图片索引方法及装置 |
| CN103425757A (zh) * | 2013-07-31 | 2013-12-04 | 复旦大学 | 融合多模态信息的跨媒体人物新闻检索方法与*** |
| CN104537341A (zh) * | 2014-12-23 | 2015-04-22 | 北京奇虎科技有限公司 | 人脸图片信息获取方法和装置 |
| CN106407483A (zh) * | 2016-12-07 | 2017-02-15 | 连惠城 | 一种具有文字搜索功能的电子相册 |
| CN108509915A (zh) * | 2018-04-03 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 人脸识别模型的生成方法和装置 |
| CN108882033A (zh) * | 2018-07-19 | 2018-11-23 | 北京影谱科技股份有限公司 | 一种基于视频语音的人物识别方法、装置、设备和介质 |
-
2019
- 2019-12-18 CN CN201911311983.XA patent/CN111061887A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010239507A (ja) * | 2009-03-31 | 2010-10-21 | Toshiba Corp | 動画処理装置 |
| CN102880729A (zh) * | 2012-11-02 | 2013-01-16 | 深圳市宜搜科技发展有限公司 | 基于人脸检测与识别的人物图片索引方法及装置 |
| CN103425757A (zh) * | 2013-07-31 | 2013-12-04 | 复旦大学 | 融合多模态信息的跨媒体人物新闻检索方法与*** |
| CN104537341A (zh) * | 2014-12-23 | 2015-04-22 | 北京奇虎科技有限公司 | 人脸图片信息获取方法和装置 |
| CN106407483A (zh) * | 2016-12-07 | 2017-02-15 | 连惠城 | 一种具有文字搜索功能的电子相册 |
| CN108509915A (zh) * | 2018-04-03 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 人脸识别模型的生成方法和装置 |
| CN108882033A (zh) * | 2018-07-19 | 2018-11-23 | 北京影谱科技股份有限公司 | 一种基于视频语音的人物识别方法、装置、设备和介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112101216A (zh) * | 2020-09-15 | 2020-12-18 | 百度在线网络技术（北京）有限公司 | 人脸识别方法、装置、设备及存储介质 |
| CN112348783A (zh) * | 2020-10-27 | 2021-02-09 | 基建通(三亚)国际科技有限公司 | 基于图像的人物识别方法、装置及计算机可读存储介质 |
| CN112348783B (zh) * | 2020-10-27 | 2022-08-05 | 基建通(三亚)国际科技有限公司 | 基于图像的人物识别方法、装置及计算机可读存储介质 |
| CN112417847A (zh) * | 2020-11-19 | 2021-02-26 | 湖南红网新媒体集团有限公司 | 一种新闻内容安全监测方法、***、装置和存储介质 |
| CN115905602A (zh) * | 2022-11-03 | 2023-04-04 | 暨南大学 | 一种新闻人物识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109858555B (zh) | 基于图像的数据处理方法、装置、设备及可读存储介质 | |
| CN111061887A (zh) | 一种新闻人物照片提取方法、装置、设备及存储介质 | |
| CN109325414A (zh) | 证件信息的提取方法、装置和文本信息的提取方法 | |
| EP2806336A1 (en) | Text prediction in a text input associated with an image | |
| CN111353491A (zh) | 一种文字方向确定方法、装置、设备及存储介质 | |
| US10152540B2 (en) | Linking thumbnail of image to web page | |
| WO2020155790A1 (zh) | 理赔信息提取方法和装置、电子设备 | |
| CN113221918B (zh) | 目标检测方法、目标检测模型的训练方法及装置 | |
| WO2022100376A1 (zh) | 文本段落结构还原方法、装置、设备及计算机存储介质 | |
| CN109271624B (zh) | 一种目标词确定方法、装置及存储介质 | |
| CN106156794B (zh) | 基于文字风格识别的文字识别方法及装置 | |
| KR20210086836A (ko) | 텍스트 기반 이미지 검색을 위한 이미지 데이터 처리 방법 | |
| CN110909123A (zh) | 一种数据提取方法、装置、终端设备及存储介质 | |
| CN114241501A (zh) | 影像文档处理方法、装置及电子设备 | |
| CN113780116A (zh) | ***分类方法、装置、计算机设备和存储介质 | |
| CN111783786A (zh) | 图片的识别方法、***、电子设备及存储介质 | |
| CN114155547B (zh) | 一种图表识别方法、装置、设备及存储介质 | |
| CN115565193A (zh) | 问卷信息录入方法、装置、电子设备及存储介质 | |
| CN115203474A (zh) | 一种数据库自动分类提取技术 | |
| KR101800975B1 (ko) | 필기체가 인식되어 생성된 전자문서의 공유 방법 및 그 장치 | |
| CN112784594B (zh) | 一种文档处理方法、装置、电子设备及可读存储介质 | |
| Mahajan et al. | A decade on script identification from natural images/videos: a review | |
| Gao et al. | An Interactive Appearance-based Document Retrieval System for Historical Newspapers. | |
| CN112699949A (zh) | 一种基于社交平台数据的***识别方法及装置 | |
| US20240037972A1 (en) | Contextual analysis for digital image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |