CN111061933A - 图片样本库构建方法、装置、可读存储介质及终端设备 - Google Patents
图片样本库构建方法、装置、可读存储介质及终端设备 Download PDFInfo
- Publication number
- CN111061933A CN111061933A CN201911148223.1A CN201911148223A CN111061933A CN 111061933 A CN111061933 A CN 111061933A CN 201911148223 A CN201911148223 A CN 201911148223A CN 111061933 A CN111061933 A CN 111061933A
- Authority
- CN
- China
- Prior art keywords
- picture
- sample
- picture sample
- content information
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000008451 emotion Effects 0.000 claims description 32
- 238000009826 distribution Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000010191 image analysis Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000009193 crawling Effects 0.000 description 2
- 230000000994 depressogenic effect Effects 0.000 description 2
- 101000802640 Homo sapiens Lactosylceramide 4-alpha-galactosyltransferase Proteins 0.000 description 1
- 102100035838 Lactosylceramide 4-alpha-galactosyltransferase Human genes 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请属于计算机技术领域，尤其涉及一种图片样本库构建方法、装置、计算机可读存储介质及终端设备。所述方法获取预设的第一图片样本库，所述第一图片样本库中包括各个第一图片样本，所述第一图片样本为预先标注有文字内容信息的图片；提取各个第一图片样本的文字内容信息；获取各个网络图片，所述网络图片为从指定网络中爬取到的图片；根据所述文字内容信息和所述网络图片构造各个第二图片样本；将所述第二图片样本添加入所述第一图片样本库中，得到第二图片样本库。所述方法可以在仅有少量人工标注的图片样本的基础上，自动从网络中爬取图片，并构造出足够的用于模型训练的图片样本，减少了时间成本和人力成本的耗费，效率得到了极大提升。
Description
技术领域
本申请属于计算机技术领域，尤其涉及一种图片样本库构建方法、装置、计算机可读存储介质及终端设备。
背景技术
表情图片在各种即时通信(Instant Messaging)工具中应用十分广泛，这些表情图片可以分为两类，一类为标准通用表情图片，如微信自带表情图片、QQ自带表情图片、IOS自带表情图片等，这些表情图片具有标准的情绪转译文本说明，如“微笑”、“惊讶”、“捂脸”等。另一类为自定义的表情图片，绝大部分以底图配文字的形式呈现，这些表情图片中提取出的文字，可用于后续的文本分析，现有技术可以通过一些主流的识别模型来实现定位文字位置，以及针对定位后的文字进行识别。为了保证识别模型的识别结果的精准度，需要海量的图片样本进行模型训练，现有技术中一般是通过人工标注的方式来生成足够的用于模型训练的图片样本，耗费大量的时间成本和人力成本，效率极为低下。
发明内容
有鉴于此，本申请实施例提供了一种图片样本库构建方法、装置、计算机可读存储介质及终端设备，以解决现有技术中通过人工标注的方式来生成足够的用于模型训练的图片样本，耗费大量的时间成本和人力成本，效率极为低下的问题。
本申请实施例的第一方面提供了一种图片样本库构建方法，可以包括：
获取预设的第一图片样本库，所述第一图片样本库中包括各个第一图片样本，所述第一图片样本为预先标注有文字内容信息的图片；
提取各个第一图片样本的文字内容信息；
获取各个网络图片，所述网络图片为从指定网络中爬取到的图片；
根据所述文字内容信息和所述网络图片构造各个第二图片样本；
将所述第二图片样本添加入所述第一图片样本库中，得到第二图片样本库。
本申请实施例的第二方面提供了一种图片样本库构建装置，可以包括：
样本库获取模块，用于获取预设的第一图片样本库，所述第一图片样本库中包括各个第一图片样本，所述第一图片样本为预先标注有文字内容信息的图片；
文本提取模块，用于提取各个第一图片样本的文字内容信息；
图片获取模块，用于获取各个网络图片，所述网络图片为从指定网络中爬取到的图片；
样本构造模块，用于根据所述文字内容信息和所述网络图片构造各个第二图片样本；
样本添加模块，用于将所述第二图片样本添加入所述第一图片样本库中，得到第二图片样本库。
本申请实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述任一种图片样本库构建方法的步骤。
本申请实施例的第四方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述任一种图片样本库构建方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：本申请实施例首先获取预设的第一图片样本库，并提取各个第一图片样本的文字内容信息，所述第一图片样本库中包括各个第一图片样本，所述第一图片样本为预先标注有文字内容信息的图片，然后获取各个网络图片，所述网络图片为从指定网络中爬取到的图片，再根据所述文字内容信息和所述网络图片构造各个第二图片样本，最后将所述第二图片样本添加入所述第一图片样本库中，得到第二图片样本库。通过本申请实施例，可以在仅有少量人工标注的图片样本的基础上，自动从网络中爬取图片，并进一步构造出足够的用于模型训练的图片样本，减少了时间成本和人力成本的耗费，效率得到了极大提升。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例中一种图片样本库构建方法的一个实施例流程图；
图2为第一图片样本的示意图；
图3为构造各个第二图片样本的第一种具体实现的示意流程图；
图4为构造各个第二图片样本的第二种具体实现的示意流程图；
图5为构造各个第二图片样本的第三种具体实现的示意流程图；
图6为改变第二图片样本库中的各个图片样本的色彩分布，从而批量构造出各种不同色彩分布的图片样本的示意流程图；
图7为本申请实施例中一种图片样本库构建装置的一个实施例结构图；
图8为本申请实施例中一种终端设备的示意框图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参阅图1，本申请实施例中一种图片样本库构建方法的一个实施例可以包括：
步骤S101、获取预设的第一图片样本库。
所述第一图片样本库中包括各个第一图片样本，所述第一图片样本为预先标注有文字内容信息的图片。优选地，除了在所述第一图片样本中标注文字内容信息之外，还可以在所述第一图片样本中标注文字定位信息。如图2所示，左图为一个原始的表情图片，人工标注出其文字定位信息和文字内容信息之后，即可得到右图所示的图片样本，也即所述第一图片样本。
需要注意的是，由于在本实施例中会通过样本扩增来增加图片样本的数量，因此，因此，所述第一图片样本库中包含的第一图片样本的数量不必过多，例如，可以将所述第一图片样本库中包含的第一图片样本的数量设置为数百或者数千，以人工标注所能承受的工作量负荷为准，本实施例不对其做具体限定。
步骤S102、提取各个第一图片样本的文字内容信息。
以图2所示的第一图片样本为例，则可提取其中的文字内容信息为：“突然沮丧”。
步骤S103、获取各个网络图片。
所述网络图片为从指定网络中爬取到的图片。在本实施例中，可以通过网络爬虫从网络中爬取海量的各式各样的图片，以这些图片为素材来构造新的图片样本。具体爬取图片的数量可以根据实际情况进行设置，例如，可以将爬取图片的数量设置为数万或十万、百万级别，以保证能够达到较高的模型训练精度为准，本方案不对其做具体限定。
步骤S104、根据所述文字内容信息和所述网络图片构造各个第二图片样本。
在本实施例中，可以将所述文字内容信息和所述网络图片进行各种组合，从而构造出海量的图片样本，也即所述第二图片样本。需要注意的是，为了使构造出的图片样本更加接近于真实数据，在进行图片样本构造时，可以以所述第一图片样本库作为参照的基准。
在本实施例的第一种具体实现中，可以根据图3所示的过程来构造各个第二图片样本：
步骤S104a1、对各个第一图片样本的文字内容信息进行文本情感分析，得到各个第一图片样本的情感类型。
文本情感分析，又称意见挖掘、倾向性分析等。简单而言，是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。图片样本的文字内容信息表达了人们的各种情感色彩和情感倾向性，如高兴、愤怒、悲伤、沮丧等情感类型。
步骤S104a2、将各个第一图片样本按照所述情感类型划分为各个样本集。
其中，每个样本集均对应于一种情感类型。例如，可以将所述第一图片样本库中表达高兴这一情感类型的各个第一图片样本划分为一个样本集，将所述第一图片样本库中表达愤怒这一情感类型的各个第一图片样本划分为一个样本集，依次类推，最终产生分别对应于各个情感类型的样本集。
步骤S104a3、计算各个样本集之间的第一比例关系。
步骤S104a4、根据所述文字内容信息和所述网络图片构造满足所述第一比例关系的各个第二图片样本。
例如，若将各个第一图片样本按照所述情感类型共划分为四个样本集，分别对应于高兴、愤怒、悲伤、沮丧这四种情感类型，四个样本集中的第一图片样本个数分别为40个、20个、10个、30个，则可以计算出四个样本集之间的第一比例关系为4:2:1:3。在进行第二图片样本的构造时，仍按照这一比例关系进行构造。
通过如图3所示的方式，使得构造出来的图片样本(即所述第二图片样本)与真实的图片样本(即所述第一图片样本)在情感类型这一维度上的比例关系保持一致，更加接近于真实数据，从而保证后续根据这些样本训练出来的模型可以更好的对真实的表情图片进行识别，提高识别准确率。
在本实施例的第二种具体实现中，可以根据图4所示的过程来构造各个第二图片样本：
步骤S104b1、确定各个第一图片样本的文字内容信息的布局位置。
根据各个第一图片样本中人工标注出的文字定位信息可以确定出文字内容信息的布局位置，这些布局位置包括但不限于图片上方、图片下方、图片左侧、图片右侧等等。
步骤S104b2、将各个第一图片样本按照所述布局位置划分为各个样本集。
其中，每个样本集均对应于一种布局位置。例如，可以将文字内容信息的布局位置为图片上方的各个第一图片样本划分为一个样本集，将文字内容信息的布局位置为图片下方的各个第一图片样本划分为一个样本集，依次类推，最终产生分别对应于各种布局位置的样本集。
步骤S104b3、计算各个样本集之间的第二比例关系。
步骤S104b4、根据所述文字内容信息和所述网络图片构造满足所述第二比例关系的各个第二图片样本。
例如，若将各个第一图片样本按照所述情感类型共划分为四个样本集，分别对应于图片上方、图片下方、图片左侧、图片右侧这四种布局位置，四个样本集中的第一图片样本个数分别为20个、40个、30个、10个，则可以计算出四个样本集之间的第二比例关系为2:4:3:1。在进行第二图片样本的构造时，仍按照这一比例关系进行构造。
通过如图4所示的方式，使得构造出来的图片样本(即所述第二图片样本)与真实的图片样本(即所述第一图片样本)在布局位置这一维度上的比例关系保持一致，更加接近于真实数据，从而保证后续根据这些样本训练出来的模型可以更好的对真实的表情图片进行识别，提高识别准确率。
在本实施例的第三种具体实现中，可以根据图5所示的过程来构造各个第二图片样本：
步骤S104c1、确定各个第一图片样本的文字内容信息的排版方式。
根据各个第一图片样本中人工标注出的文字定位信息可以确定出文字内容信息的排版方式，这些排版方式包括但不限于横版排版、竖板排版等等。
步骤S104c2、将各个第一图片样本按照所述排版方式划分为各个样本集。
其中，每个样本集均对应于一种排版方式。例如，可以将文字内容信息的排版方式为横版排版的各个第一图片样本划分为一个样本集，将文字内容信息的排版方式为竖板排版的各个第一图片样本划分为一个样本集，依次类推，最终产生分别对应于各种排版方式的样本集。
步骤S104c3、计算各个样本集之间的第三比例关系。
步骤S104c4、根据所述文字内容信息和所述网络图片构造满足所述第三比例关系的各个第二图片样本。
例如，若将各个第一图片样本按照所述情感类型共划分为两个样本集，分别对应于横版排版、竖板排版这两个种排版方式，两个样本集中的第一图片样本个数分别为80个、20个，则可以计算出两个样本集之间的第三比例关系为4:1。在进行第二图片样本的构造时，仍按照这一比例关系进行构造。
通过如图5所示的方式，使得构造出来的图片样本(即所述第二图片样本)与真实的图片样本(即所述第一图片样本)在排版方式这一维度上的比例关系保持一致，更加接近于真实数据，从而保证后续根据这些样本训练出来的模型可以更好的对真实的表情图片进行识别，提高识别准确率。
需要注意的是，在实际使用中，可以根据具体情况从以上所述的三种具体实现中选择一种、两种或三种方式来构造各个第二图片样本，以使构造出的图片样本更加接近于真实数据。
进一步地，考虑到真实的表情图片中的文字和图片所表达的情感类型应该是一致的，如图2所示的表情图片中，其文字内容信息为：“突然沮丧”，其图片内容是一个卡通形象沮丧的表情，两者是一致的。为了能够更加逼真地构造出海量的图片样本，在本实施例的一种具体实现中，当根据文字内容信息和网络图片构造各个第二图片样本时，只将表达的情感类型一致的文字内容信息和网络图片进行组合，从而构造出所述第二图片样本。
具体地，由于文字内容信息来源于各个第一图片样本，其数量并不太大，可以通过人工标注的方式确定其情感类型。而网络图片是通过网络爬虫从网络中爬取海量的各式各样的图片，数量十分巨大，需要通过下述过程确定其情感类型：
首先，将步骤S104a2中划分出的各个情感类型的样本集作为比对的基准，分别计算各个样本集的基准特征信息。
以其中的第d个(1≤d≤D，D为情感类型的数目)样本集为例，分别计算该样本集中的各个图片样本的特征信息，本实施例中所提及的特征信息包括但不限于方向梯度直方图(Histogram of Oriented Gradient，HOG)特征、局部二值模式(Local Binary Pattern，LBP)特征、Haar-like特征以及现有技术中其它的图像特征信息，一般地，特征信息可以以向量的形式进行表示。
在计算得到第d个样本集中的各个图片样本的特征信息，即可将各个图片样本的特征信息的均值作为第d个样本集的基准特征信息，即：
其中，s为各个图片样本的序号，1≤s≤SN，SN为第d个样本集中的图片样本的总数，SampleEigd,s为第d个样本集中的第s个图片样本的特征信息，StdEigd为第d个样本集的基准特征信息。
然后，对于任意一个网络图片，计算该网络图片的特征信息，并分别计算该网络图片的特征信息与各个样本集的基准特征信息之间的向量距离，再根据下式从中选取出最小向量距离：
MinDis＝min(Dis1,Dis2,…,Disd,…,DisD)
其中，min为求最小值函数，Disd为该网络图片的特征信息与第d个样本集的基准特征信息之间的向量距离，MinDis为所述最小向量距离。
若所述最小向量距离大于预设的距离阈值，则说明该网络图片并不能表达上述的任何一种情感类型，后续不再使用该网络图片构造图片样本。
若所述最小向量距离小于或等于所述距离阈值，则可以将所述最小向量距离对应的样本集的情感类型确定为该网络图片的情感类型。
通过上述的过程，确定出各个网络图片的情感类型之后，即可将表达的情感类型一致的文字内容信息和网络图片进行组合，从而构造出所述第二图片样本。
步骤S105、将所述第二图片样本添加入所述第一图片样本库中，得到第二图片样本库。
所述第二图片样本库在原始的第一图片样本库的基础上，进一步扩增了大量的图片样本，以此为基础进行模型训练，可以有效提升识别模型的识别结果的精准度。
优选地，在得到所述第二图片样本库之后，还可以通过对其中的各个图片样本的色彩进行变换来进一步扩增样本。例如，可以预先设置各种颜色的背景图，例如：偏蓝色背景图，偏红色背景图，黑白背景图等等。对所述第二图片样本库中的各个图片样本进行背景色彩的更换，即可批量构造出各种不同背景颜色的表情图片。
进一步地，还可以通过如图6所示的过程，改变所述第二图片样本库中的各个图片样本的色彩分布，从而批量构造出各种不同色彩分布的图片样本：
步骤S601、计算目标图片样本的色彩分布概率密度。
所述目标图片样本为所述第二图片样本库中的任意一个图片样本。
具体地，可以根据下式计算所述色彩分布概率密度：
其中，k为各级色彩等级的序号，0≤k≤L，L为色彩等级的级数，其取值可以根据实际情况进行设置，例如，可以将其设置为256、512、1024或者其它取值，nk为所述目标图片样本的第k级色彩等级的像素个数，N为所述目标图片样本的像素总数，P(k)为所述目标图片样本的第k级色彩等级的色彩分布概率密度。在RGB色彩模式下，以其中的红色分量(R)为例，其色彩等级的级数一般为256，k的取值为从0到255。
步骤S602、对所述色彩分布概率密度进行变换，得到变换后的色彩分布概率密度。
具体地，可以根据下式计算所述变换后的色彩分布概率密度：
Pq(k)＝Func(P(k))
其中，Pq(k)为所述目标图片样本的第k级色彩等级的变换后的色彩分布概率密度，Func为任意一种非线性的函数，且该函数的值域不含负数，值域和定义域之间呈正相关关系。例如，可以设置Pq(k)＝exp(P(k))或者设置
等，每一个函数均对应于一种色彩分布的变换方式，本实施例中可以预先设置一组包含FN个(FN为正整数)函数的函数集合，分别使用该函数集合中的各个函数进行变换，则可以从一个图片样本扩增出FN个新的图片样本。
步骤S603、根据所述变换后的色彩分布概率密度计算所述目标图片样本的色彩分量数值。
具体地，可以根据下式计算所述目标图片样本的色彩分量数值：
其中，floor为向下取值函数，Pq(i)为所述目标图片样本的第i级色彩等级的变换后的色彩分布概率密度，F(k)为所述目标图片样本的第k级色彩等级的变换后的色彩分量数值。
步骤S604、根据所述色彩分量数值对所述目标图片样本进行调整，得到调整后的目标图片样本，并将所述调整后的目标图片样本添加入所述第二图片样本库中。
通过图6所示的过程，可以进一步批量构造出更多的图片样本，以此为基础进行模型训练，可以有效提升识别模型的识别结果的精准度。在具体应用中，可以根据实际情况优选采用基于Faster RCNN和CTC的模型，当然也可以根据实际情况选择现有技术中的任意一种模型，本实施例对此不作具体限定。
综上所述，本申请实施例首先获取预设的第一图片样本库，并提取各个第一图片样本的文字内容信息，所述第一图片样本库中包括各个第一图片样本，所述第一图片样本为预先标注有文字内容信息的图片，然后获取各个网络图片，所述网络图片为从指定网络中爬取到的图片，再根据所述文字内容信息和所述网络图片构造各个第二图片样本，最后将所述第二图片样本添加入所述第一图片样本库中，得到第二图片样本库。通过本申请实施例，可以在仅有少量人工标注的图片样本的基础上，自动从网络中爬取图片，并进一步构造出足够的用于模型训练的图片样本，减少了时间成本和人力成本的耗费，效率得到了极大提升。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的一种图片样本库构建方法，图7示出了本申请实施例提供的一种图片样本库构建装置的一个实施例结构图。
本实施例中，一种图片样本库构建装置可以包括：
语音信息采集模块701，用于样本库获取模块，用于获取预设的第一图片样本库，所述第一图片样本库中包括各个第一图片样本，所述第一图片样本为预先标注有文字内容信息的图片；
文本提取模块702，用于提取各个第一图片样本的文字内容信息；
图片获取模块703，用于获取各个网络图片，所述网络图片为从指定网络中爬取到的图片；
样本构造模块704，用于根据所述文字内容信息和所述网络图片构造各个第二图片样本；
样本添加模块705，用于将所述第二图片样本添加入所述第一图片样本库中，得到第二图片样本库。
可选地，所述样本构造模块可以包括：
文本情感分析单元，用于对各个第一图片样本的文字内容信息进行文本情感分析，得到各个第一图片样本的情感类型；
第一样本集划分单元，用于将各个第一图片样本按照所述情感类型划分为各个样本集，其中，每个样本集均对应于一种情感类型；
第一比例关系计算单元，用于计算各个样本集之间的第一比例关系；
第一构造单元，用于根据所述文字内容信息和所述网络图片构造满足所述第一比例关系的各个第二图片样本。
可选地，所述样本构造模块可以包括：
布局位置确定单元，用于确定各个第一图片样本的文字内容信息的布局位置；
第二样本集划分单元，用于将各个第一图片样本按照所述布局位置划分为各个样本集，其中，每个样本集均对应于一种布局位置；
第二比例关系计算单元，用于计算各个样本集之间的第二比例关系；
第二构造单元，用于根据所述文字内容信息和所述网络图片构造满足所述第二比例关系的各个第二图片样本。
可选地，所述样本构造模块可以包括：
排版方式确定单元，用于确定各个第一图片样本的文字内容信息的排版方式；
第三样本集划分单元，用于将各个第一图片样本按照所述排版方式划分为各个样本集，其中，每个样本集均对应于一种排版方式；
第三比例关系计算单元，用于计算各个样本集之间的第三比例关系；
第三构造单元，用于根据所述文字内容信息和所述网络图片构造满足所述第三比例关系的各个第二图片样本。
进一步地，所述图片样本库构建装置还可以包括：
密度计算模块，用于计算目标图片样本的色彩分布概率密度，所述目标图片样本为所述第二图片样本库中的任意一个图片样本；
密度变换模块，用于对所述色彩分布概率密度进行变换，得到变换后的色彩分布概率密度；
色彩分量数值计算模块，用于根据所述变换后的色彩分布概率密度计算所述目标图片样本的色彩分量数值；
样本调整模块，用于根据所述色彩分量数值对所述目标图片样本进行调整，得到调整后的目标图片样本，并将所述调整后的目标图片样本添加入所述第二图片样本库中。
进一步地，所述密度计算模块具体用于根据下式计算所述色彩分布概率密度：
其中，k为各级色彩等级的序号，0≤k≤L，L为色彩等级的级数，nk为所述目标图片样本的第k级色彩等级的像素个数，N为所述目标图片样本的像素总数，P(k)为所述目标图片样本的第k级色彩等级的色彩分布概率密度。
进一步地，所述色彩分量数值计算模块具体用于根据下式计算所述目标图片样本的色彩分量数值：
其中，floor为向下取值函数，Pq(i)为所述目标图片样本的第i级色彩等级的变换后的色彩分布概率密度，F(k)为所述目标图片样本的第k级色彩等级的变换后的色彩分量数值。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
图8示出了本申请实施例提供的一种终端设备的示意框图，为了便于说明，仅示出了与本申请实施例相关的部分。
如图8所示，该实施例的终端设备8包括：处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82。所述处理器80执行所述计算机程序82时实现上述各个图片样本库构建方法实施例中的步骤，例如图1所示的步骤S101至步骤S105。或者，所述处理器80执行所述计算机程序82时实现上述各装置实施例中各模块/单元的功能，例如图7所示模块701至模块705的功能。
示例性的，所述计算机程序82可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器81中，并由所述处理器80执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序82在所述终端设备8中的执行过程。
所述终端设备8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。本领域技术人员可以理解，图8仅仅是终端设备8的示例，并不构成对终端设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备8还可以包括输入输出设备、网络接入设备、总线等。
所述处理器80可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81可以是所述终端设备8的内部存储单元，例如终端设备8的硬盘或内存。所述存储器81也可以是所述终端设备8的外部存储设备，例如所述终端设备8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述终端设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序以及所述终端设备8所需的其它程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种图片样本库构建方法，其特征在于，包括：
获取预设的第一图片样本库，所述第一图片样本库中包括各个第一图片样本，所述第一图片样本为预先标注有文字内容信息的图片；
提取各个第一图片样本的文字内容信息；
获取各个网络图片，所述网络图片为从指定网络中爬取到的图片；
根据所述文字内容信息和所述网络图片构造各个第二图片样本；
将所述第二图片样本添加入所述第一图片样本库中，得到第二图片样本库。
2.根据权利要求1所述的图片样本库构建方法，其特征在于，所述根据所述文字内容信息和所述网络图片构造各个第二图片样本包括：
对各个第一图片样本的文字内容信息进行文本情感分析，得到各个第一图片样本的情感类型；
将各个第一图片样本按照所述情感类型划分为各个样本集，其中，每个样本集均对应于一种情感类型；
计算各个样本集之间的第一比例关系；
根据所述文字内容信息和所述网络图片构造满足所述第一比例关系的各个第二图片样本。
3.根据权利要求1所述的图片样本库构建方法，其特征在于，所述根据所述文字内容信息和所述网络图片构造各个第二图片样本包括：
确定各个第一图片样本的文字内容信息的布局位置；
将各个第一图片样本按照所述布局位置划分为各个样本集，其中，每个样本集均对应于一种布局位置；
计算各个样本集之间的第二比例关系；
根据所述文字内容信息和所述网络图片构造满足所述第二比例关系的各个第二图片样本。
4.根据权利要求1所述的图片样本库构建方法，其特征在于，所述根据所述文字内容信息和所述网络图片构造各个第二图片样本包括：
确定各个第一图片样本的文字内容信息的排版方式；
将各个第一图片样本按照所述排版方式划分为各个样本集，其中，每个样本集均对应于一种排版方式；
计算各个样本集之间的第三比例关系；
根据所述文字内容信息和所述网络图片构造满足所述第三比例关系的各个第二图片样本。
5.根据权利要求1至4中任一项所述的图片样本库构建方法，其特征在于，在将所述第二图片样本添加入所述第一图片样本库中，得到第二图片样本库之后，还包括：
计算目标图片样本的色彩分布概率密度，所述目标图片样本为所述第二图片样本库中的任意一个图片样本；
对所述色彩分布概率密度进行变换，得到变换后的色彩分布概率密度；
根据所述变换后的色彩分布概率密度计算所述目标图片样本的色彩分量数值；
根据所述色彩分量数值对所述目标图片样本进行调整，得到调整后的目标图片样本，并将所述调整后的目标图片样本添加入所述第二图片样本库中。
6.根据权利要求5所述的图片样本库构建方法，其特征在于，所述计算目标图片样本的色彩分布概率密度包括：
根据下式计算所述色彩分布概率密度：
其中，k为各级色彩等级的序号，0≤k≤L，L为色彩等级的级数，nk为所述目标图片样本的第k级色彩等级的像素个数，N为所述目标图片样本的像素总数，P(k)为所述目标图片样本的第k级色彩等级的色彩分布概率密度。
7.根据权利要求6所述的图片样本库构建方法，其特征在于，所述根据所述变换后的色彩分布概率密度计算所述目标图片样本的色彩分量数值包括：
根据下式计算所述目标图片样本的色彩分量数值：
其中，floor为向下取值函数，Pq(i)为所述目标图片样本的第i级色彩等级的变换后的色彩分布概率密度，F(k)为所述目标图片样本的第k级色彩等级的变换后的色彩分量数值。
8.一种图片样本库构建装置，其特征在于，包括：
样本库获取模块，用于获取预设的第一图片样本库，所述第一图片样本库中包括各个第一图片样本，所述第一图片样本为预先标注有文字内容信息的图片；
文本提取模块，用于提取各个第一图片样本的文字内容信息；
图片获取模块，用于获取各个网络图片，所述网络图片为从指定网络中爬取到的图片；
样本构造模块，用于根据所述文字内容信息和所述网络图片构造各个第二图片样本；
样本添加模块，用于将所述第二图片样本添加入所述第一图片样本库中，得到第二图片样本库。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的图片样本库构建方法的步骤。
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的图片样本库构建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911148223.1A CN111061933A (zh) | 2019-11-21 | 2019-11-21 | 图片样本库构建方法、装置、可读存储介质及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911148223.1A CN111061933A (zh) | 2019-11-21 | 2019-11-21 | 图片样本库构建方法、装置、可读存储介质及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111061933A true CN111061933A (zh) | 2020-04-24 |
Family
ID=70298235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911148223.1A Pending CN111061933A (zh) | 2019-11-21 | 2019-11-21 | 图片样本库构建方法、装置、可读存储介质及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111061933A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111680733A (zh) * | 2020-06-01 | 2020-09-18 | 北京建工资源循环利用投资有限公司 | 组分检测、样本库建立方法、装置、平台、***及介质 |
| CN111709469A (zh) * | 2020-06-05 | 2020-09-25 | 中国农业科学院农业信息研究所 | 一种基于人工智能的图像识别方法及装置 |
| CN111951954A (zh) * | 2020-08-10 | 2020-11-17 | 中国平安人寿保险股份有限公司 | 身体健康状态检测方法、装置、可读存储介质及终端设备 |
| CN112132208A (zh) * | 2020-09-18 | 2020-12-25 | 北京奇艺世纪科技有限公司 | 图像转换模型的生成方法、装置、电子设备及存储介质 |
| CN115114467A (zh) * | 2021-03-17 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 图片神经网络模型的训练方法以及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909088A (zh) * | 2017-09-27 | 2018-04-13 | 百度在线网络技术（北京）有限公司 | 获取训练样本的方法、装置、设备和计算机存储介质 |
| CN107977928A (zh) * | 2017-12-21 | 2018-05-01 | 广东欧珀移动通信有限公司 | 表情生成方法、装置、终端及存储介质 |
| CN109635838A (zh) * | 2018-11-12 | 2019-04-16 | 平安科技（深圳）有限公司 | 人脸样本图片标注方法、装置、计算机设备及存储介质 |
| CN109784391A (zh) * | 2019-01-04 | 2019-05-21 | 杭州比智科技有限公司 | 基于多模型的样本标注方法及装置 |
| CN109872374A (zh) * | 2019-02-19 | 2019-06-11 | 江苏通佑视觉科技有限公司 | 一种图像语义分割的优化方法、装置、存储介质及终端 |
| CN110175247A (zh) * | 2019-03-13 | 2019-08-27 | 北京邮电大学 | 一种优化基于深度学习的异常检测模型的方法 |
| WO2019169772A1 (zh) * | 2018-03-06 | 2019-09-12 | 平安科技（深圳）有限公司 | 图片处理方法、电子装置及存储介质 |
-
2019
- 2019-11-21 CN CN201911148223.1A patent/CN111061933A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909088A (zh) * | 2017-09-27 | 2018-04-13 | 百度在线网络技术（北京）有限公司 | 获取训练样本的方法、装置、设备和计算机存储介质 |
| CN107977928A (zh) * | 2017-12-21 | 2018-05-01 | 广东欧珀移动通信有限公司 | 表情生成方法、装置、终端及存储介质 |
| WO2019169772A1 (zh) * | 2018-03-06 | 2019-09-12 | 平安科技（深圳）有限公司 | 图片处理方法、电子装置及存储介质 |
| CN109635838A (zh) * | 2018-11-12 | 2019-04-16 | 平安科技（深圳）有限公司 | 人脸样本图片标注方法、装置、计算机设备及存储介质 |
| CN109784391A (zh) * | 2019-01-04 | 2019-05-21 | 杭州比智科技有限公司 | 基于多模型的样本标注方法及装置 |
| CN109872374A (zh) * | 2019-02-19 | 2019-06-11 | 江苏通佑视觉科技有限公司 | 一种图像语义分割的优化方法、装置、存储介质及终端 |
| CN110175247A (zh) * | 2019-03-13 | 2019-08-27 | 北京邮电大学 | 一种优化基于深度学习的异常检测模型的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 周子杰;李勃;董蓉;: "基于特征提取及聚类算法的增量图片筛选***", 电视技术, no. 3, pages 189 - 193 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111680733A (zh) * | 2020-06-01 | 2020-09-18 | 北京建工资源循环利用投资有限公司 | 组分检测、样本库建立方法、装置、平台、***及介质 |
| CN111709469A (zh) * | 2020-06-05 | 2020-09-25 | 中国农业科学院农业信息研究所 | 一种基于人工智能的图像识别方法及装置 |
| CN111951954A (zh) * | 2020-08-10 | 2020-11-17 | 中国平安人寿保险股份有限公司 | 身体健康状态检测方法、装置、可读存储介质及终端设备 |
| CN112132208A (zh) * | 2020-09-18 | 2020-12-25 | 北京奇艺世纪科技有限公司 | 图像转换模型的生成方法、装置、电子设备及存储介质 |
| CN112132208B (zh) * | 2020-09-18 | 2023-07-14 | 北京奇艺世纪科技有限公司 | 图像转换模型的生成方法、装置、电子设备及存储介质 |
| CN115114467A (zh) * | 2021-03-17 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 图片神经网络模型的训练方法以及装置 |
| CN115114467B (zh) * | 2021-03-17 | 2024-05-14 | 腾讯科技（深圳）有限公司 | 图片神经网络模型的训练方法以及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111061933A (zh) | 图片样本库构建方法、装置、可读存储介质及终端设备 | |
| CN107944020B (zh) | 人脸图像查找方法及装置、计算机装置和存储介质 | |
| CN108898643B (zh) | 图像生成方法、装置与计算机可读存储介质 | |
| CN110009027B (zh) | 图像的比对方法、装置、存储介质及电子装置 | |
| CN107679447A (zh) | 面部特征点检测方法、装置及存储介质 | |
| CN112990318B (zh) | 持续学习方法、装置、终端及存储介质 | |
| CN110363084A (zh) | 一种上课状态检测方法、装置、存储介质及电子 | |
| US10915786B2 (en) | Object detection and candidate filtering system | |
| CN113761259A (zh) | 一种图像处理方法、装置以及计算机设备 | |
| CN112801099B (zh) | 一种图像处理方法、装置、终端设备及介质 | |
| CN114821590A (zh) | 文档信息提取方法、装置、设备及介质 | |
| CN112036304A (zh) | 医疗票据版面识别的方法、装置及计算机设备 | |
| CN109508628A (zh) | 基于卷积神经网络的字体图像中字体种类检测方法及*** | |
| CN117197479A (zh) | 一种应用玉米果穗外表面的图像分析方法、装置、计算机设备及存储介质 | |
| CN111027533B (zh) | 一种点读坐标的变换方法、***、终端设备及存储介质 | |
| CN112839185A (zh) | 用于处理图像的方法、装置、设备和介质 | |
| CN114818627A (zh) | 一种表格信息抽取方法、装置、设备及介质 | |
| JP2020077054A (ja) | 選定装置および選定方法 | |
| CN116861225A (zh) | 数据筛选方法、装置、电子设备及存储介质 | |
| CN114595760A (zh) | 数据分类方法及装置 | |
| CN114303352B (zh) | 推送内容的处理方法、装置、电子设备以及存储介质 | |
| CN113158632A (zh) | Cad图纸的表格重建方法和计算机可读存储介质 | |
| CN114138214B (zh) | 一种自动生成打印文件的方法、装置和电子设备 | |
| CN113722432B (zh) | 新闻与股票的关联方法及装置 | |
| CN110738522B (zh) | 用户画像构建方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200424 |