CN113590862A - 一种图片信息的处理方法、装置及电子设备 - Google Patents
一种图片信息的处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113590862A CN113590862A CN202010368172.XA CN202010368172A CN113590862A CN 113590862 A CN113590862 A CN 113590862A CN 202010368172 A CN202010368172 A CN 202010368172A CN 113590862 A CN113590862 A CN 113590862A
- Authority
- CN
- China
- Prior art keywords
- text
- keywords
- marked
- keyword
- fields
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title abstract description 6
- 238000003672 processing method Methods 0.000 title abstract description 4
- 238000012216 screening Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000008357 Okapia johnstoni Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/535—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种图片信息的处理方法、装置及电子设备，该方法包括：对网页中的图片进行重复图片聚类，获取每个类簇对应的标记文本域集合；针对每各类簇的类簇图片，根据标记文本域集合获取标记文本域集合中每个标记文本域包含有的关键词及关键词的词权重；根据标记文本域中关键词的词权重和关键词在对应标记文本域中的词频，对标记文本域集合中的标记文本域进行筛选，获得多个候选文本域；对多个候选文本域进行相似文本去除，并根据去除相似文本后的多个候选文本域获得类簇图片的描述文本信息。上述方案通过重复图片聚类获得标记文本域集合，从中选取优质文本域作为图片描述文本信息，解决了现有技术中图片描述文本信息准确性较低的技术问题。
Description
技术领域
本发明涉及软件技术领域，特别涉及一种图片信息的处理方法、装置及电子设备。
背景技术
互联网应用中，对于图片的搜索需要为互联网图片挖掘文本描述信息，以便图片搜索时可以根据查询词与文本描述信息的匹配来提供图片搜索结果，为此文本描述信息的准确性，将直接影响到图片搜索结果的准确性。
目前，互联网上每天都会新增海量的图片，通常情况下，增加的图会带有一些标记文本域，如图片的标题、图片的环绕文本等，由这些标记文本域形成图片的文本描述信息。但随着图片的扩散和转发，与之对应的标记文本域往往会经过多次编辑，导致图片对应的标记文本域可能随着图片的传播而逐渐失真，甚至出现大量图文不符的情况。这种情况下，如何为互联网图片挖掘准确的文本描述信息成为了一个亟待解决的技术问题。
发明内容
本发明实施例提供一种图片信息的处理方法、装置及电子设备，用于解决现有技术中图片标记文本域传播失真导致的图片文本描述信息准确性降低的技术问题，提高图片文本描述信息的准确性。
本发明实施例提供一种图片信息的处理方法，所述方法包括：
对网页中的图片进行重复图片聚类，获取每个类簇的类簇图片和所述类簇图片的标记文本域集合；
针对每张类簇图片，根据所述标记文本域集合获取所述标记文本域集合中每个标记文本域包含有的关键词及所述关键词的词权重；
根据所述标记文本域中关键词的词权重和所述关键词在对应标记文本域中的词频，对所述标记文本域集合中的所述标记文本域进行筛选，获得多个候选文本域；
对所述多个候选文本域进行相似文本去除，并根据去除相似文本后的多个候选文本域获得所述类簇图片的描述文本信息。
可选的，所述根据所述标记文本域集合获取所述标记文本域集合中每个标记文本域包含有的关键词及所述关键词的词权重，包括：
获取所述每个标记文本域中的关键词；
针对每个关键词获得如下目标参数：所述关键词在所属标记文本域集合中的词频和出现次数以及所述关键词对应的网站域名个数；
根据每个所述关键词的所述目标参数，计算获得每个所述关键词的词权重。
可选的，根据每个所述关键词的所述目标参数，计算获得每个所述关键词的词权重，包括：
针对每个所述关键词，根据所述关键词在每个所属标记文本域中的词频和出现次数，计算获得所述关键词在每个所属标记文本域中的重要程度，所述重要程度按所述词频和出现次数衰减累加；
根据所述关键词在所有所属标记文本域中的重要程度以及所述关键词对应的网站域名个数，计算获得每个所述关键词的词权重。
可选的，所述根据所述标记文本域中关键词的词权重和所述关键词在对应标记文本域中的词频，对所述标记文本域集合中的所述标记文本域进行筛选，获得多个候选文本域，包括：
根据所述标记文本域中关键词的词权重、所述关键词在对应标记文本域中的词频，计算获得每个标记文本域的得分；
获得所述标记文本域集合中所述得分最大的前N个标记文本域作为参考文本域；
根据所述N个参考文本域获得所述多个候选文本域。
可选的，所述根据所述N个参考文本域获得所述多个候选文本域，包括：
获取每个所述参考文本域的文本域长度；
根据每个所述参考文本域所属的文本域类型，获取每个所述参考文本域的域权重；
根据所述文本域长度、所述域权重，对所述N个参考文本域进行筛选，筛选获得所述多个候选文本域。
可选的，所述在对所述标记文本域集合中的所述标记文本域进行筛选之前，所述方法还包括：
对所述标记文本域集合中的标记文本域进行关键词截断，去除标记文本域中所述词权重从大到小排序在第M位之后的关键词。
本发明实施例还提供一种图片信息的处理装置，所述装置包括：
聚类单元，用于对网页中的图片进行重复图片聚类，获取每个类簇的类簇图片和所述类簇图片的标记文本域集合；
权重获取单元，用于针对每张类簇图片，根据所述标记文本域集合获取所述标记文本域集合中每个标记文本域包含有的关键词及所述关键词的词权重；
筛选单元，用于根据所述标记文本域中关键词的词权重和所述关键词在对应标记文本域中的词频，对所述标记文本域集合中的所述标记文本域进行筛选，获得多个候选文本域；
去相似单元，用于对所述多个候选文本域进行相似文本去除，并根据去除相似文本后的多个候选文本域获得所述类簇图片的描述文本信息。
可选的，所述权重获取单元用于：
获取所述每个标记文本域中的关键词；
针对每个关键词获得如下目标参数：所述关键词在所属标记文本域集合中的词频和出现次数以及所述关键词对应的网站域名个数；
根据每个所述关键词的所述目标参数，计算获得每个所述关键词的词权重。
可选的，所述权重获取单元还用于：
针对每个所述关键词，根据所述关键词在每个所属标记文本域中的词频和出现次数，计算获得所述关键词在每个所属标记文本域中的重要程度，所述重要程度按所述词频和出现次数衰减累加；
根据所述关键词在所有所属标记文本域中的重要程度以及所述关键词对应的网站域名个数，计算获得每个所述关键词的词权重。
可选的，所述筛选单元用于：
根据所述标记文本域中关键词的词权重、所述关键词在对应标记文本域中的词频，计算获得每个标记文本域的得分；
获得所述标记文本域集合中所述得分最大的前N个标记文本域作为参考文本域；
根据所述N个参考文本域获得所述多个候选文本域。
可选的，所述筛选单元还用于：
获取每个所述参考文本域的文本域长度；
根据每个所述参考文本域所属的文本域类型，获取每个所述参考文本域的域权重；
根据所述文本域长度、所述域权重，对所述N个参考文本域进行筛选，筛选获得所述多个候选文本域。
可选的，所述装置还包括：
关键词截断单元，用于在对所述标记文本域集合中的所述标记文本域进行筛选之前，对所述标记文本域集合中的标记文本域进行关键词截断，去除标记文本域中所述词权重从大到小排序在第M位之后的关键词。
本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果：本申请实施例提供一种图片信息的处理方法，对网页中的图片进行重复图片聚类，获取每个类簇的类簇图片和所述类簇图片的标记文本域集合；针对每张类簇图片，根据标记文本域集合获取标记文本域集合中每个标记文本域包含有的关键词及关键词的词权重；根据标记文本域中关键词的词权重和关键词在对应标记文本域中的词频，对标记文本域集合中的标记文本域进行筛选，获得多个候选文本域；对多个候选文本域进行相似文本去除，并根据去除相似文本后的多个候选文本域获得类簇图片的描述文本信息。通过重复图片聚类获取图片的标记文本域集合，并据此来获取图片关键词的词权重，从而根据词权重和文本相似性来筛选标记文本域，获得更为准确的图片描述文本信息，解决了现有技术中图片标记文本域传播失真导致的图片文本描述信息准确性降低的技术问题，提高了图片文本描述信息的准确性。
附图说明
图1为本申请实施例提供的一种图片信息处理方法的流程示意图；
图2为本申请实施例提供的一种图片信息处理装置的方框图；
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
在本申请实施例提供的技术方案中，提供一种图片信息的处理方法，通过重复图片聚类来获取大量的标记文本域，并从中选取优质文本域作为图片的文本描述信息，以解决现有技术中图片标记文本域传播失真导致的图片文本描述新信息准确性降低的技术问题。
下面结合附图对本申请实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。
实施例
请参考图1，本申请实施例提供一种图片信息的处理方法，该方法包括如下S11～S14：
S11、对网页中的图片进行重复图片聚类，获取每个类簇的类簇图片和所述类簇图片的标记文本域集合。
其中，重复图片聚类是将完全相同的图片聚到一起，例如，目前通过图片搜索，聚类前搜到的原始图片总量大概有60亿，聚类后有8亿个类簇，每个类簇代表不同的图片，也即目前有8亿张不同的图片。每个类簇对应的图片称之为类簇图片。每张类簇图片可能在大量不同的网页中出现，可以从其所在的每个网页中获得该类簇图片的标记文本域，如图片的标题、图片的环绕文本、图片的描述文本等，一般的，图片的描述文本为图片正下方与图片相邻的一行文本信息，图片的环绕文本则为距离图片一定距离内的文本信息，所有的标记文本域构成该类簇图片的标记文本域集合。
S12、针对每张类簇图片，根据所述标记文本域集合获取所述标记文本域集合中每个标记文本域包含有的关键词及所述关键词的词权重。
其中，关键词的词权重用于反映所述关键词在所述标记文本域集合中的分布情况。词权重越大表示在标记文本域集合中包含有该关键词的标记文本域越多，该关键词对于该类簇图片的重要程度越大，反之，词权重越小表示在标记文本域集合中包含有该关键词的标记文本域越少，该关键词对于该类簇图片的重要程度越小。通过获得关键词的词权重，可以明确关键词对该类簇图片中重要程度。
S13、根据所述标记文本域中关键词的词权重、所述关键词在对应标记文本域中的词频，对所述标记文本域集合中的所述标记文本域进行筛选，获得多个候选文本域。
其中，候选文本域为标记文本域集合中关键词的词权重较高、词频较高、域权重较高的优质文本。在进行标记文本域筛选时，可以先根据词权重和词频对标记文本域进行第一次筛选，再根据文本域的域权重、文本域长度对第一次筛选后的标记文本域进行第二次筛选，减少第二次筛选的计算量。其中，标记文本域长度是指文本域总关键词的个数
S14、对所述多个候选文本域进行相似文本去除，并根据去除相似文本后的多个候选文本域获得所述类簇图片的描述文本信息。
在文本域的选取时，本申请实施例不仅考虑到抽取出来的文本域与图片具有相关性，还考虑到抽取出来的文本域需具有多样性，也即冗余性低。如果抽取出来的文本域大部分类似，那么信息的多样性就缺少，因此针对筛选获得的多个候选文本域进行相似文本去除。将去除相似文本后的参考文本域作为对应类簇图片的描述文本信息，或者，从去除相似文本后的参考文本域中提取词权重排序前n位的关键词作为对应类簇图片的描述文本信息。
在具体实时过程中，S11对网页中的图片进行重复图片聚类时，可以先爬取互联网上网页中的图片；然后，对每一张图片利用分环算法进行存储(因为上亿张图片不可能存在一台机器上，会用多台机器存储这些图片)；然后，将每一张图片同时对所有机器上的图片进行近邻检索，找到完全和它相同的图片，之后会对图片的近邻检索结果利用并查集进行合并，这样就把每一张图片所有的相同图片关联起来，并定义一个专属的类簇id，由此实现重复图片的聚类，类簇id对应的图片则为该类簇的类簇图片。在完成重复图片聚类后，S11还进一步从大量重复图片所属的网页上爬取该图片的标记文本域，最终获得该类簇图片的标记文本域集合。
在基于重复图片聚类，获得每张类簇图片的标记文本域集合后，执行S12对文本域中的关键词进行词权重计算，通过词权重来表征关键词对于该类簇图片的重要程度，关键词的重要程度与其词权重成正比。具体的，针对每一张类簇图片的标记文本域集合，获取标记文本域集合中每个标记文本域中的关键词；针对每个关键词获得如下目标参数：关键词在标记文本域集合中的词频、关键词在所属的标记文本域中出现的次数以及关键词对应的网站域名个数；根据每个关键词的所述目标参数，计算获得每个所述关键词的词权重。
其中，针对每个关键词，根据关键词在每个所属标记文本域中的词频和出现次数，计算获得关键词在每个所属标记文本域中的重要程度，重要程度按关键词的述词频和出现次数衰减累加，具体可以通过如下公式二计算获得：进一步的，根据关键词在所有所属标记文本域中的重要程度以及关键词对应的网站域名个数，计算获得每个关键词的词权重。具体可以通过如下公式一计算获得：
w表示所述词权重，i表示标记文本域集合中的第i个标记文本域，n表示标记文本域集合中的文本域个数，f(i)表示关键词在第i个标记文本域中的重要程度，n_page_domainuniq表示所述类簇图片对应的网站域名个数，Max_weight表示预设的最大权重值，norm_k表示归一化参数，m表示所述词频，ndomain表示所述关键词在所属的所述标记文本域中出现的次数。其中，词权重的最大值可以取255表示该关键词term频繁出现在每个标记文本域中，最小值可以取1表示在类簇中出现极少。norm_k的取值可以为4。
在S12获得词权重之后，S13进行标记文本域筛选之前，可以先对标记文本域集合进行预处理，包括标记文本域去重和/或关键词截断。本实施例考虑到通过类簇抽取的关键词具有长尾效应，大量权重较低的关键词会影响文本域筛选的效果，为此，对标记文本域集合中的标记文本域进行关键词截断，去除标记文本域中词权重从大到小排序在第M位之后的关键词，M为预设值，可以根据实验数据进行设定。
通过关键词截断，一方面保证每个标记文本域中的关键词数量不超过预设值，另一方面去除掉词权重较小的关键词，提高文本域筛选的效率和质量。
对预处理后的标记文本域集合，执行S13进行文本域筛选。具体的，可以通过两次标记文本域排序来进行文本域筛选，先进行粗排序，对粗排序召回结果的靠前部分再进行精排序。粗排序时，根据标记文本域中关键词的词权重、关键词在对应标记文本域中的词频，计算获得标记文本域集合中每个标记文本域的得分；获得标记文本域集合中得分最大的前N个标记文本域作为参考文本域；精排序时，根据获得的N个参考文本域获得多个候选文本域。
粗排序时，可以采用Okapi BM25(简称BM25)算法计算每个标记文本域的得分：
1)针对标记文本域中的每个关键词，统计每个关键词在该标记文本域出现的词频；
2)根据S12计算获得的每个关键词的词权重，结合每个关键词的词频进行加权；
3)根据1)和2)，结合BM25中设置的常量，得到标记当前文本域的得分。
根据BM25计算获得的每个标记文本域的得分，对标记文本域集合中是所有标记文本域按照得分从大到小进行排序，获得标记文本域集合中得分最大的前N个标记文本域作为参考文本域。
精排序时，可以先获取每个参考文本域的文本域长度；根据每个参考文本域所属的文本域类型，获取每个参考文本域的域权重；根据文本域长度、域权重，对N个参考文本域进行筛选，筛选获得多个候选文本域。其中，文本域长度具体可以包括文本域中包含的字符数，和/或，文本域中包含的关键词的数量。文本域的域权重是一个先验的理论值，由于选取的文本域可能来自于标题title、锚文本anchor或者正文描述desc等不同类型的文本域，每一类文本域的质量往往存在差异，比如desc域一般比anchor域要好，选取文本描述信息时会偏向选取desc域，为此为不同类型的文本域有一个先验的理论值，用于表征该类型文本的质量好坏。
具体实时过程中，在粗排序得分的基础上，结合每个参考文本域的域权重、文本域长度，或者，结合每个参考文本域的域权重、文本域长度以及关键词在所属文本域出现的频次再做一次打分，如对不同特征加权获得每个参考文本域的得分，依据该打分进行精排序。
通过S13筛选获得多个候选标记文本域之后，进一步执行S14进行相似文本去除。进行相似文本去除时，可以采用MMR(Maximal Marginal Relevance，最大边界相关法或者最大边缘相关)对多个候选文本域进行文本重排序。MMR在进行重排序时，先进行相似度的度量，相似度度量可以采用杰卡德Jaccard相似度和最小公共子序列，如果相似度太高，例如大于或等于相似度阈值，那就去除其中一个文本域。
进一步的，S14还可以执行去包含操作，减少信息的冗余度。例如：假设BM25得到的标记文本域包括“周杰伦和昆凌秀恩爱”和“周杰伦和昆凌秀恩爱搜狐新闻”，后一个文本域其实包含了前面的文本域内容，类似这样的结果需要进行去重和包含关系的判断，从而只保留前一个标记文本域即可。
上述实施例中，基于重复图片聚类的图片描述文本信息获取方案，可以在百亿级别规模的图片上，将图像内容上完全相同的图片聚类，同时也将该类簇的所有文本进行聚合，基于该类簇的所有文本，选取最能描述该类簇(该张图片)的优质文本域作为其描述文本信息，从而提高图片搜索的准确性。例如，互联网中一张周杰伦和昆凌比爱心的原始图片，在网络中经过多次传播出现在不同的站点中，从不同源头爬取得到的结果中，该图片的文本域也发生了变化，不仅添加了多位明星，同时内容也淡化了关键词“周杰伦”和“昆凌”的重要性，其标记文本域包括“情人节快乐”、“邓超和孙俪”、“情人节群星晒照花式略狗”等，通过上述方法选取的优质文本域为“周杰伦昆凌高难度秀恩爱”作为该类簇的文本描述信息，而非文本域“邓超和孙俪”，此后用户在搜索“邓超和孙俪”时，该张图片就不会出现了，提高了图片搜索的准确性。
基于同一发明构思，针对上述实施例提供一种图片信息的处理方法，本申请实施例还对应提供一种图片信息的处理装置，请参考图2，该装置包括：
聚类单元21，用于对网页中的图片进行重复图片聚类，获取每个类簇的类簇图片和所述类簇图片的标记文本域集合；
权重获取单元22，用于针对每张类簇图片，根据所述标记文本域集合获取所述标记文本域集合中每个标记文本域包含有的关键词及所述关键词的词权重；
筛选单元23，用于根据所述标记文本域中关键词的词权重和所述关键词在对应标记文本域中的词频，对所述标记文本域集合中的所述标记文本域进行筛选，获得多个候选文本域；
去相似单元24，用于对所述多个候选文本域进行相似文本去除，并根据去除相似文本后的多个候选文本域获得所述类簇图片的描述文本信息。
作为一种可选的实施方式，所述权重获取单元22用于：获取所述每个标记文本域中的关键词；针对每个关键词获得如下目标参数：所述关键词在所属标记文本域集合中的词频和出现次数以及所述关键词对应的网站域名个数；根据每个所述关键词的所述目标参数，计算获得每个所述关键词的词权重。
作为一种可选的实施方式，所述权重获取单元22还用于：针对每个所述关键词，根据所述关键词在每个所属标记文本域中的词频和出现次数，计算获得所述关键词在每个所属标记文本域中的重要程度，所述重要程度按所述词频和出现次数衰减累加；根据所述关键词在所有所属标记文本域中的重要程度以及所述关键词对应的网站域名个数，计算获得每个所述关键词的词权重。
作为一种可选的实施方式，所述筛选单元23用于：根据所述标记文本域中关键词的词权重、所述关键词在对应标记文本域中的词频，计算获得每个标记文本域的得分；获得所述标记文本域集合中所述得分最大的前N个标记文本域作为参考文本域；根据所述N个参考文本域获得所述多个候选文本域。
作为一种可选的实施方式，所述筛选单元23还用于：获取每个所述参考文本域的文本域长度；根据每个所述参考文本域所属的文本域类型，获取每个所述参考文本域的域权重；根据所述文本域长度、所述域权重，对所述N个参考文本域进行筛选，筛选获得所述多个候选文本域。
作为一种可选的实施方式，所述装置还包括：关键词截断单元25，用于在对所述标记文本域集合中的所述标记文本域进行筛选之前，对所述标记文本域集合中的标记文本域进行关键词截断，去除标记文本域中所述词权重从大到小排序在第M位之后的关键词。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图3是根据一示例性实施例示出的一种用于实现图片信息的处理的电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图3，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/展现(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理***，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个展现接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为展现和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于展现音频信号。
I/O接口812为处理组件802和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种图片信息的处理方法，所述方法包括：对网页中的图片进行重复图片聚类，获取每个类簇的类簇图片和所述类簇图片的标记文本域集合；针对每张类簇图片，根据所述标记文本域集合获取所述标记文本域集合中每个标记文本域包含有的关键词及所述关键词的词权重；根据所述标记文本域中关键词的词权重和所述关键词在对应标记文本域中的词频，对所述标记文本域集合中的所述标记文本域进行筛选，获得多个候选文本域；对所述多个候选文本域进行相似文本去除，并根据去除相似文本后的多个候选文本域获得所述类簇图片的描述文本信息。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种图片信息的处理方法，其特征在于，所述方法包括：
对网页中的图片进行重复图片聚类，获取每个类簇的类簇图片和所述类簇图片的标记文本域集合；
针对每张类簇图片，根据所述标记文本域集合获取所述标记文本域集合中每个标记文本域包含有的关键词及所述关键词的词权重；
根据所述标记文本域中关键词的词权重和所述关键词在对应标记文本域中的词频，对所述标记文本域集合中的所述标记文本域进行筛选，获得多个候选文本域；
对所述多个候选文本域进行相似文本去除，并根据去除相似文本后的多个候选文本域获得所述类簇图片的描述文本信息。
2.如权利要求1所述的方法，其特征在于，所述根据所述标记文本域集合获取所述标记文本域集合中每个标记文本域包含有的关键词及所述关键词的词权重，包括：
获取所述每个标记文本域中的关键词；
针对每个关键词获得如下目标参数：所述关键词在所属标记文本域集合中的词频和出现次数以及所述关键词对应的网站域名个数；
根据每个所述关键词的所述目标参数，计算获得每个所述关键词的词权重。
3.如权利要求2所述的方法，其特征在于，根据每个所述关键词的所述目标参数，计算获得每个所述关键词的词权重，包括：
针对每个所述关键词，根据所述关键词在每个所属标记文本域中的词频和出现次数，计算获得所述关键词在每个所属标记文本域中的重要程度，所述重要程度按所述词频和出现次数衰减累加；
根据所述关键词在所有所属标记文本域中的重要程度以及所述关键词对应的网站域名个数，计算获得每个所述关键词的词权重。
4.如权利要求1所述的方法，其特征在于，所述根据所述标记文本域中关键词的词权重和所述关键词在对应标记文本域中的词频，对所述标记文本域集合中的所述标记文本域进行筛选，获得多个候选文本域，包括：
根据所述标记文本域中关键词的词权重、所述关键词在对应标记文本域中的词频，计算获得每个标记文本域的得分；
获得所述标记文本域集合中所述得分最大的前N个标记文本域作为参考文本域；
根据所述N个参考文本域获得所述多个候选文本域。
5.如权利要求4所述的方法，其特征在于，所述根据所述N个参考文本域获得所述多个候选文本域，包括：
获取每个所述参考文本域的文本域长度；
根据每个所述参考文本域所属的文本域类型，获取每个所述参考文本域的域权重；
根据所述文本域长度、所述域权重，对所述N个参考文本域进行筛选，筛选获得所述多个候选文本域。
6.如权利要求1所述的方法，其特征在于，所述在对所述标记文本域集合中的所述标记文本域进行筛选之前，所述方法还包括：
对所述标记文本域集合中的标记文本域进行关键词截断，去除标记文本域中所述词权重从大到小排序在第M位之后的关键词。
7.一种图片信息的处理装置，其特征在于，所述装置包括：
聚类单元，用于对网页中的图片进行重复图片聚类，获取每个类簇的类簇图片和所述类簇图片的标记文本域集合；
权重获取单元，用于针对每张类簇图片，根据所述标记文本域集合获取所述标记文本域集合中每个标记文本域包含有的关键词及所述关键词的词权重；
筛选单元，用于根据所述标记文本域中关键词的词权重和所述关键词在对应标记文本域中的词频，对所述标记文本域集合中的所述标记文本域进行筛选，获得多个候选文本域；
去相似单元，用于对所述多个候选文本域进行相似文本去除，并根据去除相似文本后的多个候选文本域获得所述类簇图片的描述文本信息。
8.如权利要求7所述的装置，其特征在于，所述权重获取单元用于：
获取所述每个标记文本域中的关键词；
针对每个关键词获得如下目标参数：所述关键词在所属标记文本域集合中的词频和出现次数以及所述关键词对应的网站域名个数；
根据每个所述关键词的所述目标参数，计算获得每个所述关键词的词权重。
9.一种电子设备，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以的上程序存储于存储器中，且经配置以由一个或者一个以上的处理器执行所述一个或者一个以上的程序所包含的用于进行如权利要求1～6任一所述方法对应的操作指令。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～6任一所述方法对应的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010368172.XA CN113590862A (zh) | 2020-04-30 | 2020-04-30 | 一种图片信息的处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010368172.XA CN113590862A (zh) | 2020-04-30 | 2020-04-30 | 一种图片信息的处理方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113590862A true CN113590862A (zh) | 2021-11-02 |
Family
ID=78236935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010368172.XA Pending CN113590862A (zh) | 2020-04-30 | 2020-04-30 | 一种图片信息的处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113590862A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609458A (zh) * | 2012-01-12 | 2012-07-25 | 北京搜狗信息服务有限公司 | 一种图片推荐方法和装置 |
| WO2016107126A1 (zh) * | 2014-12-30 | 2016-07-07 | 百度在线网络技术（北京）有限公司 | 图片搜索方法和装置 |
| CN106708940A (zh) * | 2016-11-11 | 2017-05-24 | 百度在线网络技术（北京）有限公司 | 用于处理图片的方法和装置 |
| CN109033385A (zh) * | 2018-07-27 | 2018-12-18 | 百度在线网络技术（北京）有限公司 | 图片检索方法、装置、服务器及存储介质 |
| CN110019675A (zh) * | 2017-12-01 | 2019-07-16 | 北京搜狗科技发展有限公司 | 一种关键词提取的方法及装置 |
-
2020
- 2020-04-30 CN CN202010368172.XA patent/CN113590862A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609458A (zh) * | 2012-01-12 | 2012-07-25 | 北京搜狗信息服务有限公司 | 一种图片推荐方法和装置 |
| WO2016107126A1 (zh) * | 2014-12-30 | 2016-07-07 | 百度在线网络技术（北京）有限公司 | 图片搜索方法和装置 |
| CN106708940A (zh) * | 2016-11-11 | 2017-05-24 | 百度在线网络技术（北京）有限公司 | 用于处理图片的方法和装置 |
| CN110019675A (zh) * | 2017-12-01 | 2019-07-16 | 北京搜狗科技发展有限公司 | 一种关键词提取的方法及装置 |
| CN109033385A (zh) * | 2018-07-27 | 2018-12-18 | 百度在线网络技术（北京）有限公司 | 图片检索方法、装置、服务器及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109614482B (zh) | 标签的处理方法、装置、电子设备及存储介质 | |
| EP3173948A1 (en) | Method and apparatus for recommendation of reference documents | |
| CN108121736B (zh) | 一种主题词确定模型的建立方法、装置及电子设备 | |
| CN110232137B (zh) | 一种数据处理方法、装置和电子设备 | |
| CN107315487B (zh) | 一种输入处理方法、装置及电子设备 | |
| CN110688527A (zh) | 视频推荐方法、装置、存储介质及电子设备 | |
| CN109918565B (zh) | 一种搜索数据的处理方法、装置及电子设备 | |
| CN107291772B (zh) | 一种搜索访问方法、装置及电子设备 | |
| CN110019675B (zh) | 一种关键词提取的方法及装置 | |
| CN106815291B (zh) | 搜索结果项展现方法、装置和用于搜索结果项展现的装置 | |
| CN111708943A (zh) | 一种搜索结果展示方法、装置和用于搜索结果展示的装置 | |
| CN112784142A (zh) | 一种信息推荐方法及装置 | |
| CN112068711A (zh) | 一种输入法的信息推荐方法、装置和电子设备 | |
| CN110309324B (zh) | 一种搜索方法及相关装置 | |
| CN110175293B (zh) | 一种确定新闻脉络的方法、装置及电子设备 | |
| CN113033163A (zh) | 一种数据处理方法、装置和电子设备 | |
| CN110110046B (zh) | 同名实体推荐方法及装置 | |
| CN113590861B (zh) | 一种图片信息的处理方法、装置及电子设备 | |
| CN110147426B (zh) | 一种查询文本的分类标签确定方法及相关装置 | |
| CN113709571B (zh) | 视频展示方法、装置、电子设备及可读存储介质 | |
| CN108205534B (zh) | 一种皮肤资源展示方法、装置及电子设备 | |
| CN113590862A (zh) | 一种图片信息的处理方法、装置及电子设备 | |
| CN111382367B (zh) | 一种搜索结果排序方法和装置 | |
| CN110362760B (zh) | 一种智能提示搜索结果的方法、装置及介质 | |
| CN114547421A (zh) | 一种搜索处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40055325 Country of ref document: HK |