CN113761110A - 信息发布方法、装置、设备和存储介质 - Google Patents
信息发布方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN113761110A CN113761110A CN202010598743.9A CN202010598743A CN113761110A CN 113761110 A CN113761110 A CN 113761110A CN 202010598743 A CN202010598743 A CN 202010598743A CN 113761110 A CN113761110 A CN 113761110A
- Authority
- CN
- China
- Prior art keywords
- text
- word
- weight
- published
- professional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 26
- 238000004364 calculation method Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 11
- 238000012552 review Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3346—Query execution using probabilistic model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种信息发布方法、装置、设备和存储介质。该方法包括:获取待发布文本,并确定所述待发布文本中与发布主题对应的专业词和非专业词;依据所述专业词的第一权重和所述非专业词的第二权重,确定所述待发布文本与所述发布主题之间的相关度,其中,所述第一权重大于所述第二权重;依据所述相关度确定是否发布所述待发布文本。通过上述技术方案,实现了更加快速地审核待发布的文本信息的有效性,提高了审核的实时性和准确性。
Description
技术领域
本发明实施例涉及计算机技术,尤其涉及一种信息发布方法、装置、设备和存储介质。
背景技术
随着计算机技术的发展,现在越来越多的人通过网络来发布相关信息,例如,在汽车、宠物等不同类型的社交圈中发布社交动态信息,在电商平台中发布有关商品的评论或提问等信息,在直播或视频播放过程中发布弹幕或评论等信息。如果用户发布的信息与其对应的主题不相关,那么该信息相对于该主题而言属于无效信息,而过多的无效信息会占用过多的资源,并且会对其他用户获取有效信息的过程产生不良影响。为了更好的用户体验,有必要滤除无效信息。
目前,针对网络中用户发布信息的有效性审核的大致过程为:用户发布信息,后台获取到用户发布的信息,并将其交由人工来审核该信息的有效性。如果该信息属于无效信息,则撤回该信息的发布。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:所有发布信息均需人工审核,不仅审核工作量大,审核效率低,容易遗漏无效信息,而且由于人工审核速度慢,使得发布信息只能先发布后审核,具有滞后性。
发明内容
本发明实施例提供一种信息发布方法、装置、设备和存储介质,以实现更加快速地审核待发布的文本信息的有效性,提高审核的实时性和准确性。
第一方面,本发明实施例提供了一种信息发布方法,包括:
获取待发布文本,并确定所述待发布文本中与发布主题对应的专业词和非专业词;
依据所述专业词的第一权重和所述非专业词的第二权重,确定所述待发布文本与所述发布主题之间的相关度,其中,所述第一权重大于所述第二权重;
依据所述相关度确定是否发布所述待发布文本。
第二方面,本发明实施例还提供了一种信息发布装置,该装置包括:
词确定模块,用于获取待发布文本,并确定所述待发布文本中与发布主题对应的专业词和非专业词;
主题相关度确定模块,用于依据所述专业词的第一权重和所述非专业词的第二权重,确定所述待发布文本与所述发布主题之间的相关度,其中,所述第一权重大于所述第二权重;
文本发布模块,用于依据所述相关度确定是否发布所述待发布文本。
第三方面,本发明实施例还提供了一种电子设备,该电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所提供的信息发布方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现本发明任意实施例所提供的信息发布方法。
本发明实施例通过获取待发布文本,并确定待发布文本中与发布主题对应的专业词和非专业词;依据专业词的第一权重和非专业词的第二权重,确定待发布文本与发布主题之间的相关度,其中,第一权重大于第二权重;依据相关度确定是否发布待发布文本。实现了在信息发布之前,利用待发布文本中的用词是否是发布主题相关的专业词,来自动确定待发布文本与发布主题之间的相关度,进而确定该待发布文本是否为可发布的有效发布信息,减少了人工审核过程,降低了待发布文本有效性审核的滞后性,提高了待发布文本有效性审核的实时性和准确性。
附图说明
图1是本发明实施例一中的一种信息发布方法的流程图;
图2是本发明实施例二中的一种信息发布方法的流程图;
图3是本发明实施例三中的一种信息发布装置的结构示意图;
图4是本发明实施例四中的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
本实施例提供的信息发布方法,可适用于通过网络进行有发布主题的信息发布场景,例如不同类型的社交圈中的动态发布、电商平台中商品相关的评论或提问的发布、直播或视频播放等过程中有关观看内容的弹幕或评论的发布等。该方法可以由信息发布装置来执行,该装置可以由软件和/或硬件的方式实现,该装置可以集成电子设备中,例如手机、平板电脑、笔记本电脑、台式电脑或服务器等。参见图1,本实施例的方法具体包括:
S110、获取待发布文本,并确定待发布文本中与发布主题对应的专业词和非专业词。
其中,待发布文本是指需要发布的信息内容。发布主题是指信息发布对象的相关内容,例如可以是汽车或宠物等的社交圈类型,也可以是商品类别和商品属性等商品相关信息,还可以是观看直播或视频的内容相关信息等。专业词和非专业词是相对立的概念,专业词是指在发布主题对应的技术领域中具有特定含义的词,非专业词是指专业词以外的词。
如果待发布文本中包含与发布主题相关的专业词,那么待发布文本大概率是与发布主题相关的有效信息。基于此,可以对待发布文本中包含的词进行是否专业词的分析,来自动审核其有效性。
具体实施时,首先通过用户的输入内容来获取待发布文本。然后,对待发布文本进行分词,获得各初始文本分词。再然后,对每个初始文本分词进行敏感词过滤和停用词过滤,获得各文本分词。敏感词过滤和停用词过滤时所用的敏感词库和停用词库,可以是本发明实施例中预先构建的,也可以是云端词库。之后,将每个文本分词与发布主题对应的各专业词进行匹配,匹配相似度满足预先设定的相似度阈值的文本分词确定为专业词,剩余文本分词确定为非专业词。发布主题对应的各专业词可以是本发明实施例预先根据发布主题构建的专业词库,也可以是云端词库。可以理解的是,文本分词为专业词或非专业词,即待发布文本中的一个文本分词,要么为专业词,要么为非专业词。
S120、依据专业词的第一权重和非专业词的第二权重,确定待发布文本与发布主题之间的相关度。
其中,第一权重和第二权重分别是指专业词对应的权重和非专业词对应的权重,其用于表征相应词与发布主题之间的相关程度,一个词的权重越高,该词与发布主题越相关。每个专业词的第一权重可以相同,也可以不同;每个非专业词的第二权重可以相同,也可以不同。第一权重和第二权重可以是预先设置的经验值,也可以是根据一定的规则计算所得,两者满足第一权重大于第二权重的关系即可。
根据待发布文本中每个专业词的第一权重和每个非专业词的第二权重,综合确定出待发布文本的总权重,该总权重便是待发布文本与发布主题的相关度。
示例性地,在S120之前,还包括:依据各历史发布文本中每个词的词频,确定第二设定数量的热点词;依据各热点词的词频和缺省权重,确定第一权重。
其中,历史发布文本是指当前操作之前已经发布的信息内容。词频是指含有词的历史发布文本的文本数量与历史发布文本总数的比值,例如,在10000个历史发布文本中有3个历史发布文本中含有某个词,那么该词的词频为3/10000。第二设定数量是指预先设定的词的数量,其根据业务的精度需求而设定,例如精度需求较高,那么第二设定数量设置为一个相对较大的值。缺省权重是指预先设置的兜底权重,例如为1。
对于待发布文本与发布主题之间的相关度计算,待发布文本中包含的每个专业词在其中所占比重是相同的,故将每个专业词的第一权重设计为相同的。而专业词是相关度计算中很重要的成分,故根据所有历史发布文本中词频最高的第二设定数量的热点词的词频来确定第一权重。具体实施时,先统计确定所有历史发布文本中每个历史发布文本的每个词的词频。然后,按照词频从大到小的关系,对所有历史发布文本中的所有词进行排序。再然后,选取排序靠前的第二设定数量的词,作为热点词。之后,根据每个热点词的词频,通过取均值、取最大值或取中位数等方式,确定出热点词的综合词频s-freq。最后,计算综合词频和缺省权重之和(1+s-freq),作为第一权重。这样设置的好处在于,根据发布主题对应的各历史发布文本中的热点词的词频来确定第一权重,避免了经验设定值的主观影响,而且建立了第一权重与发布主题的相关数据的关联性,提高了第一权重的确定动态性和准确性。
示例性地,在S120之前,还包括:依据每个非专业词的词频和缺省权重,确定相应非专业词的第二权重。
每个非专业词在相关度计算中的作用可能是不同的,故每个非专业词的第二权重也可能是不同的。一个非专业词在发布主题对应的各历史发布文本中出现的频率越高,说明该非专业词属于该发布主题中的热点词的概率越高。如果待发布文本中包含发布主题中的热点词,那么该待发布文本属于与发布主题相关的有效信息的概率就越大。基于此,利用能够表征一个词出现频率的词频来确定每个非专业词的第二权重。具体实施时,针对每个非专业词,根据各历史发布文本来统计该非专业词的词频freq。然后,计算词频freq与缺省权重之和(1+freq),作为该非专业词的第二权重。这样设置的好处在于,利用非专业词的词频来确定第二权重,避免了经验设定值的主观影响,提高了第二权重的确定动态性和准确性,而且在考虑专业词对相关度计算的影响的基础上,进一步考虑词频对相关度计算的影响,进一步提高相关度确定的准确性。
S130、依据相关度确定是否发布待发布文本。
待发布文本与发布主题的相关度越高,待发布文本属于有效信息的概率越高,而属于有效信息的概率足够高时,便认为待发布文本为有效信息,能够直接发布。反之,认为待发布文本为疑似信息,为其设置疑似标识,并交由人工审核其有效性。
示例性地,S130包括:若相关度大于相关度阈值,则发布待发布文本。其中,相关度阈值是预先设定的相关度值,其是用于判断待发布文本是否发布的下限相关度。相关度阈值可以根据业务需求(如人工审核的信息数量和算法精度等)来设定。如果待发布文本的相关度大于相关度阈值,那么认为待发布文本为有效信息,直接发布。这样设置的好处在于,能够更加快速地确定待发布文本是否发布,进一步提高待发布文本的审核效率。
本实施例的技术方案,通过获取待发布文本,并确定待发布文本中与发布主题对应的专业词和非专业词;依据专业词的第一权重和非专业词的第二权重,确定待发布文本与发布主题之间的相关度,其中,第一权重大于第二权重;依据相关度确定是否发布待发布文本。实现了在信息发布之前,利用待发布文本中的用词是否是发布主题相关的专业词,来自动确定待发布文本与发布主题之间的相关度,进而确定该待发布文本是否为可发布的有效发布信息,减少了人工审核过程,降低了待发布文本有效性审核的滞后性,提高了待发布文本有效性审核的实时性和准确性。
实施例二
本实施例在上述实施例一的基础上,对“依据专业词的第一权重和非专业词的第二权重,确定待发布文本与发布主题之间的相关度”进行了进一步优化。在此基础上,还可以进一步增加预先判断文本发布数量的相关步骤。其中,与上述各实施例相同或相应的术语的解释在此不再赘述。参见图2,本实施例提供的信息发布方法包括:
S210、获取待发布文本。
S220、获取文本总数,并确定文本总数是否小于文本数阈值。
其中,文本总数是指收到的发布文本的总数量,其包含各历史发布文本和待发布文本。文本数阈值是指预先设置的文本数量,其是判断是否计算相关度的数量下限值,应当是一个相对较大的值。文本数阈值可以利用某一时间周期内发布的文本数量来确定
各第一权重和各第二权重,无论是经验设定还是计算所得,其准确性都和该发布主题中的发布文本的数量有关,数量越多,其准确度越高。所以,在发布主题的文本总数较少的情况下,第一权重和第二权重的偏差可能较大,便不能再通过专业词和非专业词的权重来计算相关度。基于此,本实施例中在执行利用权重计算相关度的操作前,先获取文本总数。然后,比较文本总数和文本数阈值。如果文本总数等于或大于文本数阈值,那么可利用权重计算相关度,执行S240。如果文本总数小于文本数阈值,那么无需利用权重计算相关度,执行S230。
S230、将缺省权重确定为待发布文本与发布主题之间的相关度。
文本总数较少时,无法较为准确地计算相关度,这种情况下的待发布文本全部交由人工审核。鉴于缺省权重是整个方法的兜底权重,其是最小的权重,也是小于相关度阈值的权重,故将缺省权重确定为待发布文本与发布主题之间的相关度。之后执行S290。
S240、确定待发布文本中与发布主题对应的专业词和非专业词。
S250、依据各历史发布文本中每个词的词频,确定第二设定数量的热点词,并依据各热点词的词频和缺省权重,确定专业词的第一权重。
S260、依据每个非专业词的词频和缺省权重,确定相应非专业词的第二权重。
S270、依据待发布文本的各文本分词的分词数量、第一设定数量和各文本分词,确定第一设定数量的目标词。
其中,第一设定数量是指预先设定的词的数量,其用于从所有文本分词中确定出参与相关度计算的词。第一设定数量可根据业务的精度需求而设定,例如精度需求较高,那么第一设定数量设置为一个相对较大的值。示例性地,依据各历史发布文本,确定文本的平均分词词数,作为第一设定数量。为了提高第一设定数量的准确性,从而进一步提高相关度计算准确定,可以对所有的历史发布文本进行分词、去敏感词和去停用词的处理,确定出每一个历史发布文本的分词数量。然后,计算各分词数量的均值(即平均分词词数),用于表征一个发布文本的平均分词情况。将该平均分词词数确定为第一设定数量。
目标词是指参与后续相关度计算的词,其可以全是专业词,可以全是非专业词,也可以是专业词和非专业词,还可以是专业词、非专业词和替补词。该替补词是指文本分词之外的占位词,其不具有实际意义,只是用于在后续计算相关度时确定缺少的权重。
相关度计算时,如果参与计算的词过多,会增加运算量,降低运算速度,为了兼顾精度与速度,本实施例中设置了第一设定数量来限制参与相关度计算的目标词的数量。具体实施时,先比较各文本分词的数量(即分词数量)和第一设定数量。如果分词数量较多,则需要从各文本分词中筛选出第一设定数量的文本分词作为目标词。如果分词数量较少,则需要在各文本分词的基础上,再增加部分替补词,获得各目标词。
示例性地,S270包括:若分词数量大于第一设定数量,则依据各文本分词的词频,对各文本分词进行词频降序排列,其中,词频为含有词的历史发布文本的文本数量与历史发布文本总数的比值;依据排序结果,从各文本分词中筛选出排序靠前的第一设定数量的目标词。
如果分词数量大于第一设定数量,那么需要从各文本分词中筛选出目标词。考虑到各文本分词中有些词的重要性低,其对相关度计算的贡献很小,故可根据能够反映词的重要性的词频来筛选。具体实施时,利用各历史发布文本来统计确定每个文本分词的词频。然后,按照词频从大到小的顺序,降序排列各文本分词。最后,从所有的文本分词中选取排序靠前的第一设定数量的文本分词作为目标词。这样设置的好处在于,能够根据词频筛选出待发布文本中的相对重要的词来参与后续相关度计算,减少了相对不重要分词的运算过程及其对相关度的影响,从而在进一步提高相关度计算速度的基础上,进一步提高相关度计算的准确性,进而进一步提高待发布文本审核的速度和准确性。
若待发布文本的各文本分词的分词数量等于第一设定数量,则将各文本分词确定为第一设定数量的目标词。如果待发布文本的分词数量等于第一设定数量,那么直接将所有的文本分词作为目标词。
示例性地,S270包括:若分词数量小于第一设定数量,则依据第一设定数量和分词数量的差值,确定差值的替补词,并将各文本分词和替补词确定为第一设定数量的目标词。
如果分词数量小于第一设定数量,说明各文本分词的数量不足。由于参与相关度计算的权重的数量对计算结果会产生影响,为了提高相关度计算的稳定性,本实施例中设置了权重为缺省权重的替补词来占位,以使目标词的数量保持不变。具体实施时,计算第一设定数量和分词数量的差值,然后将各文本分词和该差值的替补词作为目标词。例如,第一设定数量为5,分词数量为3,那么就增加2个替补词,将3个文本分词和2个替补词作为目标词。
S280、依据各目标词的目标权重,确定待发布文本与发布主题之间的相关度。
其中,目标权重是目标词的权重,每个目标词均对应有一个目标权重。目标词为专业词时,目标权重为第一权重;目标词为非专业词时,目标权重为第二权重;目标词为替补词时,目标权重为缺省权重。
综合各目标词的目标权重来计算待发布文本与发布主题之间的相关度。例如,先计算各目标权重的平方和,然后计算该平方和的算术平方根,所得结果便为待发布文本与发布主题之间的相关度。
S290、若相关度大于相关度阈值,则发布待发布文本。
需要说明的是,S250和S260的执行顺序不限定,只要其在S220和S280之间执行即可,且S250和S260之间,也可以先执行S260后执行S250,也可以是并行执行S250和S260。
本实施例的技术方案,通过获取文本总数,并确定文本总数是否小于文本数阈值;若是,则将缺省权重确定为待发布文本与发布主题之间的相关度。实现了在文本总数较少时,直接将缺省权重确定为待发布文本的相关度,进而判定待发布文本为疑似信息并交由人工审核,避免了文本总数较少而导致利用专业词计算相关度的偏差大的情况下仍然执行相应操作,既能节省操作流程,进一步提高待发布文本有效性审核的速度,又能合理控制待发布文本的审核流程,进一步提高待发布文本有效性审核的准确性。通过依据待发布文本的各文本分词的分词数量、第一设定数量和各文本分词,确定第一设定数量的目标词;依据各目标词的目标权重,确定待发布文本与发布主题之间的相关度。实现了利用第一设定数量来限制参与相关度计算的目标词的数量,在提高相关度确定精度的同时进一步提高相关度确定的速度,从而进一步平衡待发布文本审核的速度和准确性。
实施例三
本实施例提供一种信息发布装置,参见图3,该装置具体包括:
词确定模块310,用于获取待发布文本,并确定待发布文本中与发布主题对应的专业词和非专业词;
主题相关度确定模块320,用于依据专业词的第一权重和非专业词的第二权重,确定待发布文本与发布主题之间的相关度,其中,第一权重大于第二权重;
文本发布模块330,用于依据相关度确定是否发布待发布文本。
可选地,主题相关度确定模块320包括:
目标词确定子模块,用于依据待发布文本的各文本分词的分词数量、第一设定数量和各文本分词,确定第一设定数量的目标词,其中,文本分词为专业词或非专业词;
相关度确定子模块,用于依据各目标词的目标权重,确定待发布文本与发布主题之间的相关度,其中,目标词为专业词时,目标权重为第一权重;目标词为非专业词时,目标权重为第二权重;目标词为替补词时,目标权重为缺省权重。
可选地,目标词确定子模块具体用于:
若分词数量大于第一设定数量,则依据各文本分词的词频,对各文本分词进行词频降序排列,其中,词频为含有词的历史发布文本的文本数量与历史发布文本总数的比值;
依据排序结果,从各文本分词中筛选出排序靠前的第一设定数量的目标词。
可选地,目标词确定子模块具体用于:
若待发布文本的各文本分词的分词数量等于第一设定数量,则将各文本分词确定为第一设定数量的目标词。
可选地,目标词确定子模块具体用于:
若分词数量小于第一设定数量,则依据第一设定数量和分词数量的差值,确定差值的替补词,并将各文本分词和替补词确定为目标词。
可选地,主题相关度确定模块320还包括设定数量确定子模块,用于:
在依据待发布文本的各文本分词的分词数量、第一设定数量和各文本分词,确定第一设定数量的目标词之前,依据各历史发布文本,确定文本的平均分词词数,作为第一设定数量。
可选地,在上述装置的基础上,该装置还包括第一权重确定模块,用于:
在依据每个专业词的第一权重和每个非专业词的第二权重,确定待发布文本与发布主题之间的相关度之前,依据各历史发布文本中每个词的词频,确定第二设定数量的热点词;
依据各热点词的词频和缺省权重,确定第一权重。
可选地,在上述装置的基础上,该装置还包括第二权重确定模块,用于:
在依据每个专业词的第一权重和每个非专业词的第二权重,确定待发布文本与发布主题之间的相关度之前,依据每个非专业词的词频和缺省权重,确定相应非专业词的第二权重。
可选地,在上述装置的基础上,该装置还包括文本数量比较模块,用于:
在获取待发布文本之后,获取文本总数,并确定文本总数是否小于文本数阈值;
若是,则将缺省权重确定为待发布文本与发布主题之间的相关度;
若否,则执行确定待发布文本中与发布主题对应的专业词和非专业词的步骤。
可选地,文本发布模块330具体用于:
若相关度大于相关度阈值,则发布待发布文本。
通过本发明实施例三的一种信息发布装置,实现了在信息发布之前,利用待发布文本中的用词是否是发布主题相关的专业词,来自动确定待发布文本与发布主题之间的相关度,进而确定该待发布文本是否为可发布的有效发布信息,减少了人工审核过程,降低了待发布文本有效性审核的滞后性,提高了待发布文本有效性审核的实时性和准确性。
本发明实施例所提供的信息发布装置可执行本发明任意实施例所提供的信息发布方法,具备执行方法相应的功能模块和有益效果。
值得注意的是,上述信息发布装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
实施例四
参见图4,本实施例提供了一种电子设备400,其包括:一个或多个处理器420;存储装置410,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器420执行,使得一个或多个处理器420实现本发明实施例所提供的信息发布方法,包括:
获取待发布文本,并确定待发布文本中与发布主题对应的专业词和非专业词;
依据专业词的第一权重和非专业词的第二权重,确定待发布文本与发布主题之间的相关度,其中,第一权重大于第二权重;
依据相关度确定是否发布待发布文本。
当然,本领域技术人员可以理解,处理器420还可以实现本发明任意实施例所提供的信息发布方法的技术方案。
图4显示的电子设备400仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,电子设备400以通用计算设备的形式表现。电子设备400的组件可以包括但不限于:一个或者多个处理器420,存储装置410,连接不同***组件(包括存储装置410和处理器420)的总线450。
总线450表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,***总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
电子设备400典型地包括多种计算机***可读介质。这些介质可以是任何能够被电子设备400访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储装置410可以包括易失性存储器形式的计算机***可读介质,例如随机存取存储器(RAM)411和/或高速缓存存储器412。电子设备400可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例,存储***413可以用于读写不可移动的、非易失性磁介质(图4未显示,通常称为“硬盘驱动器”)。尽管图4中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线450相连。存储装置410可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块415的程序/实用工具414,可以存储在例如存储装置410中,这样的程序模块415包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块415通常执行本发明所描述的任意实施例中的功能和/或方法。
电子设备400也可以与一个或多个外部设备460(例如键盘、指向设备、显示器470等)通信,还可与一个或者多个使得用户能与该电子设备400交互的设备通信,和/或与使得该电子设备400能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出接口(I/O接口)430进行。并且,电子设备400还可以通过网络适配器440与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图4所示,网络适配器440通过总线450与电子设备400的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备400使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理器420通过运行存储在存储装置410中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的信息发布方法。
实施例五
本实施例提供一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行一种信息发布方法,该方法包括:
获取待发布文本,并确定待发布文本中与发布主题对应的专业词和非专业词;
依据专业词的第一权重和非专业词的第二权重,确定待发布文本与发布主题之间的相关度,其中,第一权重大于第二权重;
依据相关度确定是否发布待发布文本。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上的方法操作,还可以执行本发明任意实施例所提供的信息发布方法中的相关操作。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (12)
1.一种信息发布方法,其特征在于,包括:
获取待发布文本,并确定所述待发布文本中与发布主题对应的专业词和非专业词;
依据所述专业词的第一权重和所述非专业词的第二权重,确定所述待发布文本与所述发布主题之间的相关度,其中,所述第一权重大于所述第二权重;
依据所述相关度确定是否发布所述待发布文本。
2.根据权利要求1所述的方法,其特征在于,依据所述专业词的第一权重和所述非专业词的第二权重,确定所述待发布文本与所述发布主题之间的相关度包括:
依据所述待发布文本的各文本分词的分词数量、第一设定数量和各所述文本分词,确定所述第一设定数量的目标词,其中,所述文本分词为所述专业词或所述非专业词;
依据各所述目标词的目标权重,确定所述待发布文本与所述发布主题之间的相关度,其中,所述目标词为所述专业词时,所述目标权重为所述第一权重;所述目标词为所述非专业词时,所述目标权重为所述第二权重;所述目标词为替补词时,所述目标权重为缺省权重。
3.根据权利要求2所述的方法,其特征在于,依据所述待发布文本的各文本分词的分词数量、第一设定数量和各所述文本分词,确定所述第一设定数量的目标词包括:
若所述分词数量大于所述第一设定数量,则依据各所述文本分词的词频,对各所述文本分词进行词频降序排列,其中,词频为含有词的历史发布文本的文本数量与历史发布文本总数的比值;
依据排序结果,从各所述文本分词中筛选出排序靠前的所述第一设定数量的目标词。
4.根据权利要求2所述的方法,其特征在于,依据所述待发布文本的各文本分词的分词数量、第一设定数量和各所述文本分词,确定所述第一设定数量的目标词包括:
若所述分词数量小于所述第一设定数量,则依据所述第一设定数量和所述分词数量的差值,确定所述差值的替补词,并将各所述文本分词和所述替补词确定为所述目标词。
5.根据权利要求2所述的方法,其特征在于,在依据所述待发布文本的各文本分词的分词数量、第一设定数量和各所述文本分词,确定所述第一设定数量的目标词之前,还包括:
依据各历史发布文本,确定文本的平均分词词数,作为所述第一设定数量。
6.根据权利要求1所述的方法,其特征在于,在依据每个所述专业词的第一权重和每个所述非专业词的第二权重,确定所述待发布文本与所述发布主题之间的相关度之前,还包括:
依据各历史发布文本中每个词的词频,确定第二设定数量的热点词;
依据各所述热点词的词频和缺省权重,确定所述第一权重。
7.根据权利要求1所述的方法,其特征在于,在依据每个所述专业词的第一权重和每个所述非专业词的第二权重,确定所述待发布文本与所述发布主题之间的相关度之前,还包括:
依据每个所述非专业词的词频和缺省权重,确定相应非专业词的第二权重。
8.根据权利要求1所述的方法,其特征在于,在获取待发布文本之后,还包括:
获取文本总数,并确定所述文本总数是否小于文本数阈值;
若是,则将缺省权重确定为所述待发布文本与所述发布主题之间的相关度;
若否,则执行所述确定所述待发布文本中与发布主题对应的专业词和非专业词的步骤。
9.根据权利要求1所述的方法,其特征在于,依据所述相关度确定是否发布所述待发布文本包括:
若所述相关度大于相关度阈值,则发布所述待发布文本。
10.一种信息发布装置,其特征在于,包括:
词确定模块,用于获取待发布文本,并确定所述待发布文本中与发布主题对应的专业词和非专业词;
主题相关度确定模块,用于依据所述专业词的第一权重和所述非专业词的第二权重,确定所述待发布文本与所述发布主题之间的相关度,其中,所述第一权重大于所述第二权重;
文本发布模块,用于依据所述相关度确定是否发布所述待发布文本。
11.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-9中任一所述的信息发布方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-9中任一所述的信息发布方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010598743.9A CN113761110A (zh) | 2020-06-28 | 2020-06-28 | 信息发布方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010598743.9A CN113761110A (zh) | 2020-06-28 | 2020-06-28 | 信息发布方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113761110A true CN113761110A (zh) | 2021-12-07 |
Family
ID=78785435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010598743.9A Pending CN113761110A (zh) | 2020-06-28 | 2020-06-28 | 信息发布方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113761110A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102254038A (zh) * | 2011-08-11 | 2011-11-23 | 武汉安问科技发展有限责任公司 | 一种分析网络评论相关度的***及其分析方法 |
CN104077327A (zh) * | 2013-03-29 | 2014-10-01 | 阿里巴巴集团控股有限公司 | 核心词重要性识别方法和设备及搜索结果排序方法和设备 |
CN104281606A (zh) * | 2013-07-08 | 2015-01-14 | 腾讯科技(北京)有限公司 | 一种展示微博评论的方法和装置 |
US9519871B1 (en) * | 2015-12-21 | 2016-12-13 | International Business Machines Corporation | Contextual text adaptation |
CN108256098A (zh) * | 2018-01-30 | 2018-07-06 | ***股份有限公司 | 一种确定用户评论情感倾向的方法及装置 |
CN109862062A (zh) * | 2018-10-24 | 2019-06-07 | 平安科技(深圳)有限公司 | 内容上传管理方法以及装置、电子设备及存储介质 |
CN110674415A (zh) * | 2019-09-20 | 2020-01-10 | 北京浪潮数据技术有限公司 | 一种信息显示方法、装置及服务器 |
CN110826323A (zh) * | 2019-10-24 | 2020-02-21 | 新华三信息安全技术有限公司 | 评论信息有效性检测方法及装置 |
-
2020
- 2020-06-28 CN CN202010598743.9A patent/CN113761110A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102254038A (zh) * | 2011-08-11 | 2011-11-23 | 武汉安问科技发展有限责任公司 | 一种分析网络评论相关度的***及其分析方法 |
CN104077327A (zh) * | 2013-03-29 | 2014-10-01 | 阿里巴巴集团控股有限公司 | 核心词重要性识别方法和设备及搜索结果排序方法和设备 |
CN104281606A (zh) * | 2013-07-08 | 2015-01-14 | 腾讯科技(北京)有限公司 | 一种展示微博评论的方法和装置 |
US9519871B1 (en) * | 2015-12-21 | 2016-12-13 | International Business Machines Corporation | Contextual text adaptation |
CN108256098A (zh) * | 2018-01-30 | 2018-07-06 | ***股份有限公司 | 一种确定用户评论情感倾向的方法及装置 |
CN109862062A (zh) * | 2018-10-24 | 2019-06-07 | 平安科技(深圳)有限公司 | 内容上传管理方法以及装置、电子设备及存储介质 |
CN110674415A (zh) * | 2019-09-20 | 2020-01-10 | 北京浪潮数据技术有限公司 | 一种信息显示方法、装置及服务器 |
CN110826323A (zh) * | 2019-10-24 | 2020-02-21 | 新华三信息安全技术有限公司 | 评论信息有效性检测方法及装置 |
Non-Patent Citations (1)
Title |
---|
邵晓良, 刘红: "Web主题信息采集中信息主题的识别", 现代图书情报技术, no. 10, 25 October 2004 (2004-10-25) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107908740B (zh) | 信息输出方法和装置 | |
US8990149B2 (en) | Generating a predictive model from multiple data sources | |
US9064212B2 (en) | Automatic event categorization for event ticket network systems | |
US11775504B2 (en) | Computer estimations based on statistical tree structures | |
US11037238B1 (en) | Machine learning tax based credit score prediction | |
CN113688310B (zh) | 一种内容推荐方法、装置、设备及存储介质 | |
CN110276009B (zh) | 一种联想词的推荐方法、装置、电子设备及存储介质 | |
CN111400600A (zh) | 一种消息推送方法、装置、设备和存储介质 | |
US11238027B2 (en) | Dynamic document reliability formulation | |
CN113177700B (zh) | 一种风险评估方法、***、电子设备及存储介质 | |
CN110245684B (zh) | 数据处理方法、电子设备和介质 | |
CN112966181A (zh) | 服务推荐方法、装置、电子设备及存储介质 | |
US9965812B2 (en) | Generating a supplemental description of an entity | |
CN108550019B (zh) | 一种简历筛选方法及装置 | |
CN107729944B (zh) | 一种低俗图片的识别方法、装置、服务器及存储介质 | |
US11803796B2 (en) | System, method, electronic device, and storage medium for identifying risk event based on social information | |
US10671932B1 (en) | Software application selection models integration | |
CN112965943A (zh) | 一种数据处理方法、装置、电子设备以及存储介质 | |
US11222143B2 (en) | Certified information verification services | |
CN113761110A (zh) | 信息发布方法、装置、设备和存储介质 | |
US10896461B2 (en) | Method and apparatus for data mining based on users' search behavior | |
CN114925050A (zh) | 基于知识库的数据核查方法、装置、电子设备及存储介质 | |
CN112947844A (zh) | 一种数据存储方法、装置、电子设备及介质 | |
CN110941714A (zh) | 分类规则库构建方法、应用分类方法及装置 | |
CN117131197B (zh) | 一种招标书的需求类别处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |