发明内容
本发明的目的在于提供一种专业英语词库的建构方法。
相应地,本发明的目的还在于提供一种专业英语词库的建构***。
为实现上述发明目的之一,本发明采用的技术方案如下:一种专业英语词库的建构方法,其包括如下步骤:
S1、抓取电子行业网站上的网页信息;
S2、提取所述网页信息中的文本信息;
S3、对所述文本信息进行分词,以获取若干词条;
S4、判断所述词条是否为本行业的专业词条,若是,将该词条存储于专业英语词库中;若否,对该词条进行剔除。
作为本发明的进一步改进,在所述S3步骤后,还包括:查询专业英语词库,判断所述专业英语词库中是否已存在该词条,若是,剔除该词条;若否,保存该词条。
作为本发明的进一步改进,在所述S3步骤后,还包括:统计所述词条在所述网站上的使用频率,并根据所述使用频率对所述词条进行排序。
作为本发明的进一步改进,在所述S4步骤后,还包括:根据所述使用频率,对存储于所述专业英语词库中的词条进行排序标记。
相应地,本发明提供的一种专业英语词库的建构***,包括:
网页抓取单元、用于抓取电子行业网站上的网页信息;
文本提取单元、用于提取所述网页信息中的文本信息;
分词单元、用于对所述文本信息进行分词,以获取若干词条;
筛选单元、用于判断所述词条是否为本行业的专业词条,若是,将该词条存储于专业英语词库中;若否,对该词条进行剔除。
作为本发明的进一步改进,该***还用于:查询专业英语词库,判断所述专业英语词库中是否已存在该词条,若是,剔除该词条;若否,保存该词条。
作为本发明的进一步改进,该***还用于:统计所述词条在所述网站上的使用频率,并根据所述使用频率对所述词条进行排序。
作为本发明的进一步改进,该***还用于:根据所述使用频率,对存储于所述专业英语词库中的词条进行排序标记。
与现有技术相比,本发明通过在本行业内各大网站上抓取网页信息,并通过分词获取大批专业英语词汇,从而提高所建立的专业英语词库的完整度,且减小了人工编译所带来的成本。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明,本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
参图1所示,在本实施方式中,所述专业英语词库的建构方法具体包括如下步骤:
S1、抓取电子行业网站上的网页信息;优选地,电子行业网站主要包括德州仪器等国外各大电子厂商官方网站。本发明中,网页信息抓取器通过特定的优先策略从上述网站上进行特定区域的网页信息抓取动作,其中,优先策略包括链接欢迎度、或者链接重要度、或者平均链接的深度等。
S2、提取所述网页信息中的文本信息;于本发明中,所述网页信息中可能包括图片、链接、文字等信息,从抓取到的网页信息中解析出我们需要的字段信息,并按照指定的格式进行信息的存放和加工处理。
S3、对所述文本信息进行分词,以获取若干词条;因为是全英文网站,所以提取的文本信息中包括多个英文词汇,这其中包括电子类专业词条、非专业词条(其他行业的专业词条)以及一些通用的词条。所以,本实施方式中,需要将所以提取到的文本信息分词为多个词条。
S4、判断所述词条是否为本行业的专业词条,若是,将该词条存储于专业英语词库中;若否,对该词条进行剔除。优选地,通过滤除词条中非专业词条、和通用词条,以实现专业词条的获取。
参图2所示,在本发明优选地实施方式中,在所述S3步骤后,还包括:
S5、统计所述词条在所述网站上的使用频率,并根据所述使用频率对所述词条进行排序。将文本信息分词后,统计出所有搜集到的词条,因一段文字中可能多次出现某词条,于是,本发明通过统计出各词条在所有提取的文体中出现过的总次数,并按照这样的出现次数的高度进行排序 ,从而在判断词条是否为专业词条时更加方便。众所周知,一般地,此类专业电子网站上出现频度最高的是通用词条(is、all、the等),而电子行业的专业词条往往是出现频度次于上述通用词条的,出现频度再低一些的词条可能就是其他行业的词条。
优选地,在所述S3步骤后,还包括:
S6、查询专业英语词库,判断所述专业英语词库中是否已存在该词条,若是,剔除该词条(步骤S42);若否,保存该词条。该步骤首先确保库中不存在重复收集的词条,也进一步提高英文信息库的建立效率。
优选地,本实施方式中,在所述S4步骤后,还包括:
S7、根据所述使用频率,对存储于所述专业英语词库中的词条进行排序标记。此处进行词条排序,将电子行业的最常用的词条排最前面,也方便专业人员学习和查询。
参图3所示,其表示出了在某英文网站上抓取网页信息的截图,其中实线框所表示出即为被抓取的网页信息,通过对这些特定区域的信息抓取,并对这些抓取的网页信息进行特定的文本信息提取,从而实现本发明的技术方案。本发明通过在本行业内各大网站上抓取网页信息,并通过分词获取大批专业英语词汇,从而提高所建立的专业英语词库的完整度,且减小了人工编译所带来的成本。
接下来,请参图4所示,在本实施方式中,所述专业英语词库的建构***具体包括:
网页抓取单元101、用于抓取电子行业网站上的网页信息;优选地,电子行业网站主要包括德州仪器等国外各大电子厂商官方网站。本发明中,网页信息抓取器通过特定的优先策略从上述网站上进行特定区域的网页信息抓取动作,其中,优先策略包括链接欢迎度、或者链接重要度、或者平均链接的深度等。
文本提取单元102、用于提取所述网页信息中的文本信息;于本发明中,所述网页信息中可能包括图片、链接、文字等信息,从抓取到的网页信息中解析出我们需要的字段信息,并按照指定的格式进行信息的存放和加工处理。
分词单元103、用于对所述文本信息进行分词,以获取若干词条;因为是全英文网站,所以提取的文本信息中包括多个英文词汇,这其中包括电子类专业词条、非专业词条(其他行业的专业词条)以及一些通用的词条。所以,本实施方式中,需要将所以提取到的文本信息分词为多个词条。
筛选单元104、用于判断所述词条是否为本行业的专业词条,若是,将该词条存储于专业英语词库中;若否,对该词条进行剔除。优选地,通过滤除词条中非专业词条、和通用词条,以实现专业词条的获取。
在本发明优选地实施方式中,该***还用于:
统计所述词条在所述网站上的使用频率,并根据所述使用频率对所述词条进行排序。将文本信息分词后,统计出所有搜集到的词条,因一段文字中可能多次出现某词条,于是,本发明通过统计出各词条在所有提取的文体中出现过的总次数,并按照这样的出现次数的高度进行排序 ,从而在判断词条是否为专业词条时更加方便。众所周知,一般地,此类专业电子网站上出现频度最高的是通用词条(is、all、the等),而电子行业的专业词条往往是出现频度次于上述通用词条的,出现频度再低一些的词条可能就是其他行业的词条。
优选地,该***还用于:
查询专业英语词库,判断所述专业英语词库中是否已存在该词条,若是,剔除该词条;若否,保存该词条。该单元首先确保库中不存在重复收集的词条,也进一步提高英文信息库的建立效率。
优选地,本实施方式中,上述***还用于:
根据所述使用频率,对存储于所述专业英语词库中的词条进行排序标记。此处进行词条排序,将电子行业的最常用的词条排最前面,也方便专业人员学习和查询。
综上所述,本发明通过对这些特定区域的信息抓取,并对这些抓取的网页信息进行特定的文本信息提取,再通过分词获取大批专业英语词汇,并且在之后网络信息和电子行业网站的更新换代,也可以通过不断提取网络上所出现的电子行业内的新生词条,并将获取到词条保存进专业英语数据库中,从而不断地提高所建立的专业英语词库的完整度,且本发明也大大减小了人工编译所带来的成本,具有显著的进步性。
应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施方式中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,它们并非用以限制本发明的保护范围,凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。