CN105160472A - 一种企业软件著作权公告信息抓取与管理*** - Google Patents
一种企业软件著作权公告信息抓取与管理*** Download PDFInfo
- Publication number
- CN105160472A CN105160472A CN201510539930.9A CN201510539930A CN105160472A CN 105160472 A CN105160472 A CN 105160472A CN 201510539930 A CN201510539930 A CN 201510539930A CN 105160472 A CN105160472 A CN 105160472A
- Authority
- CN
- China
- Prior art keywords
- information
- information code
- enterprise
- software copyright
- code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种企业软件著作权公告信息抓取与管理***。本发明公开了一种基于软件著作权的公众公开的登记或变更公告数据的页面级别的通过getHTTPPage方法的抓取,再结合标记分析方法获得第一信息码、第二信息码和第三信息码,再通过上述信息码之间的对比,在相应程序下生成第四信息码,然后依对应的方法写入第一知识产权信息库和第二知识产权信息库,以备不同的场合使用的一种企业知识产权信息抓取与管理的方法。
Description
技术领域
本发明主要涉及一种企业软件著作权信息抓取与管理***,尤其是通过软件著作权公布网站的页面信息抓取、分析、整理和建档的***。
背景技术
目前,软件著作权的信息获取大多基于通过相关部门所公开的数据接口来实现软件著作权信息的同步,或者通过复杂的运算与抓取而获得信息量较少的信息。此方法对于经常性的、大数据的企业软件著作权的信息获取显得难以胜任,并且应用成本高,风险大,不利于中小中介服务机构推广应用。
软件著作权的信息,尤其是建立企业研发信用体系,更显得非常重要,同时也是中介服务机构提高自身服务质量的有力支持。
发明内容
为了解决上述问题,本发明提出了一种基于软件著作权的公众公开的登记或变更公告数据的页面级别的通过getHTTPPage方法的抓取技术,再结合标记分析方法获得第一信息码、第二信息码和第三信息码,再通过上述信息码之间的对比,在相应程序下生成第四信息码,然后依对应的方法写入第一软件著作权信息库和第二软件著作权信息库,以备不同的场合使用的一种企业软件著作权公告信息抓取与管理的***。
一种企业软件著作权公告信息抓取与管理***,其主要包含以下结构:
企业信息库、编码管理程序、软件著作权公布数据采集管理模块、信息码管理模块、第一比对信息库、第二比对信息库、企业软件著作权公告信息库和接口管理模块;其中信息码管理模块由第一信息码、第二信息码、第三信息码和第四信息码组成;企业信息库包含企业信息数据和SQL语句管理模块,其通过SQL语句条件检索后返回值给编码管理程序确定编码方式,然后输出对应编码方式编码后的企业名称,同时发送到软件著作权公布数据采集管理模块生成相应的以上述编码后的企业名称为变量的URL,信息码管理模块通过getHTTPPage方式访问生成的URL,并将获得的页面HTML静态化,同时执行信息码管理模块中的标记识别截取页面信息以对应生成第一信息码、第二信息码、第三信息码和第四信息码;当第一信息码为空时,***将返回重新执行企业信息库的SQL语句操作,并检查网络、数据可靠性以及各模块运作是否正常;当第一信息码不为空,第二信息码为空时,将第三信息码和第四信息码设置为“0”,然后写入第一比对信息库,同时写入企业软件著作权公告信息库;当第二信息码不为空,通过信息码管理模块标记识别截取页面信息,去杂后生成第三信息码,当第三信息码也为空时,设置第四信息码为“1”,当第三信息码不为空时,设置第四信息码的值与第三信息码的值相同,与辅助信息一并写入第二比对信息库,同时写入企业软件著作权公告信息库;企业软件著作权公告信息库通过SQL语句与存贮过程共同组成接口,通过接口管理模块供第三方***调用。
所述的企业信息库所包含的SQL语句管理模块,包括企业类型、企业成立时间、企业注册资金、企业注册地址和企业是否是高新技术企业分别或者组合作为条件检索筛选时所需要的SQL语句或SQL语句集合。
企业信息库还可以包含采集比对记录字段集,将比对的结果、比对次数和比对时间进行记录。
所述的辅助数据包括企业名、当前的***时间、操作人员的session值或值的组合和数据对比的次数的信息的一种或多种的集合。
每个企业信息库还可以设置一定数量的采样数据进行采样,采样数据包括企业拥有软件著作权公告的一定量的企业,以及没有任何软件著作权的一定量的企业,采样走完整个流程,查看相关采集是否正常,确定网络是否正常,官方公布数据格式是否发生变化和确定所设置的数据编码方式是否正确,采样数据通过独立的字段值进行标识,或者通过单独的表进行存放,在进行比对时,通过SQL语句检索获得相应的数据。
当第二信息码不为空时,信息码管理模块还可以设置第四信息码的值为“1”而不采集生成第三信息码。
所述软件著作权公布数据采集管理模块包含手动设置URL、编码方式和采集规则的程序,当官方机构公布的URL、发布的编码方式、发布的数据结构发生变更时,软件著作权公布数据采集管理模块的手动设置程序对所发生的变化进行容错更正。
附图说明
图1一种企业软件著作权公告信息抓取与管理***结构图。
具体实施方式
如图1,一种企业软件著作权公告信息抓取与管理***,其主要包含以下结构:
企业信息库(A01)、编码管理程序(A02)、软件著作权公布数据采集管理模块(A03)、信息码管理模块(A04)、第一比对信息库(A05)、第二比对信息库(A06)、企业软件著作权公告信息库(A07)和接口管理模块(A08);其中信息码管理模块(A04)由第一信息码(B11)、第二信息码(B12)、第三信息码(B13)和第四信息码(B14)组成;企业信息库(A01)包含企业信息数据和SQL语句管理模块,其通过SQL语句条件检索后返回值给编码管理程序(A02)确定编码方式,然后输出对应编码方式编码后的企业名称,同时发送到软件著作权公布数据采集管理模块(A03)生成相应的以上述编码后的企业名称为变量的URL,信息码管理模块(A04)通过getHTTPPage方式访问生成的URL,并将获得的页面HTML静态化,同时执行信息码管理模块(A04)中的标记识别截取页面信息以对应生成第一信息码(B11)、第二信息码(B12)、第三信息码(B13)和第四信息码(B14);当第一信息码(B11)为空时,***将返回重新执行企业信息库(A01)的SQL语句操作,并检查网络、数据可靠性以及各模块运作是否正常;当第一信息码(B11)不为空,第二信息码(B12)为空时,将第三信息码(B13)和第四信息码(B14)设置为“0”,然后写入第一比对信息库(A05),同时写入企业软件著作权公告信息库(A07);当第二信息码(B12)不为空,通过信息码管理模块(A04)标记识别截取页面信息,去杂后生成第三信息码(B13),当第三信息码(B13)也为空时,设置第四信息码(B14)为“1”,当第三信息码(B13)不为空时,设置第四信息码(B14)的值与第三信息码(B13)的值相同,与辅助信息一并写入第二比对信息库(A06),同时写入企业软件著作权公告信息库(A07);企业软件著作权公告信息库(A07)通过SQL语句与存贮过程共同组成接口,通过接口管理模块(A08)供第三方***调用。
所述的企业信息库(A01)所包含的SQL语句管理模块,包括企业类型、企业成立时间、企业注册资金、企业注册地址和企业是否是高新技术企业分别或者组合作为条件检索筛选时所需要的SQL语句或SQL语句集合。
企业信息库(A01)还可以包含采集比对记录字段集,将比对的结果、比对次数和比对时间进行记录。
所述的辅助数据包括企业名、当前的***时间、操作人员的session值或值的组合和数据对比的次数的信息的一种或多种的集合。
每个企业信息库(A01)还可以设置一定数量的采样数据进行采样,采样数据包括企业拥有软件著作权公告的一定量的企业,以及没有任何软件著作权的一定量的企业,采样走完整个流程,查看相关采集是否正常,确定网络是否正常,官方公布数据格式是否发生变化和确定所设置的数据编码方式是否正确,采样数据通过独立的字段值进行标识,或者通过单独的表进行存放,在进行比对时,通过SQL语句检索获得相应的数据。
当第二信息码(B12)不为空时,信息码管理模块(A04)还可以设置第四信息码(B14)的值为“1”而不采集生成第三信息码(B13)。
所述软件著作权公布数据采集管理模块(A03)包含手动设置URL、编码方式和采集规则的程序,当官方机构公布的URL、发布的编码方式、发布的数据结构发生变更时,软件著作权公布数据采集管理模块(A03)的手动设置程序对所发生的变化进行容错更正。
一种企业软件著作权公告信息抓取与管理的方法,其主要包含以下步骤:
步骤S101,进行企业信息查询中,进行企业类型等条件检索筛选出所需要检索的数据。
步骤S102,在企业信息库中读出企业名称的待查数据,设变量为“aa”。
步骤S103,根据三种类别将步骤S102所读出的企业名称通过函数转为下列所列的对应数据编码,设变量为“bb”:软件著作权公告信息对应编码方式为GB2312。
其中读取URL的页面需要在文件头加入以下代码段:
<head>
<metahttp-equiv="Content-Type"content="text/html;charset=gb2312">
</head>
步骤S104,以上述“bb”变量作为对应的URL的对应参数值生成第一URL,使用ASP开发语言表达如下:“bb”变量假设为cname,设软件著作权公告公布网站的域名为www.abcda.com:
http://www.abcda.com/cpcc/RRegisterAction.do?method=list&no=fck&sql_name=&sql_regnum=&sql_author=<%=cname%>&curPage=1&count=10&sortOrder=&sortLabel=。
步骤S105,通过getHTTPPage方式访问步骤S104生成的第一URL,获得第一URL对应的页面的HTML格式的数据源码供步骤S106进行标记截取。
步骤S106,通过S105获得的HTML格式的数据源码,通过以“<title>”标记开始和“</title>”标记结束生成第一信息码;通过如下标记生成第二信息码:开始标记为“登记日期”,结束标记为“>2”;通过如下标记获取第三信息码:开始标记为“中国”,结束标记为“<tdclass=”。
当第一信息码的值为空时,返回S102步骤,同时检查网络是否正常;当第二信息码为空时,跳过步骤S107和步骤S108,并设置第四信息码的值为“0”;当第二信息码不为空时,执行步骤S107。
步骤S107,生成第四信息码:当第二信息码不为空,并且第三信息码为空时,第四信息码通过开始标记为“[总数”,结束标记为“]”获取生成,第二信息码不为空并且第三信息码不为空时,第四信息码的值为“1”;第二信息码不为空时,第四信息码通过第二信息码去杂质后剩下数字。
步骤S108,当第二信息码不为空时,将第一信息码、第二信息码和第四信息码的信息,以及相应的辅助数据对应存贮在拥有软件著作权的企业信息库中,辅助数据包括通过步骤S102所读出的企业名称传递而获得企业名称,通过步骤S106和步骤S107追加获取当前的***时间。
将所有数据执行步骤S109存入软件著作权的企业信息总表,同时返回步骤S101将已经成功检索的记录的进行已执行的标记然后,返回步骤S102循环执行,直至所有符合条件的企业数据检索完成为止。
在执行步骤S102前,通过设置一定数量的采样数据进行采样,采样数据包括企业拥有三种软件著作权类别的一种、两种、三种及上述组合的一定量的企业,以及没有任何软件著作权的一定量的企业,采样走完整个流程,查看相关采集是否正常,此步骤确定网络是否正常,官方公布数据格式是否发生变化和确定所设置的数据编码方式是否正确。
上述实施方式仅仅为本发明的其中实施方式之一。
Claims (7)
1.一种企业软件著作权公告信息抓取与管理***,其特征包括,其主要包含以下结构:
企业信息库、编码管理程序、软件著作权公布数据采集管理模块、信息码管理模块、第一比对信息库、第二比对信息库、企业软件著作权公告信息库和接口管理模块;其中信息码管理模块由第一信息码、第二信息码、第三信息码和第四信息码组成;企业信息库包含企业信息数据和SQL语句管理模块,其通过SQL语句条件检索后返回值给编码管理程序确定编码方式,然后输出对应编码方式编码后的企业名称,同时发送到软件著作权公布数据采集管理模块生成相应的以上述编码后的企业名称为变量的URL,信息码管理模块通过getHTTPPage方式访问生成的URL,并将获得的页面HTML静态化,同时执行信息码管理模块中的标记识别截取页面信息以对应生成第一信息码、第二信息码、第三信息码和第四信息码;当第一信息码为空时,***将返回重新执行企业信息库的SQL语句操作,并检查网络、数据可靠性以及各模块运作是否正常;当第一信息码不为空,第二信息码为空时,将第三信息码和第四信息码设置为“0”,然后写入第一比对信息库,同时写入企业软件著作权公告信息库;当第二信息码不为空,通过信息码管理模块标记识别截取页面信息,去杂后生成第三信息码,当第三信息码也为空时,设置第四信息码为“1”,当第三信息码不为空时,设置第四信息码的值与第三信息码的值相同,与辅助信息一并写入第二比对信息库,同时写入企业软件著作权公告信息库;企业软件著作权公告信息库通过SQL语句与存贮过程共同组成接口,通过接口管理模块供第三方***调用。
2.根据权利要求1所述的一种企业软件著作权公告信息抓取与管理***,其特征包括,所述的企业信息库所包含的SQL语句管理模块,包括企业类型、企业成立时间、企业注册资金、企业注册地址和企业是否是高新技术企业分别或者组合作为条件检索筛选时所需要的SQL语句或SQL语句集合。
3.根据权利要求1和权利要求2所述的一种企业软件著作权公告信息抓取与管理***,其特征包括,企业信息库还可以包含采集比对记录字段集,将比对的结果、比对次数和比对时间进行记录。
4.根据权利要求1所述的一种企业软件著作权公告信息抓取与管理***,其特征包括,所述的辅助数据包括企业名、当前的***时间、操作人员的session值或值的组合和数据对比的次数的信息的一种或多种的集合。
5.根据权利要求1和权利要求2所述的一种企业软件著作权公告信息抓取与管理***,其特征包括,每个企业信息库还可以设置一定数量的采样数据进行采样,采样数据包括企业拥有软件著作权公告的一定量的企业,以及没有任何软件著作权的一定量的企业,采样走完整个流程,查看相关采集是否正常,确定网络是否正常,官方公布数据格式是否发生变化和确定所设置的数据编码方式是否正确,采样数据通过独立的字段值进行标识,或者通过单独的表进行存放,在进行比对时,通过SQL语句检索获得相应的数据。
6.根据权利要求1所述的一种企业软件著作权公告信息抓取与管理***,其特征包括,当第二信息码不为空时,信息码管理模块还可以设置第四信息码的值为“1”而不采集生成第三信息码。
7.根据权利要求1所述的一种企业软件著作权公告信息抓取与管理***,其特征包括,所述软件著作权公布数据采集管理模块包含手动设置URL、编码方式和采集规则的程序,当官方机构公布的URL、发布的编码方式、发布的数据结构发生变更时,软件著作权公布数据采集管理模块的手动设置程序对所发生的变化进行容错更正。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510539930.9A CN105160472A (zh) | 2015-08-31 | 2015-08-31 | 一种企业软件著作权公告信息抓取与管理*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510539930.9A CN105160472A (zh) | 2015-08-31 | 2015-08-31 | 一种企业软件著作权公告信息抓取与管理*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105160472A true CN105160472A (zh) | 2015-12-16 |
Family
ID=54801323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510539930.9A Pending CN105160472A (zh) | 2015-08-31 | 2015-08-31 | 一种企业软件著作权公告信息抓取与管理*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105160472A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108563740A (zh) * | 2018-04-12 | 2018-09-21 | 苏州市铜钱草科技有限公司 | 一种企业软件著作权公告信息抓取方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117303A (zh) * | 2009-12-31 | 2011-07-06 | 潘晓梅 | 一种专利数据分析方法和*** |
CN104376406A (zh) * | 2014-11-05 | 2015-02-25 | 上海计算机软件技术开发中心 | 一种基于大数据的企业创新资源管理与分析***和方法 |
-
2015
- 2015-08-31 CN CN201510539930.9A patent/CN105160472A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117303A (zh) * | 2009-12-31 | 2011-07-06 | 潘晓梅 | 一种专利数据分析方法和*** |
CN104376406A (zh) * | 2014-11-05 | 2015-02-25 | 上海计算机软件技术开发中心 | 一种基于大数据的企业创新资源管理与分析***和方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108563740A (zh) * | 2018-04-12 | 2018-09-21 | 苏州市铜钱草科技有限公司 | 一种企业软件著作权公告信息抓取方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103902653B (zh) | 一种构建数据仓库表血缘关系图的方法和装置 | |
CN101446971B (zh) | 构建内容管理***的方法及装置 | |
CN106021583B (zh) | 页面流量数据的统计方法及其*** | |
CN107220274B (zh) | 一种可视化数据接口集市实现方法 | |
CN101930455A (zh) | 一种结构化数据交换方法 | |
WO2019014598A1 (en) | METHODS AND SYSTEMS FOR CITATION MANAGEMENT AND ALLOCATION | |
US20080235297A1 (en) | Method for Indexing a Large Log File, Computer-Readable Medium for Storing a Program for Executing the Method, and System for Performing the Same | |
CN101727505B (zh) | 一种高效的数据处理方法及装置 | |
CN112307318A (zh) | 一种内容发布方法、***及装置 | |
CN105426492A (zh) | 一种知识产权信息抓取与管理的方法 | |
US9092338B1 (en) | Multi-level caching event lookup | |
CN114625407A (zh) | 一种ab实验的实现方法、***、设备及存储介质 | |
CN104881336A (zh) | 数据备份方法及装置 | |
CN103064839A (zh) | 一种Pdf全文在线检索方法 | |
CN105160472A (zh) | 一种企业软件著作权公告信息抓取与管理*** | |
CN105160471A (zh) | 一种实现区域企业专利信息摸底与管理的方法 | |
CN105117848A (zh) | 一种企业知识产权信息抓取与管理*** | |
CN105139309A (zh) | 一种企业软件著作权公告信息抓取与管理的方法 | |
CN105468745A (zh) | 一种商标预警的*** | |
CN105426503A (zh) | 一种商标预警的方法 | |
CN105183822A (zh) | 一种企业商标公告信息抓取与管理*** | |
CN105160209A (zh) | 一种实现区域企业软件著作权公告摸底与管理的*** | |
CN105488617A (zh) | 一种实现基于知识产权评价的众筹方法 | |
CN105069585A (zh) | 一种企业专利公告信息抓取与管理*** | |
CN105138651A (zh) | 一种企业商标公告信息抓取与管理的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20151216 |
|
WD01 | Invention patent application deemed withdrawn after publication |