CN115934693A - 一种区域实有人口动态计算方法 - Google Patents
一种区域实有人口动态计算方法 Download PDFInfo
- Publication number
- CN115934693A CN115934693A CN202211524968.5A CN202211524968A CN115934693A CN 115934693 A CN115934693 A CN 115934693A CN 202211524968 A CN202211524968 A CN 202211524968A CN 115934693 A CN115934693 A CN 115934693A
- Authority
- CN
- China
- Prior art keywords
- population
- data
- information
- sql
- floating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种区域实有人口动态计算方法,一种区域实有人口动态计算方法,所述方法具体包括以下步骤:S1、实有人口:包括常住人口和流动人口,在区域内活动的实际存在的人口数是实有人口。本发明中,通过上述的的技术方案,无需入户登记问询,同时避免了入户登记或问询带有的主观性,避免了数据与实际情况的出入,保证了在常住人口的数据采集方面的精确性,从而可以保证常住人口的数据准确性,同时节省时间成本与人力成本,基于购票信息的数据是被公安部采纳的非常准确的数据,再结合交通枢纽的出入闸机数据,准确判断流动人口是否离开本辖区,进而可以精确的计算得出辖区内实有人口数量。
Description
技术领域
本发明涉及区域人口动态统计技术领域,尤其涉及一种区域实有人口动态计算方法。
背景技术
我国人口众多,人口统计工作纷繁复杂,关于人口属性的定义也有多种统计口径,一般来讲实有人口是指某一时点,在某一区域内的所有人口。根据《中华人民共和国户口登记条例》第六条规定,“公民应当在经常居住的地方登记为常住人口,一个公民只能在一个地方登记为常住人口”,在实际统计工作中,常住人口是在某一统计或普查时点,区域内全部人口减去外来暂住人口,再加上暂时外出人口所得到的人口数,对于“常住”的定义,一般指在本地居住半年以上者,此外,常住人口还包含调查时居住在本地,但在任何地方都没有登记常住户口,如手持户口迁移证、出生证、退伍证、劳改劳教释放证等尚未办理常住户口的人,外出人口已离开户籍所在地超过六个月的,不再计入本地常住人口。
流动人口是我国特有的概念,是我国特有的户籍制度的产物,粗略地说,流动人口是离开户籍所在地到其他地方居住的那部分人口,但由于时间与空间界定的不同,流动人口定义所包括的范围也不同,为了便于各地流动人口调查数据的可比性,并接近国际上有关人口迁移管理和研究的规范,可以把流动人口定义为“在某地居留半年或半年以上的外来人口”。
人口数量是人口统计的基础,掌握准确的人口数量,不仅对社会经济的发展规划的制定,而且对于人口科学的分析研究,都有十分重要的意义,人口数量的多寡,对于生产的规模,社会分工的发达程度,消费水平的高低,积累和消费的分配比例,市场分布和规模都会产生影响,从而对社会经济发展起促进或延缓作用,目前我国常规的人口统计方法需要入户登记或问询,而入户登记或问询存在较强的主观性,数据与实际情况可能有所出入,同时入户登记或问询的时间成本及人力成本较高,所采集的人口数据为离散的点,无法及时准确地分析预测人口数量变化趋势,故而亟待提出相应的区域实有人口动态计算方法来解决上述问题。
发明内容
本发明的目的在于:为了解决上述问题,而提出的一种区域实有人口动态计算方法。
为了实现上述目的,本发明采用了如下技术方案:
1.一种区域实有人口动态计算方法,所述方法具体包括以下步骤:
S1、实有人口:包括常住人口和流动人口,在区域内活动的实际存在的人口数是实有人口,实有人口等于常住人口与流动人口之和;
定义实有人口还包括常住人口和流动人口数据的获取:
S11、获取常住人口数据,通过社区民警与网格员上门核查登记人口信息,包括人口户籍信息、成员关系信息与房屋地址信息,在常住人口的信息采集中,借鉴过往人口普查经验,保障数据质量;
S12、获取流动人口数据,根据交通枢纽订票信息以及进出交通枢纽的闸机信息,在无法获取订票信息的场所设立物联网感知设备,对交通工具信息与人脸信息进行检测获取,从而判断流入以及流出人口,购票信息与进出交通枢纽闸机数据进行合并清洗,根据流动人口等于流入人口减去流出人口,分析出此部分流动人口数据,再基于现在先进的物联网感知设备,在交通枢纽场所设置全方位的物联网感知设备后,无死角的捕捉人脸信息并进行分析,此类数据分别存在市级单位的机房数据库中的流入人口表和流出人口表中;
S2、存储常住人口、流动人口:存储常住人口数据、流动人口数据表,对两张张表的数据进行清洗查重,剔除脏数据的同时整合各类数据提供给计算使用,具体包括:
S21、基于Mybaits框架进行开发;
S22、建表存储数据;
在存入数据时,根据源数据本地的数据库结构进行建库建表,再将数据进行传输存入之地方单位数据库中;
S23、非结构化数据进行存储;
S24、在数据集成平台Kettle中对数据进行存储,查重清洗:
S3、在***中将各类数据源制作成拼图似的模块化算子,算子进行组装,组装后的算子根据开发者后台设计的计算公式,即按照实有人口等于常住人口加上流动人口对数据进行计算;
S4、算子拼接结束后,会自动进行S3中的计算,并在计算完成后显示计算结果,开发者在服务器内创建日志表,用于记录所有的数据变化,并在表内进行日志的查看。
优选地,在S4步骤中,非结构化数据的获取具体包括:
步骤一:对非结构化数据进行序列化处理,得到序列化数据;
步骤二:将序列化数据与非结构化数据的索引信息进行连接,
步骤三:将多个目标数据存储至目标结构化数据文件中。
优选地,在步骤三中,将多个非结构化数据对应的多个目标数据合并存储到目标结构化数据文件中时,按照指定次序即常住人口,流动人口的顺序对目标数据进行存储。
优选地,在步骤三中,将多个非结构化数据对应的多个目标数据合并存储到目标结构化数据文件中后,需要对数据进行清洗,并根据数据采集时间先后顺序进行清洗排序,数据的采集时间以及地点会清晰的反应流动人口的流动方向。
优选地,在S21步骤中,通过Mybatis框架环境等配置信息获得sqlsessionfactory即会话工厂,由会话工厂创建sqlsession即会话,操作数据库需要通过sqlsession进行,Mybatis底层自定义了Executor执行器接口操作数据库,,Mapped Statement是mybatis框架一个底层封装对象,Mapped Statement对sql执行输入参数定义,Mapped Statement对sql执行输出结果进行定义,通过Mapped Statement在执行sql后将输出结果映射到java对象中。
优选地,在S21步骤中,所述mapper.xml即sql映射文件,文件中配置了操作数据库的sql语句。
优选地,在S21步骤中,所述mapper.xml文件中一个sql对应一个MappedStatement独享,sql的id是mapped statement的id。
优选地,在S21步骤中,通过MappedStatement在执行sql前将输入的java对象映射到sql中,输入参数映射即jdbc编程中对preparedStatement设置参数。
优选地,在S23步骤中,非结构化数据是数据结构不规则或不完整的数据,没有预定义的数据模型,非结构化数据包括为图像、音频、视频、文档、自定义对象、可扩展标记语言与超文本标记语言。
优选地,在S1步骤中,所述常住人口是长期居住在本地,在本地有稳定工作和学习的人口此数据,流动人口可以分为流入人口和流出人口,流入人口是指来到该地区的户籍以及非户籍人口,流出人口是指离开该地区到其他地方居住的户籍以及非户籍人口,其中户籍人口为具有本地户籍的人口,非户籍人口包括不具有本地户籍的人口以及外籍人口。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
本申请通过上述的的技术方案,在进行人口统计时,无需入户登记问询,同时避免了入户登记或问询带有的主观性,避免了数据与实际情况的出入,保证了在常住人口的数据采集方面的精确性,从而可以保证常住人口的数据准确性,同时节省了入户登记或问询的时间成本与人力成本,并且如果采集的人口数据为离散的点,则无法及时准确地分析预测人口数量变化趋势,基于购票信息的数据是被公安部采纳的非常准确的数据,再结合交通枢纽的出入闸机数据,在两者数据的结合下,准确判断流动人口是否离开本辖区,除了购票信息和出入闸机数据外,再结合摄像头拍摄,对人脸识别的数据,增添一层保障,进而可以精确的计算得出辖区内实有人口数量。
附图说明
图1示出了根据本发明实施例提供的流程结构示意图;
图2示出了根据本发明实施例提供的获取非结构化数据的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1-2,本发明提供一种技术方案:一种区域实有人口动态计算方法,方法具体包括以下步骤:
S1、实有人口:包括常住人口和流动人口,在区域内活动的实际存在的人口数是实有人口,实有人口等于常住人口与流动人口之和,常住人口是长期居住在本地,在本地有稳定工作和学习的人口此数据,流动人口可以分为流入人口和流出人口,流入人口是指来到该地区的户籍以及非户籍人口,流出人口是指离开该地区到其他地方居住的户籍以及非户籍人口,其中户籍人口为具有本地户籍的人口,非户籍人口包括不具有本地户籍的人口以及外籍人口;
定义实有人口还包括常住人口和流动人口数据的获取:
S11、获取常住人口数据,通过社区民警与网格员上门核查登记人口信息,包括人口户籍信息、成员关系信息与房屋地址信息,在常住人口的信息采集中,借鉴过往人口普查经验,数据质量得以保障,在此过程需要保证数据的准确性;
S12、获取流动人口数据,根据火车、高铁与飞机订票信息以及进出车站机场的闸机信息,在高速路口,以及大巴车站无法获取订票信息的场所设立物联网感知设备,对车辆信息与人脸信息进行检测获取,从而判断流入以及流出人口,购票信息与进出车站闸机数据进行合并清洗,(1、通过铁路局民航局合作获取到民众的购票信息,包括姓名、性别、身份证、起始站、终点站、客运(航班)信息、座位信息等;2、与火车站、机场合作,获取场所内刷身份证进出闸机数据;3、将上述两者数据进行合并清洗,并为每一位出行的民众打上标签(0/1),0代表购票数据与闸机数据相吻合,即乘客购买了机票,并顺利通过闸机登上飞机离开本区域;1代表购票数据与闸机数据不吻合,即乘客购买机票后,并未在闸机数据中检索到相同的数据,即该乘客并未顺利离开本辖区。上述即为判断流入流出人口数据的整个清洗过程)购票信息与出入闸机的数据都会以身份证号作为基准,那么同一个身份证号的购票信息与出入闸机信息可以作为此人离开辖区的依据,例如:购买了15:00高铁票离开A辖区,在14:50刷身份证进入闸机,即可以此作为依据判断该人离开了本辖区,流动人口等于流入人口减去流出人口,那么根据上述的方法即可判断分析出此部分流动人口数据,再基于现在先进的物联网感知设备,在车站场所设置全方位的物联网感知设备后,可以无死角的捕捉人脸信息并进行分析(人像算法的训练是在图片处理服务器上完成的,这是一个GPU服务器配备图形加速卡,专门用于深度学习算法训练神经网络模型,需要把大量的照片投喂给算法,让其进行分类,在这个过程中算法会不断修改模型参数,使得分类结果和实际情况尽可能拟合,训练的轮次越多模型也就越准确,然后把训练得到的人脸向量参数导入人像识别程序,就可以对任意一张照片做特征值提取处理了,在另一台数据服务器上有一个同步任务,它的作用是将所有符合要求的身份证照片,通过人像识别程序提取特征值后与身份证关联,将数据存储到人像数据库中,当所有身份证照片都采集完后,就可以将任意一张照片,通过人像应用服务提取特征值,与人像数据库里的数据做比对,从而找到该人的身份证号,再通过身份证号在户籍库中查询出此人的详细信息),此类数据分别存在省级或市级单位的机房数据库中的流入人口表(rk_lrrk)和流出人口表(rk_lcrk)中;
在Java中编写人脸采集程序并部署在物联网采集设备中,在部分人脸采集程序中,会在硬件设备进行自动化的人脸特征值采集,并直接将非结构数据进行序列化并传输回地市单位数据库中进行存储;
在Java中编写人脸特征值采集程序,在部分人脸采集硬件设备中,设备只能进行拍照处理,并将照片传输回地是单位的数据库中,开发人员需要运用到Java编写的人脸特征值采集程序对这些照片进行特征值的提取;
S2、存储常住人口、流动人口:存储常住人口数据(rk_czrk)、流动人口数据(rk_ldrk),对两张张表的数据进行清洗查重,剔除脏数据的同时整合各类数据提供给计算使用,具体包括:
S21、基于Mybaits框架进行开发,SQL语句编程,相当灵活,不会对应用程序或者数据库的现有设计造成任何影响,SQL写在XML里,解除SQL与程序代码的耦合,便于统一管理,提供XML标签,支持编写动态SQL语句,并可重用;
●Mybatis配置:sqlmapConfig.xml,此文件作为Mybatis的全局配置文件,配置了Mybatis的运行环境等信息;
●通过Mybatis环境等配置信息获得sqlsessionfactory即会话工厂;
●由会话工厂创建sqlsession即会话,操作数据库需要通过sqlsession进行;
Mybatis底层自定义了Executor执行器接口操作数据库,Executor接口有两个实现,一个是基本执行器,一个是缓存执行器;
Mapped Statement也是mybatis一个底层封装对象,它保障了mybatis配置信息及sql映射信息等;
●Mapped Statement对sql执行输入参数定义,包括Hashmap、基本类型、pojo、Executor;
●Mapped Statement对sql执行输出结果进行定义,包括Hashmap、基本类型、pojo、Executor通过Mapped Statement在执行sql后将输出结果映射到java对象中,输出结果映射过程相当于jdbc编程中对结果的解析处理;
S22、建表存储数据;
在存入数据时,根据源数据即火车站或机场等本地的数据库结构进行建库建表,再将数据进行传输存入之地方单位数据库中;
S23、非结构化数据进行存储:
非结构化数据是数据结构不规则或不完整的数据,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据,存储的体积变小,对服务器的压力会更小;
非结构化数据包括为图像、音频、视频、文档、自定义对象、可扩展标记语言与超文本标记语言其中的一种;
Oracle中可通过BLOB类型来存储4GB以下的视频数据。(定义blob字段,使用dbms_lob包);
数据库自定义为字节数组类型(如:image等),用程序将视频转化为流,写入字段数据数组中,保存进数据库;
将视频文件所在的路径保存在数据库中,然后通过程序调用该路径的文件内容。(数据上传到磁盘空间里,数据库中存储路径);
视频、音频、文件等非结构化数据可存储在一些NoSQL解决方案中;
S24、在Kettle中对数据进行存储,查重清洗:
查找表中多余的重复记录(多个字段):
select*from vitaea
where(a.peopleId,a.seq)in(selectpeopleId,seqfromvitaegroupbypeopleId,seqhavingcount(*)>1)
在表中查询peopleId(人员ID即身份证号)出现了两次及两次以上的数据,对空数据,重复数据进行删除,对合理正常的数据,***会自动记录入库时间,这个时间将会以字段的形式自动存在表中,无需任何操作,各个车站,机场等场所的数据在采集时,都会自动生成采集地,根据数据采集地信息添加,数据采集地是根据数据来源自动生成的,例如在武汉火车站拍摄的照片,那么这个字段的内容就是武汉火车站,添加这个步骤就是建表,建表的步骤在S22步骤中有解释;
数据采集地字段;
在数据的清洗过程中,对流动人口数据要分析数据的采集时间,和采集地点等要素,这对于流动人口数据的准确性至关重要;
Kettle作为一个端对端的数据集成平台,可以对多种数据源进行抽取(Extraction)、加载(Loading)、数据落湖(DataLakeInjection)、对数据进行各种清洗(Cleasing)、转换(Transformation)、混合(Blending),并支持多维联机分析处理(OLAP)和数据挖掘(Datamining);
在Kettle中进行数据的清洗,部分采集设备采集的人脸信息会同时传输回采集地以及采集时间,那么就需要用到Kettle将这部分序列化数据与“人”的基本信息进行匹配,才能够生成一条完整的流动人口数据;
S3、在***中将各类数据源制作成拼图似的模块化算子,(首先将数据存储在服务器,建设一个可视化平台。(可视化平台即:在平台页面上不展示具体的数据内容,只展示数据源的名称,以及已建成各类算法,如此专利涉及到的算法公式,文中已经列举,选择算法、以及算法中需要的算子;将算子放在算法公式中合适的位置:实有人口=常住人口+流动人口;常住人口、流动人口即是算子。整个公式即是算法;在可视化平台内只需要选择我们需要使用的算法和算子,即可对区域内实有人口进行计算,用鼠标拖拉算子进行组装,组装后的算子根据开发者后台设计的计算逻辑,即按照实有人口等于常住人口加上流动人口的计算公式对数据进行计算;
S4、算子拼接结束后,会自动进行计算,并在计算完成后显示计算结果,开发者可在服务器内创建日志表,用于记录所有的数据变化,并在表内进行日志的查看;
具体的,如图1所示,非结构化数据可以从文件中获取,也可以从报文等中获取,具体包括:
步骤一:对非结构化数据进行序列化处理,得到序列化数据;
序列化就是一种用来处理对象流的机制,所谓对象流也就是将对象的内容进行流化,对流化后的对象进行读写操作,也可将流化后的对象传输于网络之间;
序列化的实现方法
把一个Java对象写入到硬盘或者传输到网络上面的其它计算机,这时我们就需要自己去通过java把相应的对象写成转换成字节流。对于这种通用的操作,我们为什么不使用统一的格式呢?没错,这里就出现了java的序列化的概念。在Java的OutputStream类下面的子类ObjectOutputStream类就有对应的WriteObject(Object object)其中要求对应的object实现了java的序列化的接口;
在使用tomcat开发JavaEE相关项目的时候,我们关闭tomcat后,相应的session中的对象就存储在了硬盘上,如果我们想要在tomcat重启的时能够从tomcat上面读取对应session中的内容,那么保存在session中的内容就必须实现相关的序列化操作,还有jdbc加载驱动用的就是反序列化,将字符串变为对象;
类某些属性不需要序列化,以上序列化和反序列化实现了的对象序列化,但是可以发现,操作时是将整个对象的所有属性序列化,那么transient关键字可以将某些内容不需要保存,就可以通过transient关键字来定义:private transient String title;此时title属性无法被序列化;
步骤二:将序列化数据与非结构化数据的索引信息进行连接,即通过主键“身份证号”进行连接,将同一个身份证号下的数据整合在一起,得到目标数据,索引信息可以包括文件名、文件类型、文件检索字段信息;
步骤三:将多个目标数据存储至目标结构化数据文件中;
具体的,如图2所示,在步骤三中,将多个非结构化数据对应的多个目标数据合并存储到目标结构化数据文件中时,按照指定次序即常住人口,流动人口的顺序对目标数据进行存储。
具体的,如图2所示,在步骤三中,将多个非结构化数据对应的多个目标数据合并存储到目标结构化数据文件中后,需要对数据进行清洗,并根据数据采集时间先后顺序进行清洗排序,数据的采集时间以及地点会清晰的反应流动人口的流动方向。
具体的,如图1所示,在S21步骤中,mapper.xml即sql映射文件,文件中配置了操作数据库的sql语句,此文件需要在SqlMapConfig.xml中加载。
具体的,如图1所示,在S21步骤中,mapper.xml文件中一个sql对应一个MappedStatement独享,sql的id即是mapped statement的id。具体的,如图1所示,在S21步骤中,通过MappedStatement在执行sql前将输入的java对象映射到sql中,输入参数映射就是jdbc编程中对preparedStatement设置参数。
一种区域实有人口动态计算方法,参考图1,例如在A市,如何对A市的实有人口进行动态计算,首先明确实有人口的定义,即常住人口+流动人口=实有人口,在此定义下,再针对这两个方面进行数据的获取。在此基础上,还需要在A市的政府单位内安装好服务器,在服务器内安装数据库,进行建表的操作。
常住人口:
常住人口的数量获取通过民警每年的人口普查得知,社区民警会A市内通过走访,摸排A市的常住人口数据(rk_czrk)。摸排数据后,民警通过纸质文件,将人员详情整理至Excel中,开发人员将Excel导入至我们的表中即rk_czrk表,此表在政府单位服务器中用于存储A市常住人口数据。此数据后文中记为cz。
流动人口:
流动人口的数量获取需通过两个方面进行获取,一方面是火车站,机场等购票信息真实,出入闸机数据真实的场所,在这部分场所,可以通过购票信息以及出入闸机信息进行配合,判断购票人是否离开A市。同理在这部分场所,也可以根据购票信息和出入闸机信息配合判断购票人是否进入A市。那么在此部分可以得到流出人口数据lc1,流入人口数据lr1。这两部分数据都将存储在表中,即流入人口表(rk_lrrk)和流出人口表(rk_lcrk)。
在汽车站,高速公路口等无法获取购票信息的场所,即需要使用人脸抓拍设备进行抓拍,在出入闸机的地点,高速路口设置人脸抓拍设备,离开A市的人,会在离开车站的通道,出市的高速路口被摄像头进行抓拍,反之,进入A市的人,也会被摄像头进行抓拍。这部分抓拍的数据通过人脸特征值的提取,得到人口数据即流出人口数据lc2,流入人口数据lr2。这两部分数据都将存储在表中,即流入人口表(rk_lrrk)和流出人口表(rk_lcrk)。
在获取到常住人口数据和流动人口数据后,即可根据公式进行计算A市的实有人口,即A市实有人口=cz+(lr1+lr2)-(lc1+lc2)。
综上所述,本实施例所提供的区域实有人口动态计算方法,在进行人口统计时,无需入户登记问询,同时避免了入户登记或问询带有的主观性,避免了数据与实际情况的出入,保证了在常住人口的数据采集方面的精确性,从而可以保证常住人口的数据准确性,同时节省了入户登记或问询的时间成本与人力成本,并且如果采集的人口数据为离散的点,则无法及时准确地分析预测人口数量变化趋势,基于购票信息的数据是被公安部采纳的非常准确的数据,再结合交通枢纽的出入闸机数据,在两者数据的结合下,准确判断流动人口是否离开本辖区,除了购票信息和出入闸机数据外,再结合摄像头拍摄,对人脸识别的数据,增添一层保障,进而可以精确的计算得出辖区内实有人口数量。
实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种区域实有人口动态计算方法,其特征在于,所述方法具体包括以下步骤:
S1、实有人口:包括常住人口和流动人口,在区域内活动的实际存在的人口数是实有人口,实有人口等于常住人口与流动人口之和;
定义实有人口还包括常住人口和流动人口数据的获取:
S11、获取常住人口数据,通过社区民警与网格员上门核查登记人口信息,包括人口户籍信息、成员关系信息与房屋地址信息,在常住人口的信息采集中,借鉴过往人口普查经验,保障数据质量;
S12、获取流动人口数据,根据交通枢纽订票信息以及进出交通枢纽的闸机信息,在无法获取订票信息的场所设立物联网感知设备,对交通工具信息与人脸信息进行检测获取,从而判断流入以及流出人口,购票信息与进出交通枢纽闸机数据进行合并清洗,根据流动人口等于流入人口减去流出人口,分析出此部分流动人口数据,再基于现在先进的物联网感知设备,在交通枢纽场所设置全方位的物联网感知设备后,无死角的捕捉人脸信息并进行分析,此类数据分别存在市级单位的机房数据库中的流入人口表和流出人口表中;
S2、存储常住人口、流动人口:存储常住人口数据、流动人口数据表,对两张张表的数据进行清洗查重,剔除脏数据的同时整合各类数据提供给计算使用,具体包括:
S21、基于Mybaits框架进行开发;
S22、建表存储数据;
在存入数据时,根据源数据本地的数据库结构进行建库建表,再将数据进行传输存入之地方单位数据库中;
S23、非结构化数据进行存储;
S24、在数据集成平台Kettle中对数据进行存储,查重清洗:
S3、在***中将各类数据源制作成拼图似的模块化算子,算子进行组装,组装后的算子根据开发者后台设计的计算公式,即按照实有人口等于常住人口加上流动人口对数据进行计算;
S4、算子拼接结束后,会自动进行S3中的计算,并在计算完成后显示计算结果,开发者在服务器内创建日志表,用于记录所有的数据变化,并在表内进行日志的查看。
2.根据权利要求1所述的一种区域实有人口动态计算方法,其特征在于,所述非结构化数据的获取具体包括:
步骤一:对非结构化数据进行序列化处理,得到序列化数据;
步骤二:将序列化数据与非结构化数据的索引信息进行连接,
步骤三:将多个目标数据存储至目标结构化数据文件中。
3.根据权利要求2所述的一种区域实有人口动态计算方法,其特征在于,在步骤三中,将多个非结构化数据对应的多个目标数据合并存储到目标结构化数据文件中时,按照指定次序即常住人口,流动人口的顺序对目标数据进行存储。
4.根据权利要求2所述的一种区域实有人口动态计算方法,其特征在于,在步骤三中,将多个非结构化数据对应的多个目标数据合并存储到目标结构化数据文件中后,需要对数据进行清洗,并根据数据采集时间先后顺序进行清洗排序,数据的采集时间以及地点会清晰的反应流动人口的流动方向。
5.根据权利要求1所述的一种区域实有人口动态计算方法,其特征在于,在S21步骤中,通过Mybatis框架环境等配置信息获得sqlsessionfactory即会话工厂,由会话工厂创建sqlsession即会话,操作数据库需要通过sqlsession进行,Mybatis底层自定义了Executor执行器接口操作数据库,,Mapped Statement是mybatis框架一个底层封装对象,MappedStatement对sql执行输入参数定义,Mapped Statement对sql执行输出结果进行定义,通过Mapped Statement在执行sql后将输出结果映射到java对象中。
6.根据权利要求5所述的一种区域实有人口动态计算方法,其特征在于,在S21步骤中,所述mapper.xml即sql映射文件,文件中配置了操作数据库的sql语句。
7.根据权利要求6所述的一种区域实有人口动态计算方法,其特征在于,在S21步骤中,所述mapper.xml文件中一个sql对应一个Mapped Statement独享,sql的id是mappedstatement的id。
8.根据权利要求7所述的一种区域实有人口动态计算方法,其特征在于,在S21步骤中,通过MappedStatement在执行sql前将输入的java对象映射到sql中,输入参数映射即jdbc编程中对preparedStatement设置参数。
9.根据权利要求1所述的一种区域实有人口动态计算方法,其特征在于,在步骤S23中,非结构化数据是数据结构不规则或不完整的数据,没有预定义的数据模型,非结构化数据包括为图像、音频、视频、文档、自定义对象、可扩展标记语言与超文本标记语言。
10.根据权利要求1所述的一种区域实有人口动态计算方法,其特征在于,在S1步骤中,所述常住人口是长期居住在本地,在本地有稳定工作和学习的人口此数据,流动人口可以分为流入人口和流出人口,流入人口是指来到该地区的户籍以及非户籍人口,流出人口是指离开该地区到其他地方居住的户籍以及非户籍人口,其中户籍人口为具有本地户籍的人口,非户籍人口包括不具有本地户籍的人口以及外籍人口。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211524968.5A CN115934693A (zh) | 2022-11-30 | 2022-11-30 | 一种区域实有人口动态计算方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211524968.5A CN115934693A (zh) | 2022-11-30 | 2022-11-30 | 一种区域实有人口动态计算方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115934693A true CN115934693A (zh) | 2023-04-07 |
Family
ID=86700132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211524968.5A Pending CN115934693A (zh) | 2022-11-30 | 2022-11-30 | 一种区域实有人口动态计算方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115934693A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117313981A (zh) * | 2023-07-11 | 2023-12-29 | 厦门身份宝网络科技有限公司 | 一种城中村人口动态分析方法、装置、设备及可读存储介质 |
-
2022
- 2022-11-30 CN CN202211524968.5A patent/CN115934693A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117313981A (zh) * | 2023-07-11 | 2023-12-29 | 厦门身份宝网络科技有限公司 | 一种城中村人口动态分析方法、装置、设备及可读存储介质 |
CN117313981B (zh) * | 2023-07-11 | 2024-05-14 | 厦门身份宝网络科技有限公司 | 一种城中村人口动态分析方法、装置、设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Pan et al. | Urban big data and the development of city intelligence | |
Zheng et al. | Understanding the tourist mobility using GPS: How similar are the tourists? | |
Strötgen et al. | Extraction and exploration of spatio-temporal information in documents | |
CN112182246B (zh) | 通过大数据分析建立企业画像的方法、***、介质及应用 | |
CN110109908B (zh) | 基于社会基础信息挖掘人物潜在关系的分析***及方法 | |
CN112183916B (zh) | 土地储备生命周期管理*** | |
CN115423289B (zh) | 智能板材加工车间数据处理方法及终端 | |
CN115934693A (zh) | 一种区域实有人口动态计算方法 | |
Pandey et al. | GIS: scope and benefits | |
CN113160018B (zh) | 一种社会救助统筹与预警分析*** | |
EP3306540A1 (en) | System and method for content affinity analytics | |
CN112668335A (zh) | 一种利用命名实体识别提取营业执照结构化信息的方法 | |
Burgard et al. | Data warehouse and business intelligence systems in the context of e-HRM | |
STAICULESCU | Aplication of GIS Tehnologies in Monitoring Biodiversity | |
Wowczko | A case study of evaluating job readiness with data mining tools and CRISP-DM methodology | |
Gamidullaeva et al. | Study of regional innovation ecosystem based on the big data intellectual analysis | |
CN111538732A (zh) | 基于大数据的自然资源资产负债管理*** | |
Kozievitch et al. | Assessment of Open Data Portals: a Brazilian case study | |
Ishikawa et al. | Generalized difference method for generating integrated hypotheses in social big data | |
Dueker et al. | Urban-change detection systems: Remote-sensing inputs | |
Pradani et al. | A Proposed Crowdsourcing Engine for Indonesian Cultural Heritage | |
Bregata | Development of a data mart to support decisions in fashion retail store localization | |
Vatresia et al. | Automated Data Integration of Biodiversity with OLAP and OLTP | |
Hajiheidari et al. | Cadastral and urban maps enrichments using smart spatial data fusion | |
CN112612778B (zh) | 一种企业数据架构方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |