CN111314129B - 一种基于文件式存储服务高可用架构 - Google Patents
一种基于文件式存储服务高可用架构 Download PDFInfo
- Publication number
- CN111314129B CN111314129B CN202010089891.8A CN202010089891A CN111314129B CN 111314129 B CN111314129 B CN 111314129B CN 202010089891 A CN202010089891 A CN 202010089891A CN 111314129 B CN111314129 B CN 111314129B
- Authority
- CN
- China
- Prior art keywords
- file
- module
- service
- storage service
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
- H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
- H04L41/0836—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability to enhance reliability, e.g. reduce downtime
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于文件式存储服务高可用架构,该高可用架构包括:心跳检查模块,采用主控模块主动检查的方式实现心跳机制,脚本中通过telnet所配置的工作服务组件的端口,来判定服务组件的工作状态,并将心跳结果反馈到主控模块,再由主控模块做相应事件处理,并且心跳机制还负责各节点间集群状态同步、命令执行模块、数据同步模块,文件式存储服务在提供服务时,会将图数据发生的更改实时的写入到文件中虚拟IP映射模块和主控模块。本发明,全部使用开源框架且无任何其他成本,能为企业节省大量资金成本。
Description
技术领域
本发明涉及产品软件和应用软件技术领域,具体为一种基于文件式存储服务高可用架构。
背景技术
知识图谱是一个新兴技术方向,为互联网网金融风控,保险,社交行业的数据挖掘提供了一个新的方向和思路。与此同时,工业界开发出了很多与知识图谱相关的分析工具和存储工具,其中大部分框架数据存储都是以文件形式,比如:neo4j(社区版),tigergraph(社区版)。这些图数据库提供了知识图谱相分析、存储、查询等相关功能。其中,使用最为广泛的neo4j,分为商业版和社区版两个分支。商业版本功能最为完善,同时收费高昂。社区版完全免费,但是功能简单。大部分中小企业使用neo4j(社区版)或者tiger graph(社区版)作为图数据库。
当前,类似于neo4j等开源版文件式存储服务无法搭建集群模式,且不支持主备模式。对于生产环境,无法实现高可用。一旦这些服务出现节点故障,基于此类服务的相关应用将全部不可用。这对工业级7*24小时全天候服务产生极大的挑战。若采用商业版图数据库,会极大提高整个产品的运营成本,分流大部分研发资源。如果采用JanusGraph或者DBGraph等其他开源框架,对于已经上线的产品需要二次开发,非常不利于产品的稳定和发展。
发明内容
本发明的目的在于提供一种基于文件式存储服务高可用架构,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种基于文件式存储服务高可用架构,该高可用架构包括:
心跳检查模块:采用主控模块主动检查的方式实现心跳机制,脚本中通过telnet所配置的工作服务组件的端口,来判定服务组件的工作状态,并将心跳结果反馈到主控模块,再由主控模块做相应事件处理,并且心跳机制还负责各节点间集群状态同步;
命令执行模块:封装了集群中的各个服务组件的操作,负责各个服务组件的管理和调度的实现;
数据同步模块:文件式存储服务在提供服务时,会将图数据发生的更改实时的写入到文件中;
虚拟IP映射模块:集群中的故障转移通过虚拟IP来实现,通过心跳检查集群中节点状态,按照一定策略将虚拟IP映射到不同的物理IP上;
主控模块:负责控制调度各级模块工作流程,按照默认策略处理各种线上各种事件。
优选的,所述命令执行模块分为本地命令模块和远程命令模块,所述本地命令模块封装了本地服务管理的命令集合,负责调度管理本地服务的实现和事件日志的输出,所述远程命令模块封装了操作远程节点服务组件的命令集合,需要主从节点实现免密码登陆,所述远程命令模块负责根据当前节点角色判断远程节点IP和服务端口。
优选的,所述远程命令模块的判断逻辑为当前节点角色是文件式存储服务主节点,远程节点就是文件式存储服务从节点,当前节点角色是文件式存储服务从节点,远程节点就是文件式存储服务主节点,并根据当前角色不同,使用不同逻辑的命令集合操作远程节点。并根据配置将远程ip和端口拼接到命令中,实现远程服务的的调度和管理。
优选的,所述数据同步模块采用Sersync+Rsync架构,所述数据同步模块监听文件夹中文件变化并实时同步到备用服务文件夹中。
优选的,所述Sersync+Rsync架构的Sersync采用性能强劲的C++语言编写,自带crontab功能,可自定义同步时间间隔,所述Sersync会过滤掉Linux***文件产生临时文件和重复文件的操作,再结合Rsync同步数据,所述Sersync支持多线程同步,此外,所述Sersync自带出错处理机制,所述Sersync+Rsync架构的Rsync组件是一个开源的,可实现全量及增量的本地或远程数据同步备份工具,所述Rsync组件拥有其独特的“quick check算法”,检查两个文件的不同部分,对本地和远程两个主机之间的文件不同部分进行同步,所述Rsync组件通过LAN/WAN快速同步多台主机间的文件。
优选的,所述虚拟IP映射模块由keepalived服务实现。
优选的,所述主控模块基于事件驱动开发。
优选的,所述虚拟IP映射模块的故障转移需要多种通讯协议。
优选的,所述多种通讯协议包括http通讯协议和blot/jdbc通讯协议。
优选的,所述该高可用架构独立于工作组件。
与现有技术相比,本发明的有益效果是:
1、本发明,全部使用开源框架且无任何其他成本,能为企业节省大量资金成本。
2、本发明能够快速高效的实现主备节点数据实时热备和故障节点切换,为企业服务稳定性和数据安全提供了可靠的支撑。
附图说明
图1为本发明的架构解析图;
图2为本发明的事件处理流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-2,本发明提供一种技术方案:一种基于文件式存储服务高可用架构,该高可用架构包括:
心跳检查模块:采用主控模块主动检查的方式实现心跳机制,脚本中通过telnet所配置的工作服务组件的端口,来判定服务组件的工作状态,并将心跳结果反馈到主控模块,再由主控模块做相应事件处理,并且心跳机制还负责各节点间集群状态同步;
命令执行模块:封装了集群中的各个服务组件的操作,负责各个服务组件的管理和调度的实现;
数据同步模块:文件式存储服务在提供服务时,会将图数据发生的更改实时的写入到文件中;
虚拟IP映射模块:集群中的故障转移通过虚拟IP来实现,通过心跳检查集群中节点状态,按照一定策略将虚拟IP映射到不同的物理IP上;
主控模块:负责控制调度各级模块工作流程,按照默认策略处理各种线上各种事件。
具体的,命令执行模块分为本地命令模块和远程命令模块,本地命令模块封装了本地服务管理的命令集合,负责调度管理本地服务的实现和事件日志的输出,远程命令模块封装了操作远程节点服务组件的命令集合,需要主从节点实现免密码登陆,远程命令模块负责根据当前节点角色判断远程节点IP和服务端口。
具体的,远程命令模块的判断逻辑为当前节点角色是文件式存储服务主节点,远程节点就是文件式存储服务从节点,当前节点角色是文件式存储服务从节点,远程节点就是文件式存储服务主节点,并根据当前角色不同,使用不同逻辑的命令集合操作远程节点。并根据配置将远程ip和端口拼接到命令中,实现远程服务的的调度和管理。
具体的,数据同步模块采用Sersync+Rsync架构,数据同步模块监听文件夹中文件变化并实时同步到备用服务文件夹中。
具体的,Sersync+Rsync架构的Sersync采用性能强劲的C++语言编写,自带crontab功能,可自定义同步时间间隔,Sersync会过滤掉Linux***文件产生临时文件和重复文件的操作,再结合Rsync同步数据,Sersync支持多线程同步,此外,Sersync自带出错处理机制,Sersync+Rsync架构的Rsync组件是一个开源的,可实现全量及增量的本地或远程数据同步备份工具,Rsync组件拥有其独特的“quick check算法”,检查两个文件的不同部分,对本地和远程两个主机之间的文件不同部分进行同步,Rsync组件通过LAN/WAN快速同步多台主机间的文件。
具体的,虚拟IP映射模块由keepalived服务实现。
具体的,主控模块基于事件驱动开发,降低组件间耦合,并为各个模块定义相应事件模型以及响应策略,主控模块制定了默认的事件响应策略。
具体的,虚拟IP映射模块的故障转移需要多种通讯协议。
具体的,多种通讯协议包括http通讯协议和blot/jdbc通讯协议,有些文件式存储服务对外开放http通讯协议的,使用户可以通过浏览器和文件式存储服务交互,并实现增删改查以及集群的配置。有些文件式存储服务对外开放blot/jdbc通讯协议,使用户可以通过应用程序和文件式存储服务进行数据交互,基于以上,虚拟IP需要提供http/jdb/bolt等多种网络协议的转发功能。而keepavlied恰巧工作在三层,四层,五层网络协议,可以很好的完成多种通讯协议(http/jdbc/bolt)的请求转发。keepalived采用集群模式,避免虚拟IP组件产生单点故障问题。默认情况下neo4j主节点所在的keepalived服务配置较高优先级,虚拟IP优先优先强制映射到文件式存储服务主节点所在的物理IP上。在主节点文件式存储服务出现故障时,由主控模块将虚拟IP映射到从节点的物流IP上。集群的IP映射和节点故障检查对用户是透明的,所以用户在访问文件式存储服务集群时,只需要访问虚拟IP。
具体的,该高可用架构独立于工作组件,整套架构可以为其他类似服务组件提供高可用保证。
工作原理:步骤一:1.启动数据同步模块(数据同步方向由主节点到从节点),2.启动主节点服务,3.启动keepalived服务将虚拟IP映射到主机点的物理IP,并定时执行主节点心跳检查。以上步骤完成完成,当前集群状态为主节点负载。
步骤二:当发现主节点服务下线,切换数据同步方向(从节点到主节点)。2.通过远程命令模块启动从节点上的服务。3.将虚拟IP映射到从节点所在物理ip。以上步骤完成,当前集群状态为从节点负载。
步骤三:在从节点对外负载情况下,当发现主节点上线。1.关闭当前节点服务。2.切换数据同步方向(从主节点到从节点方向)。3.切换虚拟IP映射(将向虚拟IP映射到从节点的物理IP上)。以上步骤完成,当前集群状态为从节点负载。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种基于文件式存储服务高可用架构,其特征在于该高可用架构包括:
心跳检查模块:采用主控模块主动检查的方式实现心跳机制,脚本中通过telnet所配置的工作服务组件的端口,来判定服务组件的工作状态,并将心跳结果反馈到主控模块,再由主控模块做相应事件处理,并且心跳机制还负责各节点间集群状态同步;
命令执行模块:封装了集群中的各个服务组件的操作,负责各个服务组件的管理和调度的实现;
数据同步模块:文件式存储服务在提供服务时,会将图数据发生的更改实时的写入到文件中;
虚拟IP映射模块:集群中的故障转移通过虚拟IP来实现,通过心跳检查集群中节点状态,按照一定策略将虚拟IP映射到不同的物理IP上;
主控模块:负责控制调度各级模块工作流程,按照默认策略处理各种线上各种事件;
所述命令执行模块分为本地命令模块和远程命令模块,所述本地命令模块封装了本地服务管理的命令集合,负责调度管理本地服务的实现和事件日志的输出,所述远程命令模块封装了操作远程节点服务组件的命令集合,需要主从节点实现免密码登陆,所述远程命令模块负责根据当前节点角色判断远程节点IP和服务端口。
2.根据权利要求1所述的一种基于文件式存储服务高可用架构,其特征在于:所述远程命令模块的判断逻辑为当前节点角色是文件式存储服务主节点,远程节点就是文件式存储服务从节点,当前节点角色是文件式存储服务从节点,远程节点就是文件式存储服务主节点,并根据当前角色不同,使用不同逻辑的命令集合操作远程节点,并根据配置将远程ip和端口拼接到命令中。
3.根据权利要求1所述的一种基于文件式存储服务高可用架构,其特征在于:所述数据同步模块采用Sersync+Rsync架构,所述数据同步模块监听文件夹中文件变化并实时同步到备用服务文件夹中。
4.根据权利要求3所述的一种基于文件式存储服务高可用架构,其特征在于:所述Sersync+Rsync架构的Sersync采用性能强劲的C++语言编写,自带crontab功能,可自定义同步时间间隔,所述Sersync会过滤掉Linux***文件产生临时文件和重复文件的操作,再结合Rsync同步数据,所述
Sersync支持多线程同步,此外,所述Sersync自带出错处理机制,所述
Sersync+Rsync架构的Rsync组件是一个开源的,可实现全量及增量的本地或远程数据同步备份工具,所述Rsync组件拥有其独特的“quick check
算法”,检查两个文件的不同部分,对本地和远程两个主机之间的文件不同部分进行同步,所述Rsync组件通过LAN/WAN快速同步多台主机间的文件。
5.根据权利要求1所述的一种基于文件式存储服务高可用架构,其特征在于:所述虚拟IP映射模块由keepalived服务实现。
6.根据权利要求1所述的一种基于文件式存储服务高可用架构,其特征在于:所述主控模块基于事件驱动开发。
7.根据权利要求1所述的一种基于文件式存储服务高可用架构,其特征在于:所述虚拟IP映射模块的故障转移需要多种通讯协议。
8.根据权利要求7所述的一种基于文件式存储服务高可用架构,其特征在于:所述多种通讯协议包括http通讯协议和blot/jdbc通讯协议。
9.根据权利要求8所述的一种基于文件式存储服务高可用架构,其特征在于:所述该高可用架构独立于工作组件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010089891.8A CN111314129B (zh) | 2020-02-13 | 2020-02-13 | 一种基于文件式存储服务高可用架构 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010089891.8A CN111314129B (zh) | 2020-02-13 | 2020-02-13 | 一种基于文件式存储服务高可用架构 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111314129A CN111314129A (zh) | 2020-06-19 |
CN111314129B true CN111314129B (zh) | 2023-05-12 |
Family
ID=71161645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010089891.8A Active CN111314129B (zh) | 2020-02-13 | 2020-02-13 | 一种基于文件式存储服务高可用架构 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111314129B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112612939A (zh) * | 2020-12-18 | 2021-04-06 | 山东中创软件工程股份有限公司 | 一种爬虫部署方法、***、装置、设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004535023A (ja) * | 2001-07-06 | 2004-11-18 | コンピュータ アソシエイツ シンク,インコーポレイテッド | オブジェクトベースのクラスタを管理するためのシステム及び方法 |
US9203900B2 (en) * | 2011-09-23 | 2015-12-01 | Netapp, Inc. | Storage area network attached clustered storage system |
CN104504062B (zh) * | 2014-12-22 | 2018-06-05 | 浙江宇视科技有限公司 | 主备数据库数据同步方法及装置 |
CN104679907A (zh) * | 2015-03-24 | 2015-06-03 | 新余兴邦信息产业有限公司 | 高可用高性能数据库集群的实现方法及*** |
CN105511805B (zh) * | 2015-11-26 | 2019-03-19 | 深圳市中博科创信息技术有限公司 | 集群文件***的数据处理方法和装置 |
CN108255929A (zh) * | 2017-11-30 | 2018-07-06 | 杭州博世数据网络有限公司 | 用于数据库neo4j的处理方法 |
CN108011783B (zh) * | 2017-12-07 | 2021-06-25 | 郑州云海信息技术有限公司 | 一种诊断服务器的备份方法和备份*** |
CN110659158A (zh) * | 2019-09-04 | 2020-01-07 | 苏州浪潮智能科技有限公司 | 基于双机热备环境的Influx DB数据备份方法 |
-
2020
- 2020-02-13 CN CN202010089891.8A patent/CN111314129B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111314129A (zh) | 2020-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2281240B1 (en) | Maintaining data integrity in data servers across data centers | |
CN102629224B (zh) | 一种基于云平台的一体化数据容灾方法及其装置 | |
US8924498B2 (en) | Method and system for process control network migration | |
CN102710752B (zh) | 灾备存储*** | |
US20140244578A1 (en) | Highly available main memory database system, operating method and uses thereof | |
CN109936622B (zh) | 一种基于分布式资源共享的无人机集群控制方法及*** | |
CN103226483B (zh) | 基于soa、云存储实现的双机热备份***及其方法 | |
US20160110438A1 (en) | Data cube high availability | |
US20090024713A1 (en) | Maintaining availability of a data center | |
JP2000112911A (ja) | コンピュ―タネットワ―クにおけるデ―タベ―ス管理システムにおいて自動的にタスクを再分配するシステム及び方法 | |
CN104660386A (zh) | 一种基于安腾平台下提高db2容灾高可用性的方法 | |
CN101483555A (zh) | 双ForCES控制件实现冗余备份的方法 | |
CN111314129B (zh) | 一种基于文件式存储服务高可用架构 | |
CN103678051A (zh) | 一种集群数据处理***中的在线故障容错方法 | |
CN106294031B (zh) | 一种业务管理方法和存储控制器 | |
CN1988477A (zh) | 具有高可用性特征的网络管理*** | |
CN113253635A (zh) | 初级自动化设备与多个次级设备的多重同步 | |
CN111090637A (zh) | 一种金融级基于A10的高可用MySQL数据库实现方法 | |
CN114363164B (zh) | 云网络服务编排控制方法、***、存储介质和电子设备 | |
Huang et al. | Research and application of microservice in power grid dispatching control system | |
CN102629260A (zh) | 数据库崩溃处理方法、装置和*** | |
CN105007293A (zh) | 双主控网络***及该***中业务请求的双写方法 | |
CN117009137B (zh) | 一种制造运营管理平台的实施方法及*** | |
CN201491023U (zh) | 一种基于rac的冗余服务器结构 | |
Jiang et al. | Overview of Data Synchronization and Fault Recovery Technology in Multi Active Data Center |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230811 Address after: Room 101, No. 12, Lane 1661, Jialuo Road, Jiading District, Shanghai, 2018 J1469 Patentee after: Xiaohua (Shanghai) Internet Technology Co.,Ltd. Address before: 201808 room 101-16, 12 Lane 1661, Jialuo Road, Jiading District, Shanghai Patentee before: SHANGHAI KAIAN INFORMATION TECHNOLOGY CO.,LTD. |