CN103377069A - 一种基于日志文件写入外挂nas实现虚拟化计算部署的新方法 - Google Patents

一种基于日志文件写入外挂nas实现虚拟化计算部署的新方法 Download PDF

Info

Publication number
CN103377069A
CN103377069A CN2012101264135A CN201210126413A CN103377069A CN 103377069 A CN103377069 A CN 103377069A CN 2012101264135 A CN2012101264135 A CN 2012101264135A CN 201210126413 A CN201210126413 A CN 201210126413A CN 103377069 A CN103377069 A CN 103377069A
Authority
CN
China
Prior art keywords
nas
client computer
space
log files
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012101264135A
Other languages
English (en)
Inventor
万乾荣
王正军
王明敏
吴坚
陈宝霞
邓勇
李奎
张振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DONGFANG CABLE NETWORKS CO LTD
Original Assignee
DONGFANG CABLE NETWORKS CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DONGFANG CABLE NETWORKS CO LTD filed Critical DONGFANG CABLE NETWORKS CO LTD
Priority to CN2012101264135A priority Critical patent/CN103377069A/zh
Publication of CN103377069A publication Critical patent/CN103377069A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于日志文件写入外挂NAS实现虚拟化计算部署的新方法。在进行虚拟化部署时，除了分配正常的磁盘空间用于安装操作***、应用程序外，要求客户机统一加载NAS网络附加存储设备的共享目录用于日志文件存放的目录，便于应用软件将生成的日志文件直接写入到NAS共享目录中，通过NAS网络存储设备的大容量存储资源作为多个应用的共享存储空间，客户机只需要少量的磁盘空间用于安装操作***、必要的应用软件，所占用的磁盘空间在***安装、配置完成后基本上不会增加，使得解决日志数据对虚拟磁盘实体文件的空间占用问题。同时日志文件存放在NAS共享目录上，使得对日志文件的分析、处理不占用客户机自身的性能。

Description

一种基于日志文件写入外挂NAS实现虚拟化计算部署的新方法
技术领域
本发明涉及一种基于日志文件写入外挂NAS实现虚拟化计算部署的新方法，属于信息技术领域，特别是虚拟化计算领域。
背景技术
虚拟化计算是目前主流的信息技术，通过在高性能的通用服务器(比如基于Intel Xeon至强或AMD Opteron多核CPU)上部署虚拟化软件，可以在单台服务器上部署数个至几十个计算环境，每个计算环境之间都互相隔离，对于用户来说，每个计算环境都是一台单独的计算机，可以进行配置、重启、更改迎接而不影响其他计算环境。这样使得企业内部的信息***部署所需的主机数量大大减少。图1所示的是虚拟化计算的一般架构。
目前在企业内部署虚拟化主流是使用VMWare公司(www.vmware.com)的相关产品。在该公司产品中，部署了虚拟化的服务器称为主机(相关文档中也称作host)，用于执行具体计算任务的单个计算环境称为客户机(相关文档中也称作guest)。
在虚拟化方式下，每个新的客户机也都需要配置单独的CPU、内存、硬盘、网卡资源。这样基于每个客户机所运行计算任务的不同，需要为该客户机预留一定的硬盘空间，以便安装操作***、应用程序、日志文件等。每个客户机将在主机上生成一组实体文件，包括这些CPU、内存、硬盘、网卡的配置，客户机的硬盘也将体现为一个虚拟磁盘实体文件(在VMWare***中一般被命名为vmdk)，且其大小和客户机所分配的硬盘空间大小一致。
在部署虚拟化以后，由于每台主机会在运行过程中产生大量的日志(包括***本身的各类日志，和应用软件所产生的日志)，使得在虚拟化后每个客户机的磁盘很容易被日志文件占满；并且在业务运行过程中对这些日志文件进行读取、分析时，也需要访问每个客户机在主机上的虚拟磁盘实体文件，这样也会造成主机的磁盘读写压力。
目前在虚拟化部署时，一般采用直连式存储(Direct AttachedStorage，缩写为DAS)、存储局域网络设备(Storage Area Network，缩写为SAN)、网络附加存储设备(Network Attached Storage，缩写为NAS)来存放客户机所用的虚拟磁盘实体文件。当在虚拟化的主机上运行了几十台客户机后，对于虚拟磁盘实体文件的可用空间、磁盘读写压力将加大，尤其是时刻运行且产生大量日志数据的应用软件。
在此部署方式下，管理员、操作人员访问应用程序的日志文件时，将频繁登录客户机，管理维护效率低下。
因此本发明针对此问题，提出了一种基于日志文件写入外挂NAS实现虚拟化计算部署的新方法，以对这类产生大量日志数据的应用软件在部署时可有效降低磁盘空间占用并提高运行性能。
发明内容
本发明提供了一种基于NAS网络共享目录来存储日志文件的部署方法，实现各应用软件在进行虚拟化部署时，有效解决上述问题。
本发明的关键技术在于，在部署虚拟化的客户机时，除了分配正常的磁盘空间用于安装操作***、应用程序外，要求客户机统一加载NAS网络附加存储设备的共享目录用于日志文件存放的目录，以便应用软件将生成的日志文件直接写入到NAS共享目录中，这样客户机只需要少量的磁盘空间用于安装操作***、必要的应用软件，所占用的磁盘空间在***安装、配置完成后基本上不会增加，通过NAS网络存储设备的大容量存储资源作为多个应用的共享存储空间，使得解决日志数据对虚拟磁盘实体文件的空间占用问题；同时日志文件存放在NAS共享目录上，使得对日志文件的分析、处理不占用客户机自身的性能。
本发明的有益效果是，避免了在虚拟化部署时，由于应用软件的日志文件产生过多而造成客户机对应的虚拟磁盘实体文件预先分配空间过大或消耗过快的问题；同时将日志文件统一存放在外置NAS上，可使得对日志文件的读取、分析、处理不用登录到客户机上，减少对客户机的资源占用，提高日志文件管理维护效率。
附图说明
图1是虚拟化计算的一般架构图。
图2是虚拟磁盘实体文件存放在SAN磁盘阵列时的传统虚拟化部署示意图。
图3是本发明提供的基于日志文件写入外挂NAS实现虚拟化计算部署的架构图。
具体实施方式
以下结合附图和举例，详细说明本发明的具体实施方式。
在实际部署时，一般采用DAS、SAN或NAS来存放客户机的虚拟磁盘实体文件。附图2是以虚拟磁盘实体文件存放在SAN磁盘阵列为例。
在这种情况下，需要为每个客户机的虚拟磁盘实体文件预先划分容量大小。如果该客户机上安装的应用软件产生日志文件过大、过快，那么预先划分的容量很容易被完全使用掉，这样会导致客户机的磁盘空间不足而影响该应用软件的运行；如果此应用软件的日志文件产生量较少，那么预先划分的容量则又过大，造成磁盘空间的浪费。
即使客户机部署的应用***能实现日志文件按时间切片、按计划搬迁到NAS共享存储，由于此操作一般每天运行数次，切片间隔过短使得日志分析、排障需要同时读取多个文件，切片间隔过长则使得单个日志文件过大。
同时当某个应用软件部署后，有几十个、上百个客户机时，如果需要进行读取日志文件来进行分析、排障，那么需要同时登录多个客户机。此外在读取、分析日志文件时还需要占用客户机的本身CPU、磁盘资源，如果日志文件过大，也会影响客户机的性能，比如大小超过100MB会影响磁盘IO读写性能，如果日志文件超过1GB大小则需要很长时间才能打开。
因此本发明针对这两种情况，提出了一种基于NAS网络共享目录来存储日志文件的部署方法，以便在常规的虚拟化部署模式基础上，减少对客户机的虚拟磁盘实体文件的空间占用，减少运行过程中对客户机的访问，更方便的实现对日志文件的处理。
本发明的实施方法是，对每个客户机在部署时，除了分配正常的磁盘空间用于安装操作***、应用程序外，要求客户机统一加载NAS网络附加存储设备的共享目录用于日志文件存放的目录，由应用软件将生成的日志文件直接写入到NAS共享目录中，通过NAS网络存储设备的大容量存储资源作为多个应用的共享存储空间，客户机只需要少量的磁盘空间用于安装操作***、必要的应用软件，所占用的磁盘空间在***安装、配置完成后基本上不会增加，使得解决日志数据对虚拟磁盘实体文件的空间占用问题。同时日志文件存放在NAS共享目录上，使得对日志文件的分析、处理不占用客户机自身的性能。
图3所示的是针对图2所示的传统虚拟化部署的一种优化方案示意图，这样应用程序的日志将直接写入到NAS网络存储设备中。对于客户机和应用程序来说，其识别到的日志目录大小就是NAS网络存储设备的总容量，不会发生日志文件写满的问题。
例如某个基于Linux部署的应用在虚拟化后，假定为其分配的虚拟磁盘实体文件空间是32GB，那么一般按如下的规则进行磁盘分配：
Figure BSA00000708051200051
其中在/根目录下安装操作***，在/app目录下安装应用软件，在/logs目录下存放应用软件所产生的各类日志文件。
在此例中，为应用程序日志所分配的目录大小为16GB，由于日志数据生成过多、过大，导致此目录消耗过大，如果不及时进行清理，那么很容易引起***磁盘空间不足，而引起该应用的非正常运行。
因此使用基于日志文件写入外挂NAS实现虚拟化计算部署的新方法，可以将日志文件直接写入到外部设备上，可以有效避免日志文件对虚拟磁盘实体文件空间的占用。
对于上面一个例子，其磁盘空间的分配可以优化如下：
Figure BSA00000708051200052
这样就使得每个客户机的应用软件都可以将日志文件放置在外挂NAS上，实现日志文件的集中管理，减少对单个客户机的磁盘空间占用。
在此部署方式下，管理员、操作人员访问应用程序的日志文件时，只需要直接访问统一的NAS网络存储，可以有效避免频繁登录客户机而影响应用的情况，同时也减少用户需要登录多台客户机的麻烦，有利于提高部署、维护效率。

Claims (1)

1.一种基于日志文件写入外挂NAS实现虚拟化计算部署的新方法，其特征在于：在部署虚拟化的客户机时，除了分配正常的磁盘空间用于安装操作***、应用程序外，要求客户机统一加载NAS网络附加存储设备的共享目录用于日志文件存放的目录，以便应用软件将生成的日志文件直接写入到NAS共享目录中，通过NAS网络存储设备的大容量存储资源作为多个应用的共享存储空间，使得解决日志数据对虚拟磁盘实体文件的空间占用问题；同时日志文件存放在NAS共享目录上，使得对日志文件的分析、处理不占用客户机自身的性能。
CN2012101264135A 2012-04-26 2012-04-26 一种基于日志文件写入外挂nas实现虚拟化计算部署的新方法 Pending CN103377069A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012101264135A CN103377069A (zh) 2012-04-26 2012-04-26 一种基于日志文件写入外挂nas实现虚拟化计算部署的新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012101264135A CN103377069A (zh) 2012-04-26 2012-04-26 一种基于日志文件写入外挂nas实现虚拟化计算部署的新方法

Publications (1)

Publication Number Publication Date
CN103377069A true CN103377069A (zh) 2013-10-30

Family

ID=49462230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012101264135A Pending CN103377069A (zh) 2012-04-26 2012-04-26 一种基于日志文件写入外挂nas实现虚拟化计算部署的新方法

Country Status (1)

Country Link
CN (1) CN103377069A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856354A (zh) * 2014-03-07 2014-06-11 浪潮电子信息产业股份有限公司 一种集群存储***日志统一管理实现方法
CN105095641A (zh) * 2015-05-29 2015-11-25 努比亚技术有限公司 一种计算空间容量的方法和装置
CN105183868A (zh) * 2015-09-15 2015-12-23 浪潮(北京)电子信息产业有限公司 一种文件***日志的存储方法及装置
CN105224256A (zh) * 2015-10-13 2016-01-06 浪潮(北京)电子信息产业有限公司 一种存储***
CN109460390A (zh) * 2018-11-14 2019-03-12 郑州云海信息技术有限公司 一种日志存储方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040030822A1 (en) * 2002-08-09 2004-02-12 Vijayan Rajan Storage virtualization by layering virtual disk objects on a file system
US20050027785A1 (en) * 2003-07-28 2005-02-03 Erol Bozak Maintainable grid managers
US20070156842A1 (en) * 2005-12-29 2007-07-05 Vermeulen Allan H Distributed storage system with web services client interface
CN101808139A (zh) * 2010-03-31 2010-08-18 重庆索伦互联网信息服务有限公司 云环境中的数据存储***
CN101873336A (zh) * 2009-04-27 2010-10-27 上海融越信息技术有限公司 基于存储设备的nas虚拟文件***
CN102158546A (zh) * 2011-02-28 2011-08-17 中国科学院计算技术研究所 一种集群文件***及其文件服务方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040030822A1 (en) * 2002-08-09 2004-02-12 Vijayan Rajan Storage virtualization by layering virtual disk objects on a file system
US20050027785A1 (en) * 2003-07-28 2005-02-03 Erol Bozak Maintainable grid managers
US20070156842A1 (en) * 2005-12-29 2007-07-05 Vermeulen Allan H Distributed storage system with web services client interface
CN101873336A (zh) * 2009-04-27 2010-10-27 上海融越信息技术有限公司 基于存储设备的nas虚拟文件***
CN101808139A (zh) * 2010-03-31 2010-08-18 重庆索伦互联网信息服务有限公司 云环境中的数据存储***
CN102158546A (zh) * 2011-02-28 2011-08-17 中国科学院计算技术研究所 一种集群文件***及其文件服务方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙社文: "网络存储主流技术分析", 《北京工业职业技术学院学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856354A (zh) * 2014-03-07 2014-06-11 浪潮电子信息产业股份有限公司 一种集群存储***日志统一管理实现方法
CN105095641A (zh) * 2015-05-29 2015-11-25 努比亚技术有限公司 一种计算空间容量的方法和装置
CN105095641B (zh) * 2015-05-29 2018-04-03 努比亚技术有限公司 一种计算空间容量的方法和装置
CN105183868A (zh) * 2015-09-15 2015-12-23 浪潮(北京)电子信息产业有限公司 一种文件***日志的存储方法及装置
CN105224256A (zh) * 2015-10-13 2016-01-06 浪潮(北京)电子信息产业有限公司 一种存储***
CN109460390A (zh) * 2018-11-14 2019-03-12 郑州云海信息技术有限公司 一种日志存储方法及装置

Similar Documents

Publication Publication Date Title
US9569457B2 (en) Data processing method and apparatus for distributed systems
Li et al. Tachyon: Reliable, memory speed storage for cluster computing frameworks
Rao et al. Performance issues of heterogeneous hadoop clusters in cloud computing
Prabhakar et al. Provisioning a multi-tiered data staging area for extreme-scale machines
Moon et al. Introducing ssds to the hadoop mapreduce framework
CN104272386A (zh) 通过分层存储***内的数据迁移减少功耗
CN103377069A (zh) 一种基于日志文件写入外挂nas实现虚拟化计算部署的新方法
US20140215127A1 (en) Apparatus, system, and method for adaptive intent logging
Freitas et al. GPFS scans 10 billion files in 43 minutes
Costan et al. TomusBlobs: scalable data‐intensive processing on Azure clouds
CN104035522A (zh) 大数据库一体机
Bayati et al. Exploring benefits of nvme ssds for bigdata processing in enterprise data centers
Kibe et al. Proposal for improving throughput in supersaturated cloud
Zhu et al. Swapx: An nvm-based hierarchical swapping framework
Tong et al. Experiences in Managing the Performance and Reliability of a {Large-Scale} Genomics Cloud Platform
Ruan et al. Improving Shuffle I/O performance for big data processing using hybrid storage
Lee et al. Introspection of virtual machine memory resource in the virtualized systems
CN103744765A (zh) 一种虚拟化环境下的磁盘访问请求监控***及其方法
Deshmukh et al. Virtual Memory Optimization Techniques in Cloud Computing
Kang et al. A hybrid storage access framework for high-performance virtual machines
Nakashima et al. File Placing Control for Improving the I/O Performance of Hadoop in Virtualized Environment
CN204102026U (zh) 大数据库一体机
Wang et al. Evaluating non-in-place update techniques for flash-based transaction processing systems
WO2016060700A1 (en) File system journaling
CN103901962A (zh) 大容量存储***设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20131030

WD01 Invention patent application deemed withdrawn after publication