CN107924289B - 计算机***和访问控制方法 - Google Patents

计算机***和访问控制方法 Download PDF

Info

Publication number
CN107924289B
CN107924289B CN201580082774.6A CN201580082774A CN107924289B CN 107924289 B CN107924289 B CN 107924289B CN 201580082774 A CN201580082774 A CN 201580082774A CN 107924289 B CN107924289 B CN 107924289B
Authority
CN
China
Prior art keywords
queue
access
group
computer
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580082774.6A
Other languages
English (en)
Other versions
CN107924289A (zh
Inventor
佐藤功人
本村哲朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN107924289A publication Critical patent/CN107924289A/zh
Application granted granted Critical
Publication of CN107924289B publication Critical patent/CN107924289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/468Specific access rights for resources, e.g. using capability register
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • G06F13/16Handling requests for interconnection or transfer for access to memory bus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062Securing storage systems
    • G06F3/0622Securing storage systems in relation to access
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0626Reducing size or complexity of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659Command handling arrangements, e.g. command buffers, queues, command scheduling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/546Message passing systems or structures, e.g. queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45579I/O management, e.g. providing access to device drivers or storage
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45583Memory management, e.g. access or allocation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/52Program synchronisation; Mutual exclusion, e.g. by means of semaphores

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)
  • Information Transfer Systems (AREA)
  • Memory System (AREA)

Abstract

计算机***包括:具有存储器和多个CPU核心的至少一台计算机;和具有使用存储设备来构成的多个逻辑存储单元的存储子设备。在计算机中,在存储器构建有多个队列,对该多个队列的每一个分配多个CPU核心中的至少1个。队列是将从分配给该队列的CPU核心对逻辑存储单元发出的I/O命令入队而构成的。计算机***具有访问控制信息,该访问控制信息包含关于是否允许从各队列对各逻辑存储单元进行访问的信息。

Description

计算机***和访问控制方法
技术领域
本发明主要涉及计算机***的技术,特别涉及访问控制的技术。
背景技术
固态硬盘(Solid State Drive(SSD))等基于闪存的存储设备,与硬盘驱动器(Hard Disk Drive(HDD))相比具有非常高的I/O性能。作为用于连接这样的I/O性能比较高的存储设备的I/F标准,已知非易失性存储器标准(Non-volatile Memory Express(NVMe))(非专利文献1)。NVMe在命令发布源的设备驱动程序与存储设备之间能够具有多个用于处理命令的队列(提交队列(Submission Queue)和完成队列(Completion Queue))。由此,NVMe实现命令发布源的设备驱动程序与存储设备之间的通信速度的提高。
专利文献1中,公开了对于遵循NVMe的存储设备,使用在总线和接口标准(PCIExpress(PCIe))总线中存在的物理功能、和基于单根输入/输出虚拟化(Single RootInput Output Virtualization(SR-IOV))生成的虚拟功能,来使存储设备进行访问控制处理的方法。
现有技术文献
专利文献
专利文献1:美国专利第9003071号
非专利文献
非专利文献1:“NVM Express”Revision 1.1b July 2,2014
非专利文献2:Intel Virtualization Technoogy for Directed I/O,Architecture Specification,October 2014,Rev2.3
非专利文献3:AMD I/O Virtualization Technolgy(IOMMU)Specification,Rev2.62,February 2015,Pub#48882
非专利文献4:
http://www.synopsys.com/Japan/today-tomorrow/Pages/tt82_pci_expr ess_part2.aspx
发明内容
发明要解决的问题
以SR-IOV为前提的专利文献1中公开的技术中,在访问控制功能中也会产生SR-IOV引起的计算机上的制约。此处,只要没有特别声明,计算机就包括物理计算机和虚拟计算机双方。作为该制约的例子,有以下任意一项以上。
(制约1)PCIe中能够指定的功能的数量少。PCIe Gen2中仅准备了3bit,Gen3中即使使用Alternative Routing ID Interpretation(替代路由ID解释,ARI)也仅准备了8bit的Transaction Layer Packet(事务处理层包,TLP)头的路由ID字段。从而,只要存储设备不具有多个端点,就不能提供超过256个的功能。这使得专利文献1的技术中难以进行超过PCIe的最大功能数的独立的访问控制的设定,即使可能也需要在1个设备中具备多个端点。
(制约2)虚拟功能与物理功能相比能够用更少的硬件资源实现。非专利文献4中,公开了虚拟功能的门实现成本是物理功能的10分之1。但是,即使如此,为了生成大量的虚拟功能,在设备中也需要大量的硬件资源。
(制约3)计算机需要支持SR-IOV的基本输入输出***(Basic Input/OutputSystem(BIOS))、可扩展固件接口(Extensible Firmware Interface(EFI))、或者NVMe设备驱动程序。
本发明的目的在于提供一种带有由SR-IOV引起的制约少的访问控制的NVMe存储。本发明的其他目的将用实施例说明。
用于解决问题的技术方案
一个实施例的计算机***,包括:具有存储器和多个CPU核心的至少一台计算机;和具有使用存储设备来构成的多个逻辑存储单元的存储子设备。在计算机中,在存储器构建有多个队列,对该多个队列的每一个分配多个CPU核心中的至少1个。队列是将从分配给该队列的CPU核心对逻辑存储单元发出的I/O命令入队而构成的。计算机***具有访问控制信息,该访问控制信息包含关于是否允许从各队列对各逻辑存储单元进行访问的信息。
发明的效果
根据本发明,能够提供一种带有由SR-IOV引起的制约少的访问控制的NVMe存储。
附图说明
图1表示计算机***的逻辑结构的例子。
图2表示队列组操作命令、访问权操作命令的结构例。
图3表示队列分配请求、队列分配响应、队列释放请求的结构的例子。
图4表示第一队列生成请求、第一队列生成响应、队列删除请求的结构例。
图5表示I/O请求、I/O响应的结构的例子。
图6表示实施例1的计算机***的硬件结构的例子。
图7表示实施例1的计算机***的逻辑结构的例子。
图8表示ACL的结构的例子。
图9表示队列组表的结构例。
图10表示访问违例日志的结构例。
图11表示第二队列生成请求、第二队列生成响应的结构例。
图12表示队列分配管理画面的例子。
图13表示访问违例显示画面的例子。
图14是表示设备驱动程序装载时的动作例的流程图。
图15是表示设备驱动程序卸载时的动作例的流程图。
图16是表示队列管理机构的动作例的流程图。
图17是表示存储子控制器的动作例的流程图。
图18表示实施例2的计算机***的硬件结构的例子。
图19表示实施例2的计算机***的逻辑结构的例子。
图20表示GPA-HPA操作命令的结构例。
图21表示GPA-HPA变换表列表的结构例。
图22表示实施例3的计算机***的硬件结构的例子。
图23表示实施例3的计算机***的逻辑结构的例子。
具体实施方式
以下说明几个实施例。其中,在此后的说明中用“aaa表”、“aaa列表”、“aaa队列”等的记载来说明本发明的信息,但这些信息也可以用表、列表、队列等数据结构以外来记载。因此,为了表示不依赖于数据结构,对于“aaa表”、“aaa列表”、“aaa队列”等有时也称为“aaa信息”。另外,在说明各信息的内容时,有时使用“识别信息”、“识别符”、“名”、“名称”、“ID”这样的记载,但它们相互能够置换。
此后的说明中存在用“程序”作为主语进行说明的情况,但因为程序通过被处理器执行而使用存储器和通信端口(通信控制设备)进行规定的处理,所以也可以改为用处理器作为主语的说明。另外,用程序作为主语示出的处理也可以视为管理服务器等计算机、信息处理装置进行的处理。另外,程序的一部分或全部也可以用专用硬件实现。
另外,各种程序可以通过程序发布服务器、或计算机可读取的存储介质安装在各计算机中。该情况下,程序发布服务器包括CPU和存储资源,存储资源还存储发布程序和作为发布对象的程序。然后,通过由CPU执行发布程序,程序发布服务器的CPU将发布对象的程序对其他计算机发布。
另外,管理计算机具有输入输出设备。作为输入输出设备的例子可以考虑显示器、键盘和指点设备,但也可以是除此以外的设备。另外,作为输入输出设备的替代也可以用串行接口和以太网接口作为输入输出设备,在该接口上连接具有显示器或键盘或指点设备的显示用计算机,对显示用计算机发送显示用信息、或者从显示用计算机接收输入用信息,从而用显示用计算机进行显示、或者接受输入,由此代替输入输出设备中的输入和显示。
此后,有时将管理信息处理***、显示本申请发明的显示用信息的一台以上计算机的集合称为管理***。管理计算机对显示用信息进行显示的情况下管理计算机是管理***,并且管理计算机与显示用计算机的组合也是管理***。另外,为了管理处理的高速化和高可靠化可以用多台计算机实现与管理计算机等同的处理,该情况下该多台计算机(显示用计算机进行显示的情况下也包括显示用计算机)是管理***。
图1表示计算机***1的逻辑结构例。
计算机***1包括1个以上服务器装置200和存储子设备300。
存储子设备300具有存储介质、存储子控制器310和访问控制器400。存储介质由能够进行数据的读/写的非易失性存储介质构成,例如是闪存芯片。存储子控制器310控制存储子设备300整体,实现该存储子设备300具有的各种功能。存储子控制器310也可以将存储介质的存储区域分割为1个以上逻辑单元(称为“LU”)320进行管理。对各LU320也可以赋予ID。
访问控制器400管理和控制对各LU320的访问权。存储子设备300支持NVMe的情况下,对于访问目标的LU320的指定也可以使用命名空间(NameSpace(NS))。访问控制器400可以是由存储子控制器310执行的程序,也可以是在存储子设备300中搭载的专用电路。关于访问控制器400的功能的详情在后文中叙述。
服务器装置200具有1个以上CPU核心210、和存储器220。在存储器220中,可以构建能够从存储子控制器310访问的I/O队列500。另外,在存储器220中,可以保存作为一种程序的设备驱动程序230。设备驱动程序230可以由CPU核心210执行,进行I/O队列500的生成和删除等。
计算机***1具有队列管理机构110。队列管理机构110将对各服务器装置200分配的多个I/O队列500作为队列组来进行管理。关于队列管理机构110的功能的详情在后文中叙述。队列管理机构110可以是用某个服务器装置200执行的程序或者在该服务器装置200中搭载的专用电路。或者,队列管理机构110也可以是用能够与各服务器装置200和存储子设备300双向通信的规定的管理计算机执行的程序或者在该管理计算机中搭载的专用电路。或者,队列管理机构110也可以是用在将服务器装置200与存储子设备300连接的网络中存在的交换机装置执行的程序或者在该交换机装置中搭载的专用电路。
服务器装置200的CPU核心210在对该CPU核心210静态(固定)地分配的I/O队列500中,将作为一种I/O命令的I/O请求700入队,由此能够对存储子设备300请求I/O。未分配I/O队列500的CPU核心210不能对存储子设备300请求I/O。此处,“静态”指的是CPU核心210与I/O队列500的分配关系在中途不动态变更。
存储子设备300具有与多个I/O队列500分别对应的多个队列资源311。I/O队列500和与其对应的队列资源311的集合也可以分别赋予队列ID。
存储子设备300能够将入队至I/O队列500的I/O请求700对于与该I/O队列500对应的队列资源311出队,确定对该I/O队列500赋予的队列ID。
访问控制器400可以使用包含各队列ID对各LU ID的访问权的设定(例如是否允许访问的设定)的ACL410,以队列ID510的单位控制对各LU ID的访问权。或者,访问控制器400也可以使用包含属于各队列组ID的队列ID的信息的队列组表420和上述ACL410,以队列组ID为单位控制对各LU ID的访问权。
队列管理机构110和服务器装置200的设备驱动程序230发送接收关于队列的分配的管理命令620、630、640。另外,队列管理机构110和设备驱动程序230发送接收关于队列的生成的管理命令650、660、670。关于这些管理命令620、630、640、650、660、670的详情在后文中叙述。队列管理机构110和存储子设备300的访问控制器400发送接收关于队列组的操作的管理命令600、610。关于这些管理命令600、610的详情在后文中叙述。
接着,叙述确定对服务器装置200分配的队列的数量的处理的一例(步骤S11至S13)。
(S11)服务器装置200的设备驱动程序230将队列分配请求620(参考图3)对队列管理机构110发送。队列分配请求620中可以包含服务器装置200请求的队列的数量。该请求队列数可以是服务器装置200中搭载的CPU核心210的数量。
(S12)队列管理机构110接受队列分配请求620,确定对该队列分配请求620的发布源的服务器装置200分配的队列的数量。队列管理机构110预先管理存储子设备300的空白队列数,该空白队列数在请求队列数以上的情况下,可以确定对该服务器装置200分配请求队列数的队列。队列管理机构110在空白队列数不足请求队列数的情况下,可以确定对该服务器装置200分配该空白队列数的队列。然后,队列管理机构110将包含该确定了的分配队列数和这些分配了的队列的ID的队列分配响应630(参考图3)对设备驱动程序230发送。
(S13)设备驱动程序230接受队列分配响应630时,将该队列分配响应630中包含的队列ID的队列分别对CPU核心210分配。设备驱动程序230在分配队列数在服务器装置200具有的CPU核心210的数量以上的情况下,可以将1个队列ID对1个CPU核心210分配。设备驱动程序230在分配队列数不足服务器装置200具有的CPU核心210的数量的情况下,可以将1个队列ID对2个以上CPU核心210分配。该情况下,该2个以上CPU核心210共享该1个队列ID。
通过以上处理,确定对各服务器装置200分配的队列的数量。
接着,叙述在服务器装置200与存储子设备300之间生成队列的集合的处理的一例(步骤S21至S25)。服务器装置200生成通过上述步骤S11至S13而对自身分配的数量的队列。以下是生成其中1个队列的处理。
(S21)设备驱动程序230选择上述步骤S13中接受的队列分配响应630中包含的队列ID中的1个。然后,设备驱动程序230将包含该选择的队列ID的队列生成请求650(参考图4)对队列管理机构110发送。
(S22)队列管理机构110接受该队列生成请求650,对存储子设备300转发。
(S23)存储子设备300接受该队列生成请求650,生成与该队列生成请求650中包含的队列ID651对应的队列500和队列资源311的集合。然后,存储子设备300将队列生成响应660(参考图4)对队列管理机构110发送。
(S24)队列管理机构110接受该队列生成响应660,对设备驱动程序230转发。
(S25)设备驱动程序230接受该队列生成响应660。
通过以上处理,在服务器装置200与存储子设备300之间生成队列的集合。
接着,叙述使队列新归属于队列组的处理的一例(步骤S31至S32)。
(S31)队列管理机构110将作为一种管理命令的队列组操作命令600(参考图2)对存储子设备300发送。在队列组操作命令600中,可以包含队列组ID601、表示队列的“追加”的操作类型602、和要归属于该队列组ID601的1个以上队列ID604。
(S32)接受了该队列组操作命令600的访问控制器400,以队列ID604归属于队列组ID601的方式,变更队列组表420。
通过以上处理,队列组ID与队列ID的归属关系被反映至队列组表420。
接着,叙述变更对LU320的访问权的处理的一例。
(S41)队列管理机构110将作为一种管理命令的访问权操作命令610(参考图2)对存储子设备300发送。在访问权操作命令610中,可以包含变更对象的队列组ID611、表示变更后的访问权(例如“允许”或“拒绝”访问)的操作类型612、和变更对象的1个以上LUID614。
(S42)接受了该访问权操作命令610的访问控制器400操作ACL410,将从属于变更对象的队列组ID611的各队列ID对变更对象的LU ID614的访问权变更为变更后的访问权。
通过以上处理,能够以队列组为单位设定和变更访问权。
图2表示队列组操作命令600、访问权操作命令610的结构例。
队列组操作命令600是队列管理机构110用于操作队列组的管理命令。队列组操作命令600可以包含队列组ID601、操作类型602、和包含1个以上队列ID604的队列ID列表603作为项目值(字段值)。队列组ID601是作为操作对象的队列组的ID。
操作类型602是表示对ID601的队列组进行怎样的操作的信息。操作类型602“追加”可以表示对队列组ID601追加队列ID列表603中包含的队列ID604的操作。操作类型602“删除”可以表示从队列组ID601中删除队列ID列表603中包含的队列ID604的操作。
访问权操作命令610是队列管理机构110用于操作从队列组对各LU320的访问权的管理命令。访问权操作命令610可以包含队列组ID611、操作类型612、和包含1个以上LUID614的LU ID列表613作为项目值(字段值)。队列组ID611是该访问权操作命令610作为操作对象的队列组的ID。
操作类型612是表示对ID611的队列组设定怎样的访问权的信息。操作类型612“允许”可以表示将从属于队列组ID611的队列ID对LU ID列表613中包含的LU ID614的访问设定为允许的操作。操作类型612“拒绝”可以表示将从属于队列组ID611的队列ID对LU ID列表613中包含的LU ID614的访问设定为拒绝的操作。
图3表示队列分配请求620、队列分配响应630、队列释放请求640的结构例。
队列分配请求620是设备驱动程序230用于对队列管理机构110请求分配队列的管理命令。队列分配请求620可以包含请求队列数621作为项目值(字段值)。
请求队列数621是设备驱动程序230(服务器装置200)请求的队列的数量。典型而言,请求队列数621可以是包括数据驱动程序230的服务器装置200中搭载的CPU核心210的数量或该数以上。这是为了防止多个CPU核心210争用1个队列500、发生竞争。但是,请求队列数621也可以比服务器装置200中搭载的CPU核心210的数量少。该情况下,多个CPU核心210也可以共享1个队列500。
队列分配响应630是队列管理机构110用于对设备驱动程序230响应队列分配请求620的执行结果的管理命令。队列分配响应630可以包含分配队列数631、存储子设备信息632、队列ID列表633来作为项目值(字段值)。
分配队列数631是对设备驱动程序230分配的队列的数量。队列管理机构110在空白(未分配的)队列数为请求队列数621以上的情况下,可以使分配队列数631与请求队列数621相等。队列管理机构110在空白队列数不足请求队列数621的情况下,可以使分配队列数631比请求队列数621小(例如设为空白队列数)。
存储子设备信息632是访问存储子设备300所需的信息。存储子设备信息632的例子,是存储子设备300的IP地址。队列ID列表633中包含的队列ID634是对设备驱动程序230分配的队列的ID。
队列释放请求640是设备驱动程序230用于对队列管理机构110请求释放对自身的服务器装置200分配的队列的管理命令。
图4表示第一队列生成请求650、第一队列生成响应660、队列删除请求670的结构例。
第一队列生成请求650是队列管理机构110用于对存储子设备300请求生成队列的管理命令。队列管理机构110在从设备驱动程序230接受了例如如图11所示的第二队列生成请求680的情况下,可以基于该第二队列生成请求680生成第一队列生成请求650,将其对存储子设备300发送。
第一队列生成请求650可以包含队列ID651、基地址652、条目数653作为项目值(字段值)。队列ID651是请求生成的队列的ID。基地址652是服务器装置200的存储器220中的、生成ID651的队列的地址。条目数653是ID651的队列中能够添加条目的数量。
送出第一队列生成请求650的设备驱动器230,可以在该请求650中包含的存储器220的基地址652,在存储器220中获取根据条目数651计算出的长度的存储器区域,生成与队列ID651对应的I/O队列500。
接受了第一队列生成请求650的内容的存储控制器310,可以生成与该请求650中包含的队列ID651对应的队列资源311。
第一队列生成响应660是设备驱动程序230用于对队列管理机构110响应第一队列生成请求650的执行结果的管理命令。存储控制器310可以生成包含第一队列生成请求650的执行结果的第一队列生成响应660,将其对队列管理机构110发送。接受了第一队列生成响应660的队列管理机构110,可以基于该第一队列生成响应660,生成例如如图11所示的第二队列生成响应690,将其对设备驱动程序230发送。
第一队列生成响应660可以包含状态661作为项目值(字段值)。状态661是表示队列生成请求650的执行结果的信息。状态661的例子是队列生成的“成功”、“失败”等。
队列删除请求670是设备驱动程序230用于对队列管理机构110请求删除队列的管理命令。接受了队列生成删除670的队列管理机构110对于该队列删除请求670,可以保持原样地对存储子设备300转发,也可以变换为规定的方式后转发。
队列删除请求可以包含队列ID671作为项目值(字段值)。队列ID671是请求删除的队列的ID。
接受了队列删除请求670的存储控制器310,删除与该请求670中包含的队列ID671对应的队列资源311。另外,设备驱动程序230删除与队列ID671对应的I/O队列500,释放主存储器220中的存储器区域。
图5表示I/O请求700、I/O响应710的结构例。
I/O请求700是服务器装置200的CPU核心210用于对存储子设备300的LU320请求数据的写/读等的I/O命令。CPU核心210在与对自身静态地分配的队列ID对应的I/O队列500中,将I/O请求700入队,由此能够对存储子设备300发送I/O请求700。I/O请求700可以包含LU ID705、操作类型701、逻辑块地址702、长度703、缓冲地址704作为项目值(字段值)。
LU ID705是访问目标的LU320的ID。
操作类型701是表示对ID705的LU320进行怎样的I/O操作的信息。操作类型701的例子是“写”、“读”、“删除”等。
逻辑块地址702是ID705的LU320中的、访问目标的逻辑块的地址。
长度703在操作类型701是“写”的情况下,是写入数据的长度。在操作类型701是“读”的情况下,是读取数据的长度。
缓冲地址704在操作类型701是“写”的情况下,是保存了写入数据的存储器220的地址。缓冲地址704在操作类型701是“读”的情况下,是用于保存读取数据的存储器220的地址。
I/O响应710是用于使存储子控制器310对服务器装置200的CPU核心210响应I/O请求700的执行结果的I/O命令。存储子控制器310在与对发送目标的CPU核心210静态地分配的队列ID对应的I/O队列500中,将I/O响应710入队,由此能够对CPU核心210发送I/O响应710。I/O响应710可以包含状态711、和(如果需要)错误信息712作为项目值(字段值)。
状态711是表示I/O请求700的执行结果的信息。状态711的例子是I/O的“成功”、“失败”等。
错误信息712在状态711是“失败”的情况下,是表示该失败的理由的信息。
上述这些命令可以在该命令的数据结构中直接包含项目值。或者,也可以在能够从服务器装置200、队列管理机构110、和存储子设备300访问的规定的存储区域中保存上述项目值,在命令中仅包含指向该存储区域的地址(指针)。命令可以还包含用于将请求与响应关联的ID等、存储子设备300动作所需的信息。
实施例1
图6表示实施例1的计算机***1a的硬件结构例。图7表示实施例1的计算机***1a的逻辑结构例。
计算机***1a具有第一服务器装置200a、和1个以上第二服务器装置200b。第一服务器装置200a可以具有CPU210a、存储器220a、NIC、和存储子设备300。这些要素例如可以经由PCIe总线240可双向通信地连接。第二服务器装置200b可以具有CPU210b、存储器220b、NIC。这些要素例如可以经由PCIe总线可双向通信地连接。第一服务器装置200a与第二服务器装置200b可以经由网络250可双向通信地连接。网络250的例子是Ethernet(注册商标)、光纤信道(Fibre Channel)、和无限带宽技术(InfiniBan)。
在第一服务器装置200a的存储器220a中,可以保存用于实现队列管理机构110a的程序、和用于实现设备驱动程序230a的程序。在存储器220a中,可以设置用于保存在第一服务器装置200a的CPU核心210a与存储子设备300之间交换的I/O命令700、710的I/O队列500a。在存储器220a中,可以设置用于保存在第二服务器装置200b的CPU核心210b与存储子设备300之间交换的I/O命令700、710的I/O队列500b。该情况下,第二服务器装置200b的CPU核心210b可以对第一服务器装置220a的存储器220a的I/O队列500b用远程直接数据存取(Remote Direct Memory Access(RDMA))发送I/O命令。
在存储器220a中,可以设置用于保存在队列管理机构110a与存储子设备300之间交换的管理命令600、610、640、650、660的管理队列501。
在存储器220a中,可以保存将第一服务器装置200a的CPU核心210a与I/O队列500a关联的设备驱动程序230a。该情况下,设备驱动程序230a和队列管理机构110a存在于同一第一服务器装置220a中,所以可以用本地回环发送接收管理命令。
在第二服务器装置200b的存储器220b中,可以保存将第二服务器装置200b的CPU核心210b与I/O队列500b关联的设备驱动程序230b。该情况下,设备驱动程序230b与队列管理机构110a可以经由网络250发送接收管理命令。
存储子设备300具有存储介质、存储子控制器310a、和访问控制器400。这些要素具有的功能如以上说明所述。访问控制器400管理ACL410、队列组表420、访问违例日志430。
图8是ACL410的结构例。
ACL410是各队列ID对于各LU ID的访问权(是否允许访问)的设定信息。ACL410如图8所示,可以是由多个队列ID和多个LU ID构成的二维比特图(bitmap)。
访问控制器400可以用以下(A1)至(A3)的处理判断是否允许队列ID对于LU ID的访问。
(A1)访问控制器400确定将I/O请求700出队的队列的ID、和该I/O请求700内的LUID705。
(A2)访问管理程序400从ACL410中取得由该识别的LU ID和队列ID确定的比特(称为“访问控制比特”)。
(A3)访问控制器400在该取得的访问控制比特是“0”的情况下,可以将从上述(A1)中确定了的队列ID的队列出队的I/O请求的、对于上述(A1)中识别的LU ID的LU320的访问判断为“拒绝”。访问控制器400在该取得的访问控制比特是“1”的情况下,可以将从上述(A1)中确定了的队列ID的队列出队的I/O请求的、对于上述(A1)中确定了的LU ID的LU320的访问判断为“允许”。
通过以上处理,访问控制器400能够判断是否允许I/O请求700对于LU320的访问。另外,也可以与上述相反地,将访问控制比特“1”设为“拒绝”,将访问控制比特“0”设为“允许”。或者,也可以使访问控制比特成为多值的,使其具有“拒绝”、“允许”以外的含义。ACL410(比特图)的长度可以基于存储子设备300可取的最大队列数与最大LU数的积确定。
访问控制器400可以用以下(B1)至(B4)的处理变更ACL410。
(B1)访问控制器400基于从队列管理机构110a接受的访问权操作命令610,确定作为变更对象的队列组ID和LU ID、和变更后的访问控制比特(“1”(允许)或“0”(拒绝))。
(B2)访问控制器400基于队列组表420(参考图9),取得与变更对象的队列组ID对应的队列ID比特串。队列ID比特串可以是属于该队列组ID的队列ID的比特是“1”、不属于该队列组ID的队列ID的比特是“0”。
(B3)访问控制器400对于上述(B2)中取得的队列ID比特串的各比特,变更为与变更后的访问控制比特“1”(允许)或“0”(拒绝)的逻辑与。即,变更为允许访问“1”的情况下,队列ID比特串的“1”的部分保持原样。变更为拒绝访问“0”的情况下,队列ID比特串的“1”的部分成为“0”。
(B4)访问控制器400在ACL410中,将与变更对象的LU ID对应的全部队列ID的访问控制比特置换为上述(B3)中变更为逻辑与的队列ID比特串。此时,访问控制器400可以为了不输出访问控制比特而进行互斥控制。
图9是队列组表420的结构例。
队列组表420是用于管理属于队列组ID的队列ID的表。队列组表420如图9所示,可以是由多个队列ID和多个队列组ID构成的二维比特图。
上述(B2)的取得队列ID比特串,可以是从队列组表420按列取得与变更对象的队列组ID对应的各队列ID的比特。
访问控制器400可以用以下处理变更队列组表420。
访问控制器400在对队列组ID追加队列ID的情况下,将队列组表420中的、由该队列组ID和该队列ID确定的比特变更为“1”。
访问控制器400在从队列组ID删除队列ID的情况下,将队列组表420中的、由该队列组ID和该队列ID确定的比特变更为“0”。
访问控制器400通过使用图8和图9说明的上述处理,能够将ACL410中的、属于队列组ID的多个队列ID的对于变更对象的LU ID的访问权一并变更。如果对于ACL410的LU ID逐个变更属于队列组ID的各队列ID的访问控制比特,则在该变更途中,该队列组中同时存在允许访问的队列、和拒绝访问的队列。这样,可能发生在1个服务器装置200中运行的OS使用某一个CPU核心210时能够访问LU320,但是用其他CPU核心210时不能访问同一个LU320的现象。即,可能发生OS不能正常运行的问题。但是,根据使用图8和图9说明的上述处理,能够以对1个服务器装置200搭载的CPU核心230分配的队列ID所属于的队列组为单位,将对于LU320的访问权一并变更,所以能够防止这样的问题。
图10是访问违例日志430的结构例。
在访问违例日志430中,记录入队到队列的I/O请求中拒绝访问(违例)的I/O请求的数量等。访问控制器400可以按每个队列组对该拒绝访问的I/O请求的数量计数,在访问违例日志中记录。
访问违例日志430可以包含队列组ID1001、读违例数1002、和写违例数1003作为项目值(字段值)。队列组ID1001是队列组的ID。在该队列组ID1001中,可以仅记载活动的队列组ID。读违例数1002是入队到属于ID1001的队列组的某个队列且拒绝访问的读请求的数量。写违例数1202是入队到属于ID1003的队列组的某个队列且拒绝访问的写请求的数量。另外,访问违例日志430也可以还具有用于记录其他未允许的操作的项目值。
这样,通过以队列组的单位对访问违例数进行计数,能够容易地识别拒绝访问的I/O请求的发出数量极端地多的服务器装置。
图11表示第二队列生成请求680、第二队列生成响应690的结构例。
第二队列生成请求680是设备驱动程序230用于对队列管理机构110a请求生成队列的管理命令。队列管理机构110a在从设备驱动程序230接受了第二队列生成请求680的情况下,可以基于该第二队列生成请求680,生成例如如图4所示的第一队列生成请求650,将其对存储子设备300发送。
第二队列生成请求680可以包含队列ID681和条目数683作为项目值(字段值)。队列ID681可以与第一队列生成请求650的队列ID651相同。条目数683可以与第一队列生成请求650的条目数653相同。
第二队列生成请求680也可以不包含相当于第一队列生成请求650的基地址651的项目值。这是因为如图7所示,与第二服务器装置200b相关的I/O队列500b设置在第一服务器装置200a的存储器220a中。但是,也可以将与该I/O队列500b关联的缓冲设置在第二服务器装置200b的存储器220b中。
第二队列生成响应690是用于使队列管理机构110a对设备驱动程序230响应第二队列生成请求680的执行结果的管理命令。例如从存储子设备300接受了如图4所示的第一队列生成响应660的队列管理机构110a可以基于该第一队列生成响应660生成第二队列生成响应690,将其对设备驱动程序230发送。
第二队列生成响应690可以包含状态691、基地址692、门铃地址693作为项目值(字段值)。状态691可以与第一队列生成响应660的状态661相同。基地址692是在第一服务器装置200a的存储器220a中设置的I/O队列500b的地址。门铃地址693是用于对存储控制器310通知I/O请求700入队至I/O队列500b的寄存器的地址。该寄存器的地址可以是第一服务器装置200a的存储器220a中的地址。
图12是队列分配管理画面1000的例子。
队列分配管理画面1000是用于显示和设定队列分配管理列表1010的内容的画面。队列分配管理列表1010可以由队列管理机构110a管理。队列管理机构110a可以使用队列分配管理列表1010生成和显示队列分配管理画面1000。
队列分配管理列表1010可以具有服务器ID1011、最大队列数1012、队列组ID1013、分配队列ID1014、允许访问LU ID1015作为项目值(字段值)。服务器ID1011是服务器装置200的ID。最大队列数1012是能够对ID1011的服务器装置200分配的最大的队列数。队列组ID1013是与ID1011的服务器装置200关联的队列组的ID。分配队列ID1014是属于ID1013的队列组的队列的ID。允许访问LU ID1015是允许从属于队列组ID1013的队列ID1014访问的LU320的ID。
图12的队列分配管理画面1000的第1行的记录,表示对于服务器ID1011“1”的服务器装置200关联队列组ID1013“1”,队列ID1014“0”至“7”属于该队列组ID1013“1”,允许入队至这些队列ID1014的I/O请求700访问LU ID1010“1”至“3”的LU320。
管理者可以操作队列分配管理画面1000的操作项目1016的按钮,删除队列分配管理列表1010的记录,或者修改记录的各项目值1012至1015。或者,存储管理部100也可以自动地设定和变更队列分配管理列表1010的各项目值1012至1015。
图13是访问违例显示画面1300的例子。
访问违例显示画面1300是用于显示访问违例日志430的内容的画面。队列管理机构110a可以将存储子设备300的访问违例日志430的内容显示在访问违例显示画面1300中。或者,队列管理机构110a可以轮询地确认各I/O队列500,同时计数对入队至I/O队列500的I/O请求700返回了包含拒绝访问的错误的I/O响应510的数量,将其结果显示在访问违例显示画面1300中。
队列管理机构110a在管理多个存储子设备300的情况下,也可以将对该多个存储子设备300的访问违例的数量的合计显示在访问违例显示画面1300中。访问违例日志430也可以直接映射至PCIe的地址空间。或者,存储控制器310也可以使用专用的管理命令将访问违例日志430对队列管理机构110a发送。
在访问违例显示画面1300中,可以显示服务器ID1301、队列组ID1302、允许访问LUID1303、违例数1304、读违例数1305、写违例数1306作为项目值。服务器ID1301、队列组ID1302、允许访问LU ID1303如以上说明所述。访问违例数1304是从属于ID1032的队列组ID的队列发出访问违例的I/O请求700的次数。读违例数1305是从属于ID1302的队列组ID的队列发出访问违例的读请求的次数。写违例数1306是从属于ID1302的队列组ID的队列发出访问违例的写请求的次数。
图14是表示设备驱动程序230被装载至服务器装置200之后的动作例的流程图。
(S100)设备驱动程序230与队列管理机构110a之间形成管理命令用的通信路径。然后,前进至步骤S101。
(S101)设备驱动程序230对队列管理机构110a发送队列分配请求620。然后,前进至步骤S102。
(S102)设备驱动程序230,设备驱动程序230从队列管理机构110a接受队列分配响应630时,前进至步骤S103。
(S103)设备驱动程序230从队列分配响应630中包含的队列ID634中选择1个未生成的队列ID,生成包含该选择的队列ID和条目数682的第二队列生成请求680。然后,设备驱动程序230将该第二队列生成请求680对队列管理机构110a发送。然后,前进至步骤S104。
(S104)设备驱动程序230从队列管理机构110a接受第二队列生成响应690时,从该接受的队列生成响应690中取得基地址692和门铃地址693。然后,前进至步骤S105。
(S105)设备驱动程序230将步骤S103中选择的队列ID的I/O队列500分配至1个以上CPU核心210。然后,前进至步骤S106。
(S106)设备驱动程序230中,如果对于队列分配响应630中包含的全部队列ID都已结束处理(是),则前进至步骤S110,如果剩余有未处理的队列ID(否),则返回步骤S103。
(S110)设备驱动程序230在从CPU核心210(或OS)接受了I/O请求700的情况下(是),前进至步骤S111,并非如此的情况下(否),反复步骤S110。
(S111)设备驱动程序230将从CPU核心210接受的I/O请求700入队至对该CPU核心210分配的队列500。之后,设备驱动程序230在门铃地址693中写入有I/O请求700入队至该队列500的信息。存储子控制器310能够通过该门铃地址693的变更,检测出有I/O请求700入队至I/O队列500。I/O请求700对I/O队列500的入队,在通信手段是无限带宽(InfiniBand)的情况下,可以用“RDMA Write(远程直接内存写入)”进行。然后,前进至步骤S112。
(S112)设备驱动程序230接受I/O响应710。设备驱动程序230可以通过使用轮询的I/O队列500的返回侧的状态监视、或者来自存储管理部100的通知等,检测出从存储子设备300发送了该I/O响应710。上述状态监视或通知在通信手段是无限带宽(InfiniBand)的情况下,可以用“RDMA Read(远程直接内存读取)”进行。然后,返回步骤S110。
通过以上处理,存储装置200的各CPU核心210能够对存储子设备300发送I/O请求700。
图15是表示从服务器装置200卸载设备驱动程序230的动作例的流程图。
(S201)设备驱动程序230对于对CPU核心210分配中的1个队列ID解除分配。然后,前进至步骤S202。
(S202)设备驱动程序230将包含解除了分配的队列ID671的队列删除请求670对队列管理机构110a发送。然后,前进至步骤S203。
(S203)设备驱动程序230在对于分配中的全部队列ID解除分配结束的情况下(是),前进至步骤S204,并非如此的情况下(否),返回步骤S201。
(S204)设备驱动程序230将队列释放请求640对队列管理机构110a发送。然后,前进至步骤S205。
(S205)设备驱动程序230删除与队列管理机构110a之间的管理命令用的通信路径。
通过以上处理,能够将对存储装置200分配的I/O队列500全部释放。
图16是表示队列管理机构110a的动作例的流程图。
(S300)队列管理机构110a判断是否接受了队列分配请求620、队列释放请求640、第二队列生成请求680、队列删除请求670中的某一者。
<接受了队列分配请求620的情况>
(S311)队列管理机构110a从事先设定的队列分配管理列表中,确定具有该队列分配请求620的发送源的服务器ID1011的记录。然后,队列管理机构110a对该确定的记录的最大队列数1012、与该队列分配请求620的请求队列数621进行比较,将较小的一方确定为分配队列数。然后,前进至步骤S312。
(S312)队列管理机构110a确定存储子设备300中的未使用的队列资源311的队列ID。队列管理机构110a生成包含相当于分配队列数631的未使用的队列ID的队列ID列表。然后,前进至步骤S313。
(S313)队列管理机构110a生成在队列组ID601中设定队列ID的追加对象的队列组ID、在操作类型602中设定“追加”、在队列ID列表603中设定步骤S312中生成的队列ID列表的队列组操作命令600。然后,队列管理机构110a将该生成的队列组操作命令600对存储子设备300发送。由此,对ID601的队列组追加队列ID列表603中包含的队列ID604。即,生成队列组ID601。然后,前进至步骤S314。
(S314)队列管理机构110a从步骤S311中确定的队列分配管理列表的记录中,取得允许访问LU ID1015。然后,队列管理机构110a生成包含该取得的允许访问LU ID的LU ID列表。然后,前进至步骤S315。
(S315)队列管理机构110a生成在队列组ID611中设定访问权的操作对象的队列组ID、在操作类型612中设定“允许”访问、在LU ID列表613中设定步骤S314中生成的LU ID列表的访问权操作命令610。然后,队列管理机构110a将该生成的访问权操作命令600对存储子设备300发送。由此,允许从队列组ID611对LU ID列表613中包含的LU ID614的访问。然后,前进至步骤S316。
(S316)队列管理机构110a将关于对队列组ID追加队列ID、和允许从队列组ID对LUID访问的变更内容反映至队列分配管理列表。然后,前进至步骤S317。
(S317)队列管理机构110a生成在分配队列数631中设定步骤S311中确定的分配队列数、在队列ID列表633中设定步骤S312中生成的队列ID列表的队列分配响应630。然后,队列管理机构110a将该生成的队列分配响应630对设备驱动程序230发送。然后,返回步骤S300。
通过以上处理,设备驱动程序230能够得知能够对自身分配的队列数。
<接受了队列释放请求640的情况>
(S321)队列管理机构110a从队列分配管理列表中确定具有该队列释放请求640的发送源的服务器ID1011的记录。然后,队列管理机构110a生成在队列组ID601中设定该确定的记录的队列组ID1013、在操作类型602中设定“删除”的队列组操作命令600。然后,队列管理机构110a将该生成的队列组操作命令600对存储子设备300发送。然后,前进至步骤S322。
(S322)队列管理机构110a从队列分配管理列表中确定具有该队列释放请求640的发送源的服务器ID1011的记录。然后,队列管理机构110a将该确定的记录中的已分配队列ID1014全部删除。然后,返回步骤S300。
通过以上处理,能够将不需要的队列释放,重新利用。
<接受了第二队列生成请求680的情况>
(S331)队列管理机构110a基于第二队列生成请求680的条目数683,计算出队列ID682的队列的长度。然后,队列管理机构110a在第一服务器装置200a的存储器220a中,获取该计算出的长度的存储区域。然后,前进至步骤S322。
(S332)队列管理机构110a生成在队列ID654中设定第二队列生成请求680的队列ID681、在基地址651中设定在上述存储器220a中获取的存储区域的地址、在条目数652中设定第二队列生成请求680的条目数652的第一队列生成请求650。然后,存储管理部100将该生成的第一队列生成请求650对存储子设备300发送。
(S333)队列管理机构110a从存储子设备300接受第一队列生成响应660时(是),前进至步骤S334。
(S334)队列管理机构110a生成在状态691中设定第一队列生成响应660的状态661、在基地址691中设定为了队列获取的基地址651、在门铃地址692中设定门铃用的存储区域的地址的第二队列生成响应690。然后,队列管理机构110a将该生成的第二队列生成响应690对设备驱动程序230发送。然后,返回步骤S300。
通过以上处理,生成队列。
<接受了队列删除请求670的情况>
(S341)队列管理机构110a将该队列删除请求670对存储子设备300转发。
(S342)队列管理机构110a从存储子设备300接受队列删除响应660时(是),前进至步骤S343。
(S343)队列管理机构110a将该接收的队列删除响应660对设备驱动程序230转发。然后,前进至步骤S344。
(S344)队列管理机构110a释放为了队列删除请求670的队列ID654的队列获取的存储区域。然后,返回步骤S300。
通过以上处理,删除队列。
图17是表示存储子控制器310的动作例的流程图。
(S401)存储子控制器310从队列管理机构110a接受了管理命令的情况下(是),前进至步骤S402,并非如此的情况下(否),前进至步骤S440。
(S402)存储子设备300中,如果步骤S401中接受的管理命令是“访问权操作命令”则前进至步骤S410,如果是“队列组操作命令”则前进至步骤S420。
(S440)存储子控制器310从设备驱动程序230接收了I/O请求700的情况下(是),前进至步骤S441,并非如此的情况下(否),返回步骤S401。
<接受了访问权操作命令的情况>
(S410)存储子控制器310使用队列组表420,取得与访问权操作命令610的队列组ID611对应的队列ID比特串421。然后,前进至步骤S411。
(S411)存储子控制器310从访问权操作命令610的LU ID列表613中,选择1个尚未进行访问控制比特的变更处理的LU ID614。然后,存储子设备300使用该选择的LU ID614、访问权操作命令610的操作类型612(“允许”或“拒绝”)、和步骤S410中取得的队列ID比特串421,将与该选择的LU ID614对应的ACL410的全部访问控制比特一并变更。然后,前进至步骤S412。
(S412)存储子控制器310中,对于访问权操作命令610的LU ID列表613内的全部LUID614,如果访问控制比特的变更处理已结束则返回步骤S401,如果剩余有尚未进行变更处理的LU ID614则返回步骤S411。
通过以上处理,能够将属于队列组的多个队列对于LU的访问权一并变更。由此,能够防止在访问权的变更途中、在队列组中允许访问的队列和拒绝访问的队列同时存在的问题。
<接受了队列组操作命令的情况>
(S420)存储子控制器310中,如果队列组操作命令600的操作类型602是“追加”(是),则前进至步骤S421,如果其操作类型602是“删除”(否),则前进至步骤S430。
(S421)存储子控制器310对于队列组表420,将与队列组操作命令600的队列组ID601对应的全部比特初始化为“0”(拒绝)。然后,前进至步骤S422。
(S422)存储子控制器310在队列组表420中,将由队列组操作命令600的队列组ID601、和队列ID列表603中包含的各队列ID604确定的比特变更为“1”(允许)。然后,返回步骤S401。
(S430)存储子控制器310从队列组表420中取得与队列组操作命令600的队列组ID601对应的队列ID比特串421。然后,前进至步骤S431。
(S431)存储子控制器310对于ACL410中的全部LU ID的比特串,将与步骤S430中取得的队列ID比特串的“1”对应的部分的比特变更为“0”(拒绝)。然后,前进至步骤S432。
(S432)存储子控制器310对于队列组表420中的、队列组操作命令600的队列组ID601的比特串,将属于该队列组ID601的队列ID的部分的比特变更为“0”。另外,存储子控制器110从访问违例日志430中删除与队列组ID601对应的记录。然后,返回步骤S401。
通过以上处理,基于来自队列管理机构110a的指示,变更队列组表420。
<接受了I/O请求的情况>
(S441)存储子控制器310从ACL410中取得由I/O请求700入队的队列的ID500和I/O请求700的LU ID705确定的访问控制比特。然后,前进至步骤S442。
(S442)存储子控制器310中,如果该取得的访问控制比特是“1”(允许)则前进至步骤S450,如果是“0”(拒绝)则前进至步骤S460。
(S450)存储子控制器310执行基于I/O请求700的操作类型701的处理(读处理、写处理等)。然后,前进至步骤S451。
(S451)存储子控制器310生成在状态711中设定“成功”的I/O响应710,将该I/O响应710对设备驱动程序230发送。然后,返回步骤S401。
(S460)存储子控制器310生成在状态711中设定“失败”、在错误信息712中设定“拒绝访问”的I/O响应710,将该I/O响应710对设备驱动程序230发送。然后,返回步骤S401。
通过以上处理,执行从设备驱动程序230发出的I/O请求。
实施例2
图18表示实施例2的计算机***1b的硬件结构例。图19表示实施例2的计算机***1b的逻辑结构例。
计算机***1b具有服务器装置200c。服务器装置200c具有CPU210、存储器220和存储子设备300。这些要素经由PCIe总线240可双向通信地连接。
在服务器装置200c的存储器220中,可以保存用于实现队列管理机构110b的程序、用于实现设备驱动程序230的程序。服务器装置200c可以具有用于实现VM201的虚拟化机构(例如虚拟机管理器(hypervisor))。虚拟化机构可以是程序,也可以是专用的硬件芯片。服务器装置200c能够使用虚拟化机构使1个以上VM201运行。各VM201可以具有虚拟的CPU211、虚拟的存储器221,运行客户OS。
在VM201的存储器221中,可以保存设备驱动程序231。该设备驱动程序231可以具有与实施例1的设备驱动程序230同样的功能。对于各VM201,可以分配I/O队列500。
计算机***1b能够使用与队列组520关联地将VM(客户OS)的物理地址(GuestPhysical Address(GPA))对存储子设备300通知用的管理命令800。这是因为涉及VM201。
存储子设备300具有输入输出内存管理单元(Input/Output Memory ManagementUnit(IOMMU))330。IOMMU330可以具有参考GPA-HPA变换表列表331,将GPA与HPA相互变换的功能。
VM201的CPU211将I/O请求700入队至对该CPU211分配的队列500。VM201的CPU211在该I/O请求700的缓冲地址704中,设定VM201的存储器221的地址即GPA。GPA需要变换为服务器装置220c的存储器220的地址即主机物理地址(Host Physical Address(HPA))。IOMMU330具有将该GPA与HPA相互变换的功能。本实施例的IOMMU330具备在存储子设备300中,具有以队列组单位进行从GPA到HPA的变换的功能。
图20表示GPA-HPA操作命令800的结构例。
GPA-HPA操作命令800是用于支持按队列组单位从GPA到HPA的变换操作的命令。GPA-HPA操作命令800可以包含队列组ID803、操作类型801、GPA-HPA变换表地址802作为项目值(字段值)。
队列组ID803是该GPA-HPA操作命令800作为操作对象的队列组的ID。操作类型801是表示对ID803的队列组进行怎样的操作的信息。HPA-HPA变换表地址802是表示GPA-HPA变换表221的保存目标的地址。
接着,用图12说明实施例2的队列分配管理画面的例子。
实施例2的队列分配管理列表除了将服务器ID1011改为VM ID以外,可以具有与图12所示的队列分配管理列表相同的项目值(字段值)。VM ID是VM201的ID。从而,实施例2的队列分配管理画面可以是将图12的服务器ID1011改为VM ID的画面。
接着,用图13说明实施例2的访问违例显示画面的例子。
在实施例2的访问违例显示画面中,除了将服务器ID1301改为VM ID以外,可以显示与图13所示的访问违例显示画面1300相同的项目值。
图21是GPA-HPA变换表列表340的结构例。
GPA-HPA变换表列表340是将队列组与GPA-HPA变换表关联的列表。GPA-HPA变换表列表340可以具有队列组ID、和保存了GPA-HPA变换表的起始地址作为项目值(字段值)。
与由VM201的CPU221入队至队列500的I/O请求700相关的缓冲地址704是GPA。从而,接受了该I/O请求700的存储子控制器310需要用例如以下(C1)至(C5)的处理将缓冲地址704(GPA)变换为HPA。
(C1)存储子控制器310确定取得I/O请求700的队列所属于的队列组ID。
(C2)存储子控制器310从GPA-HPA变换表列表340取得与该确定的队列组ID对应的GPA-HPA变换表的起始地址681。
(C3)存储子控制器310将缓冲地址704(GPA)、和该取得的GPA-HPA变换表的起始地址681对IOMMU330输入。
(C4)IOMMU330基于在该起始地址681中保存的GPA-HPA变换表,将输入的GPA变换为HPA,对存储子控制器310返回。服务器装置200c由Intel公司制造的CPU和芯片组构成的情况下,可以基于非专利文献2中记载的规格进行GPA-HPA变换。服务器装置200c由AMD公司制造的CPU和芯片组构成的情况下,可以基于非专利文献3中记载的规格进行GPA-HPA变换。
(C5)存储子设备300访问该取得的HPA。
接着,用图14和图15说明实施例2中的、在VM201中装载设备驱动程序231时和该设备驱动程序231卸载时的动作例。
实施例2的情况下,在图14的流程图中,省略与存储管理部100之间形成通信路径的步骤S100。另外,在图15的流程图中,省略删除该形成的通信路径的步骤S205。这是因为具有设备驱动程序231的VM201和存储管理部100实质上是在同一服务器装置200c中工作的程序,所以不需要形成通信路径。
接着,用图16说明实施例2的队列管理机构110b的动作例。此处,仅说明与图16所示的流程图不同的步骤,省略同样的步骤的说明。
<接受了队列分配请求620的情况>
代替步骤S311地,队列管理机构110b从事先设定的队列分配管理列表中,确定具有该队列分配请求620的发送源的VM ID的记录。然后,队列管理机构110b对该确定的记录的最大队列数1012、与队列分配请求620的请求队列数621进行比较,将较小的一方确定为分配队列数。然后,前进至步骤S312。
在步骤S316之后,队列管理机构110b生成在队列组ID803中设定访问控制对象的队列组ID、在操作类型801中设定“追加”、在GPA-HPA变换表地址802中设定GPA-HPA变换表221的保存目标的起始地址的GPA-HPA操作命令800。然后,队列管理机构110b将该GPA-HPA操作命令800对存储子控制器310发送。然后,前进至步骤S317。
<接受了队列释放请求640的情况>
代替步骤S322,队列管理机构110b从队列分配管理列表中,确定该队列释放请求640的发送源的VM ID的记录。然后,队列管理机构110b将该确定的记录的已分配队列ID1014全部删除。然后,返回步骤S300。
<接受了第二队列生成请求680的情况>
队列管理机构110b不实施步骤S331。
<接受了队列删除请求670的情况>
队列管理机构110b不实施步骤S344。
接着,用图17说明实施例2的存储子控制器310b的动作例。此处,仅说明与图17所示的流程图不同的步骤,省略同样的步骤的说明。
在步骤S402中,存储子控制器310b中,如果步骤S401中接受的管理命令是GPA-HPA操作命令800,则前进至以下步骤S470。
<接受了GPA-HPA操作命令800的情况>
(S470)存储子控制器310b从该GPA-HPA操作命令800中,取得队列组ID803、操作类型801、GPA-HPA变换表地址802。然后,存储子控制器310b在该取得的操作类型801是“追加”的情况下,将该取得的队列组ID803与GPA-HAP变换表地址802关联,追加至GPA-HPA变换表列表340。然后,返回步骤S401。
实施例3
图22表示实施例3的计算机***1c的硬件结构的例子。图23表示实施例3的计算机***1c的逻辑结构的例子。
计算机***1c具有1个以上服务器装置200d、和存储子设备300。服务器装置200d可以具有CPU210、存储器220、主机总线适配器(Host Bus Adaptor(HBA))340。这些要素可以经由PCIe总线240可双向通信地连接。各服务器装置200d的HBA340与存储子设备300可以经由网络250可双向通信地连接。网络250的例子是Ethernet(注册商标)、光纤信道(FibreChannel)、和无限带宽技术(InfiniBan)。另外,网络250也可以是PCIe总线。多个服务器装置200d能够访问1个存储子设备300。另外,在同一网络250内,可以存在多个存储子设备300。服务器装置200d能够使用虚拟化机构使1个以上VM201运行。VM201的结构可以与实施例2的情况相同。1个服务器装置200d内的多个VM201可以共享该服务器装置200d的HBA340。
实施例3中,HBA340可以具有访问控制器400。即,实施例3中,对于VM201的CPU211入队至队列500的I/O请求700的访问权,可以由HBA340的访问控制器400判断。然后,HBA340的访问控制器400判断允许该I/O请求700的访问的情况下,可以将与该I/O请求700对应的I/O请求900经由网络250对存储子设备300转发。HBA340的访问控制器400判断拒绝该I/O请求的访问的情况下,可以不将与该I/O请求700对应的I/O请求900对存储子设备300转发。I/O请求700和I/O请求900可以是相同的I/O命令,也可以变换为别的方式。可以是关于I/O请求700的I/O命令遵循NVMe规格,关于I/O请求900的I/O命令遵循SCSI规格。
在网络250的途中,可以存在进行通路控制的交换机装置。另外,该交换机装置可以具有独立的访问控制功能。访问控制功能例如可以是对每个HBA限制可用的网络带宽的功能、和限定可访问的存储子设备的功能(控制通路机构)等。
存储子设备300可以具有对于该存储子设备特有的访问控制功能。该访问控制功能可以是对每个网络连接口即Target Bus Adaptor(TBA)350显示可访问的LU320、或者以HBA340具有的ID单位限制对LU320的访问的功能。
这些访问控制功能可以是与实施例2中叙述的按队列组单位的访问控制功能联动的结构。该情况下,队列管理机构110c可以对上述交换机装置和/或存储子设备发出队列组操作命令600、和访问权操作命令610。
接着,用图17说明HBA340的访问控制程序400的动作例。此处,仅说明与图17所示的流程图不同的步骤,省略同样的步骤的说明。
在S450中,HBA340的访问控制器400将I/O请求700变换为I/O请求900,对存储子设备300发送。
在S451中,HBA340的访问控制器400从存储子设备300接受对于I/O请求900的I/O响应910之后,将该I/O响应910变换为I/O响应710。然后,将该I/O响应710对设备驱动程序231发送。
以上说明了几个实施例,但它们是用于说明本发明的举例,并不将本发明的范围限定于这些实施例。本发明也能够用其他各种方式执行。
符号说明
1:计算机***,200:服务器装置,300:存储子设备,10:队列管理机构,230:设备驱动程序,310:存储子控制器,400:访问控制器,210:CPU核心,201:VM,320:LU。

Claims (12)

1.一种计算机***,其特征在于,包括:
具有存储器和多个CPU核心的至少一台计算机;和
具有使用存储设备来构成的多个逻辑存储单元的存储子设备,
在所述计算机中,
在所述存储器构建有多个队列,
对该多个队列的每一个分配多个CPU核心中的至少1个,
队列是将从分配给该队列的CPU核心对逻辑存储单元发出的I/O命令入队而构成的,
所述计算机***具有访问控制器,该访问控制器判断是否允许从各队列对各逻辑存储单元进行访问。
2.如权利要求1所述的计算机***,其特征在于:
还具有用于将在所述计算机中所构建的多个队列作为组来管理的队列组信息,
所述队列组信息中,属于1个组的各队列的是否允许对各逻辑存储单元进行访问的信息,能够一并变更为相同的设定。
3.如权利要求2所述的计算机***,其特征在于:
所述计算机是在物理计算机中运行的虚拟计算机,
所述存储器和所述CPU核心分别是所述虚拟计算机具有的虚拟存储器和虚拟CPU核心,
所述物理计算机与所述存储子设备通过遵循非易失性存储器标准(Non-VolatileMemory Express,NVMe)的接口来连接,
所述存储子设备通过所述访问控制器,判断是否允许已入队到队列的I/O命令对逻辑存储单元进行访问,
由能够在所述物理计算机或规定的管理计算机执行的队列管理机构管理所述队列组信息。
4.如权利要求3所述的计算机***,其特征在于:
所述虚拟计算机向所述队列管理机构发送包含基于虚拟CPU核心的数量所确定的队列的请求数的队列分配请求命令,
所述队列管理机构基于从所述虚拟计算机接受到的队列请求命令中包含的队列的请求数,确定对该虚拟计算机分配的队列的数量,向所述存储子设备发送用于生成包含所确定的数量的队列的组的队列组生成命令。
5.如权利要求4所述的计算机***,其特征在于:
所述队列管理机构向所述存储子设备发送用于将所述队列组信息中关于属于1个组的全部队列的是否允许访问的信息一并变更为相同的设定的访问设定命令。
6.如权利要求4所述的计算机***,其特征在于:
所述队列管理机构将已入队到属于任一组的队列的I/O命令中的已判断为拒绝访问的I/O命令的数量,与构建有属于该组的队列的虚拟计算机关联地显示。
7.如权利要求2所述的计算机***,其特征在于:
所述计算机是在物理计算机中运行的虚拟计算机,
所述存储器和所述CPU核心分别是所述虚拟计算机具有的虚拟存储器和虚拟CPU核心,
还包括用于将所述物理计算机与所述存储子设备连接的适配器装置,
所述物理计算机与所述适配器装置通过遵循非易失性存储器标准(Non-VolatileMemory Express,NVMe)的接口来连接,
所述适配器装置通过所述访问控制器,判断是否允许已入队到队列的I/O命令对逻辑存储单元进行访问,
由能够在所述适配器装置执行的队列管理机构管理所述队列组信息。
8.如权利要求7所述的计算机***,其特征在于:
所述适配器装置在是否允许所述访问的判断结果是拒绝访问的情况下,不向所述存储子设备发送所述I/O命令。
9.如权利要求2所述的计算机***,其特征在于:
所述访问控制器包含访问控制信息,所述访问控制信息是由多个队列ID和多个逻辑存储单元ID构成的比特图,由1个队列ID和1个逻辑存储单元ID确定的比特表示是否允许从所确定的该队列ID对所确定的该逻辑存储单元ID进行访问。
10.如权利要求9所述的计算机***,其特征在于:
所述队列组信息是由多个组ID和多个队列ID构成的比特图,由1个组ID确定的比特串表示属于该组ID的队列ID。
11.如权利要求10所述的计算机***,其特征在于:
将是否允许从属于组ID的全部队列ID对各逻辑存储单元ID进行访问的信息一并变更为相同的设定是以下的处理:从所述队列组信息中取得与设定变更对象的组ID对应的队列ID的比特串,使用所取得的该队列ID的比特串、设定变更对象的逻辑存储单元ID和设定变更后的比特,将所述访问控制信息的比特串一并进行置换。
12.一种计算机***中的访问控制方法,其中所述计算机***包括:具有存储器和多个CPU核心的至少一台计算机;和具有使用存储设备来构成的多个逻辑存储单元的存储子设备,所述访问控制方法的特征在于:
在所述至少一台计算机中,在所述存储器构建多个队列,对该多个队列的每一个分配多个CPU核心中的至少一个,
在队列中,将从分配给该队列的CPU核心对所述逻辑存储单元发出的I/O命令入队时,使用判断是否允许从各队列对各逻辑存储单元进行访问的访问控制器,来判断是否允许该I/O命令对该逻辑存储单元进行访问。
CN201580082774.6A 2015-10-26 2015-10-26 计算机***和访问控制方法 Active CN107924289B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/080083 WO2017072827A1 (ja) 2015-10-26 2015-10-26 計算機システム、及び、アクセス制御方法

Publications (2)

Publication Number Publication Date
CN107924289A CN107924289A (zh) 2018-04-17
CN107924289B true CN107924289B (zh) 2020-11-13

Family

ID=58629902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580082774.6A Active CN107924289B (zh) 2015-10-26 2015-10-26 计算机***和访问控制方法

Country Status (4)

Country Link
US (1) US10592274B2 (zh)
JP (1) JP6516860B2 (zh)
CN (1) CN107924289B (zh)
WO (1) WO2017072827A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10671419B2 (en) * 2016-02-29 2020-06-02 Red Hat Israel, Ltd. Multiple input-output memory management units with fine grained device scopes for virtual machines
JP2019159735A (ja) * 2018-03-13 2019-09-19 日本電気株式会社 コントローラおよびデータ転送方法
CN109062514B (zh) * 2018-08-16 2021-08-31 郑州云海信息技术有限公司 一种基于命名空间的带宽控制方法、装置和存储介质
US10635355B1 (en) * 2018-11-13 2020-04-28 Western Digital Technologies, Inc. Bandwidth limiting in solid state drives
JP6920001B2 (ja) * 2018-12-04 2021-08-18 株式会社日立製作所 マルチノードストレージシステム、及びマルチノードストレージシステムのキュー制御方法
US11079958B2 (en) * 2019-04-12 2021-08-03 Intel Corporation Apparatus, system and method for offloading data transfer operations between source and destination storage devices to a hardware accelerator
CN112306701B (zh) * 2019-07-25 2024-05-03 中移动信息技术有限公司 服务熔断方法、装置、设备及存储介质
US11294715B2 (en) * 2019-08-28 2022-04-05 Marvell Asia Pte, Ltd. System and method for queuing work within a virtualized scheduler based on in-unit accounting of in-unit entries
US11409553B1 (en) 2019-09-26 2022-08-09 Marvell Asia Pte, Ltd. System and method for isolating work within a virtualized scheduler using tag-spaces
JP7084374B2 (ja) * 2019-12-23 2022-06-14 株式会社日立製作所 ストレージシステム及びストレージシステムのキュー制御方法
CN111459417B (zh) * 2020-04-26 2023-08-18 中国人民解放军国防科技大学 一种面向NVMeoF存储网络的无锁传输方法及***
US11301140B2 (en) * 2020-06-17 2022-04-12 Intel Corporation Configuring parameters of non-volatile memory target subsystems for workload request quality of service
US11563690B2 (en) * 2020-08-19 2023-01-24 Redpanda Data, Inc. Low latency queuing system
CN114518833B (zh) * 2020-10-30 2024-05-03 伊姆西Ip控股有限责任公司 用于存储管理的方法、电子设备和计算机程序产品

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7650273B2 (en) * 2005-09-21 2010-01-19 Intel Corporation Performance simulation of multiprocessor systems
US8656409B2 (en) * 2005-12-29 2014-02-18 Intel Corporation High performance queue implementations in multiprocessor systems
CN100517294C (zh) * 2006-07-14 2009-07-22 中兴通讯股份有限公司 一种基于共享存储器的双cpu通信方法
CN100367218C (zh) * 2006-08-03 2008-02-06 迈普(四川)通信技术有限公司 多核并行先进先出队列处理***及方法
JP2008134775A (ja) * 2006-11-28 2008-06-12 Hitachi Ltd 記憶サブシステム及びこれを利用したリモートコピーシステム
US8312175B2 (en) * 2010-01-21 2012-11-13 Vmware, Inc. Virtual machine access to storage via a multi-queue IO storage adapter with optimized cache affinity and PCPU load balancing
US8631111B2 (en) 2011-01-12 2014-01-14 Hitachi, Ltd. Method and apparatus of selection interface by queue and workload for storage operation
JP5861706B2 (ja) 2011-06-28 2016-02-16 富士通株式会社 スケジューリング方法およびシステム
US9129071B2 (en) * 2012-10-24 2015-09-08 Texas Instruments Incorporated Coherence controller slot architecture allowing zero latency write commit
US9003071B2 (en) 2013-03-13 2015-04-07 Futurewei Technologies, Inc. Namespace access control in NVM express PCIe NVM with SR-IOV
JP6040101B2 (ja) 2013-05-31 2016-12-07 株式会社日立製作所 ストレージ装置の制御方法、ストレージ装置及び情報処理装置
GB2536515A (en) 2013-11-28 2016-09-21 Hitachi Ltd Computer system, and a computer system control method
CN104461958B (zh) * 2014-10-31 2018-08-21 华为技术有限公司 支持sr-iov的存储资源访问方法、存储控制器及存储设备

Also Published As

Publication number Publication date
WO2017072827A1 (ja) 2017-05-04
JP6516860B2 (ja) 2019-05-22
US10592274B2 (en) 2020-03-17
US20180253331A1 (en) 2018-09-06
CN107924289A (zh) 2018-04-17
JPWO2017072827A1 (ja) 2018-08-16

Similar Documents

Publication Publication Date Title
CN107924289B (zh) 计算机***和访问控制方法
US10761977B2 (en) Memory system and non-transitory computer readable recording medium
US9268491B2 (en) Thick and thin data volume management
KR20200017363A (ko) 호스트 스토리지 서비스들을 제공하기 위한 NVMe 프로토콜에 근거하는 하나 이상의 호스트들과 솔리드 스테이트 드라이브(SSD)들 간의 관리되는 스위칭
WO2014171223A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN108228092B (zh) 存储***和非易失性存储器的控制方法
JP2022500759A (ja) 不揮発性メモリエクスプレスデバイスのネットワークをサニタイズするときに使用する方法および装置
US20120278426A1 (en) Computer system and its management method
US8954702B2 (en) Extended address volume (EAV) allocation verification
US8984179B1 (en) Determining a direct memory access data transfer mode
US10095625B2 (en) Storage system and method for controlling cache
US20220253381A1 (en) Memory system and non-transitory computer readable recording medium
US20140075142A1 (en) Managing backing of virtual memory
WO2018176397A1 (zh) 一种锁分配的方法、装置和计算设备
US9329788B2 (en) Computer system and method for allocating and recovering virtual volumes
CN106155910B (zh) 一种实现内存访问的方法、装置和***
US20210255959A1 (en) Computer system and memory management method
JP2012079245A (ja) 仮想計算機のボリューム割当て方法およびその方法を用いた計算機システム
US11989455B2 (en) Storage system, path management method, and recording medium
US11704426B1 (en) Information processing system and information processing method
US10628349B2 (en) I/O control method and I/O control system
US20240168876A1 (en) Solving submission queue entry overflow using metadata or data pointers
US11928360B2 (en) Command slot management for memory devices
US10209888B2 (en) Computer and optimization method
JP2013191043A (ja) ディスク装置、ファイル共有システム、ファイル共有方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant