CN104067564B - 用于光纤通道的域间链接 - Google Patents
用于光纤通道的域间链接 Download PDFInfo
- Publication number
- CN104067564B CN104067564B CN201280068731.9A CN201280068731A CN104067564B CN 104067564 B CN104067564 B CN 104067564B CN 201280068731 A CN201280068731 A CN 201280068731A CN 104067564 B CN104067564 B CN 104067564B
- Authority
- CN
- China
- Prior art keywords
- fcf
- domain
- fdf
- link
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/25—Routing or path finding in a switch fabric
- H04L49/253—Routing or path finding in a switch fabric using establishment or release of connections between ports
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/35—Switches specially adapted for specific applications
- H04L49/356—Switches specially adapted for specific applications for storage area networks
- H04L49/357—Fibre channel switches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/02—Topology update or discovery
- H04L45/04—Interdomain routing, e.g. hierarchical routing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/12—Shortest path evaluation
- H04L45/122—Shortest path evaluation by minimising distances, e.g. by selecting a route with minimum of number of hops
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种方法包括建立第一光纤通道转发器(FCF)和光纤通道(FC)结构之间的通信链接。第一FCF提供第一域。该方法包括建立第二FCF和FC结构之间的通信链接。第二FCF提供第二域。该方法包括建立第一FCF和第一设备之间的第一域内链接。第一设备包括以太网光纤通道数据转发器(FDF)和光纤通道数据转发器(FCDF)之一。该方法包括建立第一设备和第二域之间的域间链接。
Description
背景技术
光纤通道(FC)和以太网光纤通道(FCoE)交换机被用于存储区域网(SAN)以路由主机设备和存储设备之间的通信。一种类型的交换机包括分布式交换机,其将交换功能划分成两个单独的设备,包括控制设备和在该控制设备的控制之下的一个或多个***设备。分布式交换机限定其中可以在控制设备和每个***设备之间做出域内链接的域。然而,控制设备和***设备不能链接到作为不同域的部分的***设备。
附图说明
图1是图示了包括用于以太网光纤通道(FCoE)的域间虚拟A_端口(VA_端口)虚拟链接的光纤通道(FC)***的一个示例的框图。
图2是图示了包括用于本地FC的域间A_端口链接的FC***的另一示例的框图。
图3是图示了FCoE转发器(FCF)控制朴素(plain)架构的一个示例的框图。
图4是图示了FCoE数据转发器(FDF)控制朴素架构的一个示例的框图。
图5是图示了用于建立域间链接的过程的一个示例的流程图。
图6是图示了用于建立FDF和邻近的FCF之间的域间虚拟链接的过程的一个示例的流程图。
图7是图示了用于建立FDF和邻近FDF之间的域间虚拟链接的过程的一个示例的流程图。
图8是图示了光纤通道数据转发器(FCDF)可达性通知(FDRN)请求有效载荷的一个示例的表。
图9是图示了用于建立域间VA_端口虚拟链接的FDF和控制FCF之间的通信的一个示例的示图。
图10是图示了FDF N_端口_ID范围通知(FNRN)有效载荷的一个示例的表。
图11是图示了用于建立FDF和邻近的FCF之间的域间VA_端口虚拟链接的FDF和邻近的FCF之间的通信的一个示例的示图。
图12是图示了用于建立FDF和邻近FDF之间的域间VA_端口虚拟链接的FDF和邻近的FDF和邻近的FCF之间的通信的一个示例的示图。
图13是图示了用于对FDF和邻近FDF之间的VA_端口虚拟链接解除实例化(deinstantiating)的FCoE初始化协议(FIP)清除虚拟链接(FCVL)请求有效载荷的一个示例的表。
具体实施方式
在以下具体实施方式中,参考了形成本文一部分的附图,并且其中通过说明的方式示出了可以在其中实施本发明的特定示例。要理解,可以利用其他示例并且可以在不脱离本公开的范围的情况下做出结构或逻辑改变。因此,以下具体实施方式不是在限制意义上进行的,并且本公开的范围由所附权利要求限定。将理解,本文所描述的各种示例的特征可以彼此组合,除非另有明确注释。
图1是图示了包括用于以太网光纤通道(FCoE)的域间虚拟A_端口(VA_端口)虚拟链接的光纤通道(FC)***100的一个示例的框图。***100包括FC结构102、控制FCoE转发器(FCF)104、第一FCoE数据转发器(FDF)120、第二FDF 130、邻近控制FCF(c/FCF)154、第三FDF170和主机180-185。在该示例中,***100包括控制FCF 104和第三FDF 170之间的第一域间VA_端口虚拟链接144和邻近控制FCF 154和第二FDF 130之间的第二域间VA_端口虚拟链接146。***100还包括第二FDF 130之间和第三FDF 170之间的第三域间VA_端口虚拟链接145。
域间VA_端口虚拟链接144、145和146向存储区域网(SAN)拓扑添加灵活性并且使得能够实现更平坦的网络拓扑。通过移除网络中的跳,域间VA_端口虚拟链接144、145和146与其中不能使用域间VA_端口虚拟链接的***相比能够降低***100的成本并且降低***的端到端延时。另外,域间VA_端口虚拟链接144、145和146还使得能够实现超过由常规的主和次级FCF配置所提供的负载平衡的改进的负载平衡。如果使用了主和次级FCF,则域间VA_端口虚拟链接144、145和146能够减少在主至次级FCF的切换的过程中丢失的业务量,从而改善高可用性操作。
控制FCF 104包括E_端口110、虚拟E_端口(VE_端口)112和虚拟A_端口(VA_端口)114、115和116。在其他示例中,控制器FCF 104包括任何合适数目的E_端口、VE_端口和VA_端口。第一FDF 120包括VA_端口 122、123和124以及虚拟F_端口(VF_端口)126、127和128。在其他示例中,第一FDF 120包括任何合适数目的VA_端口和VF_端口。第二FDF 130包括VA_端口 132、133和134以及VF_端口136、137和138。在其他示例中,第二FDF 130包括任何合适数目的VA_端口和VF_端口。
邻近控制FCF 154包括VE_端口162以及VA_端口164、165和166。在其他示例中,邻近控制FCF 154包括任何合适数目的E_端口、VE_端口和VA_端口。第三FDF 170包括VA_端口172、173和174以及VF_端口176、177和178。在其他示例中,第三FDF 170包括任何合适数目的VA_端口和VF_端口。
主机(H1)180包括虚拟N_端口(VN_端口)186。主机(H2)181包括VN_端口187。主机(H3)182包括VN_端口188。主机(H4)183包括VN_端口189。主机(H5)184包括VN_端口190,并且主机(H6)185包括VN_端口191。主机180-185中的每个都包括服务器、计算机、磁盘存储设备或能够在***100中发起和/或接收通信的其他合适的设备。
控制FCF 104的E_端口110和VE_端口112是主体域(principal domain)106的部分。控制FCF 104的VA_端口114、115和116、第一FDF 120以及第二FDF 130是虚拟域A 108的部分。邻近控制FCF 154的VE_端口 162是主体域156的部分。邻近控制FCF 154的VA_端口164、165和166以及第三FDF 170是虚拟域B 158的部分。
控制FCF 104的E_端口110通过FC链接150通信地耦合至FC结构102。控制FCF 104的VE_端口112通过原理域(principle domain)VE_端口虚拟链接148通信地耦合至邻近控制FCF 154的VE_端口162。在其他示例中,如果邻近控制FCF 154通过FC链接而通信地耦合至FC结构102,则可以排除原理域VE_端口虚拟链接148。
控制FCF 104的VA_端口114通过域内VA_端口虚拟链接140通信地耦合至第一FDF120的VA_端口122。控制FCF 104的VA_端口115通过域内VA_端口虚拟链接142通信地耦合至第二FDF 130的VA_端口133。控制FCF 104的VA_端口116通过域间VA_端口虚拟链接144通信地耦合至第三FDF 170的VA_端口172。第一FDF 120的VA_端口124通过旁路域内VA_端口虚拟链接141通信地耦合至第二FDF 130的VA_端口132。第二FDF 130的VA_端口134通过域间VA_端口虚拟链接145通信地耦合至第三FDF 170的VA_端口 172。
第一FDF 120的VF_端口126通过虚拟链接192通信地耦合至主机(H1)180的VN_端口186。第一FDF 120的VF_端口127通过虚拟链接193通信地耦合至主机(H2)181的VN_端口187。第二FDF 130的VF_端口136通过虚拟链接194通信地耦合至主机(H3)182的VN_端口188。第二FDF 130的VF_端口137通过虚拟链接195通信地耦合至主机(H4)183的VN_端口189。
邻近控制FCF 154的VA_端口164通过域间VA_端口虚拟链接146通信地耦合至第二FDF 130的VA_端口134。邻近控制FCF 154的VA_端口165通过域内VA_端口虚拟链接152通信地耦合至第三FDF 170的VA_端口173。第三FDF 170的VF_端口176通过虚拟链接196通信地耦合至主机(H5)184的VN_端口190。第三FDF 170的VF_端口177通过虚拟链接197通信地耦合至主机(H6)185的VN_端口191。
在一个示例中,FC链接150是本地FC通信链接。在一个示例中,域内VA_端口虚拟链接140、141、142和152以及域间VA_端口虚拟链接144、145和146都是无损以太网通信链接。在一个示例中,原理域VE_端口虚拟链接148和虚拟链接192-197都是无损以太网通信链接。以太网通信链接可以是点对点通信链接或者交换式网络通信链接。
FC结构102通信地耦合到存储设备、FC交换机和/或用于提供SAN的其他合适的设备。控制FCF 104控制第一FDF 120和第二FDF 130以提供第一分布式交换机。控制FCF 104维护用于基于FC目的地地址来路由通信的路由表。控制FCF 104经由FC链接150向和从FC结构102转发FC帧。控制FCF 104还分别经由域内VA_端口虚拟链接140和142向和从第一FDF120和第二FDF 130转发FC帧。控制FCF 104还经由主体域VE_端口虚拟链接148向和从邻近控制FCF 154转发FC帧。第一FDF 120和第二FDF 130都维护用于基于FC目的地地址来路由通信的路由表。第一FDF 120和第二FDF 130经由域内VA_端口虚拟链接141向和从彼此转发FC帧。第一FDF 120和第二FDF 130分别通过虚拟链接192-195向和从主机180-183转发FC帧。
同样,邻近控制FCF 154控制第三FDF 170以提供第二分布式交换机。邻近控制FCF154维护用于基于FC目的地地址来路由通信的路由表。邻近控制FCF 154经由主体域VE_端口虚拟链接148向和从控制FCF 104转发FC帧。邻近控制FCF 154还经由域内VA_端口虚拟链接152向和从第三FDF 170转发FC帧。第三FDF 170维护用于基于FC目的地地址来路由通信的路由表。第三FDF 170分别通过虚拟链接196和197向和从主机184和185转发FC帧。
除了经由域内VA_端口虚拟链接140、142和152转发FC帧之外,控制FCF 104还能够经由域间VA_端口虚拟链接144向和从第三FDF 170转发FC帧,并且邻近控制FCF 154能够经由域间VA_端口虚拟链接146向和从第二FDF 130转发FC帧。因此,例如,在主机(H4)183处发起的FC帧能够经由第二FDF 130、邻近控制FCF 154和第三FDF 170被转发到主机(H5)184,而不必通过控制FCF 104被转发。同样,例如,在主机(H6)185处发起的FC帧能够经由第三FDF 170、控制FCF 104和第一FDF 120被转发到主机(H1)180,而不必通过邻近控制FCF 154被转发。
另外,第二FDF 130能够经由域间VA_端口虚拟链接145向和从第三FDF 170转发FC帧。因此,在主机(H4)183处发起的FC帧能够经由第二FDF 130和第三FDF 170被转发到主机(H5)184,而不必通过控制FCF 104或邻近控制FCF 154被转发。
为了维护域间VA_端口虚拟链接144、145和146,需要维护主体域VE_端口虚拟链接148或FC结构102与控制FCF 104和邻近控制FCF 154中的每个之间的链接。如果主体域VE_端口虚拟链接148以及FC结构102与控制FCF 104和邻近控制FCF 154中的每个之间的链接断开,域间VA_端口虚拟链接144、145和146也将断开。
图2是图示了包括用于本地FC的域间A_端口链接的FC***200的另一示例的框图。FC***200与先前参照图1所描述和图示的FC***100的不同在于FC***200使用本地FC而不是FCoE。
***200包括FC结构202、控制FCF 204、第一FC数据转发器(FCDF)220、第二FCDF230、邻近控制FCF (c/FCF)254、第三FCDF 270、以及主机280-285。在该示例中,***200包括控制FCF 204和第三FCDF 270之间的第一域间A_端口链接244以及邻近控制FCF 254和第二FCDF 230之间的第二域间A_端口链接246。***200还包括第二FCDF 230和第三FCDF 270之间的第三域间VA_端口虚拟链接245。域间链接244、245和246提供与先前参照图1所描述和图示的域间虚拟链接144、145和146相同的优点。
控制FCF 204包括E_端口 210和212以及A_端口 214、215和216。在其他示例中,控制器FCF 204包括任何合适数目的E_端口和A_端口。第一FCDF 220包括A_端口 222、223和224以及F_端口 226、227和228。在其他示例中,第一FCDF 220包括任何合适数目的A_端口和F_端口。第二FCDF 230包括A_端口 232、233和234以及F_端口 236、237和238。在其他示例中,第二FCDF 230包括任何合适数目的A_端口和F_端口。
邻近控制FCF 254包括E_端口 262以及A_端口 264、265和266。在其他示例中,邻近控制FCF 254包括任何合适数目的E_端口和A_端口。第三FCDF 270包括A_端口 272、273和274以及F_端口 276、277和278。在其他示例中,第三FCDF 270包括何合适数目的A_端口和F_端口。
主机(H1)280包括N_端口 286。主机(H2)281包括N_端口 287。主机(H3)282包括N_端口 288。主机(H4)283包括N_端口 289。主机(H5)284包括N_端口 290,并且主机(H6)285包括N_端口 291。主机280-285中的每个都包括服务器、计算机、磁盘存储设备或能够在***200中发起和/或接收通信的其他合适的设备。
控制FCF 204的E_端口 210和E_端口 212是主体域206的部分。控制FCF 204的A_端口 214、215和216、第一FCDF 220以及第二FCDF 230是虚拟域A 208的部分。邻近控制FCF254的E_端口 262是主体域256的部分。邻近控制FCF 254的A_端口 264、265和266以及第三FCDF 270是虚拟域B 258的部分。
控制FCF 204的E_端口 210通过FC链接250通信地耦合至FC结构202。控制FCF 204的E_端口 212通过原理域E_端口链接248通信地耦合至邻近控制FCF 254的E_端口 262。在其他示例中,如果邻近控制FCF 254通过FC链接而通信地耦合至FC结构202,则可以排除原理域E_端口虚拟链接248。
控制FCF 204的A_端口 214通过域内A_端口链接240通信地耦合至第一FCDF 220的A_端口 222。控制FCF 204的A_端口 215通过域内A_端口链接242通信地耦合至第二FCDF230的A_端口 233。控制FCF 204的A_端口 216通过域间A_端口链接244通信地耦合至第三FCDF 270的A_端口 272。第一FCDF 220的A_端口 224通过域内A_端口链接241通信地耦合至第二FCDF 230的A_端口 232。第二FCDF 230的A_端口 234通过域间A_端口链接245通信地耦合至第三FCDF 270的VA_端口 272。
第一FCDF 220的F_端口 226通过链接292通信地耦合至主机(H1)280的N_端口286。第一FCDF 220的F_端口 227通过链接293通信地耦合至主机(H2)281的N_端口 287。第二FCDF 230的F_端口 236通过链接294通信地耦合至主机(H3)282的N_端口 288。第二FCDF230的F_端口 237通过链接295通信地耦合至主机(H4)283的N_端口 289。
邻近控制FCF 254的A_端口 264通过域间A_端口链接246通信地耦合至第二FCDF230的A_端口 234。邻近控制FCF 254的A_端口 265通过域内A_端口链接252通信地耦合至A_端口 273。第三FCDF 270的F_端口 276通过链接296通信地耦合至主机(H5)284的N_端口290。第三FCDF 270的F_端口 277通过链接297通信地耦合至主机(H6)285的N_端口 291。
在一个示例中,FC链接250、原理域E_端口链接248、域内A_端口链接240、241、242和252、域间A_端口链接244、245和246以及链接292-297都是本地FC通信链接。***200与先前参照图1所描述和图示的***100类似地操作,除了在***200中FC帧未被封装在以太网中以供通过以太网链接进行传输。作为代替,FC帧通过FC链接被传输。
虽然剩余的图3-10针对如先前参照图1所描述和图示的FCoE***,但是本公开也适用于如先前参照图2所描述和图示的本地FC***。
图3是图示了FCF控制朴素架构300的一个示例的框图。在一个示例中,FCF控制朴素架构300是先前参照图1所描述和图示的控制FCF 104和邻近控制FCF 154的部分。FCF控制朴素架构300包括处理器302和存储器306。处理器302通过通信链接304通信地耦合至存储器306。
处理器302包括微控制器、微处理器、中央处理单元(CPU)或另一合适的处理器。在一个示例中,存储器306存储由处理器302执行以供操作FCF的指令。存储器306包括易失性和/或非易失性存储器的任何合适的组合,诸如随机存取存储器(RAM)、只读存储器(ROM)、闪速存储器和/或其他合适的存储器的组合。
存储器306存储由处理器302执行的指令,包括针对FC控制栈308、以太网控制栈310和FCoE控制协议312的指令。在一个示例中,处理器302执行FC控制栈308、以太网控制栈310和FCoE控制协议312的指令,以实现通过FCF转发FC帧。FC控制栈308包括用于处理和转发FC帧的指令,而以太网控制栈310包括用于处理经封装的FC帧以供通过以太网链接传输的指令。FCoE控制协议312包括用于初始化和维护FCF和其他设备之间的虚拟通信链接的指令。
图4是图示了FDF控制朴素架构320的一个示例的框图。在一个示例中,FDF控制朴素架构320是先前参照图1所描述和图示的第一FDF 120、第二FDF 130和第三FDF 170的部分。FDF控制朴素架构320包括处理器322和存储器326。处理器322通过通信链接324通信地耦合至存储器326。
处理器322包括微控制器、微处理器、CPU或另一合适的处理器。在一个示例中,存储器326存储由处理器322执行以供操作FDF的指令。存储器326包括易失性和/或非易失性存储器的任何合适的组合,诸如RAM、ROM、闪速存储器和/或其他合适的存储器的组合。
存储器326存储由处理器322执行的指令,包括针对精简FC控制栈328、以太网控制栈330和FCoE控制协议332的指令。在一个示例中,处理器322执行精简FC控制栈328、以太网控制栈330和FCoE控制协议332的指令,以实现通过FDF处理和转发FC帧。FC控制栈328包括用于处理和转发FC帧的指令,而以太网控制栈330包括用于处理经封装的FC帧以供通过以太网链接传输的指令。FCoE控制协议332包括用于初始化和维护FDF和其他设备之间的虚拟通信链接的指令。
图5是图示了用于建立域间链接(诸如,先前参照图1所描述和图示的域间VA_端口虚拟链接144、145或146,或者先前参照图2所描述和图示的域间A_端口链接244、245或246)的过程340的一个示例的流程图。在342处,建立了从第一FCF和第二FCF到共同结构的通信链接(例如,图1中的控制FCF 104和邻近控制FCF 154之间的主体域VE_端口虚拟链接148,或者图2中的控制FCF 204和邻近控制FCF 254之间的主体域E_端口链接248)。
在344处,建立了第一FCF和第一FDF之间的域内通信链接(例如,图1中的控制FCF104和第二FDF 130之间的VA_端口虚拟链接142,或者图2中的控制FCF 204和第二FCDF 230之间的A_端口链接242)。在346处,建立了与第一FDF的域间通信链接。在一个示例中,建立了第二FCF和第一FDF之间的域间通信链接(例如,图1中的邻近控制FCF 154和第二FDF 130之间的VA_端口虚拟链接146,或者图2中的邻近控制FCF 254和第二FCDF 230之间的A_端口链接246)。在另一示例中,建立了第二FDF和第一FDF之间的域间通信链接(例如,图1中的第三FDF 170和第二FDF 130之间的VA_端口虚拟链接144,或者图2中的第三FCDF 270和第二FCDF 230之间的A_端口链接245)。
图6是图示了用于建立FDF和邻近FCF之间的域间虚拟链接(诸如,先前参照图1所描述和图示的域间VA_端口虚拟链接144或146)的过程360的一个示例的流程图。在362处,建立了SAN。例如,建立SAN包括建立图1中的控制FCF 104和邻近控制FCF 154之间的主体域VE_端口虚拟链接148。在一个示例中,交换机内部链接服务(SW_ILS)被用来在提供分布式交换机的设备之间交换控制帧。
在364处,使用FCoE初始化协议(FIP)来发现FDF VA_端口的域间虚拟链接端点介质访问控制(MAC)地址。MAC地址是用来识别帧的源或目的地的6字节以太网地址。FIP被用来发现和初始化连接到以太网网络的FCoE使能(capable)设备。例如,使用FIP来发现第三FDF 170(图1)的MAC地址。在一个示例中,FCF存储列出FCF应该设置到其的域间VA_端口虚拟链接的其他域中的FDF的配置数据。在一个示例中,配置数据包括FCF应该设置到其的域间VA_端口虚拟链接的其他域中的FDF的交换机名称。例如,邻近控制FCF 154(图1)被指定为设置与第二FDF 130(图1)的域间VA_端口虚拟链接。在其他示例中,使用另一合适的技术来指定FCF应该设置到其的域间VA_端口虚拟链接的FDF。
在366处,邻近FCF使用FIP交换链接参数(ELP)来发起到FDF的VA_端口虚拟链接设置。FIP ELP被用来通过VE_端口或E_端***换协议信息。例如,邻近控制FCF 154使用FIPELP来发起到第二FDF 130的VA_端口虚拟链接设置。在一个示例中,FIP报头中的C和D位这二者被置为0并且ELP报头中的位13和14被置为零,以指示FCF是邻近控制FCF。在另一示例中,附加的位被添加到FIP报头,以指示FCF是邻近控制FCF。
在368处,FDF使用光纤通道数据转发器(FCDF)可达性通知(FDRN)来向其控制FCF通知链接和相关联的链接成本。FDRN是被FDF或FCDF用来向控制FCF通信的SW_ILS,即已经实例化与另一FDF或FCDF或与另一FCF的VA_端口虚拟链接。例如,第二FDF 130(图1)使用FDRN来向控制FCF 104通知域间VA_端口虚拟链接146和相关联的链接成本。
在370处,控制FCF使用N_端口_ID范围通知(NPRD)来计算最短路径路由并且更新其域中的FDF。NPRD是被控制FCF用来向FDF或FCDF传送用于分布式交换机的N_端口_ID路由信息的SW_ILS。例如,控制FCF 104使用NPRD利用用于通过域间VA_端口虚拟链接146转发FC帧的路由信息来计算最短路径路由并且更新FDF 120和130。
在372处,FDF使用FDF N_端口_ID范围通知(FNRN)来向邻近控制FCF通知能够经由链接而达到的VN_端口范围。FNRN是被FDF用来向邻近FCF传送用于分布式交换机的N_端口_ID路由信息的添加的SW_ILS。尽管框372在框370之后被提供,但是NPRD和FNRN是独立的并且不必在链接的初始化之后以任何特定次序被执行。例如,第二FDF 130使用FNRN来向邻近控制FCF 154通知能够经由域间VA_端口虚拟链接146而达到的VN_端口范围(例如,针对VN_端口186-189)。
为了维护FDF和邻近控制FCF之间的域间VA_端口虚拟链接,需要维护两个域之间的连接(即,控制FCF和邻近控制FCF之间的连接)。可以经由原理域VE_端口虚拟链接(例如,VE_端口虚拟链接148(图1))或经由FC结构(例如,FC结构102,其中控制FCF 104和邻近控制FCF 154都具有到FC结构102的FC链接)维护两个域之间的连接。如果由于任何原因而丢失了两个域之间的连接,那么接下来将发生废除域间VA_端口虚拟链接。
1)经由光纤通道最短路径(FSPF)在针对对应域的邻近控制FCF中更新路由表,其清除从邻近控制FCF到其他域中的FDF的转发路径。
2)控制FCF经由VA_端口NPRD清除讨论中的FDF中的转发路径。
3)邻近控制FCF使用FIP清除虚拟链接来对所影响的域间VA_端口虚拟链接解除实例化。
图7是图示了用于建立FDF和邻近FDF之间的域间虚拟链接(诸如,先前参照图1所描述和图示的域间VA_端口虚拟链接145)的过程380的一个示例的流程图。在382处,建立了SAN。例如,建立SAN包括建立图1中的控制FCF 104和邻近控制FCF 154之间的主体域VE_端口虚拟链接148。
在384处,使用FIP来发现FDF VA_端口的域间虚拟链接端点MAC地址。例如,使用FIP来发现第三FDF 170(图1)的MAC地址。在一个示例中,FCF存储列出FDF应该设置到其的域间VA_端口虚拟链接的其他域中的FDF的配置数据。在一个示例中,配置数据包括FDF应该设置到其的域间VA_端口虚拟链接的其他域中的FDF的交换机名称。例如,第三FDF 170(图1)被指定为设置与第二FDF 130(图1)的域间VA_端口虚拟链接。在其他示例中,使用另一合适的技术来指定FDF应该设置到其的域间VA_端口虚拟链接的FDF。
在386处,邻近FCF使用FIP ELP来发起到FDF的VA_端口虚拟链接设置。例如,第三FDF 170使用FIP ELP来发起到第二FDF 130的VA_端口虚拟链接设置。在一个示例中,FIP报头中的C位被置为0,FIP报头中的D位被置为1,并且ELP报头中的位13和14被置为零,以指示FDF是邻近FDF。在另一示例中,附加的位被添加到FIP报头,以指示FDF是邻近FDF。
在388处,FDF使用FDRN来向其控制FCF通知链接和相关联的链接成本。例如,第二FDF 130(图1)使用FDRN来向控制FCF 104通知域间VA_端口虚拟链接145和相关联的链接成本。
在390处,控制FCF使用NPRD来计算最短路径路由并且更新其域中的FDF。例如,控制FCF 104使用NPRD利用用于通过域间VA_端口虚拟链接145转发FC帧的路由信息来计算最短路径路由并且更新FDF 120和130。
在392处,FDF使用FNRN来向邻近FDF和邻近控制FCF通知能够经由链接而达到的VN_端口范围。邻近FDF将FNRN从FDF中继到邻近控制FCF。尽管框392在框300之后被提供,但是NPRD和FNRN是独立的并且不必在链接的初始化之后以任何特定次序被执行。例如,第二FDF 130使用FNRN来向第三FDF 170通知能够经由域间VA_端口虚拟链接145而达到的VN_端口范围(例如,针对VN_端口186-189)。
为了维护FDF和邻近FDF之间的域间VA_端口虚拟链接,需要维护两个域之间的连接(即,控制FCF和邻近控制FCF之间的连接)。可以经由原理域VE_端口虚拟链接(例如,VE_端口虚拟链接148(图1))或经由FC结构(例如,FC结构102,其中控制FCF 104和邻近控制FCF154都具有到FC结构102的FC链接)维护两个域之间的连接。如果由于任何原因而丢失了两个域之间的连接,那么接下来将发生废除域间VA_端口虚拟链接。
1)经由FSPF在针对对应域的控制FCF和邻近控制FCF中更新路由表,其清除控制FCF和邻近控制FCF内的转发路径。
2)控制FCF和邻近控制FCF中的每个经由VA_端口NPRD清除讨论中的FDF中的转发路径。
3)控制FCF和邻近控制FCF指令其各自的FDF使用FIP清除虚拟链接(FCVL)来对所影响的域间VA_端口虚拟链接解除实例化。
图13是图示了用于对FDF和邻近FDF之间的VA_端口虚拟链接解除实例化的FCVL请求有效载荷490的一个示例的表。FCVL是用于实现FDF和邻近FDF之间的VA_端口虚拟链接的添加的SW_ILS。FCVL请求有效载荷490包括SW_ILS代码项、发源控制交换机_名称项、目的地FCDF交换机_名称项、不可达FCDF交换机_名称项、预留项和无限链接成本项。每项是指定的字节大小。
图8是图示了FCDF可达性通知(FDRN)请求有效载荷400的一个示例的表。FDRN请求有效载荷400包括SW_ILS代码项、发源FCDF交换机_名称项、目的地控制交换机_名称项、可达FCDF、控制交换机、或邻近交换机或邻近FCDF交换机_名称项、预留项和链接成本项。每项是指定的字节大小。如项402中所指示的邻近交换机或邻近FCDF交换机_名称已经被添加到FDRN请求有效载荷,以实现本公开。邻近交换机交换机_名称指示FDF具有到其的域间VA_端口虚拟链接的邻近FCF。邻近FCDF交换机_名称指示FDF具有到其的域间VA_端口虚拟链接的邻近FDF。
类似于FDRN,邻近交换机或邻近FCDF交换机_名称也被添加到FCDF不可达性通知(FDUN)SW_ILS,以实现本公开。FDUN被FDF或FCDF用来向控制FCF传送FDF或FCDF已经解除实例化与另一FDF或FCDF或与另一FCF的VA_端口虚拟链接。
图9是图示了用于建立域间VA_端口虚拟链接的FDF和控制FCF(cFCF)之间的通信420的一个示例的示图。在这些通信420中涉及FDF 422和 cFCF 424,而不涉及邻近FCF(aFCF)426。如428处所指示的,FDF 422向cFCF 424发送FDRN。FDRN包括先前参照图8所描述和图示的FRDN请求有效载荷400。例如,第二FDF 130(图1)向控制FCF 104发送FDRN(包括发源第二FDF 130交换机_名称、目的地控制FCF 104交换机_名称、邻近控制FCF 154交换机_名称和链接成本)以向控制FCF 104通知域间VA_端口虚拟链接146。在另一示例中,第二FDF130(图1)向控制FCF 104发送FDRN(包括发源第二FDF 130交换机_名称、目的地控制FCF104交换机_名称、邻近第三FDF 170交换机_名称和链接成本)以向控制FCF 104通知域间VA_端口虚拟链接145。
响应于来自FDF 422的FDRN,如430处所指示的,cFCF 424向FDF 422发送NPRD。NPRD包括发源控制FCF交换机_名称、目的地FDF交换机_名称、路由信息和邻近FCF或邻近FDF交换机_名称。例如,控制FCF 104(图1)发送针对域间VA_端口虚拟链接146的NPRD,包括发源控制FCF 104交换机_名称、目的地第二FDF 130交换机_名称、路由信息和邻近控制FCF154交换机_名称。在另一示例中,控制FCF 104(图1)发送针对域间VA_端口虚拟链接145的NPRD,包括发源控制FCF 104交换机_名称、目的地第二FDF 130交换机_名称、路由信息和邻近第三FDF 170交换机_名称。
图10是图示了FDF N_端口_ID范围通知(FNRN)有效载荷440的一个示例的表。FNRN有效载荷440包括SW_ILS代码项、发源FCDF交换机_名称项、目的地邻近交换机交换机_名称项、N_端口_ID范围的数目(q)项和N_端口_ID范围#1到#q项。每项是指定的字节大小。FNRN是添加的SW_ILS以实现本公开。
图11是图示了用于建立FDF和邻近的FCF之间的域间VA_端口虚拟链接的FDF和邻近FCF之间的通信460的一个示例的示图。在该通信460中涉及FDF 422和aFCF 426,而不涉及cFCF 424。如462处所指示的,FDF 422向aFCF 426发送FNRN。FNRN包括先前参照图10所描述和图示的FNRN有效载荷440。例如,第二FDF 130(图1)向邻近控制FCF 154发送FNRN,包括发源第二FDF 130交换机_名称、邻近控制FCF 154交换机_名称、N_端口_ID范围的数目(q)(例如,对于VN_端口188和189而言为2)以及N_端口_ID范围(r1:rq)(例如,对于VN_端口188和189而言为r1:r2)。
图12是图示了用于建立FDF和邻近FDF之间的域间VA_端口虚拟链接的FDF和邻近FDF和邻近FCF之间的通信480的一个示例的示图。如482处所指示的,FDF 422向邻近FDF(aFDF)428发送FNRN。如484处所指示的,邻近FDF将FNRN转发到邻近FCF 426。FNRN包括先前参照图10所描述和图示的FNRN有效载荷440。例如,第二FDF 130(图1)向邻近第三FDF 170发送FNRN,包括发源第二FDF 130交换机_名称、邻近控制FCF 154交换机_名称、N_端口_ID范围的数目(q)(例如,对于VN_端口188和189而言为2)以及N_端口_ID范围(r1:rq)(例如,对于VN_端口188和189而言为r1:r2)。邻近第三FDF 170然后将FNRN转发到邻近控制FCF154。
本文所描述的示例提供了更平坦且更灵活的SAN拓扑,该SAN拓扑具有减小的延时并且其中由于域间链接而移除了潜在的阻碍。本文所描述的示例还提供由于域间链接的改进的负载平衡,这还降低在故障处理事件中的丢失的业务。这样,改善了高可用性操作。
尽管本文已经图示和描述了特定示例,但本领域普通技术人员将理解的是,在不脱离本公开的范围的情况下多种可替代和/或等价的实现可以替代所示出和描述的特定示例。本申请意在涵盖本文所讨论的特定实施例的任何改编或变形。因此,意图是本公开仅由权利要求书及其等价物来限制。
Claims (15)
1.一种方法,包括:
建立第一光纤通道转发器(FCF)和光纤通道(FC)结构之间的通信链接,所述第一FCF提供第一域;
建立第二FCF和所述FC结构之间的通信链接,所述第二FCF提供第二域;
建立所述第一FCF和第一设备之间的第一域内链接,所述第一设备包括以太网光纤通道数据转发器(FDF)和光纤通道数据转发器(FCDF)之一;以及
建立所述第一设备和所述第二域之间的域间链接。
2.如权利要求1所述的方法,其中建立域间链接包括建立所述第一设备和所述第二FCF之间的域间链接。
3.如权利要求2所述的方法,包括通过以下步骤来建立域间链接:
发现所述第一设备的域间链接端点介质访问控制(MAC)地址;
从所述第二FCF发起到所述第一设备的链接设置;
从所述第一设备向所述第一FCF通知所述链接;
在所述第一FCF处计算最短路径路由并且利用所述最短路径路由更新所述第一设备;以及
从所述第一设备向所述第二FCF通知能够经由所述域间链接而达到的端口范围。
4.如权利要求1所述的方法,还包括:
建立所述第二FCF和第二设备之间的第二域内链接,所述第二设备包括FDF和FCDF之一,
其中,建立域间链接包括建立所述第一设备和所述第二设备之间的域间链接。
5.如权利要求4所述的方法,包括通过以下步骤来建立域间链接:
发现所述第一设备的域间链接端点介质访问控制(MAC)地址;
发起所述第二设备和所述第一设备之间的链接设置;
从所述第一设备向所述第一FCF通知所述链接;
在所述第一FCF处计算最短路径路由并且利用所述最短路径路由更新所述第一设备;
从所述第一设备向所述第二设备通知能够经由所述域间链接而达到的端口范围;以及
从所述第二设备向所述第二FCF转发能够经由所述域间链接而达到的所述端口范围。
6.如权利要求4所述的方法,还包括:
响应于所述FC结构与第一FCF和第二FCF之一之间的通信链接断开而废除所述域间链接。
7.一种光纤通道转发器(FCF),包括:
处理器;以及
通信地耦合到所述处理器的存储器,所述存储器存储指令,在由所述处理器执行所述指令之后使所述处理器进行以下操作:
建立到光纤通道(FC)结构的链接;
建立所述FCF和第一设备之间的域内链接,所述第一设备包括以太网光纤通道数据转发器(FDF)和光纤通道数据转发器(FCDF)之一;以及
建立所述FCF和第二设备之间或所述第一设备和所述第二设备之间的域间链接,所述第二设备包括FDF和FCDF之一。
8.如权利要求7所述的FCF,其中所述存储器存储指令,在由所述处理器执行所述指令之后使所述处理器通过以下步骤来建立所述FCF和所述第二设备之间的域间VA_端口虚拟链接:
发现所述第二设备的域间链接端点介质访问控制(MAC)地址;
发起到所述第二设备的VA_端口虚拟链接设置;以及
从所述第二设备接收能够经由所述VA_端口虚拟链接而达到的VN_端口范围。
9.如权利要求7所述的FCF,其中所述存储器存储指令,在由所述处理器执行所述指令之后使所述处理器通过以下步骤来建立所述第一设备和所述第二设备之间的域间VA_端口虚拟链接:
发现所述第二设备的域间链接端点介质访问控制(MAC)地址;
从所述第一设备接收光纤通道数据转发器可达性通知(FDRN);以及
响应于所述FDRN使用N_端口_ID范围通知(NPRD)计算最短路由并且更新所述第一设备。
10.如权利要求7所述的FCF,还包括:
用于建立所述域间链接的A_端口或VA_端口。
11.第一以太网光纤通道数据转发器(FDF),包括:
处理器;以及
通信地耦合到所述处理器的存储器,所述存储器存储指令,在由所述处理器执行所述指令之后使所述处理器进行以下操作:
建立所述第一FDF和第一光纤通道转发器(FCF)之间的域内虚拟A_端口(VA_端口)虚拟链接,所述第一FCF具有到存储区域网(SAN)的链接;以及
建立所述第一FDF与第二FCF和第二FDF之一之间的域间VA_端口虚拟链接。
12.如权利要求11所述的第一FDF,其中所述存储器存储指令,在由所述处理器执行所述指令之后使所述处理器通过以下步骤来建立所述FDF与所述第二FCF和所述第二FDF之一之间的域间VA_端口虚拟链接:
使用光纤通道数据转发器可达性通知(FDRN)向所述第一FCF通知所述域间VA_端口虚拟链接;以及
响应于所述FDRN从所述第一FCF接收N_端口_ID路由通知(NPRD)。
13.如权利要求11所述的第一FDF,其中所述存储器存储指令,在由所述处理器执行所述指令之后使所述处理器通过以下步骤来建立所述FDF和所述第二FCF之间的域间VA_端口虚拟链接:
使用FDF N_端口_ID范围通知(FNRN)向所述第二FCF通知能够经由所述域间VA_端口虚拟链接而达到的N_端口范围。
14.如权利要求11所述的第一FDF,其中所述存储器存储指令,在由所述处理器执行所述指令之后使所述处理器通过以下步骤来建立所述FDF和所述第二FDF之间的域间VA_端口虚拟链接:
使用FDF N_端口_ID范围通知(FNRN)向所述第二FDF和所述第二FCF通知能够经由所述域间VA_端口虚拟链接而达到的N_端口范围。
15.如权利要求11所述的第一FDF,其中所述存储器存储指令,在由所述处理器执行所述指令之后使所述处理器响应于到所述SAN的第一FCF链接断开而通过以下步骤来废除所述FDF和所述第二FDF之间的域间VA_端口虚拟链接:
从所述第一FCF接收交换机因特网链接服务(SW_ILS)“FIP清除虚拟链接”(FCVL),以使用FIP清除虚拟链接来对所述域间VA_端口虚拟链接解除实例化。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2012/034995 WO2013162549A1 (en) | 2012-04-25 | 2012-04-25 | Inter domain link for fibre channel |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104067564A CN104067564A (zh) | 2014-09-24 |
CN104067564B true CN104067564B (zh) | 2017-07-11 |
Family
ID=49483654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280068731.9A Active CN104067564B (zh) | 2012-04-25 | 2012-04-25 | 用于光纤通道的域间链接 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9473423B2 (zh) |
EP (1) | EP2842270B1 (zh) |
CN (1) | CN104067564B (zh) |
WO (1) | WO2013162549A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9130874B2 (en) * | 2013-11-20 | 2015-09-08 | International Business Machines Corporation | Controlling switch mechanism for detecting fibre channel over ethernet data forwarder failure |
US9407547B2 (en) * | 2013-12-13 | 2016-08-02 | Cisco Technology, Inc. | Fibre channel over ethernet (FCoE) over virtual port channel (vPC) |
US10608692B1 (en) * | 2018-11-20 | 2020-03-31 | Amazon Technologies, Inc. | Dual receivers for advertisement scans |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1647051A (zh) * | 2002-04-05 | 2005-07-27 | 思科技术公司 | 用于定义静态光纤通道组构的装置与方法 |
CN101815040A (zh) * | 2009-02-23 | 2010-08-25 | 国际商业机器公司 | 在混合交换机网络中转发分组的方法和交换机 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030026267A1 (en) * | 2001-07-31 | 2003-02-06 | Oberman Stuart F. | Virtual channels in a network switch |
US8108454B2 (en) | 2007-12-17 | 2012-01-31 | Brocade Communications Systems, Inc. | Address assignment in Fibre Channel over Ethernet environments |
US8817656B2 (en) * | 2008-04-08 | 2014-08-26 | Cisco Technology, Inc. | Discovery for fibre channel over ethernet devices |
US8520686B2 (en) | 2008-05-08 | 2013-08-27 | Hewlett-Packard Development Company, L.P. | Method for interfacing a fibre channel network with an ethernet based network |
US8713162B2 (en) | 2009-12-07 | 2014-04-29 | John Lewis Hufferd | Direct mode adapter based shortcut for FCoE data transfer |
US8446817B2 (en) | 2010-01-19 | 2013-05-21 | Cisco Technology, Inc. | Distributed virtual fibre channel over Ethernet forwarder |
WO2011121664A1 (en) * | 2010-03-31 | 2011-10-06 | Hitachi, Ltd. | Communication network control system and control method |
US8611352B2 (en) | 2010-04-20 | 2013-12-17 | Marvell World Trade Ltd. | System and method for adapting a packet processing pipeline |
US8619796B2 (en) * | 2010-04-22 | 2013-12-31 | International Business Machines Corporation | Forwarding data frames with a distributed fiber channel forwarder |
US8335236B2 (en) | 2010-05-06 | 2012-12-18 | Cisco Technology, Inc. | FCoE isolated port channels and FCoE session resynchronization in vPC/MCEC environments using DCBXP |
US9172590B2 (en) * | 2010-05-11 | 2015-10-27 | Brocade Communications Systems, Inc. | Single virtual domain fibre channel over ethernet fabric |
US8514856B1 (en) * | 2010-06-24 | 2013-08-20 | Cisco Technology, Inc. | End-to-end fibre channel over ethernet |
US9106579B2 (en) * | 2011-01-07 | 2015-08-11 | Jeda Networks, Inc. | Methods, systems and apparatus for utilizing an iSNS server in a network of fibre channel over ethernet devices |
CN102291465B (zh) | 2011-08-31 | 2013-12-25 | 北京星网锐捷网络技术有限公司 | 负载均衡方法、装置和*** |
US8948176B1 (en) * | 2011-12-01 | 2015-02-03 | Cisco Technology, Inc. | Distributed fibre channel forwarder |
US8621095B1 (en) * | 2011-12-20 | 2013-12-31 | Cisco Technology, Inc. | Fibre channel virtualization zone |
US8873369B2 (en) * | 2012-04-25 | 2014-10-28 | Hewlett-Packard Development Company, L.P. | Fiber channel 1:N redundancy |
-
2012
- 2012-04-25 US US14/372,541 patent/US9473423B2/en active Active
- 2012-04-25 CN CN201280068731.9A patent/CN104067564B/zh active Active
- 2012-04-25 WO PCT/US2012/034995 patent/WO2013162549A1/en active Application Filing
- 2012-04-25 EP EP12875654.1A patent/EP2842270B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1647051A (zh) * | 2002-04-05 | 2005-07-27 | 思科技术公司 | 用于定义静态光纤通道组构的装置与方法 |
CN101815040A (zh) * | 2009-02-23 | 2010-08-25 | 国际商业机器公司 | 在混合交换机网络中转发分组的方法和交换机 |
Non-Patent Citations (1)
Title |
---|
VA_Ports:FDF/Controlling FCF Protocols;Claudio De Santi;《URL:http://www.t11.org/ftp/t11/pub/fc/bb-6/10-271v3.pdf》;20101020;第3-6,8-10,17,34-35页 * |
Also Published As
Publication number | Publication date |
---|---|
EP2842270B1 (en) | 2016-11-02 |
US20150071288A1 (en) | 2015-03-12 |
WO2013162549A1 (en) | 2013-10-31 |
EP2842270A1 (en) | 2015-03-04 |
EP2842270A4 (en) | 2015-12-23 |
US9473423B2 (en) | 2016-10-18 |
CN104067564A (zh) | 2014-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102233645B1 (ko) | 가상 네트워크 기반 분산 다중 도메인 라우팅 제어 시스템 및 라우팅 제어 방법 | |
JP6075416B2 (ja) | 通信システム、制御装置、ノードの制御方法 | |
CN104052618B (zh) | 用于集成交换机波分复用的控制平面 | |
JP5135383B2 (ja) | ネットワークシステム及びネットワーク装置 | |
EP2532127B1 (en) | Ethernet node port virtualizer | |
JP5585660B2 (ja) | 通信システム、制御装置、処理規則の設定方法およびプログラム | |
WO2018183542A1 (en) | Non-blocking any-to-any data center network with packet spraying over multiple alternate data paths | |
JP5987971B2 (ja) | 通信システム、スイッチ、制御装置、制御用チャネルの構築方法及びプログラム | |
WO2014133015A1 (ja) | 制御装置、通信システム、スイッチ制御方法及びプログラム | |
CN110535760A (zh) | 聚合接口的转发检测 | |
JP2017511069A5 (zh) | ||
WO2010069382A1 (en) | Method and apparatus for transferring data packets between a first network and a second network | |
CN104067564B (zh) | 用于光纤通道的域间链接 | |
JP6525256B2 (ja) | 仮想ネットワークシステムおよび仮想ネットワーク経路設定方法 | |
JP5669955B2 (ja) | ネットワーク構成方法、リング型ネットワークシステム及びノード | |
US9686210B2 (en) | Controller based fibre channel over ethernet (FCoE) fabric | |
JP5950019B2 (ja) | 通信システム、統合コントローラ、パケット転送方法及びプログラム | |
JP6127569B2 (ja) | スイッチ、制御装置、通信システム、制御チャネルの管理方法及びプログラム | |
JP7024689B2 (ja) | 制御装置及び制御方法 | |
WO2014119602A1 (ja) | 制御装置、スイッチ、通信システム、スイッチの制御方法及びプログラム | |
JP4369882B2 (ja) | ルーティング方法、および、ネットワークシステム | |
JP5827175B2 (ja) | 光交換ネットワークのデータ転送方法、光交換ネットワークの制御装置及びノード装置 | |
EP4161028A1 (en) | Method for operating a broadband access network of a telecommunications network comprising a plurality of central office points of delivery, broadband access network or telecommunications network, central office point of delivery, system, program and computer-readable medium | |
JP4820343B2 (ja) | Ipルーティング安定化方法、そのプログラムおよび境界ルータ | |
JP4425201B2 (ja) | 仮想大容量パス制御方法およびパス通信装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20170111 Address after: American Texas Applicant after: HEWLETT PACKARD ENTERPRISE DEVELOPMENT LP Address before: American Texas Applicant before: Hewlett-Packard Development Company, L.P. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |