基于InfiniBand的RPC优化

CN 43-1258/TP计算机工程与科学第35卷第7期2013年7月ISSN 1007- 130XComputer Engineering & ScienceVol. 35, No.7,Jul. 2013文章编号:1007-130X(2013)07-023-08基于InfiniBand的RPC优化明亮,冯 丹,王芳，陈碧砚(华中科技大学计算机学院.湖北武汉430074)摘要:随着无限带宽(IB)网络技术的发展,IB 网络以其高性能、低延迟以及低功耗和低成本的优势逐渐在数据中心占据重要的地位。而作为重要的网络通信模型,远程过程调用(RPC)协议如何利用IB网络的远程内存直接访问RDMA特性是一个重要议题。NFSover RDMA解决了内核态下网络文件系统(NFS)利用RDMA协议传输数据的问题。然而,面向跨越内核态和用户态的RPC应用，目前仍然没有基于IB的RPC相关优化。通过将IB协议族中的套接字直接协议(SDP)集成到现有RPC协议中,使内核态以及用户态RPC程序都能使用IB网络的RDMA协议,从而提升网络传输性能。经测试,此方案与传统的基于TCP/IP协议的RPC实现相比,用户态RPC与内核态RPC可分别获得10%和35%的性能提升。关键词:无限带宽技术;远程过程调用;套接字直接协议;分布式文件系统中图分类号:TP336文献标志码:Adoi: 10. 3969/j. issn.1007-130X. 2013. 07.005Optimization of RPC based on InfiniBandMING Liang, FENG Dan, WANG Fang,CHEN Bi-yan(School of Computer Science , Huazhong University of Science and Technology, Wuhan 430074 ,China)Abstract: Along with the development of InfiniBand (IB) network, IB is becoming an importantcomponent in the data center due to its characteristics such as high performance, low latency, low powerconsumption and low price. As an important communication protocol, it is a significant problem thathow the Remote Procedure Call ( RPC) utilizes the RDMA feature of IB. NFS over RDMA solves theproblem that the NFS transfers data by RDMA protocol in the kernel-space. However, there is no RPCoptimization on InifiniBand in the user space communication and the communication between user-spaceand kernel-space. In this paper, we integrate the Socket Direct Protocol into the RPC so as to achievethe RDMA feature of IB in both user-space and kernel-space. Through the experiments, we can obtain10% and 35 % peak performance improvement in user- space and kernel-space communication respectively.Key words: InfiniBand ; remote procedure call; socket direct protocol; distributed file system成本等需求也受到广泛关注。无限带宽技术IB1引言(InfiniBand)]作为兼容总线与网络的互连技术，逐步在存储网络中发挥重要作用。随着航天事业、人类基因工程、地震预测、资源本文的主要研究内容包括两个方面:(1)远程勘查、社交网络和搜索引擎等应用的发展,以及当过程调用RPC( Remote Procedure Call);(2) In-今云计算时代的来临,人们对于高性能、低成本的finiBand网络中的套接字直接协议SDP (Socket数据中心的需求也愈发迫切。作为数据中心最重Direct Protocol)。RPC协议出现于20世纪80年要的基础设施,存储系统的高性能、高可靠以及低代,Sun公司的SunRPC最终成为事实上的标中国煤化工基金项目:国家973计划资助项目(201 1CB302301)通讯地址:430074湖北省武汉市华中科技大学武汉光电国家实验室F301MHCNMHGAddress : W uhan National Laboratory for Optoelctronics, Huazhong University of Science and Technology●W uhan 430074. HubeiP.R. China24Computer Engineering & Science计算机工程 与科学2013,35(7)准[2]。目前SunRPC已经发展到第二个版本,其过直接调用用户态的IB Verbs接口调用网络服包括内核态的SunRPC模块和用户态的SunRPC务,从而可以绕过内核,进而实现用户态的RDMA，程序库,分别支持内核态程序之间的通信，以及用访问。户态程序之间的通信。用户态与内核态的SunR-IP Based Socket basedBlock Storage| File System应用程序APTMPAPP Access| AccessAccessPC之间也能通过TCP/IP协议互通。DAPLRPC协议因其能够屏蔽底层网络的复杂性以及对外提供友好的接口,而广泛应用在分布式文件用户态APILOpenFabric Ueer Level VehelAPTSDP 1iB系统中，包括NFS ( pNFS)[3]、Lustre[1]、Panasas用户态内核态File System[5] ,Google File System[60] 等。上层协议B SDP| SRP iSEl2相关技术OpenFsbrie Kemel Lavel Verbl/APIIniniBand驱动2.1 IB 技术InfiniBand主机 道适配器(HCA)IB是一个独立于平台的网络互连技术,相对Figure 1 IB protocol stack于其他的网络互连技术(如以太网),具有以下特图1 IB 协议栈点:(1)它将数据传输、协议处理、流量控制等工作IB内核提供的IPoIB(IPoverIB)协议可以实直接交由IB网卡完成，而不需要主机CPU的干现IB与以太网的兼容;SDP协议能够提供Socket预。应用程序可以通过IB的接口直接调用IB驱接口供应用程序调用;SRP(SCSIRDMAProto-动,从而可以绕过操作系统,以此提高系统性能。col)以及iSER (iSCSI Extend RDMA)均是通过(2)IB网络支持RDMA ( Remote Direct MemoryRDMA协议传输块存储命令(SCSI命令);而NF-Access)IT技术,使得远程的节点之间能够直接进SoRDMA(NFS over RDMA)能够提供基于文件行内存拷贝,有效地减少了TCP/IP协议内存多次系统的访问接口,使用IB网络的RDMA协议,可拷贝的开销。正是因为以上原因,IB网络具有高获得较高的文件I/O性能。性能、低延迟特性。目前IB网络的发展已经远远本文工作主要基于SDP协议,实现RPC over领先于其他网络,如表1所示8]。SDP供实验室设计开发的Cappella 并行文件系统Table 1 Data transferring rate of the IB network使用,不过由于Cappella OSS工作在用户态,仍需表1 IB 网络数据传输速率Gbit/s要实现用户态的RPC over SDP。SDRDDRQDRFDREDR2.3 SDP 协议1x13.72:IB网络通过Verbs接口对上层提供两种不同3254. 51000语义的传输接口:一种类似于传统的TCP/IP传输163. 6300协议的send/recv接口,通过将数据复制到网卡缓目前,Mellanox公司的最新IB产品已经达到存,然后由网卡发送,接收方从接收方网卡的缓存54. 5Gbps(4X FDR)的数据带宽,不久将会推出将数据复制到内核缓存，然后复制到应用程序缓数据带宽达到100Gbps以上的产品。而目前最快.存;另一种是基于零拷贝的RDMA read/write 接的FC网络的带宽为16Gbps,以太网的数据带宽口,如图2所示,零拷贝技术通过减少系统CPU和为10Gbps。40Gbps 和100Gbps的以太网标准已内存的开销,提高网络的吞吐量并降低网络延迟。于2010年制定,但目前仍没有相应的产品。机A主机B同时,相对于FC网络,IB网络获得相同带宽应用程CPU| 应用程的价格更低,且IB网卡的能耗比FC网卡要低[9]。|序缓存1 |序缓存2所以,随着未来数据中心对高性能、低延迟、低成本InfniBand HCA(RDMA网络的迫切需求,IB网络必将更加普及。engine)2.2 IB 协议栈Figure 2中国煤化工IB network与本文相关的IB协议栈如图1所示,其中灰MYHCNMHG式色部分由IB提供。应用程序API(如MPI)可以通.对于已有的基于socket的应用程序来说,虽明亮等:基于 InfiniBand的RPC优化25然IPolB能使IB网卡以以太网的模式工作,但是性能、低延迟的网络是必要的。而同时,在数据中却完全放弃了IB网卡的先进特性。如果要将这些心内部,网络多是同构的,不需要像TCP那样复杂应用移植到基于Verbs接口的IB网络上会比较复的协议去支持异构的网络。杂,那么如何才能让他们更好地利用IB网络的特TCP/IP协议产生于异构和不受主机控制的性呢?SDP协议就是为了解决这个问题而提出Internet网络,主要是为了满足远距离和复杂网络的。环境下的数据传输。也即从一开始TCP就不是为SDP协议通过对Verbs接口的封装,对外提数据中心内部的数据传输而设计的,尽管它能工作供socket接口,并通过socket switch使SDP协议在数据中心的网络环境中。可以无缝地取代TCP传输协议,如图3所示,这针对数据中心对网络高带宽和低延迟的需求，样,使用IB网络的RDMA协议,基于TCP的应用TCP协议有它固有的缺陷。TCP协议为了提供灵程序不用修改即可提升网络传输性能。活性、可靠性,主机CPU需要参与TCP协议完整应用程序性校验.数据包重新排序.数据的拷贝、数据包分发- sockel接口和聚合等等操作。TCP协议的这些操作占据了大用户态Libedp s(socket switch)量的主机CPU和内存,当网络速度达到10Gbps内核态Protocol switch以上时,所需开销巨大,从而影响主机应用以及网AF-INETTCP/IP AF-INET SDP络性能。尽管可以使用TCP卸载引擎TOE(Top/协议栈J」SDP协议栈IP Offload Engine)来改善TCP协议的性能,但是IPoIB- Verhs接口TOE并不能完全脱离主机CPU的干预,大量的内IB网卡驱动存拷贝仍然会影响TCP传输的性能。综上所述,TCP协议不适合在数据中心内部Figure3 SDP stack and TCP stack图3 SDP 协议栈与TCP协议栈传递数据,但是由于TCP协议的灵活性和跨平台特性,TCP协议适合用来连接数据中心外部用户3在RPC中用SDP替换TCP协议与数据中心边缘节点,进入数据中心内部之后就不适合使用TCP协议传输数据了。在IB网络环境中,尽管可以利用IPoIB技术3.2SDP协议在数据中心的优势使TCP/IP协议运行于IB网络之上,但是TCP/IPIB网络提供RDMA传输接口以及传统的消协议对于数据中心内部数据传送的固有缺陷,使得息传递接口。RDMA接口通过将本地内存导出给Cappella并行文件系统无法充分发挥自身性能。远端主机,远端主机可以直接通过IB网卡访问本本节重点分析TCP协议和SDP协议用于数地内存数据，从而避免了本地内存到本地网卡缓存据中心数据传输时候的各自优劣,文中用RPCo-的拷贝,也避免了远端网卡缓存到远端主机内存的ver SDP表示基于SDP协议的RPC, RPC over拷贝。不过,由于RDMA访问需要提前将本地内存注册到IB网卡,而内存注册也是有一-定的开销,TCP表示基于TCP协议的RPC。所以RDMA接口在传输小块数据的时候并没有3.1 TCP 协议的优势与缺陷传统的方式高效。针对IB网络中小块数据的传为了给数据中心的应用提供高可扩展性、高性输,我们可以使用IB提供的消息传递接口。目前能高可靠.高安全的服务,数据中心的层次化结构SDP的实现中,针对大于或等于64 KB的数据传开始逐渐流行。输使用RDMA传输,而小于64 KB的数据则采用相对于传统的客户端.服务器两层架构,现代传统的消息传递接口传输。数据中心的应用通常有三层以上的架构。-般都.相对于传统的TCP传输方式,IB的消息传递会将应用服务器与数据服务器分离,通过高速网络接口并不需要主机CPU参与类似数据完整性校连接。应用服务器和数据服务器使用集群技术来.验、数据包排序、数据包分发和聚合等等操作,IB提供高性能和高可靠等特性。硬件保证数据传输的可靠性,协议的处理并不需要当数据访问路径涉及多个层次的时候,每个层CPU的干预中国煤化工次之间都将产生网络开销,此时对于网络性能的需尽管IYHCNMH G转递接口都有求将更加迫切。所以,对于现代数据中心来说，高他们特有的优势,但是对基于TCP协议开发的应明亮等:基于InfiniBand的RPC优化27用户态应用程序server逻辑处理多线程化(MTRPC)],MTRPCRPC库性能得到明显提升。用户态SDPDP从图7可知，MTRPC over TCP性能随着连接数的增加和传输块大小的增大,性能有明显提内核态内核态程序升。在六个连接1MB的块大小时能够达到2298SunRPC模块MB/s,远远超过原始的TIRPC的性能。那么,将RDMATIRPC的TCP传输协议使用SDP协议替换后又会如何呢?Figure6 RPC over SDPxI(图6使用SDP传输的RPCi■1连接■2连接，4 RPC over SDP的设计与实现器15& 3连接口4连接从以上分析可知,SDP协议相对于TCP协议口5连接具有很大优势,将SDP协议集成到RPC能够提高。业■6连接RPC通信的性能。从SDP协议的来历我们知道,SDP是IB协议皇电栈中用来替换TCP的,通过提供socket接口使基于socket的TCP应用能够无缝切换到SDP协议。Figure 7 Performance of MTRPC而用户态的RPC直接使用socket接口来使用网over TCP and MTRPC over SDP络传输服务,故用户态的RPC切换到SDP是比较.图7 MTRPC over TCP与MTRPC over SDP性能对比容易的。通过分析TIRPC代码库,可以发现TIRPC的然而,要使用户态和内核态的RPC能够通过.socket连接都是通过__ rpc_ nconf2fd 调用创建,我SDP协议通信,内核态的RPC也需要实现SDP的们所要做的工作就是替换TCP socket 为SDP通信。通过分析内核态SunRPC的处理逻辑，发socket。只需要在rpe_generic.c代码中添加SDP现SunRPC使用了tcp_ read_ sock 接口,该接口是协议支持。tep_ recvmsg(tcp socket 接口)的- 种非阻塞版本。代码修改如下所示:但是,SDP的实现中并没有提供类似的接口。因/ * rpe_ generic.c for SDP* /此，要实现内核态的基于SDP协议的RPC通信，# define SDP可以使用两种方案:(1)在SDP模块中添加类似于# ifdef SDP# define AF_ INET SDP 27tep_ read_ sock的SDP版本sdp_ read_ sock; (2)修# endif改SunRPC逻辑,使它只使用tcp_ recvmsg 接口。从代码复杂性和对内核的修改量分析,方案(1)更int_ rpc_ nconf2fd( const struct netconfig * nconf)具可行性,它对于SunRPC基本不做修改,保证了内核的稳定性。4.1用户态RPC over SDP目前,基于C语言的用户态开放网络计算if(strcmp( nconf→nc _netid," tep")==0){si.si _af= AF INET SDP;RPC(ONCRPC)主要包括glibc 中的SunRPC和Sun公司开发的TIRPC( Transport IndependentRPC),为了修改和编译的方便,使用TIRPC作为.if((fd = socket(si. si_ af,si. si_ socktype,si. si_ pro-我们开发和测试的基础代码。通过对TIRPC的测to))>=08.8.si.si _af= =AF_ INET6) {试发现其最佳传输性能不到1. 5GB/s,远远低于int val=1;多连接TCP协议的2551 MB/s。中国煤化工通过分析TIRPC代码逻辑,可知其中RPCsetsockopt.MHC N M H GNLY, &.val,si-server端的处理逻辑是单线程的。通过将RPCzeof(val));28Computer Engineering &. Science计算机工程与科学 2013,35(7)# ifdef SDPreturn fd;if( (err= sock. .create_ kern(PF_ INET SDP ,SOCK_STREAM, IPPROTO TCP, &sock)) <0) { dprintk上述代码中黑体部分是新添加的代码(后面所(" RPC: can't create SDP transport socket(%d)./有代码中同样用黑体表示新添加的代码),可以看n" .err);出用户态下切换TCP协议到SDP协议是非常容goto out;易的工作。# else切换到SDP协议之后,RPC over SDP的性能if(err= sock_ .create_ kern(PF_ INET, SOCK_如图7所示。通过测试数据可知，RPC over SDPSTREAM, IPPROTO_ TCP， &.sock)) < 0)峰值性能达到2 529 MB/s,比RPC over TCP的{dprintk( "RPC:can't create TCP transport socket2 298 MB/s也提升了10%以上。(%d)./n" ,err);可见用户态下将RPC切换到SDP协议是非常具有性价比的,极小的代码改动就能得到巨大的收益。但是,要使内核态与用户态之间的交互能够# endif获得SDP的优势，还必须实现内核态的SDP协(4)修改服务器端socket为SDP socket。4.2内核态 RPC over SDP修改linux源代码目录中的net/ sunrpc/ svc-要实现内核态RPC over SDP,首先需要修改sock.c中的svc_ create_ socket 函数,修改TCP内核中的SDP模块,添加sdp_ read_ sock 接口。socket为SDP socket,代码修改如下所示:sdp_ read_ sock 代码类似于sdp_ recvmsg, 主要不1 * net/sunrpc/svcsock. c for SDP */同是sdp_ read_ sock 不会阻塞调用,且sdp_ read_static struct sVC_ xprt * svc_ create_ socket(struct svc_sock能够将sdpbuffer中的内容通过回调函数直serv * serv,.)接填充到应用缓存。在实现了sdp_ read_ sock 接口之后,还需要修改内核态SunRPC中client 和server端创建sock-et的相关接口。主要工作包括:if(type= =SOCK _STREAM){(1)复制IB驱动的sdp目录中的sdp. h到/error = sock_ create_ kern( PF _ INET_ SDP , type,protocol, &sock);usr/src/linux-2. 6. 27内核源代码目录中的in-if (error<0){clude/linux中。printk( " ming%s: create socket error\n",_ func(2)修改源代码目录中的include/linux/ sock-);et. h。return ERR_ PTR(error);添加SDP协议族到socket.h中需要添加的代码如下所示:/ * include /linux/ socket. h for SDP* /# define SDP# define AF_ INET SDP 27# define PF_ INET SDP AF_ INET. SDP(5)替换tep_ read_ sock 为sdp_ read_ sock。(3)修改客户端socket为SDP socket。代码修改如下所示:修改linux源代码目录中的net/ sunrpc/ xprt-/ * net/ sunrpc/ xprtsock. c for SDP* /sock.c中的xs_ tcp_ connect_ worker4 雨数，修改static void xs_ tcp_ data_ ready(struct sock * sk, intTCP socket为SDP socket,代码修改如下所示:bytes)/ * net/sunrpc/ xprtsock.c for SDP * /static: void xs_ tcp _ connect_ worker4 ( struct work_中国煤化工struct￥work)lo{MCHCNMHG# ifdef SDF.明亮等:基于 InfiniBand的RPC优化29read= sdp_ read_ sock(sk,&rd_ desc,xs_ tep_ data_RPC传输性能的测试工具,本测试主要通过编写reev);基于内核态RPC接口的代码来进行测试;每次测# else试通过传送1GB的数据(每次测试变化传输的块read=tcp_ read_ sock(sk,8.rd_ desc,xs_ tcp_ data_大小和线程数),根据传输消耗的时间计算出实际recv);的带宽。# endif由于内核态线程之间同步的复杂性,在计算带} while( read>0);宽的时候,分别计算每个线程获得的带宽，然后求和;用户态下的方式为,从第- -个线程发出到最后.通过修改内核态SunRPC以上五个地方,即一个线程结束的时间除以总传输量，所以内核态下可完成内核态SunRPCoverSDP通信,可以看出的测试结果会偏大一些。这种测试方法并不准确，代码的修改量非常之少。但是为了对比TCP和SDP的性能.此方法还是有一定的价值。5性能测试及结果分析如图8所示,可以看出RPC over SDP的整体性能高于RPC over TCP,RPC over SDP峰值带本节内容包括:(1)对比测试内核态RPC over宽能够达到2500MB/s.而RPCoverTCP峰值仅TCP和RPC over SDP;(2)对比测试内核态RPC为1 850 MB/s,峰值带宽提升35%以上。与用户态RPC通信时,TCP协议与SDP协议的性30能。■I连接5.1测试环境20.■2连接.实验室机房环境如下:■4连接(1)浪潮Inspur NF5280服务器90台。学■6连接每台具体配置为:■8连接CPU:Intel X5560* 2(2. 8GHz,4核);内存:Kingston DDR3 1 333 MHz 2GB* 6,总计12GB;硬盘: Seagate SAS 146 GB * 2 (RAID1 ),15 000 RPM;Figure8 Comparison of kernel- space网卡:MellanoxMT26428(ConnectX IB QDR,RPC over TCP and RPC over SDP图8内核态RPCoverTCP以及RPCoverSDP对比测试40 Gb/s) Channel Adapter.(2)Mellanox 36口IB交换机6台。5.3 内核态客户端与用户态服务器端通信主要软件环境为:内核态客户端与用户态服务器进行通信是(1)操作系统;Cappella文件系统的通信方式,在用户态和内核态原装64位Redhat5.3,原始内核版本2.6. 18;均实现了SDP协议之后,RPC内核态与用户态之升级内核为2. 6. 27,本文的测试都是基于间的通信顺理成章了。2. 6.27内核。测试方法同上节,为了保证对比测试的公平性(2)IB驱动。和可比较性,所有的测试都使用相同的代码和测试IB驱动版本为:Mellanox OFED-1. 4(12]。模式。(3)用户态RPC:libtirpc-0. 2.13]。从之前的测试中可以得到,RPCoverSDP在(4)带宽测试工具:iperf-2. 0. 2[11]和netperf-用户态下和内核态下均有较大的性能提升,而图92.4. 115。的结果表明,内核态RPC与用户态RPC通信时，本文提到的各种测试结果均是基于以上的软SDP协议在数据块大小较小(小于128KB)的时候硬件环境得到的。具有明显的优中国煤化工256 KB时5.2内核态RPC对比测试RPC over SDP:TYHcNMHC性能相差测试方法:由于并没有专业的测试内核态不大，总体来说RPC over SDP更具优势。30Computer Engineering &. Science计算机工程 与科学2013,35(7)x10[6] Chang F. Dean J, Ghemawat s. et al. The Google file sys-tem[C]// Proc of the 19th ACM Symposium on Operating.■4连接Systems Principles, 2003:29 43.■6连接.[7] A remote diret memory access protocol specification[ EB/OL].■8连楼[2012- 03 30]. htp://ools. ietf. org/ html/ rfe5040.至10[8] InfiniBand[ EB/0L]. [2012-04 30]. htp://en. wikipedia. org/wiki/ InfiniBand.[9] Mellanox Technologies. InfiniBand for storage aplications[ EB/OL]. [2012-05 30]. http:// www. mellanox. com.[10] allaghan B, Lingutla- Raj T. Chiu A. etal. NFS over RD-MA[C]// Proc of the ACM SIGCOMM Workshop on Net-Figure 9 Comparison of performance betweenwork 1I/0 Convergence, 2003:196 208.kernel-space RPC and user-space RPC[11] Ming Liang. Feng Dan, Wang Fang, et al. A performance图9内核态RPC与用户态RPC的通信性能测试enhanced user space remote procedure call on InfiniBand[C]// Proc of the SPIE,2011:8331-83310K.6结束语[12] Mellanox Open Fabrics Enterprise Distribution for Linux( MLNX_ OFED)[EB/OL]. [2012-03-30]. htp://ww. mellan-RPC协议作为重要的分布式通信协议,具有ox. com.[13] L.ibtirpe[ EB/OL]. [2012 0330]. http:// sourceforge. net/非常广泛的应用领域。本文通过对比SDP与TCPpriects/libtirpc/.协议的特性,全方位地分析了在数据中心中RPC [4] IrteEroL. [02 03. 30]. t://p/ suretoreover TCP的性能瓶颈,且实现了用户态RPC overnet/.SDP以及内核态RPC over SDP。其中在实现内[15] Netperf[ EB/OL]. [2012-03-30]. http://www. netperf.核态的RPC over SDP时,为SDP模块添加了sdporg/netperf/.[16] Sockets direet protocol[EB/OL]. [2012-03-30]. http://en._read_ sock 接口。wikipedia. org/ wiki/ Sockets_ Direct_ Protocol.测试表明,在IB环境中,RPC over SDP在用[17] Goldenberg D. Kagan M, Ravid R, et al. Zero copy sockets户态通信以及内核态通信均较RPC over TCP有drect protocol over InfiniBand- preliminary implementa-明显的优势，峰值性能分别提升10%(用户态)和tion and performance analysis[C]// Proc of the 13th Sympo-35%(内核态)。只是在内核态客户端与用户态服sium on High Performance Interconnects ( H0TI' 05)，务器进行通信时,RPCoverSDP并没有体现出优2005;128- 137.势。可见,要使内核态与用户态的RPC通信获得[18] Ming Liang, Fu Qiu-lei, Wan Yong. et al. User-space RPCover RDMA on InfiniBand[J]. JCIS: Journal oommuni-SDP协议的优势还需要更加深入地优化RPCovercation and Information Sciences, 2012. 2(2):18-24.SDP。参考文献:作者简介:[1] InfiniBand Trade Association. InfiniBandTM architecture specifi-明亮(1984-).男.湖北孝感人,博士cation[ EB/OL]. [2012-05-11]. http://www. infinibandta.生,研究方向为分布式文件系统。E-mail:org/ specs.Sandpiperl 12@ 126. com[2] Srinivasan R. RPC: Remote procedure call protocol specifica-MING Liang, born in 1984, PhD can-tion version 2[ EB/OL]. [2012-06-18]. http://www. ietf.org/ rfe/ rfc1831. txt.didate, his research interest includes dis-[3] Shepler s. Callaghan B. Robinson D. et al. NFS version 4tributed file system.protocol [EB/OL]. [2011-09-21]. http://www. ietf. org/rfc/rfc3530. txt.冯丹(1970-),女，湖北荆门人,博士，[4] Bram P J. The lustre storage architecture. [ EB/OL]. [2011-教授,研究方向为计算机系统结构和存储11-29]. http://www. lustre. org/ documentation. html.系统。E-mail:dfeng@ hust. edu. cn[5] Welch B, Unangst M. Abbasi z. et al. Scalable performance- 1970, PhD, profes-of the panasas parallel file system[C]// Proc of the 6th Use-中国煤化工: include computer33nix Conference on File and Storage Technologies. 2008:17-architecture,YHCNMHG.