编者按：集群文件系统所拥有的快速I/O速度，可能将会改变企业处理存储的方式。

　　由现有的PC、硬盘和以太网线，基于Linux操作系统，所组成的高级计算机，不仅仅是一种以低成本获得高性能计算的方法。他们在过去10年中还颠覆了大型计算机系统的市场。但是集群计算机与磁盘之间传输数据的速度，却没能跟上微处理器和内存的发展速度，结果一些重要项目因此而增加了额外的时间和成本。不过，最近出现了一类新的集群文件系统软件，它将有可能降低公司购买存储设备的成本。
　　
　　新的集群文件系统采用了开源的Lustre技术，由美国能源部（Department Of Energy）开发，惠普公司（HP）提供商业支持。它显著提高了输入输出（I/O）速度，目前已经在高校、国家实验室和超级计算研究中心产生了一定的影响，未来几年中，它还有可能进入普通商业计算领域。
　　
　　“从这套系统的基本性能来看，它简直快得不可思议。”斯科特·司徒汉（Scott Studham）表示。司徒汉是美国橡树岭国家试验室（Oak Ridge National Laboratory）国家计算科学中心（National Center For Computational Sciences）的首席技术官（CTO）兼某Lustre用户团体的主席。有了Lustre，每台机器与磁盘间的I/O速度从每秒数百MB提高到每秒 2GB。由于性能几乎与连接工作站的数量保持同步上升，集群内从磁盘读取数据的总体速度可能会达到每秒几十GB。
　　
　　“企业级文件系统无法达到这个速度。”皮克斯动画工作室（Pixar Animation Studio）技术副总裁格雷格·布兰多（Greg Brandeau）认为。这家工作室采用了创业公司Ibrix公司开发的集群文件系统。当他们在制作动画电影《汽车总动员》（Cars，明年发行）时，这套系统必须对2,400只处理器组成的渲染机群、每天多达2,400亿次的数据请求做出响应。皮克斯动画工作室首次使用了“光线追踪”（Ray Tracing）技术，可以带给角色反光色和更加真实的光影效果，但这会消耗大量的处理器和网络资源。“过去半年来，我们已经认识到，使用高性能计算确实能够带来与企业计算不同的效果。”布兰多表示。
　　
　　不久前，惠普公司发布了可扩展文件系统（Scalable File Share）的第2版，这个产品是去年年底推出的，包含一台服务器和一只软件包，使用Lustre技术来分布集群内的存储服务，这种做法与过去几年一些 IT厂商为提高服务器性能所采取的分布式计算方式非常相似。SFS系统允许集群里的Linux节点能以高达每秒35GB的速度读取数据，而且允许高达 512TB的总存储容量，这是以前旧有系统容量的两倍。惠普公司高性能计算产品市场经理肯特·昆宁格（Kent Koeninger）表示：“之所以能达到这样的速度，关键之一是因为使用了集群技术来组建存储系统。”
　　
　　提高传统文件系统的扩展性问题，与计算机管理磁盘上所存储数据的方式有关。计算机文件由分散在整个磁盘上的数据块组成，而不是一个有机的整体。文件系统追踪这些数据块，当文件需要更多空间时，系统就会分配空闲的数据块满足其需求。但是如果多台计算机争着访问数据，大部分文件系统就会锁定被某个计算机所使用的一个数据块，即使其他计算机也在请求这个数据块。当那台机器结束访问以后，集群中其他节点才可以访问那个数据块。但是当管理人员在集群里加入了更多的机器，有时是几百或者几千台，管理这些数据块就会消耗更多的CPU资源和网络带宽。
　　
　　“最终，这些都导致了应用程序性能的降低。”IT市场调研公司Illuminata公司分析师大卫·福罗因德（David Freund）表示，“于是，就出现了系统的扩展性问题。”Lustre技术通过让成百上千台服务器共享一个文件系统的方式解决了这个问题。它将数据块管理功能扩展到所有设备上。尽管有几十台机器同时在处理I/O事务，但相对于其他集群里的机器，他们看上去仍旧像是同一台文件服务器。这就使得它带来的 I/O速度要比商业计算标准，比存储区域网络或网络附加存储高出很多。
　　
　　“Lustre技术解决了一个高性能计算市场和通用市场都会遇到的障碍：磁盘驱动器速度无法与处理器和内存带宽的增加保持同步。”司徒汉这样认为。他还进一步解释说，当用户在集群的众多处理器上部署应用程序，从磁盘读取数据或者写入数据都会阻塞性能的发挥。这个问题非常严重，因此他在跟存储供应商谈判的时候，关心的是数据的速度，而不是容量。“在过去10年，我们往往就GB容量的价格与存储供应商讨价还价。”他说，“而今后，我们会更加关注单位带宽的成本。在我过去购买存储设备的经历中，我还是第一次提出这样的问题，‘我不关心你给我多少容量；我更关心的是单位带宽的成本。’我们正好遇到了拐点。”