存储网络技术
存储网络技术
存储与网络
自从第一台计算机产生以来,人们就对它不断有新的要求。人们希望它更快,更便宜,更能应用于生活中的多种场合。由于计算机技术不断向更便宜,更有效的方向发展,早期的主机式计算机也从大型的中心式的系统演化为便捷的,企业级的服务器。接着,网络技术也对计算机平台的演化产生了相应的影响。随着这两项技术的逐渐成熟,以及对计算机处理能力和相关数据需求的不断增长,更快、可靠性更好的存储技术将得到更多的市场份额,存储性网络也会因此而到来。
从历史上看,存储设备或者被安放在服务器之外,或者被安放在服务器之内,但都与服务器的操作系统紧密相连。服务器和存储设备之间的连接通常使用的是SCSI(小计算机系统接口)协议。SCSI协议逐渐发展成为了存储接口协议方面的具有统治性地位的标准。它包括高性能服务器所使用各种各样的内置的或外置的磁盘或磁带的驱动。由于它高速的数据传输率,高可靠性和低延时,SCSI成为连接各种各样的存储器到服务器的理想协议。
在过去的10至15年中,商业的模式发生了重大的改变。这其中,基于因特网的商业模式的爆炸性增长给信息的获取和存储技术带来了新的挑战。不断增长的对存储能力的需求使许多IT组织不堪重负,因此,发展一种具有成本效益的和可管理的存储方式就成为必然。
什么是计算机存储?
计算机存储把握着当今因特网经济的生命线。信息和知识的获取成为当今生产力以史无前例的速度增长的核心要素。随着因特网的爆炸性增长以及基于信息的经济的产生,数字化信息必须能够存储,并且被那些需要它的人们所获得。为了使信息能够得到适当的存储、使用和保护,计算机存储使用了众多的技术和介质。
信息存储的最通常类型是磁介质存储。磁介质存储又分为固定式和可拆除式两种。固定式磁盘存储技术要求读写磁头和旋转介质放置在一起,而不能拆分。可拆除式磁盘存储技术则刚好相反。这样一方面可以利用磁介质的低廉价格,另一方面又提高了对所存储数据的保护。
使用磁介质的最主要好处在于,它的灵活性,相对的低廉价格,较高的性能和可重用性。这种介质可以重复写入不同的数字化信息,并可被安全保存很多年以备将来所需。磁盘存储的一个缺点是那些带有移动部分的系统容易老化和损坏。另一方面,系统错误和自然灾害也会导致数据的破坏或无法取得。这种内在危险的存在,要求存储管理器能够对那些有价值的信息实现更多的保护。传统的保护数据的方法是使用多种形式的复制和奇偶差错保护。这种做法的依据是更多的冗余信息有利于数据的保护和有效提取。一般说来,从性能价格,可扩展性和可靠性方面,每一种介质形式都会有各自的优缺点。
用于在线的和服务器可达的存储设备是磁盘。磁盘存储又包括两种配置方式:JBOD和RAID。JBOD代表一束磁盘(Just a Bunch of Disks),它是一种最简单和最便宜的配置方式。在这种方式下,每个磁盘都独立的接收来自服务器的数据访问。他们之间没有数据缓存、数据备份等方式用来提高性能和数据保护。JBOD驱动器之间只是共享电源和机柜。JBOD的容量增长有限,最大可达每个机柜1TB。因为没有内在的智能、没有奇偶校验和数据备份,所以JBOD对于驱动器错误就没有保护功能。
与JBOD不同的是,RAID代表冗余独立磁盘阵列(Redundant Array of Independent Disks)。它是受智能控制器控制的,具有奇偶校验和数据备份的一种配置方式。除了在磁盘间提供必要的奇偶校验和数据备份保护之外,对于关键的商业数据,RAID还可以提供特殊的磁盘镜像保护。当发生驱动器错误时,磁盘镜像可以为磁盘数据提供完整保护。这样,这些具有差错控制功能的磁盘在一起,就可以作为一个单独的磁盘供服务器使用。RAID的最大容量可以达到每个机柜512个磁盘,也即每个机柜10TB左右的容量。具体还取决于制造商和所需的RAID保护级别。其中的每个存储单元为18、36、72、181GB不等,并且单个驱动器的容量还在不断增长。由此我们可以看出,RAID配置方式比简单的JBOD方式提供了更大的容量和更高的性能。
存储网络基础
SCSI
SCSI是连接存储设备与服务器的最通用的方法。SCSI产生于1979年,是支持一到两个磁盘的8-bit的并行总线接口。这一协议不断发展,直至成为其他存储相关技术的基础。今天,串行SCSI成为了存储设备领域里,具有层结构和良好体系结构的协议族。
美国国家信息技术委员会所制定的T10标准,也就是SAM-2,为SCSI的实现提供了一个层次化的模型。这一框架包括SCSI驱动器软件,物理互联,命令实现以及存储管理。这些内容在一起为SCSI的互操作性和可扩展性提供了可能。它支持多驱动器类型、排队、多任务、缓存、自动驱动器ID识别、双向接口操作等内容。SCSI-3命令集将逻辑层转化为基于包的格式,从而为网络传输提供了可能。目前对串行SCSI有多种实现,包括Fibre Channel、Apple’s Firewire、 IBM SSA等。最近又有iSCSI。
SCSI标准共提供了三种可能的电气配置:
(1)低成本的单端可选配置,适用于临近设备的连接,作用距离最大为6米;
(2)较昂贵的HVD,可支持25米距离,具有较好的抗噪声性能;
(3)最近提出的LVD,支持SCSI-3,作用距离可达12米。
随着基于因特网的应用的不断增长,不断加速的信息需求使得存储容量的增长速度超过了服务器处理能力的增长速度。一方面是服务器有限的内部存储极限,另一方面是不断增长的存储内容,这就要求服务器的存储“外部化”,以适应新的应用的要求。SCSI协议由于可以实现外部存储设备到服务器的连接,恰恰满足了这一需求。然而随着存储容量的不断增长和服务器的不断发展,在单一的服务器上实现同时对应用环境和存储环境管理就成为了一项新的挑战。将服务器和存储器分开虽然有助于提高这方面的管理能力,但是SCSI的25米极限,以及它的速度和共享能力,还是一个重要问题。尽管SCSI广受欢迎并得到了服务器和设备商们的广泛支持,但是它的物理距离极限和交换能力仍然是非常有限的。其他技术(诸如Fibre Channel, Ethernet, IP 和 iSCSI)也在和SCSI一起为克服这一缺点,从而为用户的信息存储提供更好的管理和数据存取而努力。尽管SCSI协议有种种缺陷,但它仍然将在存储互联领域继续生存发展。
TCP/IP
TCP协议和IP协议共同构成了通信协议族。这组协议是因特网获得成功的主要因素。一方面它们的扩展性很强,可以实现巨大的网络,另一方面TCP/IP也在因特网不同的使用者之间实现了安全和可靠的信息共享。由于这些特性的存在,使得因特网成为了一个真正的开放性网络,它可以支持数以百万计的家庭、学校、政府、公司直至世界的遥远角落。由于TCP/IP能够支持大量的网络技术,所以它完全有能力成为全球存储网络的基础。
Ethernet
Ethernet是今天局域网领域得到最广泛使用的技术。它是IEEE802.3标准。最早是Xerox公司所开发。因为它是桌面电脑互联的最佳技术,所以得到Intel公司和Digital公司的进一步开发。它的发展经历了10Mbps到100Mbps再到1000Mbps的过程。现在,10Gbps的Ethernet也即将问世。10Gbps的Ethernet和TCP/IP的组合为存储网络应用的实现提供了引人注目的解决方案。
Fibre Channel
大多数的存储域网络(Storage-Area Networks)都是基于一个叫Fibre Channel(FC)的体系结构。FC的发展是为了解决服务器和存储设备之间通信的诸多要求的。这些要求包括速度、容量、可靠性等等。目前它能够实现1Gbps的速率,2Gbps的速率还处在测试阶段。它可以实现100MB/sec半工和200MB/sec全工的持续吞吐量。
Fibre Channel的发展始于1988年。1994年NCITS T11输入输出接口(X3.230-1994)标准制定完成。它为IT产业的专业人员构建存储基础设施提供了具有高可靠性,高性能和高扩展能力的解决方案。Fibre Channel为SANs提供用于服务器和存储器之间的专用存储协议,而在服务器和服务器之间则使用传统的IP协议。
SCSI通常在Fibre Channel中以一种高层协议的方式出现,这样就在SCSI的可靠性和Fibre Channel的高速性和多设备之间实现了互补。
图1至图3显示了采用Fibre Channel构建存储网络的不同拓扑结构。
图1 Fibre Channel环网配置
图2基于Fibre Channel集线器的Fibre Channel网
图3 交换式Fibre Channel拓扑结构
体系机构基础
局域网
一个局域网是用来在诸如办公室,大楼等较小区域内实现个人计算机,工作站,打印机互联的计算机网络。该网络可以使连接在其上的计算机能够收发电子邮件、共享网络打印机、共用服务器上的应用。典型的局域网体系结构建立在客户端服务器模型之上,网络可达性通过客户端登录服务器的方式实现。局域网通常使用双绞线连接,而短距离的无线连接也越来越受到欢迎。局域网典型的运行速度为100Mbps。一般局域网都局限在一个建筑内或小型校园内,它可以通过与广域网或城域网互联实现连接远端用户的目的。
城域网
城域网是指直径为5~100公里的范围内的高速网。其典型大小为一座大型城市。城域网一般应用于大小介于局域网和广域网之间的需求。城域网的运行速度可达2048Mbps,其典型结构为点到点的环形拓扑。由于采用密集波分复用技术,使得专用城域网得以蓬勃发展。
图4网络拓扑:局域网,城域网和广域网
广域网
广域网的存在为长距离的网络互联提供了可能。决定专线价格的首要因素是距离,传输速率和竞争水平。通常的专线可以是T-1型,也可以是T-3型。在欧洲为E-1或E-3。广域网的典型图谱结构为星型或网格型。
直接附着式存储(Direct Attached Storage)
由于早期的网路十分简单,所以直接附着式存储得到发展。到了二十世纪八十年代,计算机由大型的集中式系统发展到灵活的客户端/服务器分布式模型。正是尚处在初级阶段的局域网推动了这一转变。附着于服务器的存储(Server-Attached Storage)和直接连接存储类似,但使用的却是分布式的方法,并依赖与局域网的连接得以实现。随着计算能力、内存、存储密度和网络带宽的进一步增长,越来越多的数据被存储在个人计算机和工作站中。分布式的计算和存储的增长对存储技术提出了更高的要求。
今天,所有的存储操作都要通过CPU的I/O操作来完成。由于使用DAS,存储设备与主机的操作系统紧密相连,其典型的管理结构是基于SCSI的并行总线式结构。存储共享是受限的,原因是存储是直接依附在服务器上的。从另一方面看,系统也因此背上了沉重的负担。因为CPU必须同时完成磁盘存取和应用运行的双重任务,所以不利于CPU的指令周期的优化。
存储域网络(Storage Area Networks)
一个存储域网络是一个用在服务器和存储资源之间的,专用的,高性能的网络体系。
如图5所示:
图5:SAN存储模型
说它是专用的,因为它为了实现大量原始数据的传输而进行了专门的优化。因此,可以把SAN看成是对SCSI协议在长距离应用上的扩展。
SAN使用的典型协议组是SCSI和Fibre Channel(SCSI-FCP)。Fibre Channel特别适合这项应用,原因在于一方面它可以传输大块数据(这点类似于SCSI),另一方面它能够实现远距离传输(这点又与SCSI不同)。
SAN的市场主要集中在高端的、企业级的存储应用上。这些应用对于性能、冗余度和可靠性都有很高的要求。
附于网络的存储(Network Attached Storage)
一旦局域网在技术上得以实现,那么就可能在多个文件服务器之间实现互联,从而为实现文件共享而建立一个统一的框架。局域网的存在加速了中心式计算的淘汰和分布式的客户端/服务器计算的发展。分布式的客户端/服务器技术是指采用大量的便宜的小型计算机和存储设备来代替昂贵的集中式计算机。
随着计算机的激增,大量的不兼容性导致数据的获取日趋复杂。因此采用广泛使用的局域网加工作站族的方法就对文件共享、互操作性和节约成本有很大的意义。NAS包括一个特殊的文件服务器和存储。如图6所示。
图6 NAS存储模型
NAS服务器上采用优化的文件系统,并且安装有预配置的存储设备。由于NAS是连接在局域网上的,所以客户端可以通过NAS系统,与存储设备交互数据。
另外,NAS直接运行文件系统协议,诸如NFS,CIFS等。客户端系统可以通过磁盘映射和数据源建立虚拟连接。
SAN与NAS区别和联系
当我们对SAN和NAS进行比较时,我们发现这两种相互竞争的技术实际上是互补的。SAN和NAS是在不同用户需求的驱动下的独立事件。SAN是以数据为中心的,而NAS是以网络为中心的。下表比较了二者的特征。
表1 NAS对基于Fibra Channel的SAN
Network Attached Storage Storage Area Network
以网络为中心的 以数据为中心的
局域网或广域网 专用的存储网络
定义了一个产品或设备 定义了一个体系结构
高等待时间的,基于TCP/IP 低等待时间,基于特定协议
非直接连接(有路由) 直接连接(交换式的)
共享文件和数据 服务器拥有一个卷标
NAS和SAN在以下方面提供互补:
(1) NAS产品可以放置在特定的SAN网络中,为文件传输提供优化的性能
(2) SAN可以扩展为包括IP和其他非存储关联的网络协议
存储网络的演化就是基于DAS,NAS和SAN中最佳要素的融合,从而来满足以因特网为中心的商业对存储提出的越来越高的要求。
TCP/IP、Ethernet和存储网络
iscsi
iSCSI正是集合了Ethernet和IP的开放性,NAS的文件级存取是基于SAN的块级存取这四方面优点的混合产物。随着当今IP和Ethernet的激增,用户可以采用与构建因特网相同的基础来支持他们对存储网络的需求。服务器可以在运行TCP/IP的Ethernet上安装开放的iSCSI驱动,从而能够存取位于Fibre-channel上的SAN中的数据块。当今的用户可以利用基于TCP/IP的Ethernet来无限制的扩大他们的存储容量和带宽。因特网SCSI(Internet SCSI)正是网络条件下的SCSI-3协议。
iSCSI为满足IT专业人员的特殊需求提供多种可能的拓扑,它可以部署为私有的存储中心网。通过使用Ethernet,它还可以增加IPSec和防火墙以提高信息的安全。它也可以被设计成聚合的存储网络,既可以作为私人企业的解决方案也可以在公众网上以VPN的形式出现。理论上说,用户可以构建任何大小的网络以适应各种各样不同的需求。
FCIP
FCIP(Fibre Channel over IP)是在TCP/IP上用管道技术来实现Fibre Channel的受推荐标准。它采用封装技术将Fibre Channel协议封装在IP包中,以使它能够通过IP网。已经拥有Fibre Channel网的用户可以通过调节他们已经存在的SAN以使它们能够扩展到城域网和广域网。FCIP正是这样一种将多个Fibre Channel孤岛连接起来的手段。
举个例子,FCIP可以用来连接地理上分开的Fibre Channel存储阵列,并实现数据的同步更新。这样一旦有数据遭到破坏,系统立即可以通过FCIP链路获得远端的热备份数据。这样做的好处是使数据具有灾难恢复功能,而这一点对于有些商业数据又是必不可少的。
SAN应用
存储网络发展的主要推动力来自于它所产生的应用。这些应用在性能上、存储管理上和在可扩展性上都有一定的能力。下面是其中的一些应用:
(1) 数据共享——由于存储设备的中心化,大量的文件服务器可以低成本的存取和共享信息,而同时也不会使系统性能有明显的下降。
(2) 存储共享——两个或多个服务器可以共享一个存储单元,这个存储单元在物理上可以被分成多个部分,而每个部分又连接在特定的服务器上。
(3) 数据备份——通常的数据备份都要依赖于共同的局域网或广域网设备。通过使用SAN,这些操作可以独立于原来的网络,从而能够提高操作的性能。
(4) 灾难恢复——传统上,当灾难发生时,使用的是磁带实现数据恢复。通过使用SAN,可以采用多种手段实现数据的自动备份。而且这种备份是热备份形式,也就是说,一旦数据出错,立即可以获得该数据的镜像内容。
存储网络的未来
在DAS,SAS,SAN和NAS之间的区别正在变得模糊。所有的技术在用户的存储需求下接受挑战。传统的客户端服务器的计算模式将会演化成具有任意连接性的全球存储网络。在那种情况下,数据的利用率会得到提高。分布式数据也会得到更加优化的存储。
和其他领先技术一样,存储网络市场也会得益于现有技术以及新技术的发展与融合。
另一方面,提高了的物理上的连通性,并没有本质上改变在多个服务器之间共享数据的困难。所以存储网络方面的进一步发展将会发生在存储管理、自动备份与恢复、不同介质间的互操作性,存储网络服务质量等方面。
存储局域网的构建
存储设备,硬件平台相互独立,产品质量参差不齐,存储管理软件功能不完善,这些都增加了用户管理大容量数据的难度以及运行维护成本。对于企业级客户,在现实中可能会遇到下面的问题:
* 单个存储设备容量不够大,传统的SCSI总线速度不能满足大量数据的顺序读写的需求;
* 兼容性差,不同的系统数据交换复杂,性能低下;
* 不能充分利用各服务器功能,实际数据读写性能比服务器原有性能低;
* 数据可靠性低,不利于系统数据备份及恢复;
* 存储数据可扩充性差,不同厂家、不同类型机器需要分别升级;
* 数据共享性低,实现共享困难;
* 因为是不同的存储设备,分别维护、扩充、升级费用极高。
企业如果在上述问题前困惑,那么,这个企业就有必要将数据存储问题放到议事日程上来。存储设备很可能将成为这个企业技术战略的中心主件,需要构筑一个崭新的、以存储为核心的IT架构,来应对IT环境中前所未有的数据和信息的爆炸性增长。
这个新的IT架构是指:一个具备可扩展的、模块化的、开放的、不依赖于某一专门的系统及应用的架构,其目的是为了提供一个跨企业的,任何人、任何应用、任何系统都可以安全连接的大型存储空间,这就是存储局域网。
存储局域网的内涵
按SNIA的定义,存储局域网(SAN)指的是通过一个单独的网络(通常是高速光纤网络)把存储设备和挂在TCP/IP局域网上的服务器群相连。当有海量数据的存取需求时,数据可以通过存储局域网在相关服务器和后台存储设备之间高速传输。
从物理的角度看,存储局域网包括以下四大类的组件:终端用户平台、服务器、存储设备与存储子系统、网络连接设备。
一般而言,网络拓扑是基于传统LAN或WAN的技术,它提供终端用户与服务器间的连接,但是,在特殊要求下,终端用户的设备可直接连接光纤存储局域网提供的存储设备。
服务器可以单独的或者以群集的方式接入存储局域网。
存储子系统通过光纤集线器、光纤路由器、光纤交换机等不同的连接设备构成光纤通道网络,与服务器、终端用户设备相连。
从逻辑的角度看,一个存储局域网包括存储局域网组件、资源以及它们间的关系、相关性与从属关系;存储局域网的组件间的关系并不受物理连接的限制。
在存储局域网的管理中,逻辑关系起着一个重要的作用。在存储局域网中的重要逻辑关系包括:
* 存储子系统与连接件的逻辑关系;
* 存储子系统间的逻辑关系;
* 服务器系统与存储子系统(包括适配器)的关系;
* 服务器系统与终端用户的组件的关系;
* 存储子系统与终端用户的组件的关系;
* 服务器间的关系。
网络设计步骤
成功的存储局域网构建的第一步和最重要的一步均是存储局域网的设计。在设计之前,设计者首先应该明确网络设计的目标。那么,一个成功存储局域网的设计目标是什么呢?
存储局域网的设计要从设计角度出发,保证在实施后的存储局域网能够:
* 满足客户对存储设备性能和容量方面的要求;
* 满足相关的数据高可用性和冗灾的要求;
* 强大的数据管理性;
* 满足数据备份的要求;
* 满足未来数据与业务增长的要求;
* 高性价比。
存储局域网的设计过程,主要包括以下几个步骤:
第一步:客户需求分析
对于存储局域网的设计而言,设计者有必要首先了解和收集客户需求信息,这包括:
* 容量的要求,总容量的需求;
* 列举在环境中可能需要接入存储局域网的服务器;
* 分析数据备份与恢复的要求与策略,决定不同数据的重要性级别;
* 了解可以在晚间做有计划停机的数据量的大小;
* 统计数据高可用性的要求;
* 统计数据冗灾的要求;
* 统计异构连接的要求。
第二步:客户环境信息的收集与分析
在了解客户的业务需求与整体方案的要求后,网络设计者需要细化当前存储环境的条件以及存储局域网所须达到的相关环境信息。这包括:
* 相关的服务器的配置信息: 硬件机型、操作系统版本;
* 相关服务器所需的I/O性能要求与容量要求;
* 每个服务器所需要的逻辑卷组(LUN-Logical Unit Number)的数目;
* 相关的当前服务器的关系,如群集及应用程序包的情况;
* 每个逻辑卷组LUN所对应的I/O性能要求;
* 当前环境中的存储设备如果要放到未来的存储局域网中,设计者需要对当前环境中的存储设备 的I/O性能进行评估。
第三步:选择大型存储设备
在了解客户业务和环境情况后, 存储局域网设计过程中关键的一步到了,这就是适当的大型存储设备如磁盘阵列、带库(DLT)的选择。
在这一步,设计者需要重点考虑以下因素:
* 相关的应用程序的要求;
* 整体环境对存储设备的性能要求;
* 未来业务及数据增长映射过来对存储设备的可扩充性的要求;
* 数据的高可用性的要求;
* 冗灾方式与冗灾的要求;
* 相关的存储设备与服务器、网络组件互联性的要求;
* 数据备份的要求,如整个环境中异构机型及应用程序的备份;
* 整个项目的预算。
在综合考虑以上因素及相关产品的参数后,设计者可以基本确定应当购买的存储网络设备。
第四步:存储局域网的网络拓扑设计与存储设备的内部划分设计
在综合以上三步后, 存储局域网的设计进入最后一步,即存储局域网的网络拓扑设计与存储设备的内部划分设计。在这一部分,设计者要考虑的是:
* 光纤通道设备的选择: 集线器、路由器或交换机;
* 光纤通道设备的选型:8端口、16端口等的光纤通道设备;
* 服务器光纤通道数据接口适配卡(Host Bus Adapter)的类型;
* 服务器的群集与相关的光纤通道设备间的逻辑区的划分(Cluster over Fabric Zone) ;
* 数据传输链路的冗余性及相关的流量分析;
* 存储设备的逻辑卷的设计。
在选择相关的存储局域网管理软件后,一个基本的存储局域网的框架设计已经完成。
在设计结束后,设计者基本上会形成以下设计文档: 存储局域网网络拓扑图、存储阵列的LUN
划分图、存储局域网的硬件连接图。
没有图片!sorry。
存储与网络
自从第一台计算机产生以来,人们就对它不断有新的要求。人们希望它更快,更便宜,更能应用于生活中的多种场合。由于计算机技术不断向更便宜,更有效的方向发展,早期的主机式计算机也从大型的中心式的系统演化为便捷的,企业级的服务器。接着,网络技术也对计算机平台的演化产生了相应的影响。随着这两项技术的逐渐成熟,以及对计算机处理能力和相关数据需求的不断增长,更快、可靠性更好的存储技术将得到更多的市场份额,存储性网络也会因此而到来。
从历史上看,存储设备或者被安放在服务器之外,或者被安放在服务器之内,但都与服务器的操作系统紧密相连。服务器和存储设备之间的连接通常使用的是SCSI(小计算机系统接口)协议。SCSI协议逐渐发展成为了存储接口协议方面的具有统治性地位的标准。它包括高性能服务器所使用各种各样的内置的或外置的磁盘或磁带的驱动。由于它高速的数据传输率,高可靠性和低延时,SCSI成为连接各种各样的存储器到服务器的理想协议。
在过去的10至15年中,商业的模式发生了重大的改变。这其中,基于因特网的商业模式的爆炸性增长给信息的获取和存储技术带来了新的挑战。不断增长的对存储能力的需求使许多IT组织不堪重负,因此,发展一种具有成本效益的和可管理的存储方式就成为必然。
什么是计算机存储?
计算机存储把握着当今因特网经济的生命线。信息和知识的获取成为当今生产力以史无前例的速度增长的核心要素。随着因特网的爆炸性增长以及基于信息的经济的产生,数字化信息必须能够存储,并且被那些需要它的人们所获得。为了使信息能够得到适当的存储、使用和保护,计算机存储使用了众多的技术和介质。
信息存储的最通常类型是磁介质存储。磁介质存储又分为固定式和可拆除式两种。固定式磁盘存储技术要求读写磁头和旋转介质放置在一起,而不能拆分。可拆除式磁盘存储技术则刚好相反。这样一方面可以利用磁介质的低廉价格,另一方面又提高了对所存储数据的保护。
使用磁介质的最主要好处在于,它的灵活性,相对的低廉价格,较高的性能和可重用性。这种介质可以重复写入不同的数字化信息,并可被安全保存很多年以备将来所需。磁盘存储的一个缺点是那些带有移动部分的系统容易老化和损坏。另一方面,系统错误和自然灾害也会导致数据的破坏或无法取得。这种内在危险的存在,要求存储管理器能够对那些有价值的信息实现更多的保护。传统的保护数据的方法是使用多种形式的复制和奇偶差错保护。这种做法的依据是更多的冗余信息有利于数据的保护和有效提取。一般说来,从性能价格,可扩展性和可靠性方面,每一种介质形式都会有各自的优缺点。
用于在线的和服务器可达的存储设备是磁盘。磁盘存储又包括两种配置方式:JBOD和RAID。JBOD代表一束磁盘(Just a Bunch of Disks),它是一种最简单和最便宜的配置方式。在这种方式下,每个磁盘都独立的接收来自服务器的数据访问。他们之间没有数据缓存、数据备份等方式用来提高性能和数据保护。JBOD驱动器之间只是共享电源和机柜。JBOD的容量增长有限,最大可达每个机柜1TB。因为没有内在的智能、没有奇偶校验和数据备份,所以JBOD对于驱动器错误就没有保护功能。
与JBOD不同的是,RAID代表冗余独立磁盘阵列(Redundant Array of Independent Disks)。它是受智能控制器控制的,具有奇偶校验和数据备份的一种配置方式。除了在磁盘间提供必要的奇偶校验和数据备份保护之外,对于关键的商业数据,RAID还可以提供特殊的磁盘镜像保护。当发生驱动器错误时,磁盘镜像可以为磁盘数据提供完整保护。这样,这些具有差错控制功能的磁盘在一起,就可以作为一个单独的磁盘供服务器使用。RAID的最大容量可以达到每个机柜512个磁盘,也即每个机柜10TB左右的容量。具体还取决于制造商和所需的RAID保护级别。其中的每个存储单元为18、36、72、181GB不等,并且单个驱动器的容量还在不断增长。由此我们可以看出,RAID配置方式比简单的JBOD方式提供了更大的容量和更高的性能。
存储网络基础
SCSI
SCSI是连接存储设备与服务器的最通用的方法。SCSI产生于1979年,是支持一到两个磁盘的8-bit的并行总线接口。这一协议不断发展,直至成为其他存储相关技术的基础。今天,串行SCSI成为了存储设备领域里,具有层结构和良好体系结构的协议族。
美国国家信息技术委员会所制定的T10标准,也就是SAM-2,为SCSI的实现提供了一个层次化的模型。这一框架包括SCSI驱动器软件,物理互联,命令实现以及存储管理。这些内容在一起为SCSI的互操作性和可扩展性提供了可能。它支持多驱动器类型、排队、多任务、缓存、自动驱动器ID识别、双向接口操作等内容。SCSI-3命令集将逻辑层转化为基于包的格式,从而为网络传输提供了可能。目前对串行SCSI有多种实现,包括Fibre Channel、Apple’s Firewire、 IBM SSA等。最近又有iSCSI。
SCSI标准共提供了三种可能的电气配置:
(1)低成本的单端可选配置,适用于临近设备的连接,作用距离最大为6米;
(2)较昂贵的HVD,可支持25米距离,具有较好的抗噪声性能;
(3)最近提出的LVD,支持SCSI-3,作用距离可达12米。
随着基于因特网的应用的不断增长,不断加速的信息需求使得存储容量的增长速度超过了服务器处理能力的增长速度。一方面是服务器有限的内部存储极限,另一方面是不断增长的存储内容,这就要求服务器的存储“外部化”,以适应新的应用的要求。SCSI协议由于可以实现外部存储设备到服务器的连接,恰恰满足了这一需求。然而随着存储容量的不断增长和服务器的不断发展,在单一的服务器上实现同时对应用环境和存储环境管理就成为了一项新的挑战。将服务器和存储器分开虽然有助于提高这方面的管理能力,但是SCSI的25米极限,以及它的速度和共享能力,还是一个重要问题。尽管SCSI广受欢迎并得到了服务器和设备商们的广泛支持,但是它的物理距离极限和交换能力仍然是非常有限的。其他技术(诸如Fibre Channel, Ethernet, IP 和 iSCSI)也在和SCSI一起为克服这一缺点,从而为用户的信息存储提供更好的管理和数据存取而努力。尽管SCSI协议有种种缺陷,但它仍然将在存储互联领域继续生存发展。
TCP/IP
TCP协议和IP协议共同构成了通信协议族。这组协议是因特网获得成功的主要因素。一方面它们的扩展性很强,可以实现巨大的网络,另一方面TCP/IP也在因特网不同的使用者之间实现了安全和可靠的信息共享。由于这些特性的存在,使得因特网成为了一个真正的开放性网络,它可以支持数以百万计的家庭、学校、政府、公司直至世界的遥远角落。由于TCP/IP能够支持大量的网络技术,所以它完全有能力成为全球存储网络的基础。
Ethernet
Ethernet是今天局域网领域得到最广泛使用的技术。它是IEEE802.3标准。最早是Xerox公司所开发。因为它是桌面电脑互联的最佳技术,所以得到Intel公司和Digital公司的进一步开发。它的发展经历了10Mbps到100Mbps再到1000Mbps的过程。现在,10Gbps的Ethernet也即将问世。10Gbps的Ethernet和TCP/IP的组合为存储网络应用的实现提供了引人注目的解决方案。
Fibre Channel
大多数的存储域网络(Storage-Area Networks)都是基于一个叫Fibre Channel(FC)的体系结构。FC的发展是为了解决服务器和存储设备之间通信的诸多要求的。这些要求包括速度、容量、可靠性等等。目前它能够实现1Gbps的速率,2Gbps的速率还处在测试阶段。它可以实现100MB/sec半工和200MB/sec全工的持续吞吐量。
Fibre Channel的发展始于1988年。1994年NCITS T11输入输出接口(X3.230-1994)标准制定完成。它为IT产业的专业人员构建存储基础设施提供了具有高可靠性,高性能和高扩展能力的解决方案。Fibre Channel为SANs提供用于服务器和存储器之间的专用存储协议,而在服务器和服务器之间则使用传统的IP协议。
SCSI通常在Fibre Channel中以一种高层协议的方式出现,这样就在SCSI的可靠性和Fibre Channel的高速性和多设备之间实现了互补。
图1至图3显示了采用Fibre Channel构建存储网络的不同拓扑结构。
图1 Fibre Channel环网配置
图2基于Fibre Channel集线器的Fibre Channel网
图3 交换式Fibre Channel拓扑结构
体系机构基础
局域网
一个局域网是用来在诸如办公室,大楼等较小区域内实现个人计算机,工作站,打印机互联的计算机网络。该网络可以使连接在其上的计算机能够收发电子邮件、共享网络打印机、共用服务器上的应用。典型的局域网体系结构建立在客户端服务器模型之上,网络可达性通过客户端登录服务器的方式实现。局域网通常使用双绞线连接,而短距离的无线连接也越来越受到欢迎。局域网典型的运行速度为100Mbps。一般局域网都局限在一个建筑内或小型校园内,它可以通过与广域网或城域网互联实现连接远端用户的目的。
城域网
城域网是指直径为5~100公里的范围内的高速网。其典型大小为一座大型城市。城域网一般应用于大小介于局域网和广域网之间的需求。城域网的运行速度可达2048Mbps,其典型结构为点到点的环形拓扑。由于采用密集波分复用技术,使得专用城域网得以蓬勃发展。
图4网络拓扑:局域网,城域网和广域网
广域网
广域网的存在为长距离的网络互联提供了可能。决定专线价格的首要因素是距离,传输速率和竞争水平。通常的专线可以是T-1型,也可以是T-3型。在欧洲为E-1或E-3。广域网的典型图谱结构为星型或网格型。
直接附着式存储(Direct Attached Storage)
由于早期的网路十分简单,所以直接附着式存储得到发展。到了二十世纪八十年代,计算机由大型的集中式系统发展到灵活的客户端/服务器分布式模型。正是尚处在初级阶段的局域网推动了这一转变。附着于服务器的存储(Server-Attached Storage)和直接连接存储类似,但使用的却是分布式的方法,并依赖与局域网的连接得以实现。随着计算能力、内存、存储密度和网络带宽的进一步增长,越来越多的数据被存储在个人计算机和工作站中。分布式的计算和存储的增长对存储技术提出了更高的要求。
今天,所有的存储操作都要通过CPU的I/O操作来完成。由于使用DAS,存储设备与主机的操作系统紧密相连,其典型的管理结构是基于SCSI的并行总线式结构。存储共享是受限的,原因是存储是直接依附在服务器上的。从另一方面看,系统也因此背上了沉重的负担。因为CPU必须同时完成磁盘存取和应用运行的双重任务,所以不利于CPU的指令周期的优化。
存储域网络(Storage Area Networks)
一个存储域网络是一个用在服务器和存储资源之间的,专用的,高性能的网络体系。
如图5所示:
图5:SAN存储模型
说它是专用的,因为它为了实现大量原始数据的传输而进行了专门的优化。因此,可以把SAN看成是对SCSI协议在长距离应用上的扩展。
SAN使用的典型协议组是SCSI和Fibre Channel(SCSI-FCP)。Fibre Channel特别适合这项应用,原因在于一方面它可以传输大块数据(这点类似于SCSI),另一方面它能够实现远距离传输(这点又与SCSI不同)。
SAN的市场主要集中在高端的、企业级的存储应用上。这些应用对于性能、冗余度和可靠性都有很高的要求。
附于网络的存储(Network Attached Storage)
一旦局域网在技术上得以实现,那么就可能在多个文件服务器之间实现互联,从而为实现文件共享而建立一个统一的框架。局域网的存在加速了中心式计算的淘汰和分布式的客户端/服务器计算的发展。分布式的客户端/服务器技术是指采用大量的便宜的小型计算机和存储设备来代替昂贵的集中式计算机。
随着计算机的激增,大量的不兼容性导致数据的获取日趋复杂。因此采用广泛使用的局域网加工作站族的方法就对文件共享、互操作性和节约成本有很大的意义。NAS包括一个特殊的文件服务器和存储。如图6所示。
图6 NAS存储模型
NAS服务器上采用优化的文件系统,并且安装有预配置的存储设备。由于NAS是连接在局域网上的,所以客户端可以通过NAS系统,与存储设备交互数据。
另外,NAS直接运行文件系统协议,诸如NFS,CIFS等。客户端系统可以通过磁盘映射和数据源建立虚拟连接。
SAN与NAS区别和联系
当我们对SAN和NAS进行比较时,我们发现这两种相互竞争的技术实际上是互补的。SAN和NAS是在不同用户需求的驱动下的独立事件。SAN是以数据为中心的,而NAS是以网络为中心的。下表比较了二者的特征。
表1 NAS对基于Fibra Channel的SAN
Network Attached Storage Storage Area Network
以网络为中心的 以数据为中心的
局域网或广域网 专用的存储网络
定义了一个产品或设备 定义了一个体系结构
高等待时间的,基于TCP/IP 低等待时间,基于特定协议
非直接连接(有路由) 直接连接(交换式的)
共享文件和数据 服务器拥有一个卷标
NAS和SAN在以下方面提供互补:
(1) NAS产品可以放置在特定的SAN网络中,为文件传输提供优化的性能
(2) SAN可以扩展为包括IP和其他非存储关联的网络协议
存储网络的演化就是基于DAS,NAS和SAN中最佳要素的融合,从而来满足以因特网为中心的商业对存储提出的越来越高的要求。
TCP/IP、Ethernet和存储网络
iscsi
iSCSI正是集合了Ethernet和IP的开放性,NAS的文件级存取是基于SAN的块级存取这四方面优点的混合产物。随着当今IP和Ethernet的激增,用户可以采用与构建因特网相同的基础来支持他们对存储网络的需求。服务器可以在运行TCP/IP的Ethernet上安装开放的iSCSI驱动,从而能够存取位于Fibre-channel上的SAN中的数据块。当今的用户可以利用基于TCP/IP的Ethernet来无限制的扩大他们的存储容量和带宽。因特网SCSI(Internet SCSI)正是网络条件下的SCSI-3协议。
iSCSI为满足IT专业人员的特殊需求提供多种可能的拓扑,它可以部署为私有的存储中心网。通过使用Ethernet,它还可以增加IPSec和防火墙以提高信息的安全。它也可以被设计成聚合的存储网络,既可以作为私人企业的解决方案也可以在公众网上以VPN的形式出现。理论上说,用户可以构建任何大小的网络以适应各种各样不同的需求。
FCIP
FCIP(Fibre Channel over IP)是在TCP/IP上用管道技术来实现Fibre Channel的受推荐标准。它采用封装技术将Fibre Channel协议封装在IP包中,以使它能够通过IP网。已经拥有Fibre Channel网的用户可以通过调节他们已经存在的SAN以使它们能够扩展到城域网和广域网。FCIP正是这样一种将多个Fibre Channel孤岛连接起来的手段。
举个例子,FCIP可以用来连接地理上分开的Fibre Channel存储阵列,并实现数据的同步更新。这样一旦有数据遭到破坏,系统立即可以通过FCIP链路获得远端的热备份数据。这样做的好处是使数据具有灾难恢复功能,而这一点对于有些商业数据又是必不可少的。
SAN应用
存储网络发展的主要推动力来自于它所产生的应用。这些应用在性能上、存储管理上和在可扩展性上都有一定的能力。下面是其中的一些应用:
(1) 数据共享——由于存储设备的中心化,大量的文件服务器可以低成本的存取和共享信息,而同时也不会使系统性能有明显的下降。
(2) 存储共享——两个或多个服务器可以共享一个存储单元,这个存储单元在物理上可以被分成多个部分,而每个部分又连接在特定的服务器上。
(3) 数据备份——通常的数据备份都要依赖于共同的局域网或广域网设备。通过使用SAN,这些操作可以独立于原来的网络,从而能够提高操作的性能。
(4) 灾难恢复——传统上,当灾难发生时,使用的是磁带实现数据恢复。通过使用SAN,可以采用多种手段实现数据的自动备份。而且这种备份是热备份形式,也就是说,一旦数据出错,立即可以获得该数据的镜像内容。
存储网络的未来
在DAS,SAS,SAN和NAS之间的区别正在变得模糊。所有的技术在用户的存储需求下接受挑战。传统的客户端服务器的计算模式将会演化成具有任意连接性的全球存储网络。在那种情况下,数据的利用率会得到提高。分布式数据也会得到更加优化的存储。
和其他领先技术一样,存储网络市场也会得益于现有技术以及新技术的发展与融合。
另一方面,提高了的物理上的连通性,并没有本质上改变在多个服务器之间共享数据的困难。所以存储网络方面的进一步发展将会发生在存储管理、自动备份与恢复、不同介质间的互操作性,存储网络服务质量等方面。
存储局域网的构建
存储设备,硬件平台相互独立,产品质量参差不齐,存储管理软件功能不完善,这些都增加了用户管理大容量数据的难度以及运行维护成本。对于企业级客户,在现实中可能会遇到下面的问题:
* 单个存储设备容量不够大,传统的SCSI总线速度不能满足大量数据的顺序读写的需求;
* 兼容性差,不同的系统数据交换复杂,性能低下;
* 不能充分利用各服务器功能,实际数据读写性能比服务器原有性能低;
* 数据可靠性低,不利于系统数据备份及恢复;
* 存储数据可扩充性差,不同厂家、不同类型机器需要分别升级;
* 数据共享性低,实现共享困难;
* 因为是不同的存储设备,分别维护、扩充、升级费用极高。
企业如果在上述问题前困惑,那么,这个企业就有必要将数据存储问题放到议事日程上来。存储设备很可能将成为这个企业技术战略的中心主件,需要构筑一个崭新的、以存储为核心的IT架构,来应对IT环境中前所未有的数据和信息的爆炸性增长。
这个新的IT架构是指:一个具备可扩展的、模块化的、开放的、不依赖于某一专门的系统及应用的架构,其目的是为了提供一个跨企业的,任何人、任何应用、任何系统都可以安全连接的大型存储空间,这就是存储局域网。
存储局域网的内涵
按SNIA的定义,存储局域网(SAN)指的是通过一个单独的网络(通常是高速光纤网络)把存储设备和挂在TCP/IP局域网上的服务器群相连。当有海量数据的存取需求时,数据可以通过存储局域网在相关服务器和后台存储设备之间高速传输。
从物理的角度看,存储局域网包括以下四大类的组件:终端用户平台、服务器、存储设备与存储子系统、网络连接设备。
一般而言,网络拓扑是基于传统LAN或WAN的技术,它提供终端用户与服务器间的连接,但是,在特殊要求下,终端用户的设备可直接连接光纤存储局域网提供的存储设备。
服务器可以单独的或者以群集的方式接入存储局域网。
存储子系统通过光纤集线器、光纤路由器、光纤交换机等不同的连接设备构成光纤通道网络,与服务器、终端用户设备相连。
从逻辑的角度看,一个存储局域网包括存储局域网组件、资源以及它们间的关系、相关性与从属关系;存储局域网的组件间的关系并不受物理连接的限制。
在存储局域网的管理中,逻辑关系起着一个重要的作用。在存储局域网中的重要逻辑关系包括:
* 存储子系统与连接件的逻辑关系;
* 存储子系统间的逻辑关系;
* 服务器系统与存储子系统(包括适配器)的关系;
* 服务器系统与终端用户的组件的关系;
* 存储子系统与终端用户的组件的关系;
* 服务器间的关系。
网络设计步骤
成功的存储局域网构建的第一步和最重要的一步均是存储局域网的设计。在设计之前,设计者首先应该明确网络设计的目标。那么,一个成功存储局域网的设计目标是什么呢?
存储局域网的设计要从设计角度出发,保证在实施后的存储局域网能够:
* 满足客户对存储设备性能和容量方面的要求;
* 满足相关的数据高可用性和冗灾的要求;
* 强大的数据管理性;
* 满足数据备份的要求;
* 满足未来数据与业务增长的要求;
* 高性价比。
存储局域网的设计过程,主要包括以下几个步骤:
第一步:客户需求分析
对于存储局域网的设计而言,设计者有必要首先了解和收集客户需求信息,这包括:
* 容量的要求,总容量的需求;
* 列举在环境中可能需要接入存储局域网的服务器;
* 分析数据备份与恢复的要求与策略,决定不同数据的重要性级别;
* 了解可以在晚间做有计划停机的数据量的大小;
* 统计数据高可用性的要求;
* 统计数据冗灾的要求;
* 统计异构连接的要求。
第二步:客户环境信息的收集与分析
在了解客户的业务需求与整体方案的要求后,网络设计者需要细化当前存储环境的条件以及存储局域网所须达到的相关环境信息。这包括:
* 相关的服务器的配置信息: 硬件机型、操作系统版本;
* 相关服务器所需的I/O性能要求与容量要求;
* 每个服务器所需要的逻辑卷组(LUN-Logical Unit Number)的数目;
* 相关的当前服务器的关系,如群集及应用程序包的情况;
* 每个逻辑卷组LUN所对应的I/O性能要求;
* 当前环境中的存储设备如果要放到未来的存储局域网中,设计者需要对当前环境中的存储设备 的I/O性能进行评估。
第三步:选择大型存储设备
在了解客户业务和环境情况后, 存储局域网设计过程中关键的一步到了,这就是适当的大型存储设备如磁盘阵列、带库(DLT)的选择。
在这一步,设计者需要重点考虑以下因素:
* 相关的应用程序的要求;
* 整体环境对存储设备的性能要求;
* 未来业务及数据增长映射过来对存储设备的可扩充性的要求;
* 数据的高可用性的要求;
* 冗灾方式与冗灾的要求;
* 相关的存储设备与服务器、网络组件互联性的要求;
* 数据备份的要求,如整个环境中异构机型及应用程序的备份;
* 整个项目的预算。
在综合考虑以上因素及相关产品的参数后,设计者可以基本确定应当购买的存储网络设备。
第四步:存储局域网的网络拓扑设计与存储设备的内部划分设计
在综合以上三步后, 存储局域网的设计进入最后一步,即存储局域网的网络拓扑设计与存储设备的内部划分设计。在这一部分,设计者要考虑的是:
* 光纤通道设备的选择: 集线器、路由器或交换机;
* 光纤通道设备的选型:8端口、16端口等的光纤通道设备;
* 服务器光纤通道数据接口适配卡(Host Bus Adapter)的类型;
* 服务器的群集与相关的光纤通道设备间的逻辑区的划分(Cluster over Fabric Zone) ;
* 数据传输链路的冗余性及相关的流量分析;
* 存储设备的逻辑卷的设计。
在选择相关的存储局域网管理软件后,一个基本的存储局域网的框架设计已经完成。
在设计结束后,设计者基本上会形成以下设计文档: 存储局域网网络拓扑图、存储阵列的LUN
划分图、存储局域网的硬件连接图。
没有图片!sorry。
浙公网安备 33010602011771号