存储虚拟化在企业级数据中心的实例分析

随着信息化的快速发展,企业数据中心的硬件设备不断增加,数据量呈现爆炸式增长,业务系统对存储容量的要求越来越大。但由于历史原因,很多企业在存储管理上面临着这种困境:不同厂商的硬件和软件产品共存运行,且彼此不能兼容,形成了存储系统中“SAN孤岛”。因此存储设备和资源、数据的整合势在必行。

首先我们了解一下存储虚拟化的定义及其常见的三种技术。

存储虚拟化(StorageVirtualization)最通俗的理解就是对存储硬件资源进行抽象化表现。通过将一个（或多个）目标（Target）服务或功能与其它附加的功能集成，统一提供有用的全面功能服务。典型的虚拟化包括如下一些情况：屏蔽系统的复杂性，增加或集成新的功能，整合或分解现有的服务功能等。

存储虚拟化可以在三个不同的层面上实现：基于主机的虚拟化在主机服务器上实现；基于存储网络的虚拟化，需要在SAN网络中添加虚拟化网关的支持来实现；基于存储设备、存储子系统的虚拟化，依赖于提供相关功能的存储模块或第三方的虚拟软件。

基于主机的存储虚拟化：

主要用途：使服务器的存储空间可以跨越多个异构的磁盘阵列，常用于在不同磁盘阵列之间做数据镜像保护。

实现方式：一般由操作系统下的逻辑卷管理软件完成（安装客户端软件），不同操作系统的逻辑卷管理软件也不相同。

优点：

支持异构的存储系统。

缺点：

占用主机资源，降低应用性能。

存在操作系统和应用的兼容性问题。

导致主机升级、维护和扩展非常复杂，而且容易造成系统不稳定性。

需要复杂的数据迁移过程，影响业务连续性。

常见产品：

Symantec Veritas VolumeManager

基于存储网络的虚拟化：

主要用途：异构存储系统整合和统一数据管理。

实现方式：通过在存储域网（SAN）中添加虚拟化网关实现。

优点：

与主机无关，不占用主机资源。

能够支持异构主机、异构存储设备。

使不同存储设备的数据管理功能统一。

构建统一管理平台，可扩展性好。

缺点：

占用交换机资源，需要面临带内、带外的选择。

部分厂商数据管理功能弱，难以达到虚拟化统一数据管理的目的。

部分厂商产品成熟度较低，仍然存在和不同存储和主机的兼容性问题。

常见产品

EMC    VPLEX

IBM     SVC

HUAWEI  VIS

基于存储设备、存储子系统的虚拟化：

主要用途：在同一存储设备内部，进行数据保护和数据迁移。

实现方式：在存储控制器上添加虚拟化功能，常见于中高端存储设备。

优点：

与主机无关，不占用主机资源。

数据管理功能丰富。

缺点：

一般只能实现对本系列设备内磁盘的虚拟化。

不同厂商间的数据管理功能不能互操作。

多套存储设备需配置多套数据管理软件，成本较高。

常见产品

EMC    FTS

H3C    IX/EX系列

HP      3par /EVA

HDS    TagmaStor

下面笔者就5个方面的问题再展开分析，看看一个企业在私有云建设中的存储虚拟化架构是如何规划和建设起来的。

第一个问题，构建企业私有云，怎么选择高中低端存储？对存储系统有什么兼容性要求？

在一个企业级数据中心，一般都有多家厂商的高中低端不同型号的存储设备。高端存储、中端存储、低端存储的说法，也是业界的一种惯用分类方式，我们可以根据自己的理解对产品进行定位。一般来说高端存储是企业数据中心的核心平台，中端存储是企业数据中心的通用平台，低端存储则是企业数据中心的入门级专业平台。根据不同的业务应用需要，我们可以选择不同级别的存储。

高端存储定义：具备高可靠、低时延、高扩展的系统架构，包含丰富的数据管理特性和数据保护特性，保障极强的业务连续性和极高的服务质量水平，承载企业命脉的关键应用，是企业级数据中心的最佳核心存储平台。

例如，为了达到更低时延，EMC VMAX/ HDS  VSP/华为Oceanstor18000/HP P10000等主流高端存储产品都采用多控全交换架构，控制器之间通过PCI-E/RapidIO内部互联技术全交换。，与此同时，今年兴起的中端存储多控集群架构则是通过FC/IB/10GE等外部互联技术互联，交换效率和时延是不可同日而语的。又例如，为了保证复杂环境下关键业务的服务质量水平，EMC VMAX/ HDS VSP/华为Oceanstor18000都提供了QoS业务优先级区分和缓存分区功能，IBM  DS8000和HP  P10000也实现了其中的部分功能，中低端存储对此类功能的支持却并不多见。又例如，为了保障关键业务的业务连续性，IBM  DS8000/EMC VMAX/HDS VSP/华为Oceanstor18000都提供了多数据中心容灾、多对一或一对多远程复制、秒级RPO、高密快照等特性。

中端存储定义：具备融合、灵活、简约的系统架构，包含实用多样的功能特性，满足用户多变的存储使用需求，保障业务系统7*24小时在线，是企业数据中心的通用存储平台。

一般来说不同业务的存储需求是不同的，作为企业大部分业务的通用存储平台，中端存储必须要能够融合大量不同的协议、通道、应用、并发I/O等，满足多样化的业务需求，避免形成过多的存储孤岛。同时，中端存储向来都是新硬件技术的先行者，使用简约的双控架构能够较好地平衡成本和技术因素。

例如，EMC VNX系列/华为T系列/NetApp FAS系列等，都能融合NFS /CIFS /FCP /ISCSI /FCoE等协议，又能提供高并发的IOPS，以期在单套存储中提供更多业务的数据存取服务，尽可能消除孤岛、简化企业IT架构。

低端存储定义：具备简单、经济、易用的特点，能够长期7*24小时设备在线，满足业务随需在线和数据冗余，是企业数据中心入门级专业存储平台。

在实际使用中，为应对灵活的数据存取方式，此类专业存储一般是不会关机的，设备本身能够满足7*24运行就成为了客户的重要需求。

例如，华为S2200T /EMC VNXe /HP P2000  G2支持采用PAD进行设备管理，并极力简化的管理界面，就是低端存储追求简单易用的体现。又例如，NetApp  FAS2220 /EMC VNXe /华为S2200T /Dell MD3000 /HP P2000 G2等主流低端存储产品都支持冗余架构，并主推双控配置，以确保设备7*24运行。更多详细内容也可以关注“IT专家”微信公众号。

不同的存储都会有不同的管理软件和客户端界面，你常常需要在不同的存储上来回切换，管理起来很不方便。有没有统一的管理办法呢？我们可以通过高端存储兼容中低端存储来实现强大的数据管理功能。比如EMC的FTS功能，可以兼容其他厂商的不同型号的高中低端存储，进行统一的数据快照、卷复制、和远程数据同步等，但可以下挂多少存储，其性能受CACHE大小的限制。

那么，总的来看，构建企业级的数据中心，存储的虚拟化是很有必要的。

第二个问题，存储虚拟化的应用场景有哪些？

整合异构存储提高存储利用率

1.将存储虚拟化设备以及需要整合的异构存储系统接入到同一SAN网络中。

2.在各个存储系统上，基于可用的存储空间创建LUN/VDISK，然后通过PWWN映射给存储虚拟化设备。对于被整合的异构存储来说，虚拟化设备相当于主机。

3.在存储虚拟化设备上执行扫描磁盘操作，基于新扫描到的磁盘创建新的LUN。将新创建的LUN映射给主机使用，主机写入LUN的数据将分布在被整合后的多个存储系统上。

4.通过整合异构存储，可以使用多个存储系统的空闲空间，提高了存储利用率。

进行数据迁移解决性能瓶颈

1.原有的存储系统因磁盘数量和磁盘RPM等诸多限制，存储空间以及IOPS、吞吐量已不能满足应用访问磁盘的空间和性能要求。

2.将不同厂商的存储系统以及存储虚拟化设备接入同一个SAN网络后，存储虚拟化设备可以统一管理原有存储和新购高性能存储。

3.存储虚拟化设备提供了LUN拷贝功能，可以将原有存储LUN数据通过SAN网络迁移至新购高性能存储的LUN上;然后再将LUN重新映射给原有主机，恢复应用运行。

4.无需停机在异构存储间进行数据迁移，将数据迁移至性能更高的存储之上，解决了原有存储的空间、性能问题。

简化存储管理获取高级功能

1.通过存储虚拟化和SRM软件，可以在主机端对多种异构存储系统进行虚拟化和统一管理，提高存储管理员管理效率。

2.中高端存储系统的高级功能通常需要价格不菲的授权费用，一旦使用了某一厂商的存储系统，为获取高级功能必须支付大量费用。将存储数据迁移至其他厂商的存储上，不久的将来仍然会面临同样的问题。

3.一旦原有存储系统被存储虚拟化设备统一管理后，就可以获取如下高级功能，比如连续数据保护（CDP）、自动精简配置（Thin-Provisioning）、重复数据删除（DataDe-duplication）。这些高级功能并不受原有存储系统的授权限制，原有的存储系统只要提供磁盘空间即可，实现高效的数据保护的同时大大降低了存储使用成本。

利用远程复制实现远程容灾

1.通过在主数据中心和灾备数据中心分别部署存储虚拟化设备：主中心存储虚拟化设备可以整合异构存储，灾备数据中心的存储采购也不必局限于单一存储供应商。

2.存储虚拟化设备通过捕获写入存储系统的I/O或者基于LUN快照的方式获取存储系统上数据发生的变化。

3.存储虚拟化设备支持FCIP协议并提供数据压缩功能：通过TCP/IP将发生变化的数据进行压缩，然后传送存储数据到灾备数据中心的存储虚拟化设备管理的存储下。

4.在灾备数据中心创建与主中心兼容的主机端生产环境，将存储的LUN映射给主机。

第三个问题，存储虚拟化技术的安全防护体系如何建立？

在存储虚拟化环境中，针对不同的、异构的虚拟存储对象，应根据各自存储设备的特点，综合运用不同存储设备之间的安全防护机制构建全方位的安全防护体系。

1、资源隔离和访问控制

在应用存储虚拟化技术之后，应用不需要关心数据实际存储的位置，只需要将数据提交给虚拟卷或虚拟磁盘，由虚拟化管理软件将数据分配在不同的物理介质。这就可能导致不同保密要求的资源存在于同一个物理存储介质上，安全保密需求低的应用/主机有可能越权访问敏感资源或者高安全保密应用/主机的信息，为了避免这种情况的发生，虚拟化管理软件应采用多种访问控制管理手段对存储资源进行隔离和访问控制，保证只有授权的主机/应用能访问授权的资源，未经授权的主机/应用不能访问，甚至不能看到其他存储资源的存在。

对于资源隔离和访问控制手段可以通过基于主机的授权、基于用户认证和基于用户的授权来实现。基于主机的访问控制可以从加强主机认证、主机的WWN（光纤设备的全球惟一编号）与交换机物理端口绑定、交换机分区和逻辑单元屏蔽（LUNMasking）等方式实现。根据虚拟对象的不同采用不同的技术手段，如对于FC SAN构建的存储网络，采用光纤通道安全协议（FC-SP）实现主机认证；采用光纤交换机分区将连接在SAN网络中的设备（主机和存储）在逻辑上划为不同的分区，使得不同区域内的设备之间不能通过访问，实现网络中设备之间的相互隔离；在磁盘阵列上采用逻辑单元屏蔽控制主机对存储卷的访问，设定主机只能看到授权的逻辑单元，实现阵列中存储卷之间的隔离。对于IPSAN组成的网络，可以设置访问控制列表，利用网络交换机的VLAN和ACL控制隔离存储网络，确保只有授权的设备能访问存储网络；利用iSCSI协议的身份验证机制（使用CHAP、SRP、Kerberos和SPKM）实现发起方与目标方的双向身份验证，只允许授权节点访问，阻止未经授权的访问。对用户的认证可采用AAA认证安全策略，如在IP SAN网络中，利用IP SAN交换机提供的802.1x认证，在用户接入网络时输入用户名和登录密码来识别用户身份，防止非法用户接入存储网络。对于用户的授权主要采用访问控制列表，如NAS设备和主机服务器的操作系统（Windows或Linux）都提供针对不同用户对不同文件和目录授予不同的访问权限的功能。更多详细内容也可以关注“IT专家”微信公众号。

在应用存储虚拟化后，虚拟化管理软件应能全面管理不同虚拟对象，如IP SAN和FC SAN、NAS等的访问控制策略配置，通过上层应用封装对用户提供一致的管理界面，屏蔽底层对象的差异性。

2、数据加密保护

在各类安全技术中，加密技术是最常见也是最基础的安全防护手段，在应用存储虚拟化技术后，数据的加密保护仍然是数据保护的最后一道防线。在存储虚拟化实践中，对数据的加密存在于数据的传输过程中和存储过程中。

对数据传输过程中的加密保护能保护数据的完整性、机密性和可用性，防止数据被非法截获、篡改和丢失。针对不同虚拟化对象的特点，应采用不同的传输加密方式。如对IP SAN网络，可以采用IPSec Encryption（IPSec加密）或SSL加密功能防止数据被窃听，确保信息的保密性，采用IPSec摘要和防回复的功能防止信息被篡改，保证信息的完整性。

对数据存储的加密能实现数据的机密性，完整性和可用性，还能防止数据所在存储介质意外丢失或者不可控的情况下数据自身的安全。对数据存储的保护一般在主机端完成，通常由应用系统先对数据进行加密，然后再传输到存储网络中，由于不同应用采用加密算法的多样性导致加密强度的不一致，不利于数据存储安全的统一防护。为了解决这个问题，IEEE安全数据存储协会提出了P1619安全标准体系，这个体系制定了对存储介质上的数据进行加密的通用标准，采用这种标准格式可使得各厂家生产的存储设备具有很好的兼容性。

对数据进行存储保护的另一种思路是在存储设备之前串接一个硬件加密装置，对所有流入存储网络的数据进行加密后，将密文提交给存储设备；对所有流出存储设备的数据进行解密后将明文提交给服务器；这种加密方式与上面提到的采用P1619的的解决方案类似，但这里的加密是由外部加密装置完成，而不是集成在存储网络中。这种解决思路与上层应用和存储无关，但在数据量大的情况下，对硬件加密装置的加解密性能和处理能力要求比较高。对数据加密保护的第三种解决办法是依靠存储设备自身的加密功能，如基于磁带机的数据加密技术，通过在磁带机上对数据进行加密，使数据得到保护；目前可信计算机组织（TCG，Trusted Computing Group）也已提出了针对硬盘的自加密标准，将加密单元放置在硬盘中，对数据进行保护。自加密硬盘提供用户认证密钥，由认证密钥保护加密密钥，通过加密密钥保护硬盘数据。认证密钥是用户访问硬盘的惟一凭证，只有通过认证后才能解锁硬盘并解密加密密钥，最终访问硬盘数据。

3、基于存储的分布式入侵检测系统

基于存储的入侵检测系统嵌入在存储系统中，如SAN的光纤交换机、磁盘阵列控制器或HBA卡等设备中，能对存储设备的所有读写操作进行抓取、统计和分析，对可疑行为进行报警。由于基于存储的入侵检测系统是运行在存储系统之上，拥有独立的硬件和独立的操作系统，与主机独立，能够在主机被入侵后继续对存储介质上的信息提供保护。在存储虚拟化网络中，应在系统的关键路径上部署基于存储的入侵检测系统，建立全网统一的管理中心，统一管理入侵检测策略，实现特征库的实时更新和报警事件及时响应。基于存储的入侵检测系统提供如下的功能：

（1）检测存储设备中文件/属性的改变：基于存储的入侵检测系统能对任何文件或属性的修改进行实时检测，即便这些行为的发起者已经通过了系统的身份认证请求，在发现可疑行为后能实时报警；

（2）检测文件模式的非正常修改：根据系统中某些文件操作模式的规律制定检测依据。如系统日志文件在正常情况下，总是以增量的方式进行周期性滚动，当有背离以上模式的行为发生时可以认为是发生了非法入侵行为；系统中的另一种更新模式是时间的不可回溯性；如文件内容的更改只会引起文件属性的变化，而文件创建时间等属性是不能发生变化的，当发生以上行为时也应该认为发生了入侵行为并进行报警。

（3）监控文件结构的完整性：基于存储的入侵检测系统对存储信息进行结构化分析，并建立结构规则库，当违反规则库中结构的行为发生时应认为发生了入侵行为。典型的文件结构规则库如UNIX系统的口令文件（/etc/passwd文件）包含一组记录条，记录之间通过换行符分割，每一条记录都包含七个不同的字段，每个字段用冒号分开。入侵检测系统可以监控并校验/etc/passwd文件内容是否符合正常规则来判断是否发生入侵行为，但这种基于文件内容的检测将占用系统大量的运算资源，因此监控的对象应限制在较小的范围内。

（4）扫描检测可疑文件：对存储设备上所有文件的扫描发现病毒或木马的存在。在这点上，入侵检测系统类似与基于主机的病毒防护系统，通过对病毒或恶意代码的特征库匹配来发现可疑文件。

4、数据删除或销毁

应用存储虚拟化技术后，数据的彻底删除也是必须考虑的问题。由于数据存放的物理位置是位于多个异构存储系统之上，对于应用而言，并不了解数据的具体存放位置，而普通的文件删除操作并不是真正删除文件，只是删掉了索引文件的入口。因此在应用存储虚拟化技术之后，应在虚拟化管理软件将安全保密需求相同的文件在物理存储上分配在同一块或多块磁盘上，在删除文件时，为了彻底清除这些磁盘上的敏感信息，将该磁盘或多块磁盘的文件所有位同时进行物理写覆盖。对于安全保密需求高的场合，还应采用消磁的方式来进行更进一步地销毁。

第四个问题：存储虚拟化面临的问题?

存储虚拟化技术最受关注的问题是数据安全问题。因为虚拟存储把所有数据都放在了一个系统环境下，这就相当于把鸡蛋都放在一个篮子里，一旦打翻，所有鸡蛋都会损失。这无疑加大了数据的风险，在安全投资上也要相应加大。

存储虚拟化技术的第二问题是技术成熟度。它需要专门的元数据管理和资源管理设备，这些设备需要通过冗余保证其可用性，这会增加系统的复杂性和增加系统的总拥有成本;并且，不同性能、不同结构的存储设备位于同一个存储池，不能充分发挥各自的优势，性能较差的部件反而会制约整个系统的性能。而独立于厂家和设备的存储虚拟化技术可能仍需要许多的努力才能实现。目前的现状是，存储虚拟化产品确实已经得到了具体的应用，但目前尚无一种方案可以满足不同客户的需求，在较短的时期内，存储虚拟化可能只是局限于个别功能的应用，用户仍很难选择合适的方法来满足特定的需求，用户采用存储虚拟化技术时仍需认真仔细的考虑，并进行实际应用测试。

存储虚拟化的第三个问题在于忽视了我国庞大的中小企业需求。目前的虚拟存储技术大部分都是专注于高端用户的，这些用户存储系统庞大，不仅设备多，所采用的软件也很复杂，在这种情况下，虚拟存储技术可以带来管理，成本上的诸多优势。但是目前我国中小企业已经成为企业市场的主力军，不针对中小企业用户的需求推广虚拟存储技术，使该技术的发展变得缓慢了。

存储虚拟化的第四个问题就是价格，这也正是由于专注于高端市场带来的弊端。对于多数的中小企业用户面临存储空间不足，直接买大容量硬盘来解决存储上的问题，即使在存储空间上有所浪费，但相比使用虚拟化存储架构，大容量的硬盘还是比较合算，此外中小企业存储系统不复杂，管理起来也没有太大难度，这些都导致虚拟存储技术在普及上存在着一定的困难。

第五个问题：存储统一后的监控和管理问题?

到现在为止，管理多厂商不同品牌存储的存储管理人员需要多种独立的管理应用，企业客户们往往都被单个的管理工具所阻碍。因为这些管理应用是由不同厂商开发的，连接多种硬件管理API。而SMI-S是SNIA确保所有的存储系统能够在一起工作的第一步。

SMI-S（Storage ManagementInitiative Specification存储管理主动）是SNIA（全球网络存储工业协会）发起并主导，众多存储厂商共同参与开发的一种标准管理接口。其目标是在存储网络中的存储设备和管理软件之间提供标准化的通信方式，从而使存储管理实现厂商无关性，提高管理效率、降低管理成本，促进存储网络的发展。一方面，SMI-S为存储管理提供了一个统一的理界面，使用户能够在SAN中轻松的集成和管理来自多个厂商的产品，从而提升了灵活性、可管理性和可靠性；同时，用户的资源利用率也将获得极大的提高。另一方面，它为网络存储行业定义了一个全新、开放的开发模式，使存储厂商能够专注于附加值功能上，而省去了异构和专有接口开发整合所需的技术支持。SMI-S在统一理解存储管理上对所有厂商都是至关重要的。有了一个公共平台，厂商就可以加速产品的开发进程，并且终端用户可以更自由地选择厂商，同时也降低了管理使用的复杂性。

SMI-S实际上是安装在所管理的对象与所管理的应用之间的中间件。可以在其上安装不同品牌存储的SMI-SProvider,这样就可以比较方便的查看到不同存储的设备信息表、系统配置信息表、监控信息、日志信息、事件告警信息等。对于存储网络管理人员来说，SMI-S的6个特性将大大简化SAN存储的监控管理。

一个公共数据模型：SMI-S建立在基于Web的企业管理(WBEM)技术和公共信息模型(CIM)的基础上。SMI-S代理询问一台设备，如交换机、主机或存储阵列，从具有CIM功能的设备中提取相关管理信息数据，并将数据提供给请求者。

互联独立性：SMI-S消除了重新设计管理传输的需要，使部件可利用带内或带外通信(或同时使用这两种方式)来进行管理。SMI-S通过规定HTTP协议栈上的CMI-XML和使用TCP/IP栈的低层(这两种协议栈在今天的网络中无处不在)，提供了进一步的优势。

多层管理：SMI-S在设计上可与基于服务器的卷管理器、RAID系统和网络存储专用设备配合使用，这几种设备是大多数存储环境目前采用的组合技术。

遗留系统的兼容性：SMI-S可利用代理软件将管理机制集成到采用现有专有接口的遗留设备中。其他设备和子系统可以在利用嵌入式软件或CIM对象管理器集成到SMI-S网络中。

自动发现：符合SMI-S的产品向其他成员宣布自己的存在和能力。自动发现与WBEM中的自动发现系统配合以支持对象模型扩展。这种特性将简化管理，使网络管理人员可以自由地、更容易地向SAN添加部件。

基于策略的管理：SMI-S包含可应用于各类设备的对象模型，使SAN管理人员可以在整个存储网络上实施基于策略的管理。

SMI-S给用户和厂商提供了实实在在的好处。利用SMI-S，开发人员拥有了一种完整的、统一的和严格规定的对象模型，他们可以依靠一份文档来了解如何管理各种SAN部件。管理应用厂商摆脱了集成不兼容的管理接口的繁重任务，使他们能够将注意力放在开发降低费用和扩展功能的管理引擎上。设备厂商可以为子系统开发新特性和功能。

例如：IBM的TPC就是一款集中监控管理企业的存储系统，基于标准的规范SMI-S,使管理员能够有效的管理异构的存储架构。当然还有很多第三方厂商开发的异构存储统一监控管理软件（hw的esight）。

结语：存储虚拟化也不是万能的，不要赶潮流而抛弃已有的资源和已有的存储技术，企业存储管理人员需要的把自己现有的存储资源、存储技术和存储虚拟化相关联，找到最适合自己企业的存储架构和技术策略才是最为重要的。