阅读以下关于企业数据中心设计的说明，回答问题1至问题3。某企业计划建设一个企业数据中心，该数据中心支持A、B、C。D和E5项业务，各业务完全独立运行，各项业务运行的操作系统均不相同。在单台某型服务器上，除了为系统开销预留30%的CPU占用率之外，各业务在繁忙时段(白天)及非繁忙时段(夜间)的CPU占用率如下表所示。现该企业拟全部采用该类型服务器，张工和李工据此提出了不同的设计方案。张工认为需要采购5台服务器，每项业务分配一台服务器。但李工提出了一种基于虚拟化技术的解决方案，采用的服务器数量少于5台。在数据

数据中心存储灾备中双活数据中心架构是当前发展趋势，双活架构分为主机层、网络层和存储层。其中分布式的存储系统承载相同的前端业务，互为热备，使用虚拟卷镜像与节点分离，同时承担生产和灾备服务;两项灾备关键指标RPO(业务系统所能容忍的数据丢失量)和RTO(所能容忍的业务停止服务的最长时间)均趋于0。

在双活数据中心，存储层主要的功能是两个存储引擎同时处于工作状态，出现故障时可以瞬间切换。

双活架构中网络层SAN包括数据库服务器到存储阵列网络、存储阵列之间的双活复制网络、光纤交换机的规划。

参考答案【问题1】(9分)（1）前端:以太网后端:高性能计算Infiniband网络后台:FC光纤（2）8个网卡不需要（3）每个服务器要多个专用适配器(网卡)以及不同的布线系统；机房要支持更多设备；管理的复杂性增加；部署/配置/运维困难。 成本增加(人员，能耗，运维成本等)【问题2】(4分)光纤存储和以太网共享同一个端口;更少的线缆和适配器;软件配置I/O ;与现有的SAN环境可以互操作。【问题3】(6分)（1）~（7）0（8）4 （9）18 （10）2 （11）3 （12）6【问题4】(6分)（1） PUE=数据中心总设备能耗//IT设备能耗，基准是2，越接近1表明能效水平越好。（2）将服务器机柜面对面或背对背的方式摆放。因为这样将会形成“冷”通道和“热”通道，提高制冷效果。（3）免费冷却(Free Cooling)技术指全部或部分使用自然界的免费冷源进行制冷从而减少压缩机或冷冻机消耗的能量。
【解析】

试题分析

【问题1】

传统业务结构下，由于多种技术之间的孤立性(LAN与SAN)，使得数据中心服务器总是提供多个对外I/O接口(在此可理解成网卡)，即用于数据计算与交互的LAN接口以及数据访问的存储接口，某些特殊环境如特定HPC高性能计算)环境下的超低时延接口。服务器的多个I/O接口导致了数据中心环境下多个独立运行的网络同时存在，不仅使得数据中心布线复杂，不同的网络、接口形体造成的异构还直接增加了额外人员的运行维护、培训管理等高昂成本投入。

数据中心里会有两个网络，一个是前端IP网络，后端可能会是光纤网络，都会在服务器上做。因此，集中服务器上以太网卡、光纤网卡，跟外部数据交互时通过IP网络进行交互。如果说得更极端一点，在大型数据中心会存在:一是前端的用户通信网络(以太网);二是后台存储网络光纤的通道(FC光纤网络);三是后端做数据更新或者做集群计算的通信网络(高性能计算Infmiband网络);四是专门用于虚拟机迁移的网络(各个服务器上有一个普通的以太网网卡，连接到独立的交换机组成的网络上，专门做虚拟机迁移。随着TRILL等技术的出现，这个专用的网络不再需要)。在这种情况下会有多个网卡，这些都是现有的设计视为理所当然的。

网络渐渐成为数据中心资源的交换枢纽。当前数据中心分为IP数据网络、存储网络、服务器集群网络。但随着数据中心规模的逐步增大，也带来以下问题:每个服务器要多个专用适配器(网卡)，要有不同的布线系统;机房要支持更多设备:空间、耗电、制冷;多套网络无法统一管理，不同的维护人员;部署/配置/管理/运维困难。

【问题2】

FCoE采用增强型以太网作为物理网络传输架构，能够提供标准的光纤通道有效内容载荷，避免了TCP/ZP协议开销，而且FCoE能够像标准的光纤通道那样为上层软件层(包括操作系统、应用程序和管理工具)服务。

FCoE可以提供多种光纤通道服务，比如发现、全局名称命名、分区等，而且这些服务都可以像标准的光纤通道那样运作。不过，由于FCoE不使用TCP/IP协议，因此FCoE数据传输不能使用IP网络。FCoE是专门为低延迟性、高性能、二层数据中心网络所设计的网络协议。

和标准的光纤通道FC一样，FCoE协议也要求底层的物理传输是无损失的。因此，国际标准化组织己经开发了针对以太网标准的扩展协议族，尤其是针对无损10Gb以太网的速度和数据中心架构。这些扩展协议族可以进行所有类型的传输。这些针对以太网标准的扩展协议族被国际标准组织称为“融合型增强以太网(CEE ) "(思科称为“数据中心以太网(DCE )") 。

数据中心FCoE ( FC over Ethernet)技术实现在以太网架构上映射FC ( Fibre Channel )帧，使得FC运行在一个无损的数据中心以太网络上(需要无损的以太网(CEE/DCE/DCB )保证不丢包)。 FCoE技术有以下的一些优点:光纤存储和以太网共享同一个端口;更少的线缆和适配器;软件配置I/O;与现有的SAN环境可以互操作。

基于FCoE技术的数据中心统一I/O能够实现用少数的CNA ( Converged Network Adapter)代替数量较多的NIC, HBA, HCA，所有的流量通过CNA万兆以太网传输。

使用FCoE后的好处:每个服务器只需要一个专用适配器(网卡)，一套布线(以太网)系统(以前需要多个网卡，多套布线(以太网和光纤)系统);机房不再要支持更多设备:空间、耗电、制冷，更加节能绿色;只有一套网络，统一管理维护简单(原来是多套网络无法统一管理，不同的维护人员维护困难);部署/配置/管理/运维简单。


【问题4】

随着能源成本上升，我们越来越关注IT对环境的影响，技术管理人员现在面临着双重任务:创造和保持高可用性的IT环境，并推行绿色倡议。用于数据中心保证设备运行的能源消耗需求惊人。

（1） PUE是Power Usage Effectiveness的简写，是评价数据中心能源效率的指标，是数据中心消耗的所有能源与IT负载使用的能源之比，是DCIE < Data Center Infrastructure Efficiency)的反比。PUE=数据中心总设备能耗//IT设备能耗，PUE是一个比值，基准是2，越接近1表明能效水平越好。PUE C PowerUsageEffectiveness，电源使用效率)值已经成为国际上比较通行的数据中心电力使用效率的衡量指标。PUE值是指数据中心消耗的所有能源与IT负载消耗的能源之比。PUE值越接近于1，表示一个数据中心的绿色化程度越高。

（2）以往在机柜的布局中，人们为了美观和便于观察，常常会将所有的机柜朝同一个方向摆放。如果按照这种摆放方式，机柜盲板有效阻挡冷热空气的效果将大打折扣。正确的摆放方式应该是将服务器机柜面对面或背对背的摆放方式摆放，这样便形成了冷风通道和热风通道，机柜之间的冷热风不会混合在一起，形成短路气流，有效提高制冷效果，保护好冷热通道不被破坏。即当机柜内或机架上的设备为前进风/后出风方式冷却时，机柜或机架的布置宜采用面对面、背对背方式。

（3）水冷式空调的发明源于生活的细节，夏季人站在海边感觉特别凉爽，这是因为海水吸收空气中的热量而蒸发，使空气温度下降，从而带给我们凉爽的冷空气。细心的人们发现了这一现象，并将这一现象巧妙地运用到温度调节中来，进而发明了节能环保的水冷空调。水冷空调又叫环保空调，是一种利用自来水的温度，来达到冷却室内温度的空调机。

水冷空调系统是目前新一代大型数据中心制冷的首选方案，采用水冷空调在部分地区可以采取免费冷却技术以节能。免费冷却技术指全部或部分使用自然界的免费冷源进行制冷从而减少压缩机或冷冻机消耗的能量。目前常用的免费冷源主要是冬季或者春秋季的室外空气，因此，如果可能的话，数据中心的选址应该在天气比较寒冷或低温时间比较长的地区。在中国，北方地区都是非常适合采用免费制冷技术。

【问题1】（6分）1.业务存储系统选择SAS,备份存储选择SATA磁盘。2. SATA磁盘相对于SAS磁盘成本较低、转速低、传输速率慢;备份存储对于数据传输速率要求相对低，一般采用SATA磁盘;业务存储系统对于数据传输速率要求高，一般采用SAS，降低磁盘IO瓶颈。3.配置SSD磁盘、高速缓存卡、更高转速磁盘。【问题2】（3分）多虚多。采用独立的服务器方式资源利用率低，为提高资源利用率，将多台服务器整合为一个虚拟化资源池，并根据需求会虚拟出多个虚拟机，所以，属于多虚多方式。【问题3】（8分）1.操作系统与数据库系统采用FC-SAN方式存储、业务数据采用IP-SAN方式存储。2.本地磁盘存储虚拟化软件数据。3. FC-SAN高速度、低延迟、高稳定性适合存储操作系统数据;IP-SAN高利用率、扩展性强、维护管理便捷适合存储业务数据。可以节省投资、进行磁带库共享、集中备份管理。【问题4】（4分）1 .LAN-Base。2.本例中，备份的数据传输以网络为基础，配置一台服务器作为备份服务器，负责整个系统的备份管理，完全符合LAN-Base备份方式。缺点是对网络传输压力大。【问题5】（4分）1.可能会出现服务器虚拟化和存储虚拟化网络带宽瓶颈。可能出现服务器每台资源利用过分集中，且某些应用占用资源高，会影响到服务器的整体性能。2.网络交换机、防火墙、服务器1~4、存储虚拟化服务器1~2均升级为万兆网络带宽。对每台服务器的资源进行限制，对于重要的服务，优先占用资源。
【解析】

【问题1】（6分）SATA硬盘通常采用较低的转速(常见为7200rpm)和较短平均无故障工作时间（MTBF），单盘容量大(常见为1TB、4TB或者更大)，价格便宜，常用于容量要求较大、事务性处理少、数据可用性非关键指标的应用中。、SAS硬盘通常采用较高的转速(10K rpm或15K rpm)和更长平均无故障工作时间(MTBF )，单盘容量较小(常见为300GB，600GB )，具有更高的可靠性，相对价格较贵。常被使用于数据量大，数据可用性极为关键、可靠性要求高的应用中。存储系统的主要性能指标为IOPS (InphtlOutput Operations Per Second):即每秒读写操作的次数，指的是系统在单位时间内能处理的最大的I/O频度。决定IOPS的因素主要有:物理磁盘、Cache命中率、磁盘阵列算法。 【问题2】（3分）服务器虚拟化常见有“一虚多”“多虚多”。“一虚多”是将一台物理服务器虚拟成多台服务器，分割成多个相互独立、互不干扰的虚拟环境。“多虚多”是将多台物理服务器虚拟成逻辑服务器池，然后再将其划分为多个虚拟服务器。本例中，将四台物理服务器整合为一个虚拟资源池，再将其划分为多个服务器，其形式为典型的多虚多方式。【问题3】（8分）SAN指存储区域网络，目前常见的主要有FC-SAN和IP-SAN。FC-SAN是采用FC协议，采用专用光纤通道传输，将光纤通道设备映射为一个操作系统可访问的逻辑驱动器，进行数据传输时，光纤链路的利用率高，传输速率达到4Gb以上。其高性能、低延迟、高成本等特性，适合数据传输速度要求高、高性能的业务需求。IP-SAN使用iSCSI协议，采用IP网络通道传输，当前普遍千兆网络环境下，进行数据传输时，链路的利用率和传输速率比FC通道传输低很多。其低成本、开放性好，网络适应能力强，容易实现远程数据访问，共享存储资源，提高资源利用率等特性，适合数据访问速度要求不高，大容量，低成本投入等业务需求。本例中，由于操作系统对数据传输速度要求高和高性能需求，应采用FC-SAN；业务数据主要是指非机构化文档的存储，对数据访问速度要求不高，而容量大，适合采用IP-SAN。本例中，特别说明虚拟化改造采用裸金属架构，那么虚拟化软件就应直接安装硬件上，接管所有硬件资源，所以，服务器本地磁盘会存储虚拟化软件。【问题4】（4分）LAN-Base备份结构中，以网络为基础进行数据的传输，其中配置一台服务器作为备份服务器，由它负责整个系统的备份操作。备份存储系统(磁带库或者磁盘阵列)则接在某台服务器上，在数据备份时备份对象把数据通过网络传输到备份存储系统中实现备份。本例中，配置单独的备份服务器，并通过网络，将业务存储系统的数据备份到备份存储中，符合LAN-Base备份结构。【问题5】（4分）本例中，业务数据采用IP-SAN方式存储，备份采用LAN-Base，在业务上都依赖网络传输，同时每台物理服务器上会划分更多的虚拟机，但是上述网络传输为千兆，每台物理服务器上的虚拟机都共享该设备的网络带宽，当虚拟机数量增多后，有可能出现网络带宽瓶颈。针对上述问题，需要提升网络带宽，可以采用端口聚合适当提升网络带宽，也可以升级到万兆网络带宽。

数据中心存储灾备中双活数据中心架构是当前发展趋势，双活架构分为主机层、网络层和存储层。其中分布式的存储系统承载相同的前端业务，互为热备，使用虚拟卷镜像与节点分离，同时承担生产和灾备服务;两项灾备关键指标RPO(业务系统所能容忍的数据丢失量)和RTO(所能容忍的业务停止服务的最长时间)均趋于0。在双活数据中心，存储层主要的功能是两个存储引擎同时处于工作状态，出现故障时可以瞬间切换。双活架构中网络层SAN包括数据库服务器到存储阵列网络、存储阵列之间的双活复制网络、光纤交换机的规划。

问题1；1.业务系统采用SAS，备份存储选用sata。
2.Sata硬盘相对成本较低，速度慢。备份数据量大，对存储速度要求不高，可以选用sata。业务系统对速度有较高要求，适合选用SAS。
3.配置部分SSD磁盘，高速缓存、更高转速的硬盘。组成性能不错的raid5等。
问题2：多虚多 将多台设备虚拟化成一个资源池，在根据需求虚拟出多个虚拟机，
问题3：操作系统采用fc san，业务系统采用ip san。
本地磁盘主要存储虚拟化软件
fcsan 速度快，延迟低适合存储操作系统数据 IPsan高可扩展性，可维护性适合业务数据。
问题4 lan-base
本题中，备份数据的传输是网络，配置了服务器作为备份服务器，因此事lan-base的基本特征。
问题5： 可能存储服务器虚拟化和存储虚拟化的网络瓶颈。
交换机、防火墙、服务器1-4，存储虚拟化服务区可以升级为万兆。
【解析】


问题1；

SAS硬盘主要应用在线、高可用性、随机读取的情况，适用于大、中型企业关键任务资料的存储， 效能高而且扩充性极高； SATA硬盘主要应用在线、近线作业、高可用性、随机读取、循序读取的情况。 SAS的可靠性与可用性更高，因此数据库数据库服务器选择SAS硬盘更加适合，而备份服 务器选择SATA更适合。可以采用性能与可靠性都不错的RAID6或RAID5。