传统存储扩容及在线性能调优解决方案

　　概述

　　随着企业的发展和业务的不断扩张，IT系统对存储的可用性和空间要求也是越来越高。尤其对于大型银行、制造生产、保险等传统行业来说，传统存储依旧占据企业存储的主导位置，甚至是半壁江山。

　　一个系统配置一套存储设备都是标准配置，哪怕后来出现虚拟化、云计算等技术，但底层依旧使用独立的一套存储作为虚拟机的存储使用。当然，现在的SDS和分布式不在这次的讨论范围之内，毕竟传统企业的大部分业务还是在以前的SAN存储中运行。随着业务的发展，SAN存储容量的扩容和在线调整就成了存储管理员必须具备的能力了。

　　在传统制造企业，存储的扩容和调整都是令IT管理员和业务负责人冒冷汗的动作。针对制造企业的特殊性，解决方案要充分考虑系统的实用性、高可用性、安全性、可管理性以及灵活扩展。

　　存储使用现状及分析

　　任何一个方案在实施之初都要经过需求整理、现状收集、分析、设计、评估等步骤。每个关键节点又可以细化成多个小的步骤。每个细节几乎都关系着方案最终落地的成功几率以及对业务的影响程度。

　　存储现状

　　为了更好的让读者理解存储扩容和在线性能调的方案，我将虚拟一个传统企业的应用场景来进行剖析。

　　某生产制造企业一直以来都在使用基于惠普3PAR的高端存储系统，作为IT业务系统的后台存储支撑。上面主要运行企业的核心数据库、云平台以及关键生产制造系统。使用典型高可用SAN架构搭建，裸容量超过300T，主要由SAS及SSD共同组成。如图1存储拓扑所示。

　　图1-存储拓扑

　　现状分析

　　1、容量分析

　　从原有存储设备的配置可以看出，之前配置的磁盘大部分采用了900GB（15K）的高性能磁盘，这样配置主要是出于对性能的考虑,未来仍建议使用15K转高性能磁盘或SSD磁盘，对于不常访问的数据或备份，可配合使用TB级别的大容量磁盘。同时，根据数据生命周期理论我们可以得知：处于活动状态的数据（经常被访问的数据）需要高性能，但这部分数据占总数据容量的比例较小；而处于非活动状态的数据（不经常被访问的数据）无需高性能，但这部分数据占总数据容量的绝大部分。

　　通过数据生命周期理论我们就可以对数据进行分层处理：将活动数据存放在高性能低容量磁盘上，将非活动数据放在高容量低性能磁盘上。通过高性能低容量磁盘和高容量低性能容量的合理搭配，即可以保证存储系统对外输出的高性能，同时又可大大降低存储设备的总体采购成本。

　　（容量图，性能图（IOPS），添加业务需求表（增加总的））

　　以下是企业内的存储设备的配置信息：

　　一．HP的3ParSS10800存储配置信息：

　　1、存储容量信息:从下图所示看出，存储总容量为：294TB。3par存储已用空间为97%，总计为285TB。3par存储可用空间为3%，总计为9TB。

　　2、性能分析

　　现有存储设备的使用主要集中在数据库应用，读写类型均为随机读写，所以存储设备的性能评估应该以IOPS值为主要评估依据而非存储设备的带宽值。

　　以下是数据中心HP3par存储配置信息：

　　一．3ParSS10800存储性能信息：

　　1、HP3parSS10800最高性能值指标：

　　在目前3par存储的硬件配置模式下，IOPS的最高阈值为：33257/sec。如下图所示：

　　2、存储设备现在的性能参数如下：使用3par管理工具收集了一周的性能数据，其中3par运行时，IOPS总的读写峰值最高为：3083060/sec左右;

　　3、分析总结

　　从以上容量和性能分析指标可以看出。目前，数据中心的3parSS10800存储，从性能指标上面来看，可以满足现有的生产要求。但是，从存储容量上面来看，这台存储设备需扩容存储空间用以满足生产系统存储空间的要求。

　　从长远的业务系统增长速度来看，现有存储设备的物理性能和容量配置均不能满足发展要求，需要扩容存储设备，以满足未来的IT业务发展需求。

　　解决方案

　　了解了业务的痛点和业务的需求，就可以根据这些进行存储方案的设计与规划了。解决方案的目的就是要在对业务不受影响或者小范围影响的前提下，解决分析总结中的问题。解决方案要具备以下元素：

　　1、解决分析总结中的问题；

　　2、不影响现有业务运营；

　　3、不改变现有存储架构拓扑；

　　4、具有传承性和扩展性；

　　方案概述

　　从当前环境和遇到的问题可以看出，主要存储性能不足和空间不足两种情况。本方案主要分为以下两个步骤进行优化：

　　步骤一：完成3parSS10800存储设备扩容工作，解决存储空间不足的情况；

　　步骤二：完成3parSS10800存储设备调优工作，实现冷热数据分离，解决存储性能瓶颈，提高业务响应速度；

　　方案要点

　　存储扩容和在线优化方案的部署在企业中应该算是核心方案之一，实施工程师一定要了解以下几个关键概念。

　　第一、存储分层概念

　　存储分层是根据数据的重要性、访问频率、保留时间、容量、性能等指标，将数据采取不同的存储方式分别存储在不同性能的存储空间上，通过存储分层管理实现数据客体在存储空间之间的手动迁移或自动迁移。数据分层存储的工作原理是基于数据访问的局部性。通过将不经常访问的数据手动或自动移到存储层次中较低的层次，释放出较高成本的存储空间给更频繁访问的数据，可以获得更好的性价比。这样，一方面可大大减少非重要性数据在一级本地磁盘所占用的空间，还可加快整个系统的存储性能。

　　针对应用现状，进行3par存储扩容，并结合3par存储软件DynamicOptimization和AdaptiveOptimization对现有的3par存储进行分层调整。

　　分层方案总体架构设计如下示意图所示：

　　分级存储设备是根据具体应用可以变化的，这种存储级别的划分是相对的，可以分为多种级别。如可以采取FC磁盘－SCSI磁盘－SATA磁盘这种三级存储结构，也可以采取SSD盘－FC磁盘－SCSI磁盘－SATA磁盘－磁带这种五级存储结构，具体采用哪些存储级别需要

　　根据具体应用而定。如下可作为参考：

　　第二、存储分层时依据的性能指标

　　以下是存储设备进行性能判定的指标参数说明：

　　1)储存IOPS：I/Opersecond每秒钟存储可以处理的I/O数目;

　　2)存储带宽：常以Kb/秒为单位，即每秒存储可以处理的数据量;

　　3)服务时间：从IO下发到IO处理完成的时间，常以ms为单位，常用指标：平均响应

　　时间、最大响应时间;

　　4)繁忙度：衡量方式：最大值、最小值、平均值等

　　3par进行分层操作，除需要参考以上性能指标外，主要是以参数指标为依据进行排序，筛选出性能参数排名在前的vlun信息。然后，根据排名信息进行操作，将IOPS指标排名前的vlun进行迁移工作。示意图如下：

　　第三、性能问题的定位思路

　　系统的性能问题由系统中出现短板的环节决定的。在进行性能调优时，需要在明确业务场景，性能需求的前提下，以系统IO流程为线索，确定具体哪种硬件资源成为瓶颈，是由什么原因导致的，再针对性的进行调优。

　　大致的业务I/O数据处理流程：

　　主机应用—>内核缓冲区—>块设备层—>HBA卡驱动—>网络—>存储前端—>存储cache模块—>RAID模块—>磁盘

　　依照以上性能调优的思路，可以把3par分层调整的工作定位为以下几个步骤。

　　1)业务应用梳理；

　　2)存储性能收集；

　　3)数据分层调整。

　　方案设计

　　本范例是一个典型的扩容和在线调优案例。通过与原厂工程师的沟通，建议采用直接购买硬盘填充现有扩展槽位的方式进行。扩容完成后，通过专业调优软件进行在线调优。

　　整个方案主要涉及以下业务部门和硬件设备。

　　表1-硬件信息

　　表2-业务系统

　　方案实施

　　由于类似方案几乎必须和原厂工程师配合完成，所以下文就不再罗列具体的硬件关联信息了。这种方案一定要提前和原厂工程师沟通出具解决方案，避免业务受到影响。

　　实施难点

　　此方案的实施难点主要是在线扩容和在线调整。大家都知道在线工作和离线工作对工程师的要求是完全不同的，既要依赖厂商过硬的产品，也要依赖工程师过硬的技术和严谨的方案。

　　实施计划

　　方案设计完成后，就要进行实施阶段了。实施计划的编订，对整个方案的成功起到来至关重要的作用。

　　准备工作

　　物理空间

　　机房用于存储3par存储设备的机柜空间已满。无法满足本次扩容空间的要求。所以，需要进行机柜设备搬迁工作，来为3par设备扩容腾出可以空间。

　　机房现有设备空间情况，如图2所示

　　为了给3par扩容腾出所需空间，需要搬迁18机柜里面的两台虚拟化管理机，将其搬迁到19和20机柜里面。搬迁设备信息如下：

　　1、将18号机柜里面的两台虚拟化管理机分别搬迁到19机柜和20机柜的02U---06U上面。

　　2、搬迁后的效果图。17机柜和18机柜中的3par安装示意图，如图3所示，显示了搬迁后的效果。

　　信息收集

　　在进行扩容工作前，需要收集3par存储的现有配置信息。以支持3par扩容工作。HP3parSS10800配置示例图如下。其中灰色区域为可扩容disk的区域，扩容工作需在线完成。如图4所示。

　　数据备份

　　在进行扩容工作前，用户需要对3par存储上面的业务数据进行备份工作。以此来保证数据的安全性。

　　3par存储信息备份包括：

　　1、备份3par存储的license；

　　命令：showlicense

　　Showlicense-raw

　　2、备份3par存储上面的各项配置信息。包括：host主机信息，node的状态，cage盘柜的状态，disk磁盘的状态；

　　命令：showsys

　　Shownode

　　Shownode-i

　　Showcage

　　Showpd

　　Showpd-c

　　Showvv

　　Showvlun

　　Showhost

　　Showcage-i

　　Showpd-failed

　　3、查看微码版本，以备后续升级微码使用；

　　命令：showversion

　　Showversion-v

　　4、查看3par存储是否在做维护工作；

　　命令：Showservicemag-v

　　5、运行3par自检测命令进行扩容前的状态自检。

　　命令：checkhealth-svc

　　如以上工作完成，且3par工作正常。这时就可以进行3par存储的扩容工作了。

　　操作步骤

　　具体的实施步骤这里不再做详述，因为如前文所述，这种核心的操作一定是原厂配合。

　　结束语

　　本文主要是通过简单的事例，告诉读者传统存储进行空间扩容和性能优化需要注意的一些关键点，并不涉及具体的操作和优化步骤。因为这些操作需要根据各家存储的不同，联系不同的厂商共同出具方案确认。

　　存储扩容和在线性能优化已经是一项非常成熟的存储技术了。只要按照文中所说的方法做好各项准备工作，了解业务及配合原厂实施，是可以做到事半功倍的。

　　虽然存储扩容是一个解决空间问题最直观的方法，但是作为存储管理员仍要制定一套关于存储数据的全生命周期管理办法，避免无限制的扩张，浪费存储空间，造成无用投资。