主存储优化（PSO）的前世今生

在过去的两年里，重复数据删除（Date Deduplication）以惊人的速度从一个偏僻的存储技术术语迅速成为了存储系统中广为人知的特性，几乎所有主流存储厂商都适时推出了自己的相关产品；类似的，高速硬件数据压缩（Hardware Data Compression）应用也获得了类似的市场机遇，在不到两年的时间里，不但成为高端虚拟带库（VTL, Virtual Tape Library）的必选特性，也逐渐在归档（Data Archive）、备份（Backup）、持续数据保护（CDP, Continuous Data Protection）等次级存储（Secondary Storage）中获得了广泛应用。
由于在系统功能上比较相似，都能显著减少数据容量，提高系统的运行效率，业界又专门以数据缩减（Data Reduction）或容量优化（Capacity Optimization）来统称重复数据删除和数据压缩技术这两种技术。一般的，数据压缩技术的应用可以带来2:1~3:1的压缩比，而重复数据删除技术在备份应用中的压缩比可达10:1~20:1，综合应用两种技术之后，数据量一般可减少到原来的3%左右。容量优化技术的广泛应用，其背景是存储系统中数据容量的急速增长：IDC报告显示，2007年新增数据量（281 ExaByte）已经超过所有可用存储介质总容量（264 ExaByte）约6%，并预计2011年数据总量将达到2006年的10倍！
数据缩减技术在次级存储中的成熟使用和带来的巨大好处促使人们认真研究并考虑将相关技术的应用进一步推广到主存储（Primary Storage）中，以应对主存储所面临的诸多问题：太高的容量需求、过多的空间和能源消耗等等。于是，我们有了一种新的应用：主存储优化（PSO, Primary Storage Optimization）——毫无疑问，主存储优化将以成熟的数据缩减技术为基础。
尽管主存储优化最近才进入我们的视野，但对IT业界，尤其是对那些技术和市场先驱而言，相关技术和应用倒并不是近几年才出现的全新概念。
1994年2月23日，从美国加州联邦法院传出了一个惊人的消息：由于侵犯对方专利，软件巨头Microsoft被判赔偿一家鲜为人知的小公司Stac总计一亿二千万美元，案件的核心是Microsoft当时新推出的操作系统MS-DOS 6.0中集成的Double Space软件。在一般应用中，该软件的使用可以使计算机的硬盘容量“加倍”：数据会先经过压缩再存储到硬盘上，高效的压缩算法可以提供约2:1的压缩比。而Stac持有该压缩算法的关键专利，并且其硬盘容量倍增软件Stacker已经广泛应用到IBM的OS/2、Apple的Macintosh、Unix和Microsoft MS-DOS的主要竞争对手Novell DOS等各主要操作系统中。在2003年IE浏览器侵权案件之前，这一直是Microsoft败诉且涉案金额最大的知识产权案件，而且成为全球知识产权保护的经典案例。
在500GB硬盘只要不到400元人民币的今天，能将PC硬盘容量加倍的技术大概并没有多少吸引力，但在上世纪九十年代初，主存储容量异常宝贵，1993年250MB的硬盘大约需要500美元！因此，Stac独有的压缩技术获得了广泛的应用，Stacker软件的推出也使Stac公司成为主存储优化的先驱。
在早期的主存储优化应用中，使用的容量优化技术是数据压缩，关键算法采用的都是压缩效率和速度都非常好的LZS算法，其实现也主要是以软件方式集成到系统中，利用主CPU来完成所有处理。随着计算机应用的日益广泛，各种不断丰富和发展的应用对性能要求越来越高，系统处理能力逐渐成为瓶颈，基于软件的数据压缩因为需要消耗大量的CPU资源而被逐渐边缘化；与此同时，硬盘技术取得了长足的进步，硬盘/主存储的容量不断增长的同时，价格也迅速下降。硬盘/主存储优化应用也就逐渐淡出人们的视线，Microsoft也最终在Windows XP中取消对这项功能的支持。
在数据缩减技术在次级存储优化（SSO, Secondary Storage Optimization）应用中大放异彩的时候，我们发现，尽管当前的技术还不能直接满足主存储的要求，但毫无疑问，这样的技术同样可以给主存储带来巨大的效用和好处。
随着应用的不断丰富，存储系统对主存储的容量需求一直在急速增长，其速度明显超过磁盘系统的技术进步；另一方面，由于操作难度和应用对时延的较高要求，主存储内有大量数据相对比较陈旧，并没有迁移到次级存储中去，调查显示其比例甚至高达80%~90%。目前，数据中心主存储容量的利用率一直维持在很高的水平，面对不断提高的增长压力，与购买新的存储设备相比，通过主存储优化挖掘现有存储资源的潜力在目前较为严峻的经济形势下显得尤为必要。
另一方面，存储介质之外的支出越来越成为关注的重点。对很多数据中心而言，空间占用、电力消耗，还有散热，可能比存储容量更难以管理，有时候甚至不是仅仅增加支出就能解决的——主存储优化是“绿色存储”的一个重要选项。
而且，在前面的分析中我们都都没有论及实际的存储容量。在实际的存储系统中，将50TB缩减为10TB所带来的好处，远非将5TB缩减为1TB所能比。随着业务的发展，企业和数据中心管理的数据将迅速从数TB增长到数十TB，简单增加存储容量除了介质本身的支出外，还会给备份/归档等等日常管理带来极大挑战。
此外，有效减少主存储的数据量后，系统I/O单元的利用率将明显改善，从而提高系统性能；如果需要远程数据传输，网络带宽的利用率也将显著提高。
尽管主存储优化有着非常诱人的前景，但要真正实现系统应用，还需要解决一系列的问题。与已经获得广泛应用的次级存储优化相比，主存储优化对性能（Performan

美帝  发表于: 2009-12-11