解析腾讯云COS对象存储关键技术的演进

在腾讯平台上有这么一家影视公司，每周发布两部影片，每部影片的大小约200G，并且有2D、3D、中文、英文等多种制式。按照传统做法，影视公司用硬盘拷贝影片，通过快递的方式发往全国5000家影院。这就意味着该公司每周需要准备至少5000-10000个硬盘，起码耗时一周才可能全国同步上映。

现在，他却只需要坐在办公室动一动鼠标，两天内所有的片子，所有制式就可以分发到全国各地5000家影院同步上映。说到这里，我们已经看到了腾讯云对象存储COS的冰山一角。

左起：腾讯云移动云总经理答治茜、腾讯云COS技术总监黎文彦、腾讯云COS产品总监王琰

在历经一段相对低调的打磨期后，此次腾讯云COS的重新出击融合了全球400+加速节点的优势、业界第一的图片鉴黄能力、以及优图人脸识别能力，针对现代企业在存储中面对的数据及网络安全、访问效率、存储容量、以及运维成本等痛点提供更好的解决方案，让任何量级的企业均可以抛弃硬盘，轻松上云。

2006年底腾讯推出了COS第一代产品，COS的第一个业务就是当时国内最火的图片分享平台QQ空间相册。COS上线之后顺利地解决了照片量上传增长太快而系统无法快速扩容的问题。2008年腾讯推出了key value存储系统，承接了QQ空间很多关于半结构化的业务，KV系统成为COS系统的有利补充。2010年腾讯存储团队开始探索新的领域，研发出基于SSD和内存的存储系统，丰富了COS产品线，很好地解决了高并发量，但文件却很小的场景，QQ头像的下载正是这样一个典型的案例。2012年COS接入了腾讯视频，结合了CDN产生了后来巨量的下载带宽。同一年微信诞生，文件、图片、视频等多媒体文件的接入，微信产品爆发式的增长，2014年存储总量突破了500P，直到今天这个规模超过了EB。2015年，正是基于十年的研发实力积累，COS正式对外开放上架腾讯云。

如何做到安全可靠

腾讯云COS技术总监黎文彦谈到说，所有的存储系统都必须要解决关键问题，其一之一就是数据的安全性。腾讯是如何做到COS可以超过12个9的安全可靠性的？

首先是多副本，这是业界比较常用的手段，上传时可自动创建超过三个副本。

其次是机房容灾，上传时自动把多个副本部署在不同的机房。做到这两点，单机故障、单个机房的故障不会造成任何数据的丢失，并且保障了可用性。

第三则是回收站。大家对多年前QQ空间盗号、恶意删数据，或者用户误删除记忆犹新。如今腾讯开创性地实现了回收站，使得恶意删和误删的投诉降低到零。

第四则是异地容灾。异地容灾是个热词，但在天灾人祸前往往经不住考验。COS则有效解决了网络传输延迟和数据一致性的问题。目前腾讯在多地部署的设备物理距离上超过三千公里。

如何做到比传统方式快20倍

在图片处理方面，腾讯相对传统方式快了20倍。对于这个性能，黎文彦在讲解中给出了这样一个场景得以应证：在网络信号相对较弱的电梯里，微信朋友圈的发图和看图依然可以达到秒级的体验。

首先是DNS解析优化。通过IP直出的方式，绕过DNS解析，省去了DNS解析这一步，这样做的好处也可以避免运营商各种劫持，同时提升了调度的精准性。

其次，上传加速。以前只有CDN下载加速，为什么没有上传加速？黎文彦对此解释说：“过去几年用户的上行带宽很小，直到最近几年光纤的普及，用户上行带宽越来越大，通过类似于CDN下载加速的方式做上传就近接入，效果也是非常好，再结合了异步、并发的方式能够最大化利用用户上行的带宽。”

第三则关于网络协议的优化。比如说2G或者Wi-Fi不是稳定的时候，腾讯做了丢包重传的优化，还有TCP协议栈的优化，再结合数据包压缩等手段，如此以来在网络较差的情况下COS仍然可以保证秒级的体验。

除此之外，其实COS团队早在几年前就启动了FPGA相关研发，通过硬件加速的方式，对比传统CPU使得图片处理性能提升超过20倍。