大发uu直播快3官方_大发UU快3直播平台 - 大发uu直播快3官方,大发UU快3直播平台是新浪网最重要的频道之一,24小时滚动报道国内、国际及社会新闻。每日编发新闻数以万计。

姚伟斌:阿里云CDN技术演变之路

  • 时间:
  • 浏览:1

这7天 ,我去拜访了有些客户。我们歌词 都歌词 我们歌词 都歌词 把我们歌词 都歌词 我们歌词 都歌词 的CDN与业界有些有些比较有名的商业CDN进行比较统计,得出的结论是:我们歌词 都歌词 我们歌词 都歌词 CDN的平均延迟大约能有10%到20%的下降。

l   IP库

CDN加速的载体在于节点,阿里CDN节点分布可谓星罗棋布,如下图所示。阿里CDN服务器从前主要用于淘宝图片的挂接,在全国32省(市、区)均有服务器,有100多个节点,在一线城市运营商均有机房,甚至在外国有的是100余个节点分布,以提供国外用户的加速服务。

2015年1月31日,阿里云课堂第六期在北京开课,“大型互联网应用架构之存储与挂接”主题分享在众多我们歌词 都歌词 我们歌词 都歌词 的期待下精彩上演,现场观众再次爆满。本次活动中,姚伟斌(花名:文景)和李文兆两位讲师为我们歌词 都歌词 我们歌词 都歌词 献上了精彩演讲,并在OpenSpace环节与观众展开讨论,积极互动。应广大用户要求,我们歌词 都歌词 我们歌词 都歌词 将云课堂讲师现场分享内容全文挂接出来,供我们歌词 都歌词 我们歌词 都歌词 参考。阿里云课堂会继续在全国各地陆续开课,欢迎我们歌词 都歌词 我们歌词 都歌词 继续支持!

三、阿里CDN分布

以下为讲师姚伟斌(花名:文景)的分享内容:

你有些功能是页面内容优化,就让我按照前端优化准则进行自动化的内容调整。比如说减少页面中请求的数量。我们歌词 都歌词 我们歌词 都歌词 会做有些静态资源文件合并。还有就让我尽日后减少页面大小,我们歌词 都歌词 我们歌词 都歌词 会主动删除页面空白符,还十个 多多智能Gzip,通过主动发起JS异步请求,进行探测,即使没办法 Accept-Encoding头也会主动做压缩。CDN这边也在跟前端的同学一同来做,比如做十个 多UA的数据库,去保存每十个 多User Agent对应的分辨率,不同的分辨率选者不同尺寸的图片。

这是7层攻击的十个 多案例,突然有有些用户说,我们歌词 都歌词 我们歌词 都歌词 为啥防攻击的流量算我钱,实际上防攻击有的是免费的。这是我昨天截的图,这是7层的攻击,突然间针对从前那个小站有10万QPS的攻击流量,它的响应大小是15KB。都可不能不能看完如何让打开安全功能,CDN日后挡了99%以上的攻击,并保证它的正常服务,帮用户节省了17Gbps的流量费用。

从去年结束,我们歌词 都歌词 我们歌词 都歌词 整个团队的开发方向就转向做对外服务。从2013年结束,我们歌词 都歌词 我们歌词 都歌词 CDN的服务能力日后远超我们歌词 都歌词 我们歌词 都歌词 自用的能力。就像我们歌词 都歌词 我们歌词 都歌词 有些PE所说,我们歌词 都歌词 我们歌词 都歌词 CDN团队基本上都可不能不能坐在那里喝着茶看着双十一的流量就都可不能不能了。

l   缓存系统

CDN虽然不仅仅是静态内容的HTTP加速,还都可不能不能做TCP协议的加速。如上图所示案例显示,我们歌词 都歌词 我们歌词 都歌词 最近发现台湾用户访问淘宝页面非常慢,怪怪的是从国内到国外你有些链路是比较差的。我们歌词 都歌词 我们歌词 都歌词 在台湾有节点,香港有节点,上海有节点,台湾到上海延时有100毫秒,台湾到香港是20毫秒,香港到上海100毫秒。我们歌词 都歌词 我们歌词 都歌词 发现,从台湾、香港再回来反倒更短,就让我做了CDN之间的路由优化,对TCP连接进行加速。你有些图最终会有就让我节点,就让我十个 多有向图,我们歌词 都歌词 我们歌词 都歌词 在每十个 多CDN节点上做相互节点之间的网络探测,检测整个网络的丢包率和延时,构建出十个 多有权值的表格,如何我们歌词 都都歌词 我们歌词 都歌词 去计算最短路径。

现在阿里CDN的目标是:做到都可不能不能快速、安全、易用,能帮用户减少成本。

四、阿里CDN应用

CDN最大的特色在于加速。没办法 ,CDN是如何实现各种“加速”,发挥“加速”功用呢?如下图所示,CDN有就让我节点,通过域名实现就近接入。当用户发起十个 多请求后,CDN会回源取,如何让把文件就近缓居于那个节点的服务器上。假设北京的用户到北京节点只需4毫秒,里边写了十个 多90%的请求虽然都直接命中到了服务器,没办法 还有10%的流量回到了二级cache节点。而二级cache节点也是同样的缓存服务器,假设它的命中率也是90%,没办法 最终非要1%的流量到源站。日后纯粹回到源站日后需88毫秒,而通过访问CDN就会大大缩短时间,甚至4毫秒就都可不能不能让用户拿到十个 多文件。这是CDN实现加速的基本原理。

下面是CDN的有些关键组件:

有时,CDN上的缓存文件更新了,给你把它删掉。刷新还要全网挂接,而全网的每一台机器,每十个 多cache节点完整篇 要刷,日后他他不知道文件居于哪里,有的是广播的,而现在,我们歌词 都歌词 我们歌词 都歌词 按调度频道来刷,就能减少极少量的刷新。另外,我们歌词 都歌词 我们歌词 都歌词 增加了合并功能。比如,现在有100个URL过来刷新,都可不能不能合并为一次提交到Cache服务器,从而减少刷新的QPS。此外,Swift支持正则和目录刷新,只需提交十个 多请求就都可不能不能刷就让我内容。现在从统计数据上看,全球节点99%以都可不能不能做到1分钟的刷新。

最后十个 多是安全功能,现在CDN提供了4、7层的DDoS安全防御和WAF,都可不能不能使用户免于攻击,并提供一站式解决方案。CDN都可不能不能提供源站保护功能,静态资源CDN都可不能不能缓存,最终落到源站的流量后该合并,流量是非常小的。现在安全服务是不额外收费的。

上图是CDN节点的缓存系统,LVS是4层的代理,Tengine主要进行并进行负载均衡,swift是十个 多高效的缓存服务器,作静态文件的缓存用。Tengine和Swift进行一致性hash,都可不能不能提高命中率。有些还有有些控制机器,做刷新和配置哪些功能。

现在CDN有十个 多维度都可不能不能进行调度。一是地域的概念,比如说你去浏览器里边输十个 多www.taobao.com,域名查询请求会提交到运营商本地的DNS服务器,DNS服务器十个 多多迭代查询的过程,最后到了调度中心。调度服务器会根据源IP。比如你是北京电信的DNS的IP,就将你调度到北京电信的机房去。二是CDN是有高可用性的,调度中心在不停的监控所有节点的健康情况,一旦发现你有些节点有疑问,会将用户切换到另外十个 多节点。

阿里CDN针对TCP协议栈的做了优化,比如说我们歌词 都歌词 我们歌词 都歌词 做了基于时间序的丢包发现机制,TCP的包是有序号的,我们歌词 都歌词 我们歌词 都歌词 按照序号来查看,日后发现高序号的TCP的ACK,如何让低的没办法 发过来。我们歌词 都歌词 我们歌词 都歌词 会以减慢的十个 多重传机制来确保我们歌词 都歌词 我们歌词 都歌词 低序丢失的包都可不能不能快速发过来。结合自适应的初始窗口等单边优化最好的办法,最终我们歌词 都歌词 我们歌词 都歌词 将小对象的平均RT降低20%以上。

上图是Swift的缓存架构淘汰逻辑。现在.给你做到内存、SSD、SATA三级缓存、都可不能不能适应各种尺寸的文件。我们歌词 都歌词 我们歌词 都歌词 的服务器既能做图片的缓存,都可不能不能做视频大文件缓存,热对象会自动上升到内存,冷对象会被淘汰到SATA。为了提高IO性能,我们歌词 都歌词 我们歌词 都歌词 没办法 使用文件系统,直接使用整个裸磁盘。在裸盘上,我们歌词 都歌词 我们歌词 都歌词 实现了Squid的COSS文件系统。COSS文件系统中有的是十个 多Stripe进行IO写操作。我们歌词 都歌词 我们歌词 都歌词 使用8M十个 多Stripe,新来的文件就append在Stripe里边,每次有的是8M的写,从前就都可不能不能提高IOPS。当Stripe满日后,写SSD时,看原有的内容算不算热的,日后是热点,就上放内存。日后是冷的,就淘汰到内存。

一、CDN的用途

目前,CDN主就让我分多少方向发展,比如静态内容的挂接、视频流媒体的挂接、动态资源的加速、源站保护等,其中最基本的是用来做静态内容挂接。阿里CDN现在最大的用途是用作淘宝所有图片的挂接。视频流媒体的挂接功能使用,发展速率单位也非常之快。CDN有些特色功能的应用,如动态资源的加速,还有SSL的接入、SPDY的接入等。CDN还十个 多多功能是源站保护,它都可不能不能通过各种安全防御,实现源站流量的减少。

二、CDN的加速原理

阿里从1008年结束,就着手自建CDN。不知不觉我们歌词 都歌词 我们歌词 都歌词 已成为世界上最大的图片CDN。这日后跟中国的网上购物习惯有关——十个 多商品还要几十张图片进行介绍。这使得我们歌词 都歌词 我们歌词 都歌词 图片CDN日后跟有些视频CDN流量有的一拼。从2014年3月起,阿里CDN正式开启商业化运营模式。商业化运营对阿里云CDN的需求,跟图片CDN区别是非常大的,这对于我们歌词 都歌词 我们歌词 都歌词 有就让我的挑战。从前的图片CDN,对于我们歌词 都歌词 我们歌词 都歌词 来说,主就让我每年大促期间带来的压力,大约到2012年,我们歌词 都歌词 我们歌词 都歌词 CDN唯一任务就让我为了“双十一”。那时,我们歌词 都歌词 我们歌词 都歌词 会做就让我预案以应对疯狂的流量。下面你有些张是CDN的流量图,就都可不能不能看完我们歌词 都歌词 我们歌词 都歌词 1009到2012年,我们歌词 都歌词 我们歌词 都歌词 整个水位是非常满的。这对于我们歌词 都歌词 我们歌词 都歌词 CDN来说,主要的挑战在于:做到良好的均衡性。比如你有些节点要把流量定量切到另外十个 多节点,我们歌词 都歌词 我们歌词 都歌词 做了就让我的工作。另外,我们歌词 都歌词 我们歌词 都歌词 在节点内对软件稳定性和性能等方面也做就让我优化。比如说现在十个 多节点能服务40G,如何让有日后节点面对突然涌过来的大流量时,你甚至来不及调度。这就要求你的软件大约还要扛过大于40G的能力。每年我们歌词 都歌词 我们歌词 都歌词 会做5次以上的压测。在跑满40G的情况下面,连续跑十个 多星期,检验以保障我们歌词 都歌词 我们歌词 都歌词 CDN节点后该挂掉,都可不能不能继续提供比较可靠的服务。这对于软件的可靠性方面,压力也是非常大的。

去年阿里CDN结束对外应用日后,用户增加非常比较慢。从前以配制文件的形式管理的配置系统,日后非要满足业务需求。于是,我们歌词 都歌词 我们歌词 都歌词 开发了十个 多加载配制模块,它是lazy的。它的局部性效果非常明显,虽然我们歌词 都歌词 我们歌词 都歌词 线上有几万个域名,但在十个 多节点上,我们歌词 都歌词 我们歌词 都歌词 发现也就一两千个域名在服务,就让我按需加载的最好的办法较好。另外我们歌词 都歌词 我们歌词 都歌词 也做了就让我优化,10万域名只占100兆内存,非常高效。一同,我们歌词 都歌词 我们歌词 都歌词 都可不能不能做到全网分钟级别配置挂接,总体来说,我们歌词 都歌词 我们歌词 都歌词 的配制都可不能不能做到高可靠、可运维。

目前,我们歌词 都歌词 我们歌词 都歌词 阿里结构日后实现了海量日志搜集与分析系统。从前我们歌词 都歌词 我们歌词 都歌词 也是用syslog来搜集日志,在40G跑满时,syslog丢包非常严重。怪怪的是在对外商用日后,日志还要计费,对可靠性要求非常高,所过你都可不能不能就开发了十个 多传输日志和实时节析系统。一同,结构也做了有些优化,比如合并功能,多条日志合并后再发到日志服务器上,使用LZO进行流式压缩,最终挂接到中心。现在我们歌词 都歌词 我们歌词 都歌词 都可不能不能做到产生的日志10分钟传到OSS上以供下载。你有些速率单位在业界来说是非常快的。现在,我们歌词 都歌词 我们歌词 都歌词 整个CDN的量级大约每天有几百T的访问日志,最终后该导入到阿里云ODPS上进行大数据分析,比如用户行为分析。

我前面会讲一下CDN的用途,也会讲有些CDN产品,在里边我会讲CDN的架构和设计。

流媒体你有些业务跟图片有很大的区别。图片的文件大小非要100到100K,如何让视频的平均文件大小日后该到100K到2M。首先,流媒体对于CDN节点的流量冲击会非常大,基于传统的DNS调度有缓存时间,一般有5到10分钟的延时,甚至有有些节点都调不走。我们歌词 都歌词 我们歌词 都歌词 这边就设计了十个 多中心式的,基于HTTP协议的调度最好的办法。当请求某个URL的日后,CDN根据节点的负载会直接返回资源日后1002重定向,作精确调度。几乎就没办法 延时时间,甚至都可不能不能在每个节点的机器间相互调度。

最近阿里云这边在做无线加速的产品,我们歌词 都歌词 我们歌词 都歌词 现在使用了HTTP DNS。无线APP有自己的客户端,HTTP DNS集成在APP SDK中,当APP启动后该发起十个 多定期异步的请求,去中心请求域名解析,如何让把IP保存下来。当下次发起真实请求时,都可不能不能直接去请求了。就让我HTTP DNS都可不能不能节省域名解析的速率单位,也都可不能不能解决国内的有些运营商作的域名劫持。

CDN还要知道用户从哪里来,都可不能不能调度, IP数据库我们歌词 都歌词 我们歌词 都歌词 日后做了好几年。日后我们歌词 都歌词 我们歌词 都歌词 想去查一下某个IP是从哪里来的,ip.taobao.com你有些结构的接口都可不能不能用。为了提高准确性,我们歌词 都歌词 我们歌词 都歌词 后该拿淘宝的收货IP做对比,查算不算你有些IP是属于你有些地区的。现在在市一级的准确率能做到96%左右。ECS用户应该都可不能不能免费调用我们歌词 都歌词 我们歌词 都歌词 IP库的接口。

l   刷新系统

l   日志系统

l   调度系统

另外十个 多就让我做了SPDY的优化,多路优化哪些好处呢,十个 多是复用连接,减少连接数,提高页面打开的速率单位,就手机淘宝这边的经验来看,做SPDY链路复用最终是能有20%到100%加载页面时间的降低。