点点地方

路再黑也能看见自己走过的脚印....

« cookie解析 MYSQL出错代码列表 »

CDN技术原理

首先,让我们来看一下传统的Internet网络的基本结构和数据传输情况,如下图1-1所示。 

图1-1 Internet 网络基本结构及数据传输方式

· 根据传统的网络结构,用户的访问流程基本如下: 

  a) 用户在自己的浏览器中输入要访问的网站的域名; 
  b) 浏览器向本地DNS请求对该域名的解析; 
  c) 本地DNS将请求发到网站授权的DNS服务器; 
  d) 授权DNS将服务器的IP地址作为解析结果送给本地DNS, 
  e) 本地DNS将解析结果返还给用户,同时将该解析结果保存在自己的缓存中,直到相应的TTL(生存周期)过期,才再向网站的授权DNS请求解析。 
  f) 用户在得到IP地址后,向该地址所指向的网站的服务器进行访问。

· 上述传统的访问模式存在着如下几个严重影响互联网用户的访问效率和质量的环节:

  首先,传统的DNS解析过程在将网站主机域名转换为IP地址时,并不预先判断该服务器是否正常工作;即使该服务器已经宕机不能提供服务了,用户的请求仍将被发往这台服务器,造成服务的中断。
  其次,互联网从诞生的第一天起,就缺乏一个专门的中央管理结构,也缺乏统一的产品和技术标准。这一点曾是互联网得以迅速发展的优势。但是,随着互联网的规模越来越大,这一点造成了众多不同网络结构并存的局面。不同网络间的兼容以及不同网络运营商/ISP之间的传输瓶颈等问题使得数据的流通受到限制。据统计,现有互联网上的平均传输速率不高于30Kbps。
  另外,现有的互联网以数据包传输为基础,任何一个数据包的丢失或出错都必须重新发送,而平均一个重传过程需要3秒钟,从而导致延迟。并且现有的HTTP协议也有诱发延迟的因素,据调查,完整下载一个网页,需要在用户和服务器之间往返20~100次。
最后,现有的路由技术以路由器工作状态的历史数据为依据来确定当前数据包的传输路径,无法真实反应当前的路由和网络连接状况。这往往会导致数据传输所经过的路径并不是当前的最佳路径。而且,众多的路由器和交换机不但使数据传输的时间延迟增大,还会增加出错的几率,因为任何一个路由器出现问题都会影响到整个传输过程。 

· CDN 工作原理示意图:


· CDN 对网络的优化作用:

CDN系统通过在精心挑选的网络各处放置节点服务器,从而将网站的内容放置到离用户最近的地方,避免了上述影响互联网传输性能的“第一公里”和“网间互联瓶颈”等各个环节,为改善中国的互联网环境、解决网站的服务质量和提高用户的上网速度提供了有效的解决方案。
CDN对网络的优化作用主要体现在如下几个方面:
 ◆ 解决服务器端的“第一公里”问题
 ◆ 缓解甚至消除了不同运营商之间互联的瓶颈造成的影响
 ◆ 减轻了各省的出口带宽压力
 ◆ 缓解了骨干网的压力
 ◆ 优化了网上热点内容的分布

  CDN对网络的优化作用原理图如下:





详叙CDN的工作原理及工作过程 
1.简介 

 

Internet的高速发展,给人们的工作和生活带来了极大的便利,对Internet的服务品质和访问速度要求越来越高,虽然带宽不断增加,用户数量也在不断增加,受Web服务器的负荷和传输距离等因数的影响,响应速度慢还是经常抱怨和困扰。解决方案就是在网络传输上利用缓存技术使得Web服务数据流能就近访问,是优化网络数据传输非常有效的技术,从而获得高速的体验和品质保证。 

 

网络缓存技术,其目的就是减少网络中冗余数据的重复传输,使之最小化,将广域传输转为本地或就近访问。互联网上传递的内容,大部分为重复的Web/FTP数据,Cache服务器及应用Caching技术的网络设备,可大大优化数据链路性能,消除数据峰值访问造成的结点设备阻塞。Cache服务器具有缓存功能,所以大部分网页对象(Web page object),如html, htm, php等页面文件,gif,tif,png,bmp等图片文件,以及其他格式的文件,在有效期(TTL)内,对于重复的访问,不必从原始网站重新传送文件实体, 只需通过简单的认证(Freshness Validation)- 传送几十字节的Header,即可将本地的副本直接传送给访问者。由于缓存服务器通常部署在靠近用户端,所以能获得近似局域网的响应速度,并有效减少广域带宽的消耗。据统计,Internet上超过80%的用户重复访问20%的信息资源,给缓存技术的应用提供了先决的条件。缓存服务器的体系结构与Web服务器不同,缓存服务器能比Web服务器获得更高的性能,缓存服务器不仅能提高响应速度,节约带宽,对于加速Web服务器,有效减轻源服务器的负荷是非常有效的。 

 

高速缓存服务器(Cache Server)是软硬件高度集成的专业功能服务器,主要做高速缓存加速服务,一般部署在网络边缘。根据加速对象不同,分为客户端加速和服务器加速,客户端加速Cache部署在网络出口处,把常访问的内容缓存在本地,提高响应速度和节约带宽;服务器加速,Cache部署在服务器前端,作为Web服务器的前置机,提高Web服务器的性能,加速访问速度。如果多台Cache加速服务器且分布在不同地域,需要通过有效地机制管理Cache网络,引导用户就近访问,全局负载均衡流量,这就是CDN内容传输网络的基本思想。 

 

2.什么是CDN? 

 

CDN的全称是Content Delivery Network,即内容分发网络。其目的是通过在现有的Internet中增加一层新的网络架构,将网站的内容发布到最接近用户的网络"边缘",使用户可以就近取得所需的内容,解决Internet网络拥塞状况,提高用户访问网站的响应速度。从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均等原因,解决用户访问网站的响应速度慢的根本原因。 

 

狭义地讲,内容分发布网络(CDN)是一种新型的网络构建方式,它是为能在传统的IP网发布宽带丰富媒体而特别优化的网络覆盖层;而从广义的角度,CDN代表了一种基于质量与秩序的网络服务模式。简单地说,内容发布网(CDN)是一个经策略性部署的整体系统,包括分布式存储、负载均衡、网络请求的重定向和内容管理4个要件,而内容管理和全局的网络流量管理(Traffic Management)是CDN的核心所在。通过用户就近性和服务器负载的判断,CDN确保内容以一种极为高效的方式为用户的请求提供服务。总的来说,内容服务基于缓存服务器,也称作代理缓存(Surrogate),它位于网络的边缘,距用户仅有"一跳"(Single Hop)之遥。同时,代理缓存是内容提供商源服务器(通常位于CDN服务提供商的数据中心)的一个透明镜像。这样的架构使得CDN服务提供商能够代表他们客户,即内容供应商,向最终用户提供尽可能好的体验,而这些用户是不能容忍请求响应时间有任何延迟的。据统计,采用CDN技术,能处理整个网站页面的70%~95%的内容访问量,减轻服务器的压力,提升了网站的性能和可扩展性。 

 

与目前现有的内容发布模式相比较,CDN强调了网络在内容发布中的重要性。通过引入主动的内容管理层的和全局负载均衡,CDN从根本上区别于传统的内容发布模式。在传统的内容发布模式中,内容的发布由ICP的应用服务器完成,而网络只表现为一个透明的数据传输通道,这种透明性表现在网络的质量保证仅仅停留在数据包的层面,而不能根据内容对象的不同区分服务质量。此外,由于IP网的"尽力而为"的特性使得其质量保证是依靠在用户和应用服务器之间端到端地提供充分的、远大于实际所需的带宽通量来实现的。在这样的内容发布模式下,不仅大量宝贵的骨干带宽被占用,同时ICP的应用服务器的负载也变得非常重,而且不可预计。当发生一些热点事件和出现浪涌流量时,会产生局部热点效应,从而使应用服务器过载退出服务。这种基于中心的应用服务器的内容发布模式的另外一个缺陷在于个性化服务的缺失和对宽带服务价值链的扭曲,内容提供商承担了他们不该干也干不好的内容发布服务。 

 

纵观整个宽带服务的价值链,内容提供商和用户位于整个价值链的两端,中间依靠网络服务提供商将其串接起来。随着互联网工业的成熟和商业模式的变革,在这条价值链上的角色越来越多也越来越细分。比如内容/应用的运营商、托管服务提供商、骨干网络服务提供商、接入服务提供商等等。在这一条价值链上的每一个角色都要分工合作、各司其职才能为客户提供良好的服务,从而带来多赢的局面。从内容与网络的结合模式上看,内容的发布已经走过了ICP的内容(应用)服务器和IDC这两个阶段。IDC的热潮也催生了托管服务提供商这一角色。但是,IDC并不能解决内容的有效发布问题。内容位于网络的中心并不能解决骨干带宽的占用和建立IP网络上的流量秩序。因此将内容推到网络的边缘,为用户提供就近性的边缘服务,从而保证服务的质量和整个网络上的访问秩序就成了一种显而易见的选择。而这就是内容发布网(CDN)服务模式。CDN的建立解决了困扰内容运营商的内容"集中与分散"的两难选择。无疑对于构建良好的互联网价值链是有价值的,也是不可或缺的。

 

3.CDN新应用和客户  

 

目前的CDN服务主要应用于证券、金融保险、ISP、ICP、网上交易、门户网站、大中型公司、网络教学等领域。另外在行业专网、互联网中都可以用到,甚至可以对局域网进行网络优化。利用CDN,这些网站无需投资昂贵的各类服务器、设立分站点,特别是流媒体信息的广泛应用、远程教学课件等消耗带宽资源多的媒体信息,应用CDN网络,把内容复制到网络的最边缘,使内容请求点和交付点之间的距离缩至最小,从而促进Web站点性能的提高,具有重要的意义。CDN网络的建设主要有企业建设的CDN网络,为企业服务;IDC的CDN网络,主要服务于IDC和增值服务;网络运营上主建的CDN网络,主要提供内容推送服务;CDN网络服务商,专门建设的CDN用于做服务,用户通过与CDN机构进行合作,CDN负责信息传递工作,保证信息正常传输,维护传送网络,而网站只需要内容维护,不再需要考虑流量问题。 

 

CDN能够为网络的快速、安全、稳定、可扩展等方面提供保障。 

 

IDC建立CDN网络,IDC运营商一般需要有分部各地的多个IDC中心,服务对象是托管在IDC中心的客户,利用现有的网络资源,投资较少,容易建设。例如某IDC全国有10个机房,加入IDC的CDN网络,托管在一个节点的Web服务器,相当于有了10个镜像服务器,就近供客户访问。宽带城域网,域内网络速度很快,出城带宽一般就会瓶颈,为了体现城域网的高速体验,解决方案就是将Internet网上内容高速缓存到本地,将Cache部署在城域网各POP点上,这样形成高效有序的网络,用户仅一跳就能访问大部分的内容,这也是一种加速所有网站CDN的应用。 

 

4.CDN 的工作原理 

 

在描述CDN的实现原理,让我们先看传统的未加缓存服务的访问过程,以便了解CDN缓存访问方式与未加缓存访问方式的差别: 
按此在新窗口打开图片


 由上图可见,用户访问未使用CDN缓存网站的过程为: 

 

  1)、用户向浏览器提供要访问的域名; 

 

  2)、浏览器调用域名解析函数库对域名进行解析,以得到此域名对应的IP地址; 

 

  3)、浏览器使用所得到的IP地址,域名的服务主机发出数据访问请求; 

 

  4)、浏览器根据域名主机返回的数据显示网页的内容。 

 

  通过以上四个步骤,浏览器完成从用户处接收用户要访问的域名到从域名服务主机处获取数据的整个过程。CDN网络是在用户和服务器之间增加Cache层,如何将用户的请求引导到Cache上获得源服务器的数据,主要是通过接管DNS实现,下面让我们看看访问使用CDN缓存后的网站的过程: 

按此在新窗口打开图片

  通过上图,我们可以了解到,使用了CDN缓存后的网站的访问过程变为: 

 

  1)、用户向浏览器提供要访问的域名; 

 

  2)、浏览器调用域名解析库对域名进行解析,由于CDN对域名解析过程进行了调整,所以解析函数库一般得到的是该域名对应的CNAME记录,为了得到实际IP地址,浏览器需要再次对获得的CNAME域名进行解析以得到实际的IP地址;在此过程中,使用的全局负载均衡DNS解析,如根据地理位置信息解析对应的IP地址,使得用户能就近访问。

3)、此次解析得到CDN缓存服务器的IP地址,浏览器在得到实际的IP地址以后,向缓存服务器发出访问请求; 

 

  4)、缓存服务器根据浏览器提供的要访问的域名,通过Cache内部专用DNS解析得到此域名的实际IP地址,再由缓存服务器向此实际IP地址提交访问请求; 

 

  5)、缓存服务器从实际IP地址得得到内容以后,一方面在本地进行保存,以备以后使用,二方面把获取的数据返回给客户端,完成数据服务过程; 

 

  6)、客户端得到由缓存服务器返回的数据以后显示出来并完成整个浏览的数据请求过程。 

 

  通过以上的分析我们可以得到,为了实现既要对普通用户透明(即加入缓存以后用户客户端无需进行任何设置,直接使用被加速网站原有的域名即可访问),又要在为指定的网站提供加速服务的同时降低对ICP的影响,只要修改整个访问过程中的域名解析部分,以实现透明的加速服务,下面是CDN网络实现的具体操作过程。 

 

  1)、作为ICP,只需要把域名解释权交给CDN运营商,其他方面不需要进行任何的修改;操作时,ICP修改自己域名的解析记录,一般用cname方式指向CDN网络Cache服务器的地址。 

 

  2)、作为CDN运营商,首先需要为ICP的域名提供公开的解析,为了实现sortlist,一般是把ICP的域名解释结果指向一个CNAME记录; 

 

  3)、当需要进行sorlist时,CDN运营商可以利用DNS对CNAME指向的域名解析过程进行特殊处理,使DNS服务器在接收到客户端请求时可以根据客户端的IP地址,返回相同域名的不同IP地址; 

 

  4)、由于从cname获得的IP地址,并且带有hostname信息,请求到达Cache之后,Cache必须知道源服务器的IP地址,所以在CDN运营商内部维护一个内部DNS服务器,用于解释用户所访问的域名的真实IP地址; 

 

  5)、在维护内部DNS服务器时,还需要维护一台授权服务器,控制哪些域名可以进行缓存,而哪些又不进行缓存,以免发生开放代理的情况。 

 

5.CDN的技术手段 

 

实现CDN的主要技术手段是高速缓存、镜像服务器。可工作于DNS解析或HTTP重定向两种方式,通过Cache服务器,或异地的镜像站点 完成内容的传送与同步更新。DNS方式用户位置判断准确率大于85%,HTTP方式准确率为99%以上;一般情况,各Cache服务器群的用户访问流入数据量与Cache服务器到原始网站取内容的数据量之比在2:1到3:1之间,即分担50%到70%的到原始网站重复访问数据量(主要是图片,流媒体文件等内容);对于镜像,除数据同步的流量,其余均在本地完成,不访问原始服务器。 

 

镜像站点(Mirror Site)服务器是我们经常可以看到的,它让内容直截了当地进行分布,适用于静态和准动态的数据同步。但是购买和维护新服务器的费用较高,另外还必须在各个地区设置镜像服务器,配备专业技术人员进行管理与维护。大型网站在随时更新各地服务器的同时,对带宽的需求也会显著增加,因此一般的互联网公司不会建立太多的镜像服务器。 

 

高速缓存手段的成本较低,适用于静态内容。Internet的统计表明,超过80%的用户经常访问的是20%的网站的内容,在这个规律下,缓存服务器可以处理大部分客户的静态请求,而原始的WWW服务器只需处理约20%左右的非缓存请求和动态请求,于是大大加快了客户请求的响应时间,并降低了原始WWW服务器的负载。根据美国IDC公司的调查,作为CDN的一项重要指标-缓存的市场正在以每年近100%的速度增长,全球的营业额在2004年将达到45

  • 1.淄博淄川盛达机床制造
  • http://www.zbshd.cn
  • 主要生产JB23、JB21、JS21系列冲床和WB67Y系列折弯机Q11系列剪板机及多种折剪模具,畅销全国各地地址:山东省淄博市淄川区磁村镇刘瓦工业园电话:0533-5551043传真:0533-5551043手机:1356164146113953345773网址:http://www.zbshd.cn8
  • 2008-10-14 10:36:44 回复该留言
  • 2.山东淄博利达机械制造挤奶机
  • http://www.zibolida.cn
  • 山东淄博利达机械制造有限公司是一家专业生产挤奶设备的公司。主要产品有真空泵单桶挤奶机,真空泵双桶挤奶机,活塞单桶挤奶机,奶山羊挤奶机,奶管入口夹,计量瓶上盖联系人:杨经理电话:0533-4610131手机:133552369608
  • 2008-10-14 14:11:29 回复该留言
  • 3.淄博华骏冲压机床厂
  • http://www.zibohuajun.cn
  • 我厂是压力机生产的定点厂家,技术力量雄厚,检测设备齐全,生产规模、产品质量均居同行业之首。产品行销全国,在国内享有较高得声誉。该产品广泛用于机械、仪表、仪器、五金、汽车、轻工业、轴承等行业的冲孔,塑料、剪切、拉伸、弯曲、成型等其它冷冲压工作。联系电话:0533-5551098传真:0533-5551098手机:13583358126联系人:王光联8
  • 2008-10-14 17:00:19 回复该留言
  • 4.山东广通冲压专用机床厂
  • http://www.cnchongchuang.cn
  • 山东广通冲压专用机床厂是生产冲床、剪板机、折弯机的专业厂家,已有多年的生产经验,经专家多次研究改进,公司产品具有通用性强、精度高、性能可靠、便于操作等特点,而且价格低。产品广泛用于金属和非金属材料的冲压、剪切、折弯、冲孔、落料、拉伸等工作。联系人:孙经理手机:13864408937电话:0533-5556655传真:0533-5556655地址:山东省淄博市淄川西部开发区8
  • 2008-10-15 9:03:03 回复该留言
  • 5.淄博宏发保温材料厂
  • http://www.zibohongfa.cn
  • 淄博宏发保温材料厂位于山东省淄博市,专业从事各种耐火保温材料的研制及生产、经营、施工于一体的企业主要产品有耐火砖,保温砖,高铝水泥,高温粘合剂,保温膏,碳酸钙隔热板,耐火泥,硅酸铝纤维毯,耐酸防腐涂料,耐酸水泥,耐酸水泥板,硼砂,石棉绒粉,防火涂料,蛭石粉,硅酸铝纤维棉,石棉板,高温莫来石质绝热砖,高铝聚轻球砖,白粉,耐高温胶泥,淄博宏发保温材料厂厂长:高霞厂址:淄博1路汽车苏王站向南10米电话:0533-5789447手机:139643890908
  • 2008-10-15 10:03:29 回复该留言
  • 6.淄博市汇祥矿用建材厂选矿剂
  • http://www.zbhuixiang.cn
  • 淄博市汇祥矿用建材厂,地处“齐鲁之邦”的国家旅游城市-博山,交通便捷,通讯畅达,是生产化工原料的专业厂家。主要产品有:乙硫氮、丁基黄药、乙基黄药、丁基钠黄药、丁铵黑药、25号钠黑药,选矿剂,选矿药剂,等产品,广泛用于各种选矿。产品远销全国各大矿山企业,覆盖全国二十四个省市的选矿企业联系电话:0533-4612266公司传真:0533-4610367联系人:董经理手机:13505334608公司地址:山东淄博博山网站网址:www.zbhuixiang.cn8
  • 2008-10-15 11:10:39 回复该留言
  • 7.淄博市淄川永辉保温材料厂
  • http://www.yonghuibaowen.com
  • 山东淄博市淄川永辉耐火保温材料厂本厂具有现代化的硅酸铝树脂和针刺毯生产线,干制品固化炉线两条,主要生产硅酸铝针刺毯、高档硬质纤维板、喷胶棉、管、毡、岩棉、制品、超细玻璃棉制品、聚氨酯、FBT-8复合硅酸盐、泡沫石棉、石棉绒粉、板、绳、布及不定型耐火浇注材料,并有防腐、保温、施工队伍,本厂产品主要用于石油、化工、冶金、电力、建材、锅炉、工业铸炉、管道、储罐等,具有保温耐火、防水、消音、节能等用途。电 话:0533-5783524手 机:13505335624传 真:0533-5753178网 址:www.yonghuibaowen.com邮 箱:yonghuibaowen@yahoo.com.cn8
  • 2008-10-16 11:06:09 回复该留言
  • 8.淄博万达冲压机床厂
  • http://www.zbwanda.com
  • 我厂是压力机生产的定点厂家,该产品广泛用于机械、仪表、仪器、五金、汽车、轻工、轴承等行业的冲孔、落料、剪切、拉伸、弯曲、成型及其它冷冲压工作。我厂可根据用户要求,设计、制造特殊要求或规格的产品,并生产深喉口冲床系列>>JB23-16开式双柱标准型压力JB23-25开式双柱标准型压力JB23-40开式双柱标准型压力JB23-63开式双柱标准型压力JB23-80开式双柱标准型压力JB23-100开式双柱标准型压JB23-125开式双柱标准型压JC21-16型开式深口压力机JC21-25型开式深口压力机JC21-40型开式深口压力机JC21-63型开式深口压力机JC21-80型开式深口压力机JC21-100型开式深口压力机手机:13361408598  13508951931邮编:255192网址:http://www.zbwanda.com8
  • 2008-10-16 15:31:57 回复该留言
  • 9.淄博华宇水泥有限公司精细陶瓷分公司
  • http://www.zbhysn.cn
  • 淄博华宇水泥有限公司精细陶瓷分公司为淄博华宇水泥有限公司投资成立的高新技术企业。主要产品有选煤选矿冶金设备,造纸机械设备,耐磨刚玉陶瓷衬板、贴片,高温陶瓷辊棒,耐磨陶瓷异型件,出口高浓锥,除渣器耐磨陶瓷锥体,高浓除渣器锥体,耐磨刚玉陶瓷衬板贴片,耐磨陶瓷内衬管道,陶瓷配件,耐磨陶瓷内衬旋流器,贴片,旋流器刚玉衬板,造纸除渣器耐磨陶瓷配件,造纸除渣器配件,高温陶瓷棍棒,耐磨陶瓷内衬弯头,平列式双向除渣器联系电话:0533-5559778公司传真:0533-5559578联系人:王经理8
  • 2008-10-16 16:43:31 回复该留言
  • 10.淄博盈瑞特耐材料公司
  • http://www.cnyingrui.cn
  • 淄博盈瑞特耐材料公司主要生产产品有:棚板托板,支柱,高档棚板,高档多孔棚板,组合匣钵,出口多孔棚板,高档匣钵,碳化硅管,碳化硅砖,联系人:刘永杰手机:13606432124联系电话:0533-5559132传真:0533-5559132公司地址:淄博市淄川区磁村工业区8
  • 2008-10-17 14:36:40 回复该留言
  • 11.淄博应达机械制造有限公司
  • http://www.zbyingda.cn
  • 淄博应达机械制造有限公司主要生产经营冶金设备,建材机械,以及各类大型铆焊工程制作安装,主要产品有:铸铁机,高炉炉顶设备,环形炉,装料机/出料机,环保型强化热风冲天炉,锻烧炉配套设备,倾翻卷扬机构,球磨机,联系人:王经理联系电话:0533-53328665414166传真:0533-5412988公司地址:山东省淄博市淄川经济开发区贾村工业园网站网址:www.zbyingda.cn8
  • 2008-10-17 15:52:29 回复该留言
  • 13.淄博唯佳机械有限公司
  • http://www.zbweijia.cn
  • 主要产品有:各种洒水车用高压水枪.吸污车用真空泵及附件、油罐车泵、沼气池设备.流动加油车用电动及普通加油卷盘、取力器控制拉线、防静电接线盘、洒水车用高压水枪、鸭嘴万向喷头、水车音乐喇叭.民用消防车泵、液化气泵等;洒水车泵,油罐车泵,吸污车附件,车用真空泵,吸污车泵,水车用喷枪.喷头,软轴控制器,加油车用静电接线盘,液化石油气泵,加油卷盘,洒水车用音乐喇叭,三轮.四轮农用车吸污泵,多功能水泵,民用消防车泵8
  • 2008-11-4 12:08:32 回复该留言

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

日历

最新评论及回复

最近发表

Powered By Z-Blog 1.8 Spirit Build 80605

Copyright 2005-2007点点地方. Some Rights Reserved.
陕ICP备05015812号