词条 | 群集 |
释义 | 群集 qúnjí 在传播学中,群集crowd是指集合状态下的人群。它的规模虽然大于小群体,但通常局限于一定的物理空间之内;群集通常具有匿名性、情绪性、暗示性和感染性,能够从事一定的集合行为。不过,群集一般是由临时参加或卷入事件、活动的人们组成的,并不具备成为稳定的社会构成体的条件。 [congregate] 同类的相聚 司机们都群集在广场四周的酒馆里 什么是Cluster呢?目前常见的Cluster(丛集)架构有两种,一种是Web /Internet cluster system,这种架构主要是将数据放置在不同的主机上面,亦即由多部主机同时负责一项服务;而另外一种则是所谓的平行运算了!平行运算其实就是将同一个运算的工作,交给整个Cluster里面的所有CPU来进行同步运算的一个功能。由于使用到多个CPU的运算能力,所以可以加快运算的速度。目前比较常见于平行运算功能的,通常需要在超级计算机上面才看的到,这些超级计算机主要是用在天文、军事、物理等需要很精密的、大量的运算的工作中,而考虑到稳定性,则通常是用在Unix 系统上面的硬件架构上。 高可用性群集系统可使应用程序服务能够在发生硬件或软件故障时仍继续运行。高可用性系统使用户不受软件故障以及系统处理设备 (SPU)、磁盘或局域网 (LAN) 组件的故障的影响。当某个组件出现故障时,将由冗余组件接管操作。群集和其他高可用性子系统负责协调各组件之间的切换。 集群的定义 广义上说,相互独立的一些系统构成了一个组就是集群。一个客户与集群相互作用时,集群的行为像是一个独立的系统一样。 从狭义上讲,集群是一些相互独立的计算机,这些计算机作为一个整体对外提供服务。对于客户来说,这些计算机的行为就好像一个计算机一样,但是其处理能力、可靠性、IO能力都得到了大幅的提升。 采用集群的目的 采用集群技术的目的可以概括为以下几个方面: 提高性能.一些计算密集型应用,如:天气预报,核试验模拟等,需要计算机要有很强的运算处理能力,现有的技术,即使普通的大型机其计算也很难胜任,这时,一般都使用计算机集群技术,集中几十台甚至上百台计算机的运算能力来满足要求。提高处理性能一直是集群技术研究的一个重要目标之一。 降低成本.通常一套象样的群集配置,其软硬件开销要超过 $100,000。但与价值上百万美元的专用超级计算机相比已经相当便宜。在达到同样性能的条件下,采用计算机集群比采用同等运算能力的大型计算机具有更高的性价比。 提高规模扩展性(Scalabilitry).目前,计划扩展系统能力的用户必须购买昂贵的最新的服务器,才能获得额外所需的CPU,驱动器和内存。如果该服务系统采用集群技术,则只需要将新的服务器加入集群中即可,对于客户来看,服务无论从连续性还是性能上都几乎没有变化,好像系统在不知不觉中完成了升级。 增强可靠性.据统计每年由于系统停运,全美国损失40亿美元。在零售业,平均每次停运损失140000美元,保安业每次停运平均损失450000美元,集群技术使系统在故障发生时仍可以继续工作,将系统停运时间减到最小。集群系统在提高了系统的可靠性的同时,也大大减小了故障损失。 集群类型 最常见的三种群集类型包括高性能科学群集、负载均衡群集和高可用性群集。 1、科学群集 科学集群是并行计算的基础。通常,科学群集涉及为群集开发的并行应用程序,以解决复杂的科学问题。科学集群对外就好像一个超级计算机,这种超级计算机内部由十至上万个独立处理器组成。但它却使用商业系统,并且在公共消息传递层上进行通信以运行并行应用程序。 我们常常听说又有一种便宜的 Linux 超级计算机问世了。这种超级计算机实际上是一个计算机群集,其处理能力与真的超级计算机相仿,但是硬件以及运行维护费用要比真正的超级计算机低很多,具有极高的性价比。 并行群集系统之所以可以达到如此高的带宽和低延迟,是因为它们通常绕过使用网络协议,如 TCP/IP。虽然网际协议对于广域网很重要,但它包含了太多的开销,而这些开销在节点相互已知的封闭网络群集中是不必要的。节点之间可以使用直接内存访问 (DMA)来进行通讯,它类似于图形卡和其它外围设备在一台机器中的工作方式。因此横跨群集,可以通过任何节点上的任何处理器直接访问分布式共享内存。 同样也可以使用低开销的消息传递系统,在节点之间进行通信。消息传递接口 (MPI) 是并行群集系统间消息传递层的最常见实现。MPI 存在几种衍生版本,但在所有情况下,它为开发者访问并行应用程序提供了一个公共 API,这样开发者就不必手工解决如何在群集的节点之间分发代码段。 2、负载均衡群集 负载均衡群集为企业需求提供了更实用的系统。如名称所暗示的,负载均衡群集使负载可以在计算机群集中尽可能平均地分摊处理。负载通常包括应用程序处理负载和网络流量负载。这样的系统非常适合向使用同一组应用程序的大量用户提供服务。每个节点都可以承担一定的处理负载,并且可以实现处理负载在节点之间的动态分配,以实现负载均衡。对于网络流量负载,当网络服务程序接受了太多入网流量,以致无法迅速处理,这时,网络流量就会发送给在其它节点上运行的网络服务程序。同时,还可以根据每个节点上不同的可用资源或网络的特殊环境来进行优化。 与科学计算集群一样,负载均衡群集也在多节点之间分发计算处理负载。他们之间的最大区别在于缺少跨节点运行的单并行程序。大多数情况下,负载均衡群集中的每个节点都是运行单独软件的独立系统。但是,不管是在节点之间进行直接通信,还是通过中央负载均衡服务器来控制每个节点的负载,在节点之间都有一种公共关系。通常,使用特定的算法来分发该负载。 网络流量负载均衡是一个过程,它检查到某个群集的入网流量,然后将流量分发到各个节点以进行适当处理。它最适合大型网络应用程序,如 Web 或 FTP 服务器。负载均衡网络应用服务要求群集软件检查每个节点的当前负载,并确定哪些节点可以接受新的作业。这最适合运行如数据分析等串行和批处理作业。那些系统还可以配置成关注某特定节点的硬件或操作系统功能,这样,群集中的节点就没有必要是一致的。 3、高可用性群集 可用性(availability)当集群中的一个系统发生故障时,集群软件迅速做出反映,将该系统的任务分配到集群中其它正在工作的系统上执行。 考虑到计算机硬件和软件的易错性,高可用性群集的的目的主要是为了使群集的整体服务尽可能可用。如果高可用性群集中的主节点发生了故障,那么这段时间内将由次节点代替它。次节点通常是主节点的镜像,所以当它代替主节点时,它可以完全接管其身份,并且因此使系统环境对于用户是一致的。 高可用性 (HA)群集致力于使服务器系统的运行速度和响应速度尽可能快。它们经常利用在多台机器上运行的冗余节点和服务,用来相互跟踪。如果某个节点失败,它的替补将在几秒钟或更短时间内接管它的职责。因此,对于用户而言,群集永远不会停机。 某些 HA 群集也可以维护节点间冗余应用程序。因此,用户的应用程序将继续运行,即使他或她使用的节点出了故障。正在运行的应用程序会在几秒之内迁移到另一个节点,而所有用户只会察觉到响应稍微慢了一点。但是,这种应用程序级冗余要求将软件设计成具有群集意识的,并且知道节点失败时应该做什么。 HA 群集也可以执行负载均衡,但通常主服务器运行作业,而系统使辅助服务器保持闲置。辅助服务器通常是主服务器操作系统设置的镜像,尽管硬件本身稍有不同。辅助节点对主服务器进行活动监控或心跳观察,以查看它是否仍在运行。如果心跳计时器没有接收到主服务器的响应,则辅助节点将接管网络和系统身份。 在群集的这三种基本类型之间,经常会发生混合与交杂。可以发现高可用性群集也可以在其节点之间均衡用户负载。同样,也可以从要编写应用程序的群集中找到一个并行群集,它可以在节点之间执行负载均衡。从这个意义上讲,这种集群类别的划分是一个相对的概念,不是绝对的。 集群的教育科研应用 对于教育应用来说,负载均衡集群是应用面最广,最有发展潜力的集群应用形式。 随着网络教育的发展,网络教育系统的用户将成几何方式增长。由此而导致教育类网站的访问量大幅增长。由于教育网络资源很多是多媒体素材,包括音频、视频、动画等,这就会产生极大的网络流量负载以及额外的处理负载。 在这种情况下,单机的处理能力很快得到饱和,一种方案就是升级系统。升级系统的方法会导致服务器工作在降级模式下或服务器关机,对于客户来说,其效果和服务器遭受DOS攻击时的效果时一样的。 举个简单的例子,许多网站在升级的过程中,比如(中国同学录网),会不能访问或者有个提示:"系统升级中,请稍后再访问"。这个"稍后"的概念通常是半天左右;而大家也可以注意到,象google这样的网站,在比(中国同学录网)的客户访问量上要大很多的情况下也几乎没有出现这种情况,原因就在于google采用的是集群服务器。Google系统升级在后台进行的时候,其处理和IO负载被自动分发到集群中的其他服务器上,所以对于用户而言,几乎感觉不到在响应时间方面的差别。 另外一种方案就是添置新的服务器,但是在网络上,一台机器唯一的对应于一个IP地址,一个IP唯一的与一个域名绑定,客户需要在访问一个URL的时候得到相同的响应,而不是来自不同主机的不同响应。这就要求新添置的服务器和原有的服务器应该对外看起来就像一台服务器一样,而不是多台服务器。而这正是集群所产生的效果。 当教育网站的处理能力和IO能力超出单机的负载能力时,考虑性价比、运维成本、可靠性等多方面因素,集群技术就成为最佳的选择。 集群系统实现方案 有一种常见的方法可以大幅提高服务器的安全性,这就是集群。 1、 集群的基本概念 Cluster集群技术可如下定义:一组相互独立的服务器在网络中表现为单一的系统,并以单一系统的模式加以管理。此单一系统为客户工作站提供高可靠性的服务。 大多数模式下,集群中所有的计算机拥有一个共同的名称,集群内任一系统上运行的服务可被所有的网络客户所使用。Cluster必须可以协调管理各分离的组件的错误和失败,并可透明地向Cluster中加入组件。 一个Cluster包含多台(至少二台)拥有共享数据存储空间的服务器。任何一台服务器运行一个应用时,应用数据被存储在共享的数据空间内。每台服务器的操作系统和应用程序文件存储在其各自的本地储存空间上。 Cluster内各节点服务器通过一内部局域网相互通讯。当一台节点服务器发生故障时,这台服务器上所运行的应用程序将在另一节点服务器上被自动接管。当一个应用服务发生故障时,应用服务将被重新启动或被另一台服务器接管。当以上任一故障发生时,客户将能很快连接到新的应用服务上。 2、 集群的硬件配置 镜像服务器双机 集群中镜像服务器双机系统是硬件配置最简单和价格最低廉的解决方案,通常镜像服务的硬件配置需要两台服务器,在每台服务器有独立操作系统硬盘和数据存贮硬盘,每台服务器有与客户端相连的网卡,另有一对镜像卡或完成镜像功能的网卡。 镜像服务器具有配置简单,使用方便,价格低廉诸多优点,但由于镜像服务器需要采用网络方式镜像数据,通过镜像软件实现数据的同步,因此需要占用网络服务器的CPU及内存资源,镜像服务器的性能比单一服务器的性能要低一些。 有一些镜像服务器集群系统采用内存镜像的技术,这个技术的优点是所有的应用程序和网络操作系统在两台服务器上镜像同步,当主机出现故障时,备份机可以在几乎没有感觉的情况下接管所有应用程序。因为两个服务器的内存完全一致,但当系统应用程序带有缺陷从而导致系统宕机时,两台服务器会同步宕机。这也是内存镜像卡或网卡实现数据同步,在大数据量读写过程中两台服务器在某些状态下会产生数据不同步,因此镜像服务器适合那些预算较少、对集群系统要求不高的用户。 硬件配置范例: · 网络服务器 两台 · 服务器操作系统硬盘 两块 · 服务器数据存贮硬盘 视用户需要确定 · 服务器镜像卡(部分软件可使用标准网卡) 两块 · 网络服务网卡 两块双机与磁盘阵列柜 与镜像服务器双机系统相比,双机与磁盘阵列柜互联结构多出了第三方生产的磁盘阵列柜,目前,同有公司、豪威公司、精业公司等许多公司都生产有磁盘阵列柜,在磁盘阵列柜中安装有磁盘阵列控制卡,阵列柜可以直接将柜中的硬盘配置成为逻辑盘阵。磁盘阵列柜通过SCSI电缆与服务器上普通SCSI卡相连,系统管理员需直接在磁盘柜上配置磁盘阵列。 双机与磁盘阵列柜互联结构不采用内存镜像技术,因此需要有一定的切换时间(通常为60——180秒),它可以有郊的避免由于应用程序自身的缺陷导致系统全部宕机,同时由于所有的数据全部存贮在中置的磁盘阵列柜中,当工作机出现故障时,备份机接替工作机,从磁盘阵列中读取数据,所以不会产生数据不同步的问题,由于这种方案不需要网络镜像同步,因此这种集群方案服务器的性能要比镜像服务器结构高出很多。 双机与磁盘阵列柜互联结构的缺点是在系统当中存在单点错的缺陷,所谓单点错是指当系统中某个部件或某个应用程序出现故障时,导致所有系统全部宕机。在这个系统中磁盘阵列柜是会导致单点错,当磁盘阵列柜出现逻辑或物理故障时,所有存贮的数据会全部丢失,因此,在选配这种方案时,需要选用一个品质与售后服务较好的产品。 硬件配置范例: · 网络服务器 两台 · 服务器操作系统硬盘 两块 · 第三方生产的磁盘阵列柜 一台 · 磁盘柜专用SCSI电线 两根 · 磁盘阵列柜数据存贮硬盘 视用户需求确定 · 网络服务网卡 两块 除此之外,一些厂商还有更优秀的技术的解决方案,比如HP。 HP双机双控容错系统 HP NetServer为双机双控容错系统提供了高品质和高可靠的硬件基础。。 HP双机双控容错系统结合了HP服务器产品的安全可靠性与Cluster技术的优点,相互配合二者的优势。 硬件配置范例: · HP L系统的网络服务器 两台 · 服务器操作系统硬盘 两块 · HP硬盘存贮柜(SS/6,RS/8,RS/12) 一台 · 磁盘柜专用SCSI集群适配电缆 两根 · 磁盘柜数据存贮硬盘 视用户需求确定 · HP集群专用阵列卡 两块 · 网络服务网卡 两块 HP光纤通道双机双控集群系统 光纤通道是一种连接标准,可以作为SCSI的一种替代解决方案,光纤技术具有高带宽、抗电磁干扰、传输距离远、质量高、扩展能力强等特性,目前在FC-AL仲裁环路上可接入126个设备。 光纤设备提供了多种增强的连接技术,大大方便了用户使用。服务器系统可以通过光缆远程连接,最大可跨越10公里的距离。它允许镜像配置,这样可以改善系统的容错能力。服务器系统的规模将更加灵活多变。SCSI每条通道最多可连接15个设备,而光纤仲裁环路最多可以连接126个设备。 光纤集群系统组成: HP光纤集群系统硬件设备包括有两台HP服务器(需支持光纤卡,目前有LC2000、LH3000、LH4、LH6000、LT6000、LXr8000、LXR8500)及光纤适配卡,可以使用RS/12FC光纤磁盘阵列柜,需另加一对或两对网卡用于心跳检测和与客户端连接。在配置过程中还需另外选配光纤卡到光纤存贮设备的光纤电缆。 硬件配置: · HPL系统的网络服务器 两台 · 服务器操作系统硬盘 两块 · HP光纤阵列存贮柜(RS/12FC) 一台 · 光纤磁盘柜专用光纤电缆 两根 · 光纤磁盘柜数据存贮硬盘 视用户需求确定 · HP光纤适配卡 两块 · 网络服务网卡 两块 3、集群的软件配置 基于NT平台的集群软件 microsoft的MSCS,也有许多第三方的专业软件公司开发的集群软件,如ROSE datasystem的ROSE HA,VINCA公司的STANDBY SERVER,NSI公司的DOUBLE-TAKE。 MS WolfPack的特点 MS WolfPack是MS Cluster server的别称,是微软针对Cluster技术研制开发的双机软件。它集成在NT SERVER上,支持由二台机器组成的双机系统,提供一种高可用且易管理的应用环境。 主要特点: · 自动检测和修复服务器或应用程序的错误 · 可实现对服务器中应用程序的切换 · 可通过TCP/IP连接各种客户端,如MS-DOS、WINDOWS 3.X/9X/NT,Apple Macintosh、UNIX等 · 生产主机无需人工干涉即可自动恢复数据并接管任务 · 易管理性: · 可自动审核服务器和应用程序的工作状态 · 可建立高可用性的应用程序、文件共享、打印请求等 · 可灵活设置应用程序和数据的恢复策略 · 简单操作即可进行应用程序的离线,重新再线,服务器间的迁移。 目前,WINDOWS 2000 Advanced Server与WINDOWS 2000 DataCenter Server都集成有更先进集群技术。 其它的网络操作系统平台上也有许多集群软件,比如: 基于novell平台的集群软件有Novell HA Server、Novell SFT III 基于sco UNIX平台的集群软件有Sentinel集群软件 基于Linux平台的集群软件有TurboCluster 4、集群技术的发展趋势 集群技术随着服务器硬件系统与网络操作系统的发展将会在可用性、高可靠性、系统冗余等方面逐步提高。未来的集群可以依靠集群文件系统实现对系统中的所有文件、设备和网络资源的全局访问,并且生成一个完整的系统映像。这样,无论应用程序在集群中的哪台服务器上,集群文件系统允许任何用户(远程或本地)都可以对这个软件进行访问。任何应用程序都可以访问这个集群任何文件。甚至在应用程序从一个节点转移到另一个节点的情况下,无需任何改动,应用程序就可以访问系统上的文件。 在今天,利用服务器的集群技术,通过周密计划和网络维护,系统破坏的机率是非常小的。所以,企业服务器的稳定必须使用集群技 |
随便看 |
百科全书收录4421916条中文百科知识,基本涵盖了大多数领域的百科知识,是一部内容开放、自由的电子版百科全书。