天极传媒:
天极网
比特网
IT专家网
52PK游戏网
极客修
全国分站

北京上海广州深港南京福建沈阳成都杭州西安长春重庆大庆合肥惠州青岛郑州泰州厦门淄博天津无锡哈尔滨

产品
  • 网页
  • 产品
  • 图片
  • 报价
  • 下载
全高清投影机 净化器 4K电视曲面电视小家电滚筒洗衣机
您现在的位置: 天极网 > 网络 > 企业网>新闻>构建满足大数据需求的网络基础设施

构建满足大数据需求的网络基础设施

天极网网络频道 2015. 10. 23 作者:李祥敬 责编:李祥敬
我要吐槽

责任编辑

  【天极网网络频道】【天极网网络频道】大数据时代,网络演进发生了三个变化:1.不定向突发流量的挑战;2.云数据中心互联;3.云开数据中心内部组网支持云服务。归纳来说就是业务变化驱动网络架构的变化:1. 业务流量由纵向为主演进为横向为主;2. 大型异构化,更多的节点数跨数据中心;虚拟化:3. 同一物理服务器虚拟机之间的通信、跨物理服务器的虚拟机通信时的虚拟机标识、虚拟机迁移。

  在将大规模和分布式架构组合在一起时,我们就能发现大数据网络有一组特殊的需求。下面是企业在部署大数据网络过程中需要注意的一些问题,所谓知己知彼,当你了解了这些问题,或许在部署过程中就不会有那么多问题了。

  网络弹性与大数据应用程序

构建满足大数据需求的网络基础设施

  如果有一组分布式资源必须通过互联网络进行协调时,可用性就变得至关重要。如果网络出现故障,那么造成的后果是出现不连续的坏计算资源与数据集。

  准确地说,大多数网络架构和工程师的主要关注点是正常运行时间。但是,网络故障时间的根源又各不相同。它们可能源自于各个方面,包括设备故障(硬件与软件)、维护和人为错误。故障是不可避免的。虽然网络的高度可用性也很重要,但是想要设计完美可用性是不可能的。

  网络架构师不能用故障来逃避目标,而应该设计一些能适应故障的弹性网络。网络的弹性取决于路径多样性(资源之间设置多条路径)和故障转移(能够快速发现问题和转移到其他路径上)。除了传统的平均故障时间间隔(MTBF)方法,大数据网络的真正设计标准一定要包含这些特性。

  其实对于现在的很多大数据应用来说,大部分的网络架构安全性和稳定性还是很高的,当然,网络和数据资源当中的故障是不可避免的,虽然网络的高度可用性也很重要,但是想要设计完美可用性是不可能的。

  解决大数据应用中的网络拥塞问题

  大数据应用程序不仅仅是规模大,而且还有一种我称为突发性的特性。当一个作业启动之后,数据就开始流转。在高流量时间段里,拥塞是一个严重的问题。然而,拥塞可能引起更多的队列延迟时间和丢包率。此外,拥塞还可能触发重转,这可能让本身负载繁重的网络无法承受。因此,网络架构设计时应该尽可能减少拥塞点。按照可用性的设计标准,减少拥塞要求网络具有较高的路径多样性,这样才能允许网络将流量分散到大量不同的路径上。

构建满足大数据需求的网络基础设施

  大数据中网络一致性要比迟延性更重要

  实际上,大多数大数据应用程序对网络延迟并不敏感。如果计算时间的数量级为几秒钟或几分钟,那么即使网络上出现较大延迟也是无所谓的——数量级大概为几千毫秒。然而,大数据应用程序一般具有较高的同步性。这意味着作业是并行执行的,而各个作业之间较大的性能差异可能会引发应用程序的故障。因此,网络不仅要足够高效,而且要在空间和时间上具有一致的性能。

构建满足大数据需求的网络基础设施

  现在就要准备大数据未来的可伸缩性

  可能让人有点意外的是,大多数大数据集群实际上并不大。

  可伸缩性并不在于现在集群现在有多大规模,而是说如何平衡地扩展支持未来的部署规模。如果基础架构设计现在只适合小规模部署,那么这个架构将如何随着节点数量的增加而不断进化?在将来某一个时刻,它是否需要完全重新设计架构?这个架构是否需要一些近程数据和数据位置信息?关键是要记住,可伸缩性并不在于绝对规模,而是更关注于实现足够规模解决方案的路径。

  通过网络分割来处理大数据

  网络分割是创建大数据环境的重要条件。在最简单的形式上,分割可能意味着要将大数据流量与其他网络流量分离,这样应用程序产生的突发流量才不会影响其他关键任务工作负载。除此之外,我们还需要处理运行多个作业的多个租户,以满足性能、合规性和/或审计的要求。这些工作要求在一些场合中实现网络负载的逻辑分离,一些场合则还要实现它们的物理分离。架构师需要同时在两个方面上进行规划,但是初始需求最好统一在一起。

  大数据网络的应用感知能力

  虽然大数据的概念与Hadoop部署关系密切,但是它已经成为集群环境的代名词。根据不同应用程序的特点,这些集群环境的需求各不同相同。有一些可能对对带宽要求高,而有一些则可能对延迟很敏感。总之,一个网络要支持多应用程序和多租户,它就必须要能够区分自己的工作负载,并且要能够正确处理各个工作负载。

  大数据网络设计的关键是要理解一点:需求不仅仅是提供足够的东西向带宽。最终,应用程序体验取决于很多因素,包括网络拥塞和分割。创建一个满足所有这些需求的网络需要有前瞻性,不仅要考虑基础架构能够支持的伸缩规模,还要考虑不同类型的应用程序如何共存于一个通用环境中。

作者:李祥敬责任编辑:李祥敬)
请关注天极网天极新媒体 最酷科技资讯
扫码赢大奖
评论
* 网友发言均非本站立场,本站不在评论栏推荐任何网店、经销商,谨防上当受骗!