主页 > 软件教程 > 学习-块、网络拓扑、副本策略、机架感知(3)

学习-块、网络拓扑、副本策略、机架感知(3)

网络拓扑

在机架rack1上服务器节点r1n1和r1n4通信,通过网络是要消耗网络资源的,所以使用距离的概念来表示每台节点之间通信消耗网络带宽的计量单位。

那么r1n1至r1n4的距离是多少呢?

我们认为在一个机架上,一台节点到路由器有几根线距离就是几,比如r1n1至路由器距离就是1,r1n4至路由器距离就是1,那么r1n1和r1n4连接的是一台路由器,那么他们的距离就是2。

如果有不同机架

那么距离r1n1->r2n1就是4。

如果不同数据中心之间也是通过路由器/交换机做数据交的。

一般都有会说:跨节点距离是2、跨机架是4、跨数据中心是6。

4、副本放置策略

假设有一个块block,备份3份

  1. 第一块副本,如果客户端程序在集群的某一个节点,那么第一块副本就放在这个节点上;如果不在,就随机找一个节点放置
  2. 第二块副本,放在非第一块副本所在的机架,而是选择其它机架上的一个节点
  3. 第三块副本,放在第二块副本同机架不同节点

如果不配置,Hadoop会认为所有节点在一个机架上

网上有个例子,用配置的方式告诉Hadoop节点的位置

说点什么吧
  • 全部评论(0
    还没有评论,快来抢沙发吧!