1.Google文件系统(GFS)
使用一堆廉价的商用计算机支撑大规模数据处理。
GFSClient: 应用程序的访问接口
Master(主控服务器):管理节点,在逻辑上只有一个(还有一台“影子服务器“,在主控服务器失效时提供元数据,但并不是完整的热备服务器),保存系统的元数据,负责整个文件系统的管理。
Chunk Server(数据库服务器):负责具体的存储工作,数据以文件的形式存储在Chunk Server上;相应GFS客户端的读写请求。
整体架构:
![](http://pic002.cnblogs.com/images/2012/189953/2012092717202547.jpg)
读取数据的流程:
应用开发者提交读数据请求: 读取文件file,从某个位置P开始,读出大小为L的数据。
GFS系统收到这种请求后,在内部做转换,因为Chunk大小固定,所以从位置P和大小L可以推算出要读的数据位于file的第几个chunk,即请求被转换为<文件file,Chunk序列号>的形式。
随后,GFS系统将这个请求发送给主控服务器,因为主控服务器保存了一些管理信息,通过主控服务器可以知道要读的数据在哪台Chunk服务器上,同时把Chunk序号转化为系统内唯一的Chunk编号,把这两个信息传回到GFS客户端。
GFS和相应的Chunk服务器建立联系,发送要读取的Chunk编号和读取范围,Chunk服务器接到请求后把请求数据发送给GFS客户端。
采用这种主从结构的优劣:
好处:管理相对简单
坏处:很多服务请求都经过主控服务器,容易成为整个系统的瓶颈;可能存在单点失效问题。
PS:要做数据冗余,每个Chunk多个备份在不同的Chunk服务器上。
写数据的流程:
GFS系统必须把这个写操作应用到Chunk的所有备份,为了方便管理,GFS从多个相互备份的Chunk中选出一个主备份,其他的作为次级备份,由主备份决定次级备份的数据写入顺序。
GFS客户端首先和主控服务器通信,获知哪些Chunk服务器存储了要写入的Chunk,包括主备份和其他的次级备份的地址数据,然后GFS客 户端将要写入的数据推送给所有的备份Chunk,备份Chunk首先将这些待写入的数据放在缓存中,然后通知GFS客户端是否接受成功,如果所有的备份都 接受数据成功,GFS客户端通知主备份可执行写入操作,主备份将自己缓存的数据写入Chunk,通知次级备份按照指定顺序写入数据,次级备份写完后答复主 备份写入成功,主备份才会通知GFS客户端这次写操作成功完成。如果待写入的数据跨Chunk或者需要多个Chunk才能容纳,客户端自动将其分解为多个 写操作。
Colossus
Google下一代GFS分布式文件系统,几个改进如下:
将单一主控服务器改造为多主控服务器构成的集群,将所有管理数据进行数据分片后分配到不同的主控服务器上。
Chunk数据的多个备份虽然增加了系统可用性,但是付出了更多的存储成本,一种常见的折中方案是采用纠删码算法。
Colossus的客户端可以根据需求指定数据存放地点。
PS:
纠删码算法的基本原理如下:
给定n个数据块d1, d2,…, dn,n和一个正整数m, RS根据n个数据块生成m个校验块, c1, c2,…, cm。 对于任意的n和m, 从n个原始数据块和m 个校验块中任取n块就能解码出原始数据, 即RS最多容忍m个数据块或者校验块同时丢失(纠删码只能容忍数据丢失,无法容忍数据篡改,纠删码正是得名与此)。
关于纠删码的更多细节可以参考:http://blog.sina.com.cn/s/blog_3fe961ae0102vpxu.html
关于数据可靠性:对冷数据进行编码冗余,对热数据进行副本冗余。(前者减少存储成本,后者减少计算成本,应该很好理解)
2.HDFS
是Hadoop中的大规模分布式文件系统,在整个架构上与GFS大致相同,更简化,比如同一时刻只允许一个客户端对文件进行追加写操作。
它具有以下几个特点:
1)适合存储非常大的文件
2)适合流式数据读取,即适合“只写一次,读多次”的数据处理模式
3)适合部署在廉价的机器上
但HDFS不适合以下场景(任何东西都要分两面看,只有适合自己业务的技术才是真正的好技术):
1)不适合存储大量的小文件,因为受Namenode内存大小限制
2)不适合实时数据读取,高吞吐量和实时性是相悖的,HDFS选择前者
3)不适合需要经常修改数据的场景
整体架构
由NameNode,DataNode,Secondary NameNode以及客户端组成。
NameNode
(
负责管理整个分布式文件系统的元数据,包括文件目录树结构、文件到数据块的映射关系、Block副本及其存储位置等各种管理数据。这些数据保存在内存中。还负责DataNode的状态监控,通过心跳来传递管理信息和数据信息。
Secondary NameNode
职责并非是NameNode的热备机,而是定期从NameNode拉取fsimage(内存命名空间元数据在外存的镜像文件))和editlog文件(各种元数据操作的write-ahead-log
文件,在体现到内存数据变化前先把操作记录到此文件防止数据丢失)并对这两个文件进行合并,形成新的fsimage文件并传回给NameNode,以减轻NameNode的工作压力。
DataNode
类似于GFS的Chunk服务器,负责数据块的实际存储和读写。
客户端
与GFS客户端类似,HDFS客户端和NameNode联系获取所需读/写文件的元数据,实际的数据读写都是和DataNode直接通信完成的。
HA方案
主控服务器由Active NameNode和Standby NameNode一主一从两台服务器构成,ANN是当前响应客户端请求的服务器,SNN是冷备份或者热备份机。为了使SNN成为热备份机,SNN的所有元 数据需要与ANN元数据保持一致。通过以下两点来保证这一要求:
1.使用第三方共享存储来保存目录文件等命名空间元数据。本质是把NN的单点失效问题转换成第三方存储的单点失效问题,但是第三方存储自带很强的冗余和容错机制,所以可靠性较强。
2.所有DataNode同时把心跳信息发送给ANN和SNN。
加入独立于NN之外的故障切换控制器,在ANN故障时,选举SNN为主控服务器。在Hadoop系统刚刚启动时,两台都是SNN,通过选举使得某台成为ANN。
由此要加入隔离措施防止脑裂现象(即同时有多个活跃的主控服务器):
1)同一时刻上只有一个NN能够写入第三方共享存储
2)只有一个NN发出与管理数据副本有关的删除命令
3)同一时刻是有一个NN能够对客户端请求发出正确相应
解决方案:
QJM:
利用Paxos协议,在2F+1GE JournalNode中存储NN的editlog,每次写入操作如果有F台服务器返回成功即可认为成功写入。最多可以容忍F个Journal Node同时故障。
NameNode联盟
核心思想:把一个大的命名空间切割为若干子命名空间,每个子命名空间由单独的NN负责管理,NN之间独立,所有DataNode被共享。 DataNode和子命名空间之间由数据块管理层建立映射关系,数据块管理层由若干数据块池构成。每个数据块唯一属于某个固定的数据块池,一个子命名空间 可以对应多个数据块池。
发表评论