奥威软件交流社区
  HDFS设计理念
  数据块:大文件分割成多个block存储。每个block 64M。每个block在多个DataNode上存储多个副本。
  DataNode:存储实际数据。定期向DataNode发送所存储的块列表。
  客户端:代表用户与NameNode、DataNode交互,访问整个文件系统。提供一系列文件系统接口。

  HDFS基本概念
  NameNone:
  1.维护文件系统树。
  2.所有目录和文件的元数据,例如文件和block的对应关系,block和DataNode的对应关系 。
  3.Namenode结构图课抽象为如图。
  4.Namespace镜像文件(fsmage)。
  5.操作日志(esits log):修改内存中的metadata同时,将修改记录到日志文件。
  6.fismage、edits log缓存在内存中,定期持久化到本地硬盘。
  7.文件块与节点位置信息不用持久化,系统启动时该信息从datanode重建。

分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 注册

本版积分规则

奥威软件|联系奥威|新手须知| ( 粤ICP备09215901号-2   

Powered by Discuz! X3.2 © 2001-2016 Comsenz Inc.

返回顶部