HDFS简介 | 显哥博客

文章目录[隐藏]

HDFS概述—–基本特征

基于商用硬件环境

HDFS具有高容错性，并且被部署在廉价的硬件之上

HDFS向应用程序提供高的数据吞吐访问，适合于需要处理大规模海量数据集的应用

HDFS遵循部分POSIX协议要求，可以确保应用程序以流的方式访问文件系统数据

硬件失效

流式数据访问

海量数据集

追加写入及文件同步

“移动计算比移动数据的代价小”

跨异构硬件和软件平台的可移植性

主从（Master/Slave）体系结构

只含有一个NameNode主服务节点这个节点管理文件系统中的命名空间和调度客服端对文件的访问

通常一个机器就是一个DataNode数据节点，DataNode管理本节点上数据的存储

在HDFS内部，一个文件被分割为一个或多个数据块，并且这些数据块被存储在一批DataNode中。

NameNode执行文件系统中命名空间的操作(打开、关闭、重命名文件和目录)，NameNode需要执行数据块到DataNode映射的决策

DataNode负责响应来自客户端的文件读写要求，也要负责执行来自NameNode的关于数据块创建、删除和冗余存储的指令