Hadoop分布式文件系统（HDFS）知识梳理（超详细）

气性不和平，则文章事功俱无足取

语言多矫饰，则人品心术尽属可疑

推荐书目电子版下载

Hadoop必读书目（精选）

本文参考文献包含于上述书籍

HDFS知识梳理

应用背景

当数据集的大小超过一台独立物理计算机的存储能力时，有必要对它进行分区并存储到若干台单独的计算机上管理网络中跨多台计算机存储的文件系统称为分布式文件系统分布式文件系统架构于网络之上，必然会引入网络编程的复杂性，分布式文件系统比普通磁盘文件系统更加复杂Hadoop有一个抽象的文件系统概念，HDFS是其中的一个实现

简介

分布式存储系统HDFS（Hadoop Distributed File System）是一个文件系统，类似于Linux的文件系统。HDFS有目录，目录下可以存储文件，但它是一个分布式的文件系统。

基本原理

将文件切分成等大的数据块，分别存储到多台机器上每个数据块存在多个备份数据切分、容错、负载均衡等功能透明化可将HDFS看成是一个巨大的、具有容错性的磁盘

优点

处理超大文件流式访问数据运行于廉价的商用集群上

缺点

不适合存储大量小文件不适合低延迟数据访问不支持多用户写入和任意修改文件

设计

HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上

超大文件

几百MB、GB、TB大小的文件，现已有Hadoop集群存储PB级数据

流式数据访问

一次写入，多次读取是最高效的访问模式数据集通常由数据源生成或者从数据源复制而来，会长时间在此数据集上进行分析，每次均会涉及大部分或者全部数据，读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要

商用硬件

HDFS设计运行在商用硬件上，即在各种零售店都能买到的普通硬件节点故障几率高HDFS被设计成在遇到故障时能够继续运行，不让用户察觉到明显的中断某些应用领域不适合使用HDFS

低延迟的数据访问

HDFS为高数据吞吐量应用优化，以增加时间延时为代价要求几十毫秒低时间延迟访问的应用，不适合在HDFS上运行，更适合于HBase

大量的小文件

NameNode将存储文件系统的元数据存储在内存中，该文件系统所能存储的文件总数受限于NameNode的内存容量每个文件、目录和数据块的存储信息大约占150字节

存储上百万个文件是可行的，存储十亿个文件就超出了当前硬件的能力

多用户写入，任意修改文件

文件写入只支持单个写入者，不支持多个写入者写操作以“只添加”的方式在文件末尾写数据，不支持在文件任意位置进行修改以后可能支持这些操作，但相对比较低效

概念

HDFS架构图

注：Rack-机架 Replication-副本 Block-数据块 Metadata-元数据

数据块每个磁盘有默认的数据块大小，是磁盘进行数据读写的最小单位构建于单个磁盘之上的文件系统通过磁盘块来管理该文件系统中的块，该文件系统块的大小可以是磁盘块的整数倍HDFS同样有块（Block）的概念，默认为128MB与单一磁盘上的文件系统相似，HDFS上的文件也被划分为块大小的多个分块（Chunk），作为独立的存储单元与其他文件系统不同，HDFS中小于一个块大小的文件不会占据整个块的空间优点 一个大文件不用存储于整块磁盘上，可以分布式存储使用块抽象而非整个文件作为存储单元，大大简化了存储子系统的设计，对于故障种类繁多的分布式系统尤为重要 显示块信息的命令hdfs fsck / -files -blocksNameNodeHDFS架构中的主节点管理各个从节点（DataNode）的状态记录存储在HDFS上所有数据的元数据信息，如Block存储的位置、文件大小、文件权限、文件层级等上述信息以两个文件的形式永久保存于本地磁盘 命名空间镜像文件（FsImg）

FsImage是HDFS文件系统存于硬盘中的元数据检查点，里面记录了自最后一次检查点之前HDFS文件系统中所有目录和文件的序列化信息编辑日志文件（Edit-logs） 保存了自最后一次检查点之后所有针对HDFS文件系统的操作，如增加文件、重命名文件、删除目录等NameNode将改动写入Edit-logs是由DataNode的写操作触发的， 记录存储在HDFS上文件的所有变化接受DataNode的心跳和DataNode上的Blocak报告信息，确认DataNode是否存活负责处理所有块的复制因子如果DataNode节点宕机，NameNode会选择另外一个DataNode均衡复制因子，并做负载均衡可参考官网DataNodeDataNode是HDFS架构的从节点，管理各自节点的Block信息文件内的数据实际存储于DatNodeDataNode分别运行于独立的节点DataNode执行客户端级别的读写请求DataNode向NameNode发送心跳（默认设置为3秒），报告各自节点的健康状况Secondary NameNodeSecondary NameNode是NameNode的助手，不是其备份Secondary NameNode在HDFS中提供Chekpoint Node，因此也称之为Chekpoint Node定时从NameNode获取Edit-logs，更新到自己的FsImage上一旦Secondary NameNode有新的FsImage文件，就将其拷贝回NameNode，NameNode在下次重启时会使用新的FsImage文件，从而减少重启时间复制因子复制因子使得HDFS提供可靠存储默认复制因子为3DataNode定时发送心跳给NameNode，汇报各自节点的Block信息，NameNode手机这些信息后，对超出复制因子的Block进行删除，对复制份数不足的Block进行赋值机架感知分布式集群通常包含非常多的机器，收到机架槽位和交换机网口的限制，通常大型分布式集群会跨好几个机架机架内机器之间的网络速度通常会高于跨机架机器之间的网络速度机架之间机器的网络通信通常受到上层交换机间网络带宽的限制文件块的放置 假设一个Block有3份备份一份放在NameNode指定的DataNode上，一份放在与指定DataNode不在同一台机器上的DataNode上，最后一份放在与指定DataNode同一机架的DataNode上备份的目的是为了数据安全，采用这种配置方式主要是考虑同一机架内机器宕机的情况，以及不同机架之间进行数据复制会带来的性能降低问题客户端（Client）客户端是一个需要获取分布式文件系统文件的应用程序客户端代表用户通过NameNode和DataNode访问整个文件系统客户端提供一个类似于POSIX（可移植操作系统界面）的文件系统接口，用户在编程时无需知道NameNode和DataNode也可实现其功能假设data.txt文件大小为238MB，现需要将其写入HDFS中，假设HDFS块大小设置为默认值128MB，则客户端会将此文件拆分成两个块，第一个块是128MB，第二个块是110MB

读写流程

文件写入

客户端向NameNode发起写入文件请求NameNode根据文件大小和文件块配置情况，以及结合了DataNode的健康状态、复制因子、机架感知等因素，将可以写入数据的DataNode的IP地址列表返回给客户端，赋予客户端写权限客户端将文件划分为多个块，根据所得的DataNode地址信息，按序将其写入DataNode块中

第3步的数据复制流程分为以下3个阶段

流水线建立

写入数据前，客户端要确认所得的IP列表是否准备好接收数据，然后连接各个块的IP列表创建流水线复制数据

客户端向流水线写入数据时，将块复制到第一个DataNode节点，其他DataNode节点的复制是在DataNode节点之间完成关闭流水线

当数据复制到所有的DataNode后，按照IP地址列表相反的方向依次写入成功信息，第一个DataNode节点将成功信息反馈给NameNode，NameNode更新编辑日志文件中的元数据信息，客户端将流水线关闭

注意：多个Block的写入是并行进行的，即多个Block同时写入

文件读取

客户端向NameNode发起文件写入请求NameNode根据自己的元数据信息，将一个DataNode列表的信息（其块存储了该文件）返回给客户端客户端连接DataNode，读取块中的数据客户端将多个块中的数据进行合并

命令行接口

appendToFile

hadoop fs -appendToFile <localsrc> ... <dst>

添加（追加）一个或多个源文件到目标文件中，或者将标准输入中的数据写入目标文件balancer

hdfs balancer [-threshold <threshold>] [-policy <policy>] [-exclude [-f <hosts-file> | <comma-separated list of hosts>]] [-include [-f <hosts-file> | <comma-separated list of hosts>]] [-idleiterations <idleiterations>]

用于平衡Hadoop集群中各DataNode中的文件块分布，以避免出现部分DataNode磁盘占用率高的问题cat

hadoop fs -cat URI [URI ...]

将路径指定文件的内容输入到stdoutchgrp

hadoop fs -chgrp [-R] GROUP URI [URI ...]

改变文件或目录的组信息chmod

hadoop fs -chmod [-R] <MODE[,MODE] ... | OCTALMODE> URI [URI ...]

修改文件权限，修改者必须拥有该目录权限，或者是拥护者的父用户

-R表示递归chwon

hadoop fs -chwon [-R] [OWNER] [:[GROUP]] URI [URI ...]

修改文件拥有者，修改者必须拥有该文件或者是其父用户

-R表示递归copyFromLocal

hadoop fs -copyFromLocal <localsrc> URI

拷贝本地文件到HDFS，类似于put命令，但可以拷贝目录

-f表示覆盖原来已存在目录copyToLocal

hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

拷贝HDFS文件到本地，类似于get命令，但可以拷贝目录count``

hadoop fs -count [-q] [-h] [-v] <paths>

统计目录下的文件数和空间占用情况

-h表示输出格式化后的信息

-v表示输出表头cp

hadoop fs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>

将文件从源路径复制到目标路径

该命令允许有多个源路径，此时目标路径必须是一个目录

-f表示如果目标目录已存在，则覆盖之前的目录distcp

hadoop distcp <param> <src>

分布式拷贝（DistCp）是用于大规模集群内部和集群之间拷贝的工具

它使用Map/Reduce实现文件分发、错误处理和恢复以及报告生成

它把文件和目录的列表作为Map任务的输入，每个任务会完成源列表中部分文件的拷贝

由于使用了Map/Reduce方法，这个工具在语义和执行上都会有特殊的地方

参考官网

12.df

hadoop fs -df [-h] URI [URI ...]

显示目录空闲空间

-h表示转换为更加易读的方式，比如67108864用64M代替

13.dfsadmin

hadoop dfsadmin [GENERIC_OPTIONS]

hadoop dfsadmin支持一些和HDFS管理相关的操作

hadoop dfsadmin -help能列出所有当前支持的命令

expunge

hadoop fs -expunge

清空回收站fsck

hdfs fsck <path> [-list-corruptfileblocks |[-move | -delete | -openforwrite] [-files [-blocks [-locations | - racks]]] [-includeSnapshots] [-storagepolicies] [-blockId <blk_Id>]

检查HDFS上文件和目录的健康状态、获取文件的Block信息和位置信息等get

hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>

复制文件到本地文件系统getConf

hdfs getconf <COMMAND_OPTION>

用于获取HDFS配置信息

参考官网

getmerge

hadoop fs -getmerge <src> <localhost> [addnl]

接受一个源目录和一个目标作为输入，并且将源目录中所有的文件连接成本地目标文件

addnl是可选的，用于指定在每个文件结尾添加一个换行符ls

hadoop fs -ls <args>lsr

hadoop fs -lsr <args>

ls命令的递归版本，类似于Unix中ls -Rmkdir

hadoop fs -mkdir <paths>

接受路径指定的URI作为参数，创建这些目录

其行为类似于Unix的mkdir -p，它会创建路径中的各级父目录mv

hadoop fs -mv URI [URI ...] <dest>

将文件从源路径移动到目标路径

该命令允许有多个源路径，此时目标路径必须是一个目录

不允许在不同的文件系统间移动文件oev

hdfs oev [OPTIONS] i INPUT_FILE -o OUTPUT_FILE

用于查看edits文件

oiv

hdfs oiv [OPTIONS] -i INPUT_FILE

用于将FsImage文件转换成其他格式文件，如文本文件、XML文件

参数名 | 说明 | 必选参数 | 可选参数

:-: | :-: | :-: | :-:

-i, –inputFile <arg>|输入FsImage文件|√|

-o, –outputFile <arg>|输出转换后的文件，如果已存在，则会覆盖原文件|√|

-p, –processor <arg>|将FsImage文件转换成其他格式（LS\XML\FileDistribution），默认为LS||√

-h, –help|显示帮助信息||√

put

hadoop fs -put <localsrc> ... <dst>

从本地文件系统中复制单个或多个源路径到目标文件系统，也支持从标准输入中读入输入写入目标文件系统

rm

hadoop fs -rm URI [URI ...]

删除指定的文件，只删除非空目录和文件

-r表示递归删除

setrep

hadoop fs -setrep [-R] [-w] <numReplicas> <path>

改变一个文件的副本系数

-R选项用于递归改变目录下所有文件的副本系数

-w选项指定该请求等待操作执行结束

stat

hadoop fs -tail [-f] URI

返回执行路径的统计信息

tail

hadoop fa -tail [-f] URI

将文件尾部1KB字节内容输出到stdout

-f表示根据文件描述符进行追踪，当文件改名或被删除，追踪停止text

hadoop fs -text <src>

类似于cat，将源文件输出为文本格式

允许的格式是zip和TextRecordInputStreamtouchz

hadoop fs -touchz URI [URI ...]

创建一个0字节的空文件truncate

hadoop fs -truncate [-w] <length> <paths>

文件截断

-w表示要求该命令等待回复完成usage

hadoop fs -usage command

返回命令的帮助信息find

hadoop fs - find <path > .. <expression>

查找满足表达式的文件和文件夹

没有配置path，默认是全部目录/

没有配置表达式，默认为-printgetfacl

hadoop fs -getfacl [-R] <path>

获取文件的ACL权限

-R指定递归查找HDFS快照 HDFS快照是一个只读的基于时间点文件系统拷贝，快照可以是整个文件系统的，也可以是其中的一部分，常用来作为数据备份和容灾，防止用户错误在DataNode上面的Blocks不会被复制，做Snapshot 的文件纪录了Block的列表和文件的大小，但是没有数据的复制Snapshot 并不会影响HDFS 的正常操作，即修改会按照时间的反序记录，这样可以直接读取到最新的数据，快照数据是根据当前数据减去修改的部分计算出来快照会存储在snapshottable目录下，snapshottable存储的快照最多为65535个snapshottable的目录数量没有限制，管理员可以将任何目录设置为snapshottable如果snapshottable里面已存放快照，那么该文件夹不能删除或者改名

Java接口

连接Hadoop集群

Eclipse

Eclipse连接Hadoop集群

IntelliJ IDEA

IntelliJ IDEA连接Hadoop集群

Hadoop分布式文件系统Java接口详细版

Hadoop分布式文件系统（HDFS）Java接口（HDFS Java API）详细版

简介

Hadoop的FileSystem类是与Hadoop的某一文件系统进行交互的APIDistributedFileSystem是HDFS实例我们应该集成FileSystem抽象类，并编写代码，使其在不同文件系统中可移植，便于测试自己写的程序，例如可以使用本地文件系统中的存储函数快速进行测试

文件系统

Hadoop有一个抽象的文件系统概念，HDFS只是其中的一个实现

Java抽象类org.apache.hadoop.fs.FileSystem定义了Hadoop中一个文件系统的客户端接口，并且该抽象类有几个具体实现，其中和Hadoop紧密相关的见下表

Hadoop对文件系统提供了许多接口，它一般使用URI方案来选取合适的文件系统实例进行交互

命令hadoop fs -ls file:可以列出本地文件系统根目录下的文件

接口

Hadoop是用Java写的，通过Java API可以调用大部分Hadoop文件系统的交互操作，比如文件系统的命令解释器就是一个Java命令，它是用Java的FileSystem类来提供文件系统操作

下面是一些文件系统接口介绍，这些接口通常与HDFS一同使用，因为Hadoop中的其它文件系统一般有访问基本文件系统的工具，但它们大多数都能用于任何Hadoop文件系统

HTTP由WebHDFS协议提供的HTTPP REST API使得其他语言开发的应用能够很方便地与HDFS交互HTTP接口比原生的Java客户端要慢，尽量不要使用它来传输特大数据通过HTTP访问HDFS有两种方法，两者都使用了WebHDFS协议 直接访问

HDFS守护进程直接服务于来自客户端的HTTP请求通过代理（一个或多个）访问

客户端通常使用DistributedFileSystem API访问HDFSC语言Hadoop提供一个名为libhdfs的C语言库，该语言库是Java FileSystem接口类的一个镜像（它被写成访问HDFS的C语言库，但其实它可以访问任何一个Hadoop文件系统）使用Java原生接口（JNI）调用Java文件系统客户端还有一个libwebhdfs库，该库使用了WebHDFS接口其开发滞后于Java API，一些新特性不支持NFS使用Hadoop的NFSv3网关将HDFS挂载为本地客户端的文件系统是可行的可以使用Unix实用程序（如ls和cat）与该文件系统交互，上传文件，通过任意一种编程语言调用POSIX库来访问文件系统关于如何配置和运行NFS网关，以及如何从客户端连接网关，可以参考Hadoop官网相关文档资料FUSE用户空间文件系统（Filesystem in Userspace）允许将用户空间实现的文件系统作为Unix文件系统进行集成通过使用Hadoop的Fuse-DFS功能模块，HDFS（或任何一个Hadoop）文件系统均可以作为一个标准的本地文件系统进行挂载Fuse-DFSS是用C语言实现的，使用libhdfs作为访问HDFS的接口在写操作时，Hadoop NFS网关对于挂载HDFS来说是更健壮的解决方案，相比Fuse-DFS而言应优先选择

如果觉得《Hadoop分布式文件系统（HDFS）知识梳理（超详细）》对你有帮助，请点赞、收藏，并留下你的观点哦！