失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > 大数据Hadoop原理学习(HDFS MAPREDUCE YARN)

大数据Hadoop原理学习(HDFS MAPREDUCE YARN)

时间:2021-12-11 21:59:13

相关推荐

大数据Hadoop原理学习(HDFS MAPREDUCE YARN)

hadoop

hadoop中有3个核心组件:

分布式文件系统:HDFS —— 实现将文件分布式存储在很多的服务器上

分布式运算编程框架:MAPREDUCE —— 实现在很多机器上分布式并行运算

分布式资源调度平台:YARN —— 帮用户调度大量的mapreduce程序,并合理分配运算资源

hdfs整体运行机制

hdfs:分布式文件系统

hdfs有着文件系统共同的特征:

有目录结构,顶层目录是: /系统中存放的就是文件系统可以提供对文件的:创建、删除、修改、查看、移动等功能

hdfs跟普通的单机文件系统有区别:

单机文件系统中存放的文件,是在一台机器的操作系统中hdfs的文件系统会横跨N多的机器单机文件系统中存放的文件,是在一台机器的磁盘上hdfs文件系统中存放的文件,是落在n多机器的本地单机文件系统中(hdfs是一个基于linux本地文件系统之上的文件系统)

hdfs的工作机制:

客户把一个文件存入hdfs,其实hdfs会把这个文件切块后,分散存储在N台linux机器系统中(负责存储文件块的角色:data node)<准确来说:切块的行为是由客户端决定的>一旦文件被切块存储,那么,hdfs中就必须有一个机制,来记录用户的每一个文件的切块信息,及每一块的具体存储机器(负责记录块信息的角色是:name node)

3、为了保证数据的安全性,hdfs可以将每一个文件块在集群中存放多个副本(到底存几个副本,是由当时存入该文件的客户端指定的)

综述:一个hdfs系统,由一台运行了namenode的服务器,和N台运行了datanode的服务器组成!

如果觉得《大数据Hadoop原理学习(HDFS MAPREDUCE YARN)》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。