在诸多的大数据技术框架当中,Spark可以说是占据了非常重要的地位,继Hadoop之后,基于实时数据处理需求的不断上升,Spark开始占据越来越大的市场份额,而Spark,也成为大数据的必学知识点。今天的Spark大数据开发学习分享,我们来讲解Spark基础入门知识。
从行业发展趋势来看,Spark占据着极大的市场份额,是目前全球范围内最为流行、功能最为全面、社区最为活跃的大数据处理技术。
Spark之所以得到重用,当然也是因为Spark具备强大的性能,能够满足企业大数据处理的技术需求。Spark作为一个大一统的技术栈,集批处理、流处理、数据分析、数据探索、机器学习等于一身。
Spark体系架构
Spark体系架构包括如下三个主要组件:数据存储、API、管理框架。
数据存储:
Spark用HDFS文件系统存储数据。它可用于存储任何兼容于Hadoop的数据源,包括HDFS,HBase,Cassandra等。
API:
利用API,应用开发者可以用标准的API接口创建基于Spark的应用。Spark提供Scala,Java和Python三种程序设计语言的API。
资源管理:
Spark既可以部署在一个单独的服务器也可以部署在像Mesos或YARN这样的分布式计算框架之上。
Spark系统组件
1)Spark core:spark的内核,主要包含:有向循环图、RDD、Lingage、Cache、broadcast等,并封装了底层通讯框架,是Spark的基础。
2)Spark Streaming:流式处理系统,可以对多种数据源(如Kafka、Flume)进行类似Map、Reduce和Join等复杂操作,将流式计算分解成一系列短小的批处理作业。
3)Spark sql:Spark SQL能够统一处理关系表和RDD,使得开发人员可以轻松地使用SQL命令进行外部查询,同时进行更复杂的数据分析。
4)Spark R:是一个R语言包,提供轻量级的方式,在R语言中使用Apache Spark。
5)MLBase:机器学习组件,分为四部分:MLlib、MLI、ML Optimizer和MLRuntime。
6)GraphX用于图和图并行计算。
关于Spark大数据开发学习,Spark基础入门,以上就为大家做了一个简单的介绍了。在大数据开发当中,Spark是重要的技术框架,作为大数据工程师,Spark框架必须掌握。
如果觉得《Spark大数据开发学习:Spark基础入门》对你有帮助,请点赞、收藏,并留下你的观点哦!